CN111291676A - 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 - Google Patents

一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 Download PDF

Info

Publication number
CN111291676A
CN111291676A CN202010081032.4A CN202010081032A CN111291676A CN 111291676 A CN111291676 A CN 111291676A CN 202010081032 A CN202010081032 A CN 202010081032A CN 111291676 A CN111291676 A CN 111291676A
Authority
CN
China
Prior art keywords
lane
image
point cloud
information
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010081032.4A
Other languages
English (en)
Other versions
CN111291676B (zh
Inventor
张新钰
李志伟
邹镇洪
李骏
刘华平
周沫
谭启凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010081032.4A priority Critical patent/CN111291676B/zh
Publication of CN111291676A publication Critical patent/CN111291676A/zh
Application granted granted Critical
Publication of CN111291676B publication Critical patent/CN111291676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片，涉及检测技术领域，为解决准确、有效的检测车道线的问题。所述基于激光雷达点云和相机图像融合的车道线检测方法，包括：接收同一路面的路面点云信息和路面图像信息。根据路面点云信息和路面图像信息，确定车道融合图像。根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像。从路面融合图像检测车道线。所述基于激光雷达点云和相机图像融合的车道线检测装置用于执行基于激光雷达点云和相机图像融合的车道线检测方法。本发明提供的基于激光雷达点云和相机图像融合的车道线检测装置和芯片用于车道线检测。

Description

一种基于激光雷达点云和相机图像融合的车道线检测方法及 装置和芯片
技术领域
本发明涉及检测技术领域，尤其涉及一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片。
背景技术
在驾驶车辆过程中，需要对周围环境进行感知测量，以保证安全行使，例如对车道线的检测。
目前，通常采用相机采集图像，激光雷达采集点云，然后对相机图像和激光雷达点云分别进行检测，再对检测结果进行融合的方法检测车道线，但是该方法不能有效，准确的检测出车道线。
发明内容
本发明的目的在于提供一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片，用于准确、有效的检测车道线。
为了实现上述目的，本发明提供如下技术方案：
一种基于激光雷达点云和相机图像融合的车道线检测方法，包括：
接收同一路面的路面点云信息和路面图像信息；
根据路面点云信息和路面图像信息，确定车道融合图像；
根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像；
从路面融合图像检测车道线。
与现有技术相比，本发明提供的车道线检测方法中，通过接收同一路面的路面点云信息和路面图像信息，并根据这些信息确定车道融合图像。此时不仅克服了在纯点云检测过程中，由于点云数据过于稀疏导致其检测能力有限的弱点，而且还克服了在纯图像检测过程中，由于光照条件变化、车道环境的色彩图像过于相似和道路不平整等情况的影响，容易出现图像信息缺失的问题，有效的改善了检测效果，提高了路面车道线检测的鲁棒性。
而根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像，提取车道区域，增加了信息含量。此时，从路面融合图像可以准确、有效的检测车道线，从而提高路面车道线检测的鲁棒性。由此可见，本发明提供的基于激光雷达点云和相机图像融合的车道线检测方法可以充分利用了点云和图像之间的互补优势，有效，准确的检测出车道线。
可选的，根据路面点云信息和路面图像信息，确定车道融合图像包括：
从路面点云信息提取第一车道区域信息；
从路面图像信息提取第二车道区域信息；
将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像。
进一步的，从路面点云信息提取第一车道区域信息包括：
根据路面点云信息确定可能车道区域的点云信息；
在可能车道区域的点云高程范围内对路面点云信息进行赋权和车道区域聚类，得到车道区域的点云聚类结果；可能车道区域的点云信息的权值大于路面除了可能车道区域以外的点云信息的权值；
根据车道区域的点云聚类结果从路面点云信息获得第一车道区域信息；
车道区域聚类所采用的车道聚类模型在训练过程的误差满足：
CrossEntropy(Points)＝Σi∈Points{-[1I"(i)log(1-1I′(i))+(1-1I"(i))log(1I′(i))]}
其中，I′表示属于标注的第一车道区域的点云集合，I"表示模型在训练中判断属于第一车道区域的点云集合，1I′(·)表示对I′集合的特征函数，1I"(·)表示对I"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Points表示点云集合，i表示点云集合中的单个点。
进一步的，从路面图像信息提取第二车道区域信息包括：
对路面图像信息进行图像识别，获得第二车道区域信息；
图像识别采用具有图像语义分割功能的神经网络图像识别模型；神经网络图像识别模型在训练过程的误差满足：
CrossEntropy(Pixels1)＝Σh∈Pixels1{-[1H"(h)log(1-1H′(h))+(1-1H"(h))log(1H′(h))]}
其中，H′表示属于标注的第二车道区域的像素集合，H"表示模型在训练中判断属于第二车道区域的像素集合，1H′(·)表示对H′集合的特征函数，1H"(·)表示对H″集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels1表示路面图像像素的集合，h表示路面图像像素集合中的单个像素。
进一步的，将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像包括：
增加第一车道区域信息含有的点云密度，获得增强型第一车道区域信息；
将增强型第一车道区域信息与第二车道区域信息叠加，获得车道融合图像。
进一步的，根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像包括：
对路面点云信息进行坐标转换，使得路面点云信息与路面图像信息处在同一坐标系，获得二维点云图像；
在路面图像信息建立的新通道内增加二维点云图像，利用车道融合图像对二维点云图像进行像素加权，获得路面融合图像。
进一步的，将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像前，从点云信息提取第一车道区域信息后，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
将第一车道区域信息进行坐标转换，使得第一车道区域信息与路面图像信息处在同一坐标系；
和/或，
将第一车道区域信息进行处理，使得处理后的第一车道区域信息与路面图像信息的特征参数相同；
和/或，
从路面图像信息提取第二车道区域信息前，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
对路面图像信息进行归一化处理；第一车道区域信息含有的车道信息的赋值为1；
根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像前，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
对路面图像信息进行归一化处理；第一车道区域信息含有的车道信息的赋值为1。
进一步的，从路面融合图像检测车道线包括：
采用神经网络检测模型对路面融合图像进行检测，确定车道线信息；
神经网络检测模型在训练过程的误差满足：
CrossEntropy(Pixels2)＝Σf∈Pixels2{-[1F"(f)log(1-1F，(f))+(1-1F"(f))log(1F′(f))]}
其中，F′表示属于标注的路面融合图像的像素集合，F"表示模型在训练中判断属于路面融合图像的像素集合，1F′表示对F′集合的特征函数，1F"表示对F"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels2表示路面融合图像像素的集合，f表示路面融合图像像素集合中的单个像素。
本发明还提供了一种基于激光雷达点云和相机图像融合的车道线检测装置包括：处理器以及与处理器耦合的通信接口；处理器用于运行计算机程序或指令，执行上述基于激光雷达点云和相机图像融合的车道线检测方法。
与现有技术相比，本发明提供的基于激光雷达点云和相机图像融合的车道线检测装置的有益效果与上述技术方案所述的基于激光雷达点云和相机图像融合的车道线检测方法的有益效果相同，在此不做赘述。
本发明还提供了一种芯片，芯片中存储有指令，当指令被运行时，执行上述基于激光雷达点云和相机图像融合的车道线检测方法。
与现有技术相比，本发明提供的芯片的有益效果与上述技术方案所述的基于激光雷达点云和相机图像融合的车道线检测方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出本发明实施例提供车载系统的结构图；
图2示出了本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测方法的流程示意图；
图3示出了本发明实施例提供的确定车道融合图像的流程示意图；
图4示出了本发明实施例提供的获取第一车道区域信息的流程示意图；
图5示出了本发明实施例提供的获取第二车道区域信息的流程示意图；
图6示出了本发明实施例提供的获得车道融合图像的流程示意图；
图7示出了本发明实施例提供的确定路面融合图像的流程示意图；
图8示出了本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测装置的功能模块示意图；
图9示出了本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测装置的一种集成模块示意图；
图10示出了本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测装置的另一种集成模块示意图；
图11示出本发明实施例提供的芯片的结构示意图。
附图标记：
11-雷达设备， 12-图像采集设备；
13-终端设备， 21-接收模块；
22-车道融合模块， 23-图像融合模块；
24-检测模块， 31-通信单元；
32-处理单元， 41-处理器；
42-通信接口， 43-通信线路；
44-存储器， 45-处理器；
50-芯片， 501-处理器；
502-通信接口， 503-存储器；
504-总线系统。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：
点云，是指在逆向工程中通过测量仪器得到的产品外观表面的点数据集合。
归一化，是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
本发明实施例提供的方法应用于车载系统中。图1示出本发明实施例提供车载系统的结构图。如图1所示，该车载系统包括车辆以及设在车辆上的雷达设备11、图像采集设备12和终端设备13。雷达设备11、图像采集设备12和终端设备13采用通信连接。
上述车辆可以为无人驾驶交通工具，也可以为有人驾驶的交通工具。交通工具以为汽车。然而，示例系统还可实现在其它车辆上或采取其它车辆的形式，诸如轿车、卡车、摩托车、公交车、船、飞机、直升机、割草机、铲雪车、休旅车、游乐园车辆、农业设备、施工设备、有轨电车、高尔夫球车、火车和电车等其它车辆。此外，机器人装置也可用于执行本文描述的方法和系统。
上述雷达设备11可以采集路面点云信息。所述雷达设备11可以为激光雷达等各种雷达设备。
上述图像采集设备12可以采集路面图像信息。所述图像采集设备12可以为前向单目相机，前向单目摄像头、彩色摄像机等各种图像采集设备。
上述终端设备13可以为车载终端、手机、电脑等各种终端设备。
近年来，随着无人驾驶技术的迅速发展。汽车依据激光雷达、相机、轮速里程计等传感器对环境进行感知，以保证驾驶的安全性和舒适性。
在车辆行驶过程中，可对车道线进行检测。检测到的车道线检测被广泛应用于车道保持、自动停车、缺乏GPS信息和高精地图的停车场等场景。检测到的车道线将被作为可行驶区域的边界，直接影响到驾驶控制和路径规划。
目前，对车道线检测主要分为基于手工特征和基于深度学习的两类检测方法。基于手工特征方法的参数往往依赖经验值，且经验值针对特定数据集有所差异，因此对不同场景检测的鲁棒性不佳。基于深度学习的检测方法，使用图像作为主要的输入信息，然而在光照变化等条件导致图像信息缺失的时候，检测系统将会出现严重的失灵，由于图像中缺乏空间距离信息也会造成检测的不准确。当利用激光雷达点云作为输入信息时，激光雷达点云虽然可以克服光照变化的问题，但是由于点云的稀疏性导致其检测能力有限，所以现有技术中的方法并不能有效、准确的检测出车道线。
为了解决上述情况，本发明实施例提供一种基于激光雷达点云和相机图像融合的车道线检测方法。本发明实施例提供的方法中由雷达设备执行的步骤，也可以由应用于雷达设备中的芯片执行；由图像采集设备执行的步骤，也可以由应用于图像采集设备中的芯片执行；由终端设备执行的步骤，也可以由应用于终端设备中的芯片执行。下述实施例以雷达设备11、图像采集设备12和终端设备13分别作为执行主体为例。
图2示出了本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测方法的流程示意图。如图2所示，本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测方法包括：
步骤101：雷达设备采集路面点云信息。路面点云信息所含有的每个点包含了三维坐标和激光雷达的反射率信息。雷达设备设置在汽车等交通工具上。在实际应用中，汽车可以在路面上行驶，也可以在停在路边。汽车的运动状态可以根据实际情况进行设置。
示例的，采用安装在行驶车辆上的激光雷达实时采集路面点云信息。当采用激光雷达时，激光雷达与路面成一定倾斜角采集行驶车辆前方和路面上方的信息。当采用环视激光雷达时，环视激光雷达则会自动采集360°的信息。
步骤102：雷达设备向终端设备发送路面点云信息。
步骤103：图像采集设备采集路面图像信息。图像采集设备设置在汽车上。在实际应用中，汽车可以在路面上行驶，也可以在停在路边。汽车的运动状态可以根据实际情况进行设置。
示例的，采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集路面图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。
在本示例中，路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。
通常，由于车道线在色彩、材料上与周围路面差异较大，且具有狭长的形状作为物理特征，因此通过包含车道线的路面图像信息或路面点云信息可以直接分辨出车道线。为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵，以方便后续路面点云信息和路面图像信息的处理。
具体的，可参考张正友博士在1999年发表在国际顶级会议ICCV(EEEInternational Conference on Computer Vision，即国际计算机视觉大会)上的论文《Flexible Camera Calibration By Viewing a Plane From Unknown Orientations》。对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得，由于标定环节不涉及本发明的重点内容，故不作赘述。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。
步骤104：图像采集设备向终端设备发送路面图像信息。
步骤105：终端设备接收同一路面的路面点云信息和路面图像信息。
步骤106：终端设备根据路面点云信息和路面图像信息，确定车道融合图像。
步骤107：终端设备根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像。
步骤108：终端设备从路面融合图像检测车道线。
终端设备再根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像，提取车道区域，增加了信息含量。此时，终端设备从路面融合图像可以准确、有效的检测车道线，从而提高路面车道线检测的鲁棒性。由此可见，本发明提供的基于激光雷达点云和相机图像融合的车道线检测方法可以充分利用了点云和图像之间的互补优势，有效，准确的检测出车道线。由于车道线自然地包含于车道区域中，因此可以在含有车道线的区域上先行进行车道区域检测，因此可以在后续检测车道线的步骤前筛选出重点检查区域，从而提高车道线检测的准确性。此处默认车辆已经位于可行驶道路R上。
由上可知，本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测方法中，通过终端设备接收雷达设备采集的路面点云信息和图像采集设备采集的同一路面的路面图像信息，并根据这些信息确定车道融合图像。此时不仅克服了在纯点云检测过程中，由于点云数据过于稀疏导致其检测能力有限的弱点，而且还克服了在纯图像检测过程中，由于光照条件变化、车道环境的色彩图像过于相似和道路不平整等情况的影响，容易出现图像信息缺失的问题，有效的改善了检测效果，提高了路面车道线检测的鲁棒性。
作为一种可能的实现方式中，图3示出了本发明实施例提供的确定车道融合图像的流程示意图。如图3所示，终端设备根据路面点云信息和路面图像信息，确定车道融合图像包括：
步骤1061：终端设备从路面点云信息提取第一车道区域信息。
应理解，第一车道区域信息中每个点与待检测路面点云信息中一个或多个点对应，第一车道区域信息的每个点的值用于指示待检测路面点云信息上的点是否属于车道区域。
步骤1062：终端设备从路面图像信息提取第二车道区域信息。应理解，步骤1061和步骤1062没有预设的顺序，相互独立，即可以并行地同时进行或串行地按先后顺序进行，给出的示例中为同时进行的方式。
示例的，利用安装在行驶车辆上的单目相机采集路面图像信息。将待检测的路面图像信息输入终端设备，以获得第二车道区域信息。应理解，第二车道区域信息中每个像素与待检测路面图像信息中一个或多个像素对应，第二车道区域信息的每个像素的值用于指示待检测路面图像信息上的像素是否属于车道区域。
步骤1063：终端设备将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像。
在一种可选方式中，图4示出了本发明实施例提供的获取第一车道区域信息的流程示意图。如图4所示，终端设备从路面点云信息提取第一车道区域信息包括：
步骤10611：终端设备根据路面点云信息确定可能车道区域的点云信息。
示例的，可以采用车道聚类模型确定可能车道区域的点云信息。车道聚类模型可以采用如下方式训练确定。
将激光雷达采集的路面点云信息解析并读取为包含坐标和反射强度的PCL格式，并对采集的路面点云信息进行样本点云的标注。其中样本点云的标注用于指示点云上的已知车道区域或车道线的位置。
示例的，对于样本点云的标注，一方面可以预先搜集大量城市道路的点云作为样本点云，经过预处理流程后，人工筛选出车道区域，对于属于车道区域的像素标记为1，其他标记为0，得到二值点云。另一方面也可以借助KITTI数据集或其他公开的包含对应点云与图像的数据集作为训练集训练车道聚类模型。
为了保证车道聚类模型的检测准确性，完成车道聚类模型训练后，可以选择合适的误差函数，通过对比误差确定是否调整训练参数。例如：该车道区域聚类所采用的车道聚类模型在训练过程的误差满足：
CrossEntropy(Points)＝Σi∈Points{-[1I"(i)log(1-1I′(i))+(1-1I"(i))log(1I′(i))]}
其中，I′表示属于标注的第一车道区域的点云集合，I"表示模型在训练中判断属于第一车道区域的点云集合，1I′(·)表示对I′集合的特征函数，1I"(·)表示对I"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Points表示点云集合，i表示点云集合中的单个点。
根据车道聚类模型在训练过程的误差对车道聚类模型的训练参数进行调整，调整方式为梯度下降方法。当车道聚类模型收敛时，车道聚类模型在训练过程的误差不再随着训练参数的变化而变化，或者车道聚类模型在训练过程的误差变化小于阈值。此时车道聚类模型完成训练。
在完成车道聚类模型训练后，终端设备利用车道聚类模型检测路面点云信息，并输出车道点云检测结果。此时，可以根据车道点云检测结果从路面点云信息提取相应的点云信息作为可能车道区域的点云信息。
示例的，当车辆行驶于单条行车道时，在获取到携带有车道线的路面点云信息后，可以先根据路面点云信息确定单条行车道的道路中心附近的点云信息，因此，取点云坐标下沿着x轴，即沿着采集车辆行车方向上，行车中心线的阈值[-r1,r1]范围作为道路区域的中心部分(即点云宽度范围为[-r1,r1]；其中，r1为经验值)，记为R1。此时R1上除开车辆或行人等障碍物的区域为备选车道区域的宽度范围。
对R1进行分段滤波。即沿着x轴，对于每个x的取值，取z坐标(z为垂直地面的坐标轴)最小值z0的点为车道。由于有噪声的影响，设备选车道区域对应点云区域的高程范围的经验阈值为r2，取[z0,z0+r2]范围内的点为可能车道区域R2。
由于路面点云信息较为稀疏，因此，在x轴上逐点计算不会造成过大的计算负担。在此基础上，对R2上的点进行聚类，取聚类结果最大的一类作为可能车道区域R3的点云信息。也就是说，可能车道区域R3为单条行车道的道路中心附近的车道点云信息。此处应当理解的是，单条行车道的道路中心附近是指以行车中心线为轴线的区域，该区域具有一定的高程和宽度。在路面点云信息上，该区域的点云高程范围为[z0,z0+r2]，点云宽度范围的为[-r1,r1]。
步骤10612：在可能车道区域的点云高程范围内对路面点云信息进行赋权和车道区域聚类，得到车道区域的点云聚类结果。可能车道区域的点云信息的权值大于路面除了可能车道区域以外的点云信息的权值。
示例的，对单条行车道的非中心附近区域进行检索，取可能车道区域R3的点云高程范围(z轴取值)作为阈值[z1,z2]，考察全图在阈值范围[z1,z2]内的点云部分，记为R0。对R0和R3进行赋权和车道区域聚类，其中R3赋以更大的权值(即可能车道区域的点云信息的权值大于路面除了可能车道区域以外的点云信息的权值)，得到车道区域R4。对点云进行二值化处理，其中车道区域R4区域赋值为1，其他区域赋值为0。
步骤10614：终端设备根据车道区域的点云聚类结果从路面点云信息获得第一车道区域信息。当然除了采用聚类的方式从路面点云信息获得第一车道区域信息，还可以采用分割等方式从路面点云信息获得第一车道区域信息，在此不再过多叙述。
作为一种可能的实现方式中，图4示出了本发明实施例提供的获取第一车道区域信息的流程示意图。如图4所示，终端设备将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像前，从点云信息提取第一车道区域信息后，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
步骤10613：终端设备将第一车道区域信息进行坐标转换，使得第一车道区域信息与路面图像信息处在同一坐标系。
示例的，由于激光雷达和前向单目相机已经完成标定工作，且根据标定参数得到激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002380327120000101
根据转换关系
Figure BDA0002380327120000102
可以将激光雷达的第一车道区域信息I转换为路面图像信息对应的二维点云图像I′。
将第一车道区域信息参进行处理，使得处理后的第一车道区域信息的特征参数表征的车道区域与路面图像信息的特征参数表征的车道区域相同。此处的相同包括形状相同和尺寸相同。
截取二维点云图像I′和路面图像对应位置且相同尺寸的部分，再对空缺的部分以0值填补，得到二维点云图像I″。应当注意，由于图片在预处理阶段可能经过裁剪、拉伸或其他变换过程，因此点云图像应当根据预处理后的、将作为终端设备输出的图像部分进行调整。
作为一种可能的实现方式中，图5示出了本发明实施例提供的获取第二车道区域信息的流程示意图。如图5所示，终端设备从路面图像信息提取第二车道区域信息包括：
步骤10621：终端设备对路面图像信息进行图像识别，获得第二车道区域信息。
其中，图像识别采用具有图像语义分割功能的神经网络图像识别模型。
神经网络图像识别模型可以是任何具有图像语义分割功能神经网络图像识别模型，例如全卷积网络(Fully Convolutional Networks，缩写为FCN)、SegNet(SementicSegmentation-Segnet)语义分割网络等。神经网络图像识别模型可以是经过预训练的，也可以是根据本地数据进行训练的。下面描述神经网络图像识别模型的示例性训练过程。
示例的，选用SegNet语义分割网络。在神经网络图像识别模型的训练过程中，包含了数据预处理和样本图像的标注。其中，样本图像的标注用于指示图像上的已知车道的位置。
对于数据预处理，由于神经网络图像识别模型中图像的输入尺寸为(720，360，3)，即单通道上横向像素数量为720且纵向像素为360的3通道图片。从前向单目相机获取路面图像信息中的路面图像B以后，对路面图像B进行预设的变换裁剪操作，以符合神经网络图像识别模型输入的尺寸要求。
对于样本图像的标注，一方面可以预先搜集大量城市道路的图像作为样本图像，经过预处理流程后，人工筛选出车道区域，对于属于车道区域的像素标记为1，其他标记为0，得到二值图像。另一方面可以借助KITTI数据集或其他公开的包含对应点云与图像的数据集作为训练集训练神经网络图像识别模型。
把样本图像作为神经网络图像识别模型的输入，将二值图像作为神经网络图像识别模型的目标输出，对神经网络模型进行训练。本领域技术人员可以理解为神经网络模型的训练过程，下面简单描述如下。
示例的，基于工具PyTorch实现的神经网络图像识别模型，将样本图像添加到inputs列表中作为输入，设定神经网络图像识别模型的编码器和解码器的尺寸大小、批处理数量、训练轮次数等需要人工预设的超参数后，开始训练。编码器将计算得到中间层的隐向量，再由解码器解码得到图像，同目标输出作比较，根据损失函数计算出损失值loss以后，在反向传播步骤更新神经网络图像识别模型的参数，从而完成一轮训练。当训练到一定轮次后，损失值将不再下降或在某一个值附近振荡，即可认为模型收敛，此时可以停止训练。但是，这里神经网络图像识别模型的输入输出尺寸保持一致，均为(720，360，3)。
对于神经网络图像识别模型的损失函数和激活函数，本实施例采用常用的交叉熵作为损失函数，Softmax和ReLu作为激活函数，但也可以改为其他函数。
为了保证神经网络图像识别模型的检测准确性，完成神经网络图像识别模型训练后，可以选择合适的误差函数，通过对比误差确定是否调整训练参数。例如：该神经网络图像识别模型在训练过程的误差满足：
CrossEntropy(Pixels1)＝Σh∈Pixels1{-[1H"(h)log(1-1H′(h))+(1-1H"(h))log(1H′(h))]}
其中，H′表示属于标注的第二车道区域的像素集合，H"表示模型在训练中判断属于第二车道区域的像素集合，1H′(·)表示对H′集合的特征函数，1H"(·)表示对H″集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels1表示路面图像像素的集合，h表示路面图像像素集合中的单个像素。
根据神经网络图像识别模型在训练过程的误差对神经网络图像识别模型的训练参数，调整方式为梯度下降方法。当神经网络图像识别模型收敛时，神经网络图像识别模型在训练过程的误差不再随着训练参数变化而变化，或者神经网络图像识别模型在训练过程的误差变化在阈值范围内振荡。此时，神经网络图像识别模型完成训练。
当神经网络图像识别模型完成训练后，可以开始识别检测新的路面图像。
作为一种可能的实现方式，当第一车道区域信息含有的车道信息的赋值为1，从路面图像信息提取第二车道区域信息前，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
步骤10622：终端设备对路面图像信息进行归一化处理。
示例的，由于路面图像信息表征的路面图像B的三个通道的灰度数值的取值范围为[0,255]。对路面图像信息进行归一化处理，(即除以255)后得到新值，作为色彩信息。一方面是为了和前文所述二值化的点云在数值范围上对应；另一方面是对路面图像信息进行归一化可以加速检测神经网络图像识别模型训练过程的收敛过程，最后得到处理后的路面图像B′。
作为一种可能的实现方式中，图6示出了本发明实施例提供的获得车道融合图像的流程示意图。如图6所示，终端设备将第一车道区域信息和第二车道区域信息进行融合，获得车道融合图像包括：
步骤10631：终端设备增加第一车道区域信息含有的点云密度，获得增强型第一车道区域信息。
由于第一车道区域信息分布在不同的点云扫描线上，较为稀疏，对于稠密的图像融合意义不大，因此要扩大点云的影响范围。
示例的，设置阈值a，对于第一车道区域中二维点云图像I′上取值为1的点，即第一车道区域对应点分别做中心点画圆，并且半径为a，以构成连通图即获得增强型第一车道区域信息。
步骤10632：终端设备将增强型第一车道区域信息与第二车道区域信息叠加，获得车道融合图像。
由于车道线对应的像素在路面图像中占比较低，应当充分提取包含车道线的车道区域。因此，将增强型第一车道区域信息与第二车道区域信息叠加，获得车道融合图像。此时车道融合图像中所有表示车道区域的点的值依然为1。
作为一种可能的实现方式中，图7示出了本发明实施例提供的确定路面融合图像的流程示意图。如图7所示，终端设备根据点云信息、图像信息和车道融合图像，确定路面融合图像包括：
步骤1071：终端设备对路面点云信息进行坐标转换，使得路面点云信息与路面图像信息处在同一坐标系，获得二维点云图像。
路面点云信息中每个点包含了三维坐标和激光雷达的反射率信息。由于车道线的材料通常和车道路面的材料不一致，因此在路面点云信息上会有较为明显的反差。
示例的，由于激光雷达和前向单目相机已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002380327120000131
根据转换关系
Figure BDA0002380327120000132
可以将激光雷达的路面点云信息A1转换为路面图像信息对应的二维点云图像A2。
步骤1073：终端设备在路面图像信息建立的新通道内增加二维点云图像，利用车道融合图像对二维点云图像进行像素加权，获得路面融合图像。
具体地，将二维点云图像A2叠加到路面图像B′作为第4通道，将车道融合图像作为权重系数叠加到路面图像B′的每一层，叠加方法为，在车道融合图像的值为1的部分的坐标上以系数1乘以路面图像B′对应像素，在车道融合图像的值为0的部分的坐标上以系数γ乘以路面图像B′的对应像素，γ的值在0到1之间，并且作为神经网络检测模型的参数进行学习，从而得到路面融合图像D。
示例的，二维点云图像A2和路面图像B′的叠加可以是分别带有权值的，所带权值作为网络参数，由网络在训练过程中迭代计算得出，也可以根据经验值预设。其中，车道融合图像、二维点云图像A2和路面图像B′的融合起到了对二维点云图像A2、路面图像B′的不同区域加权的作用，车道融合图像对应区域内的点更容易被识别为车道线。
作为一种可能的实现方式，终端设备根据路面点云信息、路面图像信息和车道融合图像，确定路面融合图像前，基于激光雷达点云和相机图像融合的车道线检测方法还包括：
步骤1072：终端设备对路面图像信息进行归一化处理。第一车道区域信息含有的车道信息的赋值为1。
示例的，由于路面图像信息中路面图像B的三个通道的灰度数值的取值范围为[0,255]。对路面图像信息进行归一化处理，(即除以255)后得到新值，作为色彩信息。一方面是为了和二值化的点云在数值范围上对应；另一方面是对路面图像信息进行归一化可以加速检测神经网络图像识别模型训练过程的收敛过程，最后得到处理后的路面图像B′。
处理路面点云信息，截取二维点云图像A2和路面图像对应位置且相同尺寸的部分，再对空缺的部分以0值填补，得到二维点云图像A3。应当注意，由于图片在预处理阶段可能经过裁剪、拉伸或其他变换过程，因此点云图像应当根据预处理后的、将作为终端设备输出的图像部分进行调整。
作为一种可能的实现方式中，终端设备从路面融合图像检测车道线包括：采用神经网络检测模型对路面融合图像进行检测，确定车道线信息。
由于路面点云信息和路面图像信息中包含车道线，因此路面融合图像也包含车道线。将待检测的路面融合图像输入神经网络检测模型，以获得路面融合图像上的车道线。其中，路面融合图像上的车道线中每个像素与待检测图像中一个或多个像素对应，路面融合图像上的车道线的每个像素的值用于指示待检测路面融合图像上的像素是否属于车道线。
示例的，将路面融合图像输入神经网络检测模型，以获得车道线信息。
神经网络检测模型可以是任何具有图像语义分割功能神经网络，全卷积网络(Fully Convolutional Networks，缩写为FCN)、SegNet(Sementic Segmentation-Segnet)语义分割网络等。神经网络模型可以是经过预训练的，也可以是根据本地数据进行训练的。
示例的，选用SegNet语义分割网络。在神经网络检测模型的训练过程中，包含了数据预处理和样本图像的标注。其中，样本图像的标注用于指示图像上的已知车道线的位置。对于样本图像的标注，可以预先搜集大量城市道路的图像作为样本图像，经过预处理流程后，人工筛选出车道线，对于属于车道线的像素标记为1，其他标记为0，得到二值图像标签作为目标输出。
将路面融合图像作为神经网络检测模型的输入，将二值图像标签作为神经网络检测模型的目标输出，对神经网络检测模型进行训练。本领域技术人员可以理解为神经网络模型的训练过程，下面简单描述。
对于数据预处理流程，规定神经网络检测模型中图像的输入尺寸为(720，360，3)。从前向单目相机获取路面图像信息以后，对路面图像信息行预设的变换裁剪，以符合神经网络检测模型输入的尺寸要求。
基于工具PyTorch实现的神经网络检测模型，将路面融合图像添加到inputs列表中作为输入，设定神经网络检测模型的超参数后开始训练，编码器将计算得到中间层的隐向量，再由解码器解码得到车道线的二值图像，类似图像标签，1代表车道线，0代表其他区域。将输出同目标输出计算出误差值loss以后，在反向传播步骤更新神经网络检测模型的参数，从而完成一轮训练。当训练到一定轮次后，损失值将不再下降或在某一个值附近振荡，此时可以停止训练。
对于损失函数，这里采用常用的交叉熵作为损失函数，Softmax和ReLu作为激活函数。
为了保证神经网络检测模型的检测准确性，完成神经网络检测模型训练后，可以选择合适的误差函数，通过对比误差确定是否调整训练参数。例如：该神经网络检测模型在训练过程的误差满足：
CrossEntropy(Pixels2)＝Σf∈Poxels2{-[1F"(f)log(1-1F′(f))+(1-1F"(f))log(1F′(f))]}
其中，F′表示属于标注的路面融合图像的像素集合，F"表示模型在训练中判断属于所述路面融合图像的像素集合，1F′表示对F′集合的特征函数，1F"表示对F"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels2表示路面融合图像像素的集合，f表示路面融合图像像素集合中的单个像素。
根据神经网络检测模型在训练过程的误差对神经网络检测模型的训练参数进行调整，调整方式为梯度下降方法。当神经网络检测模型收敛时，神经网络检测模型在训练过程的误差不再随着训练参数变化而变化，或者神经网络检测模型的训练参数的振荡幅度在阈值范围内。此时神经网络检测模型完成训练。
当神经网络检测模型完成训练后，可以开始完整流程的测试。测试可以选用任意合适的指标，示例的，使用F1-score函数作为评价指标：
Figure BDA0002380327120000151
Figure BDA0002380327120000152
其中，L表示标注的车道线；l表示检测出的车道线；L和l上的每个像素都属于车道线类别；F1(lane)表示衡量模型检测车道线精确度的F1分数，lane表示车道；Precise表示模型检测出真实的车道线的精确率；Recall表示检测结果对真实车道线标记的召回率；i表示集合内的单个像素点。
F1-score函数用于衡量模型检测出车道线的准确度，是对Precise和Recall两个指标的平衡。当F1(lane)值越大，说明车道线检测准确度越高；当F1(lane)值越小，说明车道线检测准确度越低。
在上述示例中，原始采集的路面点云图像和路面图像信息可以得到一个能指示车道线的二值图像，其中像素的值为1表示车道线(白色区域)，0表示其他区域(黑色区域)。
若获得了路面点云图像和路面图像信息上关于车道区域的标注，那么还可以利用在步骤1061、步骤1062和步骤1063输出的能指示车道区域的二值图像，对车道检测模型进行修正，二值图像中像素的值为1表示车道区域，0表示其他区域。
示例的，为了提升车道聚类模型、神经网络图像识别模型和神经网络检测模型的性能，提供一种训练方法。该方法与训练数据集有关联。例如：若获得的训练数据包含了车道线和车道区域的标注，那么可以将车道聚类模型、神经网络图像识别模型和神经网络检测模型看做一个整体的模型进行分阶段训练。此时对车道区域的检测阶段可以利用对车道的标注来计算模型在对应阶段的误差、纠正模型。
在分阶段训练中，对于路面点云信息来说，在训练过程中，采用目标输出(真实车道的标签)替代检测得到的车道区域，将不带标签的点云输入车道聚类模型中，检测得到第一车道区域信息，将真实车道的标签和检测得到的第一车道区域信息代入车道聚类模型的交叉熵函数公式中，可以确定车道聚类模型的误差。当车道聚类模型的误差不满足误差要求(例如：大于车道聚类模型的误差)，则调整车道聚类模型的训练参数，直到车道聚类模型的误差满足误差要求(例如：小于车道聚类模型的误差)。此时，从路面点云信息所提取的第一车道区域信息比较准确，从而确保车道融合图像可以准确反映车道区域信息，并在步骤107和步骤108能够得到准确的结果。应理解，若获得的训练数据仅包含了车道线的标注点云，那么无法分阶段训练。
在分阶段训练中，对于路面图像信息来说，在训练过程中，采用目标输出(真实车道的标签)替代检测得到的车道区域，将不带标签的图像输入神经网络图像识别模型中，检测得到第二车道区域信息，将真实车道的标签和检测得到的第二车道区域信息带入神经网络图像识别模型的交叉熵函数公式中，可以确定神经网络图像识别模型的误差。当神经网络图像识别模型的误差不满足误差要求(例如：大于神经网络图像识别模型的误差)，则调整神经网络图像识别模型的训练参数，直到神经网络图像识别模型的误差满足误差要求(例如：小于神经网络图像识别模型的误差)。此时，从路面图像信息所提取的第二车道区域信息比较准确，从而确保车道融合图像可以准确反映车道区域信息。
对于神经网络检测模型来说，在训练过程中，采用目标输出(真实车道线的标签)替代检测得到的车道线，将不带标签的图像作为步骤1062的输入，检测得到第二车道区域信息，将真实真车道线的标签和检测得到的车道线信息带入神经网络检测模型的交叉熵函数公式中，可以确定神经网络检测模型的误差。当神经网络检测模型的误差不满足误差要求(例如：大于神经网络检测模型的误差)，则调整神经网络检测模型的训练参数，直到神经网络检测模型的误差满足误差要求(例如：小于神经网络检测模型的误差)。此时，从路面融合图像所提取的车道线信息比较准确。
另外，在训练阶段，在完成车道聚类模型和神经网络图像识别模型训练后，将预先标注好的路面点云信息以点云为圆心的扩展，即将上文所述的对点云中，要进行中心点画圆的点的集合，由车道检测模块所选择的属于路面(即车道区域)的点云，替换为标注的真实属于路面的点云；在测试阶段，以点云为运行的扩展，使得路面点云信息进行加密，然后利用测试阶段检测到的第一车道区域信息和第二车道区域信息进行融合。
在训练过程和测试过程中，均将不带标签的图像输入神经网络图像识别模型中，检测得到第二车道区域信息，经步骤1063融合后作为后续步骤108的测试的输入。同理，以同样的方式处理第一车道区域信息，即在训练和在测试阶段，均对步骤1063输入步骤1061输出的第一车道区域信息，进行后续的处理。这种情况下，只关注车道线的检测结果，只在步骤108计算误差。
上述主要从各个网元之间交互的角度对本发明实施例的方案进行了介绍。可以理解的是，各个网元，例如雷达设备、图像采集设备和终端设备等为了实现上述功能，其包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例雷达设备、图像采集设备和终端设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
上面结合图2至图7，对本发明实施例的方法进行了说明，下面对本发明实施例提供的执行上述方法的基于激光雷达点云和相机图像融合的车道线检测方法进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测装置可以执行上述基于激光雷达点云和相机图像融合的车道线检测方法中由雷达设备、图像采集设备和终端设备执行的步骤。
本发明实施例可以根据上述方法示例对雷达设备、图像采集设备和终端设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。应理解，雷达设备和图像采集设备为现有结构，此处不再描述。下面仅对终端设备从功能模块和集成单元的角度进行描述。
在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中所涉及的一种基于激光雷达点云和相机图像融合的车道线检测装置的功能模块示意图。该车道线检测装置为终端设备或应用于终端设备的芯片。
如图8所示，该基于激光雷达点云和相机图像融合的车道线检测装置包括：接收模块21，用于支持车道线检测装置执行上述实施例中由终端设备13执行的步骤105。车道融合模块22，用于支持车道线检测装置执行上述实施例中由终端设备13执行的步骤106。图像融合模块23，用于支持车道线检测装置执行上述实施例中由终端设备13执行的步骤107。检测模块24，用于支持车道线检测装置执行上述实施例中由终端设备13执行的步骤108。
作为一种可能的实现方式，如图8所示，上述车道融合模块22具体用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤1061～步骤1063。
作为一种可能的实现方式，如图8所示，上述图像融合模块23具体用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤1071～步骤1073。
作为一种可能的实现方式，如图8所示，上述检测模块24具体用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤108。
在一种可能的实现方式，车道区域聚类所采用的车道聚类模型在训练过程的误差满足：
CrossEntropy(Points)＝Σi∈Points{-[1I"(i)log(1-1I′(i))+(1-1I"(i))log(1I′(i))]}
其中，I′表示属于标注的第一车道区域的点云集合，I"表示模型在训练中判断属于第一车道区域的点云集合，1I′(·)表示对I′集合的特征函数，1I"(·)表示对I"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Points表示点云集合，i表示点云集合中的单个点。
在一种可能的实现方式，图像识别采用具有图像语义分割功能的神经网络图像识别模型。神经网络图像识别模型在训练过程的误差满足：
CrossEntropy(Pixels1)＝Σh∈Pixels1{-[1H"(h)log(1-1H＇(h))+(1-1H"(h))log(1H＇(h))]}
其中，H′表示属于标注的第二车道区域的像素集合，H"表示模型在训练中判断属于第二车道区域的像素集合，1H′(·)表示对H′集合的特征函数，1H"(·)表示对H″集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels1表示路面图像像素的集合，h表示路面图像像素集合中的单个像素。
在一种可能的实现方式，神经网络检测模型在训练过程的误差满足：
CrossEntropy(Pixels2)＝Σf∈Pixels2{-[1F"(f)log(1-1F′(f))+(1-1F"(f))log(1F′(f))]}
其中，F′表示属于标注的路面融合图像的像素集合，F"表示模型在训练中判断属于路面融合图像的像素集合，1F′表示对F′集合的特征函数，1F"表示对F"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels2表示路面融合图像像素的集合，f表示路面融合图像像素集合中的单个像素。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成单元的情况下，图9示出本发明实施例提供的基于激光雷达点云和相机图像融合的车道线检测装置的集成模块示意图。
如图9所示，该基于激光雷达点云和相机图像融合的车道线检测装置可以包括：通信单元31和处理单元32。其中，
如图9所示，通信单元31用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤105。处理单元32用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤106～步骤108。
在一种可能的实现方式，车道区域聚类所采用的车道聚类模型在训练过程的误差满足：
CrossEntropy(Points)＝Σi∈Points{-[1I"(i)log(1-1I＇(i))+(1-1I"(i))log(1I′(i))]}
其中，I′表示属于标注的第一车道区域的点云集合，I"表示模型在训练中判断属于第一车道区域的点云集合，1I′(·)表示对I′集合的特征函数，1I"(·)表示对I"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Points表示点云集合，i表示点云集合中的单个点。
在一种可能的实现方式，图像识别采用具有图像语义分割功能的神经网络图像识别模型；神经网络图像识别模型在训练过程的误差满足：
CrossEntropy(Pixels1)＝Σh∈Pixels1{-[1H"(h)log(1-1H′(h))+(1-1H"(h))log(1H′(h))]}
其中，H′表示属于标注的第二车道区域的像素集合，H"表示模型在训练中判断属于第二车道区域的像素集合，1H′(·)表示对H′集合的特征函数，1H"(·)表示对H″集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels1表示路面图像像素的集合，h表示路面图像像素集合中的单个像素。
在一种可能的实现方式，神经网络检测模型在训练过程的误差满足：
CrossEntropy(Pixels2)＝Σf∈Pixels2{-[1F"(f)log(1-1F′(f))+(1-1F"(f))log(1F′(f))]}
其中，F′表示属于标注的路面融合图像的像素集合，F"表示模型在训练中判断属于路面融合图像的像素集合，1F′表示对F′集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels2表示路面融合图像像素的集合，f表示路面融合图像像素集合中的单个像素。
其中，如图9所示，处理单元32可以是处理器或控制器，例如可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital SignalProcessor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理单元也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元可以是收发器、收发电路或通信接口等。存储单元可以是存储器。
如图9所示，以上通信单元31可以是该装置的一种通信接口，用于从其它装置接收信号。例如，当该装置以芯片的方式实现时，该通信单元31是该芯片用于从其它芯片或装置接收信号或发送信号的通信接口。
当上述处理单元为处理器，如图9所示，上述通信单元为通信接口时，本发明实施例所涉及的基于激光雷达点云和相机图像融合的车道线检测装置可以为图10所示的车道线检测装置。
如图10所示，本发明实施例提供一种基于激光雷达点云和相机图像融合的车道线检测装置，该装置包括处理器41以及与处理器41耦合的通信接口42。
如图10所示，通信接口42用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤105。处理器41用于支持车道线检测装置执行上述实施例中由终端设备执行的步骤106～步骤108。
作为一种可能的实现方式，如图10所示，处理器41可以是一个通用中央处理器(central processing unit，CPU)，微处理器，专用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
作为一种可能的实现方式，如图10所示，通信接口42，使用任何收发器一类的装置，用于与其他设备或通信网络通信。
作为一种可能的实现方式，如图10所示，通信线路43可包括一通路，在上述组件之间传送信息。
作为一种可能的实现方式，如图10所示，该通信设备还可以包括存储器44。存储器44可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasableprogrammable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路43与处理器相连接。存储器也可以和处理器集成在一起。
其中，如图10所示，存储器44用于存储执行本发明方案的计算机执行指令，并由处理器41来控制执行。处理器41用于执行存储器44中存储的计算机执行指令，从而实现本发明下述实施例提供的基于激光雷达点云和相机图像融合的车道线检测方法。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
在具体实现中，作为一种实施例，如图10所示，处理器41可以包括一个或多个CPU，如图10中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图10所示，该装置可以包括多个处理器，如图10中的处理器41和处理器45。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
图11示出一种芯片的结构示意图。如图11所示，该芯片50包括一个或两个以上(包括两个)处理器501和通信接口502。
可选的，如图11所示，该芯片还包括存储器503。存储器503可以包括只读存储器和随机存取存储器，并向处理器501提供操作指令和数据。存储器503的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图11所示，存储器503存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
如图11所示，处理器501控制本发明实施例中电子设备包括的处理器和电源中任一个的处理操作，处理器501还可以称为中央处理单元(central processing unit，CPU)。
如图11所示，存储器503包括只读存储器和随机存取存储器，并向处理器503提供指令和数据。存储器503的一部分还可以包括NVRAM。例如应用中处理器501、通信接口502以及存储器503通过总线系统504耦合在一起，其中总线系统504除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图11中将各种总线都标为总线系统504。
一种可能的实现方式中，如图11所示，通信接口502用于支持上述芯片执行上述实施例中的终端设备的接收和发送的步骤。处理器501用于支持上述芯片执行上述实施例中终端设备的处理的步骤。
一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现如图9和图10中处理器的功能。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术间题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有不同计算步骤的算法来实现，实施例中列举的简单的算法不应被视为对本发明所要求权利的限制。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，包括：
接收同一路面的路面点云信息和路面图像信息；
根据所述路面点云信息和所述路面图像信息，确定车道融合图像；
根据所述路面点云信息、所述路面图像信息和所述车道融合图像，确定路面融合图像；
从所述路面融合图像检测车道线。
2.根据权利要求1所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述根据所述路面点云信息和所述路面图像信息，确定车道融合图像包括：
从所述路面点云信息提取第一车道区域信息；
从所述路面图像信息提取第二车道区域信息；
将所述第一车道区域信息和所述第二车道区域信息进行融合，获得车道融合图像。
3.根据权利要求2所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述从所述路面点云信息提取第一车道区域信息包括：
根据所述路面点云信息确定可能车道区域的点云信息；
在所述可能车道区域的点云高程范围内对所述路面点云信息进行赋权和车道区域聚类，得到车道区域的点云聚类结果；所述可能车道区域的点云信息的权值大于所述路面除了可能车道区域以外的点云信息的权值；
根据所述车道区域的点云聚类结果从所述路面点云信息获得所述第一车道区域信息；
所述车道区域聚类所采用的车道聚类模型在训练过程的误差满足：
CrossEntropy(Points)＝Σi∈Points{-[1I"(i)log(1-1I′(i))+(1-1I"(i))log(1I′(i))]}
其中，I′表示属于标注的所述第一车道区域的点云集合，I"表示模型在训练中判断属于所述第一车道区域的点云集合，1I′(·)表示对I′集合的特征函数，1I"(·)表示对I"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Points表示点云集合，i表示点云集合中的单个点。
4.根据权利要求2所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述从所述路面图像信息提取第二车道区域信息包括：
对所述路面图像信息进行图像识别，获得第二车道区域信息；
所述图像识别采用具有图像语义分割功能的神经网络图像识别模型；所述神经网络图像识别模型在训练过程的误差满足：
CrossEntropy(Pixels1)＝Σh∈Pixels1{-[1H"(h)log(1-1H′(h))+(1-1H"(h))log(1H′(h))]}
其中，H′表示属于标注的所述第二车道区域的像素集合，H"表示模型在训练中判断属于所述第二车道区域的像素集合，1H′(·)表示对H′集合的特征函数，1H"(·)表示对H″集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels1表示路面图像像素的集合，h表示路面图像像素集合中的单个像素。
5.根据权利要求2所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述将所述第一车道区域信息和所述第二车道区域信息进行融合，获得车道融合图像，包括：
增加所述第一车道区域信息含有的点云密度，获得增强型第一车道区域信息；
将所述增强型第一车道区域信息与所述第二车道区域信息叠加，获得车道融合图像。
6.根据权利要求2所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述根据所述路面点云信息、所述路面图像信息和所述车道融合图像，确定路面融合图像包括：
对所述路面点云信息进行坐标转换，使得所述路面点云信息与所述路面图像信息处在同一坐标系，获得二维点云图像；
在所述路面图像信息建立的新通道内增加所述二维点云图像，利用所述车道融合图像对所述二维点云图像进行像素加权，获得路面融合图像。
7.根据权利要求2～6任一项所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述将所述第一车道区域信息和所述第二车道区域信息进行融合，获得车道融合图像前，从所述点云信息提取第一车道区域信息后，所述基于激光雷达点云和相机图像融合的车道线检测方法还包括：
将所述第一车道区域信息进行坐标转换，使得所述第一车道区域信息与所述路面图像信息处在同一坐标系；
和/或，
将所述第一车道区域信息进行处理，使得处理后的所述第一车道区域信息与所述路面图像信息的特征参数相同；
和/或，
从所述路面图像信息提取第二车道区域信息前，所述基于激光雷达点云和相机图像融合的车道线检测方法还包括：
对所述路面图像信息进行归一化处理；所述第一车道区域信息含有的车道信息的赋值为1；
根据所述路面点云信息、所述路面图像信息和所述车道融合图像，确定路面融合图像前，所述基于激光雷达点云和相机图像融合的车道线检测方法还包括：
对所述路面图像信息进行归一化处理；所述第一车道区域信息含有的车道信息的赋值为1。
8.根据权利要求2～6任一项所述的基于激光雷达点云和相机图像融合的车道线检测方法，其特征在于，所述从所述路面融合图像检测车道线包括：
采用神经网络检测模型对所述路面融合图像进行检测，确定车道线信息；
所述神经网络检测模型在训练过程的误差满足：
CrossEntropy(Pixels2)＝Σf∈Pixels2{-[1F"(f)log(1-1F′(f))+(1-1F"(f))log(1F′(f))]}
其中，F′表示属于标注的所述路面融合图像的像素集合，F"表示模型在训练中判断属于所述路面融合图像的像素集合，1F′表示对F′集合的特征函数，1F"表示对F"集合的特征函数，CrossEntropy(·)表示交叉熵函数，Pixels2表示路面融合图像像素的集合，f表示路面融合图像像素集合中的单个像素。
9.一种基于激光雷达点云和相机图像融合的车道线检测装置，其特征在于，包括：处理器以及与所述处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，执行权利要求1～8任一项所述基于激光雷达点云和相机图像融合的车道线检测方法。
10.一种芯片，其特征在于，所述芯片中存储有指令，当所述指令被运行时，执行权利要求1～8任一权利权利权利权利权利权利权利项所述基于激光雷达点云和相机图像融合的车道线检测方法。
CN202010081032.4A 2020-02-05 2020-02-05 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 Active CN111291676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010081032.4A CN111291676B (zh) 2020-02-05 2020-02-05 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010081032.4A CN111291676B (zh) 2020-02-05 2020-02-05 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片

Publications (2)

Publication Number Publication Date
CN111291676A true CN111291676A (zh) 2020-06-16
CN111291676B CN111291676B (zh) 2020-12-11

Family

ID=71023511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010081032.4A Active CN111291676B (zh) 2020-02-05 2020-02-05 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片

Country Status (1)

Country Link
CN (1) CN111291676B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112115857A (zh) * 2020-09-17 2020-12-22 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112373474A (zh) * 2020-11-23 2021-02-19 重庆长安汽车股份有限公司 车道线融合及横向控制方法、系统、车辆及存储介质
CN112513876A (zh) * 2020-09-04 2021-03-16 华为技术有限公司 一种用于地图的路面提取方法及装置
CN112697159A (zh) * 2021-01-06 2021-04-23 智道网联科技(北京)有限公司 一种地图编辑方法及系统
CN112733812A (zh) * 2021-03-01 2021-04-30 知行汽车科技（苏州）有限公司 三维车道线检测方法、装置及存储介质
CN112896036A (zh) * 2021-01-29 2021-06-04 北京海纳川汽车部件股份有限公司 智能大灯系统和具有其的控制方法
CN113071498A (zh) * 2021-06-07 2021-07-06 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN113449650A (zh) * 2021-06-30 2021-09-28 南京航空航天大学 一种车道线检测系统及方法
CN113593026A (zh) * 2021-07-30 2021-11-02 深圳元戎启行科技有限公司 车道线标注辅助地图生成方法、装置和计算机设备
CN113674287A (zh) * 2021-09-03 2021-11-19 阿波罗智能技术(北京)有限公司 高精地图的绘制方法、装置、设备以及存储介质
CN113838141A (zh) * 2021-09-02 2021-12-24 中南大学 一种单线激光雷达与可见光相机的外参标定方法及系统
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN114037968A (zh) * 2021-11-05 2022-02-11 荆州智达电动汽车有限公司 基于深度雷达点云和图像数据融合的车道线检测方法
CN114353817A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 多源传感器车道线确定方法、系统、车辆及计算机可读存储介质
CN114627409A (zh) * 2022-02-25 2022-06-14 海信集团控股股份有限公司 一种车辆异常变道的检测方法及装置
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN115042784A (zh) * 2022-07-20 2022-09-13 重庆长安汽车股份有限公司 汽车自适应巡航系统控制方法、装置、车辆及存储介质
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN118627716A (zh) * 2024-08-13 2024-09-10 深圳市越航数字智能有限公司 一种国际物流线上交易管理系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108764187A (zh) * 2018-06-01 2018-11-06 百度在线网络技术（北京）有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
WO2019099622A1 (en) * 2017-11-15 2019-05-23 Uber Technologies, Inc. Autonomous vehicle lane boundary detection systems and methods
CN109815833A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN109858460A (zh) * 2019-02-20 2019-06-07 重庆邮电大学 一种基于三维激光雷达的车道线检测方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
US20190258261A1 (en) * 2013-04-10 2019-08-22 Waymo Llc Mapping active and inactive construction zones for autonomous driving
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法
CN110458023A (zh) * 2019-07-11 2019-11-15 浙江吉利汽车研究院有限公司 一种道路线检测模型的训练方法、道路线检测方法及装置
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190258261A1 (en) * 2013-04-10 2019-08-22 Waymo Llc Mapping active and inactive construction zones for autonomous driving
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
WO2019099622A1 (en) * 2017-11-15 2019-05-23 Uber Technologies, Inc. Autonomous vehicle lane boundary detection systems and methods
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108764187A (zh) * 2018-06-01 2018-11-06 百度在线网络技术（北京）有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
CN109815833A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN109858460A (zh) * 2019-02-20 2019-06-07 重庆邮电大学 一种基于三维激光雷达的车道线检测方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法
CN110458023A (zh) * 2019-07-11 2019-11-15 浙江吉利汽车研究院有限公司 一种道路线检测模型的训练方法、道路线检测方法及装置
CN110414418A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种图像-激光雷达图像数据多尺度融合的道路检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YASIN YENIAYDIN 等: ""Sensor Fusion of a Camera and 2D LIDAR for Lane Detection"", 《2019 27TH SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS CONFERENCE (SIU)》 *
吴一全 等: ""基于视觉的车道线检测方法研究进展"", 《仪器仪表学报》 *
朱雨桐: ""融合图像与激光雷达的车道偏离预警算法研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
US11120276B1 (en) 2020-07-30 2021-09-14 Tsinghua University Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112513876A (zh) * 2020-09-04 2021-03-16 华为技术有限公司 一种用于地图的路面提取方法及装置
CN112115857A (zh) * 2020-09-17 2020-12-22 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112115857B (zh) * 2020-09-17 2024-03-01 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112373474A (zh) * 2020-11-23 2021-02-19 重庆长安汽车股份有限公司 车道线融合及横向控制方法、系统、车辆及存储介质
CN112373474B (zh) * 2020-11-23 2022-05-17 重庆长安汽车股份有限公司 车道线融合及横向控制方法、系统、车辆及存储介质
CN112697159A (zh) * 2021-01-06 2021-04-23 智道网联科技(北京)有限公司 一种地图编辑方法及系统
CN112697159B (zh) * 2021-01-06 2024-01-23 智道网联科技(北京)有限公司 一种地图编辑方法及系统
CN112896036A (zh) * 2021-01-29 2021-06-04 北京海纳川汽车部件股份有限公司 智能大灯系统和具有其的控制方法
CN112733812A (zh) * 2021-03-01 2021-04-30 知行汽车科技（苏州）有限公司 三维车道线检测方法、装置及存储介质
CN112733812B (zh) * 2021-03-01 2023-08-29 知行汽车科技(苏州)股份有限公司 三维车道线检测方法、装置及存储介质
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN113071498A (zh) * 2021-06-07 2021-07-06 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN113449650A (zh) * 2021-06-30 2021-09-28 南京航空航天大学 一种车道线检测系统及方法
CN113593026B (zh) * 2021-07-30 2024-09-24 深圳元戎启行科技有限公司 车道线标注辅助地图生成方法、装置和计算机设备
CN113593026A (zh) * 2021-07-30 2021-11-02 深圳元戎启行科技有限公司 车道线标注辅助地图生成方法、装置和计算机设备
CN113838141A (zh) * 2021-09-02 2021-12-24 中南大学 一种单线激光雷达与可见光相机的外参标定方法及系统
CN113674287A (zh) * 2021-09-03 2021-11-19 阿波罗智能技术(北京)有限公司 高精地图的绘制方法、装置、设备以及存储介质
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN113917452B (zh) * 2021-09-30 2022-05-24 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN114037968A (zh) * 2021-11-05 2022-02-11 荆州智达电动汽车有限公司 基于深度雷达点云和图像数据融合的车道线检测方法
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116091610B (zh) * 2021-11-08 2023-11-10 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN114353817B (zh) * 2021-12-28 2023-08-15 重庆长安汽车股份有限公司 多源传感器车道线确定方法、系统、车辆及计算机可读存储介质
CN114353817A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 多源传感器车道线确定方法、系统、车辆及计算机可读存储介质
CN114792417B (zh) * 2022-02-24 2023-06-16 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114627409A (zh) * 2022-02-25 2022-06-14 海信集团控股股份有限公司 一种车辆异常变道的检测方法及装置
CN114662600B (zh) * 2022-03-25 2023-11-07 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN115042784A (zh) * 2022-07-20 2022-09-13 重庆长安汽车股份有限公司 汽车自适应巡航系统控制方法、装置、车辆及存储介质
CN118627716A (zh) * 2024-08-13 2024-09-10 深圳市越航数字智能有限公司 一种国际物流线上交易管理系统

Also Published As

Publication number Publication date
CN111291676B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN109215083B (zh) 车载传感器的外部参数标定的方法和设备
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
JP6821712B2 (ja) 自然光景中での統合センサの較正
WO2021227645A1 (zh) 目标检测方法和装置
JP5057183B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
CN109949594A (zh) 实时的交通灯识别方法
CN109871776B (zh) 全天候车道线偏离的预警方法
CN111310708B (zh) 交通信号灯状态识别方法、装置、设备和存储介质
CN112740225B (zh) 一种路面要素确定方法及装置
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
JP2008065087A (ja) 静止物地図生成装置
US11270164B1 (en) Vehicle neural network
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN111089598B (zh) 一种基于icciu的车道级车载实时地图匹配方法
CN112424568B (zh) 构建高清地图的系统和方法
CN113219472A (zh) 一种测距系统和方法
US20220404170A1 (en) Apparatus, method, and computer program for updating map
CN115661589A (zh) 评测融合感知算法的方法、装置、存储介质及车辆
CN113874681B (zh) 点云地图质量的评估方法和系统
Horani et al. A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication
CN113936058A (zh) 基于车辆的数据获取
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质
US20230186638A1 (en) Device for determining a topography of a vehicle environment, vehicle and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant