CN111145203B - 车道线提取方法及装置 - Google Patents
车道线提取方法及装置 Download PDFInfo
- Publication number
- CN111145203B CN111145203B CN201911293329.0A CN201911293329A CN111145203B CN 111145203 B CN111145203 B CN 111145203B CN 201911293329 A CN201911293329 A CN 201911293329A CN 111145203 B CN111145203 B CN 111145203B
- Authority
- CN
- China
- Prior art keywords
- lane line
- data
- information
- model
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车道线提取方法及装置，车道线提取方法包括：步骤S1：采集车辆行驶中的行驶数据；步骤S2：对行驶数据中的每一帧数据的车道线信息进行标记；步骤S3：通过深度学习分割网络对行驶数据进行分割；步骤S4：根据标记后的数据及分割结果获得车道线分割模型；步骤S5：通过车道线分割模型提取实时行驶数据中的车道线信息。
Description
技术领域
本发明涉及一种车道线提取方法及装置，具体地说，尤其涉及一种直接利用激光雷达和深度学习进行车道线提取方法及装置。
背景技术
自动驾驶车辆在行驶的过程中需要感知周围环境，特别是车道线信息，利用车道线信息进行车辆的定位，车道保持等功能。同时对于自动驾驶构建地图时，也需要进行车道线的感知用于地图中车道线的拓扑构建和提取。
进行车道线提取时，需要利用传感器进行车道线的检测和提取，目前现有方法大都利用摄像头进行车道线的检测。主要分为利用摄像头进行车道线的检测，和利用摄像头进行车道线的分割。因为深度学习和大数据的兴起，基于深度学习和摄像头的方法可以很好的进行车道线的检测和分割，完成2D下的车道线感知。但是自动驾驶车辆在进行环境感知时，要感知的是3D世界，特别是车道线信息，2D下的车道线信息仍要恢复出3D信息。但是从摄像头恢复出3D信息并不容易。
从图像中感知到的车道线信息，要恢复出3D信息，一般需要一些复杂的数学转化过程，包括利用摄像头距离地面的高度，摄像头内参，摄像头的俯仰角度等等。利用这些已知的参数，结合一些立体几何的数学计算过程，从而恢复出3D信息。然而上述过程并非完美，摄像头距离地面的高度，摄像头的俯仰角等这些参数经常存在误差，从而导致恢复出的3D车道线信息不够准确，不能满足自动驾驶的需求。
因此急需开发一种克服上述缺陷的车道线提取方法及装置。
发明内容
本发明所要解决的技术问题在于提供一种车道线提取方法，其中，包括：
步骤S1：采集车辆行驶中的行驶数据；
步骤S2：对所述行驶数据中的每一帧数据的车道线信息进行标记；
步骤S3：通过深度学习分割网络对行驶数据进行分割；
步骤S4：根据标记后的数据及分割结果获得车道线分割模型；
步骤S5：通过所述车道线分割模型提取实时行驶数据中的车道线信息。
上述的车道线提取方法，其中，于所述步骤S2中包括：
步骤S21：将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；
步骤S22：对所述点云数据的车道线信息进行标记；
步骤S23：将所述点云数据投影成单帧点云数据。
上述的车道线提取方法，其中，于所述步骤S3中包括：
步骤S31：通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；
步骤S32：通过深度学习技术对所述2D俯视图结构进行编码；
步骤S33：对编码后的所述2D俯视图结构进行解码获得所述分割结果。
上述的车道线提取方法，其中，于所述步骤S4中包括：
步骤S41：根据标记后的数据及分割结果进行网络训练获得车道线分割模型；
步骤S42：通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
上述的车道线提取方法，其中，所述行驶数据包括三维坐标信息及反射强度信息。
本发明还提供一种车道线提取装置，其中，包括：
采集单元，采集车辆行驶中的行驶数据；
标记单元，对所述行驶数据中的每一帧数据的车道线信息进行标记；
分割单元，通过深度学习分割网络对行驶数据进行分割；
模型构建单元，根据标记后的数据及分割结果获得车道线分割模型；
车道线信息输出单元，通过所述车道线分割模型提取实时行驶数据中的车道线信息。
上述的车道线提取装置，其中，所述步骤标记单元包括：
融合模块，将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；
标记模块，对所述点云数据的车道线信息进行标记；
投影模块，将所述点云数据投影成单帧点云数据。
上述的车道线提取装置，其中，所述分割单元包括：
第一编码模块，通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；
第二编码模块，通过深度学习技术对所述2D俯视图结构进行编码；
解码模块，对编码后的所述2D俯视图结构进行解码获得所述分割结果。
上述的车道线提取装置，其中，所述模型构建单元包括：
模型获得模块，根据标记后的数据及分割结果进行网络训练获得车道线分割模型；
模型评估模块，通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
上述的车道线提取装置，其中，所述行驶数据包括三维坐标信息及反射强度信息。
本发明针对于现有技术其功效在于：本发明提出了一种直接利用激光雷达，利用深度学习进行车道线检测的方法省去了繁琐的立体几何和标定参数依赖问题,方便了3D车道线信息的获取。
附图说明
图1为本发明车道线提取方法的流程图；
图2为图1中步骤S2的分步骤流程图；
图3为图1中步骤S3的分步骤流程图；
图4为图1中步骤S4的分步骤流程图；
图5为车道线提取装置的结构示意图。
其中，附图标记：
采集单元 11
标记单元 12
融合模块 121
标记模块 122
投影模块 123
分割单元 13
第一编码模块 131
第二编码模块 132
解码模块 133
模型构建单元 14
模型获得模块 141
模型评估模块 142
车道线信息输出单元 15
具体实施方式
兹有关本发明的详细内容及技术说明，现以一较佳实施例来作进一步说明，但不应被解释为对本发明实施的限制。
激光雷达除了提供了现实世界的3D信息，还提供了物体的反射强度信息、地面上的标识、车道线、停止线等等标识的反射强度相对于其他地面点的反射强度都要高。对于这个特性，可以很好的区分一些车道线信息，检测出车道线。所以正好可以利用深度学习方法，结合大数据，自动发现反射强度信息和车道线的关系，从而自动检测出激光雷达中的车道线。
本发明利用激光雷达数据作为输入，设计深度学习分割网络进行车道线自动提取，省去了经典的基于图像的方法还要依赖外参的问题，如摄像机内参、相对于地面高度等等，方法高效且计算量小。其中，激光雷达数据至少包括三维坐标信息和反射强度信息。
请参照图1-图4，图1为本发明车道线提取方法的流程图；图2为图1中步骤S2的分步骤流程图；图3为图1中步骤S3的分步骤流程图；图4为图1中步骤S4的分步骤流程图。如图1-图4所示，本发明的车道线提取方法包括：
步骤S1：采集车辆行驶中的行驶数据；其中，在本实施例中，通过激光雷达采集的激光雷达数据，激光雷达数据至少包括三维坐标信息和反射强度信息。
相比于摄像头,激光雷达直接提供了现实世界的3D信息，利用这些3D信息，可以直接完成车道线的3D感知。当然，相比于摄像头，激光雷达也有缺点，就是激光雷达相对比较稀疏，车道线不好辨认。但是利用大数据和深度学习技术，本发明提出了一种克服激光雷达缺点，利用激光雷达直接检测车道线信息的方法。
步骤S2：对所述行驶数据中的每一帧数据的车道线信息进行标记。
其中，于所述步骤S2中包括：
步骤S21：将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；
步骤S22：对所述点云数据的车道线信息进行标记；
步骤S23：将所述点云数据投影成单帧点云数据。
具体地说，首先人工标注员要完成大量的人工数据标注，即每帧激光雷达数据中标注出哪些点是车道线.利用大量的这些标注数据，我们就可以训练深度学习网络，深度学习网络的任务就是完成每帧激光雷达中车道线的分割，即区分出哪些点是车道线，哪些点不是，标注员可以通过激光雷达的反射强度信息看出哪些点是车道线，但是由于激光雷达太稀疏，车道线信息有时不好区分。因此本发明利用多帧数据进行标注，即将多帧数据根据已知的位置进行融合，融合成一个很稠密的点云数据后，再进行人工标注。融合后的点云因为比较稠密，相比于单帧的数据，车道线更加清晰可见，更利于标注。人工标注完融合后的点云后，再利用算法重新投影回原始的单帧点云数据上，即完成了标注。
步骤S3：通过深度学习分割网络对行驶数据进行分割。
其中，于所述步骤S3中包括：
步骤S31：通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；
步骤S32：通过深度学习技术对所述2D俯视图结构进行编码；
步骤S33：对编码后的所述2D俯视图结构进行解码获得所述分割结果。
具体地说，本发明的深度学习分割网络不同于传统的图像上的2D深度学习分割网络，激光雷达数据是3D形式的，虽然现在已经有了一些3D上的卷积操作，类似3D卷积等等，但是由于3D计算量大和消耗内存多等问题，本发明并不采用3D深度神经网络的方案。
针对3D的空间结构，本发明先利用卷积和池化操作对z轴进行编码，编码之后，3D结构就压缩为了2D俯视图结构；然后本发明就可以利用2D图像上的深度学习技术对2D俯视图结构进行编码；再对编码后的所述2D俯视图结构进行解码，得到2D俯视图结构的分割结果，从而完成激光雷达的分割结果。整个分割网络分为z轴数据的编码、2D俯视图的深度学习编码、2D俯视图的深度学习解码三个部分。
需要说明的是，编码和解码过程可以利用经典的深度学习2D图像分割网络的现有方法，具体地说，在本实施例中采用PSPNet类似的网络结果进行俯视图的编码和解码为较佳的实施方式，但本发明并不以此为限。
步骤S4：根据标记后的数据及分割结果获得车道线分割模型。
其中，于所述步骤S4中包括：
步骤S41：根据标记后的数据及分割结果进行网络训练获得车道线分割模型；
步骤S42：通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
具体地说，根据标记后的数据及分割结果，进行网络的训练，得到激光雷达的车道线分割模型。训练模型结束之后，利用一些人工标注的数据，可以测试本发明模型的效果如何，其中，在本实施例中，利用准确率和召回率来评估车道线分割模型。
值得注意的是，由于真实的驾驶场景复杂多样，模型不一定对所有场景都能得到一个比较好的效果。通过评估模型效果，本发明可以及时发现一些错误，了解模型的实际使用情况，针对一些效果不好的场景，可以通过采集更多的数据，进行人工标注，再加入训练数据集中，来完善模型效果。如此循环，直至模型效果满足要求，获得最优的车道线分割模型。
步骤S5：通过所述车道线分割模型提取实时行驶数据中的车道线信息。
相比于现有车道线的检测方法，如图像检测车道线结合立体几何恢复3D信息,本方法提出了一种直接利用激光雷达进行车道线检测的方法，利用深度学习技术，可以很好的在激光雷达数据上直接进行车道线的检测，同时利用激光雷达的3D信息，可以直接得到3D的车道线，省去了复杂且不准确的立体几何后处理步骤。
请参照图5，图5为车道线提取装置的结构示意图。如图5所示，本发明的车道线提取装置包括：采集单元11、标记单元12、分割单元13、模型构建单元14及车道线信息输出单元15；采集单元11采集车辆行驶中的行驶数据；标记单元12对所述行驶数据中的每一帧数据的车道线信息进行标记；分割单元13通过深度学习分割网络对行驶数据进行分割；模型构建单元14根据标记后的数据及分割结果获得车道线分割模型；车道线信息输出单元15通过所述车道线分割模型提取实时行驶数据中的车道线信息。
进一步地，所述步骤标记单元12包括：融合模块121、标记模块122及投影模块123；融合模块121将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；标记模块122对所述点云数据的车道线信息进行标记；投影模块123将所述点云数据投影成单帧点云数据。
再进一步地，所述分割单元13包括：第一编码模块131、第二编码模块132及解码模块133；第一编码模块131通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；第二编码模块132通过深度学习技术对所述2D俯视图结构进行编码；解码模块133对编码后的所述2D俯视图结构进行解码获得所述分割结果。
又进一步地，所述模型构建单元14包括：模型获得模块141及模型评估模块142；模型获得模块141根据标记后的数据及分割结果进行网络训练获得车道线分割模型；模型评估模块142通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
更进一步地，所述行驶数据包括三维坐标信息及反射强度信息。
本发明具有以下效果：
1)不再需要类似图像的立体几何后处理方法，直接就可以得到3D信息的车道线，省去了内参依赖；
2)减少了计算步骤，计算量更小，算法更加鲁邦，可控性更强。
上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种车道线提取方法，其特征在于，包括：
步骤S1：采集车辆行驶中的行驶数据；
步骤S2：对所述行驶数据中的每一帧数据的车道线信息进行标记；
步骤S3：通过深度学习分割网络对行驶数据进行分割；
步骤S4：根据标记后的数据及分割结果获得车道线分割模型；
步骤S5：通过所述车道线分割模型提取实时行驶数据中的车道线信息；
所述步骤S2中包括：
步骤S21：将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；
步骤S22：对所述点云数据的车道线信息进行标记；
步骤S23：将所述点云数据投影成单帧点云数据。
2.如权利要求1所述的车道线提取方法，其特征在于，所述步骤S3中包括：
步骤S31：通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；
步骤S32：通过深度学习技术对所述2D俯视图结构进行编码；
步骤S33：对编码后的所述2D俯视图结构进行解码获得所述分割结果。
3.如权利要求1所述的车道线提取方法，其特征在于，所述步骤S4中包括：
步骤S41：根据标记后的数据及分割结果进行网络训练获得车道线分割模型；
步骤S42：通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
4.如权利要求1所述的车道线提取方法，其特征在于，所述行驶数据包括三维坐标信息及反射强度信息。
5.一种车道线提取装置，其特征在于，包括：
采集单元，采集车辆行驶中的行驶数据；
标记单元，对所述行驶数据中的每一帧数据的车道线信息进行标记；
分割单元，通过深度学习分割网络对行驶数据进行分割；
模型构建单元，根据标记后的数据及分割结果获得车道线分割模型；
车道线信息输出单元，通过所述车道线分割模型提取实时行驶数据中的车道线信息；
步骤标记单元包括：
融合模块，将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；
标记模块，对所述点云数据的车道线信息进行标记；
投影模块，将所述点云数据投影成单帧点云数据。
6.如权利要求5所述的车道线提取装置，其特征在于，所述分割单元包括：
第一编码模块，通过卷积和池化操作对所述行驶数据进行编码，获得2D俯视图结构；
第二编码模块，通过深度学习技术对所述2D俯视图结构进行编码；
解码模块，对编码后的所述2D俯视图结构进行解码获得所述分割结果。
7.如权利要求5所述的车道线提取装置，其特征在于，所述模型构建单元包括：
模型获得模块，根据标记后的数据及分割结果进行网络训练获得车道线分割模型；
模型评估模块，通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。
8.如权利要求5所述的车道线提取装置，其特征在于，所述行驶数据包括三维坐标信息及反射强度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293329.0A CN111145203B (zh) | 2019-12-16 | 2019-12-16 | 车道线提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293329.0A CN111145203B (zh) | 2019-12-16 | 2019-12-16 | 车道线提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145203A CN111145203A (zh) | 2020-05-12 |
| CN111145203B true CN111145203B (zh) | 2022-09-02 |
Family
ID=70518411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911293329.0A Active CN111145203B (zh) | 2019-12-16 | 2019-12-16 | 车道线提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145203B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111996883B (zh) * | 2020-08-28 | 2021-10-29 | 四川长虹电器股份有限公司 | 一种检测公路路面宽度的方法 |
| CN113432620B (zh) * | 2021-06-04 | 2024-04-09 | 苏州智加科技有限公司 | 误差估计方法、装置、车载终端及存储介质 |
| KR102363719B1 (ko) * | 2021-06-30 | 2022-02-16 | 주식회사 모빌테크 | 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109059954B (zh) * | 2018-06-29 | 2020-09-11 | 广东星舆科技有限公司 | 支持高精度地图车道线实时融合更新的方法和系统 |
| CN109003286A (zh) * | 2018-07-26 | 2018-12-14 | 清华大学苏州汽车研究院（吴江） | 基于深度学习和激光雷达的道路分割方法 |
| CN109389046B (zh) * | 2018-09-11 | 2022-03-29 | 昆山星际舟智能科技有限公司 | 用于自动驾驶的全天候物体识别与车道线检测方法 |
| CN109766878B (zh) * | 2019-04-11 | 2019-06-28 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种车道线检测的方法和设备 |
-
2019
- 2019-12-16 CN CN201911293329.0A patent/CN111145203B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145203A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11094198B2 (en) | Lane determination method, device and storage medium | |
| CN111145203B (zh) | 车道线提取方法及装置 | |
| WO2017041396A1 (zh) | 一种车道线数据的处理方法、装置、存储介质及设备 | |
| KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
| CN108388641B (zh) | 一种基于深度学习的交通设施地图生成方法与系统 | |
| JP6904614B2 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| CN108389256B (zh) | 二三维交互式无人机电力杆塔巡检辅助方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| GB2554481A (en) | Autonomous route determination | |
| CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN111179162B (zh) | 一种特殊环境下的定位初始化方法及车载终端 | |
| CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
| CN114494618B (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN112861748B (zh) | 一种自动驾驶中的红绿灯检测系统及方法 | |
| CN107025661B (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
| Xu et al. | csboundary: City-scale road-boundary detection in aerial images for high-definition maps | |
| CN110568451A (zh) | 一种高精度地图中道路交通标线的生成方法和装置 | |
| CN114663852B (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| CN112419512B (zh) | 一种基于语义信息的空中三维模型修复系统及方法 | |
| CN105447868A (zh) | 一种微小型无人机航拍数据的自动检查方法 | |
| CN112465960A (zh) | 一种三维模型的尺寸标定装置及方法 | |
| CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| Kiran et al. | Automatic hump detection and 3D view generation from a single road image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |