CN113762004A - 车道线检测方法及装置 - Google Patents
车道线检测方法及装置 Download PDFInfo
- Publication number
- CN113762004A CN113762004A CN202011219947.3A CN202011219947A CN113762004A CN 113762004 A CN113762004 A CN 113762004A CN 202011219947 A CN202011219947 A CN 202011219947A CN 113762004 A CN113762004 A CN 113762004A
- Authority
- CN
- China
- Prior art keywords
- lane line
- camera
- coordinate value
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 77
- 230000002776 aggregation Effects 0.000 claims description 60
- 238000004220 aggregation Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 31
- 238000013145 classification model Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种车道线检测方法，本方法包括：获取由车载相机采集的待检测图像；在所述待检测图像中确定感兴趣区域；提取所述感兴趣区域中的车道线像素点；确定所述车道线像素点在相机坐标系中的第一坐标值；基于所述第一坐标值，拟合所述车道线像素点以得到预测车道线。本公开还提供了一种车道线检测装置、一种电子设备及一种计算机可读存储介质。
Description
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种车道线检测方法、一种车道线检测装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着计算机技术的迅速发展，智能交通领域得以日益成熟和广泛应用。车道线检测在智能交通领域中发挥着重要的作用，其能为无人车驾驶、辅助驾驶、车辆导航等应用提供数据支持。
在实现本发明公开构思过程中，发明人发现相关技术在进行车道线检测时，基于车道线像素点在图像坐标系中的坐标值进行像素点聚类，以得到预测车道线，该种方式得到的预测车道线无法反映车道线在实际场景中的三维特征信息，存在车道线检测精度不高的缺陷。
发明内容
有鉴于此，本公开提供了一种能够反映车道线在实际场景中的三维特征信息、检测精度高的车道线检测方法及装置。
本公开的一个方面提供了一种车道线检测方法，包括：获取由车载相机采集的待检测图像；在上述待检测图像中确定感兴趣区域；提取上述感兴趣区域中的车道线像素点；确定上述车道线像素点在相机坐标系中的第一坐标值；基于上述第一坐标值，拟合上述车道线像素点以得到预测车道线。
可选地，上述提取上述感兴趣区域中的车道线像素点，包括：利用预设的像素分类模型，对上述感兴趣区域中的像素点进行二值语义分割，以得到车道线像素点和非车道线像素点，其中，上述像素分类模型是利用标注有分类结果的样本图像训练得到的，上述分类结果包括包含车道线和不包含车道线。
可选地，上述确定上述车道线像素点在相机坐标系中的第一坐标值，包括：确定上述车道线像素点在图像坐标系中的第二坐标值；根据上述第二坐标值和上述车载相机的相机参数，确定上述第一坐标值。
可选地，上述相机参数包括相机焦距、相机安装高度、相机安装俯仰角中的至少之一。
可选地，在根据上述第二坐标值和上述车载相机的相机参数，确定上述第一坐标值时：
(u*zc，v*zc，zc，1)T＝I*(xc，yc，zc，1)T
其中，(xc，yc，zc)为车道线像素点的第一坐标值，(u，v)为车道线像素点的第二坐标值，I表示相机参数，xc、yc、zc满足Axc+Byc+Czc+D＝0，A、B、C、D为拟合得到的已知参数。
可选地，上述基于上述第一坐标值，拟合上述车道线像素点以得到预测车道线，包括：基于上述第一坐标值，将上述车道线像素点投影至三维空间；对投影后的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域；进行针对上述至少一个像素聚合区域的拟合处理，以得到上述预测车道线。
可选地，上述进行针对上述至少一个像素聚合区域的拟合处理，以得到上述预测车道线，包括：确定针对各上述像素聚合区域的几何特征，上述几何特征指示上述像素聚合区域的平均宽度；将几何特征满足预设车道线特征的像素聚合区域，作为目标像素聚合区域；对上述目标像素聚合区域进行拟合，以得到上述预测车道线。
本公开的另一个方面提供了一种车道线检测装置，包括：获取模块，用于获取由车载相机采集的待检测图像；第一处理模块，用于在上述待检测图像中确定感兴趣区域；第二处理模块，用于提取上述感兴趣区域中的车道线像素点；第三处理模块，用于确定上述车道线像素点在相机坐标系中的第一坐标值；第四处理模块，用于基于上述第一坐标值，拟合上述车道线像素点以得到预测车道线。
可选地，上述第二处理模块包括：第一处理子模块，用于利用预设的像素分类模型，对上述感兴趣区域中的像素点进行二值语义分割，以得到车道线像素点和非车道线像素点，其中，上述像素分类模型是利用标注有分类结果的样本图像训练得到的，上述分类结果包括包含车道线和不包含车道线。
可选地，上述第三处理模块包括：第二处理子模块，用于确定上述车道线像素点在图像坐标系中的第二坐标值；第三处理子模块，用于根据上述第二坐标值和上述车载相机的相机参数，确定上述第一坐标值。
可选地，上述相机参数包括相机焦距、相机安装高度、相机安装俯仰角中的至少之一。
可选地，在利用上述第三处理子模块根据上述第二坐标值和上述车载相机的相机参数，确定上述第一坐标值时：
(u*zc，v*zc，zc，1)T＝I*(xc，yc，zc，1)T
其中，(xc，yc，zc)为车道线像素点的第一坐标值，(u，v)为车道线像素点的第二坐标值，I表示相机参数，xc、yc、zc满足Axc+Byc+Czc+D＝0，A、B、C、D为拟合得到的已知参数。
可选地，上述第四处理模块包括：第四处理子模块，用于基于上述第一坐标值，将上述车道线像素点投影至三维空间；第五处理子模块，用于对投影后的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域；第六处理子模块，用于进行针对上述至少一个像素聚合区域的拟合处理，以得到上述预测车道线。
可选地，上述第六处理子模块包括：第一处理单元，用于确定针对各上述像素聚合区域的几何特征，上述几何特征指示上述像素聚合区域的平均宽度；第二处理单元，用于将几何特征满足预设车道线特征的像素聚合区域，作为目标像素聚合区域；第三处理单元，用于对上述目标像素聚合区域进行拟合，以得到上述预测车道线。
本公开的另一个方面提供了一种电子设备，该电子设备包括至少一个处理器，以及与上述至少一个处理器通信连接的存储器。其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器实现本公开实施例的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。
本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。
通过本公开实施例，因为采用了获取由车载相机采集的待检测图像；在待检测图像中确定感兴趣区域；提取感兴趣区域中的车道线像素点；确定车道线像素点在相机坐标系中的第一坐标值；基于第一坐标值，拟合车道线像素点以得到预测车道线的技术方案，所以至少部分地克服了相关技术中存在的预测出的车道线无法反映实际场景中的三维特征信息、检测精度不高的技术问题，进而达到了有效提高了车道线预测精度的技术效果。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的车道线检测系统架构；
图2示意性示出了根据本公开实施例的一种车道线检测方法的流程图；
图3示意性示出了根据本公开实施例的另一车道线检测方法的流程图；
图4示意性示出了根据本公开实施例的激光雷达坐标与图像坐标间的映射关系示意图；
图5示意性示出了根据本公开实施例的车道线检测装置的框图；
图6示意性示出了根据本公开实施例的适于实现车道线检测方法和装置的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性地，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、操步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的各个实施例提供了一种车道线检测方法以及能够应用该方法的检测装置。其中，该方法可以包括获取由车载相机采集的待检测图像，和在待检测图像中确定感兴趣区域，然后提取感兴趣区域中的车道线像素点，并确定车道线像素点在相机坐标系中的第一坐标值最后基于第一坐标值，拟合车道线像素点以得到预测车道线。
如图1所示，该系统架构100包括至少一个终端(具体可以是车载终端，图中示出了多个，如车载终端101、102、103)和服务器104。在该系统架构100中，服务器104获取由车载终端(如车载终端101、102、103，具体可以是车载终端中的车载相机)采集的待检测图像，并在待检测图像中确定感兴趣区域，然后通过提取感兴趣区域中的车道线像素点，和确定车道线像素点在相机坐标系中的第一坐标值，实现基于第一坐标值，拟合车道线像素点以得到预测车道线。
以下将结合附图和具体实施例详细阐述本公开。
图2示意性示出了根据本公开实施例的一种车道线检测方法的流程图。
如图2所示，该方法例如可以包括操作S210～S250。
在操作S210，获取由车载相机采集的待检测图像。
在本公开实施例中，具体地，在车辆行驶过程中车载相机实时采集车辆前方及左右方向上的道路情况，得到可用于车道线检测的待检测图像。服务器获取由车载相机采集的待检测图像，通过对待检测图像进行分析处理，实现对车辆前方的车道线进行实时预测。预测出的车道线可用于智能行驶设备的行驶控制，或者用于制作高精度地图。智能行驶设备的行驶控制包括无人车、机器人的智能行驶控制，或者非无人车的辅助行驶控制。
由于车载相机采用透镜成像模型，这使得车载相机能够快速成像，但同时电对车载相机的投影图像引入了畸变，具体存在两种畸变对车载相机的投影图像的影响较大，其分别为径向畸变和切向畸变。径向畸变是由镜头自身凸透镜的固有特性造成的，其产生原因是光线在远离透镜中心的位置比在靠近透镜中心的位置更加弯曲；切向畸变是由透镜本身与相机传感器平面或图像平面不平行产生的。
因此，由车载相机采集的待检测图像中也存在畸变影响，为保证车道线预测的准确性，可对获取的待检测图像进行去畸变处理。可选地，可以调用opencv的undistort()函数，通过输入原始图片、相机内参、相机畸变参数，输出得到去畸变后的待检测图像。
接下来，在操作S220，在待检测图像中确定感兴趣区域。
在本公开实施例中，具体地，车载相机多搭建于车辆前端，且车载相机在车辆中具有一定安装高度和安装俯仰角，因此，由车载相机采集的待检测图像中可能包含较大部分与车道线无关的图像区域。为提高后续图像分割的准确性，和加快模型推导速度，可以对获得的待检测图像进行裁剪，以实现在待检测图像中确定感兴趣区域。
具体地，可以基于预设的尺寸阈值，对获取的待检测图像进行裁剪，实现将待检测图像中的固定尺寸区域作为感兴趣区域。示例性地，对获取的待检测图像中的顶部1/3区域进行裁剪，将待检测图像中的剩余2/3区域作为感兴趣区域。
接下来，在操作S230，提取感兴趣区域中的车道线像素点。
在本公开实施例中，具体地，利用预设的像素分类模型，对感兴趣区域中的像素点进行二值语义分割，以得到车道线像素点和非车道线像素点，其中，像素分类模型是利用标注有分类结果的样本图像训练得到的，分类结果包括包含车道线和不包含车道线。
将待检测图像的感兴趣区域输入像素分类模型，利用像素分类模型对待检测图像进行多次卷积与池化下采样操作，以实现对待检测图像进行特征提取。提取的图像特征例如可以包括前景像素点平均灰度、前景图像方差、背景像素点平均灰度、背景图像方差、图像边缘特征等。然后，对待检测图像的感兴趣区域重复进行上采样与特征融合操作，实现输出与感兴趣区域尺寸相同的分割图。分割图中包含二值语义分割后的车道线像素点和非车道线像素点。车道线像素点和非车道线像素点被通过不同标记形式进行了标记，例如车道线像素点被标记为白色，非车道线像素点被标记为黑色。
像素分类模型是一种有监督学习模型，例如可以是支持向量机SVM(SupportVector Machine)、残差网络ResNet34等。像素分类模型是利用标注有分类结果的样本图像训练得到的，具体可以是利用包含车道线与不包含车道线的样本图像训练得到的，训练后的像素分类模型用于进行待检测图像中是否包含车道线的分类识别。
可选地，也可采用定向边缘抽取算子和包含自适应阈值的双阈值二值化方法对待检测图像的感兴趣区域进行处理，以实现提取车道线像素点。
接下来，在操作S240，确定车道线像素点在相机坐标系中的第一坐标值。
在本公开实施例中，具体地，在得到感兴趣区域中的车道线像素点后，确定车道线像素点在相机坐标系中的第一坐标值。相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。相机坐标系的原点为相机的光心，X轴、Y轴分别与图像坐标系的x轴、y轴平行，Z轴为相机光轴，其与图像平面垂直。
车道线像素点在图像坐标系下的坐标信息可通过成熟算法从激光雷达点云中获取，然而，图像坐标系下的坐标信息无法反映车道线像素点的深度信息，无法实现对车道线像素点的三维空间投影，因此，可以根据车道线像素点在图像坐标系中的第二坐标值，确定车道线像素点在相机坐标系中的第一坐标值。
接下来，在操作S250，基于第一坐标值，拟合车道线像素点以得到预测车道线。
在本公开实施例中，具体地，根据车道线像素点在相机坐标系中的第一坐标值，将车道线像素点投影至三维空间。对投影后的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域，然后进行针对至少一个像素聚合区域的拟合处理，得到与待检测图像关联的预测车道线。
对待检测图像的感兴趣区域进行二值语义分割，得到属于一条或几条车道线的车道线像素点。对提取出的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域，至少一个像素聚合区域中的各像素聚合区域指示车道线。对车道线像素点进行基于密度的聚合处理，有利于实现在车道线数目事先未知的情况下，采用无监督聚类方式(例如可采用DBSCAN聚类方法)将属于同一车道线的车道线像素点聚合而出。
在进行针对至少一个像素聚合区域的拟合处理，以得到预测车道线时，确定针对各像素聚合区域的几何特征，几何特征指示像素聚合区域的平均宽度；将几何特征满足预设车道线特征的像素聚合区域，作为目标像素聚合区域；对目标像素聚合区域进行拟合，以得到预测车道线。
确定各像素聚合区域的几何特征的方法，例如可通过确定各像素聚合区域的外接矩形确定，外接矩形为包含像素聚合区域中所有车道线像素点的最小矩形。在各像素聚合区域的外接矩形中，根据外接矩形中每行车道线像素点的宽度，确定外接矩形的平均宽度，以得到针对像素聚合区域的几何特征。然后，判断外接矩形的平均宽度是否满足预设的车道线宽阈值。对于不满足车道线宽阈值的像素聚合区域，确定其不是车道线，对于满足车道线宽阈值的像素聚合区域，确定其是车道线，然后对满足车道线宽阈值的像素聚合区域进行拟合处理，得到与该像素聚合区域关联的预测车道线。
此外，还可以确定像素聚合区域的外接矩形的长度，通过判断外接矩形的长度是否满足预设的车道线长阈值，来确定像素聚合区域是否指示车道线。具体地，可以基于像素聚合区域的外接矩形的宽度和/或长度，先后或同时确定像素聚合区域是否指示车道线。
在本公开实施例中，通过获取由车载相机采集的待检测图像，和在待检测图像中确定感兴趣区域，然后提取感兴趣区域中的车道线像素点，和确定车道线像素点在相机坐标系中的第一坐标值，最后基于第一坐标值，拟合车道线像素点以得到预测车道线。通过确定车道线像素点在相机坐标系中的第一坐标值，和基于第一坐标值，对车道线像素点进行拟合以得到预测车道线，由于第一坐标值能够反映车道线像素点的深度信息，基于第一坐标值确定出的预测车道线能够有效反映车道线在实际场景中的三维特征信息，车道线预测精度得以有效提高，这有利于基于预测车道线实现安全性更高、参考价值更大的智能辅助驾驶。
图3示意性示出了根据本公开实施例的另一车道线检测方法的流程图。
如图3所示，操作S240例如可以包括操作S310～S320。
在操作S310，确定车道线像素点在图像坐标系中的第二坐标值。
在本公开实施例中，具体地，图像坐标系是以图像左上角的对应点为原点建立的坐标系，车道线像素点在图像坐标系中的第二坐标值(u，v)，可通过从激光雷达点云中获取实现。激光雷达点云是由激光雷达扫描获取的点云数据，点云数据是指在三维坐标系统中的一组向量的集合。
基于获取的激光雷达点云，可获得不同车道线像素点在激光雷达坐标系中的坐标信息。激光雷达坐标系是以车辆中心为原点建立的三维坐标系，其中的x轴正方向为车辆正前方向，y轴正方向为车辆左侧方向，z轴正方向为垂直向上方向。由于待检测图像是由车载相机采集的车辆正前方图像，且图像坐标系是以待检测图像的感兴趣区域的左上角的对应点为原点建立的坐标系，因此，激光雷达坐标系与图像坐标系间具有映射关系。图4示意性示出了根据本公开实施例的激光雷达坐标与图像坐标间的映射关系示意图，如图4所示，o1为待检测图像的感兴趣区域的左上角的对应点，o2为车辆中心，根据车道线像素点的激光雷达坐标，能够确定车道线像素点在图像坐标系中的第二坐标值。
接下来，在操作S320，根据第二坐标值和车载相机的相机参数，确定第一坐标值。
在本公开实施例中，具体地，在根据车道线像素点的第二坐标值和车载相机的相机参数，确定第一坐标值时，
(u*zc，v*zc，zc，1)T＝I*(xc，yc，zc，1)T
其中，(xc，yc，zc)为车道线像素点的第一坐标值，(u，v)为车道线像素点的第二坐标值，I表示相机参数，xc、yc、zc满足Axc+Byc+Czc+D＝0，A、B、C、D为拟合得到的已知参数。(xc，yc，zc)可由u、v、zc表示，相机坐标系中的X、Y轴分别与图像坐标系的x、y轴平行，Z轴为车载相机的光轴，与图像坐标系垂直，zc描述像素点在相机坐标系下的深度值。相机参数I具体可以包括相机内参，相机内参例如可以是相机焦距。
作为一种可行的方式，在得到车道线像素点在相机坐标系中的第一坐标值后，还可根据车载相机的安装俯仰角，将车道线像素点由相机坐标系投影至车身坐标系，得到车道线像素点在车身坐标系中的第三坐标值。进一步地，还可通过判断车道线像素点在车身坐标系中的纵坐标与车载相机安装高度的差值，确定是否存在车道线像素点被遮挡。具体地，当纵坐标与车载相机安装高度的差值大于路面高度阈值时，确定车道线像素点被遮挡。根据车载相机距离地面高度与被遮挡车道线像素点的纵坐标的比值，对被遮挡车道线像素点在车身坐标系中的横、纵坐标进行修正。同时，根据车载相机距离地面高度，对被遮挡车道线像素点在车身坐标系中的深度值进行修正。最后，基于修正后的第三坐标值，将各车道线像素点投影至三维空间，并利用多元线性回归方式进行车道线拟合，得到预测车道线。通过该种方式拟合得到的预测车道线，同样能够有效反映车道线在实际场景中的三维特征信息，通过三维特征信息有助于识别车道线相对地平面存在上坡度、下坡度的情况，这有效提高了车道线预测的预测精度，有利于基于预测车道线进行安全性更佳、智能化程度更高的智能辅助驾驶。
图5示意性示出了根据本公开实施例的车道线检测装置的框图。
如图5所示，该装置可以包括获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。
具体地，获取模块501，用于获取由车载相机采集的待检测图像；第一处理模块502，用于在待检测图像中确定感兴趣区域；第二处理模块503，用于提取感兴趣区域中的车道线像素点；第三处理模块504，用于确定车道线像素点在相机坐标系中的第一坐标值；第四处理模块505，用于基于第一坐标值，拟合车道线像素点以得到预测车道线。
在本公开实施例中，通过获取由车载相机采集的待检测图像，和在待检测图像中确定感兴趣区域，然后提取感兴趣区域中的车道线像素点，和确定车道线像素点在相机坐标系中的第一坐标值，最后基于第一坐标值，拟合车道线像素点以得到预测车道线。通过确定车道线像素点在相机坐标系中的第一坐标值，和基于第一坐标值，对车道线像素点进行拟合以得到预测车道线，由于第一坐标值能够反映车道线像素点的深度信息，基于第一坐标值确定出的预测车道线能够有效反映车道线在实际场景中的三维特征信息，车道线预测精度得以有效提高，这有利于基于预测车道线实现安全性更高、参考价值更大的智能辅助驾驶。
作为一种可选的实施例，第二处理模块包括：第一处理子模块，用于利用预设的像素分类模型，对感兴趣区域中的像素点进行二值语义分割，以得到车道线像素点和非车道线像素点，其中，像素分类模型是利用标注有分类结果的样本图像训练得到的，分类结果包括包含车道线和不包含车道线。
作为一种可选的实施例，第三处理模块包括：第二处理子模块，用于确定车道线像素点在图像坐标系中的第二坐标值；第三处理子模块，用于根据第二坐标值和车载相机的相机参数，确定第一坐标值。
作为一种可选的实施例，相机参数包括相机焦距、相机安装高度、相机安装俯仰角中的至少之一。
作为一种可选的实施例，在利用第三处理子模块根据第二坐标值和车载相机的相机参数，确定第一坐标值时：
(u*zc，v*zc，zc，1)T＝I*(xc，yc，zc，1)T
其中，(xc，yc，zc)为车道线像素点的第一坐标值，(u，v)为车道线像素点的第二坐标值，I表示相机参数，xc、yc、zc满足Axc+Byc+Czc+D＝0，A、B、C、D为拟合得到的已知参数。
作为一种可选的实施例，第四处理模块包括：第四处理子模块，用于基于第一坐标值，将车道线像素点投影至三维空间；第五处理子模块，用于对投影后的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域；第六处理子模块，用于进行针对至少一个像素聚合区域的拟合处理，以得到预测车道线。
作为一种可选的实施例，第六处理子模块包括：第一处理单元，用于确定针对各像素聚合区域的几何特征，几何特征指示像素聚合区域的平均宽度；第二处理单元，用于将几何特征满足预设车道线特征的像素聚合区域，作为目标像素聚合区域；第三处理单元，用于对目标像素聚合区域进行拟合，以得到预测车道线。
可选地，获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505中的模块、子模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。可选地，获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现车道线检测方法和装置的电子设备的框图。图6示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，根据本公开实施例的计算机系统600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中，存储有系统600操作所需的各种程序和数据。处理器601、ROM 602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
可选地，系统600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。系统600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
可选地，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。可选地，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
可选地，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，可选地，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种车道线检测方法，包括：
获取由车载相机采集的待检测图像；
在所述待检测图像中确定感兴趣区域；
提取所述感兴趣区域中的车道线像素点；
确定所述车道线像素点在相机坐标系中的第一坐标值；
基于所述第一坐标值，拟合所述车道线像素点以得到预测车道线。
2.根据权利要求1所述的方法，其中，所述提取所述感兴趣区域中的车道线像素点，包括：
利用预设的像素分类模型，对所述感兴趣区域中的像素点进行二值语义分割，以得到车道线像素点和非车道线像素点，
其中，所述像素分类模型是利用标注有分类结果的样本图像训练得到的，所述分类结果包括包含车道线和不包含车道线。
3.根据权利要求1所述的方法，其中，所述确定所述车道线像素点在相机坐标系中的第一坐标值，包括：
确定所述车道线像素点在图像坐标系中的第二坐标值；
根据所述第二坐标值和所述车载相机的相机参数，确定所述第一坐标值。
4.根据权利要求3所述的方法，其中，所述相机参数包括相机焦距、相机安装高度、相机安装俯仰角中的至少之一。
5.根据权利要求3所述的方法，其中，在根据所述第二坐标值和所述车载相机的相机参数，确定所述第一坐标值时：
(u*zc，v*zc，zc，1)T＝I*(xc，yc，zc，1)T
其中，(xc，yc，zc)为车道线像素点的第一坐标值，(u，v)为车道线像素点的第二坐标值，I表示相机参数，xc、yc、zc满足Axc+Byc+Czc+D＝0，A、B、C、D为拟合得到的已知参数。
6.根据权利要求5所述的方法，其中，所述基于所述第一坐标值，拟合所述车道线像素点以得到预测车道线，包括：
基于所述第一坐标值，将所述车道线像素点投影至三维空间；
对投影后的车道线像素点进行基于密度的聚合处理，得到至少一个像素聚合区域；
进行针对所述至少一个像素聚合区域的拟合处理，以得到所述预测车道线。
7.根据权利要求1所述的方法，其中，所述进行针对所述至少一个像素聚合区域的拟合处理，以得到所述预测车道线，包括：
确定针对各所述像素聚合区域的几何特征，所述几何特征指示所述像素聚合区域的平均宽度；
将几何特征满足预设车道线特征的像素聚合区域，作为目标像素聚合区域；
对所述目标像素聚合区域进行拟合，以得到所述预测车道线。
8.一种车道线检测装置，包括：
获取模块，用于获取由车载相机采集的待检测图像；
第一处理模块，用于在所述待检测图像中确定感兴趣区域；
第二处理模块，用于提取所述感兴趣区域中的车道线像素点；
第三处理模块，用于确定所述车道线像素点在相机坐标系中的第一坐标值；
第四处理模块，用于基于所述第一坐标值，拟合所述车道线像素点以得到预测车道线。
9.一种电子设备，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219947.3A CN113762004A (zh) | 2020-11-04 | 2020-11-04 | 车道线检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219947.3A CN113762004A (zh) | 2020-11-04 | 2020-11-04 | 车道线检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113762004A true CN113762004A (zh) | 2021-12-07 |
Family
ID=78785982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011219947.3A Pending CN113762004A (zh) | 2020-11-04 | 2020-11-04 | 车道线检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762004A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937091A (zh) * | 2022-04-28 | 2022-08-23 | 广州导远电子科技有限公司 | 一种车道线的检测方法、系统、电子设备及存储介质 |
| CN116168201A (zh) * | 2023-04-13 | 2023-05-26 | 智道网联科技(北京)有限公司 | 无需精确标注数据的车道线分割方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665327A (zh) * | 2016-07-29 | 2018-02-06 | 高德软件有限公司 | 一种车道线检测方法及装置 |
| CN109034047A (zh) * | 2018-07-20 | 2018-12-18 | 京东方科技集团股份有限公司 | 一种车道线检测方法及装置 |
| CN109902637A (zh) * | 2019-03-05 | 2019-06-18 | 长沙智能驾驶研究院有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-04 CN CN202011219947.3A patent/CN113762004A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665327A (zh) * | 2016-07-29 | 2018-02-06 | 高德软件有限公司 | 一种车道线检测方法及装置 |
| CN109034047A (zh) * | 2018-07-20 | 2018-12-18 | 京东方科技集团股份有限公司 | 一种车道线检测方法及装置 |
| CN109902637A (zh) * | 2019-03-05 | 2019-06-18 | 长沙智能驾驶研究院有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 谭建豪 等: "旋翼无人机的建模、规划和控制", 湖南大学出版社, pages: 52 - 53 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937091A (zh) * | 2022-04-28 | 2022-08-23 | 广州导远电子科技有限公司 | 一种车道线的检测方法、系统、电子设备及存储介质 |
| CN114937091B (zh) * | 2022-04-28 | 2023-07-11 | 广州导远电子科技有限公司 | 一种车道线的检测方法、系统、电子设备及存储介质 |
| CN116168201A (zh) * | 2023-04-13 | 2023-05-26 | 智道网联科技(北京)有限公司 | 无需精确标注数据的车道线分割方法及装置 |
| CN116168201B (zh) * | 2023-04-13 | 2023-06-20 | 智道网联科技(北京)有限公司 | 无需精确标注数据的车道线分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
| US20180373942A1 (en) | Object detecting apparatus, object detecting method, and computer program product | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
| US20190065878A1 (en) | Fusion of radar and vision sensor systems | |
| US20090110286A1 (en) | Detection method | |
| US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
| JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
| CN113762004A (zh) | 车道线检测方法及装置 | |
| CN108725318B (zh) | 汽车安全预警方法、装置及计算机可读存储介质 | |
| Ponsa et al. | On-board image-based vehicle detection and tracking | |
| CN114792416A (zh) | 一种目标检测方法及装置 | |
| KR20200087354A (ko) | 자율주행용 데이터 라벨링 장치 및 방법 | |
| CN112597846A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
| Leu et al. | High speed stereo vision based automotive collision warning system | |
| CN113256709A (zh) | 目标检测方法、装置、计算机设备以及存储介质 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| US9633283B1 (en) | Adaptive device and adaptive method for classifying objects with parallel architecture | |
| US10984534B2 (en) | Identification of attention region for enhancement of sensor-based detection in a vehicle | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN115327572A (zh) | 一种车辆前方障碍物检测方法 | |
| Nunn et al. | A novel region of interest selection approach for traffic sign recognition based on 3d modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |