CN112862845A - 一种基于置信度评估的车道线重构方法及装置 - Google Patents

一种基于置信度评估的车道线重构方法及装置 Download PDF

Info

Publication number
CN112862845A
CN112862845A CN202110216402.5A CN202110216402A CN112862845A CN 112862845 A CN112862845 A CN 112862845A CN 202110216402 A CN202110216402 A CN 202110216402A CN 112862845 A CN112862845 A CN 112862845A
Authority
CN
China
Prior art keywords
lane line
lane
filtered
lines
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110216402.5A
Other languages
English (en)
Other versions
CN112862845B (zh
Inventor
李迅
蒋杰
高丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Huilian Intelligent Technology Co ltd
Original Assignee
Changsha Huilian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Huilian Intelligent Technology Co ltd filed Critical Changsha Huilian Intelligent Technology Co ltd
Priority to CN202110216402.5A priority Critical patent/CN112862845B/zh
Publication of CN112862845A publication Critical patent/CN112862845A/zh
Application granted granted Critical
Publication of CN112862845B publication Critical patent/CN112862845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于置信度评估的车道线重构方法及装置，该方法步骤包括：S1.获取待检测图像进行车道线实例分割，得到车道线实例分割图；S2.对车道线实例分割图中像素点进行过滤，得到过滤后分割图；S3.判断过滤后分割图中车道线的缺失状态，并评估当前存在的每条车道线的置信度，根据车道线的缺失状态以及各条车道线的置信度筛选出目标车道线；S4.使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。本发明具有实现方法简单、效率以及精度高且鲁棒性和适应性强等优点。

Description

一种基于置信度评估的车道线重构方法及装置
技术领域
本发明涉及车道线检测技术领域，尤其涉及一种基于置信度评估的车道线重构方法及装置。
背景技术
智能车辆安全驾驶是车辆工程发展的重要方向，而车道线检测作为道路边界估计的关键手段则是其中不可缺少的一环。针对于车道检测，目前主要是采用以下几种方式：基于传统的形态检测方法、基于深度学习实例分割模型的方法、基于语义分割与滑动窗口或者聚类后处理等。上述各种车道线检测方法均是以准确的检测每条车道线像素点为目标，先利用形态学相关方法搜索每条车道线的像素点，然后利用多项式拟合得到新的车道线。
但是上述以准确检测每条车道线像素点为目标的传统车道线检测方法，极易受周围环境干扰，而在车辆的实际应用场景中，车辆的行驶环境复杂多变，会存在车道线磨损、树荫干扰、车道线被遮挡以及路口处车道线缺失等各类复杂环境情况，要确保各类情况下均准确检测出每条车道线上所有像素点非常困难，因而传统车道线检测方法实际获取到的车道线实例准确度较低，鲁棒性和适应性均不强，尤其是在上述如车道线磨损、树荫干扰、车道线被遮挡以及路口处等复杂环境情况下，会存在车道线识别不稳定、边界约束不准确等问题。因此，亟需提供一种车道线重构方法，以使得无需准确检测所有车道线的像素点，能够在确保车道线检测精度的基础上，提高车道线检测的鲁棒性和适应性。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、效率以及精度高且鲁棒性和适应性强的基于置信度评估的车道线重构方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种基于置信度评估的车道线重构方法，步骤包括：
S1.实例分割：获取待检测图像进行车道线实例分割，得到车道线实例分割图；
S2.像素点过滤：对所述车道线实例分割图中像素点进行过滤，得到过滤后分割图；
S3.车道线筛选：判断所述过滤后分割图中车道线的缺失状态，并评估当前存在的每条车道线的置信度，根据所述车道线的缺失状态以及各条车道线的置信度筛选出目标车道线；
S4.车道线重构：使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
进一步的，所述步骤S1中使用ENet-SAD(Self-Attention Distillation，自我注意力蒸馏)模型进行车道线实例分割，并获取每条车道线的像素点。
进一步的，所述步骤S1后、S2前还包括将车道线实例分割图进行透视变换，以将车道线实例分割图转换为俯视图。
进一步的，所述步骤S3中，如果所述过滤后分割图中存在中间车道线，且当前中间车道线的像素点数量满足预设要求，优先以当前中间车道线作为筛选出的目标车道线；如果所述过滤后分割图中缺失中间车道线，则根据置信度的大小取置信度最高的车道线作为筛选出的目标车道线。
进一步的，如果所述过滤后分割图中存在三条车道线时，先统计所述过滤后分割图中的中间车道线的像素点数，若所述中间车道线的像素数量满足预设要求，以所述中间车道线作为筛选出的目标车道线；若所述中间车道线的像素数量不满足预设要求时，取其余两条车道线中置信度较高的车道线作为筛选出的目标车道线。
进一步的，如果所述过滤后分割图中存在两条车道线时，判断缺失的车道线位置，若为缺失左侧或右侧车道线，则再判断所述过滤后分割图中的中间车道线的像素点数量是否满足要求，如果满足则以当前中间车道线作为筛选出的目标车道线，不满足则以所述过滤后分割图中另一条车道线作为筛选出的目标车道线；若为缺失中间车道线且不为单向车道，则选择所述过滤后分割图的两条车道线中置信度较高的车道线作为筛选出的目标车道线；如果所述过滤后分割图中仅存在一条车道线，直接以当前车道线作为筛选出的目标车道线。
进一步的，所述步骤S2后、S3前还包括获取所述过滤后分割图中每一条车道线的点集，并根据车道线之间的位置关系，过滤掉每条车道线上处于散落区域外指定范围的噪点；和/或过滤每条车道线上指定范围内判定为不连续的点。
进一步的，所述步骤S4后还包括坐标系转换S5，具体步骤包括：将所述重构出的车道线的点集转换至车体坐标系下并进行曲线拟合，生成车体坐标系下的虚拟车道线。
一种基于置信度评估的车道线重构装置，包括：
实例分割模块，用于获取待检测图像进行车道线实例分割，得到车道线实例分割图；
像素点过滤模块，用于对所述车道线实例分割图中像素点进行过滤，得到过滤后分割图；
车道线筛选模块，用于判断所述过滤后分割图中存在的车道线数量，并评估每条车道线的置信度，根据存在的车道线数量以及各条车道线的置信度筛选出目标车道线；
车道线重构模块，用于使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
一种基于置信度评估的车道线重构装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
与现有技术相比，本发明的优点在于：
1、本发明通过对待检测图像进行车道线实例分割、过滤后，依据分割图中车道线的缺失状态以及各条车道线的置信度筛选出一条目标车道线，使用该条已知目标车道线重构出其余未知的车道线，无需检测各条车道线所有像素点即可得到所有车道线，且重构过程中是基于置信度进行车道线筛选，使用置信度高的车道线来进行重构，可以确保重构车道线的准确性，从而可实现各类环境下的车道线准确检测，解决复杂环境下车道线识别不稳定、边界约束不准确等问题，有效提高车道线检测的鲁棒性以及适应性。
2、本发明通过使用已知的全局道路宽度对预测到的车道像素点进行过滤，基于全局道路信息重构车道线，即便在磨损、树荫、遮挡、路口等复杂情况下，也能够基于高可信度的车道线准确重构出其他车道线，同时使得重构出的车道线平行保持在真实车道线内侧，从而能够有效提高智能车辆行驶的安全性。
附图说明
图1是本实施例基于置信度评估的车道线重构方法的实现流程示意图。
图2是本实施例中采用的ENet-SAD模型的原理示意图。
图3是在具体应用实施例中加载ENet-SAD模型后得到的结果示意图。
图4是在具体应用实施例中透视变换后结果示意图。
图5是在具体应用实施例中细粒度噪点过滤后结果示意图。
图6是在具体应用实施例中经过步骤2后结果示意图。
图7是在具体应用实施例中经过步骤3后结果示意图。
图8是在具体应用实施例中检测到3条车道线时的处理结果示意图。
图9是在具体应用实施例中检测到2条车道线时的处理结果示意图。
图10是在具体应用实施例中检测到1条车道线处理结果示意图。
图11是采用本发明方法车道线实例处理与重构流程示意图。
图12是采用本发明方法在直道下的测试结果示意图。
图13是采用本发明方法在弯道下的测试结果示意图。
图14是采用本发明方法在路口路段下的测试结果示意图
图15是采用本发明方法在地标干扰下的测试结果示意图。
图16是采用本发明方法在树荫路段的测试结果示意图。
图17是采用本发明方法在遮挡情况下的测试结果示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例基于置信度评估的车道线重构方法的步骤包括：
S1.实例分割：获取待检测图像进行车道线实例分割，得到车道线实例分割图；
S2.像素点过滤：对车道线实例分割图中像素点进行过滤，得到过滤后分割图；
S3.车道线筛选：判断过滤后分割图中车道线的缺失状态，并评估当前存在的每条车道线的置信度，根据车道线的缺失状态以及各条车道线的置信度筛选出目标车道线；
S4.车道线重构：使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
三条车道线中车道线之间的间距是相同的，即车道线是按照等间距分布的，且左、右两侧的车道线是对称分布的。本实施例利用车道线的上述特性，通过对待检测图像进行车道线实例分割、过滤后，依据分割图中车道线的缺失状态以及各条车道线的置信度筛选出一条目标车道线，使用该条已知目标车道线重构出其余未知的车道线，无需检测各条车道线所有像素点即可得到所有车道线，且重构过程中是基于置信度进行车道线筛选，使用置信度高的车道线来进行重构，可以确保重构车道线的准确性，从而实现各类环境下的车道线准确检测，解决复杂环境下车道线识别不稳定、边界约束不准确等问题，有效提高车道线检测的鲁棒性以及适应性。
本实施例步骤S1中具体使用ENet-SAD模型进行车道线实例分割，并获取每条车道线的像素点。如图2所示，ENet-SAD模型即为加入SAD机制的ENet模型，ENet模型是一种轻量级语义分割模型，可以实现实时像素级语义分割。SAD基于自注意蒸馏机制，能够让浅层模仿深层学习到的特征，以提取到更丰富的上下文特征，同时在不影响推理速度的前提下提高分割准确性。本实施例通过使用ENet-SAD模型进行车道线实例分割，可以实现快速的实例分割，同时能获取实例分割像素点。
本实施例步骤S1前还包括对输入图像去畸变、转格式等操作的图像预处理步骤，具体步骤包括：待检测图像输入后，首先使用相机内外参数对输入图像去畸变，选取图像中的车道线感兴趣区域(具体如图像下半部分)，调整感兴趣区域图片大小，以保证图像与模型输入尺寸一致；最后，将图像的颜色通道从BGR转到RGB模式。待检测图像具体可以为在智能车辆行驶过程中，由车辆前端雷达实时检测到的前方环境图像。
在具体应用实施例中，对于输入的待检测图像，先进行图像预处理，然后加载深度学习模型，将预处理后的图像从numpy格式转换成tensor格式后输入到训练好的ENet-SAD模型文件中加载，经过模型推理后得到车道线的实例分割像素点以及每条线的置信度。由于ENet-SAD模型所得到的置信度并不可信，本实施例只获取模型输出的实例分割像素点，并将获取到的车道线实例按不同颜色值分类存储，由于模型输出的实例对应的分类值不同，而该值和颜色值一一对应，获取到车道线像素点后具体从左往右获取不同车道线的像素点形成像素点集合，若某条线不存在则用0填充。
在具体应用实施例中得到的实例分割结果如图3所示，其中图3(a)对应为原图，图3(b)对应为实例分割后实例分割图。
本实施例中，步骤S1后、S2前还包括将车道线实例分割图进行透视变换，以将车道线实例分割图转换为俯视图，即为鸟瞰图，以将每条车道固定在图像中指定区域范围内，以及使得相邻车道线之间的间距相同，或已知当前车道的相对位置，利用相邻车道线宽度距离已知的先验)。在具体应用实施例中，得到的透视变换结果如图4所示，其中图4(a)对应为原图，图4(b)对应为分割图，图4(c)对应为透视变换后得到的鸟瞰图。
本实施例步骤S2中具体采用先腐蚀后膨胀方法，对车道线实例分割图进行全景细粒度噪点过滤，以除去分割后的细粒度噪点。上述先腐蚀后膨胀方法具体先利用指定大小(如5*5)的卷积核整体消除物体的边界点和周围的分散细小噪点，然后将去噪后物体放大至原尺寸。在具体应用实施例中得到的细粒度噪点过滤结果如图5所示，其中图5(a)对应为过滤前的图像，图5(b)对应为过滤后的图像。从图5中可知，采用先腐蚀后膨胀的形态学方法，可以去除掉尺度较小的噪点，同时使得处理过后的图像更平滑。
上述过滤掉全景细粒度噪点以后得到的像素点颜色类别，对于过滤后的图像进而判断过滤后存在的车道线数量，以结合车道线的缺失状态与置信度可靠的确定出用于重构的目标车道线。
本实施例中步骤S2后、S3前还包括获取过滤后分割图中每一条车道线的点集，并根据车道线之间的位置关系，过滤掉每条车道线上处于散落区域外指定范围的噪点，以及过滤每条车道线上指定范围内判定为不连续的点。
本实施例中具体通过行取法获取处理后的车道线像素点，设置每条车道线在俯视图中的固定区域范围后，除去该车道像素集合中不属于该区域的像素点，然后利用行取法像素点连续的特性，通过点与点之间设置距离阈值除去地标干扰像素点，详细步骤为：
步骤1：通过行列式取值法，获取到不同颜色的车道线实例点，即第一条车道线L1实例点集为白色像素点集合，第二条车道线L2实例点集为红色像素点集合以及第三条车道线L3实例点集为蓝色像素点集合。
步骤2：设定经验值k和范围值△t，k值满足大多数情况下俯视图上真实车道线存在的位置，假设俯视图上真实车道线所在列W，则△t＝(1/3)*W。以(kn-△t,kn+△t)n∈(1,2,…n)为范围，对获取到的第n条车道线点集单独过滤，以除去某条车道线点集上散落在(kn-△t,kn+△t)范围外的点。
在具体应用实施例中采用上述方法处理后的结果如图6所示，其中，图6(a)对应为原图，图6(b)对应为分割图，图6(c)对应为透视变换后得到的鸟瞰图，图6(d)对应为细粒度过滤后图像，图6(e)对应为经过上述车道线点集散落点过滤后的图像。从图6(d)细粒度过滤图中可知，对于尺度较大的噪点(右上角白色像素点集)，使用传统的形态学方法无法将其完全去除，本实施例通过设定一个范围阈值对车道线点集单独过滤，可以将距离较远尺寸较大的噪点均去掉。
步骤3：处理(k-△t,k+△t)范围内的点。假设LW为车道线的列宽，根据行列法获取到的车道线像素点在计算机内存(列表数组)中始终连续的特点，将获取到的后一个点P1与前一个点P0的差值D与LW作比较，如果D大于LW，则去掉点P1，以去除同范围内突变干扰噪点。
在具体应用实施例中，采用上述方法去除突变干扰噪点后得到的结果如图7所示，其中图7(a)对应为原图，图7(b)对应为分割图，图7(c)对应为透视变换后得到的鸟瞰图，图7(d)对应为细粒度过滤后图像，图7(e)对应为经过上述突变干扰噪点去除后的图像。由图7(d)细粒度过滤图可知，即便去除掉了范围阈值外的噪点，同范围内仍然有干扰噪点存在的可能性，本实施例通过上述步骤3，可以有效将该类噪点去除。
对经过上述处理后的车道线重新计算每条线的置信度，再进行置信度排序，按照已知的车道线间隔距离，以置信度高的车道线为基础，重构其他车道线。本实施例具体根据存储的车道线像素点颜色得到当前帧的车道线数量。
由于过滤前中间位置的车道线噪点较多，如可能存在较多的地标点等，左右两侧车道线的置信度在大多数时候高于会中间车道线，但是置信度高的左右车道线在转弯时会存在较多的延长线，若以左右两侧的车道线为基准进行重构，容易将直道拟合成弯道而产生误差。考虑到上述问题，本实施例步骤S3中，如果过滤后分割图中存在中间车道线，且当前中间车道线的像素点数量满足预设要求，优先以当前中间车道线作为筛选出的目标车道线；如果过滤后分割图中缺失中间车道线，则根据置信度的大小取置信度最高的车道线作为筛选出的目标车道线。即当过滤后的中间线像素点足够多时，优先以中间线为基础，重构生成其他车道线；当中间线像素点不满足要求时，以其他两条线中置信度较高的为基准，重构生成其他车道线，以结合中间车道线的状态以及置信度确定出可靠的重构车道线，进一步提高重构的精度。重构时，具体以筛选出的目标车道线为基础，虚拟(点平移)生成其余车道线。
如图11所示，本实施例步骤S3中如果过滤后分割图中存在三条车道线时，先统计过滤后分割图中的中间车道线的像素点数，若中间车道线的像素数量满足预设要求，以中间车道线作为筛选出的目标车道线；若中间车道线的像素数量不满足预设要求时，取其余两条车道线中置信度较高的车道线作为筛选出的目标车道线。
在具体应用实施例中存在3条车道线时的重构结果如图8所示，其中图8(a)对应为原图，图8(b)对应为分割图，图8(c)对应为透视变换后得到的鸟瞰图，图8(d)对应为细粒度过滤后图像，图8(e)对应为重构得到的车道线图像，左右侧车道线为基于中间车道线重构得到的两条车道线。
如图11所示，本实施例步骤S3中如果过滤后分割图中存在两条车道线时，判断缺失的车道线位置，若为缺失左侧或右侧车道线，则再判断过滤后分割图中的中间车道线的像素点数量是否满足要求，如果满足则以当前中间车道线作为筛选出的目标车道线，不满足则以过滤后分割图中另一条车道线作为筛选出的目标车道线；若为缺失中间车道线且不为单向车道，则选择过滤后分割图的两条车道线中置信度较高的车道线作为筛选出的目标车道线；如果过滤后分割图中仅存在一条车道线，直接以当前车道线作为筛选出的目标车道线。
在具体应用实施例中，当分割中车道线数量为2时，首先判断L1、L2、L3中哪条线是缺失的(像素点全为0对应的即为缺失线)，若缺左边车道线(L1)，判断过滤后的中间车道线像素点数量是否满足要求，满足则以中间车道线为基准虚拟其余线，不满足则以过滤后右边的线为基准虚拟其他线；若缺右边车道线(L3)，判断过滤后的中间车道线像素点数量是否满足要求，满足则以中间线为基准虚拟其余线，不满足则以过滤后左边的线为基准虚拟其余线；若缺失中间车道线，首先判断是由于中间线被遮挡而缺失还是本身不存在中间线，若判定为中间车道线被遮挡，则选择左右两侧车道线中置信度较高的线为基准虚拟其余线，若中间车道原本就不存在则直接根据置信度高的线虚拟出另一条车道线。
上述判断是由于中间线被遮挡而缺失还是本身不存在中间线的方法具体可采用：等比例取过滤后两条线的三个点，假设道路宽度为100像素，当两条线上的三个点两两相减距离均大于预设阈值时，判定为中间车道线被遮挡，否则判定为单向车道而无中间车道线。
在具体应用实施例中检测到2条车道线时的重构结果如图9所示，其中图9(a)对应为原图，图9(b)对应为分割图，图9(c)对应为透视变换后得到的鸟瞰图，图9(d)对应为细粒度过滤后图像，图9(e)对应为重构得到的车道线图像，左右侧车道线为基于中间车道线重构得到的两条车道线。
如图11所示，本实施例步骤S3中当图中车道线数量为1时，判断当前存在的车道线位置(即判断L1、L2、L3中哪一条线点集不为空)，确定该线的左中右相对位置关系，然后过滤掉其散落在周围的点与不连续的点然后虚拟其余两条线。当图中车道线数量为0时，输出项则全为0，即不存在车道线。
在具体应用实施例中检测到1条车道线时的重构结果如图10所示，其中图10(a)对应为原图，图10(b)对应为分割图，图10(c)对应为透视变换后得到的鸟瞰图，图10(d)对应为细粒度过滤后图像，图10(e)对应为重构得到的车道线图像，左侧与中间车道线为基于右侧车道线重构得到的两条车道线。
经过车道线重构后会得到像素坐标系下的一系列点集，需要转换到车体坐标系进行拟合生成多项式系数。本实施例步骤S4后还包括坐标系转换S5，具体步骤包括：将重构出的车道线的点集转换至车体坐标系下并进行曲线拟合，生成车体坐标系下的虚拟车道线，具体转换步骤如下：
步骤S51.将图像坐标变换到车体坐标。
假设像素坐标系下有两个点A(2,1)、B(1.5,1.5)，已知每像素等于0.1米，则变换单位后的点为A(0.2,0.1)、B(0.15,0.15)，接着将图像坐标系做水平翻转(y轴朝下变成y轴朝上)，变换后的点为A(0.2,-0.1)、B(0.15,-0.15)，然后通过已知的车宽度的一半(假设为19.2米)和车中心(车前后轮的距离的中心)到标定板顶端的距离(假设为15米)，将图像坐标变换到车体坐标，变换后的点为A(0.2-19.2＝-19,-0.1--15＝14.9)、B(0.15-19.2＝-19.05,-0.15--15＝14.85)。
步骤S52.将车体坐标系的点集进行拟合。
获取到车体坐标系的点集后用最小二乘法拟合多项式系数，输出拟合到的系数，同时输出点集到车的最远距离和重新计算过的置信度(范围为(0～100)。
本实施例使用ENet-SAD模型进行车道线实例预测，通过形态学方法去除噪点后，以置信度高的车道线为基准，使用已知的全局道路宽度对预测到的车道像素点进行过滤，基于全局道路信息重构车道线，即便在磨损、树荫、遮挡、路口等复杂情况下均能够基于高可信度的车道线准确重构出其他车道线，同时使得重构出的车道线平行保持在真实车道线内侧，保证车辆不会行驶出车道外，能够有效提高智能车辆行驶的安全性。
为验证本发明的有效性，在具体应用实施例中分别采用本发明上述方法在不同环境场景下进行车道线检测，得到的结果中ENet-SAD模型原始输出的每条车道线准确在大约50％～60％之间，经过本发明上述车道线重构处理后，准确率能够达到95％左右(准确率＝正确识别的车道线数/车道线总数)，每帧图像检测耗时在80ms～100ms之间波动。不同场景下的检测效果如图12～16所示，其中(a)、(b)、(c)分别对应为原图、模型原始输出以及重构得到的最终车道线输出，具体分析如下：
(1)直道：
在直道时检测结果如图12所示，由检测结果可知，直线路段的车道线识别效果较好，且程序的耗时较短，仅需大约在85ms左右。
(2)弯道
在弯道时检测结果如图13所示，从图中可知，弯道场景下车道线的识别分为两种情况：一种是图2上部分样式的连续的弯道，该场景下弯道的识别效果良好；另外一种是路口不连续的弯道与直线并存的延长线，此种情况下程序会以置信度最高的车道线为主重构其他的车道线。
(3)路口
在路口时检测结果如图14所示。从图中可知，车辆经过路口时，程序能够根据识别到的置信度最高的车道线重构出其他两条车道线，以确保车辆在可控制的范围内继续前行。
(4)地标
在存在地标时检测结果如图15所示。从图中可知，在深度模型输出受到地标干扰时，通过重构车道线可以自动过滤掉地标像素点。
(5)树荫
在树荫路段时检测结果如图16所示。由结果显示，不管是在厚重的树荫下，还是在较稀薄的树荫下，车道线的重构结果都较为稳定。
(6)遮挡
在遮挡情况下检测结果如图17所示。如果车辆在行驶中，车道线遇行人车辆等物体遮挡，采用传统的检测车道线检测方法会出现检测短暂跳跃。从图17可知，采用本发明上述车道线重构方法不容易受物体遮挡的影响。
即本发明能够在磨损、弯道、树荫、路口等复杂场景下实现精确的车道线重构，且稳定性和适应性较高。
本实施例基于置信度评估的车道线重构装置，包括：
实例分割模块，用于获取待检测图像进行车道线实例分割，得到车道线实例分割图；
像素点过滤模块，用于对车道线实例分割图中像素点进行过滤，得到过滤后分割图；
车道线筛选模块，用于判断过滤后分割图中存在的车道线数量，并评估每条车道线的置信度，根据存在的车道线数量以及各条车道线的置信度筛选出目标车道线；
车道线重构模块，用于使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
本实施例中，实例分割模块使用ENet-SAD模型进行车道线实例分割，并获取每条车道线的像素点。
本实施例中，还包括设置在实例分割模块、像素点过滤模块之间的透视变换模块，用于将车道线实例分割图进行透视变换，以将车道线实例分割图转换为俯视图。
本实施例中，还包括与车道线重构模块连接的坐标系转换模块，用于将所述重构出的车道线的点集转换至车体坐标系下并进行曲线拟合，生成车体坐标系下的虚拟车道线
本实施例中，车道线筛选模块中如果过滤后分割图中存在中间车道线，且当前中间车道线的像素点数量满足预设要求，优先以当前中间车道线作为筛选出的目标车道线；如果所述过滤后分割图中缺失中间车道线，则根据置信度的大小取置信度最高的车道线作为筛选出的目标车道线，具体如上所述。
本实施例基于置信度评估的车道线重构装置与上述基于置信度评估的车道线重构方法为一一对应，两者具有相同的实现原理以及效果，在此不再一一赘述。
在另一实施例中，本发明基于置信度评估的车道线重构装置还可以为：包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，其特征在于，处理器用于执行计算机程序以执行如上述基于置信度评估的车道线重构方法。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种基于置信度评估的车道线重构方法，其特征在于，步骤包括：
S1.实例分割：获取待检测图像进行车道线实例分割，得到车道线实例分割图；
S2.像素点过滤：对所述车道线实例分割图中像素点进行过滤，得到过滤后分割图；
S3.车道线筛选：判断所述过滤后分割图中车道线的缺失状态，并评估当前存在的每条车道线的置信度，根据所述车道线的缺失状态以及各条车道线的置信度筛选出目标车道线；
S4.车道线重构：使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
2.根据权利要求1所述的基于置信度评估的车道线重构方法，其特征在于：所述步骤S1中使用ENet-SAD模型进行车道线实例分割，并获取每条车道线的像素点。
3.根据权利要求1所述的基于置信度评估的车道线重构方法，其特征在于，所述步骤S1后、S2前还包括将车道线实例分割图进行透视变换，以将车道线实例分割图转换为俯视图。
4.根据权利要求1或2或3所述的基于置信度评估的车道线重构方法，其特征在于，所述步骤S3中，如果所述过滤后分割图中存在中间车道线，且当前中间车道线的像素点数量满足预设要求，优先以当前中间车道线作为筛选出的目标车道线；如果所述过滤后分割图中缺失中间车道线，则根据置信度的大小取置信度最高的车道线作为筛选出的目标车道线。
5.根据权利要求4所述的基于置信度评估的车道线重构方法，其特征在于：如果所述过滤后分割图中存在三条车道线时，先统计所述过滤后分割图中的中间车道线的像素点数，若所述中间车道线的像素数量满足预设要求，以所述中间车道线作为筛选出的目标车道线；若所述中间车道线的像素数量不满足预设要求时，取其余两条车道线中置信度较高的车道线作为筛选出的目标车道线。
6.根据权利要求4所述的基于置信度评估的车道线重构方法，其特征在于：如果所述过滤后分割图中存在两条车道线时，判断缺失的车道线位置，若为缺失左侧或右侧车道线，则再判断所述过滤后分割图中的中间车道线的像素点数量是否满足要求，如果满足则以当前中间车道线作为筛选出的目标车道线，不满足则以所述过滤后分割图中另一条车道线作为筛选出的目标车道线；若为缺失中间车道线且不为单向车道，则选择所述过滤后分割图的两条车道线中置信度较高的车道线作为筛选出的目标车道线；如果所述过滤后分割图中仅存在一条车道线，直接以当前车道线作为筛选出的目标车道线。
7.根据权利要求1或2或3所述的基于置信度评估的车道线重构方法，其特征在于，所述步骤S2后、S3前还包括获取所述过滤后分割图中每一条车道线的点集，并根据车道线之间的位置关系，过滤掉每条车道线上处于散落区域外指定范围的噪点；和/或过滤每条车道线上指定范围内判定为不连续的点。
8.根据权利要求1或2或3所述的基于置信度评估的车道线重构方法，其特征在于，所述步骤S4后还包括坐标系转换S5，具体步骤包括：将所述重构出的车道线的点集转换至车体坐标系下并进行曲线拟合，生成车体坐标系下的虚拟车道线。
9.一种基于置信度评估的车道线重构装置，其特征在于，包括：
实例分割模块，用于获取待检测图像进行车道线实例分割，得到车道线实例分割图；
像素点过滤模块，用于对所述车道线实例分割图中像素点进行过滤，得到过滤后分割图；
车道线筛选模块，用于判断所述过滤后分割图中存在的车道线数量，并评估每条车道线的置信度，根据存在的车道线数量以及各条车道线的置信度筛选出目标车道线；
车道线重构模块，用于使用筛选出的目标车道线重构出其余车道线，得到重构出的车道线输出。
10.一种基于置信度评估的车道线重构装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。
CN202110216402.5A 2021-02-26 2021-02-26 一种基于置信度评估的车道线重构方法及装置 Active CN112862845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110216402.5A CN112862845B (zh) 2021-02-26 2021-02-26 一种基于置信度评估的车道线重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110216402.5A CN112862845B (zh) 2021-02-26 2021-02-26 一种基于置信度评估的车道线重构方法及装置

Publications (2)

Publication Number Publication Date
CN112862845A true CN112862845A (zh) 2021-05-28
CN112862845B CN112862845B (zh) 2023-08-22

Family

ID=75990101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110216402.5A Active CN112862845B (zh) 2021-02-26 2021-02-26 一种基于置信度评估的车道线重构方法及装置

Country Status (1)

Country Link
CN (1) CN112862845B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449647A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN113469963A (zh) * 2021-06-24 2021-10-01 推想医疗科技股份有限公司 肺动脉图像分割方法及装置
CN115049997A (zh) * 2022-06-07 2022-09-13 北京百度网讯科技有限公司 边缘车道线的生成方法、装置、电子设备及存储介质
CN115131968A (zh) * 2022-06-28 2022-09-30 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN116129379A (zh) * 2022-12-28 2023-05-16 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325811A (zh) * 2018-12-14 2020-06-23 广东星舆科技有限公司 一种车道线数据的处理方法及处理装置
CN112132109A (zh) * 2020-10-10 2020-12-25 北京百度网讯科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325811A (zh) * 2018-12-14 2020-06-23 广东星舆科技有限公司 一种车道线数据的处理方法及处理装置
CN112132109A (zh) * 2020-10-10 2020-12-25 北京百度网讯科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469963A (zh) * 2021-06-24 2021-10-01 推想医疗科技股份有限公司 肺动脉图像分割方法及装置
CN113449647A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN115049997A (zh) * 2022-06-07 2022-09-13 北京百度网讯科技有限公司 边缘车道线的生成方法、装置、电子设备及存储介质
CN115131968A (zh) * 2022-06-28 2022-09-30 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN115131968B (zh) * 2022-06-28 2023-07-11 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN116129379A (zh) * 2022-12-28 2023-05-16 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法
CN116129379B (zh) * 2022-12-28 2023-11-07 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法

Also Published As

Publication number Publication date
CN112862845B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112862845B (zh) 一种基于置信度评估的车道线重构方法及装置
CN111582083B (zh) 一种基于消失点估计与语义分割的车道线检测方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN110097044B (zh) 基于深度学习的一阶段车牌检测识别方法
CN110210474B (zh) 目标检测方法及装置、设备及存储介质
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN110276293B (zh) 车道线检测方法、装置、电子设备及存储介质
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN110263714B (zh) 车道线检测方法、装置、电子设备及存储介质
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JP2021528757A (ja) 機械学習モデルの出力から推論されるインスタンスセグメンテーション
Zhang et al. End to end video segmentation for driving: Lane detection for autonomous car
CN112927283A (zh) 测距方法及装置、存储介质及电子设备
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN113221739B (zh) 基于单目视觉的车距测量方法
CN113238209B (zh) 基于毫米波雷达的道路感知方法、系统、设备及存储介质
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN106991684B (zh) 前景提取方法及装置
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质
CN112133100B (zh) 一种基于r-cnn的车辆检测方法
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant