CN113449647A - 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 - Google Patents
弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113449647A CN113449647A CN202110731414.1A CN202110731414A CN113449647A CN 113449647 A CN113449647 A CN 113449647A CN 202110731414 A CN202110731414 A CN 202110731414A CN 113449647 A CN113449647 A CN 113449647A
- Authority
- CN
- China
- Prior art keywords
- lane line
- pixel points
- road image
- image
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种弯曲车道线的拟合方法、系统、设备及计算机可读存储介质，所述弯曲车道线的拟合方法包括：获取道路图像；所述道路图像中包含弯曲车道线；对所述道路图像进行分割，以获取分割后的道路图像；将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线像素点；将提取的有效车道线像素点用于拟合所述弯曲车道线；输出拟合出的弯曲车道线。本发明所述弯曲车道线的拟合方法、系统、设备及计算机可读存储介质通过语义分割网络强大的特征提取能力，能够适应车道线提取时道路环境的变化，且通过有效得到弯道车道线的曲线拟合参数，准确拟合出弯道车道线，耗时少且准确性高，具有一定的实时性。
Description
技术领域
本发明属于图像处理技术领域，涉及一种拟合方法及系统，特别是涉及一种弯曲车道线 的拟合方法、系统、设备及计算机可读存储介质。
背景技术
21世纪以来，我国经济迅猛发展，人民生活得到极大改善，截至2020年9月，全国机动车保有量达3.65亿辆，其中汽车2.75亿辆；机动车驾驶人4.5亿人，其中汽车驾驶人4.1亿人。中国已经成为名副其实的汽车大国，但随之而来的是，道路交通安全问题越发突出。国家统计局的数据显示，2018年，全国发生交通事故244937起，死亡人数为63194人；造 成直接财产损失为138455.9万元。根据2020年上半年道路交通事故统计分析，肇事突出的 10大交通违法行为分别为：未按规定让行、超速行驶、无证驾驶、醉酒驾驶、未与前车保持 安全距离、逆行、违反交通信号、酒后驾驶、违法超车、违法会车。其中人的因素在道路交 通事故成因中占比超过90％。
有人驾驶汽车每一个都是单独的个体，车辆行驶受到驾驶员的完全控制，驾驶员根据道 路行驶环境做出相应的反映，车辆与车辆之间几乎没有交流。由于人作为独立的个体，认知 能力各不相同，处理问题不可能不掺杂个人因素，在突发情况下，驾驶员由于紧张、粗心或 其他因素可能给出错误控制指令。在车辆驾驶中尽量降低人的参与度，可以从根源上减少由 于驾驶员主观因素引起的交通事故。目前，较为高端的汽车配备各种辅助驾驶系统，这些辅 助驾驶系统在一定程度上可以减轻驾驶员的劳动强度，更关键的是可以在突发情况下辅助驾 驶员安全行驶。例如，制动防抱死系统(ABS)、自动制动系统(AEB)、车道偏离预警系 统(LDWS)、自适应巡航系统(ACC)等，我们把这些统称为高级辅助驾驶系统(ADAS)， 其本质还是对车辆行驶起到辅助作用，人起主要作用，所以无法从根本上杜绝人为性操作失 误导致的交通事故。
近些年，汽车智能化的不断推进为解决人为因素导致大量交通事故问题和交通拥堵问题 带来了曙光。环境感知是智能驾驶系统中的三大核心技术之一，为智能驾驶汽车提供有关行 车环境的重要信息，包括交通信号灯、标志标线、路面区域、道路边界、车辆周围障碍物的 位置、速度、运动方向，甚至对其未来状态的预测。
现有的车道线检测算法多是通过基于色彩空间的阈值分割，再进行边缘检测、滤波等方 式分割出车道线区域，然后结合Hough变换、RANSAC等算法进行车道线检测拟合。虽然Hough变换能够有效检测图像中的直线部分，对径直车道线检测效果良好，但遇到弯道时则 无法准确得到车道线信息。此外，Hough变换极其依赖前面车道线图像分割的结果，基于色 彩空间的阈值分割方法需要人工手动去调整阈值参数，后面的滤波算子也需要根据算法所针 对的道路场景特点手动调节参数，工作量大且鲁棒性较差，当行车环境出现明显变化时，车 道线的检测效果不佳，具有一定局限性。
因此，如何提供一种弯曲车道线的拟合方法、系统、设备及计算机可读存储介质，以解 决现有技术环境适应性差，尤其在遇到弯道时，无法准确得到车道线信息等缺陷，实已成为 本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种弯曲车道线的拟合方法、系 统、设备及计算机可读存储介质，用于解决现有技术环境适应性差，尤其在遇到弯道时，无 法准确得到车道线信息的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种弯曲车道线的拟合方法，包 括：
获取道路图像；所述道路图像中包含弯曲车道线；对所述道路图像进行分割，以获取分割后 的道路图像；将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线像素 点；
将提取的有效车道线像素点用于拟合所述弯曲车道线；输出拟合出的弯曲车道线。
于本发明的一实施例中，所获取的道路图像为经过畸变校正的道路图像。
于本发明的一实施例中，所述对所述道路图像进行分割，以获取分割后的道路图像的步 骤包括：将畸变校正的道路图像输入至预存存储的语义分割模型进行分割，输出分割后的道 路图像；该分割后的道路图像包含弯曲车道线的道路灰度图像或二值图像，图像中前景与背 景根据像素值的大小相区分。
于本发明的一实施例中，所述从所述鸟瞰图中提取有效车道线像素点的步骤包括：将所 述鸟瞰图中每一像素点的像素值按列相加，获取到每一列的列像素和，查找列像素和的两个 峰值点，将所述峰值点的横坐标位置确定为左右车道线起点；统计所述鸟瞰图的非零像素 点，返回所有非零像素点组成的像素点元组，并从所述像素点元组中提取有效车道线像素 点；所述元组中非零像素点为经过分割后获取的车道线像素点。
于本发明的一实施例中，所述从所述元组中提取有效车道线像素点的步骤包括：将所述 鸟瞰图从底部至顶部分为n个图像区域；其中，n大于1；从所述鸟瞰图底部开始，统计以确 定的车道线起点为第一检测框的底部中心，以预设宽度阈值为检测框宽度的第一检测框内的 非零像素点，将检测到的非零像素点标记为有效车道线像素点。
于本发明的一实施例中，所述从所述元组中提取有效车道线像素点的步骤还包括：判断 第i检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车道线起点，并 继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第二检测框的底部中 心，以预设宽度阈值为检测框宽度的第i+1检测框内的非零像素点；其中，i大于等于1，小 于n；直至遍历完所有等高的图像区域。
于本发明的一实施例中，所述更新所述车道线起点的步骤包括将所述图像检测区域内有 效车道线像素点的横坐标进行均值化处理，将横坐标均值后的像素点作为更新的车道线起 点；该更新的车道线起点为第i+1检测框底部中心。
本发明另一方面提供一种弯曲车道线的拟合系统，包括：获取模块，用于获取道路图 像；所述道路图像中包含弯曲车道线；分割模块，用于对所述道路图像进行分割，以获取分 割后的道路图像；提取模块，用于将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提 取有效车道线像素点；拟合模块，用于将提取的有效车道线像素点用于拟合所述弯曲车道； 处理模块，用于输出拟合出的弯曲车道线。
本发明又一方面一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执 行时实现所述弯曲车道线的拟合方法。
本发明最后一方面提供一种弯曲车道线的拟合设备，包括：处理器及存储器；所述存储 器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述拟合 设备执行所述弯曲车道线的拟合方法。
如上所述，本发明所述的弯曲车道线的拟合方法、系统、设备及计算机可读存储介质， 具有以下有益效果：
本发明所述弯曲车道线的拟合方法、系统、设备及计算机可读存储介质通过语义分割网 络强大的特征提取能力，能够适应车道线提取时道路环境的变化，且通过有效得到弯道车道 线的曲线拟合参数，准确拟合出弯道车道线，耗时少且准确性高，具有一定的实时性。
附图说明
图1A显示为本发明的弯曲车道线的拟合方法于一实施例中的流程示意图。
图1B显示为本发明的S14的流程示意图。
图2显示为本发明的获取道路图像的示例图。
图3显示为本发明的分割后的道路图像的示例图。
图4显示为本发明的鸟瞰图的示例图。
图5显示为本发明的鸟瞰图每列像素总和的直方图。
图6显示为本发明的鸟瞰图从底部至顶部分为9个等高的图像区域示意图。
图7显示为本发明的透视逆变换后有效车道线像素点与二值图像加权叠加后的效果图。
图8显示为本发明的有效车道线像素点、透视逆变换后绘制的车道线曲线与原始图像加 权叠加后的效果图。
图9显示为本发明的本发明的弯曲车道线的拟合系统于一实施例中的原理结构示意图。
元件标号说明
| 9 | 弯曲车道线的拟合系统 |
| 91 | 获取模块 |
| 92 | 分割模块 |
| 93 | 提取模块 |
| 94 | 拟合模块 |
| 95 | 处理模块 |
| S11～S16 | 步骤 |
| S141～S142 | 步骤 |
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
实施例一
本实施例提供一种弯曲车道线的拟合方法，包括：
获取道路图像；所述道路图像中包含弯曲车道线；
对所述道路图像进行分割，以获取分割后的道路图像；
将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线像素点；
将提取的有效车道线像素点用于拟合所述弯曲车道线；
输出拟合出的弯曲车道线。
以下将结合图示对本实施例所提供的弯曲车道线的拟合方法进行详细描述。请参阅图 1A，显示为弯曲车道线的拟合方法于一实施例中的流程示意图。如图1A所示，所述弯曲车 道线的拟合方法具体包括以下步骤：
S11，获取道路图像；所述道路图像中包含弯曲车道线。
在本实施例中，所述道路图像是通过安装于车辆前端的图像采集设备，例如，单目摄像 头(单目摄像头的朝向与车身航向角度一致，横向位置为车身坐标系横轴中心)于车辆行驶 过程中所采集到的道路图像。请参阅图2，显示为获取道路图像的示例图。
在本实施例中，所获取的道路图像为经过畸变校正的道路图像，即根据所述图像采集设 备的内部畸变参数对所采集图像进行畸变校正，图像可选但不限于采用H.264格式进行编 码，采集的图像的分辨率为W*H，采集到的图像中，道路部分占比应不低于一定值。
S12，对所述道路图像进行分割，以获取分割后的道路图像。
在本实施例中，将畸变校正的道路图像输入至预存存储的语义分割模型进行分割，输出 分割后的道路图像；该分割后的道路图像包含弯曲车道线的道路灰度图像或二值图像，图像 中前景与背景根据像素值的大小相区分，例如：图像背景区域的像素值为0，白色实车道线 为1，白色虚车道线为2，黄色实车道线为3，黄色虚车道线为4，路面箭头标志为5等等。 所述语义分割模型可以为计算机可读存储介质，其中存储有训练好的语义分割网络的权重文 件、网络模型的结构文件以及读取使用权重文件的相关程序代码。分割后的道路图像的示例 图如图3所示。
在本实施例中，基于深度学习的语义分割模型能够对图像进行像素级的预测，可以得到 任意大小的图像分割结果，而且不需要对每个图像块进行分类，速度快。使用相应的车道线 数据对网络进行训练后，将行车采集的道路图像输入语义分割模型，能够较为准确地输出仅 包含车道线部分的二值图像。
S13，将分割后的道路图像转换为鸟瞰图。
具体地，利用透视变换矩阵使分割后的道路图像转换为如图4所示鸟瞰图。其中，所利 用的透视变换矩阵，根据步骤S1中具体的摄像头安装参数以及具体成像数据确定。
S14，从所述鸟瞰图中提取有效车道线像素点。请参阅图1B，显示为S14的流程示意图。如图1B所示，所述S14包括：
S141，将所述鸟瞰图中每一像素点的像素值按列相加，获取到每一列的列像素和，例如 图5所示鸟瞰图每列像素总和的直方图，查找列像素和的两个峰值点，将所述峰值点的横坐 标位置确定为左右车道线起点。
S142，统计所述鸟瞰图的非零像素点，返回所有非零像素点组成的像素点元组，并从所 述像素点元组中提取有效车道线像素点；所述元组中非零像素点为经过分割后获取的车道线 像素点。在本实施例中，为了改善车道线拟合的效果，并不能拿像素点元组中的全部非零像 素点，需进一步从所述像素点元组中筛选出有效车道线像素点。
筛选步骤具体如下：
首先，将所述鸟瞰图从底部至顶部分为n个图像区域；其中，n大于1，例如，图6中将鸟瞰图从底部至顶部分为9个等高的图像区域。
接着，从所述鸟瞰图底部开始，统计以确定的车道线起点为第一检测框的底部中心，以 预设宽度阈值w为检测框宽度的第一检测框内的非零像素点，将检测到的非零像素点标记为 有效车道线像素点。其中，检测框宽度w的大小视鸟瞰图中车道线的具体宽度而定，约为鸟 瞰图中车道线宽的最大值与最小值之和。
再接着，判断第i检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更 新车道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第 二检测框的底部中心，以预设宽度阈值为检测框宽度的第i+1检测框内的非零像素点；其 中，i大于等于1，小于n；直至遍历完所有等高的图像区域。
其中，所述更新所述车道线起点的步骤包括将所述图像检测区域内有效车道线像素点的 横坐标进行均值化处理，将横坐标均值后的像素点作为更新的车道线起点；该更新的车道线 起点为第i+1检测框底部中心。
具体地，判断第一检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更 新车道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第 二检测框的底部中心，以预设宽度阈值为检测框宽度的第二检测框内的非零像素点。
继续判断第二检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车 道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第三检 测框的底部中心，以预设宽度阈值为检测框宽度的第三检测框内的非零像素点。
…
最后判断第八检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车 道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第九检 测框的底部中心，以预设宽度阈值为检测框宽度的第九检测框内的非零像素点。
S15，将提取的有效车道线像素点用于拟合所述弯曲车道线。
在本实施例中，使用最小二乘法进行多项式拟合。
例如，一般以左上角为原点，水平为X轴，向右为正，竖直为Y轴，向下为正，所以车道线方程应该以Y为自变量，X为因变量，以二次多项式为例，设方程为x＝c0+c1y+c2y2， 参数可以表示为：C*＝inv(ATA)ATX，其中，矩阵A为
m为有效车道线 像素点拟合点的个数。
S16，将输出拟合出的车道线曲线。
具体地，步骤S16包括根据输出的左右车道线的多项式系数，将拟合出的车道线曲线， 将其绘制在道路图像的鸟瞰图中，也可以对该曲线上的点进行透视逆变换即可将车道线叠加 在原图像中，进行透视逆变换即可将弯曲车道线叠加在原道路图像中。请参阅图7及8，分 别显示为透视逆变换后有效车道线像素点与二值图像加权叠加后的效果图及有效车道线像素 点、透视逆变换后绘制的车道线曲线与原始图像加权叠加后的效果图。
本实施例所述弯曲车道线的拟合方法通过语义分割网络强大的特征提取能力，能够适应 车道线提取时道路环境的变化，且通过有效得到弯道车道线的曲线拟合参数，准确拟合出弯 道车道线，耗时少且准确性高，具有一定的实时性。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执 行时实现上述弯曲车道线的拟合方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计 算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面 的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计 算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存 储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如 其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计 算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的 电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备， 或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设 备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算 机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可 读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可 读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA) 指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或 者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象 的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程 语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、 作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远 程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网 络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机 (例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程 序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA) 或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各 个方面。
实施例二
本实施例提供一种弯曲车道线的拟合系统，包括：
获取模块，用于获取道路图像；所述道路图像中包含弯曲车道线；
分割模块，用于对所述道路图像进行分割，以获取分割后的道路图像；
提取模块，用于将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线 像素点；
拟合模块，用于将提取的有效车道线像素点用于拟合所述弯曲车道线。
以下将结合图示对本实施例所提供的弯曲车道线的拟合系统进行详细描述。请参阅图 9，显示为弯曲车道线的拟合系统于一实施例中的流程示意图。如图9所示，所述弯曲车道 线的拟合系统9包括获取模块91、分割模块92、提取模块93、拟合模块94及处理模块95。
所述获取模块91用于获取道路图像；所述道路图像中包含弯曲车道线。
所述分割模块92用于对所述道路图像进行分割，以获取分割后的道路图像。
在本实施例中，将畸变校正的道路图像输入至预存存储的语义分割模型进行分割，输出 分割后的道路图像；该分割后的道路图像包含弯曲车道线的道路灰度图像或二值图像，图像 中前景与背景根据像素值的大小相区分。
所述提取模块93用于将分割后的道路图像转换为鸟瞰图。
具体地，所述提取模块93利用透视变换矩阵使分割后的道路图像转换为鸟瞰图。
所述提取模块93还用于从所述鸟瞰图中提取有效车道线像素点。
具体地，所述提取模块93将所述鸟瞰图中每一像素点的像素值按列相加，获取到每一 列的列像素和，查找列像素和的两个峰值点，将所述峰值点的横坐标位置确定为左右车道线 起点。统计所述鸟瞰图的非零像素点，返回所有非零像素点组成的像素点元组，并从所述像 素点元组中提取有效车道线像素点；所述元组中非零像素点为经过分割后获取的车道线像素 点。在本实施例中，为了改善车道线拟合的效果，并不能拿像素点元组中的全部非零像素 点，需进一步从所述像素点元组中筛选出有效车道线像素点。
所述提取模块93筛选步骤具体如下：
首先，将所述鸟瞰图从底部至顶部分为n个等高的图像区域；其中，n大于1，例如，图 7中将鸟瞰图从底部至顶部分为9个等高的图像区域。
接着，从所述鸟瞰图底部开始，统计以确定的车道线起点为第一检测框的底部中心，以 预设宽度阈值w为检测框宽度的第一检测框内的非零像素点，将检测到的非零像素点标记为 有效车道线像素点。其中，检测框宽度w的大小视鸟瞰图中车道线的具体宽度而定，约为鸟 瞰图中车道线宽的最大值与最小值之和。
再接着，判断第i检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更 新车道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第 二检测框的底部中心，以预设宽度阈值为检测框宽度的第i+1检测框内的非零像素点；其 中，i大于等于1，小于n；直至遍历完所有等高的图像区域。
其中，所述更新所述车道线起点的步骤包括将所述图像检测区域内有效车道线像素点的 横坐标进行均值化处理，将横坐标均值后的像素点作为更新的车道线起点；该更新的车道线 起点为第i+1检测框底部中心。
具体地，判断第一检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更 新车道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第 二检测框的底部中心，以预设宽度阈值为检测框宽度的第二检测框内的非零像素点。
继续判断第二检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车 道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第三检 测框的底部中心，以预设宽度阈值为检测框宽度的第三检测框内的非零像素点。
…
最后判断第八检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车 道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第九检 测框的底部中心，以预设宽度阈值为检测框宽度的第九检测框内的非零像素点。
所述拟合模块94用于将提取的有效车道线像素点用于拟合所述弯曲车道线。
在本实施例中，所述拟合模块94使用最小二乘法进行多项式拟合。
所述处理模块95用于输出拟合出的车道线曲线。
具体地，所述处理模块95根据输出的左右车道线的多项式系数，将拟合出的车道线曲 线，将其绘制在道路图像的鸟瞰图中，也可以对该曲线上的点进行透视逆变换即可将车道线 叠加在原图像中需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划 分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可 以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模 块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为 单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以 程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上 x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独 立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中， 上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形 式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如： 一个或多个特定集成电路(Application SpecificIntegrated Circuit，简称ASIC)，一个或多个 微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形 式实现时，该处理元件可以是通用处理器，如中央处理器(Central Processing Unit，简称 CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统 (System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种弯曲车道线的拟合设备，包括：处理器、存储器、收发器、通信接口 或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通 信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于 运行计算机程序，使拟合设备执行如上实施例一所述弯曲车道线的拟合方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称 PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。 该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表 示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他 设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如 至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称 CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称 ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的弯曲车道线的拟合方法的保护范围不限于本实施例列举的步骤执行顺 序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本 发明的保护范围内。
本发明还提供一种弯曲车道线的拟合系统，所述弯曲车道线的拟合系统可以实现本发明 所述的弯曲车道线的拟合方法，但本发明所述的弯曲车道线的拟合方法的实现装置包括但不 限于本实施例列举的弯曲车道线的拟合系统的结构，凡是根据本发明的原理所做的现有技术 的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述弯曲车道线的拟合方法、系统、设备及计算机可读存储介质通过 语义分割网络强大的特征提取能力，能够适应车道线提取时道路环境的变化，且通过有效得 到弯道车道线的曲线拟合参数，准确拟合出弯道车道线，耗时少且准确性高，具有一定的实 时性。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种弯曲车道线的拟合方法，其特征在于，包括：
获取道路图像；所述道路图像中包含弯曲车道线；
对所述道路图像进行分割，以获取分割后的道路图像；
将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线像素点；
将提取的有效车道线像素点用于拟合所述弯曲车道线；
输出拟合出的弯曲车道线。
2.根据权利要求1所述的弯曲车道线的拟合方法，其特征在于，所获取的道路图像为经过畸变校正的道路图像。
3.根据权利要求2所述的弯曲车道线的拟合方法，其特征在于，所述对所述道路图像进行分割，以获取分割后的道路图像的步骤包括：
将畸变校正的道路图像输入至预存存储的语义分割模型进行分割，输出分割后的道路图像；该分割后的道路图像包含弯曲车道线的道路灰度图像或二值图像，图像中前景与背景根据像素值的大小相区分。
4.根据权利要求3所述的弯曲车道线的拟合方法，其特征在于，所述从所述鸟瞰图中提取有效车道线像素点的步骤包括：
将所述鸟瞰图中每一像素点的像素值按列相加，获取到每一列的列像素和，查找列像素和的两个峰值点，将所述峰值点的横坐标位置确定为左右车道线起点；
统计所述鸟瞰图的非零像素点，返回所有非零像素点组成的像素点元组，并从所述像素点元组中提取有效车道线像素点；所述元组中非零像素点为经过分割后获取的车道线像素点。
5.根据权利要求4所述的弯曲车道线的拟合方法，其特征在于，所述从所述元组中提取有效车道线像素点的步骤包括：
将所述鸟瞰图从底部至顶部分为n个图像区域；其中，n大于1；
从所述鸟瞰图底部开始，统计以确定的车道线起点为第一检测框的底部中心，以预设宽度阈值为检测框宽度的第一检测框内的非零像素点，将检测到的非零像素点标记为有效车道线像素点。
6.根据权利要求5所述的弯曲车道线的拟合方法，其特征在于，所述从所述元组中提取有效车道线像素点的步骤还包括：
判断第i检测框内的非零像素点的个数是否大于预设最小像素数，若是，则更新车道线起点，并继续遍历下一个图像检测区域；若否，直接统计以确定的车道线起点为第二检测框的底部中心，以预设宽度阈值为检测框宽度的第i+1检测框内的非零像素点；其中，i大于等于1，小于n；
直至遍历完所有等高的图像区域。
7.根据权利要求6所述的弯曲车道线的拟合方法，其特征在于，所述更新所述车道线起点的步骤包括将所述图像检测区域内有效车道线像素点的横坐标进行均值化处理，将横坐标均值后的像素点作为更新的车道线起点；该更新的车道线起点为第i+1检测框底部中心。
8.一种弯曲车道线的拟合系统，其特征在于，包括：
获取模块，用于获取道路图像；所述道路图像中包含弯曲车道线；
分割模块，用于对所述道路图像进行分割，以获取分割后的道路图像；
提取模块，用于将分割后的道路图像转换为鸟瞰图，以从所述鸟瞰图中提取有效车道线像素点；
拟合模块，用于将提取的有效车道线像素点用于拟合所述弯曲车道线；
处理模块，用于输出拟合的弯曲车道线。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述弯曲车道线的拟合方法。
10.一种弯曲车道线的拟合设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述拟合设备执行如权利要求1至7中任一项所述弯曲车道线的拟合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110731414.1A CN113449647A (zh) | 2021-06-30 | 2021-06-30 | 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110731414.1A CN113449647A (zh) | 2021-06-30 | 2021-06-30 | 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449647A true CN113449647A (zh) | 2021-09-28 |
Family
ID=77814185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110731414.1A Pending CN113449647A (zh) | 2021-06-30 | 2021-06-30 | 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449647A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724119A (zh) * | 2022-06-09 | 2022-07-08 | 天津所托瑞安汽车科技有限公司 | 车道线提取方法、检测设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359602A (zh) * | 2018-10-22 | 2019-02-19 | 长沙智能驾驶研究院有限公司 | 车道线检测方法和装置 |
| CN109740465A (zh) * | 2018-12-24 | 2019-05-10 | 南京理工大学 | 一种基于实例分割神经网络框架的车道线检测算法 |
| CN110084095A (zh) * | 2019-03-12 | 2019-08-02 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
| CN111222405A (zh) * | 2019-11-15 | 2020-06-02 | 北京邮电大学 | 车道线的检测方法、装置、电子设备及可读存储介质 |
| CN112862845A (zh) * | 2021-02-26 | 2021-05-28 | 长沙慧联智能科技有限公司 | 一种基于置信度评估的车道线重构方法及装置 |
-
2021
- 2021-06-30 CN CN202110731414.1A patent/CN113449647A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359602A (zh) * | 2018-10-22 | 2019-02-19 | 长沙智能驾驶研究院有限公司 | 车道线检测方法和装置 |
| CN109740465A (zh) * | 2018-12-24 | 2019-05-10 | 南京理工大学 | 一种基于实例分割神经网络框架的车道线检测算法 |
| CN110084095A (zh) * | 2019-03-12 | 2019-08-02 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
| CN111222405A (zh) * | 2019-11-15 | 2020-06-02 | 北京邮电大学 | 车道线的检测方法、装置、电子设备及可读存储介质 |
| CN112862845A (zh) * | 2021-02-26 | 2021-05-28 | 长沙慧联智能科技有限公司 | 一种基于置信度评估的车道线重构方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724119A (zh) * | 2022-06-09 | 2022-07-08 | 天津所托瑞安汽车科技有限公司 | 车道线提取方法、检测设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ghanem et al. | Lane detection under artificial colored light in tunnels and on highways: an IoT-based framework for smart city infrastructure | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| US9082038B2 (en) | Dram c adjustment of automatic license plate recognition processing based on vehicle class information | |
| CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
| CN107392139B (zh) | 一种基于霍夫变换的车道线检测方法及终端设备 | |
| CN110263635B (zh) | 基于结构森林和PCANet的标志物检测与识别方法 | |
| CN105426861A (zh) | 车道线确定方法及装置 | |
| CN112488046B (zh) | 一种基于无人机高分辨率影像的车道线提取方法 | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| KR101483742B1 (ko) | 지능형 차량의 차선 검출방법 | |
| CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
| Wang et al. | The research on edge detection algorithm of lane | |
| CN113917487A (zh) | 基于激光雷达的封闭道路路沿和可行驶区域检测方法 | |
| CN111079634B (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
| CN113297939B (zh) | 障碍物检测方法、系统、终端设备及存储介质 | |
| CN111126248A (zh) | 一种遮挡下的车辆识别方法及装置 | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| CN113449647A (zh) | 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质 | |
| CN107480683A (zh) | 一种图像处理方法及装置 | |
| CN108090425B (zh) | 一种车道线检测方法、装置及终端 | |
| CN111127503A (zh) | 检测车辆轮胎的花纹的方法、设备和存储介质 | |
| Shashidhar et al. | Computer Vision and the IoT‐Based Intelligent Road Lane Detection System | |
| CN113435350A (zh) | 一种交通标线检测方法、装置、设备和介质 | |
| CN114581876A (zh) | 构建复杂场景下车道检测模型的方法和检测车道线方法 | |
| CN112699825A (zh) | 一种车道线识别方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |