CN115116018A - 一种拟合车道线的方法和装置 - Google Patents

一种拟合车道线的方法和装置 Download PDF

Info

Publication number
CN115116018A
CN115116018A CN202210769822.0A CN202210769822A CN115116018A CN 115116018 A CN115116018 A CN 115116018A CN 202210769822 A CN202210769822 A CN 202210769822A CN 115116018 A CN115116018 A CN 115116018A
Authority
CN
China
Prior art keywords
pixel
pixel point
lane line
pixel points
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210769822.0A
Other languages
English (en)
Inventor
王英荷
吕东翰
吴宾
宋钱骞
林枫
李楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Watertek Information Technology Co Ltd
Original Assignee
Beijing Watertek Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Watertek Information Technology Co Ltd filed Critical Beijing Watertek Information Technology Co Ltd
Priority to CN202210769822.0A priority Critical patent/CN115116018A/zh
Publication of CN115116018A publication Critical patent/CN115116018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

一种拟合车道线的方法和装置，所述方法包括：获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图；根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点；将剔除所述误分像素点后的二值化特征图进行透视处理得到俯视图，并生成所述俯视图的直方图；根据所生成的所述直方图、利用预设的滑动窗口算法对所述俯视图中的第二像素点进行聚类处理；所述第二像素点是所述第一像素点透视所得到的像素点；对聚类处理后的第二像素点集合进行拟合得到两条曲线，并将所得到的两条曲线进行反透视变换，确定所述道路路面图片中用于表示两条车道线的像素点集合。

Description

一种拟合车道线的方法和装置
技术领域
本申请涉及自动驾驶技术领域，尤指一种拟合车道线的方法和装置。
背景技术
车道线检测是自动驾驶领域的研究热点之一，也是ADAS(Advanced DriverAssistance Systems,高级驾驶辅助系统)的关键技术。车道线作为一项尤为重要的环节能辅助驾驶员减少因车道偏离而发生的交通事故。通过在车内挡风板上方放置相机用于采集行车过程中前方环境信息，基于视觉的处理算法用来提取相机输出图片中的车道线信息，并将其用于后续的航迹规划、车道保持和行为预测等任务中。
车道线检测包括特征提取和曲线拟合两个步骤，目前特征提取主要分为两个方向，一种是基于机器视觉的传统车道线提取算法，利用车道线边缘信息、颜色以及纹理特征来捕获车道线在图片中的有效像素点。另一种是基于深度学习的车道线提取算法，依靠卷积神经网络自身强大的学习能力，通过不断优化神经网络参数来提高网络对场景的感知能力以及网络自身的泛化能力，提取出有效像素点，从而实现车道线的语义分割。前者容易受光照变化，天气变化以及路面特征被严重遮挡等影响而导致无法正确提取出车道线，后者相对于前者具有更高的鲁棒性和适用性，不受天气和光照影响，也能识别大部分遮挡情况。生成车道线像素点集合后，使用曲线模型对提取到的车道线进行拟合，获取车道线几何参数模型。
但是这两种方法都存在将图像中部分背景像素点误分割为车道线像素点的情况，从而导致车道线方向或者形状拟合错误的现象。
发明内容
本申请提供了一种拟合车道线方法和装置，基于语义分割得出拟合车道线像素点集合后，利用滑动窗口算法对车道线进行的精准拟合，可以得到更加准确的车道线。
本申请提供了一种拟合车道线的方法，所述方法包括：
获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图；所述二值化特征图中，具有预定灰度值的第一像素点用于表示所述道路路面图片中预估的车道线；
根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点；
将剔除所述误分像素点后的二值化特征图进行透视处理得到俯视图，并生成所述俯视图的直方图；
根据所生成的所述直方图、利用预设的滑动窗口算法对所述俯视图中的第二像素点进行聚类处理；所述第二像素点是所述第一像素点透视所得到的像素点；
对聚类处理后的第二像素点集合进行拟合得到两条曲线，并将所得到的两条曲线进行反透视变换，确定所述道路路面图片中用于表示两条车道线的像素点集合。
一种示例性的实施例中，所述获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图，包括：
对采集的视频序列进行采样，得到多个连续帧，其中每一帧作为一个所述道路路面图片；
将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图；其中，所述二值化特征图中，像素值为255的像素点为所述第一像素点。
一种示例性的实施例中，所述将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图，包括：
将所述道路路面图片输入到所述LaneNet网络模型中的权重共享的卷积神经网络特征提取层中，提取包含几何信息的局部特征图；
将所提取的局部特征图输入到所述LaneNet网络模型中的深度特征提取层网络结构中，提取包含全局信息的抽象高语义特征图；
对所述高语义特征图进行反卷积处理，得到所述道路路面图片中车道线像素点的二值化特征图。
一种示例性的实施例中，所述根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点，包括：
对所述二值化特征图中像素点进行连通域计算，得到多个连通区域；
分别计算每个连通区域的最小外接矩形的面积和倾斜角度；
剔除所述二值化特征图中不满足预设条件的连通区域中的像素点。
一种示例性的实施例中，所述对所述二值化特征图中像素点进行连通域计算，得到多个连通区域，包括：
S51、按照预定顺序，从所述二值化特征图中搜索没有域标识的第一像素点，直到遍历完所述二值化特征图后，将具有相同域标识的像素点作为一个连通域；每当搜到一个没有域标识的第一像素点时，以新的连通域序号作为该第一像素点的域标识，以该第一像素点作为域初始像素点进行S52；
S52、如果所述域初始像素点存在M个相邻的第一像素点，则将该域初始像素点的域标识作为该M个第一像素点的域标识，并将该M个第一像素点放入第一队列进行S53；如果所述域初始像素点相邻的均不是第一像素点则直接返回S51；其中，M为大于0，小于或等于8的整数；
S53、依次对所述第一队列中每个第一像素点进行判断操作，直到所述第一队列中没有第一像素点后返回步骤S51；
其中，对所述第一队列中每个第一像素点进行判断操作包括：
如果该第一像素点存在M’个相邻的、没有域标识的第一像素点，则将该次级像素点的域标识作为该M’个第一像素点的域标识，并将该M’个第一像素点加入所述第一队列；对所述第一队列中下一个第一像素点进行判断操作；
如果该第一像素点不存在相邻的、没有域标识的像素点，则对所述第一队列中下一个第一像素点进行判断操作。
一种示例性的实施例中，所述分别计算每个连通区域的最小外接矩形的面积和倾斜角度，包括：
计算每个连通区域的最小外接矩形的面积和倾斜角度通过以下步骤实现：
确定当前连通区域最外层的像素点并将所确定的最外层像素点进行连接构成多边形，该多边形为包括当前连通区域中所有像素点的图形；
以所述多边形的每条边作为外接矩形的一条边，构成多个外接矩形；
计算每个外接矩形的面积和倾斜角度；
选择所述多个外接矩形中面积值最小的外接矩形作为当前连通区域的外接矩形。
一种示例性的实施例中，所述根据所生成的直方图、利用预置的滑动窗口算法对俯视图中的左右两条车道线像素点进行聚类处理，包括：
对所生成的直方图中每一列像素值之和的集合P(n1,n2,.....n640)；
确定所述多列像素值集合中的中间列，并以所述中间列为起始点，确定距离所述中间列像素值之和为零的第一列数C0；
从所述第一列数C0分别确定左侧第一个极大值点和右侧第一个极大值点所对应的列数Cl和列数Cr；
根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合。
一种示例性的实施例中，所述根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，包括：
将所述列数Cl和所述列数Cr分别设置为左车道线、右车道线的初始滑动窗口的中心；
若预先设置的滑动窗口中不存在像素值为255的像素点时，则滑动窗口的中心不变，并移动到预先划分的多个矩形中的上一个矩形；若预先设置的滑动窗口中存在像素值为255的像素点时，判断所述滑动窗口中的像素点集的中心点的列坐标与矩形中心的列坐标是否重合；
如果不重合，则将矩形中心的列坐标移动到所述滑动窗口中的像素点集的中心点的列坐标，并移动到上一个矩形；
当移动到的矩形为俯视图中的顶部时，结束计算。
一种示例性的实施例中，所述据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，还包括：
对俯视图中所有滑动窗口的像素点进行统计；
当所述滑动窗口像素点不满足预设的离散程度指标时，则剔除该所述滑动窗口中的像素点，剔除后滑动窗口中像素点的集合作为左车道线和右车道线的像素点集合；
其中，所述离散程度指标为：
Figure BDA0003723518600000051
上式中，μ为滑动窗口中像素点坐标的均值，xi为滑动窗口中每个像素点坐标对应的值，N为像素点个数。
本申请还提供了一种拟合车道线的装置，所述装置包括：存储器和处理器；其特征在于，所述存储器用于保存进行拟合车道线的程序，所述处理器用于读取执行所述用于进行拟合车道线的程序，执行上述实施例中任一项所述的方法。
与相关技术相比，本申请提供一种拟合车道线的方法和装置，所述方法包括：获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图；根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点；将剔除所述误分像素点后的二值化特征图进行透视处理得到俯视图，并生成所述俯视图的直方图；根据所生成的所述直方图、利用预设的滑动窗口算法对所述俯视图中的第二像素点进行聚类处理；所述第二像素点是所述第一像素点透视所得到的像素点；对聚类处理后的第二像素点集合进行拟合得到两条曲线，并将所得到的两条曲线映射到俯视图中进行反透视变换，确定所述道路路面图片中用于表示两条车道线的像素点集合。本实施例基于语义分割得出拟合车道线像素点集合后，利用滑动窗口算法对车道线进行的精准拟合，可以得到更加准确的车道线。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的拟合车道线的方法流程图；
图2为一示例实施例中基于laneNet网络的车道线语义分割结果示意图；
图3为一示例实施例中误分割区域剔除示意图；
图4为一示例实施例中透视变换示意图；
图5为一示例实施例中左右车道线聚类示意图；
图6为一示例实施例中左右车道线拟合结果示意图
图7为一示例实施例中计算连通区域的示意图；
图8为一示例实施例中拟合车道线方法流程图；
图9为本申请实施例的拟合车道线的装置示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本公开实施例提供了一种拟合车道线的方法，如图1所示，方法包括步骤S100-S140；
S100.获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图；
S110.根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点；
S120.将剔除所述误分像素点后的二值化特征图进行透视处理得到俯视图，并生成所述俯视图的直方图；
S130.根据所生成的所述直方图、利用预设的滑动窗口算法对所述俯视图中的第二像素点进行聚类处理；所述第二像素点是所述第一像素点透视所得到的像素点；
S140.对聚类处理后的第二像素点集合进行拟合得到两条曲线，并将所得到的两条曲线映射到俯视图中进行反透视变换，确定所述道路路面图片中用于表示两条车道线的像素点集合。
在本实施例中，获取道路路面图片可以通过在车内挡风板上方设置的相机捕捉的图片，所捕捉的图片可以是包括车道信息的图片。该二值化特征图是具有预定灰度值的第一像素点，第一像素点用于表示所述道路路面图片中预估的车道线；也就是说该二值化特征图是包括白色和黑色像素点的图，其中，白色像素点代表车道线，黑色是背景色。
在本实施例中，拟合得到的曲线包括直线、有曲度的线、或其任意结合。
一种示例性的实施例中，所述获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图，包括：对采集的视频序列进行采样，得到多个连续帧，其中每一帧作为一个所述道路路面图片；将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图；其中，所述二值化特征图中，像素值为255的像素点为第一像素点。如图2所示进行语义分割得到二值化特征图，白色为车道线，黑色为背景。在本实施例中，获取道路路面图片可以通过以下步骤：步骤1，汽车实际行驶过程中，车内挡风板上方设置的相机采集前方道路路面视频序列，步骤2，在时间维度上对该所采集的视频进行采样，获取连续帧的前方道路路面信息图片；步骤3，将所有图片进行统一缩放到640*480尺寸。
一种示例性的实施例中，所述将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图，包括：
步骤1.将所述道路路面图片输入到所述LaneNet网络模型中的权重共享的卷积神经网络特征提取层中，提取包含几何信息的局部特征图；
步骤2.将所提取的局部特征图输入到所述LaneNet网络模型中的深度特征提取层网络结构中，提取包含全局信息的抽象高语义特征图；
步骤3.对所述高语义特征图进行反卷积处理，得到所述道路路面图片中车道线像素点的二值化特征图。
一种示例性的实施例中，所述根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点，包括：
对所述二值化特征图中像素点进行连通域计算，得到多个连通区域；
分别计算每个连通区域的最小外接矩形的面积和倾斜角度；
剔除所述二值化特征图中不满足预设条件的连通区域中的像素点。
一种示例性的实施例中，所述对所述二值化特征图中像素点进行连通域计算，得到多个连通区域，包括：
S51、按照预定顺序，从所述二值化特征图中搜索没有域标识的第一像素点，直到遍历完所述二值化特征图后，将具有相同域标识的像素点作为一个连通域；每当搜到一个没有域标识的第一像素点时，以新的连通域序号作为该第一像素点的域标识，以该第一像素点作为域初始像素点进行S52；
S52、如果所述域初始像素点存在M个相邻的第一像素点，则将该域初始像素点的域标识作为该M个第一像素点的域标识，并将该M个第一像素点放入第一队列进行S53；如果所述域初始像素点相邻的均不是第一像素点则直接返回S51；其中，M为大于0，小于或等于8的整数；
S53、依次对所述第一队列中每个第一像素点进行判断操作，直到所述第一队列中没有第一像素点后返回步骤S51；
其中，对所述第一队列中每个第一像素点进行判断操作包括：
如果该第一像素点存在M’个相邻的、没有域标识的第一像素点，则将该次级像素点的域标识作为该M’个第一像素点的域标识，并将该M’个第一像素点加入所述第一队列；对所述第一队列中下一个第一像素点进行判断操作；
如果该第一像素点不存在相邻的、没有域标识的像素点，则对所述第一队列中下一个第一像素点进行判断操作。
一种示例性的实施例中，所述分别计算每个连通区域的最小外接矩形的面积和倾斜角度，包括：计算每个连通区域的最小外接矩形的面积和倾斜角度通过以下步骤实现：
确定当前连通区域最外层的像素点并将所确定的最外层像素点进行连接构成多边形，该多边形为包括当前连通区域中所有像素点的图形；
以所述多边形的每条边作为外接矩形的一条边，构成多个外接矩形；
计算每个外接矩形的面积和倾斜角度；
选择所述多个外接矩形中面积值最小的外接矩形作为当前连通区域的外接矩形。
在本实施例中，在所述道路路面图片中车道线像素点的二值化特征图如图3中的a图所示，在得到n个连通区域后，分别求出各个区域中最小外包矩形，过程如下：
1、找出连通区域最外层的像素点连接起来构成的凸多边形，该多边形包括集合中所有点，如附图3中的b图所示，p0-p12为连通域中的像素点集合，由最外侧(p10，p12，p0，p1，p3)点集合连接形成的多边形即为所求。
2、由于多边形的最小外接矩形的一条边必然和多边形的其中一条线共线，遍历上述凸多边形的每个边，分别建立外接矩形，如附图3中的c图，最后比较各个外接矩形的面积，选取外接矩形面积值最小的矩形作为该多边形的最小外包矩形。
3、按照上述规则计算各连通区域的最小外包矩形的面积和倾斜角度，并对无效区域进行剔除，保留区域结果如附图3中的d图。
在本实施例中，将处理后的二值化特征图进行透视变化得到俯视图，同时生成俯视图的直方图，实现过程包括：
对剔除无效连通区域后的二值化图进行投影变换，因为现实中平行的两条车道线在图像上会表现出非平行并在无限远处交于一点，变换后两条车道线呈现平行状态也便于拟合出车道线方程。投影变换原理如式(1)所示：
Figure BDA0003723518600000111
其中，M为3*3大小的透视矩阵
Figure BDA0003723518600000112
为目标点；在本实施例中，假设Z的值为1，
Figure BDA0003723518600000113
为原点。首先需根据原图上四个坐标点计算透视矩阵M，计算过程如下：
1、在附图4中的a图中选取变形前的左上坐标点A(x1,y1)，左下坐标点B(x2,y2)，右上坐标点C(x3,y3)，右下坐标点D(x4,y4)，构成梯形，移动四个坐标点直至AB连线和CD连线保持平行，如附图4中的b图所示，得到四个坐标点A1(x5,x5)，B1(x6,y6)，C1(x7,x7)，D1(x8,y8)；
2、根据式(1)推出式(2)，并将变换前后的四对坐标系代入式(2)中解出透视矩阵M中的8个未知量。
Figure BDA0003723518600000114
计算出M矩阵后，对连通区域中每个像素点进行透视变换，结果如附图4中的c图所示，得到两条近似平行的车道线。
所述根据所生成的直方图、利用预置的滑动窗口算法对俯视图中的左右两条车道线像素点进行聚类处理，包括：
第一步、对所生成的直方图中每一列像素值进行求和得到多列像素值集合P(n1,n2,.....n640)；
第二步、确定所述多列像素值集合中的中间列，并以所述中间列为起始点，确定距离所述中间列像素值之和为零的第一列数C0；具体的确定列数C0的过程可以为：首先，计算中间列的像素之和是否为0，如果为零就记为第一列数C0,如果不为零，需要确定分割后的车道线是分布在图像的左侧还是右侧，如果是左侧，则从中间列往左寻列像素之和为0的列为第一列数C0，否则往右寻列像素之和为0的列为第一列数C0。
第三步、从所述第一列数C0分别确定左侧第一个极大值点和右侧第一个极大值点所对应的列数Cl和列数Cr；
第四步、根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合。
一种示例性的实施例中，所述据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，包括：
将所述列数Cl和所述列数Cr分别设置为左车道线、右车道线的初始滑动窗口的中心；
若预先设置的滑动窗口中不存在像素值为255的像素点时，则滑动窗口的中心不变，并移动到预先划分的多个矩形中的上一个矩形；其中，该矩形的参数是预先设置的，也可以根据车道线拟合效果对矩形的长宽进行调整。在本实施例中，该预设矩形的长满足l<2*(C0-Cl)，矩形的长度满足上述条件可以实现滑动窗口在上下滑动的中能够区分左右车道线像素点，矩形的宽w等于原采集的图像宽度除以12。
若预先设置的滑动窗口中存在像素值为255的像素点时，判断所述滑动窗口中的像素点集的中心点的列坐标与矩形中心的列坐标是否重合；
如果不重合，则将矩形中心的列坐标移动到所述滑动窗口中的像素点集的中心点的列坐标，并移动到上一个矩形；
当移动到的矩形为俯视图中的顶部时，结束计算。
一种示例性的实施例中，所述根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，还包括：
对俯视图中所有滑动窗口的像素点进行统计；
当所述滑动窗口像素点不满足预设的离散程度指标时，则剔除该所述滑动窗口中的像素点，剔除后滑动窗口中像素点的集合作为左车道线和右车道线的像素点集合；
其中，所述离散程度指标为：
Figure BDA0003723518600000131
上式中，μ为滑动窗口中像素点坐标的均值，xi为滑动窗口中每个像素点坐标对应的值，N为像素点个数。
在本实施例中，对透视变换后的图中的左右两条车道线进行自适应聚类，首先、对图像中每一列像素值进行求和得到集合P(n1,n2,.....n640)，以中间列为起始点，寻找离中间列最近的像素值之和为零的列数C0，分别沿着C0往左侧和右侧寻找第一个极值点对应的列数，记为Cl和Cr；然后沿着Cl和Cr使用滑动窗口算法从图像底部往上查询出属于左车道线和右车道线的集合，查询规则如下：
1、设置滑动窗口高度h为40，宽度为80的矩形，沿着图像底部往上滑动，分别将Cl和Cr设置为左右车道线初始滑动窗口的中心，若窗口中未出现感兴趣像素点则保持中心不变，垂直往上移动，否则计算滑动窗口中的像素点集的中心点的列坐标是否为和矩形中心所处的列坐标重合，如果不重合就左右移动窗口的位置直到和像素点集的中心点列坐标重合，直到窗口抵达图像顶部；
2、车道线一般是光滑连续，粗细均匀并且方向上没有突变，因此需要对图片中所有窗口的像素点分布进行统计，像素点个数过多或者像素点离散程度较高均需要剔除，离散程度指标S计算公式如下：
Figure BDA0003723518600000141
其中μ为像素均值，xi为窗口中每个像素点对应的值，N为像素点个数。剔除后留下的左右滑动窗口中像素点总和即为左右车道线上的感兴趣像素点，如图5所示。
在步骤140中，对聚类处理后的左右两条车道线像素点集合进行拟合得到两条曲线，并将所得到的两条曲线映射到俯视图中进行反透射变换，得到所述道路路面图片中两条车道线；在本步骤中，聚类处理得到车道线的过程，例如：分别对图5中白色左车道线和白色右车道线的像素点集合使用最小二乘法进行二元一次方程拟合，得到左右两条车道线方程，然后结合步骤4中的透视变换矩阵对左右两条车道线进行逆透视变换，即为实际道路中当前行驶车道的左右两条车道线，结果如图6所示。
在本实施例中，基于一种融合滑动窗口的车道线拟合方法，在基于语义分割得出车道线像素点集合后，通过传统图像后处理和滑动窗口算法，实现对车道线形状和方向的精准拟合。
示例一
基于LaneNet网络模型进行车道线语义分割，得到二值化特征图的过程如下：
首先将统一缩放后的图片输入到权重共享的卷积神经网络特征提取层中，使用卷积和池化操作完成输入图片的下采样，提取出具有丰富几何信息的局部特征图，并继续输入到深度特征提取层网络结构中，从高分辨率特征中逐渐提取出具有全局信息的抽象高语义特征图。然后对高语义特征图反卷积处理并和局部特征拼接后继续进行上采样，不断重复这个过程直至特征图和输入图像尺寸相同。最后得到的二值化特征图即为车道线分割结果。
示例二
对二值化特征图中像素点进行连通域计算，得到多个连通区域，过程如下：
设二值化特征图中，像素值为255的点是前景像素点(白色)，像素值为0的点是背景(黑色)。A(x,y)为坐标(x,y)处的像素值，遍历二值化特征图像中的每个像素，流程如下：
步骤200.按照从上数第一行，从左数第一列开始，依次遍历二值化特征图像中每个像素点，判断所遍历的每个像素点的像素值是否等于255；
步骤210.若像素点的像素值不等于255，继续遍历下一个像素点，跳转到步骤200；
步骤220.若像素值为A(x,y)＝＝255，则确定该像素点为第一像素点，并为该第一像素点建立相对应的域标识label，当前值A(x,y)＝label；并执行步骤230；
步骤230.使用8邻域连通法确定第一连通区域；
在本步骤中，使用8邻域连通法确定第一连通区域包括：
步骤2301.确定第一连通区域为从当前点出发，确定上、下、左、右、左上、左下、右上和右下全部八个方向到达区域内的全部像素点；
步骤2302.判断全部八个方向到达区域内的全部像素点是否存在像素值等于255的像素点，若存在，则将像素值等于255的像素点赋予label值，并将该像素点进行存储；
步骤2303.对于到达区域内像素值等于255的像素点依次重复执行步骤2301和步骤2302；
步骤2304.到达区域内像素值等于255的像素点中的最后一个像素点，执行步骤2301和步骤2302，确定八个方向到达区域内不存在像素值等于255的像素点，结束计算。
步骤240.遍历该二值化特征图中全部的像素点，得到N个连通区域，结果如图3a所示。
示例三
对二值化特征图中像素点进行连通域计算，得到多个连通区域，过程如下：
S51、按照预定顺序，从所述二值化特征图中搜索没有域标识的第一像素点，直到遍历完所述二值化特征图后，将具有相同域标识的像素点作为一个连通域；每当搜到一个没有域标识的第一像素点时，以新的连通域序号作为该第一像素点的域标识，以该第一像素点作为域初始像素点进行S52；
S52、如果所述域初始像素点存在M个相邻的第一像素点，则将该域初始像素点的域标识作为该M个第一像素点的域标识，并将该M个第一像素点放入第一队列进行S53；如果所述域初始像素点相邻的均不是第一像素点则直接返回S51；其中，M为大于0，小于或等于8的整数；
S53、依次对所述第一队列中每个第一像素点进行判断操作，直到所述第一队列中没有第一像素点后返回步骤S51；
其中，对所述第一队列中每个第一像素点进行判断操作包括：
如果该第一像素点存在M’个相邻的、没有域标识的第一像素点，则将该次级像素点的域标识作为该M’个第一像素点的域标识，并将该M’个第一像素点加入所述第一队列；对所述第一队列中下一个第一像素点进行判断操作；
如果该第一像素点不存在相邻的、没有域标识的像素点，则对所述第一队列中下一个第一像素点进行判断操作。本实施例中，对所述二值化特征图中像素点进行连通域计算，得到多个连通区域，如图7所示，确定多个连通区域的过程如下：按照预定顺序，从所述二值化特征图中利用八邻域连通法确定八个方向到达区域内的像素点，搜索没有域标识的第一像素点；即假设1为第一像素点，搜索发现相邻的8个方位中均没有白色像素点，返回步骤51继续找，找到2(第二像素点)，建立lable为A；搜索发现2相邻的8个方位中存在3个相邻像素值为255的白色点即像素点21、22、23，lable均设为A，放入队列；对所述第一队列中下一个第一像素点进行判断操作，21判断相邻的8个方位中存在像素值为255的白色像素点23，但像素点23已经有lable，因此进行队列中下一个22的判断。22有相邻像素值为255的白色23、221、222，确定像素点221和222是没有lable的，因此将像素点221和222加入队列。进行像素点23的判断。像素点23的相邻的8个方位中存在的像素值为255的白色像素点均有lable；因此进行221的判断……以此类推，直到以2为开始的那个连通域都搜索判断结束后(第一队列里没有像素点了)，返回步骤51继续找，找到3，类似上面的步骤，继续查找。
示例四
拟合车道线的方法流程，如图8所示：
步骤1：选取位于汽车挡风板内部上方的相机捕捉的图片作为输入图片；
步骤2：将输入图片输入进已经训练好的LaneNet网络模块中进行语义分割，得到可能为车道线像素点的二值化特征图，其中白色为车道线，黑色为背景；
步骤3：依据相关规则对二值化特征图中的车道线的误分像素点进行剔除；
步骤4：将处理后的二值化特征图进行透视变化得到俯视图，同时生成俯视图的直方图；
步骤5：结合上述直方图结和滑动窗口算法对俯视图中的左右两条车道线进行聚类；
步骤6：对聚类后的左右两条车道线集合进行二元一次多项式拟合，得到完整的两条平滑曲线，并映射到俯视图中，并对俯视图进行反透射变换，得到实际行驶过程中的当前车道的左右两条车道线。
本申请还提供了一种拟合车道线的装置，如图9所示，所述装置包括：存储器和处理器；其特征在于，所述存储器910用于保存进行拟合车道线的程序，所述处理器920用于读取执行所述用于进行拟合车道线的程序，执行上述实施例中任一项所述的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种拟合车道线的方法，其特征在于，所述方法包括：
获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图；所述二值化特征图中，具有预定灰度值的第一像素点用于表示所述道路路面图片中预估的车道线；
根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点；
将剔除所述误分像素点后的二值化特征图进行透视处理得到俯视图，并生成所述俯视图的直方图；
根据所生成的所述直方图、利用预设的滑动窗口算法对所述俯视图中的第二像素点进行聚类处理；所述第二像素点是所述第一像素点透视所得到的像素点；
对聚类处理后的第二像素点集合进行拟合得到两条曲线，并将所得到的两条曲线进行反透视变换，确定所述道路路面图片中用于表示两条车道线的像素点集合。
2.根据权利要求1所述的拟合车道线的方法，其特征在于，所述获取道路路面图片，并对所述道路路面图片进行语义分割得到二值化特征图，包括：
对采集的视频序列进行采样，得到多个连续帧，其中每一帧作为一个所述道路路面图片；
将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图；其中，所述二值化特征图中，像素值为255的像素点为所述第一像素点。
3.根据权利要求2所述的拟合车道线的方法，其特征在于，所述将所述道路路面图片输入到预先训练好的LaneNet网络模型中进行语义分割，得到所述二值化特征图，包括：
将所述道路路面图片输入到所述LaneNet网络模型中的权重共享的卷积神经网络特征提取层中，提取包含几何信息的局部特征图；
将所提取的局部特征图输入到所述LaneNet网络模型中的深度特征提取层网络结构中，提取包含全局信息的抽象高语义特征图；
对所述高语义特征图进行反卷积处理，得到所述道路路面图片中车道线像素点的二值化特征图。
4.根据权利要求3所述的拟合车道线的方法，其特征在于，所述根据预设规则剔除所述二值化特征图中第一像素点里所含的误分像素点，包括：
对所述二值化特征图中像素点进行连通域计算，得到多个连通区域；
分别计算每个连通区域的最小外接矩形的面积和倾斜角度；
剔除所述二值化特征图中不满足预设条件的连通区域中的像素点。
5.根据权利要求4所述的拟合车道线的方法，其特征在于，所述对所述二值化特征图中像素点进行连通域计算，得到多个连通区域，包括：
S51、按照预定顺序，从所述二值化特征图中搜索没有域标识的第一像素点，直到遍历完所述二值化特征图后，将具有相同域标识的像素点作为一个连通域；每当搜到一个没有域标识的第一像素点时，以新的连通域序号作为该第一像素点的域标识，以该第一像素点作为域初始像素点进行S52；
S52、如果所述域初始像素点存在M个相邻的第一像素点，则将该域初始像素点的域标识作为该M个第一像素点的域标识，并将该M个第一像素点放入第一队列进行S53；如果所述域初始像素点相邻的均不是第一像素点则直接返回S51；其中，M为大于0，小于或等于8的整数；
S53、依次对所述第一队列中每个第一像素点进行判断操作，直到所述第一队列中没有第一像素点后返回步骤S51；
其中，对所述第一队列中每个第一像素点进行判断操作包括：
如果该第一像素点存在M’个相邻的、没有域标识的第一像素点，则将次级像素点的域标识作为该M’个第一像素点的域标识，并将该M’个第一像素点加入所述第一队列；对所述第一队列中下一个第一像素点进行判断操作；
如果该第一像素点不存在相邻的、没有域标识的像素点，则对所述第一队列中下一个第一像素点进行判断操作。
6.根据权利要求5所述的拟合车道线的方法，其特征在于，所述分别计算每个连通区域的最小外接矩形的面积和倾斜角度，包括：
计算每个连通区域的最小外接矩形的面积和倾斜角度通过以下步骤实现：
确定当前连通区域最外层的像素点并将所确定的最外层像素点进行连接构成多边形，该多边形为包括当前连通区域中所有像素点的图形；
以所述多边形的每条边作为外接矩形的一条边，构成多个外接矩形；
计算每个外接矩形的面积和倾斜角度；
选择所述多个外接矩形中面积值最小的外接矩形作为当前连通区域的外接矩形。
7.根据权利要求6所述的拟合车道线的方法，其特征在于，所述根据所生成的直方图、利用预置的滑动窗口算法对俯视图中的左右两条车道线像素点进行聚类处理，包括：
对所生成的直方图中每一列像素值之和的集合P(n1,n2,.....n640)；
确定每列像素值集合中的中间列，并以所述中间列为起始点，确定距离所述中间列像素值之和为零的第一列数C0；
从所述第一列数C0分别确定左侧第一个极大值点和右侧第一个极大值点所对应的列数Cl和列数Cr；
根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合。
8.根据权利要求7所述的拟合车道线的方法，其特征在于，所述据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，包括：
将所述列数Cl和所述列数Cr分别设置为左车道线、右车道线的初始滑动窗口的中心；
若预先设置的滑动窗口中不存在像素值为255的像素点时，则滑动窗口的中心不变，并移动到预先划分的多个矩形中的上一个矩形；若预先设置的滑动窗口中存在像素值为255的像素点时，判断所述滑动窗口中的像素点集的中心点的列坐标与矩形中心的列坐标是否重合；
如果不重合，则将矩形中心的列坐标移动到所述滑动窗口中的像素点集的中心点的列坐标，并移动到上一个矩形；
当移动到的矩形为俯视图中的顶部时，结束计算。
9.根据权利要求8所述的拟合车道线的方法，其特征在于，所述根据所确定的列数Cl和列数Cr、以及预先设置的滑动窗口算法确定拟合左车道线和右车道线的像素点集合，还包括：
对俯视图中所有滑动窗口的像素点进行统计；
当所述滑动窗口像素点不满足预设的离散程度指标时，则剔除该所述滑动窗口中的像素点，剔除后滑动窗口中像素点的集合作为左车道线和右车道线的像素点集合；
其中，所述离散程度指标为：
Figure FDA0003723518590000041
上式中，μ为滑动窗口中像素点坐标的均值，xi为滑动窗口中每个像素点坐标对应的值，N为像素点个数。
10.一种拟合车道线的装置，其特征在于，所述装置包括：存储器和处理器；其特征在于，所述存储器用于保存进行拟合车道线的程序，所述处理器用于读取执行所述用于进行拟合车道线的程序，执行权利要求1-9任一项所述的方法。
CN202210769822.0A 2022-06-30 2022-06-30 一种拟合车道线的方法和装置 Pending CN115116018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210769822.0A CN115116018A (zh) 2022-06-30 2022-06-30 一种拟合车道线的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210769822.0A CN115116018A (zh) 2022-06-30 2022-06-30 一种拟合车道线的方法和装置

Publications (1)

Publication Number Publication Date
CN115116018A true CN115116018A (zh) 2022-09-27

Family

ID=83329730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210769822.0A Pending CN115116018A (zh) 2022-06-30 2022-06-30 一种拟合车道线的方法和装置

Country Status (1)

Country Link
CN (1) CN115116018A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546766A (zh) * 2022-11-30 2022-12-30 广汽埃安新能源汽车股份有限公司 车道线生成方法、装置、电子设备和计算机可读介质
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546766A (zh) * 2022-11-30 2022-12-30 广汽埃安新能源汽车股份有限公司 车道线生成方法、装置、电子设备和计算机可读介质
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6347827B2 (ja) 車線境界線を検出する方法、装置、およびデバイス
CN115116018A (zh) 一种拟合车道线的方法和装置
JP6347815B2 (ja) 車線境界を検出する方法、装置、およびデバイス
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
CN107045634B (zh) 一种基于最大稳定极值区域与笔画宽度的文本定位方法
US20030128298A1 (en) Method and apparatus for color-based object tracking in video sequences
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN109815762B (zh) 远距离识别二维码的方法、存储介质
CN111915628B (zh) 一种基于预测目标密集边界点的单阶段实例分割方法
CN108629782B (zh) 基于地面线索传播的道路目标深度估计方法
CN113723399A (zh) 一种车牌图像矫正方法、车牌图像矫正装置和存储介质
WO2020001631A1 (zh) 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆
CN111723805A (zh) 一种信号灯的前景区域识别方法及相关装置
CN112580438A (zh) 一种三维场景下的点云识别方法
CN116385364A (zh) 一种基于视差辅助语义分割的多级导地线缺陷识别方法
CN112330659B (zh) 结合lsd直线检测和连通域标记法的几何公差符号分割方法
JPH08190690A (ja) ナンバープレート決定方法
CN111428537B (zh) 一种道路导流带边缘提取方法、装置和设备
JP6354186B2 (ja) 情報処理装置、ぼけ具合計算方法、及びプログラム
CN112699825A (zh) 一种车道线识别方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination