CN111460866A - 车道线检测及驾驶控制方法、装置和电子设备 - Google Patents

车道线检测及驾驶控制方法、装置和电子设备 Download PDF

Info

Publication number
CN111460866A
CN111460866A CN201910059758.5A CN201910059758A CN111460866A CN 111460866 A CN111460866 A CN 111460866A CN 201910059758 A CN201910059758 A CN 201910059758A CN 111460866 A CN111460866 A CN 111460866A
Authority
CN
China
Prior art keywords
fitted
probability
fitting
curve
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910059758.5A
Other languages
English (en)
Other versions
CN111460866B (zh
Inventor
李诗阳
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910059758.5A priority Critical patent/CN111460866B/zh
Publication of CN111460866A publication Critical patent/CN111460866A/zh
Application granted granted Critical
Publication of CN111460866B publication Critical patent/CN111460866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle

Abstract

本申请实施例公开了一种车道线检测及驾驶控制方法、装置和电子设备，该车道线的检测方法包括：对路面图进行像素级车道线检测，得到概率图，确定该概率图中的目标连通域，该目标连通域为概率图中概率值满足预设条件的概率点组成的集合；将该目标连通域划分成至少两个待拟合区域；对每个待拟合区域中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，将该车道线的拟合曲线作为车道线的检测结果，这样对每个待拟合区域进行曲线拟合，可以降低每次曲线拟合的计算量，提高了车道线的检测速度，同时，对每个待拟合区域进行曲线拟合时，可以实现对细节的检测，进而提高了车道线的检测准确性。

Description

车道线检测及驾驶控制方法、装置和电子设备
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种车道线检测及驾驶控制方法、装置和电子设备。
背景技术
随着智能驾驶的发展，在道路行驶中，为了提高智能驾驶的安全性，则需要对道路上的车道线进行检查。车道线检查主要用于视觉导航系统，从已拍摄的道路图像中找出车道线在道路图像中的位置。
车道线检测的主要工作是车道线的拟合，车道线的拟合的准确性直接影响车道线检测的准确性，进而决定了智能驾驶的安全性。
发明内容
本申请实施例提供一种车道线的检测技术方案以及一种驾驶控制技术方案，以实现对车道线的准确检测。
第一方面，本申请实施例提供车道线的检测方法，包括：
对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合；
将所述目标连通域划分成至少两个待拟合区域；
对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
在第一方面的一种可能的实现方式中，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
将相邻待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合连接，获得所述车道线的拟合曲线。
在第一方面的另一种可能的实现方式中，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；
对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述车道线的拟合曲线。
在第一方面的另一种可能的实现方式中，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
S4，对第三待拟合区域进行曲线拟合，获得所述第三待拟合区域对应的第三拟合曲线，其中所述第三待拟合区域为所述至少两个待拟合区域中的任一区域；
S5，对所述第三拟合曲线与所述第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线；
将所述第四拟合曲线作为新的第三拟合曲线，继续执行所述S5，直到所述至少两个待拟合区域中的各待拟合区域拟合完成为止，获得所述车道线的拟合曲线。
在第一方面的另一种可能的实现方式中，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
针对所述至少两个待拟合区域中的部分待拟合区域，对所述部分待拟合区域中的每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；并对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述部分待拟合区域的车道线拟合曲线；
针对所述至少两个待拟合区域中的剩余部分待拟合区域，S6，对第五待拟合区域进行曲线拟合，获得所述第五待拟合区域对应的第五拟合曲线，其中所述第五待拟合区域为所述剩余部分待拟合区域中的任一区域；S7，对所述第五拟合曲线与所述第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第六拟合曲线；将所述第六拟合曲线作为新的第五拟合曲线，继续执行所述S7，直到所述剩余部分待拟合区域中的各拟合区域拟合完成为止，获得所述剩余部分待拟合区域的车道线拟合曲线；
对所述部分待拟合区域的车道线拟合曲线和所述剩余部分待拟合区域的车道线拟合曲线进行连接，获得所述车道线的拟合曲线。
在第一方面的另一种可能的实现方式中，所述将所述目标连通域划分成至少两个待拟合区域，包括：
根据所述目标连通域的形状，将所述目标连通域划分成至少两个待拟合区域。
在第一方面的另一种可能的实现方式中，所述将所述目标连通域划分成至少两个待拟合区域，包括：
将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
在第一方面的另一种可能的实现方式中，所述将所述目标连通域划分成第一待拟合区域和第二待拟合区域，包括：
沿着所述路面图的长度方向，将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
在第一方面的另一种可能的实现方式中，所述确定所述概率图中的目标连通域，包括：
根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，所述第一概率点为所述概率图中概率值满足车道线阈值的概率点；
将所述至少一个候选连通域中的最大连通域作为所述目标连通域。
在第一方面的另一种可能的实现方式中，所述根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，包括：
S1,将所述概率图中不属于任一连通域的第一概率点作为第二概率点；
S2,以所述第二概率点为根节点，获取与所述第二概率点相邻的各第一概率点组成的候选连通域；
S3,判断所述第二概率点是否为所述概率图的最后一个第一概率点，若否，则返回S1，直至所述第二概率点为所述概率图的最后一个第一概率点为止。
在第一方面的另一种可能的实现方式中，所述以所述第二概率点为根节点，获取与所述第二概率点相邻的各第一概率点组成的候选连通域，包括：
以所述第二概率点为根节点，基于广度优先搜索方式获得与所述第二概率点相邻的各第一概率点组成的候选连通域。
在第一方面的另一种可能的实现方式中，所述将所述至少一个候选连通域中的最大连通域作为所述目标连通域，包括：
确定各候选连通域包括的概率点数量与所述概率图所包括的概率点的数量的比值；
将所述比值大于预设值的各候选连通域中的最大候选连通域作为所述目标连通域。
在第一方面的另一种可能的实现方式中，所述对每个待拟合区域中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
对每个待拟合区域中各概率点对应的像素点进行N次函数曲线拟合，获得所述车道线的拟合曲线，所述N为大于等于3的正整数。
在第一方面的另一种可能的实现方式中，所述对路面图进行像素级车道线检测，得到概率图，包括：
将路面图输入神经网络以进行像素级车道线检测，得到所述神经网络输出的所述车道线的概率图，其中，所述神经网络基于训练图像集并采用车道线的真值图为监督信息预先训练完成。
第二方面，本申请实施例提供一种驾驶控制方法，包括：
驾驶控制装置获取车道线的拟合曲线，所述车道线的拟合曲线采用如第一方面所述的车道线的检测方法得到；
所述驾驶控制装置根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
第三方面，本申请实施例提供一种车道线检测装置，包括：
检测模块，用于对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
确定模块，用于确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合；
划分模块，用于将所述目标连通域划分成至少两个待拟合区域；
拟合模块，用于对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
在第三方面的一种可能的实现方式中，所述拟合模块，具体用于将相邻待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合连接，获得所述车道线的拟合曲线。
在第三方面的另一种可能的实现方式中，所述拟合模块，具体用于对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线，并对多个拟合曲线进行拟合连接，获得所述车道线的拟合曲线。
在第三方面的另一种可能的实现方式中，所述拟合模块，具体用于执行如下步骤：S4，对第三待拟合区域进行曲线拟合，获得所述第三待拟合区域对应的第三拟合曲线，其中所述第三待拟合区域为所述至少两个待拟合区域中的任一区域；S5，对所述第三拟合曲线与所述第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线；将所述第四拟合曲线作为新的第三拟合曲线，继续执行所述S5，直到所述至少两个待拟合区域中的各待拟合区域拟合完成为止，获得所述车道线的拟合曲线。
在第三方面的另一种可能的实现方式中，所述拟合模块包括第一拟合单元、第二拟合单元和第三拟合单元；
所述第一拟合单元，用于针对所述至少两个待拟合区域中的部分待拟合区域，对所述部分待拟合区域中的每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；并对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述部分待拟合区域的车道线拟合曲线；
所述第二拟合单元，用于针对所述至少两个待拟合区域中的剩余部分待拟合区域执行如下步骤：S6，对第五待拟合区域进行曲线拟合，获得所述第五待拟合区域对应的第五拟合曲线，其中所述第五待拟合区域为所述剩余部分待拟合区域中的任一区域；S7，对所述第五拟合曲线与所述第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第六拟合曲线；将所述第六拟合曲线作为新的第五拟合曲线，继续执行所述S7，直到所述剩余部分待拟合区域中的各拟合区域拟合完成为止，获得所述剩余部分待拟合区域的车道线拟合曲线；
所述第三拟合单元，用于对所述部分待拟合区域的车道线拟合曲线和所述剩余部分待拟合区域的车道线拟合曲线进行连接，获得所述车道线的拟合曲线。
在第三方面的另一种可能的实现方式中，所述划分模块，具体用于根据所述目标连通域的形状，将所述目标连通域划分成至少两个待拟合区域。
在第三方面的另一种可能的实现方式中，所述划分模块，具体用于将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
在第三方面的另一种可能的实现方式中，所述划分模块，具体用于沿着所述路面图的长度方向，将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
在第三方面的另一种可能的实现方式中，所述确定模块包括获取单元和确定单元：
所述获取模块，用于根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，所述第一概率点为所述概率图中概率值满足车道线阈值的概率点；
所述确定单元，用于将所述至少一个候选连通域中的最大连通域作为所述目标连通域。
在第三方面的另一种可能的实现方式中，所述获取单元，具体用于执行如下步骤：
S1，将所述概率图中不属于任一连通域的第一概率点作为第二概率点；
S2，以所述第二概率点为根节点，获取与所述第二概率点相邻的各第一概率点组成的候选连通域；
S3，判断所述第二概率点是否为所述概率图的最后一个第一概率点，若否，则返回S1，直至所述第二概率点为所述概率图的最后一个第一概率点为止。
在第三方面的另一种可能的实现方式中，所述获取单元，具体用于以所述第二概率点为根节点，基于广度优先搜索方式，获得与所述第二概率点相邻的各第一概率点组成的候选连通域。
在第三方面的另一种可能的实现方式中，所述确定单元，具体用于确定各候选连通域包括的概率点数量与所述概率图所包括的概率点的数量的比值，并将所述比值大于预设值的各候选连通域中的最大候选连通域作为所述目标连通域。
在第三方面的另一种可能的实现方式中，所述拟合模块，具体用于对每个待拟合区域中各概率点对应的像素点进行N次函数曲线拟合，获得所述车道线的拟合曲线，所述N为大于等于3的正整数。。
在第三方面的另一种可能的实现方式中，所述检测模块，具体用于将路面图输入神经网络以进行像素级车道线检测，得到所述神经网络输出的所述车道线的概率图，其中，所述神经网络基于训练图像集并采用车道线的真值图为监督信息预先训练完成。
第四方面，本申请实施例提供一种驾驶控制装置，包括：
获取模块，用于获取车道线的拟合曲线，所述车道线的拟合曲线采用第一方面所述的车道线的检测方法得到；
驾驶控制模块，用于根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
第五方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的车道线的检测方法。
第六方面，本申请实施例提供一种智能驾驶系统，包括：
通信连接的相机、如第五方面所述的电子设备和如第四方面所述的驾驶控制装置，所述相机用于获取路面图。
第七方面，本申请实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现第一方面所述的车道线的检测方法，以及实现第二方面所述的驾驶控制方法。
本申请实施例提供的车道线检测及驾驶控制方法、装置和电子设备，通过对路面图进行像素级车道线检测，得到概率图，该概率图包括的多个概率点中各概率点的值为路面图中对应位置的像素点为车道线的概率值；接着，确定概率图中的目标连通域，其中目标连通域为概率图中概率值满足预设条件的概率点组成的集合；然后，将该目标连通域划分成至少两个待拟合区域；然后，对每个待拟合区域中各概率点对应的像素点进行曲线拟合，获得该车道线的拟合曲线，将该车道线的拟合曲线作为车道线的检测结果。即本实施例的方法，将目标连通域划分成多个待拟合区域，并对每个待拟合区域对应的像素点进行曲线拟合，可以降低每次曲线拟合的计算量，提高了车道线的检测速度，同时，对每个待拟合区域进行曲线拟合时，可以实现对细节的检测，进而提高了车道线拟合的准确性，从而为车道线偏离系统、车辆变道系统等奠定技术基础，提高了智能驾驶的安全性和可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的车道线的检测方法的流程图；
图2为本实施例涉及的路面图的示意图；
图3为本实施例涉及的概率图；
图4A为本申请实施例提供的车道线的一种检测方法的流程图；
图4B为本申请实施例提供的车道线的一种检测方法的流程图；
图4C为本申请实施例提供的车道线的一种检测方法的流程图；
图5为本实施例涉及的目标连通域的一种划分示意图；
图6为本申请实施例提供的车道线的检测方法的流程图；
图7为本申请实施例提供的车道线的一种检测方法的流程图；
图8为本申请实施例提供的车道线的一种检测方法的流程图；
图9为本申请实施例提供的驾驶控制方法的流程图；
图10为本申请实施例提供的车道线检测装置的结构示意图；
图11为本申请实施例提供的车道线检测装置的结构示意图；
图12为本申请实施例提供的车道线检测装置的结构示意图；
图13为本申请实施例提供的驾驶控制装置的结构示意图；
图14为本申请实施例提供的电子设备的结构示意图；
图15为本申请实施例提供的智能驾驶系统的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供的方法适用于计算机视觉、智能驾驶、机器人控制等需要检测车道线的领域。
例如，使用本实施例的方法，在车道线弯曲程度较大或车道线倾斜的情况下，可以准确检测出车道线的拟合曲线，进而保证了车道线偏移系统和车辆变道系统的工作可靠性，提高了智能驾驶的安全性。
本申请实施例提供的技术方案，通过确定路面图中车道线对应的概率图中的目标连通域，将该目标连通域划分成至少两个待拟合区域，对每个待拟合区域包括的多个概率点中中各概率点对应的像素点进行曲线拟合，可以准确获得车道线的拟合曲线。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例提供的车道线的检测方法的流程图。该如图1所示，本实施例的方法可以包括：
S101、对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
本实施例的执行主体为电子设备，该电子设备包括但不限于是智能手机、计算机、车载系统等。本实施例的执行主体具体为上述电子设备中的处理器。
可选的，本实施例的电子设备还可以具有摄像头，可以拍摄车辆所在路面的图像，或者拍摄某指定位置的路面图像，生成路面图，并将该路面图发送给电子设备的处理器。
可选的，本实施例的电子设备可以与车载摄像头连接，该车载摄像头可以拍摄车辆所在路面的图像，或者拍摄某指定位置的路面图像，并生成路面图，电子设备可以从该车载摄像头处获得路面图。
本实施例对电子设备获得路面图的具体方式不做限制。
本实施例的路面图中包括至少一条车道线，对于每条车道线，可以获得一张概率图，对于每条车道线对应的概率图，其确定每条车道线的拟合曲线的过程相同或相似，为了便于阐述，如图2所示，本实施例以路面图中的一条车道线为例(例如图2中最右侧的车道线为例)，详细阐述获得该条车道线的拟合曲线的具体过程，其他车道线参照即可。
在具体执行中，首先对路面图进行像素级车道线检测，得到概率图，该概率图包括多个概率点，每个概率点与路面图中的像素点一一对应。每个概率点的值为路面图中对应位置的像素点为车道线的概率值。
例如，通过神经网络(如卷积神经网络)对路面图进行以像素为粒度的车道线概率检测，得到道路图中各像素点位置为车道线的概率值。接着，将每个概率值保存到对应的像素点的位置处，生成一张如图3所示的概率图。图3所示的概率图为图2中最右侧车道线对应的概率图，其中图3中的白素的概率点对应的概率值为1，黑色的概率点对应的概率值为0。
其中，上述神经网络可以由卷积层、非线性层、池化层等网络层按照一定的方式组织而成，该神经网络基于训练图像集并采用车道线的真值(Groundtruth)图为监督信息预先监督训练而得的。在训练完成后，该神经网络可以实现端到端的输出，例如，将路面图输入至该神经网络以进行像素级车道线检测，该神经网络可以输出车道线的概率图。由此可知，该神经网络可以方便高效地检测出道路图中车道线进行检测，获得车道线概率图。
可选的，本申请实施例还可以采用边缘特征提取法、支持向量机等其他方法获得车道线概率图，本申请对获取车道概率图的具体方式不做限制。
S102、确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合。
由于，如图3所示，在生成概率图时，由于内外部的干扰，例如光电转换过程中敏感元件灵敏度的不均匀性、数字化过程中的量化噪声、传输过程中的误差以及人为因素等，使得生成的概率图中的各概率点的概率值存在误差，这样会存在概率值满足车道线阈值的概率点对应的像素点不是车道线的问题，例如图3中虚线区域中的概率点对应的像素点不是车道线。这样，需要从概率图中选出为车道线的概率点组成的目标连通域。
具体是，基于上述步骤获得车道线的概率图后，根据该概率图中各概率点对应的概率值，将满足预设条件的概率点组成的连通域作为目标连通域。该目标连通域为车道线对应的连通域，即本实施例的目标连通域中的各概率点对应的像素点均为车道线上的点。
在一种示例下，上述预设条件可以是预设的车道线阈值，该预设的车道线阈值为划分概率点对应的像素点是否为车道线的标准，假设该预设的车道线阈值为0.8，则概率图中，概率值等于0.8的概率点对应的像素点为车道线上的点，而小于0.8的概率点对应的像素点不是车道线上的点，进而获得车道线对应的像素点。例如，图3中虚线框中的概率点的概率值小于0.8，则可以确定虚线框中的概率点所对应的像素点不是车道线，而非虚线框中的白色概率点对应的像素点为车道线。接着，获得各概率值满足车道线阈值的概率点形成的一个目标连通域。
在另一种示例下，上述预设条件还可以是预设的车道线阈值和最大连通域。在该示例下，首先，基于上述示例的方法，获得概率图中概率值满足车道线阈值的相邻概率点形成的连通域，例如图3所示，包括两个连通域，一个为虚线框中的连通域，一个为非线框中白色概率点组成的连通域，在检测过程中，误差点少，车道线上的概率点多，因此，将其中的最大的连通域作为目标连通域。
在又一种示例下，上述预设条件还可以是预设的车道线阈值和预设的车道线形状。基于上述描述，满足预设的车道线阈值的各相邻的概率点可以形成多个连通域，为了识别形成的连通域是否为目标连通域，则需要对这些连通域的形状进行检测。具体是，将每个连通域的形状与预设的车道线的形状进行匹配，将形状匹配的连通域作为目标连通域。
本实施例对上述预设条件不做限制，具体根据实际需要进行确定。
S103、将所述目标连通域划分成至少两个待拟合区域。
具体的，根据上述步骤获得概率图中的目标连通域后，对目标连通域进行划分，划分成至少两个待拟合区域，对于一个待拟合区域，其对应的车道线的弯曲程度基本相同，这样以每个待拟合区域为研究对象，进行曲线拟合，可以提高拟合的准确性。
其中，本实施例可以包括两个、三个或更多个待拟合区域，本实施例对待拟合区域的数量不做限制，具体根据实际需要进行划分。例如，目标连通域包括直线段和弯曲段，则可以将直线段划分为一个待拟合区域，将弯曲段划分为另一个待拟合区域。
同时，本实施例对各待拟合区域的大小也不做限制，例如，根据上述所述，可以根据目标连通域的形状，将目标连通域中形状相同区域划分到一个待拟合区域中。或者，当目标连通域各段的形状相同时，可以对目标连通域进行平均划分，使得生成的各待拟合区域的大小相同。
S104、对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
具体的，根据上述步骤，对目标连通域进行划分，生成至少两个待拟合区域，以每个待拟合区域为研究对象，对每个待拟合区域中的各概率点对应的像素点进行曲线拟合并连接，获得车道线的拟合曲线，将该车道线的拟合曲线作为车道线的检测结果。
本实施例每个待拟合区域对应的车道线的形状基本相同，这样对形状基本相同的待拟合区域对应的像素点进行曲线拟合，可以提高拟合准确性。
本实施例的曲线拟合方式可以是一次函数曲线拟合或二次函数曲线拟合或高次函数曲线拟合。
其中，本实施例中各待拟合区域对应的拟合函数可以相同也可以不同。
本实施例中每个待拟合区域为一个单独的拟合单元，根据实际需要，对不同的拟合单元可以采用不同的拟合方式进行拟合，示例性的，根据待拟合区域的形状不同，可以采用不的拟合方式进行曲线拟合。例如，对于直线车道线所在的待拟合区域可以采用计算方式简单、计算量小的一次函数进行拟合，对于形状复杂的车道线所在的待拟合区域可以采用拟合准确度高的三次等高次函数进行拟合，以提高对车道线的检测精度。
同时，将目标区域划分成多个待拟合区域，以待拟合区域为拟合单位，由于待拟合区域包括的待拟合点的数量较少，在拟合的过程中，可以反应出更多的细节，进一步提高了车道线的检测精度。
本申请实施例提供的车道线的检测方法，通过对路面图进行像素级车道线检测，得到概率图，该概率图包括的多个概率点中各概率点的值为路面图中对应位置的像素点为车道线的概率值；接着，确定路面图中的车道线对应的概率图中的目标连通域，该目标连通域为概率图中概率值满足预设条件的概率点组成的集合；然后，将该目标连通域划分成至少两个待拟合区域；最后，对每个待拟合区域中各概率点对应的像素点进行曲线拟合，获得车道线的拟合曲线，将该车道线的拟合曲线作为车道线的检测结果。即本实施例的方法，将目标连通域划分成多个待拟合区域，并对每个待拟合区域对应的像素点进行曲线拟合，可以降低每次曲线拟合的计算量，提高了车道线的检测速度，同时，对每个待拟合区域进行曲线拟合时，可以实现对细节的检测，进而提高了车道线检测的准确性，从而为车道线偏离系统和车辆变道系统等奠定技术基础，提高了智能驾驶的安全性和可靠性。
在上述实施例的基础上，本实施例涉及的对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线的具体过程。可选的，上述S104可以被S200替换：
S200、将相邻待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合连接，获得所述车道线的拟合曲线。
该步骤中，对相邻的待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，并连接，最终生成一条拟合曲线，将该拟合曲线作为车道线的拟合曲线，进而实现车道线的检测。
例如，对每个待拟合区域分别进行曲线拟合后，进行连接，生成一条拟合曲线。再例如，按照待拟合区域的位置顺序，逐一对待拟合区域进行曲线拟合后，与上一个拟合完成的曲线进行连接，这样最终生成一条拟合曲线。其具体实现方式可以参照下述描述。
下面结合不同的实现方式，对上述S104和/或S200的具体实现方式做详细的阐述。
一种示例，如图4A，上述S104和/或S200具体可以包括S201A和S201B的步骤：
S201A、对每个待拟合区域中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；
S201B、对所述每个拟合曲线进行拟合连接，获得所述车道线的拟合曲线。
举例说明，假设待拟合区域的数量为两个，分别记为待拟合区域1和待拟合区域2，对待拟合区域1包括的多个概率点中各概率点对应的像素点进行曲线拟合，得到第一拟合曲线，对待拟合区域2包括的多个概率点中各概率点对应的像素点进行曲线拟合，得到第二拟合曲线。
接着，对第一拟合曲线和第二拟合曲线进行拟合连接，生成一条拟合曲线，将该条拟合曲线作为车道线的拟合曲线。
可选的，本实施例可以使用一次函数或二次函数，对每个待拟合区域中各概率点对应的像素点进行曲线拟合。例如，使用一次函数或二次函数进行曲线拟合，获得第一拟合曲线和第二拟合曲线，同时使用一次函数或二次函数，对第一拟合曲线和第二拟合曲线进行拟合连接，形成车道线的拟合曲线。
可选的，本实施例可以使用N次函数，对每个待拟合区域中各概率点对应的像素点进行曲线拟合，该N为大于等于3的正整数。该N次函数的拟合能力强，对于车道急转弯、车道倾斜时对应的车道线弯曲程度较大，以及拟合过程复杂的场景，可以准确实现车道线的拟合。
举例说明，假设上述N为3，本申请实施例使用三次拟合函数，对待拟合区域1包括的多个概率点中各概率点对应的像素点进行曲线拟合，得到第一拟合曲线，对待拟合区域2包括的多个概率点中各概率点对应的像素点进行曲线拟合，得到第二拟合曲线。
例如，本实施例使用最小二乘法构建待拟合区域1对应的三次拟合函数
Figure BDA0001953743790000101
和待拟合区域2对应的三次拟合函数
Figure BDA0001953743790000102
其具体步骤为：
1)获得待拟合区域1中各概率点对应的像素点的像素值(xi，yi)，i＝1,2，…n，设定待拟合区域1对应的三次拟合函数
Figure BDA0001953743790000103
为
Figure BDA0001953743790000104
其中a0，a1，a2，a3为
Figure BDA0001953743790000105
的待定系数；
同理，获得待拟合区域2中各概率点对应的像素点的像素值(xj，yj)，j＝1,2，…m，设定待拟合区域2对应的三次拟合函数
Figure BDA0001953743790000106
为
Figure BDA0001953743790000107
其中b0，b1，b2，b3为
Figure BDA0001953743790000108
的待定系数。
2)列出各像素点误差平方和表达式：
Figure BDA0001953743790000109
Figure BDA00019537437900001010
3)对上式分别求a0，a1，a2，a3的偏导数
Figure BDA00019537437900001011
对上式分别求b0，b1，b2，b3的偏导数
Figure BDA00019537437900001012
令
Figure BDA00019537437900001013
和
Figure BDA00019537437900001014
等于0，其中k＝0,1,2,3。
4)将像素值(xi，yi)带入
Figure BDA00019537437900001015
中，求解a0，a1，a2，a3，将像素值(xj，yj)带入
Figure BDA00019537437900001016
中，求解b0，b1，b2，b3。
5)进而可以获得三次拟合函数
Figure BDA00019537437900001017
的表达式为
Figure BDA00019537437900001018
获得三次拟合函数三次拟合函数
Figure BDA00019537437900001019
的表达式为
Figure BDA00019537437900001020
根据上述方法获得待拟合区域1的第一拟合曲线和待拟合区域2的第二拟合曲线后，对第一拟合曲线和第二拟合曲线进行拟合连接，生成一条拟合曲线，将该条拟合曲线作为车道线的拟合曲线。
上述对各待拟合区域中各概率点对应的像素点进行三次函数曲线拟合，提高了拟合的准确性，进而使得最后获得的车道线的拟合曲线更加精确，提高了车道线检测的精度。
可选的，可以使用函数拟合方式(例如一次函数拟合、二次函数拟合或多次函数拟合)对第一拟合曲线和第二拟合曲线进行拟合连接，形成车道线的拟合曲线。
在一种示例中，在第一拟合曲线和第二拟合曲线进行拟合连接的过程中，可以将第一拟合曲线和第二拟合曲线的待连接端分别剪掉一部分，对修剪后的第一拟合曲线和第二拟合曲线进行直线连接。例如，第一拟合曲线的顶端与第二拟合曲线的底端连接，可以将第一拟合曲线的顶部和第二拟合曲线的底部修剪掉一部分，其具体修剪量根据第一拟合曲线和第二拟合曲线的大小比例决定。将修剪后的第一拟合曲线的顶端与第二拟合曲线的底端使用直线连接，最后获得一条拟合曲线，将该拟合曲线作为车道线的拟合曲线。
该实现方式下，通过对每个待拟合区域分别进行曲线拟合后，将生成的拟合曲线再进行拟合连接，其整个拟合连接过程简单，提高了拟合连接的速度，有利于节省运算资源，提高车道线检测速度。
另一种示例，如图4B，上述S104和/或S200具体可以包括S202A至S202E的步骤：
S202A、对第三待拟合区域进行曲线拟合，获得所述第三待拟合区域对应的第三拟合曲线，其中所述第三待拟合区域为所述至少两个待拟合区域中的任一区域。
S202B、对所述第三拟合曲线与所述第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线。
S202C、将所述第四拟合曲线作为新的第三拟合曲线。
S202D、判断所述新的第三拟合曲线对应的待拟合区域是否为所述至少两个拟合区域中的最后一个拟合区域；
若是，则执行S202E，若否则返回执行上述S202B。
S202E、结束。
具体的，从上述至少两个待拟合区域中，任意选出一个待拟合区域作为第三待拟合区域，对第三待拟合区域包括的对个概率点中各概率点对应的像素点进行曲线拟合，获得第三拟合曲线。接着，对第三拟合曲线与第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线，例如，待拟合区域B为第三待拟合区域的一个相邻待拟合区域，将第三拟合曲线的末尾像素点和待拟合区域B中各概率点对应的像素点作为一个集合进行曲线拟合，获得一条第四拟合曲线，该第四拟合曲线包括第三拟合曲线。
然后，将该第四拟合曲线作为新的第三拟合曲线，并判断上述待拟合区域B是否为至少两个待拟合区域中的最后待拟合区域，若不是，则继续对第三拟合曲线与第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线。重复上述步骤，直到至少一个待拟合区域中的每个待拟合区域拟合完成为止，这样最终获得一条拟合曲线，该拟合曲线即为车道线的拟合曲线。
可选的，在该示例下，可以对至少两个待拟合区域中的各待拟合区域按照位置顺序依次进行拟合，例如将至少两个待拟合区域中的第一个待拟合区域或最后一个待拟合区域作为第三待拟合区域进行曲线拟合。
需要说明的是，本实施例可以采用一次函数、二次函数进行曲线拟合，以提高拟合速度，也可以使用三次函数进行曲线拟合，以提高拟合准确性，具体的拟合方式根据实际需要进行选择，在此不做限制。
该实现方式中，将前一个获得的拟合曲线末尾若干像素点加入下一个拟合过程中，这样生成的车道线的拟合曲线连续并且平滑，且节省了最后曲线连接的步骤，进一步提高了车道线检测的速度。
又一种示例，如图4C，上述S104和/或S200具体可以包括S203A至S203C的步骤，其中，S203A的方法可以理解为上述图4A所示的方法，S203B的方法可以理解为上述图4B所示的方法，即在该实现方式下，将至少两个待拟合区域中的部分待拟合区域采用上述图4A所示的方法进行曲线拟合，对剩余部分的待拟合区域采用上述图4B所示的方法进行曲线拟合，最后将两个方法获得的拟合曲线进行连接，获得车道线的拟合曲线。
S203A、针对至少两个待拟合区域中的部分待拟合区域，对该部分待拟合区域中的每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；并对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述部分待拟合区域的车道线拟合曲线。
具体的，对于至少两个待拟合区域中的部分待拟合区域，采用图4A所示的方法进行曲线拟合，即对于该部分待拟合区域中的每个待拟合区域，对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线。接着，将这些拟合区域进行拟合连接，获得部分待拟合区域的车道线拟合曲线。该步骤的具体实现过程可以参照上述图4A实施例的描述，在此不再赘述。
S203B、针对至少两个待拟合区域中的剩余部分待拟合区域，执行如下步骤：S6，对第五待拟合区域进行曲线拟合，获得所述第五待拟合区域对应的第五拟合曲线，其中所述第五待拟合区域为所述剩余部分待拟合区域中的任一区域；S7，对所述第五拟合曲线与所述第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第六拟合曲线；将所述第六拟合曲线作为新的第五拟合曲线，继续执行所述S7，直到所述剩余部分待拟合区域中的各拟合区域拟合完成为止，获得所述剩余部分待拟合区域的车道线拟合曲线。
具体的，上述剩余部分待拟合区域为至少两个待拟合区域中除上述S203A中的部分待拟合区域之外的所有待拟合区域。该步骤中，首先从剩余部分待拟合区域中选出一个待拟合区域作为第五待拟合区域，对该第五待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得该第五待拟合区域对应的拟合曲线。
接着，对该第五拟合曲线与该第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第六拟合曲线。然后，将该第六拟合曲线作为新的第五拟合区域，判断该新的第五拟合区域对应的待拟合区域是否为剩余待拟合区域的最后一个待拟合区域。若否，则继续对该新的第五拟合曲线与该新的第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得新的第六拟合曲线，重复执行上述步骤，直到剩余部分待拟合区域中的各拟合区域拟合完成为止，最后获得该剩余部分待拟合区域的车道线拟合曲线。该步骤的具体实现过程可以参照上述图4B实施例的描述，在此不再赘述。
S203C、对所述部分待拟合区域的车道线拟合曲线和所述剩余部分待拟合区域的车道线拟合曲线进行连接，获得所述车道线的拟合曲线。
根据上述步骤S203A可以获得一条拟合曲线，根据上述步骤S203B也可以获得一条拟合曲线，接着，将这两天拟合曲线进行拟合连接，生成车道线的拟合曲线。
可选的，该实现方式下，可以采用一次函数、二次函数进行曲线拟合，也可以使用三次函数进行曲线拟合。
可选的，还可以部分待拟合区域使用一次函数、二次函数进行曲线拟合，剩余部分待拟合区域使用三次函数进行曲线拟合。
该实现方式中，将至少两个待拟合区域分成两部分，其中部分待拟合区域中的每个待拟合区域分别进行曲线拟合后，将生成的拟合曲线再进行拟合连接，其整个拟合连接过程简单，提高了拟合连接的速度，有利于节省运算资源，提高车道线检测速度。同时，对剩余待拟合区域中的各待拟合区域逐一进行曲线拟合后，与上一个拟合完成的曲线进行连接，生成连续并且平滑的拟合曲线，提高了车道线检测的准确度。
图5为本实施例涉及的目标连通域的一种划分示意图。如图5所示，上述S103将所述目标连通域划分成至少两个待拟合区域，具体可以包括：
S103a、将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
具体的，曲线拟合的准确性是建立在拟合点的数量的基础上的，通常拟合点的数量越多，拟合形成的拟合曲线越精确。因此，本实施例为了提高每个待拟合区域对应的拟合曲线的精度，如图5所示，则将目标连通域划分成两个待拟合区域，分别为第一待拟合区域和第二待拟合区域，此时，第一待拟合区域和第二待拟合区域对应的拟合数据量较多，可以保证拟合的准确性，进而提高了最终获得的车道线的拟合曲线的精度。
本实施例对划分第一待拟合区域和第二待拟合区域的方式不做限制，例如可以沿着任意方向将目标连通域划分成第一待拟合区域和第二待拟合区域。
在一种示例中，如图5所示，可以沿着所述路面图的长度方向，将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
此时，对于电子设备而言，将目标连通域分成近处和远处两个区域，例如第一待拟合区域为近处区域，第二待拟合区域为远处区域。当车道线的弯曲程度较大，或车道线倾斜时，则近处和远处的车道线的弯曲程度是不一致的。本实施例对近处的第一待拟合区域和远处的第二待拟合区域分别进行曲线拟合，可以提高曲线拟合的准确性，更能适应真实场景。
本实施例在划分第一待拟合区域和第二待拟合区域时，主要根据目标连通域的形状确定，即将目标连通域中形状基本相同的部分划分到一个待拟合区域中。
本实施例提供的车道线的检测方法，通过将目标连通域划分成第一待拟合区域和第二代待拟合区域，其中每个待拟合区域包括的拟合点数量充足，可以保证拟合的精度，进一步提高拟合的准确性。
图6为本申请实施例提供的车道线的检测方法的流程图，在上述实施例的基础上，本实施例涉及的确定所述概率图中的目标连通域的具体过程，如图6所示，上述S102具体可以包括：
S301、根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，所述第一概率点为所述概率图中概率值满足车道线阈值的概率点。
具体的，如图3所示，根据各概率点的概率值，从中标记出概率值满足车道线阈值的概率点，将该概率点记为第一概率点。即概率图中的各第一概率点对应的像素点可能为车道线。
需要说明的是，本实施例预设的车道线阈值可以为具体的数字，例如0.8，此时概率值满足车道线阈值的概率点可以表示为概率值大于或等于该车道线阈值的概率点。可选的，本实施例的车道线阈值还可以是区间，例如[0.6，1]，此时，概率值满足车道线阈值的概率点可以表示为概率值落入该区间中的概率点。
在概率图中标记各第一概率点后，确定各相邻的第一概率点组成的候选连通域，在理想状态下，可以获得一条车道线对应的候选连通域。但是由于内外界的干扰，上述获得第一概率点对应的像素点不全是车道线，这些相邻的第一概率点也会形成候选连通域。
在一种实现方式下，如图7所示，上述S301具体可以包括：
S301A、将所述概率图中不属于任一连通域的第一概率点作为第二概率点。
S301B、以所述第二概率点为根节点，获取与所述第二概率点相邻的各第一概率点组成的候选连通域。
S301C、判断所述第二概率点是否为所述概率图的最后一个第一概率点，若是，则执行S301D，若否，则执行上述S301A。
具体的，逐行扫描概率图，当第一次扫描到概率值大于车道线阈值的第一概率点时，停止扫描，为了便于阐述将该第一概率点记为第二概率点。以该第二概率点为根节点，获取与该第二概率点相邻的各第一概率点组成的候选连通域，该候选连通域包括该第二概率点。判断该第二概率点是否为概率图的最后一个第一概率点，若是则停止扫描，若否则继续扫描。
扫描下一个第一概率点，判断该第一概率点是否位于上述获得的候选连通域中，若是，则继续扫描下一个第一概率点；若否，则将该第一概率点记为新的第二概率点，以该新的第二概率点为根节点，获取与该新的第二概率点相邻的各第一概率点组成的候选连通域，此时形成的候选连通域包括该新的第二概率点。判断该新的第二概率点是否为概率图的最后一个第一概率点，若是则停止扫描，若否则继续扫描。
重复上述步骤，直到第二概率点为概率图的最后一个第一概率点为至。这样可以获得概率图中各相邻的第一概率点所形成的各候选连通域。
可选的，上述S301B可以是：以所述第二概率点为根节点，基于广度优先搜索方式，获得与所述第二概率点相邻的各第一概率点组成的候选连通域，其广度优先搜索方式简单，运算速度快，可以提高获得候选连通域的速度，进而缩短车道线的整个拟合过程，提高智能驾驶的灵敏性。
S302、将所述至少一个候选连通域中的最大连通域作为所述目标连通域。
具体的，根据上述步骤，获得至少一个候选连通域后，从中选出车道线对应的目标连通域。在实际应用中，概率图各概率点的概率值为对应的像素点的概率值，因此，概率图中车道线对应的第一概率点的数据量是最多的，其形成的候选连通域也是最大的，因此，可以将至少一个候选连通域中的最大连通域作为目标连通域。
在本实施例的一种可能的实现方式中，如图8所示，S302上述将所述至少一个候选连通域中的最大连通域作为所述目标连通域，具体可以包括：S302A和S302B的步骤。
S302A、确定各候选连通域包括的概率点数量与所述概率图所包括的概率点的数量的比值。
S302B、将所述比值大于预设值的各候选连通域中的最大候选连通域作为所述目标连通域。
本实施例在上述S301获得各候选连通域后，需要对候选连通域进行检测，删除掉不满足要求(即不是目标连通域)的候选连通域。
具体的，路面图为车道线的图像，其中车道线占据整个图像一定比例，例如占据预设值，该预设值可以是根据经验确定的，也可以是根据大量的路面图计算获得的。这样，首先统计各候选连通域所包括的概率点数量，以及概率图所包括的概率点数量，将这两个数量作比值运算，可以确定出各候选连通域所占概率图的比例。
例如，候选连通域1包括m个概率点，概率图包括n个概率点，则候选连通域1与概率图的大小比例为m/n。
获得各候选连通域与概率图的大小比值后，从中选出比值大于预设值的各候选连通域，并将选出的各候选连通域中的最大连通域作为目标连通域，进而实现目标连通域的准确获取。
可选的，本实施例可以将每次获得的候选连通域全部保存，并从中选出一个与概率图的比值大于预设值，且最大的候选连通域作为目标连通域。
可选的，上述步骤还可以是每获得一个候选连通域后，计算该候选连通域与概率图的比例大小，若比值小于预设值，则直接删除该候选连通域；若比例大于预设值，则判断该候选连通域是否大于之前保存的最大候选连通域，若是，则替换掉之前保存的最大候选连通域，依次类推，最后获得一个最大候选连通域，将该最大候选连通域作为目标连通域。
本申请实施例提供的车道线的检测方法，通过确定所述路面图中各像素点为所述车道线的概率值，并根据各所述概率值得到所述概率图；根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，所述第一概率点为所述概率图中概率值满足车道线阈值的概率点；将所述至少一个候选连通域中的最大连通域作为所述目标连通域，实现对目标连通域的准确快速获取，为车道线的曲线拟合奠定可靠的基础。
图9为本申请实施例提供的驾驶控制方法的流程图，如图9所示，本实施例的方法可以包括：
S501、驾驶控制装置获取车道线的拟合曲线，所述车道线的拟合曲线采用上述车道线的检测方法得到。
S502、所述驾驶控制装置根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
本实施例涉及的车辆可以是各种类型的车，或者为各种轮数量的车，例如独轮车、双轮车、三轮车、四轮车等各种轮数量的车。可选的，该车辆可以为载人车辆、载货车辆或者为玩具车等。
本实施例涉及的机器人可以是运动机器人，该运动机器人具有可移动部件，可以带动该机器人运动，例如，该运动机器人具有腿部，通过腿部进行移动，或者，该机器人具有轮子，通过该轮子进行移动。本实施例对机器人的类型不做限制，例如该机器人可以为服务型机器人，也可以为工业机器人。
需要说明的是，若本实施例应用于机器人，则上述车道线可以理解为机器人运动需要参照或遵守的规则线，例如该机器人需要沿着该规则线移动。
本实施例的执行主体是驾驶控制装置，本实施例的驾驶控制装置和上述实施例所述的电子设备可以位于同一设备中，也可以单独设备在不同的设备中。其中本实施例的驾驶控制装置与上述的电子设备之间通信连接。
具体的，电子设备执行上述车道线的检测方法，获得车道线的拟合曲线，并将该车道线的拟合曲线输出。驾驶控制装置获取车道线的拟合曲线，并根据车道线的拟合曲线可以获知该车道线在道路中的位置和形状，接着，根据车道线的位置和形状，并结合车辆的驾驶需求进行驾驶。
例如，本实施例应用于车辆，驾驶控制装置获得该车道线的拟合曲线之后，对该车道线的拟合曲线的位置和形状进行分析，当判断该拟合曲线的形状为向左弯曲的箭头，且位于路面图的左侧，此时即可确定该车道线为左转弯车道线，当车辆需要左转弯时，可以控制车辆行驶到该车道线的位置处，并控制车辆进行左转弯。
可选的，上述电子设备不仅可以获得车道线的拟合曲线，并根据拟合曲线的形状和在概率图中的位置，可以标注出该车道线的形状、交通意义和位置等信息，并将这些信息直接输出。
本实施例提供的驾驶控制方法，驾驶控制装置通过获取车道线的拟合曲线，并根据车道线的拟合曲线控制车辆或机器人的运动，进而提高了智能驾驶或机器人运动过程的安全性和可靠性。
图10为本申请实施例提供的车道线检测装置的结构示意图。如图10所示，本实施例的车道线检测装置100可以包括：
检测模块10，用于对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
确定模块11，用于确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合；
划分模块12，用于将所述目标连通域划分成至少两个待拟合区域；
拟合模块13，用于对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
本申请实施例的车道线检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本实施例的一种可能的实现方式中，所述拟合模块13，具体用于将相邻待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合连接，获得所述车道线的拟合曲线。
在本实施例的另一种可能的实现方式中，所述拟合模块13，具体用于对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线，并对多个拟合曲线进行拟合连接，获得所述车道线的拟合曲线。
在本实施例的另一种可能的实现方式中，所述拟合模块13，具体用于执行如下步骤：S4，对第三待拟合区域进行曲线拟合，获得所述第三待拟合区域对应的第三拟合曲线，其中所述第三待拟合区域为所述至少两个待拟合区域中的任一区域；S5，对所述第三拟合曲线与所述第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线；将所述第四拟合曲线作为新的第三拟合曲线，继续执行所述S5，直到所述至少两个待拟合区域中的各待拟合区域拟合完成为止，获得所述车道线的拟合曲线。
图11为本申请实施例提供的车道线检测装置的结构示意图，在上述实施例的基础上，上述拟合模块13包括第一拟合单元130、第二拟合单元131和第三拟合单元132；
所述第一拟合单元130，用于针对所述至少两个待拟合区域中的部分待拟合区域，对所述部分待拟合区域中的每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；并对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述部分待拟合区域的车道线拟合曲线；
所述第二拟合单元131，用于针对所述至少两个待拟合区域中的剩余部分待拟合区域执行如下步骤：S6，对第五待拟合区域进行曲线拟合，获得所述第五待拟合区域对应的第五拟合曲线，其中所述第五待拟合区域为所述剩余部分待拟合区域中的任一区域；S7，对所述第五拟合曲线与所述第五拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第六拟合曲线；将所述第六拟合曲线作为新的第五拟合曲线，继续执行所述S7，直到所述剩余部分待拟合区域中的各拟合区域拟合完成为止，获得所述剩余部分待拟合区域的车道线拟合曲线；
所述第三拟合单元132，用于对所述部分待拟合区域的车道线拟合曲线和所述剩余部分待拟合区域的车道线拟合曲线进行连接，获得所述车道线的拟合曲线。
本申请实施例的车道线检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本实施例的另一种可能的实现方式中，所述划分模块12，具体用于根据所述目标连通域的形状，将所述目标连通域划分成至少两个待拟合区域。
在本实施例的另一种可能的实现方式中，所述划分模块12，具体用于将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
在本实施例的另一种可能的实现方式中，所述划分模块12，具体用于沿着所述路面图的长度方向，将所述目标连通域划分成第一待拟合区域和第二待拟合区域。
图12为本申请实施例提供的车道线检测装置的结构示意图。如图12所示，上述确定模块11包括获取单元110和确定单元111：
所述获取单元110，用于根据所述概率图中相邻的第一概率点，得到至少一个候选连通域，所述第一概率点为所述概率图中概率值满足车道线阈值的概率点；
所述确定单元111，用于将所述至少一个候选连通域中的最大连通域作为所述目标连通域。
在一种实现方式下，上述获取单元110，具体用于执行如下步骤：S1，将所述概率图中不属于任一连通域的第一概率点作为第二概率点；S2，以所述第二概率点为根节点，获取与所述第二概率点相邻的各第一概率点组成的候选连通域；S3，判断所述第二概率点是否为所述概率图的最后一个第一概率点；若否，则返回S1，直至所述第二概率点为所述概率图的最后一个第一概率点为止。
在本实施例的另一种可能的实现方式中，所述获取单元110，具体用于以所述第二概率点为根节点，基于广度优先搜索方式，获得与所述第二概率点相邻的各第一概率点组成的候选连通域。
在本实施例的另一种可能的实现方式中，所述确定单元111，具体用于确定各候选连通域包括的概率点数量与所述概率图所包括的概率点的数量的比值，并将所述比值大于预设值的各候选连通域中的最大候选连通域作为所述目标连通域。
在本实施例的另一种可能的实现方式中，所述拟合模块13，具体用于对每个待拟合区域中各概率点对应的像素点进行N次函数曲线拟合，获得所述车道线的拟合曲线，所述N为大于等于3的正整。
在本实施例的另一种可能的实现方式中，所述检测模块10，具体用于将路面图输入神经网络以进行像素级车道线检测，得到所述神经网络输出的所述车道线的概率图，其中，所述神经网络基于训练图像集并采用车道线的真值图为监督信息预先训练完成。
本申请实施例的车道线检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本申请实施例提供的驾驶控制装置的结构示意图。如图13所示，所述驾驶控制装置20包括：
获取模块21，用于获取车道线的拟合曲线，所述车道线的拟合曲线为电子设备根据上述车道线的检测方法得到的。
驾驶控制模块22，用于根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
本申请实施例的驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图14为本申请实施例提供的电子设备的结构示意图，如图14所示，本实施例的电子设备30包括：
存储器31，用于存储计算机程序；
处理器32，用于执行所述计算机程序，以实现上述车道线的检测方法，其实现原理和技术效果类似，此处不再赘述。
图15为本申请实施例提供的智能驾驶系统的示意图，如图15所示，本实施例的智能驾驶系统40包括：通信连接的相机50、电子设备30和驾驶控制装置20，其中电子设备30如图14所示，驾驶控制装置20如图13所示，相机50用于拍摄路面图。
具体的，如图14所示，在实际使用时，相机50拍摄路面图，并将路面图发送给电子设备30，电子设备30接收到路面图后，根据上述车道线的检测方法对路面图进行处理，获得车道线的拟合曲线。接着，电子设备30将获得车道线的拟合曲线发送给驾驶控制装置20，驾驶控制装置20根据车道线的拟合曲线来控制驾驶车辆。
进一步的，当本申请实施例中车道线的检测方法的至少一部分功能通过软件实现时，本申请实施例还提供一种计算机存储介质，计算机存储介质用于储存为上述车道线的拟合的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述方法实施例中各种可能的车道线的检测方法。在计算机上加载和执行所述计算机执行指令时，可全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：
对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合；
将所述目标连通域划分成至少两个待拟合区域；
对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
2.根据权利要求1所述的方法，其特征在于，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
将相邻待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合连接，获得所述车道线的拟合曲线。
3.根据权利要求1或2所述的方法，其特征在于，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得每个待拟合区域对应的拟合曲线；
对所述每个待拟合区域对应的拟合曲线进行拟合连接，获得所述车道线的拟合曲线。
4.根据权利要求1或2所述的方法，其特征在于，所述对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线，包括：
S4，对第三待拟合区域进行曲线拟合，获得所述第三待拟合区域对应的第三拟合曲线，其中所述第三待拟合区域为所述至少两个待拟合区域中的任一区域；
S5，对所述第三拟合曲线与所述第三拟合曲线相邻的至少一个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得第四拟合曲线；
将所述第四拟合曲线作为新的第三拟合曲线，继续执行所述S5，直到所述至少两个待拟合区域中的各待拟合区域拟合完成为止，获得所述车道线的拟合曲线。
5.一种驾驶控制方法，其特征在于，包括：
获取车道线的拟合曲线，所述车道线的拟合曲线采用如权利要求1-4任一项所述的车道线的检测方法得到；
根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
6.一种车道线检测装置，其特征在于，包括：
检测模块，用于对路面图进行像素级车道线检测，得到概率图，其中，所述概率图包括的多个概率点中各概率点的值为所述路面图中对应位置的像素点为车道线的概率值；
确定模块，用于确定所述概率图中的目标连通域，其中，所述目标连通域为所述概率图中概率值满足预设条件的概率点组成的集合；
划分模块，用于将所述目标连通域划分成至少两个待拟合区域；
拟合模块，用于对每个待拟合区域包括的多个概率点中各概率点对应的像素点进行曲线拟合，获得所述车道线的拟合曲线。
7.一种驾驶控制装置，其特征在于，包括：
获取模块，用于获取车道线的拟合曲线，所述车道线的拟合曲线采用如权利要求1-4任一项所述的车道线的检测方法得到；
驾驶控制模块，用于根据所述车道线的拟合曲线对车辆或机器人进行驾驶控制。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1-4中任一项所述的车道线的检测方法。
9.一种智能驾驶系统，其特征在于，包括：通信连接的相机、如权利要求8所述的电子设备和如权利要求7所述的驾驶控制装置，所述相机用于获取路面图。
10.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-4中任一项所述的车道线的检测方法，以及实现如权利要求5所述的驾驶控制方法。
CN201910059758.5A 2019-01-22 2019-01-22 车道线检测及驾驶控制方法、装置和电子设备 Active CN111460866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910059758.5A CN111460866B (zh) 2019-01-22 2019-01-22 车道线检测及驾驶控制方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910059758.5A CN111460866B (zh) 2019-01-22 2019-01-22 车道线检测及驾驶控制方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111460866A true CN111460866A (zh) 2020-07-28
CN111460866B CN111460866B (zh) 2023-12-22

Family

ID=71679905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910059758.5A Active CN111460866B (zh) 2019-01-22 2019-01-22 车道线检测及驾驶控制方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111460866B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818778A (zh) * 2021-01-21 2021-05-18 北京地平线机器人技术研发有限公司 车道线拟合方法、装置、介质以及电子设备
WO2022174397A1 (zh) * 2021-02-19 2022-08-25 深圳市大疆创新科技有限公司 图像检测方法、装置及存储介质
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657727A (zh) * 2015-03-18 2015-05-27 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
US20160325682A1 (en) * 2015-05-08 2016-11-10 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
CN108052904A (zh) * 2017-12-13 2018-05-18 辽宁工业大学 车道线的获取方法及装置
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN108875603A (zh) * 2018-05-31 2018-11-23 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657727A (zh) * 2015-03-18 2015-05-27 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
US20160325682A1 (en) * 2015-05-08 2016-11-10 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN108052904A (zh) * 2017-12-13 2018-05-18 辽宁工业大学 车道线的获取方法及装置
CN108875603A (zh) * 2018-05-31 2018-11-23 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818778A (zh) * 2021-01-21 2021-05-18 北京地平线机器人技术研发有限公司 车道线拟合方法、装置、介质以及电子设备
CN112818778B (zh) * 2021-01-21 2023-10-03 北京地平线机器人技术研发有限公司 车道线拟合方法、装置、介质以及电子设备
WO2022174397A1 (zh) * 2021-02-19 2022-08-25 深圳市大疆创新科技有限公司 图像检测方法、装置及存储介质
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置

Also Published As

Publication number Publication date
CN111460866B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110287276B (zh) 高精地图更新方法、装置及存储介质
CN111191487A (zh) 车道线的检测及驾驶控制方法、装置和电子设备
CN111460866A (zh) 车道线检测及驾驶控制方法、装置和电子设备
CN110799989A (zh) 一种障碍物检测方法、设备、可移动平台及存储介质
US20220198688A1 (en) Laser coarse registration method, device, mobile terminal and storage medium
CN104411559A (zh) 用于检测交通信号及其关联状态的鲁棒方法
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN114051628B (zh) 一种确定目标对象点云集的方法及装置
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN114926809A (zh) 可通行区域检测方法及装置、移动工具、存储介质
CN105335952A (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
CN111476062A (zh) 车道线检测方法、装置、电子设备及驾驶系统
CN112967388A (zh) 三维时序图像神经网络模型的训练方法和装置
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN116543361A (zh) 车辆的多模态融合感知方法、装置、车辆及存储介质
CN112097772B (zh) 机器人及其地图构建方法和装置
EP4293622A1 (en) Method for training neural network model and method for generating image
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN115982592A (zh) 轨迹相似度计算方法、轨迹相似度计算装置以及存储介质
CN111709354B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
CN112433193B (zh) 一种基于多传感器的模位置定位方法及系统
CN115035425B (zh) 一种基于深度学习的目标识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant