CN109147368A - 基于车道线的智能驾驶控制方法装置与电子设备 - Google Patents

基于车道线的智能驾驶控制方法装置与电子设备 Download PDF

Info

Publication number
CN109147368A
CN109147368A CN201810961511.8A CN201810961511A CN109147368A CN 109147368 A CN109147368 A CN 109147368A CN 201810961511 A CN201810961511 A CN 201810961511A CN 109147368 A CN109147368 A CN 109147368A
Authority
CN
China
Prior art keywords
lane line
vehicle
driving control
lane
intelligent driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810961511.8A
Other languages
English (en)
Inventor
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810961511.8A priority Critical patent/CN109147368A/zh
Publication of CN109147368A publication Critical patent/CN109147368A/zh
Priority to PCT/CN2019/092134 priority patent/WO2020038091A1/zh
Priority to SG11202004313XA priority patent/SG11202004313XA/en
Priority to JP2020545431A priority patent/JP7106664B2/ja
Priority to US16/870,280 priority patent/US20200272835A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Abstract

本发明实施例公开了一种基于车道线的智能驾驶控制方法装置与电子设备，所述方法包括：获取车辆行驶环境的车道线检测结果；根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；根据所述估计时间进行智能驾驶控制。实现了基于车道线对车辆行驶状态的智能控制，以期降低或避免车辆驶出车道线出现交通事故，提高驾驶安全性。

Description

基于车道线的智能驾驶控制方法装置与电子设备
技术领域
本发明实施例涉及自动驾驶技术领域，尤其涉及一种基于车道线的智能驾驶控制方法装置与电子设备。
背景技术
随着自动驾驶的发展，在道路行驶中，为了提高自动驾驶的安全性，则需要对道路上的车道线进行检测。车道线检查主要用于视觉导航系统，从已拍摄的道路图像中找出车道线在路测图像中的位置。但是，在检测到车道线之后，如何利用检测到的车道线进行及时的车道线偏离预警，成为了自动驾驶产品以及辅助驾驶产品考虑的重要因素。
发明内容
本发明实施例提供一种基于车道线的智能驾驶控制方法装置与电子设备。
第一方面，本发明实施例提供一种基于车道线的智能驾驶控制方法，包括：
获取车辆行驶环境的车道线检测结果；
根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；
响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；
根据所述估计时间进行智能驾驶控制。
在第一方面的一种可能的实现方式中，所述根据所述估计时间进行智能驾驶控制，包括：
将所述估计时间与至少一预定阈值进行比较；
在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制、辅助驾驶控制和/或驾驶模式切换控制。
在第一方面的另一种可能的实现方式中，所述自动驾驶控制包括以下任意一项或多项：进行车道线偏离报警、制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态；
和/或，
所述辅助驾驶控制包括：进行车道线偏离预警；或者，进行车道线保持提示。
在第一方面的另一种可能的实现方式中，所述方法还包括：
响应于所述估计距离小于等于第二预设距离值或小于第一预设距离值，自动激活所述智能驾驶控制功能；或者，
响应于所述估计时间小于预定阈值，自动激活所述智能驾驶控制功能；或者，
响应于检测到所述车辆碾压所述车道线，自动激活所述智能驾驶控制功能。
在第一方面的另一种可能的实现方式中，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
在第一方面的另一种可能的实现方式中，所述在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，包括：
若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离预警，其中，所述第二预设时间值小于所述第一预设时间值。
在第一方面的另一种可能的实现方式中，所述在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，还包括：
若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在第一方面的另一种可能的实现方式中，所述方法还包括：若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在第一方面的另一种可能的实现方式中，所述若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者
所述若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像。
在第一方面的另一种可能的实现方式中，所述进行车道线偏离报警包括：开启转向灯和/或语音提示。
在第一方面的另一种可能的实现方式中，所述进行车道线偏离预警包括：灯闪烁、响铃和语音提示中至少一种。
在第一方面的另一种可能的实现方式中，所述方法还包括：
获取所述车辆的驾驶员的驾驶等级；
根据所述驾驶等级，调整所述第一预设距离值、所述第二预设距离值、和预设阈值中的至少一个。
在第一方面的另一种可能的实现方式中，所述获取车辆行驶环境的车道线检测结果，包括：
通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
在第一方面的另一种可能的实现方式中，所述根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离，包括：
分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的拟合曲线；
根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离。
在第一方面的另一种可能的实现方式中，所述根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离，包括：
根据所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆与所述车道线之间的估计距离；所述车辆的行驶状态包括所述车辆在世界坐标系中的位置。
在第一方面的另一种可能的实现方式中，所述确定所述车辆驶出所述车道线的估计时间，包括：
根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
在第一方面的另一种可能的实现方式中，所述根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间，包括：
获取所述车辆的行驶方向与所述车道线的拟合曲线之间的夹角；
根据所述车辆在世界坐标系中的位置，获取所述车辆与所述车道线的拟合曲线之间的估计距离；
根据所述夹角、所述估计距离和所述车辆的速度，确定所述车辆驶出所述车道线的估计时间。
第二方面，本发明实施例提供一种基于车道线的智能驾驶控制装置，包括：
获取模块，用于获取车辆行驶环境的车道线检测结果；
距离确定模块，用于根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；
时间确定模块，用于响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；
控制模块，用于根据所述估计时间进行智能驾驶控制。
在第二方面的一种可能的实现方式中，所述控制模块，包括：
比较单元，用于将所述估计时间与至少一预定阈值进行比较；
控制单元，用于在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制、辅助驾驶控制和/或驾驶模式切换控制。
在第二方面的另一种可能的实现方式中，所述自动驾驶控制包括以下任意一项或多项：进行车道线偏离报警、制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态；
和/或，
所述辅助驾驶控制包括：进行车道线偏离预警；或者，进行车道线保持提示。
在第二方面的另一种可能的实现方式中，所述装置还包括：
激活模块，用于响应于所述估计距离小于等于第二预设距离值或小于第一预设距离值，自动激活所述智能驾驶控制功能；或者，响应于所述估计时间小于预定阈值，自动激活所述智能驾驶控制功能；或者，响应于检测到所述车辆碾压所述车道线，自动激活所述智能驾驶控制功能。
在第二方面的另一种可能的实现方式中，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
在第二方面的另一种可能的实现方式中，所述控制单元，具体用于：
若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离预警，其中，所述第二预设时间值小于所述第一预设时间值。
在第二方面的另一种可能的实现方式中，所述控制单元，还用于：
若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在第二方面的另一种可能的实现方式中，所述控制单元，还用于：若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在第二方面的另一种可能的实现方式中，所述控制单元，具体用于：
所述若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者
所述若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像。
在第二方面的另一种可能的实现方式中，所述进行车道线偏离报警包括：开启转向灯和/或语音提示。
在第二方面的另一种可能的实现方式中，所述进行车道线偏离预警包括：灯闪烁、响铃和语音提示中至少一种。
在第二方面的另一种可能的实现方式中，所述装置还包括：调整模块；
所述获取模块，还用于获取所述车辆的驾驶员的驾驶等级；
所述调整模块，用于根据所述驾驶等级，调整所述第一预设距离值、所述第二预设距离值和预设阈值中的至少一个。
在第二方面的另一种可能的实现方式中，所述获取模块，包括：
分割单元，用于通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
第一确定单元，用于根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
在第二方面的另一种可能的实现方式中，所述距离确定模块，包括：
拟合单元，用于分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的拟合曲线；
第二确定单元，用于根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离。
在第二方面的另一种可能的实现方式中，所述第二确定单元，具体用于：
根据所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆与所述车道线之间的估计距离；所述车辆的行驶状态包括所述车辆在世界坐标系中的位置。
在第二方面的另一种可能的实现方式中，所述时间确定模块，具体用于：
根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
在第二方面的另一种可能的实现方式中，所述时间确定模块，还具体用于：
获取所述车辆的行驶方向与所述车道线的拟合曲线之间的夹角；
根据所述车辆在世界坐标系中的位置，获取所述车辆与所述车道线的拟合曲线之间的估计距离；
根据所述夹角、所述估计距离和所述车辆的速度，确定所述车辆驶出所述车道线的估计时间。
第四方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如第一方面任一项所述的方法。
第五方面，本发明实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现第一方面任一项所述的方法。
第六方面，本发明实施例一种计算机程序，包括计算机指令，其特征在于，当所述计算机指令在设备的处理器中运行时，实现上述第一方面任一项所述的方法。
本发明实施例提供的基于车道线的智能驾驶控制方法装置与电子设备，通过获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离，根据估计距离和/或估计时间，响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间，并根据所述估计时间进行智能驾驶控制。由此，本发明实施例实现了基于车道线对车辆行驶状态的智能控制，以期降低或避免车辆驶出车道线出现交通事故，提高驾驶安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于车道线的智能驾驶控制方法的流程图；
图2为本实施例一涉及的神经网络模型结构示意图；
图3为本实施例一涉及的车辆与车道线相对位置示意图；
图4为本发明实施例二提供的基于车道线的智能驾驶控制方法的流程图；
图5为本发明实施例三提供的基于车道线的智能驾驶控制方法的流程图；
图6为本实施例二涉及的车辆与车道线相对位置一示意图；
图7为本实施例二涉及的车辆与车道线相对位置另一示意图；
图8为本发明实施例一提供的基于车道线的智能驾驶控制装置的结构示意图；
图9为本发明实施例二提供的基于车道线的智能驾驶控制装置的结构示意图；
图10为本发明实施例三提供的基于车道线的智能驾驶控制装置的结构示意图；
图11为本发明实施例四提供的基于车道线的智能驾驶控制装置的结构示意图；
图12为本发明实施例五提供的基于车道线的智能驾驶控制装置的结构示意图；
图13为本发明实施例六提供的基于车道线的智能驾驶控制装置的结构示意图；
图14为本发明电子设备一个应用实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统，服务器计算机系统，瘦客户机，厚客户机，手持或膝上设备，基于微处理器、CPU、GPU的系统，机顶盒，可编程消费电子产品，网络个人电脑，小型计算机系统，大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例一提供的基于车道线的智能驾驶控制方法的流程图。如图1所示，本实施例的方法可以包括：
S101、获取车辆行驶环境的车道线检测结果。
本实施例以执行主体为电子设备为例进行说明，该电子设备可以但不限于是智能手机、计算机、车载系统等。
可选的，本实施例的电子设备还可以具有摄像头，可以拍摄车辆的行驶环境，例如车辆所行驶的道路的前方(或四周)，生成路测图像，并将该路测图像发送给电子设备的处理器。
可选的，本实施例的电子设备可以与外部的摄像头连接，该摄像头可以拍摄车辆的行驶环境，生成路测图像，电子设备可以从该摄像头处获得路测图像。
本实施例对电子设备获得路测图像的具体方式不做限制。
本实施例的路测图像中包括至少一条车道线。
本实施例对获取车辆行驶环境的车道线检测结果的方法不做限制，例如可以通过如下方式获取车辆行驶环境中的车道线检测结果：基于神经网络检测车辆行驶环境中的车道线，例如：通过神经网络对包括所述车辆行驶环境的图像进行车道线检测，得到车道线检测结果；或者，直接从高级驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)获取车辆行驶环境中的车道线检测结果，直接利用ADAS中的车道线检测结果。
其中，基于神经网络检测车辆行驶环境中的车道线，可以参照图2所示。具体的，将图2中最左侧的路测图像输入预设训练好的神经网络模型中，中每条车道线的概率图(如图2最右侧所示)。接着，将概率图中车道线对应的点进行曲线拟合，生成车道线的拟合曲线。
可选的，预设的神经网络模型可以是FCN(Fully Convolutional Networks，全卷积网络)、Res Net(Residual Network，残差网络)或卷积神经网络模型等。
可选的，如图2所示，本实施例的神经网络模型可以包括7个卷积层，分别为：第一个卷积层的参数为145*169*16，第二个卷积层的参数为73*85*32，第三个卷积层的参数为37*43*64，第四个卷积层的参数为19*22*128，第五个卷积层的参数为73*85*32，第六个卷积层的参数为145*169*16，第七个卷积层的参数为289*337*5。
本实施例中，每条车道线，对应一张概率图，例如，如图2最左侧所示的路测图像中包括4条车道线，则神经网络模型可以输出4张概率图。
可选的，为了便于与路测图像进行对照，可以将每条车道线的概率图进行合并，合并成一张概率图。例如，将4条车道线的概率图进行合并，生成如图2最右侧所示的概率图。
每条车道线的概率图包括多个概率点，每个概率点与路测图像中的像素点一一对应。每个概率点的值为路测图像中对应位置的像素点为该车道线的概率值。
图2中每个概率点的值表示路测图像中对应位置的像素点为车道线的概率值，如图2所示，白色概率点的概率值为1，黑色概率点的概率值为0。
接着，基于图2所示的概率图，获取图2中概率值大于预设值的概率点，对这些概率点对应的像素点为车道线上的点，将这些点进行曲线拟合，生成该车道线的拟合曲线。
其中预设值为划分概率点对应的像素点是否为车道线上的标准，该预设值可以根据实际需要进行确。
例如，预设值为0.8，这样可以选出图2中概率值大于0.8的点，即图2中白色概率点，对这些白色概率点对应的像素点进行曲线拟合，可以获得该车道线的拟合曲线。
可选的，本实施例在进行曲线拟合时，可以使用一次函数曲线拟合、二次函数曲线拟合、三次函数曲线拟合，或者高次函数曲线拟合。本实施例对拟合曲线的拟合方式不做限制，具体根据实际需要确定。
S102、根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离。
基于本发明上述实施例提供的基于车道线的智能驾驶控制方法，获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离。
例如，车辆的行驶状态包括车辆的行驶方向和车辆当前的坐标位置，车道线的检测结果包括车道线的拟合曲线，基于上述信息，可以确定车辆驶出车道线的估计距离。
S103、响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间。
具体的，如图3所示，在本实施例中，获得车辆驶出所述车道线的估计距离d，将该估计距离d与第一预设距离值a进行比较。若该估计距离d大于上述第一预设距离值a，小于或等于第二预设值b，即a<d<b，则需要确定车辆驶出该车道线的估计时间。并基于该估计时间进行智能驾驶控制。
在一种示例中，上述车辆的行驶状态包括车辆的行驶速度，可以根据车辆驶出车道线的估计距离和车辆的行驶速度，确定出车辆驶出所述车道线的估计时间。
在另一种示例中，本实施例的电子设备与车辆的总线连接，可以从该总线上读取车辆的行驶速度v。这样，根据车辆的行驶速度v和估计距离d，确定以当前的行驶速度v，车辆驶出所述车道线的估计时间t，例如t＝d/v。
S104、根据所述估计时间进行智能驾驶控制。
在其中一些实施方式中，根据估计时间对车辆进行的智能驾驶控制，例如可以包括但不限于对车辆进行如下至少一项控制：自动驾驶控制，辅助驾驶控制、驾驶模式切换控制(例如，从自动驾驶模式切换为非自动驾驶模式，从非自动驾驶模式切换为自动驾驶模式)等等。其中，驾驶模式切换控制可以控制车辆从自动驾驶模式切换为非自动驾驶模式(如：手动驾驶模式)、或者从非自动驾驶模式切换为自动驾驶模式。
其中，对车辆的自动驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：进行车道线偏离报警、制动、减速、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态等控制车辆驾驶状态的操作。
对车辆的辅助驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：进行车道线偏离预警，进行车道线保持提示，等等有助于提示驾驶员控制车辆驾驶状态的操作。
本申请实施例提供的基于车道线的智能驾驶控制方法，通过获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离，根据估计距离和/或估计时间，响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间，并根据所述估计时间进行智能驾驶控制。由此，本发明实施例实现了基于车道线对车辆行驶状态的智能控制，以期降低或避免车辆驶出车道线出现交通事故，提高驾驶安全性。
在本实施例中，响应于所述估计距离小于等于第二预设距离值或小于第一预设距离值，自动激活所述智能驾驶控制功能；或者，响应于所述估计时间小于预定阈值，自动激活所述智能驾驶控制功能；或者，响应于检测到所述车辆碾压所述车道线，自动激活所述智能驾驶控制功能。
即在正常驾驶过程中，智能驾驶控制功能处于关闭或休眠状态，当估计距离小于等于第二预设距离值或小于第一预设距离值时，或者当估计时间小于预定阈值，或者当检测到车辆碾压车道线时，智能驾驶控制功能自动激活，这样可以降低智能驾驶控制功能对应的模块的能耗，延长智能驾驶控制功能对应的模块的工作时长。
图4为本发明实施例二提供的基于车道线的智能驾驶控制方法的流程图。在上述实施例的基础上，本实施例涉及的是根据所述估计时间进行智能驾驶控制的具体过程。如图4所示，上述S104可以包括：
S201、将所述估计时间与至少一预定阈值进行比较。
S202、在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制。
上述至少一预定阈值根据实际需要确定，本实施例对比不做限制。
例如，在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制时，在其中一些可选示例中，可以包括：
若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离预警，例如，提醒车辆已偏离当前车道、将驶出当前车道线等等。
其中，进行车道线偏离预警包括：灯闪烁、响铃和语音提示中至少一种。
上述第二预设时间值小于第一预设时间值。例如，第一预设阈值和第二预设阈值的取值分别为5秒、3秒。
本实施例，若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离提示，可以提醒驾驶员注意到车辆偏移车道线、以便及时采取相应驾驶措施，避免车辆驶出车道线，提高驾驶安全性。在结合车辆与到车道线的估计距离和预计驶出车道线的估计时间进行车道线偏离提示，提高了车道线偏离预警的准确率。
在进一步的可选示例中，还可以包括：
若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警。或者，
若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
其中，所述进行车道线偏离报警包括：以声、光、电等方式进行报警，例如，开启转向灯和/或语音提示。
在上述实施方式中，随着评估距离和/或评估时间的逐渐变小，分别对应的智能驾驶控制的程度逐级递增，从对车辆进行车道线偏离提示、到对车辆进行自动驾驶控制和/或车道线偏离报警，以避免车辆驶出车道线，提高驾驶的安全性。
在更进一步的可选示例中，所述若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警。或者，
所述若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像。
本实施例同时统计历史帧图像的评估距离和评估时间，作为对车辆进行自动驾驶控制和/或车道线偏离报警的依据，可以提高对车辆进行自动驾驶控制和/或车道线偏离报警的的准确性。
可选的，在本实施例的一种可能的实现方式中，可以根据驾驶员的驾驶等级，调整上述第一预设距离值、所述第二预设距离值、第一预设时间值、第二预设时间值中的至少一个。
可选地，获取所述车辆的驾驶员的驾驶等级，该驾驶等级用于指示驾驶员驾驶车辆的熟练程度。接着，根据所述驾驶等级，调整所述第一预设距离值、所述第二预设距离值、第一预设时间值、第二预设时间值中的至少一个。例如，驾驶员的驾驶等级越高，说明驾驶员驾驶车辆的越熟练，这样可以将该驾驶员对应的第一预设距离值、第二预设距离值、第一预设时间值和第二预设时间值中的至少一个调节小。若驾驶员的驾驶等级低，说明驾驶员驾驶车辆的不熟练，这样可以将该驾驶员对应的第一预设距离值、第二预设距离值、第一预设时间值和第二预设时间值中的至少一个调节大，以保证安全驾驶该车辆。
其中，驾驶员的驾驶等级可以是驾驶员手动输入的，也可以是扫描驾驶员的驾驶证，根据驾驶证上的驾驶年限确定驾驶员的驾驶等级，例如驾驶员的驾驶年限越长，对应的驾驶等级越高。可选的，还可以通过其他的方法获取驾驶员的驾驶等级。
本发明实施例可以应用于自动驾驶和辅助驾驶场景中，实现精准的车道线检测、自动驾驶控制和车辆偏离车道线预警。
图5为本发明实施例三提供的基于车道线的智能驾驶控制方法的流程图。如图5所示，该实施例的基于车道线的智能驾驶控制方法包括：
301，通过神经网络对包括车辆行驶环境的图像进行语义分割，输出车道线概率图。
其中，车道线概率图用于表示图像中的至少一个像素点分别属于车道线的概率值。
本发明实施例中的神经网络可以是深度神经网络，例如卷积神经网络，可以预先通过样本图像和预先标注的、准确的车道线概率图对神经网络进行训练得到。其中，通过样本图像和准确的车道线概率图对神经网络进行训练，例如可以通过如下方式实现：通过神经网络对样本图像进行语义分割，输出预测车道线概率图；根据预测车道线概率图与准确的车道线概率图在对应的至少一个像素点之间的差异，获取神经网络的损失函数值，基于该损失函数值对神经网络进行训练，例如基于梯度更新训练方法，通过链式法则反传梯度，对神经网络中各网络层参数的参数值进行调整，直至满足预设条件，例如，预测车道线概率图与准确的车道线概率图在对应的至少一个像素点之间的差异小于预设差值、和/或对神经网络的训练次数达到预设次数，得到训练好的神经网络。
可选地，在本发明基于车道线的智能驾驶控制方法的另一个实施例中，在上述操作301之前，还可以包括：对包括车辆行驶环境的原始图像进行预处理，得到上述包括车辆行驶环境的图像。相应地，操作301中，通过神经网络，对预处理得到的上述图像进行语义分割。
其中神经网络对原始图像的预处理，例如可以是对摄像头采集的原始图像进行缩放、裁剪等，将原始图像缩放、裁剪为预设尺寸的图像，输入神经网络进行处理，以降低神经网络对图像进行语义分割的复杂度、降低耗时，提高处理效率。
另外，神经网络对原始图像的预处理，还可以是按照预设图像质量(例如图像清晰度、曝光等)标准，从摄像头采集的原始图像中选取一些质量较好的图像，输入神经网络进行处理，从而提高语义分割的准确性，以便提高车道线检测的准确率。
在其中一些实施方式中，操作301中通过神经网络对包括车辆行驶环境的图像进行语义分割，输出车道线概率图，可以包括：
通过神经网络对图像进行特征提取，得到特征图；
通过神经网络对该特征图进行语义分割，得到N条车道线的车道线概率图。其中，每条车道的车道线概率图中各像素点的像素值用于表示图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。例如，在一些可选示例中，N的取值为4。
本发明各实施例中的神经网络，可以包括：用于特征提取的网络层和用于分类的网络层。其中，用于特征提取的网络层例如可以包括：卷积层，批归一化(BatchNormalization，BN)层和非线性层。依次通过卷积层、BN层和非线性层对图像进行特征提取，会产生特征图；通过用于分类的网络层对特征图进行语义分割，会得到多条车道线的车道线概率图。
其中，上述N条车道线的车道线概率图可以是一个通道的概率图，该概率图中的各像素点的像素值分别表示图像中对应像素点属于车道线的概率值。另外，上述N条车道线的车道线概率图也可以是一个N+1个通道的概率图，该N+1个通道分别对应于N条车道线和背景，即，N+1个通道的概率图中各通道的概率图分别表示上述图像中至少一个像素点分别属于该通道对应的车道线或者背景的概率。
在其中一些可选示例中，通过神经网络对特征图进行语义分割，得到N条车道线的车道线概率图，可以包括：
通过神经网络对上述特征图进行语义分割，得到N+1个通道的概率图。其中，该N+1个通道分别对应于N条车道线和背景，即，N+1个通道的概率图中各通道的概率图分别表示上述图像中至少一个像素点分别属于该通道对应的车道线或者背景的概率；
从N+1个通道的概率图中获取N条车道线的车道线概率图。
本发明实施例中的神经网络可以包括：用于特征提取的网络层、用于分类的网络层、以及归一化(Softmax)层。依次通过用于特征提取的各网络层对图像进行特征提取，产生一系列的特征图；通过用于分类的网络层对最终输出的特征图进行语义分割，得到N+1个通道的车道线概率图；利用Softmax层对N+1个通道的车道线概率图进行归一化处理，将车道线概率图中各像素点的概率值转化为0～1范围内的数值。
在本发明实施例中，用于分类的网络层可以对特征图中的各像素点进行多分类，例如，对于4条车道线(称为：左左车道线，左车道线，右车道线和右右车道线)的场景，可以对特征图中的各像素点进行五分类，识别特征图中的各像素点分别属于五种类别(背景，左左车道线，左车道线，右车道线和右右车道线)的概率值，并分别输出特征图中的各像素点属于其中一种类型的概率图，得到上述N+1个通道的概率图，每个概率图中各像素的概率值表示该像素对应的图像中像素属于某一类别的概率值。
上述实施例中，N为车辆行驶环境中车道线的条数，可以是任意大于0的整数值。例如，N的取值为2时，N+1个通道分别对应于车辆行驶环境中的背景、左车道线和右车道线；或者，N的取值为3时，N+1个通道分别对应于车辆行驶环境中的背景、左车道线、中车道线和右车道线；或者，N的取值为4时，N+1个通道分别对应于车辆行驶环境中的背景、左左车道线、左车道线、右车道线和右右车道线。
302，根据车道线概率图确定车道线所在区域。
基于本实施例提供的基于车道线的智能驾驶控制方法，通过神经网络对图像进行语义分割，输出车道线概率图，根据该车道线概率图确定车道线所在区域。由于神经网络可以基于深度学习的方式，通过学习大量标注过的车道线图像，例如弯道、车道线缺失、路牙边缘、光线昏暗、逆光等场景下的车道线图像，自动学习到车道线的各种特征，无需人工手动设计特征，简化了流程，并且降低了人工标注成本；另外可以在各种驾驶场景中有效识别出车道线，实现对弯道、车道线缺失、路牙边缘、光线昏暗、逆光等各种复杂场景下的车道线检测，提升了车道线检测的精度，以便获取精确的估计距离和/或估计时间，从而提升智能驾驶控制的准确性，提高驾驶的安全性。
在其中一些实施方式中，操作302中根据一条车道线的车道线概率图确定车道线所在区域，可以包括：
从上述车道线概率图中选取概率值大于第一预设阈值的像素点；
基于选取出的像素点在车道线概率图中进行最大连通域查找，找出属于该车道线的像素点集合；
基于上述属于车道线的像素点集合确定该车道线所在区域。
示例性地，可以采用广度优先搜索算法进行最大连通域查找，找出所有概率值大于第一预设阈值的连通区域，然后比较所有的连通区域的最大区域，作为检测出的车道线所在区域。
神经网络的输出为多条车道线的车道线概率图，车道线概率图中各像素点的像素值表示对应图像中像素点属于某条车道线的概率值，其值可以是归一化后0-1之间的一个数值。通过第一预设阈值选取出车道线概率图中大概率属于该车道线概率图所属车道线的像素点，然后执行最大连通域查找，找出属于该车道线的像素点集合，作为该车道线所在区域。针对每一条车道线分别执行上述操作，即可确定各条车道线所在区域。
在其中一些可选示例中，上述基于属于车道线的像素点集合确定该车道线所在区域，可以包括：
统计属于该车道线的像素点集合中所有像素点的概率值之和，得到该车道线的置信度；
若该置信度大于第二预设阈值，以上述像素点集合形成的区域作为该车道线所在区域。
本发明实施例中，对于每条车道线，统计像素点集合中所有像素点的概率值之和，得到该条车道线的置信度。其中的置信度，为由像素点集合形成的区域是真实存在的车道线的概率值。其中，第二预设阈值为根据实际需求设置的经验值，可以根据实际场景进行调整。如果置信度太小，即不大于第二预设阈值，表示该车道线不存在，丢弃确定的该车道线；如果置信度较大，即大于第二预设阈值，表示确定的车道线所在区域是真实存在的车道线的概率值较高，确定作为该车道线所在区域。
303，分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的拟合曲线。
其中的车道线信息的表现形式有多种，例如可以是一条曲线、直线、包括车道线上至少一点及其到车辆的距离的离散图，也可是一个数据表，或者还可以表示为一个方程，等等，本发明实施例不限定车道线信息的具体表现形式。
车道线信息表示为一个方程时，可以称为车道线方程。在其中一些可选示例中，车道线方程可以是一个二次曲线方程，可以表示为：x＝a*y*y+b*y+c。该车道线方程中具有三个参数(a，b，c)。
在其中一些实施方式中，操作303中，对一条车道线所在区域中的像素点进行曲线拟合，得到该条车道线的车道线信息，可以包括：从一条车道线所在区域中选取多个(例如三个或以上)像素点；将选取的多个像素点从摄像头所在的相机坐标系转换到世界坐标系中，得到上述多个像素点在世界坐标系中的坐标。其中，世界坐标系的原点可以根据需求设定，例如可以设置原点为车辆左前轮着地点，世界坐标系的中的y轴方向为车辆正前方方向；根据上述多个像素点在世界坐标系中的坐标，在世界坐标系中对上述多个像素点进行曲线拟合，得到上述一条车道线的车道线信息。
例如，可以一条车道线所在区域中随机挑选出一部分像素点，根据相机标定参数(也可以称为摄像机标定参数)，将这些像素点转换到世界坐标系下，然后在世界坐标系下对这些像素点进行曲线拟合，便可得到拟合曲线。其中的相机标定参数，可以包括内参和外参。其中，基于外参可以确定相机或摄像机在世界坐标系中的位置和朝向，外参可以包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到相机坐标系或者反之；内参是与相机自身特性相关的参数，例如相机的焦距、像素大小等。
其中的曲线拟合是指，通过一些离散点计算出这些点构成的曲线。在本发明实施例的一些可选示例中，例如可以采用最小二乘法基于上述多个像素点进行曲线拟合。
另外，在本发明基于车道线的智能驾驶控制方法的又一个实施例中，为了防止基于两帧图像确定的车道线抖动和车辆换道过程中车道线产生混乱情况，通过操作303得到车道线的车道线信息之后，还可以包括：对车道线的车道线信息中的参数进行滤波，以滤除抖动和一些异常情况，确保车道线信息的稳定性。在其中一些实施方式中，对一条车道线的车道线信息中的参数进行滤波，可以包括：
根据该条车道线的车道线信息中参数的参数值与基于上一帧图像获得的该车道线的历史车道线信息中参数的参数值，对该条车道线信息中参数的参数值进行卡尔曼(kalman)滤波。其中，上一帧图像为上述图像所在视频中检测时序位于该图像之前的一帧图像，例如可以是该图像相邻的前一帧图像，也可以是检测时序位于该图像之前、间隔一帧或多帧的图像。
卡尔曼滤波是一种根据时变随机信号的统计特性，对信号的未来值做出尽可能接近真值的一种估计方法。本实施例中根据该条车道线的车道线信息中参数的参数值与基于上一帧图像获得的该车道线的历史车道线信息中参数的参数值，对该条车道线信息中参数的参数值进行卡尔曼滤波，可以提高条车道线信息的准确性，有助于后续精确的确定车辆与车道线之间的距离等信息，以便对车辆偏离车道线进行准确预警。
进一步地，在本发明基于车道线的智能驾驶控制方法的再一个实施例中，对车道线信息中参数的参数值进行卡尔曼滤波之前，还可以包括：针对同一条车道线，选取车道线信息中参数的参数值相对于历史车道线信息中对应参数的参数值有变化、且车道线信息中参数的参数值与历史车道线信息中对应参数的参数值之间的差值小于第三预设阈值的车道线信息，以作为有效的车道线信息进行卡尔曼滤波，即对车道线信息中的参数(例如x＝a*y*y+b*y+c中的三个参数(a，b，c))进行平滑。由于视频中基于每帧图像拟合出的车道线信息中的参数都会变化，但相邻帧图像的不会变化太大，因此可以对当前帧图像的车道线信息进行一些平滑，滤除抖动和一些异常情况，确保车道线信息稳定性。
例如，在其中一些实施方式中，可以对视频中参与车道线检测的首帧图像确定出的车道线，分别为每一条车道线建立一个跟踪器来跟踪该车道线，如果当前帧图像检测到同一条车道线，并且该车道线的车道线信息相对于上一帧图像确定出的同一条车道线的车道线信息中参数值之间的差值小于第三预设阈值，则将当前帧图像的车道线信息中的参数值更新到上一帧图像确定出的同一条车道线的跟踪器中，以对当前帧图像中该同一条车道线的车道线信息进行卡尔曼滤波。如果同一条车道线的跟踪器在连续两帧图像中都有更新，说明该条车道线的确定结果较准确，可确认该条车道线的跟踪器，将该跟踪器跟踪的车道线设置为最终的车道线结果。
如果跟踪器连续若干帧都没有更新，则认为相应的车道线消失，删除该跟踪器。
如果从当前帧图像中没有检测到与上一帧图像相匹配的车道线，说明上一帧图像中确定的该条车道线误差较大，删除上一帧图像中的该跟踪器。
304，根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离。
本发明实施例可以确定车道线所在区域后，通过对每条车道线所在区域中的像素点进行曲线拟合得到每条车道线的车道线信息，并基于车辆的行驶状态和车道线的车道线信息确定该车辆驶出相应车道线的估计距离。由于进行曲线拟合得到的车道线信息可以表现为二次曲线或者类似表示方式，可以很好的贴合弯道车道线，对于弯道仍然有良好的适用性，可以适用于各种道路情况的预警。
在上述各实施例的其中一些实施方式中，操作304中，根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离，可以包括：
根据该车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定该车辆与所述车道线之间的估计距离；该实施例中，车辆的行驶状态包括该车辆在世界坐标系中的位置。
例如，在一个应用实例中，假设车辆当前位置为A，沿着当前行驶方向与一条车道线(假设称为目标车道线)的交点位置为B，那么线段AB即为车辆在当前状态下将驶出该目标车道线的轨迹。根据相机标定参数可以获取车辆在世界坐标系中的绝对位置A’，然后根据该目标车道线的车道线方程，可以计算得出车道线行驶方向的直线A’B与该目标车道线的交点位置B，从而得出直线A’B的长度。
其中，车辆与目标车道线之间的距离，可以根据该目标车道线的车道线方程坐标原点的设定、以及车辆行驶方向、车辆宽度获取。例如，如果车道线方程坐标原点设定为车辆的左车轮，目标车道线在该车辆的左侧，则直接获取该车辆与其行驶方向与目标车道线的交点之间的距离即可。如果车道线方程坐标原点设定为车辆的右车轮，目标车道线在该车辆的左侧，则获取该车辆与其行驶方向与目标车道线的交点之间的距离、加上车辆宽度投影在其行驶方向上的有效宽度，即为车辆与目标车道线之间的距离。如果车道线方程坐标原点设定为车辆的中心，目标车道线在该车辆的左侧，则获取该车辆与其行驶方向与目标车道线的交点之间的距离、加上车辆的一半宽度投影在其行驶方向上的有效宽度，即为车辆与目标车道线之间的评估距离。
305，响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间。
基于上述步骤，获得车辆与车道线之间的估计距离，若该估计距离大于第一预设距离值且小于等于第二预设距离值，则确定车辆驶出所述车道线的估计时间。
在上述各实施例的其中一些实施方式中，操作305中，所述确定所述车辆驶出所述车道线的估计时间，可以包括：根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
例如，统计历史帧图像信息可以计算出该车辆在当前时刻的侧向速度，再根据该车辆当前距离该目标车道线的距离，可以计算得到当前时刻车辆距离该目标车道线的压线时间(即到达该目标车道线的时间)，将该压线时间确定为车辆驶出所述车道线的估计时间。
在一些实现方式中，上述根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间，包括：
获取所述车辆的行驶方向与所述车道线的拟合曲线之间的夹角；
根据所述车辆在世界坐标系中的位置，获取所述车辆与所述车道线的拟合曲线之间的估计距离；
根据所述夹角、所述估计距离和所述车辆的速度，确定所述车辆驶出所述车道线的估计时间。
具体的，如图6所示，获取所述车辆的行驶方向与所述车道线的拟合曲线之间的夹角θ。接着根据该夹角θ和车辆的行驶速度可以获得车辆的行驶速度的水平分量vx。根据上述估计距离和车辆的行驶速度的水平分量vx，可以获得车辆碾压所述车道线所需的估计时间t，例如，t＝d/vx。
可选的，在实际行驶过程中，车辆可能不可避免地在短时间内碾压车道线，例如车辆由于抖动车头会碾压车道线，对于这些现象，在现象消失后，车辆会自动进入正常的驾驶轨道，因此，在这些情况下可以不用报警。为了避免上述情况下的误报警，设置碾压车道线的临界线，具体的，如图7所示，在车道线的远离车辆的一侧设置一条临界线(如图7中车道线左侧的虚线)，当车辆碾压该临界线时，才向车辆发送报警消息，进而降低误报警的概率。
具体是，将估计距离d与预设距离c之和作为新的估计距离d’，根据夹角、新的估计距离d’和所述车辆的行驶速度，确定车辆碾压车道线所需的时间。
306，根据估计时间，对该车辆进行智能驾驶控制。
本发明实施例提供的基于车道线的智能驾驶控制方法，可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种基于车道线的智能驾驶控制方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种基于车道线的智能驾驶控制方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8为本发明实施例一提供的基于车道线的智能驾驶控制装置的结构示意图。如图8所示，本实施例的基于车道线的智能驾驶控制装置100可以包括：
获取模块110，用于获取车辆行驶环境的车道线检测结果；
距离确定模块120，用于根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；
时间确定模块130，用于响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；
控制模块140，用于根据所述估计时间进行智能驾驶控制。
本发明实施例的基于车道线的智能驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例二提供的基于车道线的智能驾驶控制装置的结构示意图。在上述实施例的基础上，如图9所示，本实施例的控制模块140，包括：
比较单元141，用于将所述估计时间与至少一预定阈值进行比较；
控制单元142，用于在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制、辅助驾驶控制和/或驾驶模式切换控制。
在本实施例的一种可能的实现方式中，所述自动驾驶控制包括以下任意一项或多项：进行车道线偏离报警、制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态；
和/或，
所述辅助驾驶控制包括：进行车道线偏离预警；或者，进行车道线保持提示。
本发明实施例的基于车道线的智能驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明实施例三提供的基于车道线的智能驾驶控制装置的结构示意图。在上述实施例的基础上，如图10所示，本实施例的基于车道线的智能驾驶控制装置100，还包括：
激活模块150，用于响应于所述估计距离小于等于第二预设距离值或小于第一预设距离值，自动激活所述智能驾驶控制功能；或者，响应于所述估计时间小于预定阈值，自动激活所述智能驾驶控制功能；或者，响应于检测到所述车辆碾压所述车道线，自动激活所述智能驾驶控制功能。
可选的，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
在本实施例的一种可能的实现方式中，所述控制单元142，具体用于：
若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离预警，其中，所述第二预设时间值小于所述第一预设时间值。
在本实施例的一种可能的实现方式中，所述控制单元142，还用于：
若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在本实施例的一种可能的实现方式中，所述控制单元142，还用于：若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，其中所述车道线偏离预警包括所述车道线偏离报警。
在本实施例的一种可能的实现方式中，所述控制单元142，具体用于：
所述若所述估计时间小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第二预设时间值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者
所述若所述第一距离小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第一预设距离值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像。
可选的，所述进行车道线偏离报警包括：开启转向灯和/或语音提示。
可选的，所述进行车道线偏离预警包括：灯闪烁、响铃和语音提示中至少一种。
本发明实施例的基于车道线的智能驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本发明实施例四提供的基于车道线的智能驾驶控制装置的结构示意图。在上述实施例的基础上，如图11所示，本实施例的基于车道线的智能驾驶控制装置100，还包括：调整模块160；
所述获取模块110，还用于获取所述车辆的驾驶员的驾驶等级；
所述调整模块160，用于根据所述驾驶等级，调整所述第一预设距离值、所述第二预设距离值和预设阈值中的至少一个。
图12为本发明实施例五提供的基于车道线的智能驾驶控制装置的结构示意图。在上述实施例的基础上，如图12所示，本实施例的获取模块110，包括：
分割单元111，用于通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
第一确定单元112，用于根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
本发明实施例的基于车道线的智能驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本发明实施例六提供的基于车道线的智能驾驶控制装置的结构示意图。在上述实施例的基础上，如图13所示，所述距离确定模块120，包括：
拟合单元121，用于分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的拟合曲线；
第二确定单元122，用于根据所述车辆的行驶状态和所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计距离。
在一种可能的实现方式中，所述第二确定单元122，具体用于：
根据所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆与所述车道线之间的估计距离；所述车辆的行驶状态包括所述车辆在世界坐标系中的位置。
在一种可能的实现方式中，所述时间确定模块130，具体用于：
根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的拟合曲线，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
在一种可能的实现方式中，所述时间确定模块130，还具体用于：
获取所述车辆的行驶方向与所述车道线的拟合曲线之间的夹角；
根据所述车辆在世界坐标系中的位置，获取所述车辆与所述车道线的拟合曲线之间的估计距离；
根据所述夹角、所述估计距离和所述车辆的速度，确定所述车辆驶出所述车道线的估计时间。
本发明实施例的基于车道线的智能驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供了一种电子设备，包括本发明上述任一实施例的基于车道线的智能驾驶控制装置。
本发明实施例还提供了另一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与存储器通信以执行可执行指令从而完成本发明上述任一实施例的基于车道线的智能驾驶控制方法的操作。
图14为本发明电子设备一个应用实施例的结构示意图。下面参考图14，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图14所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)或FPGA等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本申请实施例提供的任一基于车道线的智能驾驶控制方法对应的操作，例如，获取车辆行驶环境的车道线检测结果；根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本发明上述任一基于车道线的智能驾驶控制方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的，如图14所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图14的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
另外，本发明实施例还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时实现本发明上述任一实施例的基于车道线的智能驾驶控制方法的操作。
另外，本发明实施例还提供了一种计算机程序，包括计算机可读取的指令，当该计算机可读取的指令在设备中运行时，该设备中的处理器执行用于实现本发明上述任一实施例的基于车道线的智能驾驶控制方法中的步骤的可执行指令。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于车道线的智能驾驶控制方法，其特征在于，包括：
获取车辆行驶环境的车道线检测结果；
根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；
响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；
根据所述估计时间进行智能驾驶控制。
2.根据权利要求1所述的方法，其特征在于，所述根据所述估计时间进行智能驾驶控制，包括：
将所述估计时间与至少一预定阈值进行比较；
在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制、辅助驾驶控制和/或驾驶模式切换控制。
3.根据权利要求2所述的方法，其特征在于，
所述自动驾驶控制包括以下任意一项或多项：进行车道线偏离报警、制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态；
和/或，
所述辅助驾驶控制包括：进行车道线偏离预警；或者，进行车道线保持提示。
4.根据权要求1-3任一所述的方法，其特征在于，所述方法还包括：
响应于所述估计距离小于等于第二预设距离值或小于第一预设距离值，自动激活所述智能驾驶控制功能；或者，
响应于所述估计时间小于预定阈值，自动激活所述智能驾驶控制功能；或者，
响应于检测到所述车辆碾压所述车道线，自动激活所述智能驾驶控制功能。
5.根据权利要求4所述的方法，其特征在于，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
6.根据权利要求5所述的方法，其特征在于，所述在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，包括：
若所述估计时间小于或等于第一预设时间值、且大于第二预设时间值，对所述车辆进行车道线偏离预警，其中，所述第二预设时间值小于所述第一预设时间值。
7.一种基于车道线的智能驾驶控制装置，其特征在于，包括：
获取模块，用于获取车辆行驶环境的车道线检测结果；
距离确定模块，用于根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离；
时间确定模块，用于响应于所述估计距离大于第一预设距离值且小于等于第二预设距离值，确定所述车辆驶出所述车道线的估计时间；
控制模块，用于根据所述估计时间进行智能驾驶控制。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6任一所述的方法。
9.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序，包括计算机指令，其特征在于，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-6任一项所述的方法。
CN201810961511.8A 2018-08-22 2018-08-22 基于车道线的智能驾驶控制方法装置与电子设备 Pending CN109147368A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810961511.8A CN109147368A (zh) 2018-08-22 2018-08-22 基于车道线的智能驾驶控制方法装置与电子设备
PCT/CN2019/092134 WO2020038091A1 (zh) 2018-08-22 2019-06-20 智能驾驶控制方法与装置、电子设备、程序和介质
SG11202004313XA SG11202004313XA (en) 2018-08-22 2019-06-20 Intelligent driving control method and apparatus, electronic device, program and medium
JP2020545431A JP7106664B2 (ja) 2018-08-22 2019-06-20 知的運転制御方法および装置、電子機器、プログラムならびに媒体
US16/870,280 US20200272835A1 (en) 2018-08-22 2020-05-08 Intelligent driving control method, electronic device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810961511.8A CN109147368A (zh) 2018-08-22 2018-08-22 基于车道线的智能驾驶控制方法装置与电子设备

Publications (1)

Publication Number Publication Date
CN109147368A true CN109147368A (zh) 2019-01-04

Family

ID=64790853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810961511.8A Pending CN109147368A (zh) 2018-08-22 2018-08-22 基于车道线的智能驾驶控制方法装置与电子设备

Country Status (5)

Country Link
US (1) US20200272835A1 (zh)
JP (1) JP7106664B2 (zh)
CN (1) CN109147368A (zh)
SG (1) SG11202004313XA (zh)
WO (1) WO2020038091A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109865231A (zh) * 2019-01-29 2019-06-11 迅捷安消防及救援科技（深圳）有限公司 可移动模块化智慧消防执勤保障装备及相关产品
CN110084230A (zh) * 2019-04-11 2019-08-02 北京百度网讯科技有限公司 基于图像的车身方向检测方法和装置
CN110287832A (zh) * 2019-06-13 2019-09-27 北京百度网讯科技有限公司 高速自动驾驶场景障碍物感知评测方法及装置
CN110428693A (zh) * 2019-07-31 2019-11-08 驭势科技（北京）有限公司 用户驾驶习惯培训方法、培训模块、车载设备及存储介质
WO2020038091A1 (zh) * 2018-08-22 2020-02-27 北京市商汤科技开发有限公司 智能驾驶控制方法与装置、电子设备、程序和介质
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111476062A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及驾驶系统
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN111489578A (zh) * 2020-04-01 2020-08-04 北京理工大学 一种基于车道时空间隙的高速道路无人驾驶决策规划方法
CN111507126A (zh) * 2019-01-30 2020-08-07 杭州海康威视数字技术股份有限公司 一种驾驶辅助系统的报警方法、装置及电子设备
CN111923906A (zh) * 2019-05-13 2020-11-13 广州汽车集团股份有限公司 车道保持控制参数的调整方法、装置、设备和存储介质
CN112131914A (zh) * 2019-06-25 2020-12-25 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN112130550A (zh) * 2019-06-24 2020-12-25 北京市商汤科技开发有限公司 一种道路图像处理方法、装置、电子设备及存储介质
CN112233447A (zh) * 2020-09-30 2021-01-15 上海博泰悦臻电子设备制造有限公司 变道提醒方法及相关设备
CN112530160A (zh) * 2020-11-18 2021-03-19 合肥湛达智能科技有限公司 一种基于深度学习的目标距离检测方法
CN112785844A (zh) * 2020-12-28 2021-05-11 东软睿驰汽车技术（沈阳）有限公司 曲线坐标系的建立方法、装置和电子设备
CN112883948A (zh) * 2021-05-06 2021-06-01 深圳市城市交通规划设计研究中心股份有限公司 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN113223313A (zh) * 2020-01-21 2021-08-06 华为技术有限公司 车道推荐方法、装置及车载通信设备
CN114127655A (zh) * 2019-05-20 2022-03-01 祖克斯有限公司 封闭车道检测
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
CN114863707A (zh) * 2022-05-07 2022-08-05 中国第一汽车股份有限公司 车辆信息的处理方法、装置、存储介质和车辆

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9663118B1 (en) * 2016-11-02 2017-05-30 Smartdrive Systems, Inc. Autonomous vehicle operator performance tracking
US9823657B1 (en) 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle
US10807527B1 (en) 2019-05-01 2020-10-20 Smartdrive Systems, Inc. Systems and methods for verifying whether vehicle operators are paying attention
JP6937856B2 (ja) * 2020-02-13 2021-09-22 本田技研工業株式会社 運転支援装置および車両
EP3916633A1 (de) 2020-05-25 2021-12-01 Sick Ag Kamera und verfahren zum verarbeiten von bilddaten
JP7443177B2 (ja) * 2020-07-16 2024-03-05 トヨタ自動車株式会社 衝突回避支援装置
CN111814746A (zh) * 2020-08-07 2020-10-23 平安科技（深圳）有限公司 一种识别车道线的方法、装置、设备及存储介质
CN112036285B (zh) * 2020-08-25 2024-04-09 安徽江淮汽车集团股份有限公司 视觉目标检测方法、装置、设备及存储介质
WO2022051951A1 (zh) * 2020-09-09 2022-03-17 华为技术有限公司 车道线检测方法、相关设备及计算机可读存储介质
CN112150786B (zh) * 2020-09-25 2021-12-03 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、车辆、电子设备和介质
CN112729187B (zh) * 2020-12-22 2023-02-17 阿波罗智联(北京)科技有限公司 用于生成车辆长度信息的方法、装置、路侧设备和云控平台
JPWO2022185644A1 (zh) * 2021-03-03 2022-09-09
US11830187B2 (en) * 2021-05-26 2023-11-28 International Business Machines Corporation Automatic condition diagnosis using a segmentation-guided framework
US11875898B2 (en) 2021-05-26 2024-01-16 Merative Us L.P. Automatic condition diagnosis using an attention-guided framework
US11840147B2 (en) 2021-07-13 2023-12-12 Canoo Technologies Inc. System and method in data-driven vehicle dynamic modeling for path-planning and control
US11891059B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and methods of integrating vehicle kinematics and dynamics for lateral control feature at autonomous driving
US11908200B2 (en) * 2021-07-13 2024-02-20 Canoo Technologies Inc. System and method in the prediction of target vehicle behavior based on image frame and normalization
US11845428B2 (en) 2021-07-13 2023-12-19 Canoo Technologies Inc. System and method for lane departure warning with ego motion and vision
US11891060B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and method in lane departure warning with full nonlinear kinematics and curvature
CN115222779B (zh) * 2021-09-17 2023-09-22 广州汽车集团股份有限公司 一种车辆切入检测方法、装置及存储介质
CN113932796A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 高精地图车道线生成方法、装置和电子设备
CN114368287A (zh) * 2021-11-29 2022-04-19 武汉未来幻影科技有限公司 一种驾考车身自动显示方法、装置及存储介质
CN114743395B (zh) * 2022-03-21 2024-03-08 中汽创智科技有限公司 一种信号灯检测方法、装置、设备及介质
CN114475641B (zh) * 2022-04-15 2022-06-28 天津所托瑞安汽车科技有限公司 车道偏离预警方法、装置、控制装置及存储介质
CN116823958A (zh) * 2023-04-20 2023-09-29 阿波罗智联(北京)科技有限公司 车载相机的偏航角估计方法、装置、设备、车辆及介质
CN116834729B (zh) * 2023-08-28 2023-11-17 常州星宇车灯股份有限公司 车辆辅助驾驶的横纵向联合控制系统及控制方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN101914890A (zh) * 2010-08-31 2010-12-15 中交第二公路勘察设计研究院有限公司 一种基于机载激光测量的公路改扩建勘测方法
CN102156979A (zh) * 2010-12-31 2011-08-17 上海电机学院 基于GrowCut的车道线快速检测方法及系统
CN102303609A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN103605977A (zh) * 2013-11-05 2014-02-26 奇瑞汽车股份有限公司 一种车道线的提取方法及装置
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106274483A (zh) * 2016-11-10 2017-01-04 合肥工业大学 基于分心驾驶行为判别的车辆自动驾驶切换装置及方法
CN106585629A (zh) * 2016-12-06 2017-04-26 广州市科恩电脑有限公司 一种车辆控制方法和装置
US9637119B2 (en) * 2014-06-16 2017-05-02 Hyundai Mobis Co., Ltd. Safe driving guiding system and method thereof
CN108242168A (zh) * 2016-12-24 2018-07-03 钱浙滨 一种监控车辆行驶的方法及装置
CN108327717A (zh) * 2018-02-06 2018-07-27 合肥工业大学 一种人机共驾的车道偏离辅助系统及其车道偏离辅助方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223218A (ja) * 1996-02-15 1997-08-26 Toyota Motor Corp 走路検出方法及び装置
JP3848898B2 (ja) 2002-05-21 2006-11-22 アイシン精機株式会社 車線逸脱判定装置
JP5018583B2 (ja) 2007-07-19 2012-09-05 日産自動車株式会社 車線内走行支援装置
JP5287335B2 (ja) 2009-02-23 2013-09-11 日産自動車株式会社 道路白線認識装置及び道路白線認識方法
EP3041720B1 (en) * 2013-09-05 2019-12-04 Robert Bosch GmbH Enhanced lane departure warning with information from rear radar sensors
JP6237685B2 (ja) 2015-04-01 2017-11-29 トヨタ自動車株式会社 車両制御装置
JP6443364B2 (ja) 2016-03-09 2018-12-26 トヨタ自動車株式会社 車両用情報提供装置
KR102585219B1 (ko) * 2016-11-29 2023-10-05 삼성전자주식회사 차량 속도 제어 방법 및 장치
JP6601437B2 (ja) * 2017-02-16 2019-11-06 トヨタ自動車株式会社 車線逸脱抑制装置
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN108196546A (zh) * 2018-01-03 2018-06-22 驭势（上海）汽车科技有限公司 智能驾驶车辆的安全性监控系统及方法
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN101914890A (zh) * 2010-08-31 2010-12-15 中交第二公路勘察设计研究院有限公司 一种基于机载激光测量的公路改扩建勘测方法
CN102156979A (zh) * 2010-12-31 2011-08-17 上海电机学院 基于GrowCut的车道线快速检测方法及系统
CN102303609A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN103605977A (zh) * 2013-11-05 2014-02-26 奇瑞汽车股份有限公司 一种车道线的提取方法及装置
US9637119B2 (en) * 2014-06-16 2017-05-02 Hyundai Mobis Co., Ltd. Safe driving guiding system and method thereof
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106274483A (zh) * 2016-11-10 2017-01-04 合肥工业大学 基于分心驾驶行为判别的车辆自动驾驶切换装置及方法
CN106585629A (zh) * 2016-12-06 2017-04-26 广州市科恩电脑有限公司 一种车辆控制方法和装置
CN108242168A (zh) * 2016-12-24 2018-07-03 钱浙滨 一种监控车辆行驶的方法及装置
CN108327717A (zh) * 2018-02-06 2018-07-27 合肥工业大学 一种人机共驾的车道偏离辅助系统及其车道偏离辅助方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐国晟，张伟伟，吴训成，苏金亚，郭增高: "基于卷积神经网络的车道线语义分割算法", 《电子测量与仪器学报》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038091A1 (zh) * 2018-08-22 2020-02-27 北京市商汤科技开发有限公司 智能驾驶控制方法与装置、电子设备、程序和介质
CN111460866B (zh) * 2019-01-22 2023-12-22 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111476062A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及驾驶系统
CN111476057B (zh) * 2019-01-23 2024-03-26 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN109865231B (zh) * 2019-01-29 2020-09-08 迅捷安消防及救援科技（深圳）有限公司 可移动模块化智慧消防执勤保障装备及相关产品
CN109865231A (zh) * 2019-01-29 2019-06-11 迅捷安消防及救援科技（深圳）有限公司 可移动模块化智慧消防执勤保障装备及相关产品
CN111507126B (zh) * 2019-01-30 2023-04-25 杭州海康威视数字技术股份有限公司 一种驾驶辅助系统的报警方法、装置及电子设备
CN111507126A (zh) * 2019-01-30 2020-08-07 杭州海康威视数字技术股份有限公司 一种驾驶辅助系统的报警方法、装置及电子设备
CN110084230A (zh) * 2019-04-11 2019-08-02 北京百度网讯科技有限公司 基于图像的车身方向检测方法和装置
CN111923906B (zh) * 2019-05-13 2021-11-02 广州汽车集团股份有限公司 车道保持控制参数的调整方法、装置、设备和存储介质
CN111923906A (zh) * 2019-05-13 2020-11-13 广州汽车集团股份有限公司 车道保持控制参数的调整方法、装置、设备和存储介质
CN114127655A (zh) * 2019-05-20 2022-03-01 祖克斯有限公司 封闭车道检测
CN114127655B (zh) * 2019-05-20 2023-12-22 祖克斯有限公司 封闭车道检测
CN110287832A (zh) * 2019-06-13 2019-09-27 北京百度网讯科技有限公司 高速自动驾驶场景障碍物感知评测方法及装置
CN112130550B (zh) * 2019-06-24 2024-03-12 北京市商汤科技开发有限公司 一种道路图像处理方法、装置、电子设备及存储介质
CN112130550A (zh) * 2019-06-24 2020-12-25 北京市商汤科技开发有限公司 一种道路图像处理方法、装置、电子设备及存储介质
CN112131914B (zh) * 2019-06-25 2022-10-21 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN112131914A (zh) * 2019-06-25 2020-12-25 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN110428693A (zh) * 2019-07-31 2019-11-08 驭势科技（北京）有限公司 用户驾驶习惯培训方法、培训模块、车载设备及存储介质
CN113223313A (zh) * 2020-01-21 2021-08-06 华为技术有限公司 车道推荐方法、装置及车载通信设备
CN111489578A (zh) * 2020-04-01 2020-08-04 北京理工大学 一种基于车道时空间隙的高速道路无人驾驶决策规划方法
CN111489578B (zh) * 2020-04-01 2021-09-07 北京理工大学 一种基于车道时空间隙的高速道路无人驾驶决策规划方法
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
CN112233447A (zh) * 2020-09-30 2021-01-15 上海博泰悦臻电子设备制造有限公司 变道提醒方法及相关设备
CN112530160A (zh) * 2020-11-18 2021-03-19 合肥湛达智能科技有限公司 一种基于深度学习的目标距离检测方法
CN112785844B (zh) * 2020-12-28 2022-03-15 东软睿驰汽车技术（沈阳）有限公司 曲线坐标系的建立方法、装置和电子设备
CN112785844A (zh) * 2020-12-28 2021-05-11 东软睿驰汽车技术（沈阳）有限公司 曲线坐标系的建立方法、装置和电子设备
CN112883948A (zh) * 2021-05-06 2021-06-01 深圳市城市交通规划设计研究中心股份有限公司 一种语义分割与边缘检测模型建立及护栏异常监测方法
CN114863707A (zh) * 2022-05-07 2022-08-05 中国第一汽车股份有限公司 车辆信息的处理方法、装置、存储介质和车辆

Also Published As

Publication number Publication date
JP7106664B2 (ja) 2022-07-26
US20200272835A1 (en) 2020-08-27
WO2020038091A1 (zh) 2020-02-27
JP2021503414A (ja) 2021-02-12
SG11202004313XA (en) 2020-06-29

Similar Documents

Publication Publication Date Title
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
CN108875603A (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和系统
CN106845547B (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
US20230144209A1 (en) Lane line detection method and related device
US20200349365A1 (en) Direct vehicle detection as 3d bounding boxes using neural network image processing
CN106548192B (zh) 基于神经网络的图像处理方法、装置和电子设备
US8712096B2 (en) Method and apparatus for detecting and tracking vehicles
CN103838772B (zh) 一种多源交通数据融合方法
KR20210078530A (ko) 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체
CN102831382A (zh) 人脸跟踪设备和方法
CN110386065A (zh) 车辆盲区的监控方法、装置、计算机设备及存储介质
CN113377888B (zh) 训练目标检测模型和检测目标的方法
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
CN109299656B (zh) 一种车载视觉系统场景视深确定方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
US11328519B2 (en) Detecting traffic signaling states with neural networks
CN114758502B (zh) 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
WO2020051270A1 (en) Unsupervised depth prediction neural networks
CN108805902A (zh) 一种自适应尺度的时空上下文目标跟踪方法
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
CN103605960A (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN106874855A (zh) 头肩区域定位方法及装置
CN104063878A (zh) 运动对象检测装置、运动对象检测方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104