CN108875603A - 基于车道线的智能驾驶控制方法和装置、电子设备 - Google Patents

基于车道线的智能驾驶控制方法和装置、电子设备 Download PDF

Info

Publication number
CN108875603A
CN108875603A CN201810551908.XA CN201810551908A CN108875603A CN 108875603 A CN108875603 A CN 108875603A CN 201810551908 A CN201810551908 A CN 201810551908A CN 108875603 A CN108875603 A CN 108875603A
Authority
CN
China
Prior art keywords
lane line
vehicle
lane
image
probability graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810551908.XA
Other languages
English (en)
Other versions
CN108875603B (zh
Inventor
刘文志
于晨笛
程光亮
朱海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201810551908.XA priority Critical patent/CN108875603B/zh
Publication of CN108875603A publication Critical patent/CN108875603A/zh
Priority to JP2020554361A priority patent/JP7024115B2/ja
Priority to SG11202005094XA priority patent/SG11202005094XA/en
Priority to PCT/CN2019/087622 priority patent/WO2019228211A1/zh
Priority to US16/886,163 priority patent/US11314973B2/en
Application granted granted Critical
Publication of CN108875603B publication Critical patent/CN108875603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

本发明实施例公开了一种基于车道线的智能驾驶控制方法和装置、电子设备，其中，方法包括：获取车辆行驶环境的车道线检测结果；根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。本发明实施例实现了基于车道线对车辆行驶状态的智能控制，提高驾驶安全性。

Description

基于车道线的智能驾驶控制方法和装置、电子设备
技术领域
本发明涉及人工智能技术，尤其是一种基于车道线的智能驾驶控制方法和装置、电子设备。
背景技术
车道线检测是自动驾驶和辅助驾驶中的一项关键技术，通过该项技术可以检测车辆行驶道路上的车道线，从而判断车辆的当前位置，为下一步的预警提供关键信息。
发明内容
本发明实施例提供一种基于车道线的智能驾驶控制技术方案。
本发明实施例提供的一种基于车道线的智能驾驶控制方法，包括：
获取车辆行驶环境的车道线检测结果；
根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；
根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
可选地，在本发明上述各方法实施例中，所述获取车辆行驶环境的车道线检测结果，包括：
基于神经网络检测所述车辆行驶环境的车道线，得到所述车道线检测结果；或者，
从高级驾驶辅助系统获取车辆行驶环境的车道线检测结果。
可选地，在本发明上述各方法实施例中，所述基于神经网络检测所述车辆行驶环境的车道线，得到所述车道线检测结果，包括：
通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
可选地，在本发明上述各方法实施例中，所述通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图，包括：
通过所述神经网络对所述图像进行特征提取，得到特征图；
通过所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图；每条车道的车道线概率图中各像素点的像素值表示所述图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。
可选地，在本发明上述各方法实施例中，所述通过所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图，包括：
通过所述神经网络对所述特征图进行语义分割，得到N+1个通道的概率图；所述N+1个通道分别对应于N条车道线和背景；
从所述N+1个通道的概率图中获取所述N条车道线的车道线概率图。
可选地，在本发明上述各方法实施例中，
N的取值为2，所述N+1个通道分别对应于背景、左车道线和右车道线；或者，
N的取值为3，所述N+1个通道分别对应于背景、左车道线、中车道线和右车道线；或者，
N的取值为4，所述N+1个通道分别对应于背景、左左车道线、左车道线、右车道线和右右车道线。
可选地，在本发明上述各方法实施例中，根据一条车道线的车道线概率图确定所述车道线所在区域，包括：
从车道线的车道线概率图中选取概率值大于第一预设阈值的像素点；
基于选取出的像素点在所述车道线概率图中进行最大连通域查找，找出属于所述车道线的像素点集合；
基于属于所述车道线的像素点集合确定所述车道线所在区域。
可选地，在本发明上述各方法实施例中，所述基于属于所述车道线的像素点集合确定所述车道线所在区域，包括：
统计属于所述车道线的像素点集合中所有像素点的概率值之和，得到所述车道线的置信度；
若所述置信度大于第二预设阈值，以所述像素点集合形成的区域作为所述车道线所在区域。
可选地，在本发明上述各方法实施例中，还包括：
对包括所述车辆行驶环境的原始图像进行预处理；
所述通过神经网络对包括所述车辆行驶环境的图像进行语义分割，包括：通过所述神经网络，对预处理得到的所述图像进行语义分割。
可选地，在本发明上述各方法实施例中，所述根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间，包括：
分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的车道线信息；所述车道线信息包括所述车道线上至少一点到所述车辆的距离；
根据所述车辆的行驶状态和所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间。
可选地，在本发明上述各方法实施例中，所述对所述车道线所在区域中的像素点进行曲线拟合，得到所述车道线的车道线信息，包括：
从一条所述车道线所在区域中选取多个像素点；
将所述多个像素点从所述摄像头所在的相机坐标系转换到世界坐标系中，得到所述多个像素点在世界坐标系中的坐标；
根据所述多个像素点在世界坐标系中的坐标，在世界坐标系中对所述多个像素点进行曲线拟合，得到所述车道线的车道线信息。
可选地，在本发明上述各方法实施例中，所述得到所述车道线的车道线信息之后，还包括：
对所述车道线的车道线信息中的参数进行滤波；
所述根据所述车辆的行驶状态和所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间，包括：根据所述车辆的行驶状态和滤波得到的所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间。
可选地，在本发明上述各方法实施例中，所述对所述车道线的车道线信息中的参数进行滤波，包括：
根据所述车道线信息中参数的参数值与基于上一帧图像获得的所述车道线的历史车道线信息中参数的参数值，对所述车道线信息中参数的参数值进行卡尔曼滤波；所述上一帧图像为所述图像所在视频中检测时序位于所述图像之前的一帧图像。
可选地，在本发明上述各方法实施例中，所述对所述车道线信息中参数的参数值进行卡尔曼滤波之前，还包括：
选取所述车道线信息中参数的参数值相对于所述历史车道线信息中对应参数的参数值有变化、且所述车道线信息中参数的参数值与所述历史车道线信息中对应参数的参数值之间的差值小于第三预设阈值的所述车道线信息，以作为有效的车道线信息进行卡尔曼滤波。
可选地，在本发明上述各方法实施例中，所述根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离，包括：
根据所述车辆在世界坐标系中的位置、以及所述车道线的车道线信息，确定所述车辆与所述车道线之间的估计距离；所述车辆的行驶状态包括所述车辆在世界坐标系中的位置。
可选地，在本发明上述各方法实施例中，所述根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计时间，包括：
根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
可选地，在本发明上述各方法实施例中，所述根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制，包括：
将所述估计距离和/或所述估计时间与至少一预定阈值进行比较；
在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制和/或辅助驾驶控制。
可选地，在本发明上述各方法实施例中，所述自动驾驶控制包括以下任意一项或多项：制动、减速、改变行驶方向、车道线保持、驾驶模式切换控制。
可选地，在本发明上述各方法实施例中，所述对所述车辆进行辅助驾驶控制包括：进行车道线偏离预警；或者，进行车道线保持提示。
可选地，在本发明上述各方法实施例中，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
可选地，在本发明上述各方法实施例中，所述在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，包括：
若所述估计距离小于或等于第四预设阈值、且大于第五预设阈值，对所述车辆进行车道线偏离提示；或者，
若所述估计时间小于或等于第六预设阈值、且大于第七预设阈值，对所述车辆进行车道线偏离提示；或者，
若所述估计距离小于或等于第四预设阈值、且大于第五预设阈值，且所述估计时间小于或等于第六预设阈值、且大于第七预设阈值，对所述车辆进行车道线偏离提示；
其中，所述车道线偏离预警包括所述车道线偏离提示；第五预设阈值小于第四预设阈值，第七预设阈值小于第六预设阈值。
可选地，在本发明上述各方法实施例中，所述在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，还包括：
若所述估计距离小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若所述估计距离小于或等于所述第五预设阈值，且所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；
其中，所述车道线偏离预警包括所述车道线偏离报警。
可选地，在本发明上述各方法实施例中，
所述若所述估计距离小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像；或者
所述若所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者
所述若所述估计距离小于或等于所述第五预设阈值，且所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警，包括：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第五预设阈值、且基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警。
根据本发明实施例的另一个方面，提供的一种基于车道线的智能驾驶控制装置，包括：
获取模块，用于获取车辆行驶环境的车道线检测结果；
确定模块，用于根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；
控制模块，用于根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
在本发明上述各装置实施例中，所述获取模块包括：
检测单元，用于基于神经网络检测所述车辆行驶环境的车道线，得到所述车道线检测结果；或者，
获取单元，用于从高级驾驶辅助系统获取车辆行驶环境的车道线检测结果。
可选地，在本发明上述各装置实施例中，所述检测单元包括：
神经网络，用于对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
确定子单元，用于根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
可选地，在本发明上述各装置实施例中，所述神经网络具体用于：通过所述神经网络对所述图像进行特征提取，得到特征图；以及通过所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图；每条车道的车道线概率图中各像素点的像素值表示所述图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。
可选地，在本发明上述各装置实施例中，所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图时，具体用于：通过所述神经网络对所述特征图进行语义分割，得到N+1个通道的概率图；所述N+1个通道分别对应于N条车道线和背景；以及从所述N+1个通道的概率图中获取所述N条车道线的车道线概率图。
可选地，在本发明上述各装置实施例中，
N的取值为2，所述N+1个通道分别对应于背景、左车道线和右车道线；或者，
N的取值为3，所述N+1个通道分别对应于背景、左车道线、中车道线和右车道线；或者，
N的取值为4，所述N+1个通道分别对应于背景、左左车道线、左车道线、右车道线和右右车道线。
可选地，在本发明上述各装置实施例中，所述确定子单元具体用于：从车道线的车道线概率图中选取概率值大于第一预设阈值的像素点；基于选取出的像素点在所述车道线概率图中进行最大连通域查找，找出属于所述车道线的像素点集合；以及基于属于所述车道线的像素点集合确定所述车道线所在区域。
可选地，在本发明上述各装置实施例中，所述确定子单元基于属于所述车道线的像素点集合确定所述车道线所在区域时，具体用于：统计属于所述车道线的像素点集合中所有像素点的概率值之和，得到所述车道线的置信度；若所述置信度大于第二预设阈值，以所述像素点集合形成的区域作为所述车道线所在区域。
可选地，在本发明上述各装置实施例中，还包括：
预处理模块，用于对包括所述车辆行驶环境的原始图像进行预处理；
所述神经网络对包括所述车辆行驶环境的图像进行语义分割时，具体用于对预处理得到的所述图像进行语义分割。
可选地，在本发明上述各装置实施例中，所述确定模块包括：
拟合处理单元，用于分别对每条所述车道线所在区域中的像素点进行曲线拟合，得到每条所述车道线的车道线信息；所述车道线信息包括所述车道线上至少一点到所述车辆的距离；
确定单元，用于根据所述车辆的行驶状态和所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间。
可选地，在本发明上述各装置实施例中，所述拟合处理单元，具体用于：从一条所述车道线所在区域中选取多个像素点；将所述多个像素点从所述摄像头所在的相机坐标系转换到世界坐标系中，得到所述多个像素点在世界坐标系中的坐标；以及根据所述多个像素点在世界坐标系中的坐标，在世界坐标系中对所述多个像素点进行曲线拟合，得到所述车道线的车道线信息。
可选地，在本发明上述各装置实施例中，所述确定模块还包括：
滤波单元，用于对所述车道线的车道线信息中的参数进行滤波；
所述确定单元具体用于：根据所述车辆的行驶状态和滤波得到的所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间。
可选地，在本发明上述各装置实施例中，所述滤波单元，具体用于根据所述车道线信息中参数的参数值与基于上一帧图像获得的所述车道线的历史车道线信息中参数的参数值，对所述车道线信息中参数的参数值进行卡尔曼滤波；所述上一帧图像为所述图像所在视频中检测时序位于所述图像之前的一帧图像。
可选地，在本发明上述各装置实施例中，所述确定模块还包括：
选取单元，用于选取所述车道线信息中参数的参数值相对于所述历史车道线信息中对应参数的参数值有变化、且所述车道线信息中参数的参数值与所述历史车道线信息中对应参数的参数值之间的差值小于第三预设阈值的所述车道线信息，以作为有效的车道线信息进行卡尔曼滤波。
可选地，在本发明上述各装置实施例中，所述确定模块根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离时，具体用于根据所述车辆在世界坐标系中的位置、以及所述车道线的车道线信息，确定所述车辆与所述车道线之间的估计距离；所述车辆的行驶状态包括所述车辆在世界坐标系中的位置。
可选地，在本发明上述各装置实施例中，所述确定模块根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计事件时，具体用于根据所述车辆的速度和所述车辆在世界坐标系中的位置、以及所述车道线的车道线信息，确定所述车辆驶出所述车道线的估计时间；所述车辆的行驶状态包括所述车辆的速度和所述车辆在世界坐标系中的位置。
可选地，在本发明上述各装置实施例中，所述控制模块包括：
比较单元，用于将所述估计距离和/或所述估计时间与至少一预定阈值进行比较；
控制单元，用于在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；所述智能驾驶控制包括：自动驾驶控制和/或辅助驾驶控制。
可选地，在本发明上述各装置实施例中，所述自动驾驶控制包括以下任意一项或多项：制动、减速、改变行驶方向、车道线保持、驾驶模式切换控制。
可选地，在本发明上述各装置实施例中，所述控制单元对所述车辆进行辅助驾驶控制时，具体用于进行车道线偏离预警；或者，进行车道线保持提示。
可选地，在本发明上述各装置实施例中，在所述预设条件包括多个时，多个预设条件分别对应的智能驾驶控制的程度逐级递增。
可选地，在本发明上述各装置实施例中，所述控制单元，具体用于：
若所述估计距离小于或等于第四预设阈值、且大于第五预设阈值，对所述车辆进行车道线偏离提示；或者，
若所述估计时间小于或等于第六预设阈值、且大于第七预设阈值，对所述车辆进行车道线偏离提示；或者，
若所述估计距离小于或等于第四预设阈值、且大于第五预设阈值，且所述估计时间小于或等于第六预设阈值、且大于第七预设阈值，对所述车辆进行车道线偏离提示；
其中，所述车道线偏离预警包括所述车道线偏离提示；第五预设阈值小于第四预设阈值，第七预设阈值小于第六预设阈值。
可选地，在本发明上述各装置实施例中，所述控制单元，还用于：
若所述估计距离小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若所述估计距离小于或等于所述第五预设阈值，且所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；
其中，所述车道线偏离预警包括所述车道线偏离报警。
可选地，在本发明上述各装置实施例中，所述控制单元：
若所述估计距离小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第五预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；所述历史帧图像包括所述图像所在视频中检测时序位于所述图像之前的至少一帧图像；或者
若所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于：若基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警；或者
若所述估计距离小于或等于所述第五预设阈值，且所述估计时间小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于：若基于所述图像以及历史帧图像确定出的所述估计距离均小于或等于所述第五预设阈值、且基于所述图像以及历史帧图像确定出的所述估计时间均小于或等于所述第七预设阈值，对所述车辆进行自动驾驶控制和/或车道线偏离报警。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的人体关键点检测方法。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如软件开发包(SoftwareDevelopment Kit，SDK)，等等。
基于本发明上述实施例提供的基于车道线的智能驾驶控制方法和装置、电子设备、程序和介质，获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间，根据估计距离和/或估计时间，对车辆进行智能驾驶控制，由此，本发明实施例实现了基于车道线对车辆行驶状态的智能控制，提高驾驶安全性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明基于车道线的智能驾驶控制方法一个实施例的流程图。
图2为本发明基于车道线的智能驾驶控制方法另一个实施例的流程图。
图3为本发明基于车道线的智能驾驶控制方法又一个实施例的流程图。
图4为本发明实施例中的两条车道线示例。
图5为本发明基于车道线的智能驾驶控制装置一个实施例的结构示意图。
图6为本发明基于车道线的智能驾驶控制装置另一个实施例的结构示意图。
图7为本发明电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统，服务器计算机系统，瘦客户机，厚客户机，手持或膝上设备，基于微处理器、CPU、GPU的系统，机顶盒，可编程消费电子产品，网络个人电脑，小型计算机系统，大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明基于车道线的智能驾驶控制方法一个实施例的流程图。如图1所示，该实施例的基于车道线的智能驾驶控制方法包括：
102，获取车辆行驶环境的车道线检测结果。
在其中一些可选示例中，例如可以通过如下方式获取车辆行驶环境中的车道线检测结果：基于神经网络检测车辆行驶环境中的车道线，例如：通过神经网络对包括所述车辆行驶环境的图像进行车道线检测，得到车道线检测结果；或者，直接从高级驾驶辅助系统(ADAS)获取车辆行驶环境中的车道线检测结果，直接利用ADAS中的车道线检测结果；
104，根据车辆的行驶状态和车道线检测结果，确定该车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间。
106，根据上述估计距离和/或估计时间，对该车辆进行智能驾驶控制。
在其中一些实施方式中，对车辆进行的智能驾驶控制，例如可以包括但不限于对车辆进行如下至少一项控制：自动驾驶控制，辅助驾驶控制，等等。
其中，对车辆的自动驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：制动、减速、改变行驶方向、车道线保持、驾驶模式切换控制(例如，从自动驾驶模式切换为非自动驾驶模式，从非自动驾驶模式切换为自动驾驶模式)，等等控制车辆驾驶状态的操作。其中，驾驶模式切换控制可以控制车辆从自动驾驶模式切换为非自动驾驶模式(如：手动驾驶模式)、或者从非自动驾驶模式切换为自动驾驶模式。
对车辆的辅助驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：进行车道线偏离预警，进行车道线保持提示，等等有助于提示驾驶员控制车辆驾驶状态的操作。
基于本发明上述实施例提供的基于车道线的智能驾驶控制方法，获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间，根据估计距离和/或估计时间，对车辆进行自动驾驶或辅助驾驶等智能驾驶控制，由此，本发明实施例实现了基于车道线对车辆行驶状态的智能控制，以期降低或避免车辆驶出车道线出现交通事故，提高驾驶安全性。
图2为本发明基于车道线的智能驾驶控制方法另一个实施例的流程图。如图2所示，该实施例的基于车道线的智能驾驶控制方法包括：
202，通过神经网络对包括车辆行驶环境的图像进行语义分割，输出车道线概率图。
其中，车道线概率图用于表示图像中的至少一个像素点分别属于车道线的概率值。
本发明实施例中的神经网络可以是深度神经网络，例如卷积神经网络，可以预先通过样本图像和预先标注的、准确的车道线概率图对神经网络进行训练得到。其中，通过样本图像和准确的车道线概率图对神经网络进行训练，例如可以通过如下方式实现：通过神经网络对样本图像进行语义分割，输出预测车道线概率图；根据预测车道线概率图与准确的车道线概率图在对应的至少一个像素点之间的差异，获取神经网络的损失函数值，基于该损失函数值对神经网络进行训练，例如基于梯度更新训练方法，通过链式法则反传梯度，对神经网络中各网络层参数的参数值进行调整，直至满足预设条件，例如，预测车道线概率图与准确的车道线概率图在对应的至少一个像素点之间的差异小于预设差值、和/或对神经网络的训练次数达到预设次数，得到训练好的神经网络。
204，根据车道线概率图确定车道线所在区域，作为车道线检测结果。
206，根据车辆的行驶状态和车道线检测结果，确定该车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间。
208，根据上述估计距离和/或估计时间，对该车辆进行智能驾驶控制。
基于本实施例提供的基于车道线的智能驾驶控制方法，通过神经网络对图像进行语义分割，输出车道线概率图，根据该车道线概率图确定车道线所在区域。由于神经网络可以基于深度学习的方式，通过学习大量标注过的车道线图像，例如弯道、车道线缺失、路牙边缘、光线昏暗、逆光等场景下的车道线图像，自动学习到车道线的各种特征，无需人工手动设计特征，简化了流程，并且降低了人工标注成本；另外可以在各种驾驶场景中有效识别出车道线，实现对弯道、车道线缺失、路牙边缘、光线昏暗、逆光等各种复杂场景下的车道线检测，提升了车道线检测的精度，以便获取精确的估计距离和/或估计时间，从而提升智能驾驶控制的准确性，提高驾驶的安全性。
可选地，在本发明基于车道线的智能驾驶控制方法的另一个实施例中，在上述操作202之前，还可以包括：对包括车辆行驶环境的原始图像进行预处理，得到上述包括车辆行驶环境的图像。相应地，操作202中，通过神经网络，对预处理得到的上述图像进行语义分割。
其中神经网络对原始图像的预处理，例如可以是对摄像头采集的原始图像进行缩放、裁剪等，将原始图像缩放、裁剪为预设尺寸的图像，输入神经网络进行处理，以降低神经网络对图像进行语义分割的复杂度、降低耗时，提高处理效率。
另外，神经网络对原始图像的预处理，还可以是按照预设图像质量(例如图像清晰度、曝光等)标准，从摄像头采集的原始图像中选取一些质量较好的图像，输入神经网络进行处理，从而提高语义分割的准确性，以便提高车道线检测的准确率。
在其中一些实施方式中，操作202中通过神经网络对包括车辆行驶环境的图像进行语义分割，输出车道线概率图，可以包括：
通过神经网络对图像进行特征提取，得到特征图；
通过神经网络对该特征图进行语义分割，得到N条车道线的车道线概率图。其中，每条车道的车道线概率图中各像素点的像素值用于表示图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。例如，在一些可选示例中，N的取值为4。
本发明各实施例中的神经网络，可以包括：用于特征提取的网络层和用于分类的网络层。其中，用于特征提取的网络层例如可以包括：卷积层，批归一化(BatchNormalization，BN)层和非线性层。依次通过卷积层、BN层和非线性层对图像进行特征提取，会产生特征图；通过用于分类的网络层对特征图进行语义分割，会得到多条车道线的车道线概率图。
其中，上述N条车道线的车道线概率图可以是一个通道的概率图，该概率图中的各像素点的像素值分别表示图像中对应像素点属于车道线的概率值。另外，上述N条车道线的车道线概率图也可以是一个N+1个通道的概率图，该N+1个通道分别对应于N条车道线和背景，即，N+1个通道的概率图中各通道的概率图分别表示上述图像中至少一个像素点分别属于该通道对应的车道线或者背景的概率。
在其中一些可选示例中，通过神经网络对特征图进行语义分割，得到N条车道线的车道线概率图，可以包括：
通过神经网络对上述特征图进行语义分割，得到N+1个通道的概率图。其中，该N+1个通道分别对应于N条车道线和背景，即，N+1个通道的概率图中各通道的概率图分别表示上述图像中至少一个像素点分别属于该通道对应的车道线或者背景的概率；
从N+1个通道的概率图中获取N条车道线的车道线概率图。
本发明实施例中的神经网络可以包括：用于特征提取的网络层、用于分类的网络层、以及归一化(Softmax)层。依次通过用于特征提取的各网络层对图像进行特征提取，产生一系列的特征图；通过用于分类的网络层对最终输出的特征图进行语义分割，得到N+1个通道的车道线概率图；利用Softmax层对N+1个通道的车道线概率图进行归一化处理，将车道线概率图中各像素点的概率值转化为0～1范围内的数值。
在本发明实施例中，用于分类的网络层可以对特征图中的各像素点进行多分类，例如，对于4条车道线(称为：左左车道线，左车道线，右车道线和右右车道线)的场景，可以对特征图中的各像素点进行五分类，识别特征图中的各像素点分别属于五种类别(背景，左左车道线，左车道线，右车道线和右右车道线)的概率值，并分别输出特征图中的各像素点属于其中一种类型的概率图，得到上述N+1个通道的概率图，每个概率图中各像素的概率值表示该像素对应的图像中像素属于某一类别的概率值。
上述实施例中，N为车辆行驶环境中车道线的条数，可以是任意大于0的整数值。例如，N的取值为2时，N+1个通道分别对应于车辆行驶环境中的背景、左车道线和右车道线；或者，N的取值为3时，N+1个通道分别对应于车辆行驶环境中的背景、左车道线、中车道线和右车道线；或者，N的取值为4时，N+1个通道分别对应于车辆行驶环境中的背景、左左车道线、左车道线、右车道线和右右车道线。
在其中一些实施方式中，操作204中根据一条车道线的车道线概率图确定车道线所在区域，可以包括：
从上述车道线概率图中选取概率值大于第一预设阈值的像素点；
基于选取出的像素点在车道线概率图中进行最大连通域查找，找出属于该车道线的像素点集合；
基于上述属于车道线的像素点集合确定该车道线所在区域。
示例性地，可以采用广度优先搜索算法进行最大连通域查找，找出所有概率值大于第一预设阈值的连通区域，然后比较所有的连通区域的最大区域，作为检测出的车道线所在区域。
神经网络的输出为多条车道线的车道线概率图，车道线概率图中各像素点的像素值表示对应图像中像素点属于某条车道线的概率值，其值可以是归一化后0-1之间的一个数值。通过第一预设阈值选取出车道线概率图中大概率属于该车道线概率图所属车道线的像素点，然后执行最大连通域查找，找出属于该车道线的像素点集合，作为该车道线所在区域。针对每一条车道线分别执行上述操作，即可确定各条车道线所在区域。
在其中一些可选示例中，上述基于属于车道线的像素点集合确定该车道线所在区域，可以包括：
统计属于该车道线的像素点集合中所有像素点的概率值之和，得到该车道线的置信度；
若该置信度大于第二预设阈值，以上述像素点集合形成的区域作为该车道线所在区域。
本发明实施例中，对于每条车道线，统计像素点集合中所有像素点的概率值之和，得到该条车道线的置信度。其中的置信度，为由像素点集合形成的区域是真实存在的车道线的概率值。其中，第二预设阈值为根据实际需求设置的经验值，可以根据实际场景进行调整。如果置信度太小，即不大于第二预设阈值，表示该车道线不存在，丢弃确定的该车道线；如果置信度较大，即大于第二预设阈值，表示确定的车道线所在区域是真实存在的车道线的概率值较高，确定作为该车道线所在区域。
图3为本发明基于车道线的智能驾驶控制方法另一个实施例的流程图。如图3所示，该实施例的基于车道线的智能驾驶控制方法包括：
302，通过神经网络对包括车辆行驶环境的图像进行语义分割，输出车道线概率图。
其中，车道线概率图用于表示图像中的至少一个像素点分别属于车道线的概率值。
304，根据车道线概率图确定车道线所在区域，作为车道线检测结果。
306，分别对每条车道线所在区域中的像素点进行曲线拟合，得到每条车道线的车道线信息。
其中，该车道线信息包括车道线上至少一点(例如车道线上的各点)到车辆的距离。其中的车道线信息的表现形式有多种，例如可以是一条曲线、直线、包括车道线上至少一点及其到车辆的距离的离散图，也可是一个数据表，或者还可以表示为一个方程，等等，本发明实施例不限定车道线信息的具体表现形式。
车道线信息表示为一个方程时，可以称为车道线方程。在其中一些可选示例中，车道线方程可以是一个二次曲线方程，可以表示为：x＝a*y*y+b*y+c。该车道线方程中具有三个参数(a，b，c)。如图4所示，其中的两条曲线为两条车道线方程对应的两条车道线。
308，根据车辆的行驶状态和车道线的车道线信息，确定该车辆驶出相应车道线的估计距离和/或车辆驶出车道线的估计时间。
310，根据上述估计距离和/或估计时间，对该车辆进行智能驾驶控制。
本发明实施例可以确定车道线所在区域后，通过对每条车道线所在区域中的像素点进行曲线拟合得到每条车道线的车道线信息，并基于车辆的行驶状态和车道线的车道线信息确定该车辆驶出相应车道线的估计距离和/或车辆驶出车道线的估计时间，由于进行曲线拟合得到的车道线信息可以表现为二次曲线或者类似表示方式，可以很好的贴合弯道车道线，对于弯道仍然有良好的适用性，可以适用于各种道路情况的预警。
在其中一些实施方式中，操作306中，对一条车道线所在区域中的像素点进行曲线拟合，得到该条车道线的车道线信息，可以包括：
从一条车道线所在区域中选取多个(例如三个或以上)像素点；
将选取的多个像素点从摄像头所在的相机坐标系转换到世界坐标系中，得到上述多个像素点在世界坐标系中的坐标。其中，世界坐标系的原点可以根据需求设定，例如可以设置原点为车辆左前轮着地点，世界坐标系的中的y轴方向为车辆正前方方向；
根据上述多个像素点在世界坐标系中的坐标，在世界坐标系中对上述多个像素点进行曲线拟合，得到上述一条车道线的车道线信息。
例如，可以一条车道线所在区域中随机挑选出一部分像素点，根据相机标定参数(也可以称为摄像机标定参数)，将这些像素点转换到世界坐标系下，然后在世界坐标系下对这些像素点进行曲线拟合，便可得到拟合曲线。根据此拟合曲线，可以计算出上述车道线上述任意一点到车辆的距离，即根据拟合曲线x＝a*y*y+b*y+c，可以计算车道线所在地面上任意一点x到车辆正前方竖直方向的距离y；也可以连前方道路上的车道划分情况。其中的相机标定参数，可以包括内参和外参。其中，基于外参可以确定相机或摄像机在世界坐标系中的位置和朝向，外参可以包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到相机坐标系或者反之；内参是与相机自身特性相关的参数，例如相机的焦距、像素大小等。
其中的曲线拟合是指，通过一些离散点计算出这些点构成的曲线。在本发明实施例的一些可选示例中，例如可以采用最小二乘法基于上述多个像素点进行曲线拟合。
另外，在本发明基于车道线的智能驾驶控制方法的又一个实施例中，为了防止基于两帧图像确定的车道线抖动和车辆换道过程中车道线产生混乱情况，通过操作306得到车道线的车道线信息之后，还可以包括：对车道线的车道线信息中的参数进行滤波，以滤除抖动和一些异常情况，确保车道线信息的稳定性。相应地，操作308中，具体根据车辆的行驶状态和滤波得到的车道线的车道线信息，确定车辆驶出相应车道线的估计距离和/或车辆驶出车道线的估计时间。在其中一些实施方式中，对一条车道线的车道线信息中的参数进行滤波，可以包括：
根据该条车道线的车道线信息中参数的参数值与基于上一帧图像获得的该车道线的历史车道线信息中参数的参数值，对该条车道线信息中参数的参数值进行卡尔曼(kalman)滤波。其中，上一帧图像为上述图像所在视频中检测时序位于该图像之前的一帧图像，例如可以是该图像相邻的前一帧图像，也可以是检测时序位于该图像之前、间隔一帧或多帧的图像。
卡尔曼滤波是一种根据时变随机信号的统计特性，对信号的未来值做出尽可能接近真值的一种估计方法。本实施例中根据该条车道线的车道线信息中参数的参数值与基于上一帧图像获得的该车道线的历史车道线信息中参数的参数值，对该条车道线信息中参数的参数值进行卡尔曼滤波，可以提高条车道线信息的准确性，有助于后续精确的确定车辆与车道线之间的距离等信息，以便对车辆偏离车道线进行准确预警。
进一步地，在本发明基于车道线的智能驾驶控制方法的再一个实施例中，对车道线信息中参数的参数值进行卡尔曼滤波之前，还可以包括：针对同一条车道线，选取车道线信息中参数的参数值相对于历史车道线信息中对应参数的参数值有变化、且车道线信息中参数的参数值与历史车道线信息中对应参数的参数值之间的差值小于第三预设阈值的车道线信息，以作为有效的车道线信息进行卡尔曼滤波，即对车道线信息中的参数(例如x＝a*y*y+b*y+c中的三个参数(a，b，c))进行平滑。由于视频中基于每帧图像拟合出的车道线信息中的参数都会变化，但相邻帧图像的不会变化太大，因此可以对当前帧图像的车道线信息进行一些平滑，滤除抖动和一些异常情况，确保车道线信息稳定性。
例如，在其中一些实施方式中，可以对视频中参与车道线检测的首帧图像确定出的车道线，分别为每一条车道线建立一个跟踪器来跟踪该车道线，如果当前帧图像检测到同一条车道线，并且该车道线的车道线信息相对于上一帧图像确定出的同一条车道线的车道线信息中参数值之间的差值小于第三预设阈值，则将当前帧图像的车道线信息中的参数值更新到上一帧图像确定出的同一条车道线的跟踪器中，以对当前帧图像中该同一条车道线的车道线信息进行卡尔曼滤波。如果同一条车道线的跟踪器在连续两帧图像中都有更新，说明该条车道线的确定结果较准确，可确认该条车道线的跟踪器，将该跟踪器跟踪的车道线设置为最终的车道线结果。
如果跟踪器连续若干帧都没有更新，则认为相应的车道线消失，删除该跟踪器。
如果从当前帧图像中没有检测到与上一帧图像相匹配的车道线，说明上一帧图像中确定的该条车道线误差较大，删除上一帧图像中的该跟踪器。
在上述各实施例的其中一些实施方式中，操作308中，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离，可以包括：
根据该车辆在世界坐标系中的位置、以及车道线的车道线信息，确定该车辆与相应车道线之间的估计距离；该实施例中，车辆的行驶状态包括该车辆在世界坐标系中的位置。
类似地，操作308中，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计时间，可以包括：
根据车辆的速度和车辆在世界坐标系中的位置、以及车道线的车道线信息，确定车辆驶出车道线的估计时间；车辆的行驶状态包括车辆的速度和车辆在世界坐标系中的位置。
在上述各实施例的其中一些实施方式中，根据上述估计距离和/或估计时间，对该车辆进行智能驾驶控制，可以包括：
将估计距离和/或估计时间与至少一预定阈值进行比较；
在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制，例如进行所满足的预设条件相应的自动驾驶控制和/或辅助驾驶控制。
其中，在预设条件包括多个时，该多个预设条件分别对应的智能驾驶控制的程度可以逐级递增。本实施例中，多个预设条件分别对应的智能驾驶控制的程度可以逐级递增，可以根据车辆驶出车道线的估计距离和/或估计时间的不同，采取相应的智能驾驶控制手段对车辆进行相应自动驾驶控制和/或辅助驾驶控制，可以在不干涉正常驾驶的情况下有效避免车辆驶出车道线出现交通事故，提高驾驶的安全性。
例如，在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制时，在其中一些可选示例中，可以包括：
若估计距离小于或等于第四预设阈值、且大于第五预设阈值，对车辆进行车道线偏离提示，例如，提醒车辆已偏离当前车道、将驶出当前车道线等等；或者，
若估计时间小于或等于第六预设阈值、且大于第七预设阈值，对车辆进行车道线偏离提示；或者，
若估计距离小于或等于第四预设阈值、且大于第五预设阈值，且估计时间小于或等于第六预设阈值、且大于第七预设阈值，对车辆进行车道线偏离提示；
其中，车道线偏离预警包括车道线偏离提示。第四预设阈值和第五预设阈值的取值分别大于0，且第五预设阈值小于第四预设阈值，例如，第四预设阈值和第五预设阈值的取值分别为5秒、3秒。第六预设阈值和第七预设阈值的取值分别大于0，且第七预设阈值小于第六预设阈值，例如，第六预设阈值和第七预设阈值的取值分别为5米、3米。
在车辆与到车道线的估计距离小于或等于第四预设阈值、且大于第五预设阈值，或者，车辆预计驶出车道线的估计时间小于或等于第六预设阈值、且大于第七预设阈值时，对车辆进行车道线偏离提示，可以提醒驾驶员注意到车辆偏移车道线、以便及时采取相应驾驶措施，避免车辆驶出车道线，提高驾驶安全性。在结合车辆与到车道线的估计距离和预计驶出车道线的估计时间进行车道线偏离提示，提高了车道线偏离预警的准确率。在进一步的可选示例中，还可以包括：
若估计距离小于或等于第五预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，
若估计距离小于或等于第五预设阈值，且估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；
其中，车道线偏离预警包括车道线偏离报警，该车道线偏离警报例如可以是以声、光、电等方式进行报警。
在上述实施方式中，随着评估距离和/或评估时间的逐渐变小，分别对应的智能驾驶控制的程度逐级递增，从对车辆进行车道线偏离提示、到对车辆进行自动驾驶控制和/或车道线偏离报警，以避免车辆驶出车道线，提高驾驶的安全性。
在更进一步的可选示例中，可以在基于图像以及历史帧图像确定出的估计距离均小于或等于第五预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警，其中，该历史帧图像包括图像所在视频中检测时序位于图像之前的至少一帧图像；或者，在基于图像以及历史帧图像确定出的估计时间均小于或等于第七预设阈值时，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，在基于图像以及历史帧图像确定出的估计距离均小于或等于第五预设阈值、且基于图像以及历史帧图像确定出的估计时间均小于或等于第七预设阈值时，对车辆进行自动驾驶控制和/或车道线偏离报警。
本实施例同时统计历史帧图像的评估距离和/或评估时间，作为对车辆进行自动驾驶控制和/或车道线偏离报警的依据，可以提高对车辆进行自动驾驶控制和/或车道线偏离报警的的准确性。
例如，在一个应用实例中，假设车辆当前位置为A，沿着当前行驶方向与一条车道线(假设称为目标车道线)的交点位置为B，那么线段AB即为车辆在当前状态下将驶出该目标车道线的轨迹。根据相机标定参数可以获取车辆在世界坐标系中的绝对位置A’，然后根据该目标车道线的车道线方程，可以计算得出车道线行驶方向的直线A’B与该目标车道线的交点位置B，从而得出直线A’B的长度。再根据车辆的当前行驶速度，可以计算出该车辆驶出该目标车道线的时间t。统计历史帧图像信息，如果该车辆在若干帧图像中即将驶出该目标车道线时间都过短(小于第七预设阈值)，同时该车辆距离该目标车道线的距离A’B过短(小于第五预设阈值)，则进行自动驾驶控制和/或车道线偏离报警，例如对该车辆进行减速、同时通过声音报警。同时统计历史帧图像信息可以计算出该车辆在当前时刻的侧向速度，再根据该车辆当前距离该目标车道线的距离，可以计算得到当前时刻车辆距离该目标车道线的压线时间(即到达该目标车道线的时间)，作为是否对该车辆进行自动驾驶控制和/或车道线偏离报警的依据。
其中，车辆与目标车道线之间的距离，可以根据该目标车道线的车道线方程坐标原点的设定、以及车辆行驶方向、车辆宽度获取。例如，如果车道线方程坐标原点设定为车辆的左车轮，目标车道线在该车辆的左侧，则直接获取该车辆与其行驶方向与目标车道线的交点之间的距离即可。如果车道线方程坐标原点设定为车辆的右车轮，目标车道线在该车辆的左侧，则获取该车辆与其行驶方向与目标车道线的交点之间的距离、加上车辆宽度投影在其行驶方向上的有效宽度，即为车辆与目标车道线之间的距离。如果车道线方程坐标原点设定为车辆的中心，目标车道线在该车辆的左侧，则获取该车辆与其行驶方向与目标车道线的交点之间的距离、加上车辆的一半宽度投影在其行驶方向上的有效宽度，即为车辆与目标车道线之间的评估距离。
本发明实施例可以应用于自动驾驶和辅助驾驶场景中，实现精准的车道线检测、自动驾驶控制和车辆偏离车道线预警。
本发明实施例提供的任一种基于车道线的智能驾驶控制方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种基于车道线的智能驾驶控制方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种基于车道线的智能驾驶控制方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本发明基于车道线的智能驾驶控制装置一个实施例的结构示意图。该实施例基于车道线的智能驾驶控制装置可用于实现本发明上述各基于车道线的控制方法实施例。如图5所示，该实施例基于车道线的智能驾驶控制装置包括：获取模块，确定模块和控制模块。其中：
获取模块，用于获取车辆行驶环境的车道线检测结果。
确定模块，用于根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间。
控制模块，用于根据估计距离和/或估计时间，对车辆进行智能驾驶控制。
基于本发明上述实施例提供的基于车道线的智能驾驶控制装置，获取车辆行驶环境的车道线检测结果，根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间，根据估计距离和/或估计时间，对车辆进行智能驾驶控制，由此，本发明实施例实现了基于车道线对车辆行驶状态的智能控制，以期将车辆保持在车道线内行驶，降低或避免车辆驶出车道线出现交通事故，提高驾驶安全性。
在其中一些实施方式中，获取模块可以包括：检测单元，用于基于神经网络检测车辆行驶环境的车道线，得到车道线检测结果；或者，获取单元，用于从高级驾驶辅助系统获取车辆行驶环境的车道线检测结果。
在其中一些实施方式中，检测单元可以包括：神经网络，用于对包括车辆行驶环境的图像进行语义分割，输出车道线概率图；车道线概率图用于表示图像中的至少一个像素点分别属于车道线的概率值；确定子单元，用于根据车道线概率图确定车道线所在区域；车道线检测结果包括车道线所在区域。
在其中一些可选示例中，神经网络具体用于：通过神经网络对图像进行特征提取，得到特征图；以及通过神经网络对特征图进行语义分割，得到N条车道线的车道线概率图；每条车道的车道线概率图中各像素点的像素值表示图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。
其中，神经网络对特征图进行语义分割，得到N条车道线的车道线概率图时，具体用于：通过神经网络对特征图进行语义分割，得到N+1个通道的概率图；N+1个通道分别对应于N条车道线和背景；以及从N+1个通道的概率图中获取N条车道线的车道线概率图。
在其中一些可选示例中，N的取值为2，N+1个通道分别对应于背景、左车道线和右车道线；或者，N的取值为3，N+1个通道分别对应于背景、左车道线、中车道线和右车道线；或者，N的取值为4，N+1个通道分别对应于背景、左左车道线、左车道线、右车道线和右右车道线。
在其中一些可选示例中，确定子单元具体用于：从车道线的车道线概率图中选取概率值大于第一预设阈值的像素点；基于选取出的像素点在车道线概率图中进行最大连通域查找，找出属于车道线的像素点集合；以及基于属于车道线的像素点集合确定车道线所在区域。
例如，确定子单元基于属于车道线的像素点集合确定车道线所在区域时，具体用于：统计属于车道线的像素点集合中所有像素点的概率值之和，得到车道线的置信度；若置信度大于第二预设阈值，以像素点集合形成的区域作为车道线所在区域。
图6为本发明基于车道线的智能驾驶控制装置一个实施例的结构示意图。如图6所示，与图5所示的实施例相比，该实施例基于车道线的智能驾驶控制装置还包括：预处理模块，用于对包括车辆行驶环境的原始图像进行预处理。相应地，该实施例中，神经网络对包括车辆行驶环境的图像进行语义分割时，具体用于对预处理得到的图像进行语义分割。
在其中一些实施方式中，确定模块可以包括：拟合处理单元，用于分别对每条车道线所在区域中的像素点进行曲线拟合，得到每条车道线的车道线信息；车道线信息包括车道线上至少一点到车辆的距离；确定单元，用于根据车辆的行驶状态和车道线的车道线信息，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间。
在其中一些可选示例中，拟合处理单元，具体用于：从一条车道线所在区域中选取多个像素点；将多个像素点从摄像头所在的相机坐标系转换到世界坐标系中，得到多个像素点在世界坐标系中的坐标；以及根据多个像素点在世界坐标系中的坐标，在世界坐标系中对多个像素点进行曲线拟合，得到车道线的车道线信息。
另外，在另外一些实施方式中，确定模块还可以包括：滤波单元，用于对车道线的车道线信息中的参数进行滤波。相应地，该实施例中，确定单元具体用于：根据车辆的行驶状态和滤波得到的车道线的车道线信息，确定车辆驶出车道线的估计距离和/或车辆驶出车道线的估计时间。
在其中一些可选示例中，滤波单元，具体用于根据车道线信息中参数的参数值与基于上一帧图像获得的车道线的历史车道线信息中参数的参数值，对车道线信息中参数的参数值进行卡尔曼滤波；上一帧图像为图像所在视频中检测时序位于图像之前的一帧图像。
相应地，在另一些可选示例中，确定模块还可以包括：选取单元，用于选取车道线信息中参数的参数值相对于历史车道线信息中对应参数的参数值有变化、且车道线信息中参数的参数值与历史车道线信息中对应参数的参数值之间的差值小于第三预设阈值的车道线信息，以作为有效的车道线信息进行卡尔曼滤波。
在另外一些实施方式中，确定模块根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计距离时，具体用于根据车辆在世界坐标系中的位置、以及车道线的车道线信息，确定车辆与车道线之间的估计距离；车辆的行驶状态包括车辆在世界坐标系中的位置。
在另外一些实施方式中，确定模块根据车辆的行驶状态和车道线检测结果，确定车辆驶出车道线的估计事件时，具体用于根据车辆的速度和车辆在世界坐标系中的位置、以及车道线的车道线信息，确定车辆驶出车道线的估计时间；车辆的行驶状态包括车辆的速度和车辆在世界坐标系中的位置。
再参见图6，在其中一些实施方式中，控制模块可以包括：比较单元，用于将估计距离和/或估计时间与至少一预定阈值进行比较；控制单元，用于在比较结果满足一个或多个预设条件时，进行所满足的预设条件相应的智能驾驶控制；智能驾驶控制包括：自动驾驶控制和/或辅助驾驶控制。
在其中一些实施方式中，对车辆进行的智能驾驶控制，例如可以包括但不限于对车辆进行如下至少一项控制：自动驾驶控制，辅助驾驶控制，等等。其中，对车辆的自动驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：制动、减速、改变行驶方向、车道线保持、驾驶模式切换控制，等等控制车辆驾驶状态的操作。对车辆的辅助驾驶控制，例如可以包括但不限于对车辆进行如下以下任意一项或多项控制：进行车道线偏离预警，进行车道线保持提示，等等有助于提示驾驶员控制车辆驾驶状态的操作。
可选地，在上述实施方式中，在预设条件包括多个时，该多个预设条件分别对应的智能驾驶控制的程度可以逐级递增。
在其中一些实施方式中，控制单元具体用于：若估计距离小于或等于第四预设阈值、且大于第五预设阈值，对车辆进行车道线偏离提示；或者，若估计时间小于或等于第六预设阈值、且大于第七预设阈值，对车辆进行车道线偏离提示；或者，若估计距离小于或等于第四预设阈值、且大于第五预设阈值，且估计时间小于或等于第六预设阈值、且大于第七预设阈值，对车辆进行车道线偏离提示。其中，车道线偏离预警包括车道线偏离提示；第五预设阈值小于第四预设阈值，第七预设阈值小于第六预设阈值。
在其中一些实施方式中，控制单元还可用于：若估计距离小于或等于第五预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，若估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，若估计距离小于或等于第五预设阈值，且估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警。其中，车道线偏离预警包括车道线偏离报警。
在进一步的一些实施方式中，控制单元还可用于：若估计距离小于或等于第五预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于若基于图像以及历史帧图像确定出的估计距离均小于或等于第五预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；历史帧图像包括图像所在视频中检测时序位于图像之前的至少一帧图像；或者，若估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于：若基于图像以及历史帧图像确定出的估计时间均小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警；或者，若估计距离小于或等于第五预设阈值，且估计时间小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警时，具体用于：若基于图像以及历史帧图像确定出的估计距离均小于或等于第五预设阈值、且基于图像以及历史帧图像确定出的估计时间均小于或等于第七预设阈值，对车辆进行自动驾驶控制和/或车道线偏离报警。
本发明实施例还提供了一种电子设备，包括本发明上述任一实施例的基于车道线的智能驾驶智能驾驶控制装置。
本发明实施例还提供了另一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与存储器通信以执行可执行指令从而完成本发明上述任一实施例的基于车道线的智能驾驶控制方法的操作。
图7为本发明电子设备一个应用实施例的结构示意图。下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图7所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本申请实施例提供的任一基于车道线的智能驾驶控制方法对应的操作，例如，获取车辆行驶环境的车道线检测结果；根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本发明上述任一基于车道线的智能驾驶控制方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
另外，本发明实施例还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时实现本发明上述任一实施例的基于车道线的智能驾驶控制方法的操作。
另外，本发明实施例还提供了一种计算机程序，包括计算机可读取的指令，当该计算机可读取的指令在设备中运行时，该设备中的处理器执行用于实现本发明上述任一实施例的基于车道线的智能驾驶控制方法中的步骤的可执行指令。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种基于车道线的智能驾驶控制方法，其特征在于，包括：
获取车辆行驶环境的车道线检测结果；
根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；
根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆行驶环境的车道线检测结果，包括：
基于神经网络检测所述车辆行驶环境的车道线，得到所述车道线检测结果；或者，
从高级驾驶辅助系统获取车辆行驶环境的车道线检测结果。
3.根据权利要求2所述的方法，其特征在于，所述基于神经网络检测所述车辆行驶环境的车道线，得到所述车道线检测结果，包括：
通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图；所述车道线概率图用于表示所述图像中的至少一个像素点分别属于车道线的概率值；
根据所述车道线概率图确定车道线所在区域；所述车道线检测结果包括所述车道线所在区域。
4.根据权利要求3所述的方法，其特征在于，所述通过神经网络对包括所述车辆行驶环境的图像进行语义分割，输出车道线概率图，包括：
通过所述神经网络对所述图像进行特征提取，得到特征图；
通过所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图；每条车道的车道线概率图中各像素点的像素值表示所述图像中对应像素点分别属于该条车道线的概率值，N的取值为大于0的整数。
5.根据权利要求4所述的方法，其特征在于，所述通过所述神经网络对所述特征图进行语义分割，得到N条车道线的车道线概率图，包括：
通过所述神经网络对所述特征图进行语义分割，得到N+1个通道的概率图；所述N+1个通道分别对应于N条车道线和背景；
从所述N+1个通道的概率图中获取所述N条车道线的车道线概率图。
6.根据权利要求4或5所述的方法，其特征在于，
N的取值为2，所述N+1个通道分别对应于背景、左车道线和右车道线；或者，
N的取值为3，所述N+1个通道分别对应于背景、左车道线、中车道线和右车道线；或者，
N的取值为4，所述N+1个通道分别对应于背景、左左车道线、左车道线、右车道线和右右车道线。
7.一种基于车道线的智能驾驶控制装置，其特征在于，包括：
获取模块，用于获取车辆行驶环境的车道线检测结果；
确定模块，用于根据所述车辆的行驶状态和车道线检测结果，确定所述车辆驶出所述车道线的估计距离和/或所述车辆驶出所述车道线的估计时间；
控制模块，用于根据所述估计距离和/或所述估计时间，对所述车辆进行智能驾驶控制。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-6任一所述的方法。
10.一种计算机程序，包括计算机指令，其特征在于，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-6任一所述的方法。
CN201810551908.XA 2018-05-31 2018-05-31 基于车道线的智能驾驶控制方法和装置、电子设备 Active CN108875603B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810551908.XA CN108875603B (zh) 2018-05-31 2018-05-31 基于车道线的智能驾驶控制方法和装置、电子设备
JP2020554361A JP7024115B2 (ja) 2018-05-31 2019-05-20 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器
SG11202005094XA SG11202005094XA (en) 2018-05-31 2019-05-20 Lane line-based intelligent driving control method and apparatus, and electronic device
PCT/CN2019/087622 WO2019228211A1 (zh) 2018-05-31 2019-05-20 基于车道线的智能驾驶控制方法和装置、电子设备
US16/886,163 US11314973B2 (en) 2018-05-31 2020-05-28 Lane line-based intelligent driving control method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810551908.XA CN108875603B (zh) 2018-05-31 2018-05-31 基于车道线的智能驾驶控制方法和装置、电子设备

Publications (2)

Publication Number Publication Date
CN108875603A true CN108875603A (zh) 2018-11-23
CN108875603B CN108875603B (zh) 2021-06-04

Family

ID=64335045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810551908.XA Active CN108875603B (zh) 2018-05-31 2018-05-31 基于车道线的智能驾驶控制方法和装置、电子设备

Country Status (5)

Country Link
US (1) US11314973B2 (zh)
JP (1) JP7024115B2 (zh)
CN (1) CN108875603B (zh)
SG (1) SG11202005094XA (zh)
WO (1) WO2019228211A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298719A (zh) * 2018-12-04 2019-02-01 奇瑞汽车股份有限公司 智能汽车的接管方法、装置及存储介质
CN109582019A (zh) * 2018-12-04 2019-04-05 奇瑞汽车股份有限公司 智能汽车变道失效时的接管方法、装置及存储介质
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备
WO2019228211A1 (zh) * 2018-05-31 2019-12-05 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN110706374A (zh) * 2019-10-10 2020-01-17 南京地平线机器人技术有限公司 运动状态预测方法、装置、电子设备及车辆
CN110781768A (zh) * 2019-09-30 2020-02-11 奇点汽车研发中心有限公司 目标对象检测方法和装置、电子设备和介质
WO2020038091A1 (zh) * 2018-08-22 2020-02-27 北京市商汤科技开发有限公司 智能驾驶控制方法与装置、电子设备、程序和介质
CN111079695A (zh) * 2019-12-30 2020-04-28 北京华宇信息技术有限公司 一种人体关键点检测与自学习方法及装置
CN111091096A (zh) * 2019-12-20 2020-05-01 深圳市中天安驰有限责任公司 车辆偏离决策方法、装置、存储介质及车辆
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
CN111257005A (zh) * 2020-01-21 2020-06-09 北京百度网讯科技有限公司 用于测试车辆的方法、装置、设备和存储介质
CN111316337A (zh) * 2018-12-26 2020-06-19 深圳市大疆创新科技有限公司 车载成像装置的安装参数的确定与驾驶控制方法及设备
WO2020125138A1 (zh) * 2018-12-16 2020-06-25 华为技术有限公司 一种物体碰撞预测方法及装置
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN111476062A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及驾驶系统
CN112115857A (zh) * 2020-09-17 2020-12-22 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112131914A (zh) * 2019-06-25 2020-12-25 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN112287842A (zh) * 2020-10-29 2021-01-29 恒大新能源汽车投资控股集团有限公司 一种车道线的识别方法、装置及电子设备
CN112766133A (zh) * 2021-01-14 2021-05-07 金陵科技学院 一种基于ReliefF-DBN的自动驾驶偏离处理方法
CN113255506A (zh) * 2021-05-20 2021-08-13 浙江合众新能源汽车有限公司 动态车道线控制方法、系统、设备和计算机可读介质
US11205284B2 (en) * 2018-08-24 2021-12-21 Beijing Sensetime Technology Development Co., Ltd. Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN114454888A (zh) * 2022-02-22 2022-05-10 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、电子设备及车辆
CN114475641A (zh) * 2022-04-15 2022-05-13 天津所托瑞安汽车科技有限公司 车道偏离预警方法、装置、控制装置及存储介质
CN116075691A (zh) * 2020-12-28 2023-05-05 本田技研工业株式会社 车辆控制装置、车辆控制方法及程序
CN113706705B (zh) * 2021-09-03 2023-09-26 北京百度网讯科技有限公司 用于高精地图的图像处理方法、装置、设备以及存储介质
CN116075691B (zh) * 2020-12-28 2024-04-26 本田技研工业株式会社 车辆控制装置及车辆控制方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
JP6852141B2 (ja) * 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
CN111160370B (zh) * 2019-12-27 2024-02-27 佑驾创新(北京)技术有限公司 车头位置估计方法、装置、计算机设备和存储介质
CN111721316A (zh) * 2020-06-22 2020-09-29 重庆大学 一种高性能的车道线识别感兴趣区域预测方法
JP7469167B2 (ja) * 2020-07-07 2024-04-16 本田技研工業株式会社 制御装置及び制御方法並びに車両
CN111814746A (zh) * 2020-08-07 2020-10-23 平安科技（深圳）有限公司 一种识别车道线的方法、装置、设备及存储介质
WO2022051951A1 (zh) * 2020-09-09 2022-03-17 华为技术有限公司 车道线检测方法、相关设备及计算机可读存储介质
CN112172829B (zh) * 2020-10-23 2022-05-17 科大讯飞股份有限公司 车道偏离预警方法、装置、电子设备和存储介质
CN114572240B (zh) * 2020-11-30 2023-11-14 北京百度网讯科技有限公司 车辆行驶控制方法、装置、车辆、电子设备及存储介质
CN112364822B (zh) * 2020-11-30 2022-08-19 重庆电子工程职业学院 一种自动驾驶视频语义分割系统及方法
CN114612736A (zh) * 2020-12-08 2022-06-10 广州汽车集团股份有限公司 一种车道线检测方法、系统及计算机可读介质
CN114620059A (zh) * 2020-12-14 2022-06-14 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、计算机可读存储介质
CN115049994A (zh) * 2021-02-25 2022-09-13 广州汽车集团股份有限公司 一种车道线检测方法及系统、计算机可读存储介质
CN113053124B (zh) * 2021-03-25 2022-03-15 英博超算(南京)科技有限公司 一种智能车辆的测距系统
CN112906665A (zh) * 2021-04-06 2021-06-04 北京车和家信息技术有限公司 交通标线融合方法、装置、存储介质及电子设备
CN113188509B (zh) * 2021-04-28 2023-10-24 上海商汤临港智能科技有限公司 一种测距方法、装置、电子设备及存储介质
CN113609980A (zh) * 2021-08-04 2021-11-05 东风悦享科技有限公司 一种用于自动驾驶车辆的车道线感知方法及装置
CN113657265B (zh) * 2021-08-16 2023-10-10 长安大学 一种车辆距离探测方法、系统、设备及介质
US11845429B2 (en) * 2021-09-30 2023-12-19 GM Global Technology Operations LLC Localizing and updating a map using interpolated lane edge data
CN114743178B (zh) * 2021-12-29 2024-03-08 北京百度网讯科技有限公司 道路边缘线生成方法、装置、设备及存储介质
CN114565681B (zh) * 2022-03-01 2022-11-22 禾多科技（北京）有限公司 一种相机标定方法、装置、设备、介质及产品
CN114663529B (zh) * 2022-03-22 2023-08-01 阿波罗智能技术(北京)有限公司 一种外参确定方法、装置、电子设备及存储介质
CN115082888B (zh) * 2022-08-18 2022-10-25 北京轻舟智航智能技术有限公司 一种车道线检测方法和装置
CN115235500B (zh) * 2022-09-15 2023-04-14 北京智行者科技股份有限公司 基于车道线约束的位姿校正方法及装置、全工况静态环境建模方法及装置
CN116682087B (zh) * 2023-07-28 2023-10-31 安徽中科星驰自动驾驶技术有限公司 基于空间池化网络车道检测的自适应辅助驾驶方法
CN117437792B (zh) * 2023-12-20 2024-04-09 中交第一公路勘察设计研究院有限公司 基于边缘计算的实时道路交通状态监测方法、设备及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN103832433A (zh) * 2012-11-21 2014-06-04 中国科学院沈阳计算技术研究所有限公司 车道偏离及前车防碰撞报警系统及其实现方法
CN105320927A (zh) * 2015-03-25 2016-02-10 中科院微电子研究所昆山分所 车道线检测方法及系统
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270098A (ja) * 1996-04-02 1997-10-14 Mitsubishi Motors Corp 車線逸脱警報装置
JP2003104147A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の逸脱警報装置
ES2370439T3 (es) * 2006-06-11 2011-12-15 Volvo Technology Corporation Procedimiento y aparato para la utilización de un sistema automático de seguimiento del carril para mantener la separación lateral del vehículo.
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP2010191893A (ja) * 2009-02-20 2010-09-02 Nissan Motor Co Ltd 運転不全状態検出装置及び運転不全状態検出方法
CN101915672B (zh) * 2010-08-24 2012-07-25 清华大学 车道偏离报警系统的测试装置及测试方法
CN101966838B (zh) * 2010-09-10 2012-10-03 奇瑞汽车股份有限公司 一种车道偏离警示系统
JP5389864B2 (ja) * 2011-06-17 2014-01-15 クラリオン株式会社 車線逸脱警報装置
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
JP5926080B2 (ja) 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
EP2863374A4 (en) * 2012-06-14 2016-04-20 Toyota Motor Co Ltd CIRCULATION PATH SEPARATION MARKING DETECTION APPARATUS, AND DRIVER ASSISTANCE SYSTEM
US9830518B2 (en) * 2012-08-30 2017-11-28 Honda Motor Co., Ltd. Lane mark recognition device
EP3761223A1 (en) * 2013-12-04 2021-01-06 Mobileye Vision Technologies Ltd. Adjusting lane offset autonomously
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US9902401B2 (en) * 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9916522B2 (en) 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US10049279B2 (en) 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
JP6672076B2 (ja) 2016-05-27 2020-03-25 株式会社東芝 情報処理装置及び移動体装置
JP6310503B2 (ja) * 2016-06-06 2018-04-11 本田技研工業株式会社 車両及びレーン変更タイミング判定方法
US10859395B2 (en) * 2016-12-30 2020-12-08 DeepMap Inc. Lane line creation for high definition maps for autonomous vehicles
US11493918B2 (en) * 2017-02-10 2022-11-08 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment
CN106919915B (zh) * 2017-02-22 2020-06-12 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
DE112019000070T5 (de) * 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
JP7008617B2 (ja) * 2018-12-21 2022-01-25 本田技研工業株式会社 車両制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN103832433A (zh) * 2012-11-21 2014-06-04 中国科学院沈阳计算技术研究所有限公司 车道偏离及前车防碰撞报警系统及其实现方法
CN105320927A (zh) * 2015-03-25 2016-02-10 中科院微电子研究所昆山分所 车道线检测方法及系统
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11314973B2 (en) 2018-05-31 2022-04-26 Shanghai Sensetime Intelligent Technology Co., Ltd. Lane line-based intelligent driving control method and apparatus, and electronic device
WO2019228211A1 (zh) * 2018-05-31 2019-12-05 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
WO2020038091A1 (zh) * 2018-08-22 2020-02-27 北京市商汤科技开发有限公司 智能驾驶控制方法与装置、电子设备、程序和介质
US11205284B2 (en) * 2018-08-24 2021-12-21 Beijing Sensetime Technology Development Co., Ltd. Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
CN109298719A (zh) * 2018-12-04 2019-02-01 奇瑞汽车股份有限公司 智能汽车的接管方法、装置及存储介质
CN109582019A (zh) * 2018-12-04 2019-04-05 奇瑞汽车股份有限公司 智能汽车变道失效时的接管方法、装置及存储介质
US11842545B2 (en) 2018-12-16 2023-12-12 Huawei Technologies Co., Ltd. Object collision prediction method and apparatus
WO2020125138A1 (zh) * 2018-12-16 2020-06-25 华为技术有限公司 一种物体碰撞预测方法及装置
CN111316337A (zh) * 2018-12-26 2020-06-19 深圳市大疆创新科技有限公司 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN111460866B (zh) * 2019-01-22 2023-12-22 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111476057B (zh) * 2019-01-23 2024-03-26 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN111476062A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及驾驶系统
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备
CN109866684B (zh) * 2019-03-15 2021-06-22 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备
CN112131914A (zh) * 2019-06-25 2020-12-25 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN112131914B (zh) * 2019-06-25 2022-10-21 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN110781768A (zh) * 2019-09-30 2020-02-11 奇点汽车研发中心有限公司 目标对象检测方法和装置、电子设备和介质
CN110706374A (zh) * 2019-10-10 2020-01-17 南京地平线机器人技术有限公司 运动状态预测方法、装置、电子设备及车辆
CN111091096B (zh) * 2019-12-20 2023-07-11 江苏中天安驰科技有限公司 车辆偏离决策方法、装置、存储介质及车辆
CN111091096A (zh) * 2019-12-20 2020-05-01 深圳市中天安驰有限责任公司 车辆偏离决策方法、装置、存储介质及车辆
CN111079695B (zh) * 2019-12-30 2021-06-01 北京华宇信息技术有限公司 一种人体关键点检测与自学习方法及装置
CN111079695A (zh) * 2019-12-30 2020-04-28 北京华宇信息技术有限公司 一种人体关键点检测与自学习方法及装置
CN111257005A (zh) * 2020-01-21 2020-06-09 北京百度网讯科技有限公司 用于测试车辆的方法、装置、设备和存储介质
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN112115857B (zh) * 2020-09-17 2024-03-01 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112115857A (zh) * 2020-09-17 2020-12-22 福建牧月科技有限公司 智能汽车的车道线识别方法、装置、电子设备及介质
CN112287842A (zh) * 2020-10-29 2021-01-29 恒大新能源汽车投资控股集团有限公司 一种车道线的识别方法、装置及电子设备
CN116075691A (zh) * 2020-12-28 2023-05-05 本田技研工业株式会社 车辆控制装置、车辆控制方法及程序
US11958506B2 (en) 2020-12-28 2024-04-16 Honda Motor Co., Ltd. Vehicle control device and vehicle control method
CN116075691B (zh) * 2020-12-28 2024-04-26 本田技研工业株式会社 车辆控制装置及车辆控制方法
CN112766133A (zh) * 2021-01-14 2021-05-07 金陵科技学院 一种基于ReliefF-DBN的自动驾驶偏离处理方法
CN113255506B (zh) * 2021-05-20 2022-10-18 浙江合众新能源汽车有限公司 动态车道线控制方法、系统、设备和计算机可读介质
CN113255506A (zh) * 2021-05-20 2021-08-13 浙江合众新能源汽车有限公司 动态车道线控制方法、系统、设备和计算机可读介质
CN113706705B (zh) * 2021-09-03 2023-09-26 北京百度网讯科技有限公司 用于高精地图的图像处理方法、装置、设备以及存储介质
CN114454888B (zh) * 2022-02-22 2023-10-13 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、电子设备及车辆
CN114454888A (zh) * 2022-02-22 2022-05-10 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、电子设备及车辆
CN114475641B (zh) * 2022-04-15 2022-06-28 天津所托瑞安汽车科技有限公司 车道偏离预警方法、装置、控制装置及存储介质
CN114475641A (zh) * 2022-04-15 2022-05-13 天津所托瑞安汽车科技有限公司 车道偏离预警方法、装置、控制装置及存储介质

Also Published As

Publication number Publication date
JP2021508901A (ja) 2021-03-11
WO2019228211A1 (zh) 2019-12-05
JP7024115B2 (ja) 2022-02-22
US20200293797A1 (en) 2020-09-17
US11314973B2 (en) 2022-04-26
CN108875603B (zh) 2021-06-04
SG11202005094XA (en) 2020-06-29

Similar Documents

Publication Publication Date Title
CN108875603A (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
EP2858008B1 (en) Target detecting method and system
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
JP2024041997A (ja) 情報処理装置、情報処理方法およびプログラム
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN108875480A (zh) 一种人脸特征信息的追踪方法、装置及系统
CN106204572A (zh) 基于场景深度映射的道路目标深度估计方法
CN108363953B (zh) 一种行人检测的方法及双目监控设备
CN110264495A (zh) 一种目标跟踪方法及装置
CN109389016B (zh) 一种人头计数的方法及系统
CN111710008B (zh) 人流密度的生成方法、装置、电子设备以及存储介质
Choi et al. Methods to detect road features for video-based in-vehicle navigation systems
JP2017076394A (ja) 移動物体の計数装置及び方法
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN105046285B (zh) 一种基于运动约束的异常行为辨识方法
CN109949344A (zh) 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN109242882A (zh) 视觉跟踪方法、装置、介质及设备
CN103810460A (zh) 对象跟踪方法和装置
CN103093481B (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
von Rueden et al. Street-map based validation of semantic segmentation in autonomous driving
KR20150081797A (ko) 객체 추적 장치 및 방법
Arce et al. Efficient lane detection based on artificial neural networks
CN105791878B (zh) 图像错误隐藏方法与系统
CN111710009B (zh) 人流密度的生成方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant