CN115240150A - 基于单目相机的车道偏离预警方法、系统、设备及介质 - Google Patents

基于单目相机的车道偏离预警方法、系统、设备及介质 Download PDF

Info

Publication number
CN115240150A
CN115240150A CN202210702514.6A CN202210702514A CN115240150A CN 115240150 A CN115240150 A CN 115240150A CN 202210702514 A CN202210702514 A CN 202210702514A CN 115240150 A CN115240150 A CN 115240150A
Authority
CN
China
Prior art keywords
vehicle
image
monocular camera
lane departure
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210702514.6A
Other languages
English (en)
Inventor
颜伏伍
陈永祥
尹智帅
秦国钰
杨谢添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Xianhu Laboratory
Original Assignee
Foshan Xianhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Xianhu Laboratory filed Critical Foshan Xianhu Laboratory
Priority to CN202210702514.6A priority Critical patent/CN115240150A/zh
Publication of CN115240150A publication Critical patent/CN115240150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目相机的车道偏离预警方法、系统、设备及介质，其中所述方法包括：利用单目相机采集车辆前方的道路场景图像；利用训练好的轻量级卷积神经网络对道路场景图像进行像素分割，得到车辆可行驶区域图像，其中轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层所组成的深层卷积模块和二维卷积模块；利用Canny边缘检测算法从车辆可行驶区域图像中提取出边缘图像，再将边缘图像进行逆透视变换得到鸟瞰图；根据鸟瞰图获取车辆与其所在道路之间的最小距离，且在最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。本发明通过搭建轻量级卷积神经网络可以提高图像处理的实时性，确保预警精度。

Description

基于单目相机的车道偏离预警方法、系统、设备及介质
技术领域
本发明涉及车辆安全驾驶技术领域，具体是涉及一种基于单目相机的车道偏离预警方法、系统、设备及介质。
背景技术
车道偏离预警技术主要是基于视觉信息来实现对车辆在行驶过程中的危险状况进行判断，从而对驾驶员发出预警信号。目前已提出应用在车道偏离预警技术的两大类算法，分别为基于传统机器学习的车道线识别算法和基于深度学习的可行驶区域分割算法，但这两大类算法存在一定的弊端：基于传统机器学习的车道线识别算法仅适用于结构化道路图像处理，当车辆所处环境变复杂时该算法对于非结构化道路图像处理的鲁棒性较差；基于深度学习的可行驶区域分割算法所占用的计算资源多，且计算实时性较差。
发明内容
本发明提供一种基于单目相机的车道偏离预警方法、系统、设备及介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明实施例提供一种基于单目相机的车道偏离预警方法，所述方法包括：
利用单目相机采集车辆前方的道路场景图像；
利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层所组成的深层卷积模块和二维卷积模块；
利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图；
根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
进一步地，每一个深层卷积模块的处理过程包括：
基于逐点卷积层设置有d个维度为1×1×M的卷积核，利用逐点卷积层将输入图像的特征维度从M维降低至d维，得到中间图像；
基于金字塔膨胀卷积层设置有K个不同膨胀率的卷积核，利用金字塔膨胀卷积层从中间图像中提取出K个不同尺寸区域所对应的特征图像，进而通过拼接融合方式得到输出图像。
进一步地，所述利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像包括：
利用所述若干个深层卷积模块对所述道路场景图像进行深层特征提取后，再利用所述二维卷积模块对提取得到的深层特征图像进行卷积运算，得到所述道路场景图像所对应的车辆可行驶区域图像。
进一步地，所述将边缘图像进行逆透视变换，得到鸟瞰图包括：
将所述边缘图像中的每一个像素点均与通过预先试验得到的变换矩阵进行相乘，得到鸟瞰图。
进一步地，所述根据鸟瞰图获取车辆与其所在道路之间的最小距离包括：
从所述鸟瞰图中提取出车辆左侧与车辆所在道路左侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与通过预先试验得到的横向比例尺进行相乘，得到第一距离；
从所述鸟瞰图中提取出车辆右侧与车辆所在道路右侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与所述横向比例尺进行相乘，得到第二距离；
从所述第一距离和所述第二距离中提取出最小值并作为车辆与其所在道路之间的最小距离。
进一步地，所述轻量级卷积神经网络是通过预先获取的区域分割数据集进行训练的，其中所述区域分割数据集包括Cityscapes数据集和PASCAL VOC 2012数据集。
另外，本发明实施例还提供一种基于单目相机的车道偏离预警系统，所述系统包括：
图像采集模块，用于利用单目相机采集车辆前方的道路场景图像；
图像区域分割模块，用于利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层组成的深层卷积模块和二维卷积模块；
图像转换模块，用于利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图；
预警检测模块，用于根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
另外，本发明实施例还提供一种计算机设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述任意一项所述的基于单目相机的车道偏离预警方法。
另外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于单目相机的车道偏离预警方法。
本发明至少具有以下有益效果：通过搭建包含有逐点卷积层和金字塔膨胀卷积层的轻量级卷积神经网络，可以解决现有算法中的深度卷积神经网络采用普通二维卷积进行图像处理所带来的计算资源占用过多的问题，同时也可以提高图像处理的实时性，确保预警精度。通过搭建该轻量级卷积神经网络可以对结构化道路图像与非结构化道路图像进行处理，适用性相对较好。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明实施例中的一种基于单目相机的车道偏离预警方法的流程示意图；
图2是本发明实施例中的一种基于单目相机的车道偏离预警系统的结构组成示意图；
图3是本发明实施例中的一种计算机设备的结构组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
请参考图1，图1是本发明实施例提供的一种基于单目相机的车道偏离预警方法的流程示意图，所述方法包括如下步骤：
S101、利用单目相机采集车辆前方的道路场景图像，其中所述单目相机安装在车辆中轴线上且位于车前的牌照位置附近。
S102、利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层所组成的深层卷积模块和二维卷积模块。
在本发明实施例中，由于车辆前方的道路场景图像包含有结构化道路图像和非结构化道路图像，采用轻量级卷积神经网络将所述道路场景图像进行像素分割，此时利用所述若干个深层卷积模块对所述道路场景图像进行深层特征提取后，再利用所述二维卷积模块对提取得到的深层特征图像进行卷积运算，得到所述道路场景图像所对应的车辆可行驶区域图像；且在所述车辆可行驶区域图像中，被标记为红色的所有像素点实际构成所述道路场景图像中的车辆可行驶区域，被标记为蓝色的所有像素点实际构成所述道路场景图像中的车辆可换道区域，被标记为黑色的所有像素点实际构成所述道路场景图像中的车辆不可行驶区域。
在本发明实施例中，每一个深层卷积模块的处理过程包括：基于逐点卷积层设置有d个维度为1×1×M的卷积核，利用逐点卷积层将输入图像的特征维度从M维降低至d维，得到中间图像；基于金字塔膨胀卷积层设置有K个不同膨胀率的卷积核，利用金字塔膨胀卷积层从中间图像中提取出K个不同尺寸区域所对应的特征图像，进而通过拼接融合方式得到输出图像。
在本发明实施例中，所述轻量级卷积神经网络是在NVIDIA Xavier开发板上搭建起来的，且可以在OpenCV、PyTorch等环境下运行，所述轻量级卷积神经网络在正式投入使用之前是通过预先获取的区域分割数据集进行训练的，其中所述区域分割数据集包括Cityscapes数据集和PASCAL VOC 2012数据集。
S103、利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图。
在本发明实施例中，所述利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，包括：首先利用高斯滤波器对所述车辆可行驶区域图像进行去噪处理得到第一图像；其次计算出所述第一图像中的每一个像素点所对应的梯度强度和梯度方向，进而利用非极大值抑制方式对所述第一图像进行处理得到第二图像，其中所述第二图像可以消除边缘检测所带来的杂散响应；最后利用双阈值检测方式从所述第二图像中划分出真实边缘和潜在边缘，再通过抑制孤立潜在边缘以及将非孤立潜在边缘与真实边缘之间进行跟踪连接的方式，从所述第二图像中提取出最终的边缘图像，此时所述边缘图像可以反映出所述车辆可行驶区域图像中所包含的可行驶区域边界情况。
在本发明实施例中，由于所述边缘图像实际为二维图像，将以三维形式存在的车辆所在道路投影至二维图像时，距离所述单目相机的镜头越远的道路区域在该二维图像上的所占像素数量越小，原本位于三维世界坐标系下的两条平行线最终相交于一点，此时需要将所述边缘图像进行逆透视变换得到鸟瞰图，以恢复出车辆所在道路的真实形状，相应的处理过程包括：将所述边缘图像中的每一个像素点均与通过预先试验得到的变换矩阵进行相乘得到鸟瞰图。
在本发明实施例中，所述变换矩阵可以通过相关参照点在车辆坐标系下的坐标信息、该相关参照点在所述单目相机所在图像坐标系下的坐标信息以及它们之间的对应关系进行求解得到，其中所述车辆坐标系的坐标原点落在车辆后轴中心，所述变换矩阵的具体求解过程包括如下：
步骤1、当车辆保持在停止行驶状态时，在车辆所在道路上选取一个矩形区域，所述矩形区域应当完全落在所述单目相机的视野范围内，此时所述矩形区域的两条平行边界线需与所述车辆坐标系的Y轴方向保持平行；
步骤2、通过人工测量方式获取所述矩形区域的四个角点落在所述车辆坐标系下的第一位置坐标集合；
步骤3、通过所述单目相机采集车辆前方的待测图像，再从所述待测图像中提取出所述矩形区域的四个角点落在所述图像坐标系下的第二位置坐标集合；
步骤4、从所述矩形区域的四个角点中任意选择两个角点，根据所述第一位置坐标集合计算出所述两个角点在所述车辆坐标系下的距离差值，以及根据所述第二位置坐标集合计算出所述两个角点在所述图像坐标系下的像素差值，进而将所述像素差值与所述距离差值之间的比值定义为逆透视变换比例，其中所述逆透视变换比例的取值应当落在[50,200]这一区间范围内；
步骤5、将所述第一位置坐标集合、所述第二位置坐标集合和所述逆透视变换比例输入至矩阵求解工具中进行求解得到计算所需的变换矩阵，其中所述矩阵求解工具实际是调用OpenCV运行环境中的getPerspectiveTransform函数。
S104、根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
在本发明实施例中，所述根据鸟瞰图获取车辆与其所在道路之间的最小距离，包括：基于所述鸟瞰图中包含有车辆所在区域边界以及车辆所在道路的左右侧边缘线，首先从所述鸟瞰图中提取出车辆左侧与车辆所在道路左侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与通过预先试验得到的横向比例尺进行相乘，得到第一距离；其次从所述鸟瞰图中提取出车辆右侧与车辆所在道路右侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与所述横向比例尺进行相乘，得到第二距离；最后从所述第一距离和所述第二距离中提取出最小值并作为车辆与其所在道路之间的最小距离。
在本发明实施例中，所述横向比例尺的具体求解过程包括如下：
步骤A、当车辆保持在停止行驶状态时，在车辆所在道路上选取一个矩形区域，所述矩形区域应当完全落在所述单目相机的视野范围内，此时所述矩形区域的两条平行边界线需与所述车辆坐标系的Y轴方向保持平行；
步骤B、通过人工测量方式获取所述矩形区域的四个角点落在所述车辆坐标系下的第一位置坐标集合；
步骤C、通过所述单目相机采集车辆前方的待测图像，接着在所述待测图像中标记出所述矩形区域，进而得到第一待测图像；
步骤D、将所述第一待测图像进行逆透视变换得到待测鸟瞰图，再从所述待测鸟瞰图中提取出所述矩形区域的四个角点落在鸟瞰图坐标系下的第三位置坐标集合；
步骤D、从所述矩形区域的四个角点中任意选择两个角点，根据所述第一位置坐标集合计算出所述两个角点在所述车辆坐标系下的横向距离差值，以及根据所述第三位置坐标集合计算出所述两个角点在所述鸟瞰图坐标系下的横向像素差值，进而将所述横向距离差值与所述横向像素差值之间的比值定义为计算所需的横向比例尺。
在本发明实施例中，通过搭建包含有逐点卷积层和金字塔膨胀卷积层的轻量级卷积神经网络，可以解决现有算法中的深度卷积神经网络采用普通二维卷积进行图像处理所带来的计算资源占用过多的问题，同时也可以提高图像处理的实时性，确保预警精度。通过搭建该轻量级卷积神经网络可以对结构化道路图像与非结构化道路图像进行处理，适用性相对较好。
另外，本发明实施例还提供一种基于单目相机的车道偏离预警系统，所述系统包括：
图像采集模块201，用于利用单目相机采集车辆前方的道路场景图像；
图像区域分割模块202，用于利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层组成的深层卷积模块和二维卷积模块；
图像转换模块203，用于利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图；
预警检测模块204，用于根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所实现的功能与上述方法实施例相同，并且所达到的有益效果与上述方法实施例相同，针对本系统实施例所实现的功能原理在此不再进行赘述。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的基于单目相机的车道偏离预警方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSSMemory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是说，存储设备包括由设备(例如计算机、手机等)以可读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
此外，图3示出了本发明实施例中的计算机设备的结构组成示意图，所述计算机设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器，本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户利用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例所述的基于单目相机的车道偏离预警方法。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (9)

1.一种基于单目相机的车道偏离预警方法，其特征在于，所述方法包括：
利用单目相机采集车辆前方的道路场景图像；
利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层所组成的深层卷积模块和二维卷积模块；
利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图；
根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
2.根据权利要求1所述的基于单目相机的车道偏离预警方法，其特征在于，每一个深层卷积模块的处理过程包括：
基于逐点卷积层设置有d个维度为1×1×M的卷积核，利用逐点卷积层将输入图像的特征维度从M维降低至d维，得到中间图像；
基于金字塔膨胀卷积层设置有K个不同膨胀率的卷积核，利用金字塔膨胀卷积层从中间图像中提取出K个不同尺寸区域所对应的特征图像，进而通过拼接融合方式得到输出图像。
3.根据权利要求2所述的基于单目相机的车道偏离预警方法，其特征在于，所述利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像包括：
利用所述若干个深层卷积模块对所述道路场景图像进行深层特征提取后，再利用所述二维卷积模块对提取得到的深层特征图像进行卷积运算，得到所述道路场景图像所对应的车辆可行驶区域图像。
4.根据权利要求1所述的基于单目相机的车道偏离预警方法，其特征在于，所述将边缘图像进行逆透视变换，得到鸟瞰图包括：
将所述边缘图像中的每一个像素点均与通过预先试验得到的变换矩阵进行相乘，得到鸟瞰图。
5.根据权利要求1所述的基于单目相机的车道偏离预警方法，其特征在于，所述根据鸟瞰图获取车辆与其所在道路之间的最小距离包括：
从所述鸟瞰图中提取出车辆左侧与车辆所在道路左侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与通过预先试验得到的横向比例尺进行相乘，得到第一距离；
从所述鸟瞰图中提取出车辆右侧与车辆所在道路右侧边缘线之间在直线水平方向上的像素点个数，再将该像素点个数与所述横向比例尺进行相乘，得到第二距离；
从所述第一距离和所述第二距离中提取出最小值并作为车辆与其所在道路之间的最小距离。
6.根据权利要求1所述的基于单目相机的车道偏离预警方法，其特征在于，所述轻量级卷积神经网络是通过预先获取的区域分割数据集进行训练的，其中所述区域分割数据集包括Cityscapes数据集和PASCAL VOC 2012数据集。
7.一种基于单目相机的车道偏离预警系统，其特征在于，所述系统包括：
图像采集模块，用于利用单目相机采集车辆前方的道路场景图像；
图像区域分割模块，用于利用训练好的轻量级卷积神经网络对所述道路场景图像进行像素分割，得到车辆可行驶区域图像，其中所述轻量级卷积神经网络包括若干个由逐点卷积层和金字塔膨胀卷积层组成的深层卷积模块和二维卷积模块；
图像转换模块，用于利用Canny边缘检测算法从所述车辆可行驶区域图像中提取出边缘图像，再将所述边缘图像进行逆透视变换，得到鸟瞰图；
预警检测模块，用于根据所述鸟瞰图获取车辆与其所在道路之间的最小距离，且在所述最小距离低于预设距离阈值时，控制车辆报警器对驾驶员进行车辆偏离告警。
8.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至6中任意一项所述的基于单目相机的车道偏离预警方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的基于单目相机的车道偏离预警方法。
CN202210702514.6A 2022-06-21 2022-06-21 基于单目相机的车道偏离预警方法、系统、设备及介质 Pending CN115240150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210702514.6A CN115240150A (zh) 2022-06-21 2022-06-21 基于单目相机的车道偏离预警方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210702514.6A CN115240150A (zh) 2022-06-21 2022-06-21 基于单目相机的车道偏离预警方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115240150A true CN115240150A (zh) 2022-10-25

Family

ID=83668735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210702514.6A Pending CN115240150A (zh) 2022-06-21 2022-06-21 基于单目相机的车道偏离预警方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115240150A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116902009A (zh) * 2023-09-13 2023-10-20 同济大学 基于类脑神经回路的驾驶世界模型

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
US20200272825A1 (en) * 2019-05-27 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Scene segmentation method and device, and storage medium
WO2021006870A1 (en) * 2019-07-08 2021-01-14 Huawei Technologies Co., Ltd. Vehicular autonomy-level functions
CN112906583A (zh) * 2021-02-25 2021-06-04 北京经纬恒润科技股份有限公司 一种车道线检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
US20200272825A1 (en) * 2019-05-27 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Scene segmentation method and device, and storage medium
WO2021006870A1 (en) * 2019-07-08 2021-01-14 Huawei Technologies Co., Ltd. Vehicular autonomy-level functions
CN112906583A (zh) * 2021-02-25 2021-06-04 北京经纬恒润科技股份有限公司 一种车道线检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SACHIN MEHTA 等: "ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation", 《ARXIV:1803.06815V3 [CS.CV]》 *
鲜开义 等: "变电站巡检机器人道路语义分割方法及其应用", 《科学技术与工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116902009A (zh) * 2023-09-13 2023-10-20 同济大学 基于类脑神经回路的驾驶世界模型
CN116902009B (zh) * 2023-09-13 2023-12-19 同济大学 基于类脑神经回路的驾驶世界模型

Similar Documents

Publication Publication Date Title
Kong et al. Generalizing Laplacian of Gaussian filters for vanishing-point detection
WO2022033076A1 (zh) 目标检测方法、装置、设备、存储介质及程序产品
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN111640180B (zh) 一种三维重建方法、装置及终端设备
JP2014071902A5 (zh)
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN110866475A (zh) 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN112525147A (zh) 自动驾驶设备测距方法及相关装置
CN112395962A (zh) 数据增广方法及装置、物体识别方法及系统
CN115240150A (zh) 基于单目相机的车道偏离预警方法、系统、设备及介质
CN113903188B (zh) 车位检测方法、电子设备及计算机可读存储介质
CN115082565A (zh) 相机标定方法、装置、服务器及介质
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
CN113255500A (zh) 一种车辆随意变道检测的方法及装置
CN115601435B (zh) 车辆姿态检测方法、装置、车辆及存储介质
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN114943954B (zh) 一种车位检测方法、装置和系统
CN111746521B (zh) 泊车路线的规划方法、装置、设备及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN116168357A (zh) 一种智能车的前景目标机器视觉提取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination