CN109871776B - 全天候车道线偏离的预警方法 - Google Patents

全天候车道线偏离的预警方法 Download PDF

Info

Publication number
CN109871776B
CN109871776B CN201910063520.XA CN201910063520A CN109871776B CN 109871776 B CN109871776 B CN 109871776B CN 201910063520 A CN201910063520 A CN 201910063520A CN 109871776 B CN109871776 B CN 109871776B
Authority
CN
China
Prior art keywords
lane line
image
data set
value
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910063520.XA
Other languages
English (en)
Other versions
CN109871776A (zh
Inventor
吴晓闯
陆正达
孙长亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Xingjizhou Intelligent Technology Co ltd
Original Assignee
Kunshan Xingjizhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Xingjizhou Intelligent Technology Co ltd filed Critical Kunshan Xingjizhou Intelligent Technology Co ltd
Priority to CN201910063520.XA priority Critical patent/CN109871776B/zh
Publication of CN109871776A publication Critical patent/CN109871776A/zh
Application granted granted Critical
Publication of CN109871776B publication Critical patent/CN109871776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全天候车道线偏离的预警方法，包括近红外成像设备和激光发射器安装步骤；视频数据采集步骤；图像数据集组成步骤；车道线标注步骤；数据集的划分步骤；构建语义分割网络步骤；训练车道线模型步骤；放置矩形框并测量步骤；矩阵变换步骤；计算比例关系步骤；车道线检测；车道线拟合；选择参考线步骤及实时测量步骤等。本发明利用单个近红外视觉传感器，基于深度学习和数字图像处理技术，在车辆行驶过程中，检测车道线，并计算车道线到主车两侧边沿直线的距离，当距离小于阈值时，发出警报，实现车道偏离预警。该发明能够有效地在车辆行驶过程中，对车道线偏离发出警报，防止因司机分神产生的危险，具有简洁、精度高、成本低等优点。

Description

全天候车道线偏离的预警方法
技术领域
本发明涉及一种全天候车道线偏离的预警方法。
背景技术
随着经济的发展，人们生活水平越来越高，汽车作为一种极为重要的交通工具走入千家万户。与此同时，驾驶安全问题也越来越受到关注，很多公司开始研究高级辅助驾驶系统，用于保障行车安全，摄像头作为一种重要传感器被广泛应用于高级辅助驾驶系统中。但现有的车道线偏离预警方案相对复杂，一般需要采用多个传感器才能实现。
发明内容
为了克服上述缺陷，本发明提供了一种全天候车道线偏离的预警方法，只采用单个近红外传感器及可实现。
本发明为了解决其技术问题所采用的技术方案是：
一种全天候车道线偏离的预警方法，包括以下步骤：
步骤1，近红外成像设备和激光发射器安装：将近红外成像设备安装在主车的挡风玻璃的中间位置，并调整该近红外成像设备的摄像头的角度，使其水平朝前；再将激光发射器安装在主车的大灯位置，并调整激光发射器的角度，使激光发射器保持水平向前；
步骤2，视频数据采集：将安装好所述近红外成像设备和激光发射器的主车行驶在不同道路场景中，并开启所述激光发射器和近红外成像设备，所述激光发射器实时发出近红外光，该近红外光被主车前方的物体反射，并被主车上的所述近红外成像设备感知，该近红外成像设备再将感知到的图像实时输出，保存为视频数据；
步骤3，图像数据集组成；将所述视频数据每间隔两秒取一帧，并保存为图像，组成图像数据集，该图像构成图像数据集中的原图片；
步骤4，车道线标注：对所述图像数据集中的原图片进行车道线标注，将主车所在车道的左车道线标注为1，主车所在车道的右车道线标注为2，并基于此标注结果，将所述图像数据集中的原图片分别生成与之对应的真值图片，并储存于所述图像数据集中，所述真值图片的尺寸与其对应的原图片尺寸相同，其中，所述真值图片的非车道线区域像素值为0，所述真值图片的左侧车道线像素值为1，所述真值图片的右侧车道线像素值为2；
步骤5，数据集的划分：将所述图像数据集随机划分为训练数据集、验证数据集和测试数据集，且每一张原图片和该原图片对应的真值图片成对划入同一个数据集中，各数据集之间无重复，所述训练数据集、验证数据集和测试数据集的数据量比例为6:2:2；
步骤6，构建语义分割网络：构建包括特征编码子网络和特征解码子网络的语义分割网络，其中，特征编码子网络用于提取特征，一共有13个卷积层和4个最大池化层；特征解码子网络用于对特征解码，一共有4个上采样层和13个卷积层，最后一个卷积层的卷积核个数为3；该语义分割网络的输入图像大小为400x240x3，输出为400x240x3；网络结构图如图2所示。
步骤7，训练车道线模型：随机读取所述训练数据集中的原图片和对应的真值图片，将原图片和真值图片归一化并缩放为400x240x3，其中原图片作为所述步骤6中的输入图像，并计算此时网络的输出结果，然后将该结果与原图片对应的真值图片进行比较，计算误差，再利用梯度下降法调整网络中的参数，训练车道线模型；
步骤8，选择最优模型：采用所述步骤7中的训练方法，训练参数迭代次数为300000～800000之间，使得网络的输出结果与真值之间的误差逐步减小，并在验证集上测试该车道线模型的准确度，选择准确率最高的模型参数并将其保存为最优模型，至此，车道线模型训练完成；
步骤9，放置矩形框并测量：在主车的近红外成像设备的摄像头的正前方可视区域范围内放置一个矩形框，该矩形框在图像中的水平轴与图像底边平行，且矩形框水平轴的中点位于图像中轴线上；再测量该矩形框实际的宽wr和高hr(单位：厘米)，并将当前近红外成像设备的摄像头视角拍摄的含矩形框的图像保存；
步骤10，矩阵变换：读取步骤9中保存的含矩形框的图像，并从左上角顶点开始，顺时针依次记录矩形框四个顶点的原始像素坐标p1(x1,y1)、p2(x2,y2)、p3(x3,y3)、p4(x4,y4)，并利用以下公式1，计算在俯视图下，原始像素坐标点对应的俯视像素坐标p'1(x'1,y'1)、p'2(x'2,y'2)、p'3(x'3,y'3)、p'4(x'4,y'4)，其中所述俯视像素坐标点组成的区域为矩形，该矩形的宽和高分别为
Figure BDA0001954938430000031
和
Figure BDA0001954938430000032
(单位：像素)；然后利用透视变换算法计算所述原始像素坐标与俯视像素坐标之间的转换关系矩阵，并记录该矩阵为M，大小为3x3；
Figure BDA0001954938430000041
步骤11，计算在所述俯视图中所述矩形框对应的宽和高(
Figure BDA0001954938430000042
和
Figure BDA0001954938430000043
单位：像素)与实际矩形框的宽和高(wr和hr，单位：厘米)之间的尺度比例关系，公式如下：
Figure BDA0001954938430000044
步骤12，车道线检测：使用所述近红外成像设备的摄像头采集主车在行驶中的实时图像，并将该实时图像输入训练好的车道线模型，该车道线模型输出的数据为3通道，其中第0个通道表示非车道线的概率，第1个通道表示左侧车道线的概率，第2个通道表示右侧车道线的概率，对于输出数据的每个位置，将三个通道中概率值最大的通道作为该位置的标识，获得标识图像，即所述实时图像中，位于非车道线区域的像素为所述标识图像中标识为0的区域，位于主车左侧车道线区域的像素为所述标识图像中标识为1的区域，位于主车右侧车道线区域的像素为所述标识图像中标识为2的区域；
步骤13，车道线拟合：筛选出所述标识图像中所有值为1的像素位置，对这些位置的坐标点使用最小二乘法进行二次曲线拟合，得到二次曲线的参数a1、b1、c1，即为左侧车道线二次函数参数；同理计算出右侧车道线二次函数参数为a2、b2、c2；
步骤14，选择参考线：若近红外成像设备的摄像头拍摄到的图像的宽和高分别为c和r，选择图像中的水平参考直线y＝r-1；
步骤15，计算交点：根据车道线方程，分别计算左车道线和右车道线与所述水平参考直线y＝r-1的交点，记为pl(xl,yl)，pr(xr,yr)；再计算主车左右两侧边沿直线与水平参考直线y＝r-1的交点，记为plc(xlc,ylc)，prc(xrc,yrc)；
步骤16，对步骤15中的所有交点使用透视变换矩阵转换，计算公式为：
Figure BDA0001954938430000051
其中，t为尺度参数，(x,y)表示转换前的坐标，(x',y')为转换后的坐标，最终计算得到的坐标分别为：p'l(x'l,y'l)、p'r(x'r,y'r)、p'lc(x'lc,y'lc)、p'rc(x'rc,y'rc)；
步骤17，计算主车边沿到车道线的距离dl和dr：根据几何关系，使用公式：
到左侧车道线的距离公式：dl＝(xlc'-xl')·sw； (公式4)
到右侧车道线的距离公式：dr＝(xr'-xrc')·sw； (公式5)
步骤18，基于上述步骤，实时计算主车边沿到车道线的距离dl和dr，如果距离dl和dr小于阈值20厘米，则发出黄色警报，如果距离dl和dr为负数，则表示压线，发出红色警报。
作为本发明的进一步改进，所述步骤2中，所述不同道路场景至少包括城市道路和高速路，所述图像数据集不少于100000张。
作为本发明的进一步改进，所述步骤2中，所述视频数据采集时长大于50小时。
作为本发明的进一步改进，所述步骤9中，所述矩形框的长宽在300厘米到1000厘米之间。
本发明的有益效果是：本发明利用单个近红外视觉传感器，基于深度学习和数字图像处理技术，在车辆行驶过程中，检测车道线，并计算车道线到主车两侧边沿直线的距离，当距离小于阈值20厘米时，发出警报，实现车道偏离预警。该发明能够有效地在车辆行驶过程中，对车道线偏离发出警报，防止因司机分神产生的危险，具有简洁、精度高、成本低等优点。
附图说明
图1为本发明步骤1结构示意图；
图2为本发明步骤6结构示意图；
图3为本发明步骤9结构示意图；
图4为本发明步骤15结构示意图；
图5为本发明整体架构示意图。
具体实施方式
以下结合附图，对本发明的一个较佳实施例作详细说明。但本发明的保护范围不限于下述实施例，即但凡以本发明申请专利范围及说明书内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖范围之内。
参阅附图1-5，为本发明所述的一种全天候车道线偏离的预警方法，包括以下步骤：
步骤1，近红外成像设备和激光发射器安装：将近红外成像设备安装在主车的挡风玻璃的中间位置，并调整该近红外成像设备的摄像头的角度，使其水平朝前；再将激光发射器安装在主车的大灯位置，并调整激光发射器的角度，使激光发射器保持水平向前；如图1所示。
步骤2，视频数据采集：将安装好所述近红外成像设备和激光发射器的主车行驶在不同道路场景中，并开启所述激光发射器和近红外成像设备，所述激光发射器实时发出近红外光，该近红外光被主车前方的物体反射，并被主车上的所述近红外成像设备感知，该近红外成像设备再将感知到的图像实时输出，保存为视频数据；
步骤3，图像数据集组成；将所述视频数据每间隔两秒取一帧，并保存为图像，组成图像数据集，该图像构成图像数据集中的原图片；
步骤4，车道线标注：对所述图像数据集中的原图片进行车道线标注，将主车所在车道的左车道线标注为1，主车所在车道的右车道线标注为2，并基于此标注结果，将所述图像数据集中的原图片分别生成与之对应的真值图片，并储存于所述图像数据集中，所述真值图片的尺寸与其对应的原图片尺寸相同，其中，所述真值图片的非车道线区域像素值为0，所述真值图片的左侧车道线像素值为1，所述真值图片的右侧车道线像素值为2；
步骤5，数据集的划分：将所述图像数据集随机划分为训练数据集、验证数据集和测试数据集，且每一张原图片和该原图片对应的真值图片成对划入同一个数据集中，各数据集之间无重复，所述训练数据集、验证数据集和测试数据集的数据量比例为6:2:2；
步骤6，构建语义分割网络：构建包括特征编码子网络和特征解码子网络的语义分割网络，其中，特征编码子网络用于提取特征，一共有13个卷积层和4个最大池化层；特征解码子网络用于对特征解码，一共有4个上采样层和13个卷积层，最后一个卷积层的卷积核个数为3；该语义分割网络的输入图像大小为400x240x3，输出为400x240x3；网络结构图如图2所示。
步骤7，训练车道线模型：随机读取所述训练数据集中的原图片和对应的真值图片，将原图片和真值图片归一化并缩放为400x240x3，其中原图片作为所述步骤6中的输入图像，并计算此时网络的输出结果，然后将该结果与原图片对应的真值图片进行比较，计算误差，再利用梯度下降法调整网络中的参数，训练车道线模型；
步骤8，选择最优模型：采用所述步骤7中的训练方法，训练参数迭代次数为300000～800000之间，使得网络的输出结果与真值之间的误差逐步减小，并在验证集上测试该车道线模型的准确度，选择准确率最高的模型参数并将其保存为最优模型，至此，车道线模型训练完成；
步骤9，放置矩形框并测量：在主车的近红外成像设备的摄像头的正前方可视区域范围内放置一个矩形框，该矩形框在图像中的水平轴与图像底边平行，且矩形框水平轴的中点位于图像中轴线上；再测量该矩形框实际的宽wr和高hr(单位：厘米)，并将当前近红外成像设备的摄像头视角拍摄的含矩形框的图像保存，示意图参阅图3；
步骤10，矩阵变换：读取步骤9中保存的含矩形框的图像，并从左上角顶点开始，顺时针依次记录矩形框四个顶点的原始像素坐标p1(x1,y1)、p2(x2,y2)、p3(x3,y3)、p4(x4,y4)，并利用以下公式1，计算在俯视图下，原始像素坐标点对应的俯视像素坐标p'1(x'1,y'1)、p'2(x'2,y'2)、p'3(x'3,y'3)、p'4(x'4,y'4)，其中所述俯视像素坐标点组成的区域为矩形，该矩形的宽和高分别为
Figure BDA0001954938430000096
和
Figure BDA0001954938430000095
(单位：像素)；然后利用透视变换算法计算所述原始像素坐标与俯视像素坐标之间的转换关系矩阵，并记录该矩阵为M，大小为3x3；
Figure BDA0001954938430000091
步骤11，计算在所述俯视图中所述矩形框对应的宽和高(
Figure BDA0001954938430000092
和
Figure BDA0001954938430000093
单位：像素)与实际矩形框的宽和高(wr和hr，单位：厘米)之间的尺度比例关系，公式如下：
Figure BDA0001954938430000094
(至此，模型训练与参数标定完成，以下步骤进行车道线检测与距离测量)
步骤12，车道线检测：使用所述近红外成像设备的摄像头采集主车在行驶中的实时图像，并将该实时图像输入训练好的车道线模型，该车道线模型输出的数据为3通道，其中第0个通道表示非车道线的概率，第1个通道表示左侧车道线的概率，第2个通道表示右侧车道线的概率，对于输出数据的每个位置，将三个通道中概率值最大的通道作为该位置的标识，获得标识图像，即所述实时图像中，位于非车道线区域的像素为所述标识图像中标识为0的区域，位于主车左侧车道线区域的像素为所述标识图像中标识为1的区域，位于主车右侧车道线区域的像素为所述标识图像中标识为2的区域；
步骤13，车道线拟合：筛选出所述标识图像中所有值为1的像素位置，对这些位置的坐标点使用最小二乘法进行二次曲线拟合，得到二次曲线的参数a1、b1、c1，即为左侧车道线二次函数参数；同理计算出右侧车道线二次函数参数为a2、b2、c2；
步骤14，选择参考线：若近红外成像设备的摄像头拍摄到的图像的宽和高分别为c和r，选择图像中的水平参考直线y＝r-1；
步骤15，计算交点：根据车道线方程，分别计算左车道线和右车道线与所述水平参考直线y＝r-1的交点，记为pl(xl,yl)，pr(xr,yr)；再计算主车左右两侧边沿直线与水平参考直线y＝r-1的交点，记为plc(xlc,ylc)，prc(xrc,yrc)；如图4所示：
步骤16，对步骤15中的所有交点使用透视变换矩阵转换，计算公式为：
Figure BDA0001954938430000101
其中，t为尺度参数，(x,y)表示转换前的坐标，(x',y')为转换后的坐标，最终计算得到的坐标分别为：p'l(x'l,y'l)、p'r(x'r,y'r)、p'lc(x'lc,y'lc)、p'rc(x'rc,y'rc)；
步骤17，计算主车边沿到车道线的距离dl和dr：根据几何关系，使用公式：
到左侧车道线的距离公式：dl＝(xlc'-xl')·sw； (公式4)
到右侧车道线的距离公式：dr＝(xr'-xrc')·sw； (公式5)
步骤18，基于上述步骤，实时计算主车边沿到车道线的距离dl和dr，如果距离dl和dr小于阈值20厘米，则发出黄色警报，如果距离dl和dr为负数，则表示压线，发出红色警报。
其中，所述步骤2中，所述不同道路场景至少包括城市道路和高速路，所述图像数据集不少于100000张；所述视频数据采集时长大于50小时。所述步骤9中，所述矩形框的长宽在300厘米到1000厘米之间。
由此可见，本发明利用单个近红外视觉传感器，基于深度学习和数字图像处理技术，在车辆行驶过程中，检测车道线，并计算车道线到主车两侧边沿直线的距离，当距离小于阈值20厘米时，发出警报，实现车道偏离预警。该发明能够有效地在车辆行驶过程中，对车道线偏离发出警报，防止因司机分神产生的危险，具有简洁、精度高、成本低等优点。

Claims (4)

1.一种全天候车道线偏离的预警方法，其特征在于，包括以下步骤：
步骤1，近红外成像设备和激光发射器安装：将近红外成像设备安装在主车的挡风玻璃的中间位置，并调整该近红外成像设备的摄像头的角度，使其水平朝前；再将激光发射器安装在主车的大灯位置，并调整激光发射器的角度，使激光发射器保持水平向前；
步骤2，视频数据采集：将安装好所述近红外成像设备和激光发射器的主车行驶在不同道路场景中，并开启所述激光发射器和近红外成像设备，所述激光发射器实时发出近红外光，该近红外光被主车前方的物体反射，并被主车上的所述近红外成像设备感知，该近红外成像设备再将感知到的图像实时输出，保存为视频数据；
步骤3，图像数据集组成；将所述视频数据每间隔两秒取一帧，并保存为图像，组成图像数据集，该图像构成图像数据集中的原图片；
步骤4，车道线标注：对所述图像数据集中的原图片进行车道线标注，将主车所在车道的左车道线标注为1，主车所在车道的右车道线标注为2，并基于此标注结果，将所述图像数据集中的原图片分别生成与之对应的真值图片，并储存于所述图像数据集中，所述真值图片的尺寸与其对应的原图片尺寸相同，其中，所述真值图片的非车道线区域像素值为0，所述真值图片的左侧车道线像素值为1，所述真值图片的右侧车道线像素值为2；
步骤5，数据集的划分：将所述图像数据集随机划分为训练数据集、验证数据集和测试数据集，且每一张原图片和该原图片对应的真值图片成对划入同一个数据集中，各数据集之间无重复，所述训练数据集、验证数据集和测试数据集的数据量比例为6:2:2；
步骤6，构建语义分割网络：构建包括特征编码子网络和特征解码子网络的语义分割网络，其中，特征编码子网络用于提取特征，一共有13个卷积层和4个最大池化层；特征解码子网络用于对特征解码，一共有4个上采样层和13个卷积层，最后一个卷积层的卷积核个数为3；该语义分割网络的输入图像大小为400x240x3，输出为400x240x3；
步骤7，训练车道线模型：随机读取所述训练数据集中的原图片和对应的真值图片，将原图片和真值图片归一化并缩放为400x240x3，其中原图片作为所述步骤6中的输入图像，并计算此时网络的输出结果，然后将该结果与原图片对应的真值图片进行比较，计算误差，再利用梯度下降法调整网络中的参数，训练车道线模型；
步骤8，选择最优模型：采用所述步骤7中的训练方法，训练参数迭代次数为300000～800000之间，使得网络的输出结果与真值之间的误差逐步减小，并在验证集上测试该车道线模型的准确度，选择准确率最高的模型参数并将其保存为最优模型，至此，车道线模型训练完成；
步骤9，放置矩形框并测量：在主车的近红外成像设备的摄像头的正前方可视区域范围内放置一个矩形框，该矩形框在图像中的水平轴与图像底边平行，且矩形框水平轴的中点位于图像中轴线上；再测量该矩形框实际的宽wr和高hr，并将当前近红外成像设备的摄像头视角拍摄的含矩形框的图像保存；
步骤10，矩阵变换：读取步骤9中保存的含矩形框的图像，并从左上角顶点开始，顺时针依次记录矩形框四个顶点的原始像素坐标p1(x1,y1)、p2(x2,y2)、p3(x3,y3)、p4(x4,y4)，并利用以下公式1，计算在俯视图下，原始像素坐标点对应的俯视像素坐标p′1(x′1,y′1)、p′2(x′2,y′2)、p′3(x′3,y′3)、p′4(x′4,y′4)，其中所述俯视像素坐标点组成的区域为矩形，该矩形的宽和高分别为
Figure FDA0001954938420000031
和
Figure FDA0001954938420000032
然后利用透视变换算法计算所述原始像素坐标与俯视像素坐标之间的转换关系矩阵，并记录该矩阵为M，大小为3x3；
Figure FDA0001954938420000033
步骤11，计算在所述俯视图中所述矩形框对应的宽
Figure FDA0001954938420000034
和高
Figure FDA0001954938420000035
与实际矩形框的宽wr和高hr之间的尺度比例关系，公式如下：
Figure FDA0001954938420000036
步骤12，车道线检测：使用所述近红外成像设备的摄像头采集主车在行驶中的实时图像，并将该实时图像输入训练好的车道线模型，该车道线模型输出的数据为3通道，其中第0个通道表示非车道线的概率，第1个通道表示左侧车道线的概率，第2个通道表示右侧车道线的概率，对于输出数据的每个位置，将三个通道中概率值最大的通道作为该位置的标识，获得标识图像，即所述实时图像中，位于非车道线区域的像素为所述标识图像中标识为0的区域，位于主车左侧车道线区域的像素为所述标识图像中标识为1的区域，位于主车右侧车道线区域的像素为所述标识图像中标识为2的区域；
步骤13，车道线拟合：筛选出所述标识图像中所有值为1的像素位置，对这些位置的坐标点使用最小二乘法进行二次曲线拟合，得到二次曲线的参数a1、b1、c1，即为左侧车道线二次函数参数；同理计算出右侧车道线二次函数参数为a2、b2、c2；
步骤14，选择参考线：若近红外成像设备的摄像头拍摄到的图像的宽和高分别为c和r，选择图像中的水平参考直线y＝r-1；
步骤15，计算交点：根据车道线方程，分别计算左车道线和右车道线与所述水平参考直线y＝r-1的交点，记为pl(xl,yl)，pr(xr,yr)；再计算主车左右两侧边沿直线与水平参考直线y＝r-1的交点，记为plc(xlc,ylc)，prc(xrc,yrc)；
步骤16，对步骤15中的所有交点使用透视变换矩阵转换，计算公式为：
Figure FDA0001954938420000041
其中，t为尺度参数，(x,y)表示转换前的坐标，(x',y')为转换后的坐标，最终计算得到的坐标分别为：p′l(x′l,y′l)、p′r(x′r,y′r)、p′lc(x′lc,y′lc)、p′rc(x′rc,y′rc)；
步骤17，计算主车边沿到车道线的距离dl和dr：根据几何关系，使用公式：
到左侧车道线的距离公式：dl＝(xlc'-xl')·sw； (公式4)
到右侧车道线的距离公式：dr＝(xr'-xrc')·sw； (公式5)
步骤18，基于上述步骤，实时计算主车边沿到车道线的距离dl和dr，如果距离dl和dr小于阈值20厘米，则发出黄色警报，如果距离dl和dr为负数，则表示压线，发出红色警报。
2.根据权利要求1所述的全天候车道线偏离的预警方法，其特征在于：所述步骤2中，所述不同道路场景至少包括城市道路和高速路，所述图像数据集不少于100000张。
3.根据权利要求1所述的全天候车道线偏离的预警方法，其特征在于：所述步骤2中，所述视频数据采集时长大于50小时。
4.根据权利要求1所述的全天候车道线偏离的预警方法，其特征在于：所述步骤9中，所述矩形框的长宽在300厘米到1000厘米之间。
CN201910063520.XA 2019-01-23 2019-01-23 全天候车道线偏离的预警方法 Active CN109871776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910063520.XA CN109871776B (zh) 2019-01-23 2019-01-23 全天候车道线偏离的预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910063520.XA CN109871776B (zh) 2019-01-23 2019-01-23 全天候车道线偏离的预警方法

Publications (2)

Publication Number Publication Date
CN109871776A CN109871776A (zh) 2019-06-11
CN109871776B true CN109871776B (zh) 2023-04-14

Family

ID=66917954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910063520.XA Active CN109871776B (zh) 2019-01-23 2019-01-23 全天候车道线偏离的预警方法

Country Status (1)

Country Link
CN (1) CN109871776B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264512A (zh) * 2019-06-28 2019-09-20 清华大学苏州汽车研究院（吴江） 基于视频分析的车道边距检测方法及装置
CN110412603B (zh) * 2019-07-22 2023-07-04 昆山伟宇慧创智能科技有限公司 一种用于车道偏离计算的标定参数自适应更新方法
CN111204283A (zh) * 2020-01-15 2020-05-29 南京佳得振隆新能源汽车有限公司 智能道路安全识别系统
CN113538923A (zh) 2020-04-20 2021-10-22 深圳富泰宏精密工业有限公司 车辆变换车道的警示方法、车载装置
TWI758713B (zh) * 2020-04-20 2022-03-21 群邁通訊股份有限公司 車輛變換車道的警示方法、車載裝置
CN111709301B (zh) * 2020-05-21 2023-04-28 哈尔滨工业大学 一种冰壶球运动状态估计方法
CN111623786B (zh) * 2020-06-08 2022-04-01 昆山星际舟智能科技有限公司 预判车辆行驶轨迹的方法
US20220129851A1 (en) * 2020-09-21 2022-04-28 Vivek Mishra System and method for making strategies and generating customized reports based on users in real-time
CN116630928B (zh) * 2023-07-25 2023-11-17 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN104742912A (zh) * 2013-12-27 2015-07-01 比亚迪股份有限公司 车道偏移检测方法和装置
CN105740782A (zh) * 2016-01-25 2016-07-06 北京航空航天大学 一种基于单目视觉的驾驶员换道过程量化方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法
CN108801273A (zh) * 2017-04-28 2018-11-13 高德软件有限公司 一种道路参考线的生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
KR102433791B1 (ko) * 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN104742912A (zh) * 2013-12-27 2015-07-01 比亚迪股份有限公司 车道偏移检测方法和装置
CN105740782A (zh) * 2016-01-25 2016-07-06 北京航空航天大学 一种基于单目视觉的驾驶员换道过程量化方法
CN108801273A (zh) * 2017-04-28 2018-11-13 高德软件有限公司 一种道路参考线的生成方法及装置
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN108647572A (zh) * 2018-04-04 2018-10-12 华南理工大学 一种基于霍夫变换的车道偏离预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Real-Time Lane Departure Warning System on a Lower Resource Platform";Aman Irshad 等;《2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA)》;20171221;第1-8页 *
"车道线实时检测与偏离预警系统设计与研究";李福俊 等;《光电子·激光》;20180331;第29卷(第3期);第298-304页 *

Also Published As

Publication number Publication date
CN109871776A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109871776B (zh) 全天候车道线偏离的预警方法
US11922643B2 (en) Vehicle speed intelligent measurement method based on binocular stereo vision system
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN103559791B (zh) 一种融合雷达和ccd摄像机信号的车辆检测方法
US10909395B2 (en) Object detection apparatus
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
CN113673282A (zh) 目标检测方法和装置
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN112329747B (zh) 基于视频识别和深度学习的车辆参数检测方法及相关装置
CN111272139B (zh) 一种基于单目视觉的车辆长度测量方法
CN114254696A (zh) 基于深度学习的可见光、红外和雷达融合目标检测方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
Tsai et al. Horizontal roadway curvature computation algorithm using vision technology
CN114200442B (zh) 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN114067287A (zh) 一种基于车侧路侧数据感知融合的异物识别及预警系统
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN105844666B (zh) 一种基于单摄像头视频序列匹配的车辆测速方法及其系统
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant