CN115265493B - 一种基于非标定相机的车道级定位方法及装置 - Google Patents

一种基于非标定相机的车道级定位方法及装置 Download PDF

Info

Publication number
CN115265493B
CN115265493B CN202211170179.6A CN202211170179A CN115265493B CN 115265493 B CN115265493 B CN 115265493B CN 202211170179 A CN202211170179 A CN 202211170179A CN 115265493 B CN115265493 B CN 115265493B
Authority
CN
China
Prior art keywords
lane
vehicle
image
line
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211170179.6A
Other languages
English (en)
Other versions
CN115265493A (zh
Inventor
贾洋
周剑
李升甫
郭圆
刘蕾蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Sichuan Highway Planning Survey and Design Institute Ltd
Original Assignee
Wuhan University WHU
Sichuan Highway Planning Survey and Design Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU, Sichuan Highway Planning Survey and Design Institute Ltd filed Critical Wuhan University WHU
Priority to CN202211170179.6A priority Critical patent/CN115265493B/zh
Publication of CN115265493A publication Critical patent/CN115265493A/zh
Application granted granted Critical
Publication of CN115265493B publication Critical patent/CN115265493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及数字道路地图生成技术领域，特别是涉及一种基于非标定相机的车道级定位方法及装置，方法包括以下步骤：S1，获取车辆当前所在车道的车道线图像；S2，根据车辆横向偏离模型，计算车辆相对于一侧车道线的偏离比值，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的；S3，根据所述偏离比值和车道宽度，确定汽车在车道宽度方向上的定位信息。本发明的方法与现有技术相比，由于不需要计算车道线图像像素点对应的绝对坐标，就可以免去对拍摄相机预先标定，获取相机内参数的过程，因此，使用低成本的数码相机也可以计算出精确的车辆在车道宽度方向上的定位信息。

Description

一种基于非标定相机的车道级定位方法及装置
技术领域
本发明涉及数字道路地图生成技术领域，特别是涉及一种基于非标定相机的车道级定位方法及装置。
背景技术
驾驶辅助系统与自动驾驶技术有助于减少交通事故、降低能源消耗与环境污染，是近年的研究热点之一。车辆的车道级定位是实现智能汽车车道保持、车道偏离预警、局部路径规划等安全应用的基础。根据传感器类型，车道级定位方法可分为基于全球卫星导航系统（GNSS）的定位、基于高精度激光雷达的定位以及基于视觉的定位三种类型。基于GNSS的车道级定位精度可通过差分技术或精确点（PPP）定位方法实现，但容易受到城市峡谷的影响导致定位精度不稳定。因此现有车道级定位方法的研究多是结合GPS与车载激光雷达或视觉传感器实现。基于激光雷达的定位算法主要通过激光点云识别道路车道标线与路沿信息，与高精地图进行匹配，该方法定位精度较高，但存在设备成本高、算力要求大等问题，难以部署至成本受限的车载平台。与激光雷达相比，基于视觉的定位方法成本较低，是目前的研究热点。基于视觉的车道级定位方法通常使用深度学习算法进行车道标线提取，通过相机内外参数获取车辆的绝对位置信息。现有基于视觉的车道级定位方法对相机内外参数的精度要求较高，然而相机内外参数的标定过程较为复杂，且依赖于专业技术人员，对于低成本的众包车载平台而言，相机标定难度较大，内外参数难以获取。
基于上述问题，发明人申请了专利《一种低成本精细地图自动生成方法、装置及可读介质》（公开号为CN114719873A），提出了一种低成本精细地图自动生成方法，方法的步骤包括：S1，通过三维标定场，对相机内参进行标定；S2，将标定好的相机安装于车辆上，并且在车辆行进过程中拍摄图像，获取待处理图像；S3，从所述待处理图像中提取出车道标线，得到车道标线图；S4，根据所述相机内部参数和畸变系数对车道标线图进行畸变校正和灰度处理，得到校正图像；S5，对所述校正图像中的车道标线进行亚像素角点检测，得到车道标线的角点坐标；S6，将车道标线的角点坐标添加到导航地图中，生成精细化地图。该方法可以使用低成本的数码相机与GPS采集道路标线信息，并提取出道路标线的绝对坐标，将其与导航地图结合，可以极大提高现有导航地图的精细度，为自动驾驶系统和辅助驾驶系统提供更可靠的道路信息。
上述专利的技术方案虽然可以基于使用低成本的数码相机与GPS采集道路标线信息，从而提高自动驾驶的精确定位程度，但是在研发中发现，采用上述方法进行精确定位的难点在于车辆在车道内横向的定位。从车辆和道路的特点来说，在行进方向上，道路延伸长度相较于车辆是较长的，因而定位的时候即使有误差，也可以在一定范围内容忍，不影响车辆在长度方向上的定位，但是道路上的车道通常有多个，并且车道之间仅靠车道线进行划分，距离较近，对车道宽度方向上的定位一旦出现偏差，就容易与旁边的车辆冲突，危险性较高，因此，对车道宽度方向上的定位需要精准程度更高。
发明内容
本发明的目的在于，通过车道线的图片将车辆与车道线之间的关系拟合为几何图形中的相对位置关系，从而等比例计算出车辆与车道线之间的相对距离，提出了一种基于非标定相机的车道级定位方法及装置。使用低成本的数码相机获取汽车进行中的道路车道线图像，再根据车辆横向偏离模型，得到汽车在车道内相对于车道线的距离，从而提高了汽车在车道宽度方向上的定位精度，基于上述构思。
一种基于非标定相机的车道级定位方法，包括以下步骤：
S1，获取车辆当前所在车道的车道线图像；
S2，根据车辆横向偏离模型，计算车辆相对于一侧车道线的偏离比值，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的；
S3，根据所述偏离比值和车道宽度，确定汽车在车道宽度方向上的定位信息。
作为优选方案，步骤S2中，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的，具体是指，在车道线图像中，两侧车道线从图像的底边延伸相交于灭点，从而构成三角形；将车辆与两侧车道线之间的距离比转换为车道线图像中线段
Figure 949703DEST_PATH_IMAGE001
和线段
Figure 132423DEST_PATH_IMAGE002
的比值，其中，线段AB为道路平面内与左右两侧车道线垂直的任意线段，线段AB在车道线图像中对应为
Figure 115423DEST_PATH_IMAGE003
，
Figure 697582DEST_PATH_IMAGE004
表示灭点与图像底边中点的连线与线段
Figure 918479DEST_PATH_IMAGE005
的交点。
作为优选方案，所述车辆横向偏离模型用公式表示为：
Figure 6521DEST_PATH_IMAGE006
其中，
Figure 729014DEST_PATH_IMAGE007
Figure 68860DEST_PATH_IMAGE008
为灭点在图像中的位置，
Figure 190268DEST_PATH_IMAGE009
为图像底边中心点的水平坐标，
Figure 714790DEST_PATH_IMAGE010
为相机拍摄方向与道路平面之间的夹角， m为水平像素的总数，
Figure 406803DEST_PATH_IMAGE011
是图像中左侧车道线与图像底边之间的夹角，
Figure 534028DEST_PATH_IMAGE012
是图像中右侧车道线与图像底边之间的夹角，
Figure 260675DEST_PATH_IMAGE013
表示车辆与道路前进方向不一致导致的偏航角补偿，q是图像中灭点到图像底边垂线的长度，
Figure 221678DEST_PATH_IMAGE014
是车辆与左侧车道线之间的距离，
Figure 853517DEST_PATH_IMAGE015
是车辆与右侧车道线之间的距离，
Figure 331903DEST_PATH_IMAGE016
是车辆在车道内左右区域的宽度比值。
作为优选方案，步骤S3中所述汽车在车道宽度方向上的定位信息计算公式为：
Figure 506532DEST_PATH_IMAGE017
其中，P是汽车在车道宽度方向上与左侧车道线或右侧车道线之间的距离，
Figure 234841DEST_PATH_IMAGE018
或
Figure 167025DEST_PATH_IMAGE019
，
Figure 776998DEST_PATH_IMAGE020
是车辆与左侧车道线之间的距离，
Figure 665188DEST_PATH_IMAGE021
是车辆与右侧车道线之间的距离，
Figure 640097DEST_PATH_IMAGE022
是车道宽度。
作为优选方案，步骤S1具体包括：
S11，拍摄包括车道线的图像；
S12，基于特征交叉结构的车道线检测方法从所述图像中提取出车辆当前所在车道的两侧车道线，构成车道线图像。
作为优选方案，步骤S12具体包括：
S121，采用金字塔结构实现图像进行特征分层表达；
S122，对分层表达后的图像进行自上而下的特征交叉传递结构构建，形成优化后的图像特征分层表达；
S123，基于优化后的图像特征分层表达拟合出车道线。
作为优选方案，还包括步骤S4，根据汽车在车道宽度方向上的定位信息的变化，得到车辆所在车道的车道编号。
作为优选方案，步骤S4具体包括以下步骤：
S41，从车道线图像中获取道路上若干车道线，对若干车道线进行编号，并获取车辆当前所在车道的车道编号；
S42，若前后两帧车道线图像中，车辆相对于当前车道的一侧车道线的距离变化值超过预设阈值，则车辆从当前车道向左或者向右换道，相应的车道编号增加或者减少，得到车辆所在车道的车道编号。
作为优选方案，步骤S42中，若以当前车道的左侧车道线为参考，当车辆相对于当前车道的左侧车道线的距离增加值超过预设阈值，则车辆已经向左换道，当车辆相对于当前车道的左侧参考车道线的距离的减小值超过预设阈值，则车辆已经向右换道。
基于相同的构思，还提出了一种基于非标定相机的车道级定位装置，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的一种基于非标定相机的车道级定位方法。
与现有技术相比，本发明的有益效果：
本发明提出的一种基于非标定相机的车道级定位方法，对车辆在车道宽度方向上的定位信息的获取提出了新的思路，通过车道线的图片将车辆与车道线之间的关系拟合为几何图形中的相对位置关系，从而等比例计算出车辆与车道线之间的相对距离。该思路的好处在于，利用图像中拟合出几何图形中线段之间的比例值，结合车道宽度就能计算出车辆相对于一边车道线的距离，与现有技术相比，无须根据车道线图像像素点对应的绝对坐标来计算实际的距离，由于不需要计算车道线图像像素点对应的绝对坐标，就可以免去对拍摄相机预先标定，获取相机内参数的过程，因此，使用低成本的数码相机也可以计算出精确的车辆在车道宽度方向上的定位信息，计算简便、准确、效率高。
附图说明
图1为本发明实施例1中一种基于非标定相机的车道级定位方法的流程图；
图2为本发明实施例1中基于特征交叉结构的车道线检测方法的原理图；
图3为本发明实施例1中记录道路数据的前视摄像头与车体自身的相对关系图；
图4（a）为本发明实施例1中根据相机透视投影原理构建的车辆横向偏离模型；
图4（b）为本发明实施例1中图像平面中建立的车辆在车道内位置与车道线斜率以及偏航角之间的关系模型；
图5为本发明实施例1中换道过程车辆横向偏离变化示意图；
图6（a）为本发明实施例1中多车道横向运动估计中当前帧图像车道线示意图；
图6（b）为本发明实施例1中多车道横向运动估计中图6（a）前一帧图像中车道线示意图；
图7为本发明实施例2中车辆横向偏移对比结果图；
图8（a）为本发明实施例2中使用车辆横向偏离模型所得到的车辆在单车道内的横向偏离比值结果图；
图8（b）为本发明实施例2中通过换道跟踪算法得到的车辆在多个车道内的运动情况统计图；
图8（c）为本发明实施例2中通过地图匹配后得到的车辆在道路内的车道级定位统计图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于非标定相机的车道级定位方法，流程图如图1所示，包括以下步骤：
S1，获取车辆当前所在车道的车道线图像。
S2，根据车辆横向偏离模型，计算车辆相对于一侧车道线的偏离比值，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的。
S3，根据所述偏离比值和车道宽度，确定汽车在车道宽度方向上的定位信息。
步骤S1主要包括以下步骤：
S11，在车辆行进过程中，通过安装在车辆挡风玻璃上的前视摄像头来记录道路数据，所述道路数据包括车道线的图像。
S12，基于车道线的图像，进行车道线检测。
通常情况下，车道标线的施工需遵循国家标准，实际道路环境中，相对于背景路面，车道线通常表现为明显的白色或黄色等宽特征。传统基于车道标线几何与灰度特征的提取方式容易受到环境噪声与光照变化的影响，鲁棒性较低近年来，基于深度学习的车道线检测算法取得了较大进展，与传统方法相比，可更稳定可靠的检测出车道线信息。
本发明中基于特征交叉结构的车道线检测方法从所述图像中提取出车辆当前所在车道的两侧车道线，基于特征交叉结构的车道线检测方法的原理图如图2所示，参考文献为：Zheng T, Huang Y, Liu Y, et al. CLRNet: Cross Layer Refinement Network forLane Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition. 2022: 898-907，具体包括以下步骤：
S121，采用金字塔结构实现图像进行特征分层表达；
S122，对分层表达后的图像进行自上而下的特征交叉传递结构构建，形成优化后的图像特征分层表达；
S123，基于优化后的图像特征分层表达拟合出车道线。
作为优选方案，在车道线检测方法的基础上，还可以构建车道线几何参数模型，车道线几何参数模型的构建步骤包括：首先在图像底部构建一个高度固定的车道线感兴趣区域（Region of Interest，ROI），减少远处曲线或者图像畸变对车道线斜率计算的影响；然后，使用RANSAC算法对图像提取结果进行线性拟合，剔除噪声特征，得到车道线的直线参数模型，该车道线的直线参数模型即为车道线几何参数模型。进一步的，将车道线几何参数模型中的几何参数的变化转化为对车道线与ROI上下边缘角点位置的变化，通过ROI区域的任意一条车道线与上下边界的角点分别为
Figure 121894DEST_PATH_IMAGE023
和
Figure 394613DEST_PATH_IMAGE024
，
Figure 684780DEST_PATH_IMAGE025
与ROI左下角原点O的横向距离为
Figure 79858DEST_PATH_IMAGE026
，
Figure 455476DEST_PATH_IMAGE027
和
Figure 141672DEST_PATH_IMAGE025
横向偏移量为
Figure 284682DEST_PATH_IMAGE028
，如图2所示，对于序列影像中的第t帧图像的第i条车道线可以表示为
Figure 601394DEST_PATH_IMAGE029
。通过车道线检测算法可得到图像的车道线集合
Figure 792204DEST_PATH_IMAGE030
，
Figure 469042DEST_PATH_IMAGE031
指代的是车道线，下标表示图像中车道线的编号，例如，S表示当前图像从左至右的车道线集合，下标0，1，2，3则表示此刻图像中有4个车道线，从左到右编号是
Figure 671484DEST_PATH_IMAGE032
。
步骤S2的基本原理是：根据拍摄的车道线图像中车道线以及灭点位置建立车辆横向偏离模型，由车辆横向偏离模型得到车辆相对于一侧车道线的偏离比值。概述为：在车道线图像中，两侧车道线从图像的底边延伸相交于灭点，从而构成三角形；将车辆与两侧车道线之间的距离比转换为车道线图像中线段
Figure DEST_PATH_IMAGE033
和线段
Figure 939523DEST_PATH_IMAGE034
的比值，其中，线段AB为道路平面内与左右两侧车道线垂直的任意线段，线段AB在车道线图像中对应为
Figure 492996DEST_PATH_IMAGE035
，C、
Figure 973524DEST_PATH_IMAGE036
表示灭点与图像底边中点的连线与线段
Figure 686265DEST_PATH_IMAGE035
的交点。
具体方法如下：
采用安装在车辆挡风玻璃上的前视摄像头来记录道路数据，其与车体自身的相对关系如图3所示。以相机摄影中心为原点，相机相对于道路水平方向存在一定的倾斜角度（俯仰角
Figure 16884DEST_PATH_IMAGE037
）。当车辆在两条相互平行的车道线内行驶时，摄影中心O所对应的地面垂直点为
Figure 372166DEST_PATH_IMAGE038
，过主垂线
Figure 203856DEST_PATH_IMAGE039
与车道线平行的平面与路面相交于直线
Figure 912049DEST_PATH_IMAGE040
平面
Figure 725153DEST_PATH_IMAGE041
根据车辆的当前位置将车道分割为左右两个区域，车辆在车道内横向偏离位置的计算可转换为左右两个区域宽度的比值。
为求解左右区域宽度比值，本发明基于摄影测量中透视作图分析法构建车辆横向偏离模型如图4（a）和图4（b）所示，图4（a）是根据相机透视投影原理构建的车辆横向偏离模型，O为投影中心，P为拍照获取的图像平面，
Figure 643431DEST_PATH_IMAGE042
与
Figure 154177DEST_PATH_IMAGE043
为水平路面上平行的左侧车道线和右侧车道线，它们在图像平面中的投影为
Figure 497303DEST_PATH_IMAGE044
与
Figure 825516DEST_PATH_IMAGE045
，地面上平行的左侧车道线
Figure 575297DEST_PATH_IMAGE042
与右侧车道线
Figure 201320DEST_PATH_IMAGE043
在图像平面中相交于灭点V（
Figure 743159DEST_PATH_IMAGE044
与
Figure 852061DEST_PATH_IMAGE045
相交于灭点V）。AB为道路平面内与左右两侧车道线垂直的任意直线，AB线段在图像平面的投影为
Figure 479351DEST_PATH_IMAGE046
，
Figure 646415DEST_PATH_IMAGE047
、
Figure 449286DEST_PATH_IMAGE048
分别表示直线
Figure 243935DEST_PATH_IMAGE049
和
Figure 765047DEST_PATH_IMAGE050
与平面
Figure 545921DEST_PATH_IMAGE051
的交点。根据三角形的相似关系，车辆在车道内左右区域的宽度比值可表示为：
Figure 921407DEST_PATH_IMAGE052
(1)
为求解
Figure 168849DEST_PATH_IMAGE053
与
Figure 692103DEST_PATH_IMAGE054
的比值，图像平面中建立了车辆在车道内位置与车道线斜率以及偏航角之间的关系模型如图4（b）所示。根据透视投影的等角特性，过主垂线与道路方向平行的平面与像平面的交线与主纵线的夹角与相机摄影方向与车道线方向的夹角相等。因此，可根据式(2)，计算左右车道线到车辆的距离比值。假设相机光心位于图像中间，可根据车道线的灭点位置计算得到车道偏航角从而得到角度补偿参数，如式(3)所示。
Figure 11089DEST_PATH_IMAGE055
(2)
Figure 257394DEST_PATH_IMAGE056
(3)
Figure 927934DEST_PATH_IMAGE057
为灭点在图像中的位置，
Figure 423637DEST_PATH_IMAGE058
为图像底边中心点的水平坐标，
Figure 811893DEST_PATH_IMAGE037
为相机拍摄方向与道路平面之间的夹角，
Figure 896393DEST_PATH_IMAGE059
为水平像素的总数，
Figure 751217DEST_PATH_IMAGE060
是图像中左侧车道线与图像底边之间的夹角，
Figure 62112DEST_PATH_IMAGE061
是图像中右侧车道线与图像底边之间的夹角，
Figure 909851DEST_PATH_IMAGE062
表示车辆与道路前进方向不一致导致的偏航角补偿，q是图像中灭点到图像底边垂线的长度，
Figure 865169DEST_PATH_IMAGE063
是车辆与左侧车道线之间的距离，
Figure 140161DEST_PATH_IMAGE064
是车辆与右侧车道线之间的距离，
Figure 938353DEST_PATH_IMAGE065
是车辆在车道内左右区域的宽度比值。
在进行车道线检测时，提取出了当前图像的车道线集合
Figure 278199DEST_PATH_IMAGE030
（
Figure 125239DEST_PATH_IMAGE031
指代的是车道线，下标表示图像中车道线的编号）根据相机透视模型，可通过相机主光轴在ROI底部的投影点的横向距离
Figure 649761DEST_PATH_IMAGE066
与集合S中各车道线的横向距离
Figure 810615DEST_PATH_IMAGE026
，确定车辆当前的左右参考车道线，基于车辆横向偏离模型得到车辆在车道内的位置。
步骤S3中所述汽车在车道宽度方向上的定位信息计算公式为：
Figure 157DEST_PATH_IMAGE067
(4)
其中，P是汽车在车道宽度方向上与左侧车道线或右侧车道线之间的距离，
Figure 54701DEST_PATH_IMAGE068
或
Figure 625491DEST_PATH_IMAGE069
，
Figure 54067DEST_PATH_IMAGE063
是车辆与左侧车道线之间的距离，
Figure 125928DEST_PATH_IMAGE064
是车辆与右侧车道线之间的距离，
Figure 707082DEST_PATH_IMAGE070
是车道宽度。
作为优选方案，还包括步骤S4，根据汽车在车道宽度方向上的定位信息的变化，得到车辆所在的车道编号。
步骤S4具体包括以下步骤：
S41，从车道线图像中获取道路上若干车道线，对若干车道线进行编号，并获取车辆当前所在车道的车道编号；
S42，若前后两帧车道线图像中，车辆相对于当前车道的一侧车道线的距离变化值超过预设阈值，则车辆从当前车道向左或者向右换道，相应的车道编号增加或者减少，得到车辆所在车道的车道编号。
车辆横向偏离模型计算的是当前车道内车辆相对于一侧车道线的横向偏离值，当车辆发生变道时，两侧参考车道线发生变更，计算结果将出现一个较大的突变，通过该突变，可以知道车辆的变道情况，车辆的变道情况通常叫做多车道横向运动估计。换道过程车辆横向偏离变化示意图如图5所示，车辆横向横向移动过程中，依次获取连续的四个距离值，例如，距离左侧车道线的距离分别是d1、d2、d3和d4，d1增大到d2，d2再增大到趋近于车道宽度，当车辆变道到右侧车道后，距离左侧车道线的距离d3会骤然变小，然后再逐渐增大到d4，相应地，得到右侧换道和左侧换道的横向偏离比值。多车道横向运动估计示意图如图6（a）和图6（b）所示，图6（a）为多车道横向运动估计中当前帧图像车道线示意图；图6（b）为图6（a）前一帧图像中车道线示意图；获取车辆当前左侧参考车道线的参数值
Figure 432461DEST_PATH_IMAGE029
，如图2所示，通过ROI区域的任意一条车道线与上下边界的角点分别为
Figure 364645DEST_PATH_IMAGE023
和
Figure 633340DEST_PATH_IMAGE025
，
Figure 396897DEST_PATH_IMAGE071
与ROI左下角原点O的横向距离为
Figure 106227DEST_PATH_IMAGE072
，
Figure 712658DEST_PATH_IMAGE073
和
Figure 532846DEST_PATH_IMAGE071
横向偏移量为
Figure 337860DEST_PATH_IMAGE074
，对于序列影像中的第t帧图像的第i条车道线可以表示为
Figure 811566DEST_PATH_IMAGE029
。
计算
Figure 656026DEST_PATH_IMAGE075
与前一帧图像中左侧参考车道线参数值
Figure 342222DEST_PATH_IMAGE076
之差
Figure 470584DEST_PATH_IMAGE077
，如式（5）。当车辆向右或向左变道时，
Figure 521716DEST_PATH_IMAGE077
逐渐增大或减小，当车辆完成换道，其左侧参考车道线发生变化，
Figure 978106DEST_PATH_IMAGE077
发生突变。本发明以
Figure 595556DEST_PATH_IMAGE077
为参考，当
Figure 453791DEST_PATH_IMAGE077
超过阈值
Figure 144666DEST_PATH_IMAGE078
，则判断车辆已向右换道，车道编号加1；若
Figure 9723DEST_PATH_IMAGE077
小于阈值
Figure 37722DEST_PATH_IMAGE079
，则判断车辆向左换道，车道编号减1，如式(6)。通过多车道横向运动估计方法，即可得出整体序列影像相对于第一帧的横向运动与换道变化情况。
Figure 625829DEST_PATH_IMAGE080
(5)
Figure 533611DEST_PATH_IMAGE081
(6)
式中
Figure 964593DEST_PATH_IMAGE082
为i帧图像中车辆所在车道的编号，
Figure 671649DEST_PATH_IMAGE083
是通过卡尔曼滤波对连续帧数据进行跟踪得到的车道线置信参数。
基于车辆横向偏离模型可以计算出车辆在当前车道中相对于一侧车道线的距离值，并且还根据多车道横向运动估计，可以确定车辆所在的车道，为得到车辆在高精地图中的绝对定位结果，需要结合同步采集的卫星定位数据进行匹配定位。首先基于轨迹定位数据进行道路匹配，本发明使用傅琛等提出的轨迹-路网匹配方法（参考文献傅琛,黄升钶,汤焱,吴杭彬,刘春,姚连璧,黄炜.结合行驶场景语义的轨迹-路网实时匹配方法[J].测绘学报,2021,50(11):1617-1627），结合GPS轨迹所提供的距离、方向、邻接指标，实现GPS与道路的匹配。根据道路层匹配结果获取高精地图中的车道数量以及宽度信息。
我国车道标线类型可分为实线与虚线两种，实线主要出现在道路两侧边界及禁止换道路段。基于此特征，当检测出车辆两侧车道线类型不同且一侧为实线时，判定车道当前所在车道为边界车道，结合整体序列影像相对于第一帧的换道变化情况，对车辆的左右参考车道线重新进行编码，这里的编码就是给当前帧图像中的车道线编号。结合高精地图的车道数目信息与车道标线的编码信息，可确定车辆的所在车道。使用车道宽度及本发明所提出横向偏离估计模型计算得到的车辆偏离比值，通过式(4)即可得到车辆在当前车道内的横向位置P。在此基础上，利用轨迹匹配的距离信息对序列影像的纵向运动进行重采样，得到车辆的全局连续高精定位信息。
实施例2
本发明采用车载视频记录仪与低精度卫星定位设备为数据采集终端，采集了某市智能网联示范区内10公里区域的GPS定位数据与14475帧序列影像。此外，本发明以车辆搭载的导远INS570D设备所采集的实时组合定位信息为真值，以某大学集成的高精度车载移动测量系统所生产的高精地图作为匹配地图，对本发明所提出的车辆横向偏离模型以及车道级定位方法分别进行试验验证。
1、车辆横向偏离结果
在车辆的横向偏离估计方法中，首先使用车辆横向偏离模型得到车辆在当前车道内左右车道线的距离比值，通过地图匹配结果初步确定车辆的所在道路，结合地图提供的车道宽度信息与距离比值，确定车辆在车道内离参考车道线的距离。为对算法进行验证，使用车辆向右侧跨越两车道的场景对车辆横向偏离模型进行了对比与分析。
图7是车辆横向偏移对比结果，展示了车辆在向右连续变换两个车道的状态下，本发明算法所得到的车辆与左侧车道标线的横向偏离值，与参考文献A（余厚云, 张为公, 赵转萍. 基于车道线斜率的车道偏离检测[J]. 光电工程, 2012, 39(07): 43-48）所提出的算法以及真值的对比结果。图中，长虚线表示接入差分信号的组合导航系统所获得的车辆高精度位置信息与当前左侧车道边界的横向偏离值，将其设为真值，实线表示使用本发明所提出的采用车辆横向偏离模型定位的方法所得到的车辆与左侧车道线的偏离距离，短虚线则是文献参考文献A所提出的车辆偏离检测算法结果。在车辆换道过程中，参考文献A的算法的横向偏离误差最大可以达到0.42米，本发明所提出的采用车辆横向偏离模型定位的方法的车辆实时横向偏离估计误差在0.2米以内，可将精度提升一倍。主要原因在于，参考文献A所提出的方法未考虑车辆与车道线之间的存在的夹角导致的车辆横向偏离误差，本发明通过图像的灭点信息对该误差进行了修正，在一定程度上提高了精度。
2、车道级定位结果
在车道级定位部分，本发明使用多车道横向运动估计与高精地图车道信息确定了车辆的整体横向运动信息。为对算法进行验证，本发明对所采集的14475帧序列影像在非交叉口处的车道级定位结果，以组合导航系统采集的车道行驶轨迹为真值进行了标注，结果图如图8（a）、图8（b）和图8（c）所示。图8（a）为使用车辆横向偏离模型所得到的车辆在单车道内的横向偏离比值；图8（b）为通过换道跟踪算法得到的车辆在多个车道内的运动情况，实验区域的道路包含三个车道，起始车道的编号为0，左转为-1，右转为1，图8（c）为通过地图匹配后得到的车辆在道路内的车道级定位情况。总体而言，在某市智能网联示范区内10公里区域的道路上，去除交叉口部分，本发明的准确率为96.1%，车道内的横向估计精度在0.2米以内。
总之，本发明提出的基于车辆横向偏离模型的车道级定位方法，通过低成本非标定车载视频记录仪与低精度卫星定位设备，使用车道线检测算法与车辆横向偏离模型即可准确的得到车辆所在车道，以及车辆在车道内的位置。可显著提升相机参数模型缺失的众包车载平台的横向定位精度。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技术人员而言，显然在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于非标定相机的车道级定位方法，其特征在于，包括以下步骤：
S1，获取车辆当前所在车道的车道线图像；
S2，根据车辆横向偏离模型，计算车辆相对于一侧车道线的偏离比值，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的；
S3，根据所述偏离比值和车道宽度，确定汽车在车道宽度方向上的定位信息；
步骤S2中，所述车辆横向偏离模型是根据所述车道线图像中拟合出的两侧车道线和灭点位置构成的几何图形建立的，具体是指，在车道线图像中，两侧车道线从图像的底边延伸相交于灭点，从而构成三角形；将车辆与两侧车道线之间的距离比转换为车道线图像中线段
Figure 503384DEST_PATH_IMAGE001
和线段
Figure 598289DEST_PATH_IMAGE002
的比值，其中，线段AB为道路平面内与左右两侧车道线垂直的任意线段，线段AB在车道线图像中对应为
Figure 643606DEST_PATH_IMAGE003
，
Figure 445339DEST_PATH_IMAGE004
表示灭点与图像底边中点的连线与线段
Figure 525291DEST_PATH_IMAGE005
的交点；
所述车辆横向偏离模型用公式表示为：
Figure 613333DEST_PATH_IMAGE006
其中，
Figure 145945DEST_PATH_IMAGE007
Figure 735058DEST_PATH_IMAGE008
为灭点在图像中的位置，
Figure 935095DEST_PATH_IMAGE009
为图像底边中心点的水平坐标，
Figure 194039DEST_PATH_IMAGE010
为相机拍摄方向与道路平面之间的夹角， m为水平像素的总数，
Figure 354893DEST_PATH_IMAGE011
是图像中左侧车道线与图像底边之间的夹角，
Figure 357484DEST_PATH_IMAGE012
是图像中右侧车道线与图像底边之间的夹角，
Figure 146448DEST_PATH_IMAGE013
表示车辆与道路前进方向不一致导致的偏航角补偿，q是图像中灭点到图像底边垂线的长度，
Figure 733549DEST_PATH_IMAGE014
是车辆与左侧车道线之间的距离，
Figure 240754DEST_PATH_IMAGE015
是车辆与右侧车道线之间的距离，
Figure 781457DEST_PATH_IMAGE016
是车辆在车道内左右区域的宽度比值。
2.如权利要求1所述的一种基于非标定相机的车道级定位方法，其特征在于，步骤S3中所述汽车在车道宽度方向上的定位信息计算公式为：
Figure 565873DEST_PATH_IMAGE017
其中，P是汽车在车道宽度方向上与左侧车道线或右侧车道线之间的距离，
Figure 166619DEST_PATH_IMAGE018
或
Figure 426699DEST_PATH_IMAGE019
，
Figure 895726DEST_PATH_IMAGE020
是车辆与左侧车道线之间的距离，
Figure 659283DEST_PATH_IMAGE021
是车辆与右侧车道线之间的距离，
Figure 696509DEST_PATH_IMAGE022
是车道宽度。
3.如权利要求1所述的一种基于非标定相机的车道级定位方法，其特征在于，步骤S1具体包括：
S11，拍摄包括车道线的图像；
S12，基于特征交叉结构的车道线检测方法从所述图像中提取出车辆当前所在车道的两侧车道线，构成车道线图像。
4.如权利要求3所述的一种基于非标定相机的车道级定位方法，其特征在于，步骤S12具体包括：
S121，采用金字塔结构实现图像进行特征分层表达；
S122，对分层表达后的图像进行自上而下的特征交叉传递结构构建，形成优化后的图像特征分层表达；
S123，基于优化后的图像特征分层表达拟合出车道线。
5.如权利要求1-4任一所述的一种基于非标定相机的车道级定位方法，其特征在于，还包括步骤S4，根据汽车在车道宽度方向上的定位信息的变化，得到车辆所在车道的车道编号。
6.如权利要求5所述的一种基于非标定相机的车道级定位方法，其特征在于，步骤S4具体包括以下步骤：
S41，从车道线图像中获取道路上若干车道线，对若干车道线进行编号，并获取车辆当前所在车道的车道编号；
S42，若前后两帧车道线图像中，车辆相对于当前车道的一侧车道线的距离变化值超过预设阈值，则车辆从当前车道向左或者向右换道，相应的车道编号增加或者减少，得到车辆所在车道的车道编号。
7.如权利要求6所述的一种基于非标定相机的车道级定位方法，其特征在于，步骤S42中，若以当前车道的左侧车道线为参考，当车辆相对于当前车道的左侧车道线的距离增加值超过预设阈值，则车辆已经向左换道，当车辆相对于当前车道的左侧参考车道线的距离的减小值超过预设阈值，则车辆已经向右换道。
8.一种基于非标定相机的车道级定位装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的一种基于非标定相机的车道级定位方法。
CN202211170179.6A 2022-09-26 2022-09-26 一种基于非标定相机的车道级定位方法及装置 Active CN115265493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211170179.6A CN115265493B (zh) 2022-09-26 2022-09-26 一种基于非标定相机的车道级定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211170179.6A CN115265493B (zh) 2022-09-26 2022-09-26 一种基于非标定相机的车道级定位方法及装置

Publications (2)

Publication Number Publication Date
CN115265493A CN115265493A (zh) 2022-11-01
CN115265493B true CN115265493B (zh) 2022-12-16

Family

ID=83757771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211170179.6A Active CN115265493B (zh) 2022-09-26 2022-09-26 一种基于非标定相机的车道级定位方法及装置

Country Status (1)

Country Link
CN (1) CN115265493B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670975B (zh) * 2024-01-31 2024-05-31 江苏群力技术有限公司 一种基于车载摄像头模组的测距控制方法
CN117928575B (zh) * 2024-03-22 2024-06-18 四川省公路规划勘察设计研究院有限公司 车道信息提取方法、系统、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582079A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 基于计算机视觉的车道定位方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5810842B2 (ja) * 2011-11-02 2015-11-11 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技（深圳）有限公司 目标车道的确定方法和装置
CN107463918B (zh) * 2017-08-17 2020-04-24 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110412603B (zh) * 2019-07-22 2023-07-04 昆山伟宇慧创智能科技有限公司 一种用于车道偏离计算的标定参数自适应更新方法
CN111874003B (zh) * 2020-06-23 2021-07-20 安徽信息工程学院 一种车辆行驶偏离预警方法和系统
CN114663860A (zh) * 2022-04-02 2022-06-24 奇瑞万达贵州客车股份有限公司 一种用于车道偏离系统中的车道线识别系统和方法
CN114719873B (zh) * 2022-06-02 2022-09-02 四川省公路规划勘察设计研究院有限公司 一种低成本精细地图自动生成方法、装置及可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582079A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 基于计算机视觉的车道定位方法及装置

Also Published As

Publication number Publication date
CN115265493A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115265493B (zh) 一种基于非标定相机的车道级定位方法及装置
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN110146910B (zh) 一种基于gps与激光雷达数据融合的定位方法及装置
CN102207389B (zh) 车辆位置识别系统
Tao et al. Lane marking aided vehicle localization
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
Smadja et al. Road extraction and environment interpretation from LiDAR sensors
CN109752701A (zh) 一种基于激光点云的道路边沿检测方法
CN111582079A (zh) 基于计算机视觉的车道定位方法及装置
CN110332945B (zh) 基于交通道路标线视觉识别的车载导航方法和装置
CN112698302A (zh) 一种颠簸路况下的传感器融合目标检测方法
CN111272139B (zh) 一种基于单目视觉的车辆长度测量方法
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
CN114396957B (zh) 基于视觉与地图车道线匹配的定位位姿校准方法及汽车
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
CN115035138B (zh) 基于众包数据的路面坡度提取方法
CN111694011A (zh) 一种摄像机和三维激光雷达数据融合的路沿检测方法
CN110864696A (zh) 一种基于车载激光惯导数据的三维高精地图绘制方法
CN105163065A (zh) 一种基于摄像机前端处理的交通测速方法
CN114323050A (zh) 车辆定位方法、装置和电子设备
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN113221883B (zh) 无人机飞行导航路线实时修正方法
CN113673386A (zh) 一种交通信号灯在先验地图中的标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant