CN113566779A - 一种基于直线检测和数字地图匹配的车辆航向角估计方法 - Google Patents

一种基于直线检测和数字地图匹配的车辆航向角估计方法 Download PDF

Info

Publication number
CN113566779A
CN113566779A CN202110881752.3A CN202110881752A CN113566779A CN 113566779 A CN113566779 A CN 113566779A CN 202110881752 A CN202110881752 A CN 202110881752A CN 113566779 A CN113566779 A CN 113566779A
Authority
CN
China
Prior art keywords
angle
lane line
image
vehicle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110881752.3A
Other languages
English (en)
Other versions
CN113566779B (zh
Inventor
潘树国
彭雅慧
高旺
乔龙雷
谭涌
孙迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110881752.3A priority Critical patent/CN113566779B/zh
Publication of CN113566779A publication Critical patent/CN113566779A/zh
Application granted granted Critical
Publication of CN113566779B publication Critical patent/CN113566779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于直线检测和数字地图匹配的车辆航向角估计方法，结合直线检测与地图匹配，将车辆位置匹配至数字地图中的对应点，计算方位角并与车辆航向角相减得到角度差，其次运用改进的FLD直线识别算法计算该时刻图像中识别到的车道线角度，利用角度差和对应图片中车道线角度参数形成数据集输入BP神经网络参与训练，训练完成后可输入图片车道线数据预测角度差，最后结合对应车道线点的方位角，计算车辆航向角。本发明估计方向角的最大误差为1.39°，精度为0.425°。综合本发明和其他方法的估计精度结果可知，本发明中的航向角估计方法与现有的方法及普通的测量传感器相比具有一定的优势。

Description

一种基于直线检测和数字地图匹配的车辆航向角估计方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于直线检测和数字地图匹配的车辆航向角估计方法。
背景技术
无人驾驶车辆等智能系统的快速发展对车辆定位技术提出了更高的要求，车辆的导航与定位技术也是智能交通系统中实现信息互联互通的关键。车辆位置、速度、方向角等运动参数是定位的基础。
在复杂的城市环境中，航向角误差对定位精度有较大的影响。直接测量车辆航向角通常使用磁传感器、陀螺仪和卫星导航系统等。有研究人员采用电子罗盘测量航向角，用于修正行人轨迹推算。磁力计也可用于测量航向角，但是磁传感器受地球以及周边磁场环境影响较大，陀螺仪的误差会随时间累积，测量精度逐渐下降。而卫星导航系统也有其约束条件，例如在复杂城市环境下，卫星导航系统的信号受到遮挡，航向角的测量也会随之受到影响。除此之外，通过对横摆角速度的连续积分也可以获得每个时刻的车辆航向角。但这种通过积分计算航向角的方法也不能避免累计误差。除了直接测量车辆航向角以外，还可以根据场景信息进行估计。通过车辆行驶过程中的视觉图像和先验环境信息估计车辆航向角是一种较为新颖的方法。2019年，Xu提出了一种融合深度学习和增强数字地图的方法用于车辆航向角的估计。运用卷积神经网络和支持向量机识别并预测车道线信息表征的车辆方向角。相对于直接数据信息来说，对视觉图像直接进行特征提取和识别，并参与网络模型训练的方法，其实时处理的难度更大，且对车载系统的性能要求更高。
发明内容
为解决上述问题，本发明公开了一种基于直线检测和数字地图匹配的车辆航向角估计方法，在不适用直接测量方法的情况下，运用数字地图等信息，根据道路图片估计车辆航向角，估计车辆航向角准确性与现有方法相比有所提高，避免了导航过程中由于惯导系统累积误差导致的车辆定位误差，为车辆导航系统提供横向约束。
为达到上述目的，本发明的技术方案如下：
一种基于直线检测和数字地图匹配的车辆航向角估计方法，包括以下步骤：
(1)根据垂足公式将车辆位置匹配至数字地图中的对应点，计算该对应车道线点的方位角，并与车辆航向角相减得到角度差，
(2)运用改进的FLD直线识别算法，计算该时刻图像中识别到的车道线角度，利用角度差和对应图片中车道线角度参数形成数据集输入BP神经网络进行训练，训练完成后可输入图片车道线直线角度数据预测角度差，
(3)结合数字地图匹配计算车道线方位角，计算车辆航向角。
进一步地：步骤(1)中，所述车辆航向角与车道线点方位角角度差计算过程包括：
首先要获取图像对应车道线点的位置坐标：根据里程计输出结果，车辆总里程为S，数字地图上车道线点分别为P0,P1,P2,…，并对整条车道线等间隔插值，获取更加密集的车道线点；运用公式(1)计算总里程S匹配车道线对应点：
Figure BDA0003192274830000021
式中，Pm表示匹配到的前一个最近点点号，Pn表示匹配到的后一个最近点点号；b表示车道线点间距(在本文数字地图中，车道线相邻点间距为固定值1m)，P0表示起始点点号；对PmPn段根据距离划分原则，得对应垂直点Pv的坐标为：
Figure BDA0003192274830000022
式中，β＝S-floor(S)，floor(·)表示向下取整。得到垂直点坐标后，即可根据车道线点坐标
Figure BDA0003192274830000023
选择最接近Pv的点作为假定点，并运用Vincenty公式根据经纬度坐标计算该点的前后两点Pv1，Pv2对应的方向角；
当两点的经纬度不重合且不在两极时，计算点Pv1到点Pv2的大地经差L＝L2-L1，并对L进行规范化处理，使其落在[-π,π]内；根据公式(3)计算Pv1，Pv2点规划纬度u1，u2；
Figure BDA0003192274830000024
通过迭代计算球面经差ω＝L+△ω，计算并对ω规范化处理，使其落在[-π,π]中；
当大地线不是子午线和赤道时，采用公式(4)-公式(6)计算方向角：
Figure BDA0003192274830000025
Figure BDA0003192274830000026
Figure BDA0003192274830000027
本发明中，车辆方向角定义为切线方向与正北方向的夹角，沿顺时针方向增大，且范围为[0,2π]；用车辆定位航向角减去对应车道线点的方位角，得到角度差△H；以Pv1，Pv2两点计算得到的角度作为图像对应车道线位置的方向角。
进一步地：步骤(2)中，所述图像中识别的车道线直线角度计算过程包括：
本发明根据图像实际情况，车道线检测的重点是检测输入图像的道路区域，考虑到车道线和周围环境都含有长短不一的直线，直线检测算法不能直接区分车道线和周围环境，因此选择多边形ROI区域作为车道线检测的图像。根据大小为(l,d)的原始图像，取l和d的1/2作为ROI区域形状顶点，取d的7/8和图片左下角、右下角作为左右两侧边缘点，形成两个梯形ROI区域，经过图像灰度化，计算像素梯度值和方向，抑制非极大值，检测双阈值并跟踪滞后边界。最终可计算识别到的车道线直线，设两端点坐标分别为A(xA,yA)和B(xB,yB)，直线的长度和角度计算公式可表示为：
Figure BDA0003192274830000031
式中leni表示线段长度，θi表示线段与水平方向的夹角，k为线段序号。
通过ROI选取部分，尽可能保证FLD算法只检测道路区域的直线。根据相机放置高度和透视角度，结合线段的长度和角度筛选和合并直线段，只保留车道线上的线段。对左右车道线的角度分别取平均值，最终一张图像经过处理后输出θleft和θright。
进一步地：步骤(3)中，所述采用BP神经网络预测角度差并推算车辆航向角的实施过程包括：
通过图像处理分析可获得θleft和θright两个参数，图像对应车道线点可计算得到车辆航向角和车道线方向角的角度差△H，作为训练数据，再次获得图片时，只需处理图像计算左右车道线直线的角度，便可通过BP神经网络预测△H。在本文的车道线方向角与车辆航向角的角度差识别中是用BP神经网络处理回归问题。θleft和θright作为BP神经网络的输入，由此确定输入神经元的个数为2，选取△H作为网络模型的输出。确定输出层神经元的个数为1。隐含层层数为1，神经元个数为3。训练完成后，输入某一时刻对应图片识别的车道线直线角度至网络中，估计该时刻车辆航向角和对应点车道线方位角的角度差△H，将△H与车道线方位角相加，可得到预测车辆航向角。
本发明的有益效果为：
本发明提出一种基于直线检测和数字地图匹配的车辆航向角估计方法。与传统的车辆航向角测量方法相比，本发明提到的航向角估计方法可避免惯导长时间使用带来的累积误差，也可在卫星信号失锁时补充车辆航向角信息。通过车辆行驶过程中的视觉图像转换为直接可用数据与先验环境信息结合估计车辆航向角的方法，与直接使用图像输出估计航向角的方法相比，对网络模型的要求更低，且可实现实时估计。本发明估计方向角的最大误差为1.39°，估计精度为0.425°。综合数据分析可知，本发明中的航向角估计方法与现有的方法及普通的测量传感器相比具有一定的优势。
附图说明
图1是本方法流程图。
图2西羊坊隧道行程车辆航向角与本发明估计航向角对比图。
图3 50-65s车辆航向角与本发明估计航向角对比图。
图4 166-181s车辆航向角与本发明估计航向角对比图。
图5 471-486s车辆航向角与本发明估计航向角对比图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明选择北京西羊坊隧道真实路段对所提出的基于直线检测和数字地图匹配的车辆航向角估计方法进行了实验。
图2对比了真实航向角与本发明提出方法验证的航向角的结果对比。图3-5分别为不同时间段航向角对比结果的局部图。由图可知，本发明的车辆航向角估计结果与车辆真实航向角基本吻合，在不同时间段的估计精度有可能受到训练集数量和准确度，以及训练次数的影响。
由于硬件条件、测量原理和操作环境不同，很难对本发明提出的车辆航向角估计方法进行准确和公平的比较，因此，结合Xu论文中实验部分，选择使用不同原理的两个传感器和Xu提出的算法与本发明进行比较。这两种传感器通常用于测量航向角，且价格适中，在民用车辆上应用广泛。表1对比了Xu提出的方法中两段轨迹预测航向角的精度、两种传感器航向角测量精度与本发明在西羊坊隧道轨迹中预测航向角的精度。MEMS-IMU MEMSICVG440在使用有效的GPS辅助情况下，航向角的测量精度为1°，电子罗盘KVH C100在自由磁场中补偿后的精度为0.5°。在验证工作具体实施过程中，可得出本发明估计方向角的最大误差为1.39°，估计精度为0.425°。综合数据分析可知，本发明中的航向角估计方法与现有的方法及普通的测量传感器相比具有一定的优势。
表1不同方法航向角预测精度对比
Figure BDA0003192274830000041
Figure BDA0003192274830000051

Claims (2)

1.一种基于直线检测和数字地图匹配的车辆航向角估计方法，其特征在于：包括以下步骤：
(1)根据垂足公式将车辆位置匹配至数字地图中的对应点，计算该对应车道线点的方位角，并与车辆航向角相减得到角度差；
(2)运用改进的FLD直线识别算法，计算该时刻图像中识别到的车道线角度，利用角度差和对应图片中车道线角度参数形成数据集输入BP神经网络进行训练，训练完成后可输入图片车道线直线角度数据预测角度差；
(3)结合数字地图匹配计算车道线方位角，计算车辆航向角。
2.根据要求1所述的基于直线检测和数字地图匹配的车辆航向角估计方法，其特征在于：包括如下具体步骤：
步骤(1)角度差计算
首先要获取图像对应车道线点的位置坐标；根据里程计输出的车辆总里程为S，数字地图上车道线点分别为P0,P1,P2,…，并对整条车道线等间隔插值，获取更加密集的车道线点；运用公式(1)计算总里程S匹配车道线对应点：
Figure FDA0003192274820000011
式中，Pm表示匹配到的前一个最近点点号，Pn表示匹配到的后一个最近点点号；b表示车道线点间距，在本文数字地图中，车道线相邻点间距为固定值1m，P0表示起始点点号；对PmPn段根据距离划分原则，得到对应垂直点Pv的坐标为：
Figure FDA0003192274820000012
式中，β＝S-floor(S)，floor(·)表示向下取整；得到垂直点坐标后，根据车道线点坐标
Figure FDA0003192274820000014
选择最接近Pv的点作为假定点，并运用Vincenty公式根据经纬度坐标计算该点的前后两点Pv1，Pv2对应的方向角；
当两点的经纬度不重合且不在两极时，计算点Pv1到点Pv2的大地经差L＝L2-L1，并对L进行规范化处理，使其落在[-π,π]内；根据公式(3)计算Pv1，Pv2点归划纬度u1，u2。
Figure FDA0003192274820000013
通过迭代计算球面经差ω＝L+△ω，计算并对ω规范化处理，使其落在[-π,π]中；
当大地线不是子午线和赤道时，采用公式(4)-公式(6)计算方向角：
Figure FDA0003192274820000021
Figure FDA0003192274820000022
Figure FDA0003192274820000023
所述车辆方向角定义为切线方向与正北方向的夹角，沿顺时针方向增大，且范围为[0,2π]；用车辆定位航向角减去对应车道线点的方位角，得到角度差△H；以Pv1，Pv2两点计算得到的角度作为图像对应车道线位置的方向角；
步骤(2)图像中车道线角度计算
根据图像实际情况，选择多边形ROI区域作为车道线检测的图像；根据大小为(l,d)的原始图像，取l和d的1/2作为ROI区域形状顶点，取d的7/8和图片左下角、右下角作为左右两侧边缘点，形成两个梯形ROI区域，经过图像灰度化，计算像素梯度值和方向，抑制非极大值，检测双阈值并跟踪滞后边界；最终计算识别到的车道线直线，设两端点坐标分别为A(xA,yA)和B(xB,yB)，直线的长度和角度计算公式表示为：
Figure FDA0003192274820000024
式中leni表示线段长度，θi表示线段与水平方向的夹角，k为线段序号；
通过ROI选取部分，尽可能保证FLD算法只检测道路区域的直线；根据相机放置高度和透视角度，结合线段的长度和角度筛选和合并直线段，只保留车道线上的线段；对左右车道线的角度分别取平均值，最终一张图像经过处理后输出θleft和θright；
步骤(3)BP神经网络回归计算
通过图像处理分析获得θleft和θright两个参数，图像对应车道线点计算得到车辆航向角和车道线方向角的角度差△H，作为训练数据，再次获得图片时，只需处理图像计算左右车道线直线的角度，便能够通过BP神经网络预测△H；在本文的车道线方向角与车辆航向角的角度差识别中是用BP神经网络处理回归问题；θleft和θright作为BP神经网络的输入，由此确定输入神经元的个数为2，选取△H作为网络模型的输出；确定输出层神经元的个数为1；隐含层层数为1，神经元个数为3；训练完成后，输入某一时刻对应图片识别的车道线直线角度至网络中，估计该时刻车辆航向角和对应点车道线方位角的角度差△H，将△H与车道线方位角相加，得到预测车辆航向角。
CN202110881752.3A 2021-08-02 2021-08-02 一种基于直线检测和数字地图匹配的车辆航向角估计方法 Active CN113566779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881752.3A CN113566779B (zh) 2021-08-02 2021-08-02 一种基于直线检测和数字地图匹配的车辆航向角估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881752.3A CN113566779B (zh) 2021-08-02 2021-08-02 一种基于直线检测和数字地图匹配的车辆航向角估计方法

Publications (2)

Publication Number Publication Date
CN113566779A true CN113566779A (zh) 2021-10-29
CN113566779B CN113566779B (zh) 2022-07-26

Family

ID=78169945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881752.3A Active CN113566779B (zh) 2021-08-02 2021-08-02 一种基于直线检测和数字地图匹配的车辆航向角估计方法

Country Status (1)

Country Link
CN (1) CN113566779B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114252082A (zh) * 2022-03-01 2022-03-29 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN117576218A (zh) * 2024-01-17 2024-02-20 南开大学 一种自适应的视觉惯导里程计输出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
CN107860399A (zh) * 2017-09-22 2018-03-30 北京机械设备研究所 一种基于地图匹配的车载捷联惯导行进间精对准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
CN107860399A (zh) * 2017-09-22 2018-03-30 北京机械设备研究所 一种基于地图匹配的车载捷联惯导行进间精对准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114252082A (zh) * 2022-03-01 2022-03-29 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN117576218A (zh) * 2024-01-17 2024-02-20 南开大学 一种自适应的视觉惯导里程计输出方法
CN117576218B (zh) * 2024-01-17 2024-03-29 南开大学 一种自适应的视觉惯导里程计输出方法

Also Published As

Publication number Publication date
CN113566779B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN102208035B (zh) 图像处理系统及位置测量系统
CN110859044B (zh) 自然场景中的集成传感器校准
CN102222236B (zh) 图像处理系统及位置测量系统
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
CN101576384B (zh) 一种基于视觉信息校正的室内移动机器人实时导航方法
CN102999759B (zh) 一种基于光流的车辆运动状态估计方法
Tao et al. Lane marking aided vehicle localization
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN108627175A (zh) 用于识别车辆位置的系统和方法
CN110146910A (zh) 一种基于gps与激光雷达数据融合的定位方法及装置
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
CN113566779B (zh) 一种基于直线检测和数字地图匹配的车辆航向角估计方法
WO2020140164A1 (en) Systems and methods for updating a high-definition map
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN111649740B (zh) 一种基于imu进行车辆高精度定位的方法及系统
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111426320A (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
Konrad et al. Localization in digital maps for road course estimation using grid maps
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN113252051A (zh) 一种地图构建方法及装置
CN109115232B (zh) 导航的方法和装置
WO2020248197A1 (en) Saturation flow estimation for signalized intersections using vehicle trajectory data
WO2020113425A1 (en) Systems and methods for constructing high-definition map
JP2002081941A (ja) 道路の３次元形状を測定するためのシステム及び方法
US20230273029A1 (en) Vision-based location and turn marker prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant