CN113378654B - 基于定位和视觉技术融合的车道级定位方法及系统 - Google Patents

基于定位和视觉技术融合的车道级定位方法及系统 Download PDF

Info

Publication number
CN113378654B
CN113378654B CN202110561824.6A CN202110561824A CN113378654B CN 113378654 B CN113378654 B CN 113378654B CN 202110561824 A CN202110561824 A CN 202110561824A CN 113378654 B CN113378654 B CN 113378654B
Authority
CN
China
Prior art keywords
data
lane
positioning
vehicle
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110561824.6A
Other languages
English (en)
Other versions
CN113378654A (zh
Inventor
周竹萍
唐旭
刘博闻
于双志
栾泊蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110561824.6A priority Critical patent/CN113378654B/zh
Publication of CN113378654A publication Critical patent/CN113378654A/zh
Application granted granted Critical
Publication of CN113378654B publication Critical patent/CN113378654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/257Belief theory, e.g. Dempster-Shafer
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于定位和视觉技术融合的车道级定位方法及系统,该方法通过将高精度定位设备获取的车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,采用朴素贝叶斯和D‑S证据理论结合的数据融合方法输出当前车辆所在车道判别结果,避免了传统单一设备车道级定位工作时受到的外部环境干扰,提升了车道级定位的鲁棒性和准确性。本发明利用高精度定位设备将北斗卫星坐标精度提升至厘米级并结合视频设备,融合定位与视觉技术,实现精准且高鲁棒性的车道级定位。

Description

基于定位和视觉技术融合的车道级定位方法及系统
技术领域
本发明涉及北斗定位与图像处理分析领域,具体涉及一种基于定位和视觉技术融合的车道级定位方法及系统。
背景技术
随着我国公路建设取得了令世界瞩目的成绩,其中高速公路总里程已经位于世界第一位。与此同时,我国公路交通事故问题却日益严重。公路具有车速高、封闭性强、车型复杂等特点,致使公路交通事故伤亡与财产损失相比于城市道路更为严重。为应对我国公路交通安全的严峻形势,须深入研究车辆运行特征与规律,提高车道级定位的准确度和鲁棒性,并应用于工程实践,不断提升公路交通安全管理水平,增强事故预防与处置能力。
长期以来,传统的单一设备车道级定位方法容易受到外部环境干扰,如定位设备会受到隧道的影响,视频设备会受限于天气的状况,均无法应付复杂的路况。如现有车载视频设备通过识别车辆前方左右车道线数目从而实现车道级定位,但该方法在雨、雪、大雾天气、光线暗等情况下均有可能因视线模糊而造成误判,车道级定位效果较差。
发明内容
本发明目的在于提供一种基于定位和视觉技术融合的车道级定位方法及系统,可避免传统车道级定位方法在单一设备工作时状态不稳定而误判的情况,增强了系统的鲁棒性,提供一种高可靠性和准确性的车道级定位结果。
实现本发明目的的技术解决方案如下:
一种基于定位和视觉技术融合的车道级定位方法,包括:
定位设备采集行车轨迹经纬度数据并进行数据预处理;
车载摄像头采集前方道路图像数据,并检测图像数据中最右车道线;
计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离;
将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果。
本发明还一种基于定位和视觉技术融合的车道级定位系统,包括:
定位设备,采集行车轨迹经纬度数据并进行数据预处理;
车载摄像头,采集前方道路图像数据,并检测图像数据中最右车道线;
处理模块,计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离;
将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果。
本发明与现有技术相比,其显著优点为:
(1)MaskRcnn深度学习网络,该网络实时性强且准确度高,不仅能处理物体检测问题,还能处理语义分割问题;
(2)采用朴素贝叶斯和D-S证据理论结合的方法,它是一种多时空数据融合方法,采用朴素贝叶斯分类器输出概率分配值BPA,并运用D-S证据理论实现了对多时空数据进行融合,在处理多时刻、多设备的数据挖掘融合上相比其他机器学习算法表现出明显的优势;
(3)本发明可避免复杂环境下车道级定位设备单一工作状态不稳定,输出高鲁棒性和精准的车道级定位结果;
(4)辅助驾驶员规范行车,保障道路安全。
附图说明
图1为本发明基于定位和视觉技术融合的车道级定位方法流程图。
图2为d1计算方法示意图。
图3为d2计算方法示意图。
图4为数据融合算法整体框架图。
具体实施方式
由于传统单一设备的车道级定位方法容易受到外部环境干扰,如定位设备会受到隧道的影响而信号接收弱,视频设备会受限于天气的状况导致画面模糊,故均无法应付复杂的路况,故本发明提出一种基于定位和视觉技术融合的车道级定位方法,利用高精度定位设备将北斗卫星坐标精度提升至厘米级并结合视频设备,融合定位与视觉技术,实现精准且高鲁棒性的车道级定位。
该系统所涉及图像实例分割部分,选取MaskRcnn深度学习网络,该网络实时性强且准确度高,不仅能处理物体检测问题,还能处理语义分割问题;该系统所涉及数据融合方法,本发明在采用朴素贝叶斯和D-S证据理论结合的方法,它是一种多时空数据融合方法,采用朴素贝叶斯分类器输出概率分配值BPA,并运用D-S证据理论实现了对多时空数据进行融合,在处理多时段、多设备的数据挖掘融合上相比其他机器学习算法表现出明显的优势。
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示,本发明基于定位和视觉技术融合的车道级定位方法,其实现包括以下步骤:
步骤1、车辆携带高精度定位设备并将车载摄像头拍摄前方道路放置车内中控中心位置;
步骤2、高精度定位设备采集行车轨迹经纬度数据并进行数据预处理:
将高精度定位设备天线放置车辆顶部中心位置并以5Hz工作频率接收北斗卫星定位数据。
将高精度定位设备的北斗接收模块传输的数据进行提取,接收到的数据采用信息帧表示,帧头为$BDGGA,其中BD代表北斗定位系统。
接收到的数据帧格式为$BDGGA,(1),(2),(3),(4),(5),(6),(7),(8),(9),(10),(11),(12),其中各部分数字代表内容如下:
(1)定位UTC时间;
(2)纬度(格式ddmm.mmmm:即dd度,mm.mmmm分);
(3)N/S(北纬或南纬);
(4)经度(格式dddmm.mmmm:即ddd度,mm.mmmm分);
(5)E/W(东经或西经);
(6)质量因子(0=没有定位,1=实时GPS,2=差分GPS);
(7)可使用的卫星数(0~8);
(8)水平精度因子(1.0~99.9);
(9)天线高程(海平面,-9999.9~99999.9,单位:m);
(10)大地椭球面相对海平面的高度(-999.9~9999.9,单位:m);
(11)差分GPS数据年龄,实时GPS时无;
(12)差分基准站号(0000~1023),实时GPS时无;
数据以字符串的格式进行传输,通过确定“,”所在位置,来判断“,”后数据代表的内容,在Pycharm平台运用python语言进行经纬度的提取并存储为{(xi,yi)}。
示例性的,数据帧$BDGGA,074632.00,3201.5871448,N,11851.4797237,E,4,12,2.7,41.8365,M,1.180,M,09,0004*57为采集到的一个样例,其中,3201.5871448为纬度,其后的N代表北半球,11851.4797237为经度,其后的E代表东半球,E后紧随的4代表获得固定解,即已完成差分定位。
步骤3、车载摄像头采集前方道路图像数据,并检测图像数据中最右车道线:
本发明选择了MaskRcnn深度学习目标检测方法。检测每帧图像中的最右车道线,同时为每个实例生成一个分割掩码。
前期使用车载摄像头采集了2000张道路图片,并使用labelme进行图像中最右车道线的标注,将标注好的图片输入MaskRcnn网络进行训练得到权重。
使用训练好的MaskRcnn网络检测最右车道线算法流程如下:
a)输入当前帧图片并进行图像预处理即将图片尺寸缩放至640*448;
b)输入到预训练好的网络中获得对应的特征层网络;
c)将这些候选的感兴趣区域送入特征金字塔融合网络进行二值分类和回归分析,过滤掉一部分候选的感兴趣区域;
d)对这些剩下的感兴趣区域进行区域特征聚集操作,将原图和特征层网络的像素值对应起来,然后将特征层网络和固定的特征对应起来;
e)对这些感兴趣区域进行分类、回归分析和MASK掩码生成,随机返还掩码区域即检测到的最右车道线的两个像素坐标点q1(z1,z2),q2(z3,z4),检测到的直线效果如图3中32所示。
步骤4、计算车辆中心点与最右车道线的真实距离d1和视频设备获取的车辆中心点与图像中最右车道线的像素距离d2
d1计算方法:如图2所示,图中21为车辆,设置中心点22,将当前中心点北斗卫星定位数据进行预处理后的经纬度坐标设为(a1,b1),根据两经纬度点之间距离公式(1)和公式(2),遍历最右车道线的经纬度点{(xi,yi)}计算距离,返还最短距离d1为与最右车道线的真实距离,即图中23所示。
按照0度经线的基准,东经取经度的正值,西经取经度负值,北纬取90减去纬度值,南纬取90加上纬度值,则经过上述处理过后的两点被计为(ma1,mb1)和(mxi,myi)。那么根据三角推导,可以得到计算两点距离的如下公式:
C=sin(mb1)*sin(myi)*cos(ma1-mxi)+cos(mb1)*cos(myi) (1)
d1=R*arccos(C)*Pi/180 (2)
其中R为地球半径,Pi为圆周率。
d2计算方法:如图3所示,车载摄像头采集的图像数据尺寸为pt1*pt2,故设置图像中心点p(pt1/2,pt2/2),即图中31,根据点到直线的距离公式(3)计算p点到q1(z1,z2)、q2(z3,z4)所连直线的距离d2如图中33所示。
y=kx+b (3)
Figure BDA0003079325320000051
其中k、b为代入q1(z1,z2)、q2(z3,z4)求二元一次方程组所得。
示例性的,车载摄像头采集的图像数据尺寸为1920*1080,设置图像中心点p(960,640),根据点到直线的距离公式(3)计算p点到q1(z1,z2)、q2(z3,z4)所连直线的距离d2
y=kx+b
Figure BDA0003079325320000052
步骤5、将d1、d2作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果,具体如下:
a)收集定位和视频设备输出经处理后的历史数据,记为{S1_data,S2_data},将其作为朴素贝叶斯分类器的训练样本;
b)将训练样本输入到贝叶斯分类器中进行训练,对于连续数据采用连续贝叶斯公式计算,训练得到最终的贝叶斯分类器,公式如下;
Figure BDA0003079325320000053
式中:Ntc为训练样本中属于类型c{c1,c2,c3,c4}的集合分别对应第一、二、三、四车道,Nt为训练样本中全体训练集。
Figure BDA0003079325320000061
Figure BDA0003079325320000062
其中,r为2,所有c的类别构成集合Y,d包括d1,d2分别作为输入值输入。
对于连续属性,假设其概率密度近似符合正态分布,并采用概率密度进行计算,即
Figure BDA0003079325320000063
式中,μc,i和σc,i分别为c类样本在第i个样本上取值的均值和方差。
c)对于每个实时车道判别周期,采集两个监测设备当前时刻T1和上两个时刻T2、T3的监测数据,分别将T1到T3两个设备采集的数据输入到朴素贝叶斯分类器中进行分类预测。假设状态评估结果cj有4种情况(假设当前车辆所处路段为四车道即第一、二、三、四车道),则运用式(9)可以得到12个概率分配值BPA;
Figure BDA0003079325320000064
式中,m(cj)表示在已知属性为d1,d2的情况下将其分类为cj的信度。
d)运用D-S证据融合理论将3个时刻的概率分配值BPA进行合并,得到最终系统在评估周期的4个概率分配值BPA,每个概率分配值BPA表示对于每种分类结果的信任度,取最大的概率分配值BPA对应的分类结果作为最终该评估周期内系统的状态并输出对应所属车道,公式如下;
Figure BDA0003079325320000065
Figure BDA0003079325320000066
式中:A1∩…∩An=A为信息中一致的部分;
Figure BDA0003079325320000067
为正交和;K为冲突系数,1-K为剔除冲突干扰的归一化因子。
基于朴素贝叶斯分类器和D-S证据理论的多时空数据融合算法的整体框架如图4所示,将采集到的当前时刻T3和前两个时刻T1、T2的数据S_1data、S_2data、S_3data输入到训练好的贝叶斯分类器,得到P_T1、P_T2、P_T3共12个概率分配值BPA(每种4个即对应所处第一、二、三、四车道的概率),最后进行D-S证据融合得到最终的P,输出概率最大的车道即为最终判定结果。
本发明还提供一种基于定位和视觉技术融合的车道级定位系统,包括:
定位设备,采集行车轨迹经纬度数据并进行数据预处理;
车载摄像头,采集前方道路图像数据,并检测图像数据中最右车道线;
处理模块,计算车辆中心点与最右车道线的真实距离和视频设备获取的车辆中心点与图像中最右车道线的像素距离;
将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果。
需要指出的是,上述系统中各模块的实现方法具体详见上述基于定位和视觉技术融合的车道级定位方法部分,本发明不再做累述。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰因此,本发明的保护范围当视权利要求书所界定。

Claims (8)

1.一种基于定位和视觉技术融合的车道级定位方法,其特征在于,包括:
定位设备采集行车轨迹经纬度数据并进行数据预处理;
车载摄像头采集前方道路图像数据,并检测图像数据中最右车道线;
计算车辆中心点与最右车道线的真实距离d1和视频设备获取的车辆中心点与图像中最右车道线的像素距离d2,具体如下:
d1计算方法:将车辆当前北斗卫星定位数据进行预处理后的经纬度坐标设为(a1,b1),根据两经纬度点之间距离公式(1)和公式(2),遍历最右车道线的经纬度点{(xi,yi)}计算距离,返还最短距离d1即为与最右车道线的真实距离;
按照0度经线的基准,东经取经度的正值,西经取经度负值,北纬取90减去纬度值,南纬取90加上纬度值,则经过上述处理过后的两点被记为(ma1,mb1)和(mxi,myi);根据三角推导,计算两点距离的如下公式:
C=sin(mb1)*sin(myi)*cos(ma1-mxi)+cos(mb1)*cos(myi) (1)
d1=R*arccos(C)*Pi/180 (2)
其中R为地球半径,Pi为圆周率;
d2计算方法:车载摄像头采集的图像数据尺寸为pt1*pt2,设置图像中心点p(pt1/2,pt2/2),根据点到直线的距离公式(3)计算p点到q1(z1,z2)、q2(z3,z4)所连直线的距离d2
y=kx+b (3)
Figure FDA0003706847200000011
其中k、b为代入q1(z1,z2)、q2(z3,z4)求二元一次方程组所得;
将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果。
2.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法,其特征在于,所述车载摄像头放置车内中控中心位置。
3.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法,其特征在于,所述的定位设备采集行车轨迹经纬度数据并进行数据预处理,具体如下:
将定位设备天线放置车辆顶部中心位置并接收北斗卫星定位数据,将定位设备的北斗接收模块传输的数据进行提取,接收到的数据采用信息帧表示,帧头为$BDGGA,其中BD代表北斗定位系统;
接收到的数据帧格式为$BDGGA,(1),(2),(3),(4),(5),(6),(7),(8),(9),(10),(11),(12),其中各部分数字代表内容如下:
(1)定位UTC时间;(2)纬度;(3)N/S;(4)经度;(5)E/W;(6)质量因子,0=没有定位,1=实时GPS,2=差分GPS;(7)可使用的卫星数;(8)水平精度因子;(9)天线高程;(10)大地椭球面相对海平面的高度;(11)差分GPS数据年龄,实时GPS时无;(12)差分基准站号,实时GPS时无;
数据以字符串的格式进行传输,通过确定“,”所在位置,来判断“,”后数据代表的内容,在Pycharm平台运用python语言进行经纬度的提取并存储为{(xi,yi)}。
4.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法,其特征在于,所述车载摄像头采集前方道路图像数据,并检测图像数据中最右车道线,具体如下:
采用MaskRcnn深度学习目标检测方法,检测每帧图像中的最右车道线,同时为每个实例生成一个分割掩码;
使用车载摄像头采集的N张道路图片,并使用labelme进行图像中最右车道线的标注,将标注好的图片输入MaskRcnn网络进行训练得到权重;
使用训练好的MaskRcnn网络检测最右车道线算法流程如下:
a)输入当前帧图片并进行图像预处理;
b)输入到预训练好的网络中获得对应的特征层网络;
将这些候选的感兴趣区域送入特征金字塔融合网络进行二值分类和回归分析,过滤掉一部分候选的感兴趣区域;
对这些剩下的感兴趣区域进行区域特征聚集操作,将原图和特征层网络的像素值对应起来,然后将特征层网络和固定的特征对应;
对这些感兴趣区域进行分类、回归分析和MASK掩码生成,随机返还掩码区域即检测到的最右车道线的两个像素坐标点q1(z1,z2),q2(z3,z4)。
5.根据权利要求1所述的基于定位和视觉技术融合的车道级定位方法,其特征在于,步骤4将d1、d2作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果,具体如下:
a)收集定位和视频设备输出经处理后的历史数据,记为{S1_data,S2_data},将其作为朴素贝叶斯分类器的训练样本;
b)将训练样本输入到贝叶斯分类器中进行训练,对于连续数据采用连续贝叶斯公式计算,训练得到最终的贝叶斯分类器,公式如下:
Figure FDA0003706847200000031
式中:Ntc为训练样本中属于类型c{c1,c2,c3,c4}的集合分别对应第一、二、三、四车道,Nt为训练样本中全体训练集;
Figure FDA0003706847200000032
Figure FDA0003706847200000033
其中,r为2,所有c的类别构成集合Y,d包括d1,d2分别作为输入值输入;
对于连续属性,假设其概率密度近似符合正态分布,并采用概率密度进行计算,即
Figure FDA0003706847200000034
式中,μc,i和σc,i分别为c类样本在第i个样本上取值的均值和方差;
c)对于每个实时车道判别周期,采集两个监测设备当前时刻T1和上两个时刻T2、T3的监测数据,分别将T1到T3两个设备采集的数据输入到朴素贝叶斯分类器中进行分类预测;假设状态评估结果cj有4种情况:当前车辆所处路段为四车道即第一、二、三、四车道,则运用式(9)可以得到12个概率分配值BPA;
Figure FDA0003706847200000035
式中,m(cj)表示在已知属性为d1,d2的情况下将其分类为cj的信度;
d)运用D-S证据融合理论将3个时刻的概率分配值BPA进行合并,得到最终系统在评估周期的4个概率分配值BPA,每个概率分配值BPA表示对于每种分类结果的信任度,取最大的概率分配值BPA对应的分类结果作为最终该评估周期内系统的状态并输出当前车辆所在车道,公式如下:
Figure FDA0003706847200000041
Figure FDA0003706847200000042
式中:A1∩…∩An=A为信息中一致的部分;
Figure FDA0003706847200000043
为正交和;K为冲突系数,1-K为剔除冲突干扰的归一化因子。
6.一种基于定位和视觉技术融合的车道级定位系统,其特征在于,包括:
定位设备,采集行车轨迹经纬度数据并进行数据预处理;
车载摄像头,采集前方道路图像数据,并检测图像数据中最右车道线;
处理模块,计算车辆中心点与最右车道线的真实距离d1和视频设备获取的车辆中心点与图像中最右车道线的像素距离d2,具体如下:
d1计算方法:将车辆当前北斗卫星定位数据进行预处理后的经纬度坐标设为(a1,b1),根据两经纬度点之间距离公式(1)和公式(2),遍历最右车道线的经纬度点{(xi,yi)}计算距离,返还最短距离d1即为与最右车道线的真实距离;
按照0度经线的基准,东经取经度的正值,西经取经度负值,北纬取90减去纬度值,南纬取90加上纬度值,则经过上述处理过后的两点被记为(ma1,mb1)和(mxi,myi);根据三角推导,计算两点距离的如下公式:
C=sin(mb1)*sin(myi)*cos(ma1-mxi)+cos(mb1)*cos(myi) (1)
d1=R*arccos(C)*Pi/180 (2)
其中R为地球半径,Pi为圆周率;
d2计算方法:车载摄像头采集的图像数据尺寸为pt1*pt2,设置图像中心点p(pt1/2,pt2/2),根据点到直线的距离公式(3)计算p点到q1(z1,z2)、q2(z3,z4)所连直线的距离d2
y=kx+b (3)
Figure FDA0003706847200000051
其中k、b为代入q1(z1,z2)、q2(z3,z4)求二元一次方程组所得;
将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果。
7.根据权利要求6所述的基于定位和视觉技术融合的车道级定位系统,其特征在于,所述车载摄像头采集前方道路图像数据,并检测图像数据中最右车道线,具体如下:
采用MaskRcnn深度学习目标检测方法,检测每帧图像中的最右车道线,同时为每个实例生成一个分割掩码;
前期使用车载摄像头采集的N张道路图片,并使用labelme进行图像中最右车道线的标注,将标注好的图片输入MaskRcnn网络进行训练得到权重;
使用训练好的MaskRcnn网络检测最右车道线算法流程如下:
输入当前帧图片并进行图像预处理;
输入到预训练好的网络中获得对应的特征层网络;
将这些候选的感兴趣区域送入特征金字塔融合网络进行二值分类和回归分析,过滤掉一部分候选的感兴趣区域;
对这些剩下的感兴趣区域进行区域特征聚集操作,将原图和特征层网络的像素值对应起来,然后将特征层网络和固定的特征对应起来;
对这些感兴趣区域进行分类、回归分析和MASK掩码生成,随机返还掩码区域即检测到的最右车道线的两个像素坐标点q1(z1,z2),q2(z3,z4)。
8.根据权利要求6所述的基于定位和视觉技术融合的车道级定位系统,其特征在于,将车辆中心点与最右车道线的真实距离、视频设备获取的车辆中心点与图像中最右车道线的像素距离作为数据融合的输入值,使用朴素贝叶斯和D-S证据理论数据融合方法输出最终所在车道判别结果,具体如下:
a)收集定位和视频设备输出经处理后的历史数据,记为{S1_data,S2_data},将其作为朴素贝叶斯分类器的训练样本;
b)将训练样本输入到贝叶斯分类器中进行训练,对于连续数据采用连续贝叶斯公式计算,训练得到最终的贝叶斯分类器,公式如下:
Figure FDA0003706847200000061
式中:Ntc为训练样本中属于类型c{c1,c2,c3,c4}的集合分别对应第一、二、三、四车道,Nt为训练样本中全体训练集;
Figure FDA0003706847200000062
Figure FDA0003706847200000063
其中,r为2,所有c的类别构成集合Y,d包括d1,d2分别作为输入值输入;
对于连续属性,假设其概率密度近似符合正态分布,并采用概率密度进行计算,即
Figure FDA0003706847200000064
式中,μc,i和σc,i分别为c类样本在第i个样本上取值的均值和方差;
c)对于每个实时车道判别周期,采集两个监测设备当前时刻T1和上两个时刻T2、T3的监测数据,分别将T1到T3两个设备采集的数据输入到朴素贝叶斯分类器中进行分类预测;假设状态评估结果cj有4种情况:假设当前车辆所处路段为四车道即第一、二、三、四车道,则运用式(9)可以得到12个概率分配值BPA;
Figure FDA0003706847200000065
式中,m(cj)表示在已知属性为d1,d2的情况下将其分类为cj的信度;
d)运用D-S证据融合理论将3个时刻的概率分配值BPA进行合并,得到最终系统在评估周期的4个概率分配值BPA,每个概率分配值BPA表示对于每种分类结果的信任度,取最大的概率分配值BPA对应的分类结果作为最终该评估周期内系统的状态并输出当前车辆所在车道,公式如下:
Figure FDA0003706847200000066
Figure FDA0003706847200000071
式中:A1∩…∩An=A为信息中一致的部分;
Figure FDA0003706847200000072
为正交和;K为冲突系数,1-K为剔除冲突干扰的归一化因子。
CN202110561824.6A 2021-05-23 2021-05-23 基于定位和视觉技术融合的车道级定位方法及系统 Active CN113378654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561824.6A CN113378654B (zh) 2021-05-23 2021-05-23 基于定位和视觉技术融合的车道级定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561824.6A CN113378654B (zh) 2021-05-23 2021-05-23 基于定位和视觉技术融合的车道级定位方法及系统

Publications (2)

Publication Number Publication Date
CN113378654A CN113378654A (zh) 2021-09-10
CN113378654B true CN113378654B (zh) 2022-08-16

Family

ID=77571693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561824.6A Active CN113378654B (zh) 2021-05-23 2021-05-23 基于定位和视觉技术融合的车道级定位方法及系统

Country Status (1)

Country Link
CN (1) CN113378654B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049615B (zh) * 2021-11-12 2023-09-05 阿波罗智联(北京)科技有限公司 行驶环境中交通对象融合关联方法、装置及边缘计算设备
CN114252082B (zh) * 2022-03-01 2022-05-17 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN115221261A (zh) * 2022-07-18 2022-10-21 小米汽车科技有限公司 地图数据融合方法、装置、车辆及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070118A (zh) * 2019-04-10 2019-07-30 广东电网有限责任公司 一种多时空数据融合方法
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070118A (zh) * 2019-04-10 2019-07-30 广东电网有限责任公司 一种多时空数据融合方法
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置

Also Published As

Publication number Publication date
CN113378654A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378654B (zh) 基于定位和视觉技术融合的车道级定位方法及系统
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111787481B (zh) 一种基于5g的路车协调高精度感知方法
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
CN115717894B (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
EP4105600A2 (en) Method for automatically producing map data, related apparatus and computer program product
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
Rezaei et al. 3d-net: Monocular 3d object recognition for traffic monitoring
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
CN114898204B (zh) 一种基于深度学习的轨道交通周边危险源检测方法
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
CN115311458A (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法
HemaMalini et al. Detection of Potholes on Roads using a Drone
CN114743168A (zh) 基于深度学习的行车风险源识别评估方法及系统
CN114528922A (zh) 基于车道级定位的车辆频繁变道检测方法
CN114037750A (zh) 一种轨道虚拟应答器的实现方法
Cypto et al. Automatic detection system of speed violations in a traffic based on deep learning technique
Kahaki et al. Incident and traffic-bottleneck detection algorithm in high-resolution remote sensing imagery
CN113239962A (zh) 一种基于单个固定摄像头的交通参与者的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant