CN117553811B - 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 - Google Patents
基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 Download PDFInfo
- Publication number
- CN117553811B CN117553811B CN202410023840.3A CN202410023840A CN117553811B CN 117553811 B CN117553811 B CN 117553811B CN 202410023840 A CN202410023840 A CN 202410023840A CN 117553811 B CN117553811 B CN 117553811B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- ins
- road side
- gnss
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 239000003086 colorant Substances 0.000 claims 1
- 238000012549 training Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 8
- 230000004927 fusion Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract 2
- 238000004590 computer program Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法及系统,当GNSS信号可用时,使用卡尔曼滤波算法,将车载GNSS和INS原始观测值采用紧组合方式解算,得到车辆定位结果;当GNSS信号不可用时,融合INS定位信息和路侧单元获取的车辆及周围交通目标定位信息求解车辆定位信息;根据车辆定位信息和路侧单元获取的全局交通态势进行路径规划。本发明可根据导航系统实际运行过程中数据信息缺失情况自主切换定位导航策略,在保证定位精度的同时提升导航系统的抗干扰性。本发明通过对路侧单元的环境感知信息进行关联和融合,增加环境感知范围并减少盲点,提高了车辆对周围动态交通目标感知测量的准确性和完整性,进而实现最优路径规划和精准危险预警。
Description
技术领域
本发明涉及自动驾驶领域中车辆的定位与导航关键技术,具体涉及一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法及系统。
背景技术
随着自动驾驶、高精地图等技术的快速发展与落地应用,车辆的定位与导航相应地向着高精度(车道级)、高可靠性(多场景)方向发展。现有较为先进的车辆定位导航方法是利用车载的多源传感器(相机/GNSS/INS等)进行组合导航。尽管这种方法综合利用了各类传感器的互补特性,在一定程度上提高了定位导航的可靠性,但它要求单车配置多型传感器、算力更强的计算单元以及经历更长的标定工序与时耗,最终可见地推高了单车成本。更重要的是,从宏观原理上看,基于车载单元(车载GNSS/INS)的定位导航仅仅是利用了单车智能和单域信源,其精度和可靠性容易达到上限。
近年来,智能网联汽车的概念一经提出便被接纳并付诸实践,车路协同成为各项相关技术的主流实现模式。车路协同模式汇集了车端和路侧的多域信源,综合利用了单车智能和网联智能,所含潜能远超单车模式。受限于体积和成本,车载传感器的定位和探测精度不高,探测视野和距离小,易受环境干扰(城市峡谷、隧道、强磁场),单车所获的信源在精度和可靠性上并不甚理想。而安装于路侧的传感器(相机/雷达)则采用了一种位置固定的鸟瞰模式,具有足够高的探测高度和足够宽广的视野,能够更稳定地采集到精度更高、更加完整的场景数据,即实现超视距、无盲区的感知。如通过车-路通信,将路侧域和车端域的信源进行关联和融合,可持续获取自车位置以及周边交通态势(行人他车状态、公路设施、交通信号),进而实现足够提前的避障预警以及精确至车道级的路径规划。显然,这种车路协同的定位导航能够大幅提高车辆导航定位的精度和可靠性。
相较于其他传感器,相机具有采样频率高、信息丰富、功耗低、易部署等诸多优势,且在道路交通监控中已有广泛部署和实际应用。改造和升级已部署的路侧相机、增补必要点位的路侧相机,可在投入有限的前提下构建一个路侧视觉感知网。通过与该感知网的信息交互,车辆能够实现车路协同的高精度、高可靠性定位导航。
发明内容
发明针对现有技术的不足,提供一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法及系统,用以解决或者部分解决现有导航方法中存在的精度和可靠性不高的技术问题,并提高车辆对周围动态交通目标感知测量的精度,以提高车辆路径规划准确性和精细度。
为了实现上述目的,本发明提供一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,包括以下步骤:
步骤1,当GNSS信号可用时,使用卡尔曼滤波算法,将车载GNSS和INS原始观测值采用紧组合的方式进行解算,得到车辆定位结果;
步骤2,当GNSS信号不可用时,使用INS原始观测值,根据导航微分方程计算车辆的位置、速度和姿态信息;
步骤3,利用路侧单元对车辆及周围交通目标进行拍摄、识别和定位,获取全局交通态势及车辆的三方定位信息;
步骤3.1,通过路侧安装的GNSS天线和GNSS接收板获取PPS脉冲信号,并传入到时间同步模块进行倍频处理,然后传输给工业相机作为其触发信号进行拍照;
步骤3.2,通过安装在路侧的工业相机拍摄获取车辆及其周围区域的图像,经过筛选和图像调光、调色等预处理后,利用神经网络识别图像中的车辆,得到车辆的关键点图像坐标和2D物体框;
步骤3.3,建立常见车型的3D车辆CAD模型数据库,通过神经网络学习3D模型在2D空间中的映射,将步骤3.2识别到的2D关键点与数据库中3D车辆CAD模型的2D映射进行匹配,选择匹配误差最小的模型作为3D物体检测的输出,并采用该3D CAD物体模型进行深度估计,根据获取的车辆关键点2D-3D坐标对和相机内外参数,基于深度学习的单相机单视图三维定位技术,计算车辆及其周围交通目标在世界坐标系下的坐标;
步骤3.4,通过通信模块将解算的车辆及其周围交通目标的定位信息发送给车辆;
步骤4,将步骤2使用INS获取的车辆定位信息与步骤3使用路侧单元获取的车辆及周围交通目标定位信息融合,进行组合导航滤波解算,得到GNSS信号不可用时车辆的最终定位结果;
步骤4.1,完成路侧相机和车载传感器的时间同步;
步骤4.2,利用卡尔曼滤波器,对INS获取的车辆定位信息和路侧单元获取的车辆及其周围交通目标定位信息进行组合导航滤波解算;
步骤5,根据步骤1或步骤4解算得到的车辆定位结果和步骤3路侧单元获取的全局交通态势进行车辆路径规划;
步骤5.1,根据步骤1或4解算得到的车辆定位结果和步骤3路侧单元获取的车辆周围动态交通目标位置信息,基于神经网络预测车辆及其周围交通目标的运动速度及运动轨迹;
步骤5.2,基于步骤5.1预测的车辆及其周围动态交通目标的运动轨迹,为车辆提供避障防碰预警;
步骤5.3,对车辆的行驶路线进行规划,给出最优的行驶路径。
而且,所述步骤1中当GNSS能同时、连续接收到m颗以上导航卫星信号时,认为此时的GNSS信号可用,使用卡尔曼滤波算法,包括滤波初始化、时间更新和测量更新,将车载GNSS和INS原始观测值采用紧组合的方式进行计算,得到车辆定位结果。
而且,所述步骤2中当GNSS不能同时、连续接收到m颗以上导航卫星信号时,认为此时的GNSS信号不可用,使用INS原始观测值,即IMU测量车辆在惯性空间的线运动和角运动信息,根据导航微分方程计算车辆的位置、速度和姿态信息。
而且,所述步骤3中路侧单元包括GNSS天线、GNSS接收板、时间同步模块、工业相机、接口与控制模块、路侧计算单元、通信模块和电源。其中,路侧计算单元内搭载有目标识别、基于深度学习的单相机单视图三维定位、多相机验核算法。
而且,所述步骤4.1中将INS获取的车辆定位信息与路侧单元获取的车辆及其周围交通目标定位信息进行时间匹配,使同一时间使用两种方式获得的定位信息相对应。
而且,所述步骤4.2中利用卡尔曼滤波器对车载INS得到的位置、速度信息和路侧单元获取的车辆及周围交通目标定位信息进行融合,对INS误差进行在线估计,用以修正机械编排的导航结果,并进行IMU误差补偿,得到组合导航结果。其中,机械编排用于完成INS的初始对准,并按照INS机械编排算法,完成姿态、速度和位置的更新。
而且,所述步骤5.2中如果车辆和动态目标在基于现有信息的轨迹预测中存在同一时间位于同一位置,即判定车辆和目标存在碰撞可能,便将预警信息发送给车辆。
而且,所述步骤5.3中根据步骤5.1得到的车辆及其周围动态交通目标的轨迹预测信息,按照无碰撞预警、最快抵达准则,对车辆进行路径规划。
本发明还提供一种基于路侧相机与车载GNSS/INS的车路协同定位导航系统,用于实现如上所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法。
而且,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的程序指令执行如上所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法。
与现有技术相比,本发明具有如下优点:
1)本发明利用路侧相机和车载GNSS/INS的良好互补性,通过多域信息关联融合的方式,提出一种基于车-路信息融合的组合导航算法,解决了复杂环境下GNSS不可用时,仅使用INS进行导航定位精度和可靠性较差的问题,提高了车辆定位精度,优化了算法性能和可用性。
2)采用本发明提供的组合导航方法能够拓展环境感知范围并减少盲点,提高车辆对周围动态交通目标感知测量的准确性和完整性,实现更准确的路径规划和避障预警,能够显著提高城市环境下导航性能的可用性、可靠性和精度,提高自动驾驶的行业的应用范围和安全性。
3)本发明利用路侧相机进行车路协同定位感知,整体改造成本低,数据采集自动化,作业效率高,实时性能好。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于路侧相机与车载GNSS/INS的车路协同定位导航方法的流程图。
图2为本发明实施例中基于深度学习的单相机三维定位技术流程图。
图3为本发明实施例中路侧单元的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图和实施例对本发明中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本发明实施例提供一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,包括以下几个步骤:
步骤1,当GNSS信号可用时,使用卡尔曼滤波算法,将车载GNSS和INS原始观测值采用紧组合的方式进行解算,得到车辆定位结果。
当GNSS能同时、连续接收到4颗以上导航卫星信号时,认为此时的GNSS信号可用,使用卡尔曼滤波算法,包括滤波初始化、时间更新和测量更新等,将车载GNSS和INS原始观测值(即IMU测量车辆在惯性空间的线运动和角运动信息)采用紧组合的方式进行计算,得到车辆定位结果。
步骤2,当GNSS信号不可用时,使用INS原始观测值,根据导航微分方程计算车辆的位置、速度和姿态信息。
当GNSS不能同时、连续接收到4颗以上导航卫星信号时,认为此时的GNSS信号不可用,使用INS原始观测值(即IMU测量车辆在惯性空间的线运动和角运动信息),根据导航微分方程计算车辆的位置、速度和姿态信息。
步骤3,利用路侧单元对车辆及周围交通目标进行拍摄、识别和定位,获取全局交通态势及车辆的三方定位信息(见图2)。
如图3所示,路侧单元包括GNSS天线、GNSS接收板、时间同步模块、工业相机、接口与控制模块、路侧计算单元、通信模块和电源。其中,路侧计算单元内搭载有目标识别、基于深度学习的单相机单视图三维定位、多相机(三角形)验核等算法。
步骤3.1,通过路侧安装的GNSS天线和GNSS接收板获取PPS脉冲信号,并传入到时间同步模块进行倍频处理,然后传输给工业相机作为其触发信号进行拍照。
步骤3.2,通过安装在路侧的工业相机拍摄获取车辆及其周围区域的图像,经过筛选和图像调光、调色等预处理后,利用3D-RCNN神经网络识别图像中的车辆,得到车辆的关键点图像坐标和2D物体框。
步骤3.3,建立常见车型的3D车辆CAD模型数据库,通过神经网络学习3D模型在2D空间中的映射,将步骤3.2识别到的2D关键点与数据库中3D车辆CAD模型的2D映射进行匹配,选择匹配误差最小的模型作为3D物体检测的输出,并采用该3D CAD物体模型进行深度估计,根据获取的车辆关键点2D-3D坐标对和相机内外参数,基于深度学习的单相机单视图三维定位技术,计算车辆及其周围交通目标在世界坐标系下的坐标;
如配有多个相机,可使用双目相机进行测量对单相机获取的车辆及其周围交通目标定位结果进行(三角形)验核。
步骤3.4,通过通信模块将解算的车辆及其周围交通目标的定位信息发送给车辆。
通信模块可以为第五代移动通信网络(5G)模块或者路侧通信单元(RSU)。
步骤4,将步骤2使用INS获取的车辆定位信息与步骤3使用路侧单元获取的车辆及其周围交通目标的定位信息融合,进行组合导航滤波解算,得到GNSS信号不可用时车辆的最终定位结果。
当GNSS信号不可用时,基于IMU测量车辆在惯性空间的线运动和角运动信息求得的车辆定位存在一定误差,因此需要利用卡尔曼滤波器对路侧单元得到的定位信息和车载INS得到位置、速度信息进行融合,对导航误差和传感器误差进行在线估计,修正机械编排的导航结果,并进行INS误差补偿,得到组合导航结果作为车辆的最终定位结果。
步骤4.1,完成路侧相机和车载传感器的时间同步。
将步骤2获取的车辆定位信息与步骤3获取的车辆及其周围交通目标定位信息进行时间匹配,使同一时间使用两种方式获得的定位信息相对应。
步骤4.2,利用卡尔曼滤波器,对步骤2使用INS获取的车辆定位信息和步骤3利用路侧单元获取的车辆及其周围交通目标定位信息进行组合导航滤波解算。
利用卡尔曼滤波器对步骤2车载INS得到的位置、速度信息和步骤3获取的车辆及周围交通目标定位信息进行融合,对INS误差进行在线估计,用以修正机械编排的导航结果,并进行IMU误差补偿,得到组合导航结果。其中,机械编排用于完成INS的初始对准,并按照INS机械编排算法,完成姿态、速度和位置的更新。
路侧相机和车载INS松组合系统的系统方程和量测方程为:
(1)
(2)
式中,、/>分别为/>、/>时刻组合导航定位导航信息,/>、/>分别为/>、/>时刻路侧相机的定位信息,/>为/>时刻车载IMU陀螺仪测得的角速度信息和加速度计测得的比力信息,/>为/>时刻状态过程函数,/>为/>时刻车载IMU 的惯性器件误差,/>为/>时刻观测状态转移函数,/>为/>时刻路侧相机设备误差。
步骤5,根据步骤1或步骤4解算得到的车辆定位结果和步骤3路侧单元获取的全局交通态势进行车辆路径规划。
步骤5.1,根据步骤1或4解算得到的车辆定位结果和步骤3路侧单元获取的车辆周围动态交通目标位置信息,基于改进的GRIP模型预测车辆及其周围交通目标的运动速度及运动轨迹。
步骤5.2,基于步骤5.1预测的车辆及其周围动态交通目标的运动轨迹,为车辆提供避障防碰预警。
基于步骤5.1预测的车辆及其周围动态交通目标的运动轨迹给车辆提供碰撞预警,避免交通事故的发生。如果车辆和动态目标在基于现有信息的轨迹预测中存在同一时间位于同一位置,即判定车辆和目标存在碰撞可能,便将预警信息发送给车辆。
步骤5.3,对车辆的行驶路线进行规划,给出最优的行驶路径。
根据步骤5.1得到的车辆及其周围动态交通目标的轨迹预测信息,按照无碰撞预警、最快抵达准则,对车辆进行路径规划,以满足安全、快速等行驶任务。
实施例2
基于同一发明构思,本发明还提供一种基于路侧相机与车载GNSS/INS的车路协同定位导航系统,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的程序指令执行如上所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法。
具体实施时,本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程,实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备,也应当在本发明的保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例,做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于,
当GNSS可用时,利用车载GNSS和INS求解车辆定位信息,当GNSS不可用时,融合INS定位信息和路侧单元获取的车辆及周围交通目标定位信息求解车辆定位信息,然后根据车辆定位信息和路侧单元获取的全局交通态势进行车辆路径规划,具体包括以下步骤:
步骤1,当GNSS信号可用时,使用卡尔曼滤波算法,将车载GNSS和INS原始观测值采用紧组合的方式进行解算,得到车辆定位结果;
步骤2,当GNSS信号不可用时,使用INS原始观测值,根据导航微分方程计算车辆的位置、速度和姿态信息;
步骤3,基于单相机的视频流,通过路侧单元拍摄视域内行驶中的车辆及周围图像,利用预训练的神经网络实现端到端的车辆2D ROI识别,建立常见车型的3D CAD模型库,构建基于深度学习的单相机单视图三维定位技术框架,训练深度网络学习3D模型在2D空间中的映射,将识别到的车辆2D关键点与数据库中3D车辆CAD模型的2D映射进行匹配,通过预先训练的深度网络获取图像中所有对象实例的完整3D形状和姿态,完成深度估计,并计算车辆在三维空间中的位置和姿态,将视域内所有交通目标的地理空间三维位姿结果发送给车辆;
步骤4,完成跨域传感器的时空同步,消除车端和路侧端双向通讯的传输时延的影响,并将步骤2使用INS获取的车辆定位信息与步骤3使用路侧单元获取的车辆及周围交通目标定位信息融合,进行组合导航滤波解算,得到GNSS信号不可用时车辆的最终定位结果,实现车辆的超视距无盲区定位;
步骤5,根据步骤1或步骤4解算得到的车辆定位结果和步骤3路侧单元获取的全局交通态势进行车辆路径规划。
2.如权利要求1所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤1中当GNSS能同时、连续接收到m颗以上导航卫星信号时,认为此时的GNSS信号可用,使用卡尔曼滤波算法,包括滤波初始化、时间更新和测量更新,将车载GNSS和INS原始观测值采用紧组合的方式进行计算,得到车辆定位结果。
3.如权利要求1所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤2中当GNSS不能同时、连续接收到m颗以上导航卫星信号时,认为此时的GNSS信号不可用,使用INS原始观测值,即IMU测量车辆在惯性空间的线运动和角运动信息,根据导航微分方程计算车辆的位置、速度和姿态信息。
4.如权利要求1所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤3中路侧单元包括GNSS天线、GNSS接收板、时间同步模块、工业相机、接口与控制模块、路侧计算单元、通信模块和电源,其中,路侧计算单元内搭载有目标识别、基于深度学习的单相机单视图三维定位、多相机验核算法。
5.如权利要求4所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤3中包括以下步骤:
步骤3.1,通过路侧安装的GNSS天线和GNSS接收板获取PPS脉冲信号,并传入到时间同步模块进行倍频处理,然后传输给工业相机作为其触发信号进行拍照;
步骤3.2,通过安装在路侧的工业相机拍摄获取车辆及其周围区域的图像,经过筛选和图像调光、调色预处理后,利用神经网络识别图像中的车辆,得到车辆的关键点图像坐标和2D物体框;
步骤3.3,建立常见车型的3D车辆CAD模型数据库,通过神经网络学习3D模型在2D空间中的映射,将步骤3.2识别到的2D关键点与数据库中3D车辆CAD模型的2D映射进行匹配,选择匹配误差最小的模型作为3D物体检测的输出,并采用该3D CAD物体模型进行深度估计,根据获取的车辆关键点2D-3D坐标对和相机内外参数,基于深度学习的单相机单视图三维定位技术,计算车辆及其周围交通目标在世界坐标系下的坐标;
若配有多个相机,则使用双目相机进行测量对单相机获取的车辆及其周围交通目标定位结果进行验核;
步骤3.4,通过通信模块将解算的车辆及其周围交通目标的定位信息发送给车辆。
6.如权利要求1所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤4中将INS获取的车辆定位信息与路侧单元获取的车辆及其周围交通目标的定位信息进行组合导航滤波解算,包括以下步骤:
步骤4.1,完成路侧相机和车载传感器的时间同步;
将INS获取的车辆定位信息与路侧单元获取的车辆及其周围交通目标定位信息进行时间匹配,使同一时间使用两种方式获得的定位信息相对应;
步骤4.2,利用卡尔曼滤波器,对INS获取的车辆定位信息和路侧单元获取的车辆及其周围交通目标定位信息进行组合导航滤波解算。
7.如权利要求6所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤4.2中利用卡尔曼滤波器对车载INS得到的位置、速度信息和路侧单元获取的车辆及周围交通目标定位信息进行融合,对INS误差进行在线估计,用以修正机械编排的导航结果,并进行IMU误差补偿,得到组合导航结果;其中,机械编排用于完成INS的初始对准,并按照INS机械编排算法,完成姿态、速度和位置的更新;
路侧相机和车载INS松组合系统的系统方程和量测方程为:
(1)
(2)
式中,、/> 分别为/>、/>时刻组合导航定位导航信息,/>、/>分别为、/>时刻路侧相机的定位信息,/>为/>时刻车载IMU陀螺仪测得的角速度信息和加速度计测得的比力信息,/>为/>时刻状态过程函数,/>为/>时刻车载IMU 的惯性器件误差,/>为/>时刻观测状态转移函数,/>为/>时刻路侧相机设备误差。
8.如权利要求1所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤5中车辆路径规划包括以下步骤:
步骤5.1,根据步骤1或4解算得到的车辆定位结果和步骤3路侧单元获取的车辆周围动态交通目标位置信息,基于神经网络预测车辆及其周围交通目标的运动速度及运动轨迹;
步骤5.2,基于步骤5.1预测的车辆及其周围动态交通目标的运动轨迹,为车辆提供避障防碰预警;
步骤5.3,对车辆的行驶路线进行规划,给出最优的行驶路径;
根据步骤5.1得到的车辆及其周围动态交通目标的轨迹预测信息,按照无碰撞预警、最快抵达准则,对车辆进行路径规划。
9.如权利要求8所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法,其特征在于:步骤5.2中如果车辆和动态目标在基于现有信息的轨迹预测中存在同一时间位于同一位置,即判定车辆和目标存在碰撞可能,便将预警信息发送给车辆。
10.一种基于路侧相机与车载GNSS/INS的车路协同定位导航系统,其特征在于,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的程序指令执行如权利要求1-9任一项所述的一种基于路侧相机与车载GNSS/INS的车路协同定位导航方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410023840.3A CN117553811B (zh) | 2024-01-08 | 2024-01-08 | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410023840.3A CN117553811B (zh) | 2024-01-08 | 2024-01-08 | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117553811A CN117553811A (zh) | 2024-02-13 |
CN117553811B true CN117553811B (zh) | 2024-04-19 |
Family
ID=89818805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410023840.3A Active CN117553811B (zh) | 2024-01-08 | 2024-01-08 | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117553811B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102778686A (zh) * | 2012-08-07 | 2012-11-14 | 东南大学 | 基于移动gps/ins节点的协同车辆定位方法 |
CN109946730A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 一种车路协同下基于超宽带的车辆高可靠融合定位方法 |
CN113340325A (zh) * | 2021-06-01 | 2021-09-03 | 上海智能网联汽车技术中心有限公司 | 一种验证车路协同路侧感知融合精度的系统、方法及介质 |
CN113625323A (zh) * | 2021-06-18 | 2021-11-09 | 北京千方科技股份有限公司 | 一种基于车路协同的车辆实时定位系统、方法、介质及车辆 |
WO2022228523A1 (zh) * | 2021-04-30 | 2022-11-03 | 株式会社日立制作所 | 车辆定位系统、方法及路侧装置 |
CN115900732A (zh) * | 2023-01-05 | 2023-04-04 | 武汉大学 | 基于路侧相机和车载单元的组合导航方法及系统 |
CN116170749A (zh) * | 2022-12-12 | 2023-05-26 | 重庆邮电大学 | 一种基于车路协同的融合感知定位系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113899363B (zh) * | 2021-09-29 | 2022-10-21 | 北京百度网讯科技有限公司 | 车辆的定位方法、装置及自动驾驶车辆 |
-
2024
- 2024-01-08 CN CN202410023840.3A patent/CN117553811B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102778686A (zh) * | 2012-08-07 | 2012-11-14 | 东南大学 | 基于移动gps/ins节点的协同车辆定位方法 |
CN109946730A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 一种车路协同下基于超宽带的车辆高可靠融合定位方法 |
WO2022228523A1 (zh) * | 2021-04-30 | 2022-11-03 | 株式会社日立制作所 | 车辆定位系统、方法及路侧装置 |
CN113340325A (zh) * | 2021-06-01 | 2021-09-03 | 上海智能网联汽车技术中心有限公司 | 一种验证车路协同路侧感知融合精度的系统、方法及介质 |
CN113625323A (zh) * | 2021-06-18 | 2021-11-09 | 北京千方科技股份有限公司 | 一种基于车路协同的车辆实时定位系统、方法、介质及车辆 |
CN116170749A (zh) * | 2022-12-12 | 2023-05-26 | 重庆邮电大学 | 一种基于车路协同的融合感知定位系统 |
CN115900732A (zh) * | 2023-01-05 | 2023-04-04 | 武汉大学 | 基于路侧相机和车载单元的组合导航方法及系统 |
Non-Patent Citations (10)
Title |
---|
GNSS/INS紧组合导航自适应卡尔曼滤波算法设计;郑洪江;;电脑迷;20181105(11);全文 * |
GNSS/INS紧组合算法实时性改进与嵌入式验证;章红平;常乐;汪宏晨;牛小骥;高周正;;东南大学学报(自然科学版);20160720(04);全文 * |
GPS/CP车辆定位与交叉口冲突检测;安毅;宁滨;蔡伯根;上官伟;王剑;;交通运输工程学报;20130215(01);全文 * |
刘华 ; 刘彤 ; 张继伟 ; .陆地车辆GNSS/MEMS惯性组合导航机体系约束算法研究.北京理工大学学报.2013,(05),全文. * |
基于车路协同的车辆定位算法研究;罗文慧;董宝田;王泽胜;;西南交通大学学报;20180708(05);全文 * |
安毅 ; 宁滨 ; 蔡伯根 ; 上官伟 ; 王剑 ; .GPS/CP车辆定位与交叉口冲突检测.交通运输工程学报.2013,(01),全文. * |
章红平 ; 常乐 ; 汪宏晨 ; 牛小骥 ; 高周正 ; .GNSS/INS紧组合算法实时性改进与嵌入式验证.东南大学学报(自然科学版).2016,(04),全文. * |
罗文慧 ; 董宝田 ; 王泽胜 ; .基于车路协同的车辆定位算法研究.西南交通大学学报.2018,(05),全文. * |
郑洪江 ; .GNSS/INS紧组合导航自适应卡尔曼滤波算法设计.电脑迷.2018,(11),全文. * |
陆地车辆GNSS/MEMS惯性组合导航机体系约束算法研究;刘华;刘彤;张继伟;;北京理工大学学报;20130515(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117553811A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111986506B (zh) | 基于多视觉系统的机械式停车位泊车方法 | |
US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
CN109920246B (zh) | 一种基于v2x通信与双目视觉的协同局部路径规划方法 | |
KR100909741B1 (ko) | 감시장치, 감시방법 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
JP2022019642A (ja) | マルチセンサ融合に基づく測位方法及び装置 | |
EP3842754A1 (en) | System and method of detecting change in object for updating high-definition map | |
US20180288320A1 (en) | Camera Fields of View for Object Detection | |
AU2022201558A1 (en) | Pose estimation method and device, related equipment and storage medium | |
CN107567412A (zh) | 利用汽车相机使用车辆运动数据的对象位置测量 | |
JP2021099793A (ja) | インテリジェント交通管制システム及びその制御方法 | |
CN109747530A (zh) | 一种双摄像头和毫米波融合汽车感知系统 | |
US12026894B2 (en) | System for predicting near future location of object | |
CN113566833A (zh) | 一种多传感器融合的车辆定位方法及系统 | |
CN113071518B (zh) | 一种自动无人驾驶方法、小巴、电子设备以及存储介质 | |
Ruder et al. | Highway lane change assistant | |
CN112884892B (zh) | 基于路侧装置的无人矿车位置信息处理系统和方法 | |
CN113850102A (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
CN115440034B (zh) | 一种基于摄像头的车路协同实现方法及实现系统 | |
CN116958763B (zh) | 特征-结果级融合的车路协同感知方法、介质及电子设备 | |
CN112835030A (zh) | 一种障碍物目标的数据融合方法、装置及智能汽车 | |
CN117387647A (zh) | 融合车载传感器数据与道路传感器数据的道路规划方法 | |
CN117553811B (zh) | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 | |
CN115379408B (zh) | 基于场景感知的v2x多传感器融合方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |