CN112462381B - 一种基于车路协同的多激光雷达融合方法 - Google Patents
一种基于车路协同的多激光雷达融合方法 Download PDFInfo
- Publication number
- CN112462381B CN112462381B CN202011304484.0A CN202011304484A CN112462381B CN 112462381 B CN112462381 B CN 112462381B CN 202011304484 A CN202011304484 A CN 202011304484A CN 112462381 B CN112462381 B CN 112462381B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- laser radar
- target
- point cloud
- target list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 13
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于车路协同的多激光雷达融合方法,属于汽车技术领域。它解决了现有的技术无法给人们提供一个准确且完整的目标数据的问题。本基于车路协同的多激光雷达融合方法包括如下步骤:将安装于路端以及车端的各激光雷达检测到的目标信息均进行点云处理后获得与激光雷达对应的点云数据;将各点云数据分别依次进行聚类、追踪和空间同步处理后,形成与各激光雷达对应的目标列表;将各目标列表进行时间同步处理,获取同一时刻下的各目标列表;提取同一时刻下的各目标列表中对应同一个目标的所有点云数据;对提取的所有点云数据依次通过聚类和追踪处理后融合形成最终目标列表。本发明能够获得精度更高且稳定性更好的感知信息。
Description
技术领域
本发明属于汽车技术领域,涉及一种基于车路协同的多激光雷达融合方法。
背景技术
近年来,智能汽车(或无人驾驶汽车、自动驾驶汽车)已经成为世界汽车工程领域的研究热点和汽车产业增长的新动力。
而感知融合作为智能驾驶领域的一个研究热点,大量且新型的融合技术被提出。例如,在自动泊车辅助系统和自动代客泊车等功能中,融合环视摄像头,超声波雷达,毫米波雷达等信息,可以帮助汽车完成避障,寻找车位等动作。在盲区检测、开门预警、变到预警等侧边功能中,通过对毫米波雷达和摄像头等多种传感器的融合,汽车可以提前发现侧边的障碍物并提醒驾驶员。在高速公路自动驾驶、交通拥堵自动驾驶系统等L3级及以上的自动驾驶功能中,通过融合激光雷达,毫米波雷达,双目摄像头等传感器信息,能为汽车提供一个更为全面的环境感知信息,汽车依据该信息再进行横向和纵向的控制,驾驶更加安全。
但是现有的基于单车的多激光雷达融合方案,如在车顶和车前后方均装有激光雷达,但此类融合方案无法检测距离较远或者被遮挡的目标,也无法应对诸如目标突然出现的紧急场景;另外,虽然在现有技术中也有路端安装激光雷达的方案,而且随着5G技术、道路基础设施的愈发成熟,加快了车联网V2X、车路协同等技术的发展。通过蜂窝网或WIFI技术可以实现车与车,车与路之间的通信交互,但是现有的技术中,路端激光雷达与车端激光雷达检测到的目标数据都是独立存在的,无法给人们提供一个准确且完整的目标数据,存在对目标和障碍物的感知精确和有效性都较低的问题。
发明内容
本发明的目的是针对现有技术存在的上述问题,提出了一种基于车路协同的多激光雷达融合方法,其所要解决的技术问题是:如何获得精度更高且稳定性更好的感知信息。
本发明的目的可通过下列技术方案来实现:一种基于车路协同的多激光雷达融合方法,包括如下步骤:
步骤一、将安装于路端以及车端的各激光雷达检测到的目标信息均进行点云处理后获得与激光雷达对应的点云数据;
步骤二、将各点云数据分别依次进行聚类、追踪和空间同步处理后,形成与各激光雷达对应的目标列表;
步骤三、将各目标列表进行时间同步处理,获取同一时刻下的各目标列表;
步骤四、将同一时刻下的各目标列表分别进行点云提取,提取对应同一个目标的所有点云数据;
步骤五、对提取的所有点云数据依次通过聚类和追踪处理后融合形成最终目标列表。
本基于车路协同的多激光雷达融合方法的工作原理为:通过安装于车端的各激光雷达对车前的目标进行检测,获取车端的目标信息,通过安装于路端的各激光雷达也对同一目标进行检测,获得路端的目标信息;将路端的各激光雷达和车端的各激光雷达检测到的目标信息分别依次进行点云处理、聚类、追踪和空间同步处理,形成对应各激光雷达的目标列表,此目标列表是跟踪的目标的集合;由于每个激光雷达对数据处理以及数据传输的时间存在不同步,因此,对对应各激光雷达的目标列表进行时间同步处理,将各目标列表的点云数据同步到同一时刻,进行同步后,对同一时刻下的各目标列表进行点云提取,提取对应同一个目标的所有点云数据;之后通过聚类将分散的所有点云聚类成点云的集合,最后通过对目标进行追踪融合成最终目标列表,该最终目标列表是由路端的激光雷达和车端的激光雷达检测到的目标上的部分点云融合起来,从而还原成一个整体目标,扩大了感知范围,有效检测到了被遮挡的目标,有效提高了对目标和障碍物的感知精度和有效性。
在上述的基于车路协同的多激光雷达融合方法中,所述多激光雷达融合方法还包括:
在步骤五的操作完成后,对所有目标信息的融合完成情况进行判断,在判断完成所有目标信息的融合后,输出步骤五中融合形成的最终目标列表给用户;在判断还有目标信息未融合时,返回步骤一进行循环。通过此操作,能够保证所有激光雷达检测到的目标信息都进行融合,从而保证能够提供精度更高、稳定性更好的感知信息。
在上述的基于车路协同的多激光雷达融合方法中,在所述步骤一中,对各激光雷达检测到的目标信息进行点云处理的操作包括:
二进制包解析,通过点云库软件将目标信息的原始点云数据转换解析成PCD格式的点云数据,所述点云数据包含激光雷达反射点云的空间三维位置;
根据车辆当前工况对非感兴趣区域的点云数据进行删除。
将非感兴趣区域的点云数据进行删除,使这些数据无需再进行下一步骤的处理,可提高数据融合的效率,同时也能够避免无关的点云数据对相应工况下的点云数据造成影响,此操作,有效提高了感知信息融合的精确度。
在上述的基于车路协同的多激光雷达融合方法中,在所述步骤二和步骤五中,聚类的步骤包括:
生成簇,通过聚类算法将距离相近的点云进行集合,并通过几何优化的方法形成多个用于将集合的点云全部包含住的四方体,每个四方体对应一个点云簇;
计算簇的尺寸和运动状态,通过计算四方体的长宽高来获得簇的尺寸,通过将连续两个时间点的位置信息进行一阶微分计算得到速度状态、二阶微分计算得到加速度状态和反正切函数计算得到朝向状态;
去除不合格的簇,所述不合格的簇包括尺寸低于阈值a的簇和点云数量低于阈值b的簇。聚类的作用是将分散的点云聚类成点云的集合,便于获得精确度较高的感知信息。
在上述的基于车路协同的多激光雷达融合方法中,在所述步骤二和步骤五中,追踪的步骤包括:
将当前时刻生成的簇与预测后的上一时刻的目标列表进行配对;在配对成功时,对相应配对成功的簇的运动状态进行更新以及对簇的尺寸进行更新;在未配对成功时,当前时刻的簇生成新的目标,未配对成功的目标被删除,从而生成基于时间的目标列表。预测后的上一时刻的目标列表是指将上一时刻的目标列表运动状态通过运动学预测的方式得到的当前时刻的目标列表运动状态,通过对目标列表进行追踪处理,可进一步去除不合格的目标,使形成的目标列表更加准确。
在上述的基于车路协同的多激光雷达融合方法中,配对成功的判断包括:
将当前时刻生成的簇和预测后的上一时刻的目标列表中的目标之间的距离进行计算,距离在预设阈值之内,则判断该当前时刻生成的簇和该目标列表配对成功;反之,则判断该当前时刻生成的簇和该目标列表未配对成功。通过这样的操作,能够更有效地更新目标列表。
在上述的基于车路协同的多激光雷达融合方法中,预测后的上一时刻的目标列表的获得包括:
建立预测模型;
通过预测模型获得预测后的上一时刻的目标列表;
预测模型为:
其中,x,y,vx,vy,ax,ay分别表示横纵坐标的位置、速度、加速度,t表示时间,下标t+1表示当前时刻的状态值,下标t表示上一时刻的状态值。
在上述的基于车路协同的多激光雷达融合方法中,对相应配对成功的簇的运动状态进行更新的操作包括:
建立观测模型;
通过观测模型将相应配对成功的簇的运动状态进行更新为新的基于时间的目标列表;
观测模型为:
其中,分别表示当前时刻下所观测的横坐标位置、速度、加速度和纵坐标位置、速度、加速度。
在上述的基于车路协同的多激光雷达融合方法中,在所述步骤二中,对基于时间的目标列表进行空间同步处理的步骤包括:
选取一路端激光雷达所在的位置作为全局坐标系的原点并定义X方向和y方向;
其余路端激光雷达所在的位置通过坐标转换到全局坐标系,获取同一全局坐标系下的对应各路端激光雷达的目标列表;
通过以下公式将车端激光雷达坐标系向全局坐标系转换,获取同一全局坐标系下的对应各车端激光雷达的目标列表,公式如下:
xg=xv+xs sinΨ+ys cosΨ;
yg=yv-xs cosΨ+ys sinΨ;
其中,xs、ys是目标在车端激光雷达坐标系下的位置;xg、yg是目标在全局坐标系下的位置;xv、yv是车辆在全局坐标系下的位置;Ψ是车辆当前航向角。将所有激光雷达都统一到同一个全局坐标系下,确保检测到的目标信息在同一坐标系下进行处理,提高感知信息融合的精确性。
在上述的基于车路协同的多激光雷达融合方法中,在所述步骤三中,时间同步处理的步骤包括:
将同一全局坐标系下的所有目标列表的时间戳统一到同一个时钟;
获取各目标列表中点云数据的时间戳;
选取与当前时刻最近的时刻作为同一时刻并将该时刻之前的所有点云数据预测到该时刻,从而获得对应各激光雷达并基于同一时刻的目标列表。将对应各激光雷达的目标列表进行时间同步,保证路端激光雷达的目标列表与车端激光雷达的目标列表的融合处理能够更加精确,能够提供精度更高和稳定性更好的感知信息。
与现有技术相比,本基于车路协同的多激光雷达融合方法具有如下优点:
1、本发明通过融合车端雷达和路端雷达的目标数据,并采取先用目标进行融合再用原始点云重新聚类成新目标的融合策略,有效扩大了自车的探测范围,提高感知精度和置信度。
2、本发明能够突破车载雷达短视距的局限,进而扩大汽车的感知范围,同时通过融合多方数据源,可以得到精度更高,稳定性更好的感知信息。
3、本发明能够减少车载设备数量,在降低成本的同时提高了车载系统的稳定性,并提高了设备的重复利用率。
附图说明
图1是本发明的控制流程图。
具体实施方式
以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
如图1所示,本基于车路协同的多激光雷达融合方法包括如下步骤:
步骤一、将安装于路端以及车端的各激光雷达检测到的目标信息均进行点云处理后获得与激光雷达对应的点云数据;具体的点云处理步骤为:二进制包解析,通过点云库软件将目标信息的原始点云数据转换解析成PCD格式的点云数据,点云数据包含激光雷达反射点云的空间三维位置;
根据车辆当前工况对非感兴趣区域的点云数据进行删除;
其中,对于整个点云空间而言,感兴趣和非感兴趣区域是根据具体的场景和应用决定的,如自动驾驶车辆在道路上行驶的场景,感兴趣区域包括结构化道路区域、动静态目标出现区域、车辆可行使区域等;除此之外的其它区域即为非感兴趣区域,将这部分的激光雷达点云数据直接删掉,无需进行接下来的处理,能够提高感知信息处理的精度。
步骤二、将各点云数据分别依次进行聚类、追踪和空间同步处理后,形成与各激光雷达对应的目标列表;
其中,聚类的步骤包括:
生成簇,通过聚类算法将距离相近的点云进行集合,并通过几何优化的方法形成多个用于将集合的点云全部包含住的四方体,每个四方体对应一个点云簇;距离相近的点云的计算方式为:第一步,选取从激光雷达的点云集合中选取若干点作为中心/质心;第二步,对点云集中的每一个点,计算该点与每一个质心的“马氏距离”,与哪个质心近,就将点划分到相应质心所属的集合;第三步,最终形成的若干个点云的集合,通过几何优化的方法形成一个最小的四方体将这个集合的点云全部包含住,每个四方体对应一个点云簇。
马氏距离用于计算两个点之间的距离,具体为:
采用特征量为点的横坐标值sx,纵坐标值sy以及横坐标的速度值vz,特征量用向量x=[sx,sy,vz]表示。则对于两个点,特征量向量分别为x、y,则有马氏距离d为:
其中,S是协方差矩阵,即:#
S=cov(Rx,Ry)#
其中,Rx,Ry分别是向量x,y的协方差矩阵;
计算簇的尺寸和运动状态,通过计算四方体的长宽高来获得簇的尺寸,通过将连续两个时间点的位置信息进行一阶微分计算得到速度状态、二阶微分计算得到加速度状态和反正切函数计算得到朝向状态;
去除不合格的簇,不合格的簇包括尺寸低于阈值a的簇和点云数量低于阈值b的簇。
追踪的步骤包括:
建立预测模型;通过预测模型获得预测后的上一时刻的目标列表;预测模型为:
其中,x,y,vx,vy,ax,ay分别表示横纵坐标的位置、速度、加速度,t表示时间,下标t+1表示当前时刻的状态值,下标t表示上一时刻的状态值。
将当前时刻生成的簇与预测后的上一时刻的目标列表进行配对;在配对成功时,对相应配对成功的簇的运动状态进行更新以及对簇的尺寸进行更新;在未配对成功时,当前时刻的簇生成新的目标,未配对成功的目标被删除,从而生成基于时间的目标列表;其中,未配对成功的簇指那些没有与上一时刻目标可配对的簇,未配对成功的目标指那些上一时刻存在的目标但在当前时刻没有对应的点云簇,这个目标没有对应当前时刻簇,则表明已经消失了,即未配对成功的目标被删除了;
对相应配对成功的簇的运动状态进行更新的操作包括:
建立观测模型;通过观测模型将相应配对成功的簇的运动状态进行更新为新的基于时间的目标列表;
观测模型为:
其中,分别表示当前时刻下所观测的横坐标位置、速度、加速度和纵坐标位置、速度、加速度。
对基于时间的目标列表进行空间同步处理的操作为:
路端激光雷达测量得到的目标信息是以该激光雷达自身为坐标原点,测量得到的信息是局部坐标系下的。转换到全局坐标系的方法是,选取某一个激光雷达所在的位置为全局坐标系原点并定义x方向和y方向,然后测量其他路端激光雷达到全局坐标原点的x方向距离X和y方向距离Y,然后将路端激光雷达测量得到的局部坐标系下的目标信息分别累加测量的x方向距离X和y方向距离Y即可。
对于全局坐标系,选取正东方向为x轴,选取正北方向为y轴,对于激光雷达坐标系,选取车辆行驶方向为y轴,垂直行驶方向向右为x轴。
全局坐标系向车端激光雷达坐标系转换的公式如下:
xv=(xg-xv)sinΨ-(yg-yv)cosΨ
yv=(xg-xv)cosΨ+(yg-yv)sinΨ
则将车端激光雷达坐标系向全局坐标系转换的公式如下:
xg=xv+xs siny+ys cosΨ;
yg=yv-xs cosy+ys sinΨ;
其中,xs、ys是目标在车端激光雷达坐标系下的位置;xg、yg是目标在全局坐标系下的位置;xv、yv是车辆在全局坐标系下的位置;Ψ是车辆当前航向角。
对基于时间的目标列表进行空间同步处理后获取同一全局坐标系下的对应各车端激光雷达的目标列表。
步骤三、将各目标列表进行时间同步处理,获取同一时刻下的各目标列表;时间同步处理的步骤包括:
将同一全局坐标系下的所有目标列表的时间戳统一到同一个时钟;
获取各目标列表中点云数据的时间戳;
选取与当前时刻最近的时刻作为同一时刻并将该时刻之前的所有点云数据预测到该时刻,从而获得对应各激光雷达并基于同一时刻的目标列表。
步骤四、将同一时刻下的各目标列表分别进行点云提取,提取对应同一个目标的所有点云数据;
步骤五、对提取的所有点云数据依次通过聚类和追踪处理后融合形成最终目标列表。此步骤中的聚类处理与步骤二中的聚类处理方式相同,即同一个目标的所有点云数据通过聚类算法将距离相近的点云进行集合,并通过几何优化的方法形成多个用于将集合的点云全部包含住的四方体,每个四方体对应一个点云簇;
计算簇的尺寸和运动状态,通过计算四方体的长宽高来获得簇的尺寸,通过将连续两个时间点的位置信息进行一阶微分计算得到速度状态、二阶微分计算得到加速度状态和反正切函数计算得到朝向状态;
去除不合格的簇,不合格的簇包括尺寸低于阈值a的簇和点云数量低于阈值b的簇。
此步骤中的追踪处理与步骤二中的追踪处理方式相同。
作为优选方案,本多激光雷达融合方法还包括:
在步骤五的操作完成后,对所有目标信息的融合完成情况进行判断,在判断完成所有目标信息的融合后,输出步骤五中融合形成的最终目标列表给用户;在判断还有目标信息未融合时,返回步骤一进行循环。通过此操作,能够保证所有激光雷达检测到的目标信息都进行融合,从而保证能够提供精度更高、稳定性更好的感知信息。
作为优选方案,配对成功的判断包括:
将当前时刻生成的簇和预测后的上一时刻的目标列表中的目标之间的距离进行计算,距离在预设阈值之内,则判断该当前时刻生成的簇和该目标列表配对成功;反之,则判断该当前时刻生成的簇和该目标列表未配对成功。预设阈值一般可以选取一个较小的值,例如0.2-0.3。
本基于车路协同的多激光雷达融合方法是基于车路协同的多激光雷达融合系统来实现的,基于车路协同的多激光雷达融合系统包括安装于车端的多个激光雷达,如安装于车顶、车前后方等,安装于路端的多个激光雷达以及边缘计算服务器,车端激光雷达检测到目标后通过5G通讯的方式发送到边缘计算服务器,路端激光雷达检测到目标后通过光纤通讯的方式发送到边缘计算服务器,进而在服务器端进行融合。例如路端激光雷达和车端激光雷达均检测到行人,边缘计算服务器将会把各个雷达检测到的行人目标融合起来,从而提供一个精度和置性度更高的行人目标,又例如路端雷达检测到一个车辆目标,但车端雷达未检测到,通过融合后自车可接收到该目标的信息,从而扩大了探测范围。
在本基于车路协同的多激光雷达融合方法中,在进行多激光雷达的数据融合前,需要先处理单个激光雷达的目标信息来得到目标列表,即原始点云经过初处理,聚类,追踪和空间同步后得到同一坐标系下同一时刻的目标列表,每一个激光雷达都对应一个目标列表。由于传感器对数据处理以及数据传输所造成的延时,融合时每一个激光雷达所对应的目标列表一般不是在同一时刻下,因此需要先将目标列表进行时间同步,即统一到同一时刻。完成同步后,对于同一个物体,抽取所有激光雷达目标对应的点云,然后再次进行聚类、追踪得到融合后的最终目标列表。如此循环往复,直至遍历完所有的激光雷达,至此完成多个激光雷达的融合。通过本方法可基于各个激光雷达检测到的目标上的部分点云进行融合,从而还原为一个整体目标,扩大了感知范围,可有效检测被遮挡的目标。本发明是利用V2X-5G技术与边缘计算,实现了车端激光雷达和路端激光雷达的数据融合。通过将车端激光雷达的数据发送到边缘计算服务器进行计算和存储,可降低车载设备的数量,提高车载系统的稳定性。通过融合车端雷达和路端雷达的数据,并采取先用目标进行融合再用原始点云重新聚类成新目标的融合策略,可有效扩大自车的探测范围,提高感知精度和置信度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于车路协同的多激光雷达融合方法,其特征在于,所述多激光雷达融合方法包括如下步骤:
步骤一、将安装于路端以及车端的各激光雷达检测到的目标信息均进行点云处理后获得与激光雷达对应的点云数据;
步骤二、将各点云数据分别依次进行聚类、追踪和空间同步处理后,形成与各激光雷达对应的目标列表;
步骤三、将各目标列表进行时间同步处理,获取同一时刻下的各目标列表;
步骤四、将同一时刻下的各目标列表分别进行点云提取,提取对应同一个目标的所有点云数据;
步骤五、对提取的所有点云数据依次通过聚类和追踪处理后融合形成最终目标列表;
在所述步骤二和步骤五中,追踪的步骤包括:
将当前时刻通过聚类处理后生成的簇与预测后的上一时刻的目标列表进行配对;在配对成功时,对相应配对成功的簇的运动状态进行更新以及对簇的尺寸进行更新;在未配对成功时,当前时刻的簇生成新的目标,未配对成功的目标被删除,从而生成基于时间的目标列表。
2.根据权利要求1所述的基于车路协同的多激光雷达融合方法,其特征在于,所述多激光雷达融合方法还包括:
在步骤五的操作完成后,对所有目标信息的融合完成情况进行判断,在判断完成所有目标信息的融合后,输出步骤五中融合形成的最终目标列表给用户;在判断还有目标信息未融合时,返回步骤一进行循环。
3.根据权利要求1所述的基于车路协同的多激光雷达融合方法,其特征在于,在所述步骤一中,对各激光雷达检测到的目标信息进行点云处理的操作包括:
二进制包解析,通过点云库软件将目标信息的原始点云数据转换解析成PCD格式的点云数据,所述点云数据包含激光雷达反射点云的空间三维位置;
根据车辆当前工况对非感兴趣区域的点云数据进行删除。
4.根据权利要求1或2或3所述的基于车路协同的多激光雷达融合方法,其特征在于,在所述步骤二和步骤五中,聚类的步骤包括:
生成簇,通过聚类算法将距离相近的点云进行集合,并通过几何优化的方法形成多个用于将集合的点云全部包含住的四方体,每个四方体对应一个点云簇;
计算簇的尺寸和运动状态,通过计算四方体的长宽高来获得簇的尺寸,通过将连续两个时间点的位置信息进行一阶微分计算得到速度状态、二阶微分计算得到加速度状态和反正切函数计算得到朝向状态;
去除不合格的簇,所述不合格的簇包括尺寸低于阈值a的簇和点云数量低于阈值b的簇。
5.根据权利要求1所述的基于车路协同的多激光雷达融合方法,其特征在于,配对成功的判断包括:
将当前时刻生成的簇和预测后的上一时刻的目标列表中的目标之间的距离进行计算,距离在预设阈值之内,则判断该当前时刻生成的簇和该目标列表配对成功。
6.根据权利要求1所述的基于车路协同的多激光雷达融合方法,其特征在于,预测后的上一时刻的目标列表的获得包括:
建立预测模型;
通过预测模型获得预测后的上一时刻的目标列表;
预测模型为:
其中,x,y,vx,vy,ax,ay分别表示横纵坐标的位置、速度、加速度,t表示时间,下标t+1表示当前时刻的状态值,下标t表示上一时刻的状态值。
7.根据权利要求6所述的基于车路协同的多激光雷达融合方法,其特征在于,对相应配对成功的簇的运动状态进行更新的操作包括:
建立观测模型;
通过观测模型将相应配对成功的簇的运动状态进行更新为新的基于时间的目标列表;
观测模型为:
其中,分别表示当前时刻下所观测的横坐标位置、速度、加速度和纵坐标位置、速度、加速度。
8.根据权利要求7所述的基于车路协同的多激光雷达融合方法,其特征在于,在所述步骤二中,对基于时间的目标列表进行空间同步处理的步骤包括:
选取一路端激光雷达所在的位置作为全局坐标系的原点并定义X方向和y方向;
其余路端激光雷达所在的位置通过坐标转换到全局坐标系,获取同一全局坐标系下的对应各路端激光雷达的目标列表;
通过以下公式将车端激光雷达坐标系向全局坐标系转换,获取同一全局坐标系下的对应各车端激光雷达的目标列表,公式如下:
xg=xv+xssinΨ+yscosΨ;
yg=yv-xscosΨ+yssinΨ;
其中,xs、ys是目标在车端激光雷达坐标系下的位置;xg、yg是目标在全局坐标系下的位置;xv、yv是车辆在全局坐标系下的位置;Ψ是车辆当前航向角。
9.根据权利要求8所述的基于车路协同的多激光雷达融合方法,其特征在于,在所述步骤三中,时间同步处理的步骤包括:
将同一全局坐标系下的所有目标列表的时间戳统一到同一个时钟;
获取各目标列表中点云数据的时间戳;
选取与当前时刻最近的时刻作为同一时刻并将该时刻之前的所有点云数据预测到该时刻,从而获得对应各激光雷达并基于同一时刻的目标列表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304484.0A CN112462381B (zh) | 2020-11-19 | 2020-11-19 | 一种基于车路协同的多激光雷达融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304484.0A CN112462381B (zh) | 2020-11-19 | 2020-11-19 | 一种基于车路协同的多激光雷达融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112462381A CN112462381A (zh) | 2021-03-09 |
CN112462381B true CN112462381B (zh) | 2024-06-04 |
Family
ID=74837156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011304484.0A Active CN112462381B (zh) | 2020-11-19 | 2020-11-19 | 一种基于车路协同的多激光雷达融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112462381B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256990B (zh) * | 2021-07-13 | 2021-09-28 | 北京戍宁信息技术有限公司 | 基于聚类算法的雷达采集道路车辆信息的方法及系统 |
CN113537362A (zh) * | 2021-07-20 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种基于车路协同的感知融合方法、装置、设备及介质 |
CN113916259A (zh) * | 2021-09-30 | 2022-01-11 | 上海智能网联汽车技术中心有限公司 | 一种路侧传感器动态标定方法及介质 |
CN114019473A (zh) * | 2021-11-09 | 2022-02-08 | 商汤国际私人有限公司 | 对象检测方法及装置、电子设备和存储介质 |
CN114612869A (zh) * | 2022-03-14 | 2022-06-10 | 合肥工业大学 | 一种路侧激光雷达与车载激光雷达信息融合方法 |
CN115578709B (zh) * | 2022-11-24 | 2023-04-07 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种车路协同的特征级协同感知融合方法和系统 |
CN117789161B (zh) * | 2023-12-08 | 2024-06-11 | 广州耀配汽车配件有限公司 | 一种基于目标快速识别的安全监测系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001243591A (ja) * | 2000-02-29 | 2001-09-07 | Toyota Motor Corp | 電子制御ユニット、車両の走行支援装置、及び車両交通システム |
CN108509972A (zh) * | 2018-01-16 | 2018-09-07 | 天津大学 | 一种基于毫米波和激光雷达的障碍物特征提取方法 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110658530A (zh) * | 2019-08-01 | 2020-01-07 | 北京联合大学 | 一种基于双激光雷达数据融合的地图构建方法、系统及地图 |
CN110794406A (zh) * | 2019-11-12 | 2020-02-14 | 北京经纬恒润科技有限公司 | 多源传感器数据融合系统和方法 |
CN111222568A (zh) * | 2020-01-03 | 2020-06-02 | 北京汽车集团有限公司 | 一种车辆网联数据融合方法及装置 |
CN111260683A (zh) * | 2020-01-09 | 2020-06-09 | 合肥工业大学 | 一种三维点云数据的目标检测与跟踪方法及其装置 |
CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
CN111696373A (zh) * | 2019-03-15 | 2020-09-22 | 北京图森智途科技有限公司 | 车队协同感知方法、车队协同控制方法和系统 |
CN111770451A (zh) * | 2020-05-26 | 2020-10-13 | 同济大学 | 一种基于车路协同的道路车辆定位及感知方法和装置 |
CN111833631A (zh) * | 2020-06-24 | 2020-10-27 | 武汉理工大学 | 基于车路协同的目标数据处理方法、系统和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109521403B (zh) * | 2017-09-19 | 2020-11-20 | 百度在线网络技术(北京)有限公司 | 多线激光雷达的参数标定方法及装置、设备及可读介质 |
CN110018489B (zh) * | 2019-04-25 | 2022-11-08 | 上海蔚来汽车有限公司 | 基于激光雷达的目标追踪方法、装置及控制器和存储介质 |
CN111832536B (zh) * | 2020-07-27 | 2024-03-12 | 北京经纬恒润科技股份有限公司 | 一种车道线检测方法及装置 |
-
2020
- 2020-11-19 CN CN202011304484.0A patent/CN112462381B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001243591A (ja) * | 2000-02-29 | 2001-09-07 | Toyota Motor Corp | 電子制御ユニット、車両の走行支援装置、及び車両交通システム |
CN108509972A (zh) * | 2018-01-16 | 2018-09-07 | 天津大学 | 一种基于毫米波和激光雷达的障碍物特征提取方法 |
CN111696373A (zh) * | 2019-03-15 | 2020-09-22 | 北京图森智途科技有限公司 | 车队协同感知方法、车队协同控制方法和系统 |
CN110658530A (zh) * | 2019-08-01 | 2020-01-07 | 北京联合大学 | 一种基于双激光雷达数据融合的地图构建方法、系统及地图 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110794406A (zh) * | 2019-11-12 | 2020-02-14 | 北京经纬恒润科技有限公司 | 多源传感器数据融合系统和方法 |
CN111222568A (zh) * | 2020-01-03 | 2020-06-02 | 北京汽车集团有限公司 | 一种车辆网联数据融合方法及装置 |
CN111260683A (zh) * | 2020-01-09 | 2020-06-09 | 合肥工业大学 | 一种三维点云数据的目标检测与跟踪方法及其装置 |
CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
CN111770451A (zh) * | 2020-05-26 | 2020-10-13 | 同济大学 | 一种基于车路协同的道路车辆定位及感知方法和装置 |
CN111833631A (zh) * | 2020-06-24 | 2020-10-27 | 武汉理工大学 | 基于车路协同的目标数据处理方法、系统和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于车路协同的开放道路应用场景落地研究;周桥立等;信息通信;20200206(第2期);第29-31页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112462381A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112462381B (zh) | 一种基于车路协同的多激光雷达融合方法 | |
Rawashdeh et al. | Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information | |
CN113379805B (zh) | 一种交通节点的多信息资源融合处理方法 | |
JP6714513B2 (ja) | 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置 | |
KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
Aeberhard et al. | High-level sensor data fusion architecture for vehicle surround environment perception | |
Aycard et al. | Intersection safety using lidar and stereo vision sensors | |
CN110320531B (zh) | 基于激光雷达的障碍物识别方法、地图创建方法及装置 | |
CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
CN111220998B (zh) | 一种基于车车通信的多目标协同跟踪的方法 | |
CN112379674B (zh) | 一种自动驾驶设备及系统 | |
CN111508276B (zh) | 基于高精地图的v2x逆向超车预警方法、系统和介质 | |
CN114424265B (zh) | 信号处理设备、信号处理方法、程序和移动设备 | |
CN113253257B (zh) | 一种基于多毫米波雷达和视觉的露天矿障碍物检测方法 | |
US20230289980A1 (en) | Learning model generation method, information processing device, and information processing system | |
US20220292296A1 (en) | Information processing device, information processing method, and program | |
CN117130010B (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
CN116994436B (zh) | 一种智慧矿山道路碰撞预警方法 | |
CN114049767A (zh) | 一种边缘计算方法、装置及可读存储介质 | |
CN115082562A (zh) | 一种外参标定方法、装置、设备、服务器及车载计算设备 | |
US10791534B1 (en) | Synchronizing sensing systems | |
EP4148600A1 (en) | Attentional sampling for long range detection in autonomous vehicles | |
CN112150503B (zh) | 一种环境动态模型的确定方法、装置、电子设备及存储介质 | |
Nguyen et al. | Optimized grid-based environment perception in advanced driver assistance systems | |
Weiss et al. | Environmental perception and situation assessment for an advanced highway assistant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |