CN112698302A - 一种颠簸路况下的传感器融合目标检测方法 - Google Patents
一种颠簸路况下的传感器融合目标检测方法 Download PDFInfo
- Publication number
- CN112698302A CN112698302A CN202011487372.3A CN202011487372A CN112698302A CN 112698302 A CN112698302 A CN 112698302A CN 202011487372 A CN202011487372 A CN 202011487372A CN 112698302 A CN112698302 A CN 112698302A
- Authority
- CN
- China
- Prior art keywords
- data
- laser radar
- point cloud
- global shutter
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims abstract description 4
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 230000001133 acceleration Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 16
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000035772 mutation Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 206010034719 Personality change Diseases 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 3
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种颠簸路况下的传感器融合目标检测方法,步骤如下:对激光雷达和两个全局快门相机所检测的数据进行处理校正;对上述校正后的激光雷达和两个全局快门相机数据进行特征提取;利用空间同步,将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中;利用时间同步,得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据;由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果。本发明考虑颠簸路面下的点云和图像数据修正,保证无人车在颠簸路况下依然能够具备较好的准确性。
Description
技术领域
本发明属于无人驾驶技术的目标检测与环境感知领域,具体指代一种颠簸路况下的传感器融合目标检测方法。
背景技术
随着科技水平的不断发展,我国车辆行业也逐渐的走进了智能化的时代。在智能车辆的不断发展中,目标检测、智能决策和底层控制成为了智能化水平发展重点与难点。其中,关于目标检测,在当前的发展过程中,大多都侧重于城市结构化道路的目标检测。然而,在面临野外颠簸路面时,采用当前的算法都难以提供较好的鲁棒性。
不同传感器在颠簸环境中都会面临着不同的问题,对于雷达数据,在野外颠簸环境中,所采集的数据都面临着抖动、失真、数据缺失等问题。对与视觉传感器所采集的数据也面临因为抖动所产生的障碍物拖影问题。因此,对于颠簸路况下的目标检测,需要采用的特殊的数据处理方法和设备来实现稳定检测。在当前的研究中,对于颠簸路面目标检测的研究还较少,并多以单一雷达传感器为主,不能较好的实现各种情况下的鲁棒性检测。例如中国专利申请号CN201510634012.4,名称为“一种颠簸路面车辆雷达目标位置的追踪装置及追踪方法”,其中考虑了颠簸路面下的跟踪失败问题,利用陀螺仪感知当前情况下的路面的颠簸情况,当路面状况良好时或路面颠簸但可以检测到前方目标信号时,实时输出检测到的雷达数据,例如相对位置、相对速度,跟车角度等。当路面颠簸且无法良好的检测到前方车辆目标时,采用上一时刻数据,此类方法没有对数据进行修正且过于依赖上一时刻数据,在路面情况差,连续帧检测失败时,易因相对信息检测错误和信息滞后产生交通事故。中国专利申请号CN202010207660.2,名称为“一种考虑车辆颠簸的障碍物检测方法及系统”,其中着重对激光雷达信号进行处理,包括单帧姿态修正,单帧纵向畸变修正,基于IMU和基于背景的多帧修正。然而,在检测过程忽略了因颠簸而引起的目标丢失现象。同时也忽略了激光雷达在雨雾天气的局限性和检测精度低的问题。
因此,在现有的障碍物检测系统中,对于颠簸路况下的研究相对较少,已有的研究也大都侧重于单一传感器的利用,并且不能较好的在障碍物检测失败的情况下对当前时刻相对信息进行预测以保证车辆行驶的安全性。
发明内容
针对于上述现有技术的不足,本发明的目的在于提供一种颠簸路况下的传感器融合目标检测方法,以解决现有技术中颠簸路况数据失真和数据丢失问题;本发明方法采用激光雷达和两个全局快门相机进行融合,利用立体视觉视差法处理图像数据,探测前方一定距离内是否存在障碍物,并且利用IMU对图像数据进行修正搜索到障碍物所在的感兴趣区域,然后利用IMU单帧修正、帧间修正、聚类分析的方法对激光雷达进行处理并提取特征,最后将两者特征数据融合后与前n时刻加权融合,并考虑各类传感器信息丢失下的检测方法。
为达到上述目的,本发明采用的技术方案如下:
本发明的一种颠簸路况下的传感器融合目标检测方法,步骤如下:
步骤1):对激光雷达和两个全局快门相机所检测的数据进行处理校正;
步骤2):对上述步骤1)中校正后的激光雷达和两个全局快门相机数据进行特征提取;
步骤3):利用空间同步,将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中;
步骤4):利用时间同步,得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据;
步骤5)由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果。
进一步地,所述激光雷达布置于车辆顶部中心位置,所述两个全局快门相机分别布置与车辆前档底端两侧。
进一步地,所述步骤1)具体包括:
步骤11):利用惯性测量单元和全球定位系统对激光雷达进行数据校正,利用全球定位系统的时间同步为单帧内的每个激光点提供时间戳;利用高频惯性测量单元提供航向角、横摆角、俯仰角、车速和加速度信息;对单帧点云内包含的多帧连续加速度与车速数据插值求出随时间变化函数,并通过时间戳与加速度、车速数据进行逆运算对点云进行坐标变换,以避免单帧点云离散变形;
步骤12):结合步骤11)中的修正点云信息和全局快门相机采集的图像信息,以前一帧数据为基础,利用惯性测量单元所得数据对两帧的图像数据和点云数据进行修正和匹配。
进一步地,所述步骤2)具体包括:
步骤21):利用多特征多层栅格地图对修正后的点云数据进行划分,并利用基于深度值的聚类方法对栅格地图进行聚类,得到障碍物边缘信息,并保留障碍物中心点信息和距离信息;
步骤22):利用立体视觉视差法和基于深度学习的yolo3算法对图像数据进行处理,输出障碍物距离信息和障碍物中心在图像的位置。
进一步地,所述步骤1)中采用激光雷达和全局快门相机分别为Velodyne公司的HDL-64E机械雷达和illunis家族的CMV-50;采用全局快门相机可以有效的避免由于颠簸而引起的像素失真。
进一步地,所述步骤11)中所述的逆运算过程具体为:利用当前点云的坐标位置和初始点云时间戳到当前点云时间戳车辆本身的姿态差异进行校正,车辆姿态变化体现在航向角、横摆角、俯仰角和纵向位移;设高频惯性测量单元扫描检测一次的周期为Timu,初始点云时间戳到当前点云时间戳经过的时间为tlidar,高频惯性测量单元测量数据经过插值后得的航向角、横摆角、俯仰角速度为纵向位移加速度为δzi则姿态变换矩阵[ΔαΔβΔγ]与纵向位移为ΔZ:
根据姿态变换矩阵求得点云的坐标修正方程R:
修正后坐标为:
[x' y' z']T=R[x y z]T+[0 0 ΔZ]T
式中,[x' y' z']T为修正后点云坐标,R为点云的坐标修正方程,[x y z]T为修正前点云坐标,[0 0 ΔZ]T为纵向修正矩阵。
进一步地,所述步骤12)中提到的帧间修正,即记录高频惯性测量单元所测得的实时数据,并对两帧激光雷达和图像中间的多组加速度与车速数据进行插值,利用积分运算求解角度变化和纵向位移变化;然后利用矩阵计算对两帧进行联合修正并标定对应关系。
进一步地,所述步骤21)中提到的栅格划分即利用高度特征和强度特征将栅格分为地面栅格、障碍物栅格和悬挂物栅格三类;所提到的基于深度值的聚类方式,即将聚类的距离阈值随深度值的改变而改变,改善远处物体难以聚类,近处物体过分割问题。
进一步地,所述步骤21)中利用基于深度值的聚类方法对栅格地图进行聚类,聚类阈值设定为NT,由公式NT=[DT/G]求解,G为栅格大小;利用栅格聚类阈值对连通的区域进一步扩展使其大小为(2NT-1)×(2NT-1),然后将连通区域内的栅格判定为同一个障碍物;在距离阈值DT求解中,利用公式求解,式中σr代表激光雷达的测量误差,Δφ为水平角分辨率,rn-1为障碍栅格中心点的深度值,λ为阈值参数;根据深度值rn来确定距离阈值,避免距离近产生过分割,距离远产生欠分割。
进一步地,所述步骤3)中提到的从雷达坐标系转移至像素坐标系所需要经历的过程为:由雷达坐标系转化至世界坐标系,再由世界坐标转化至相机坐标系,最后由相机坐标系转换至像素坐标系,完成所检测数据的坐标统一。
进一步地,所述步骤4)中利用的时间同步工具为全球定位系统自带的脉冲发生器,同步方式为根据激光雷达扫描频率设置触发频率,每次触发获取当前帧的激光雷达和全局快门相机数据,若图像在此刻无数据,则利用前后时刻数据进行插值计算。
进一步地,所述步骤5)中障碍物信息输出结果依据当前激光雷达与全局快门相机是否均检测到障碍物信息,并将其分为三类:
(1)激光雷达与全局快门相机均检测到障碍物信息;
利用障碍物中心点和障碍物距离信息联合设定判定函数对检测结果进行融合:
F=wu|uc-ur|+wr|vc-vr|+wdis|dc-dr|
式中,uc,vc,ur,vr分别代表像素坐标系下的摄像头和雷达检测障碍物中心点坐标,dc,dr代表激光雷达与全局快门相机和障碍物的距离,wu,wr,wdis代表权重;权重分配由俯仰角、横摆角、航向角和纵向加速度所确定的颠簸程度决定;
设定判定阈值为Fu当F小于Fu时则认为激光雷达与全局快门相机检测为同一障碍物,当大于Fu时则认为属于不同障碍物信息;
将融合后的数据和前n时刻对当前时刻的预测值加权平均修正,建立数学模型:
式中,值为1,X0为当前时刻数据,X1~Xn为前n时刻数据;权值分配由车辆姿态是否突变进行分配;若当前时刻车辆姿态突变,则赋予当前时刻和前n时刻中发生突变时刻对当前时刻的预测小的权值,给予前n时刻中未发生突变时刻对当前时刻的预测大的权值,且越靠近当前时刻给予越大的权值;若当前时刻未发生突变时,则给予当前时刻最大的权值,其他时刻则根据距离当前时刻的时间和是否突变进行分配权值;最终将融合修正后的数据输出给决策机构以便道路规划和智能转向;
(2)激光雷达与全局快门相机因颠簸只有一个检测到障碍物目标;
当激光雷达与全局快门相机只有一个正常工作时则采用当前工作正常的设备检测结果与前n个时刻检测结果加权修正,修正过程与融合后的激光雷达与全局快门相机数据修正方式一致;
(3)激光雷达与全局快门相机均因颠簸失去检测目标;
利用前n时刻对当前时刻的预测方式即利用第i时刻的障碍物信息和第i时刻到当前时刻的垂直加速度、车速、航向角速度、横摆角速度和俯仰角速度积分运算求得。
本发明的有益效果:
本发明考虑颠簸路面下的点云和图像数据修正,保证无人车在颠簸路况下依然能够具备较好的准确性;同时,利用激光雷达和全局快门相机进行冗余检测,确保检测的高鲁棒性。最后,利用前n时刻对当前时刻的修正,以及对激光雷达和全局快门相机失效下数据预测方法考虑,确保任意时刻下的目标检测的稳定性。
附图说明
图1是激光雷达与全局快门相机分布式布置示意图;
图2是车辆颠簸姿态变化示意图;
图3是单帧点云修正流程图;
图4是脉冲发生器工作示意图数据融合流程图;
图5是数据融合流程图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
本发明的一种颠簸路况下的传感器融合目标检测方法,步骤如下:
步骤1):对激光雷达和两个全局快门相机所检测的数据进行处理校正;激光雷达与两个全局快门相机布置方式参照图1所示,所述激光雷达布置于车辆顶部中心位置,所述两个全局快门相机分别布置与车辆前档底端两侧。
所述步骤1)具体包括:
步骤11):参照图3所示,利用惯性测量单元和全球定位系统对激光雷达单帧数据进行数据校正,利用全球定位系统的时间同步为单帧内的每个激光点提供时间戳;利用高频惯性测量单元提供航向角、横摆角、俯仰角、车速和加速度信息;对单帧点云内包含的多帧连续加速度与车速数据插值求出随时间变化函数,并通过时间戳与加速度、车速数据进行逆运算对点云进行坐标变换,以避免单帧点云离散变形;
步骤12):结合步骤11)中的修正点云信息和全局快门相机采集的图像信息,以前一帧数据为基础,利用惯性测量单元所得数据对两帧的图像数据和点云数据进行修正和匹配。
所述步骤1)中采用激光雷达和全局快门相机分别为Velodyne公司的HDL-64E机械雷达和illunis家族的CMV-50;采用全局快门相机可以有效的避免由于颠簸而引起的像素失真。
所述步骤11)中所述的逆运算参照图2所示,过程具体为:利用当前点云的坐标位置和初始点云时间戳到当前点云时间戳车辆本身的姿态差异进行校正,车辆姿态变化体现在航向角、横摆角、俯仰角和纵向位移;设高频惯性测量单元扫描检测一次的周期为Timu,初始点云时间戳到当前点云时间戳经过的时间为tlidar,高频惯性测量单元测量数据经过插值后得的航向角、横摆角、俯仰角速度为纵向位移加速度为δzi则姿态变换矩阵[Δα Δβ Δγ]与纵向位移为ΔZ:
根据姿态变换矩阵求得点云的坐标修正方程R:
修正后坐标为:
[x' y' z']T=R[x y z]T+[0 0 ΔZ]T
式中,[x' y' z']T为修正后点云坐标,R为点云的坐标修正方程,[x y z]T为修正前点云坐标,[0 0 ΔZ]T为纵向修正矩阵。
其中,所述步骤12)中提到的帧间修正,即记录高频惯性测量单元所测得的实时数据,并对两帧激光雷达和图像中间的多组加速度与车速数据进行插值,利用积分运算求解角度变化和纵向位移变化;然后利用矩阵计算对两帧进行联合修正并标定对应关系。
步骤2):对上述步骤1)中校正后的激光雷达和两个全局快门相机数据进行特征提取;
步骤21):利用多特征多层栅格地图对修正后的点云数据进行划分,并利用基于深度值的聚类方法对栅格地图进行聚类,得到障碍物边缘信息,并保留障碍物中心点信息和距离信息;
步骤22):利用立体视觉视差法和基于深度学习的yolo3算法对图像数据进行处理,输出障碍物距离信息和障碍物中心在图像的位置。
所述步骤21)中提到的栅格划分即利用高度特征和强度特征将栅格分为地面栅格、障碍物栅格和悬挂物栅格三类;所提到的基于深度值的聚类方式,即将聚类的距离阈值随深度值的改变而改变,改善远处物体难以聚类,近处物体过分割问题。
所述步骤21)中利用基于深度值的聚类方法对栅格地图进行聚类,聚类阈值设定为NT,由公式NT=[DT/G]求解,G为栅格大小;利用栅格聚类阈值对连通的区域进一步扩展使其大小为(2NT-1)×(2NT-1),然后将连通区域内的栅格判定为同一个障碍物;在距离阈值DT求解中,利用公式求解,式中σr代表激光雷达的测量误差,Δφ为水平角分辨率,rn-1为障碍栅格中心点的深度值,λ为阈值参数;根据深度值rn来确定距离阈值,避免距离近产生过分割,距离远产生欠分割。
步骤3):利用空间同步,将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中;
所述步骤3)中提到的从雷达坐标系转移至像素坐标系所需要经历的过程为:由雷达坐标系转化至世界坐标系,再由世界坐标转化至相机坐标系,最后由相机坐标系转换至像素坐标系,完成所检测数据的坐标统一。
步骤4):利用时间同步,得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据;
参照图4所示,时间同步工具为全球定位系统自带的脉冲发生器,同步方式为根据激光雷达扫描频率设置触发频率,每次触发获取当前帧的激光雷达和全局快门相机数据,若图像在此刻无数据,则利用前后时刻数据进行插值计算。
步骤5)由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果;其中,颠簸程度由惯性测量单元检测的各方向上的加速度突变情况确定;
参照图5所示,障碍物信息输出结果依据当前激光雷达与全局快门相机是否均检测到障碍物信息,并将其分为三类:
(1)激光雷达与全局快门相机均检测到障碍物信息;
利用障碍物中心点和障碍物距离信息联合设定判定函数对检测结果进行融合:
F=wu|uc-ur|+wr|vc-vr|+wdis|dc-dr|
式中,uc,vc,ur,vr分别代表像素坐标系下的摄像头和雷达检测障碍物中心点坐标,dc,dr代表激光雷达与全局快门相机和障碍物的距离,wu,wr,wdis代表权重;权重分配由俯仰角、横摆角、航向角和纵向加速度所确定的颠簸程度决定;
设定判定阈值为Fu当F小于Fu时则认为激光雷达与全局快门相机检测为同一障碍物,当大于Fu时则认为属于不同障碍物信息;
将融合后的数据和前n时刻对当前时刻的预测值加权平均修正,建立数学模型:
式中,值为1,X0为当前时刻数据,X1~Xn为前n时刻数据;权值分配由车辆姿态是否突变进行分配;若当前时刻车辆姿态突变,则赋予当前时刻和前n时刻中发生突变时刻对当前时刻的预测小的权值,给予前n时刻中未发生突变时刻对当前时刻的预测大的权值,且越靠近当前时刻给予越大的权值;若当前时刻未发生突变时,则给予当前时刻最大的权值,其他时刻则根据距离当前时刻的时间和是否突变进行分配权值;最终将融合修正后的数据输出给决策机构以便道路规划和智能转向;
(2)激光雷达与全局快门相机因颠簸只有一个检测到障碍物目标;
当激光雷达与全局快门相机只有一个正常工作时则采用当前工作正常的设备检测结果与前n个时刻检测结果加权修正,修正过程与融合后的激光雷达与全局快门相机数据修正方式一致;
(3)激光雷达与全局快门相机均因颠簸失去检测目标;
利用前n时刻对当前时刻的预测方式即利用第i时刻的障碍物信息和第i时刻到当前时刻的垂直加速度、车速、航向角速度、横摆角速度和俯仰角速度积分运算求得。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (10)
1.一种颠簸路况下的传感器融合目标检测方法,其特征在于,步骤如下:
步骤1):对激光雷达和两个全局快门相机所检测的数据进行处理校正;
步骤2):对上述步骤1)中校正后的激光雷达和两个全局快门相机数据进行特征提取;
步骤3):利用空间同步,将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中;
步骤4):利用时间同步,得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据;
步骤5)由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果。
2.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述激光雷达布置于车辆顶部中心位置,所述两个全局快门相机分别布置与车辆前档底端两侧。
3.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤1)具体包括:
步骤11):利用惯性测量单元和全球定位系统对激光雷达进行数据校正,利用全球定位系统的时间同步为单帧内的每个激光点提供时间戳;利用高频惯性测量单元提供航向角、横摆角、俯仰角、车速和加速度信息;对单帧点云内包含的多帧连续加速度与车速数据插值求出随时间变化函数,并通过时间戳与加速度、车速数据进行逆运算对点云进行坐标变换,以避免单帧点云离散变形;
步骤12):结合步骤11)中的修正点云信息和全局快门相机采集的图像信息,以前一帧数据为基础,利用惯性测量单元所得数据对两帧的图像数据和点云数据进行修正和匹配。
4.根据权利要求3所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤11)中所述的逆运算过程具体为:利用当前点云的坐标位置和初始点云时间戳到当前点云时间戳车辆本身的姿态差异进行校正,车辆姿态变化体现在航向角、横摆角、俯仰角和纵向位移;设高频惯性测量单元扫描检测一次的周期为Timu,初始点云时间戳到当前点云时间戳经过的时间为tlidar,高频惯性测量单元测量数据经过插值后得的航向角、横摆角、俯仰角速度为纵向位移加速度为δzi则姿态变换矩阵[Δα Δβ Δγ]与纵向位移为ΔZ:
根据姿态变换矩阵求得点云的坐标修正方程R:
修正后坐标为:
[x' y' z']T=R[x y z]T+[0 0 ΔZ]T
式中,[x' y' z']T为修正后点云坐标,R为点云的坐标修正方程,[x y z]T为修正前点云坐标,[0 0 ΔZ]T为纵向修正矩阵。
5.根据权利要求3所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤12)中帧间修正,即记录高频惯性测量单元所测得的实时数据,并对两帧激光雷达和图像中间的多组加速度与车速数据进行插值,利用积分运算求解角度变化和纵向位移变化;然后利用矩阵计算对两帧进行联合修正并标定对应关系。
6.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤2)具体包括:
步骤21):利用多特征多层栅格地图对修正后的点云数据进行划分,并利用基于深度值的聚类方法对栅格地图进行聚类,得到障碍物边缘信息,并保留障碍物中心点信息和距离信息;
步骤22):利用立体视觉视差法和基于深度学习的yolo3算法对图像数据进行处理,输出障碍物距离信息和障碍物中心在图像的位置。
7.根据权利要求6所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤21)中提到的栅格划分即利用高度特征和强度特征将栅格分为地面栅格、障碍物栅格和悬挂物栅格三类;所提到的基于深度值的聚类方式,即将聚类的距离阈值随深度值的改变而改变,改善远处物体难以聚类,近处物体过分割问题。
8.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤3)中提到的从雷达坐标系转移至像素坐标系所需要经历的过程为:由雷达坐标系转化至世界坐标系,再由世界坐标转化至相机坐标系,最后由相机坐标系转换至像素坐标系,完成所检测数据的坐标统一。
9.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤4)中利用的时间同步工具为全球定位系统自带的脉冲发生器,同步方式为根据激光雷达扫描频率设置触发频率,每次触发获取当前帧的激光雷达和全局快门相机数据,若图像在此刻无数据,则利用前后时刻数据进行插值计算。
10.根据权利要求1所述的颠簸路况下的传感器融合目标检测方法,其特征在于,所述步骤5)中障碍物信息输出结果依据当前激光雷达与全局快门相机是否均检测到障碍物信息,并将其分为三类:
51)激光雷达与全局快门相机均检测到障碍物信息;
利用障碍物中心点和障碍物距离信息联合设定判定函数对检测结果进行融合:
F=wu|uc-ur|+wr|vc-vr|+wdis|dc-dr|
式中,uc,vc,ur,vr分别代表像素坐标系下的摄像头和雷达检测障碍物中心点坐标,dc,dr代表激光雷达与全局快门相机和障碍物的距离,wu,wr,wdis代表权重;权重分配由俯仰角、横摆角、航向角和纵向加速度所确定的颠簸程度决定;
设定判定阈值为Fu当F小于Fu时则认为激光雷达与全局快门相机检测为同一障碍物,当大于Fu时则认为属于不同障碍物信息;
将融合后的数据和前n时刻对当前时刻的预测值加权平均修正,建立数学模型:
式中,值为1,X0为当前时刻数据,X1~Xn为前n时刻数据;权值分配由车辆姿态是否突变进行分配;若当前时刻车辆姿态突变,则赋予当前时刻和前n时刻中发生突变时刻对当前时刻的预测小的权值,给予前n时刻中未发生突变时刻对当前时刻的预测大的权值,且越靠近当前时刻给予越大的权值;若当前时刻未发生突变时,则给予当前时刻最大的权值,其他时刻则根据距离当前时刻的时间和是否突变进行分配权值;最终将融合修正后的数据输出给决策机构以便道路规划和智能转向;
52)激光雷达与全局快门相机因颠簸只有一个检测到障碍物目标;
当激光雷达与全局快门相机只有一个正常工作时则采用当前工作正常的设备检测结果与前n个时刻检测结果加权修正,修正过程与融合后的激光雷达与全局快门相机数据修正方式一致;
53)激光雷达与全局快门相机均因颠簸失去检测目标;
利用前n时刻对当前时刻的预测方式即利用第i时刻的障碍物信息和第i时刻到当前时刻的垂直加速度、车速、航向角速度、横摆角速度和俯仰角速度积分运算求得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487372.3A CN112698302B (zh) | 2020-12-16 | 2020-12-16 | 一种颠簸路况下的传感器融合目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487372.3A CN112698302B (zh) | 2020-12-16 | 2020-12-16 | 一种颠簸路况下的传感器融合目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112698302A true CN112698302A (zh) | 2021-04-23 |
CN112698302B CN112698302B (zh) | 2023-11-07 |
Family
ID=75508546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011487372.3A Active CN112698302B (zh) | 2020-12-16 | 2020-12-16 | 一种颠簸路况下的传感器融合目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112698302B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及系统 |
CN113822210A (zh) * | 2021-09-27 | 2021-12-21 | 山东睿思奥图智能科技有限公司 | 一种基于激光技术的人腿检测方法 |
CN113830083A (zh) * | 2021-07-26 | 2021-12-24 | 武汉理工大学 | 基于交通路锥识别的车辆安全引导方法 |
CN114399587A (zh) * | 2021-12-20 | 2022-04-26 | 禾多科技(北京)有限公司 | 三维车道线生成方法、装置、电子设备和计算机可读介质 |
CN114655343A (zh) * | 2022-03-14 | 2022-06-24 | 摩拜(北京)信息技术有限公司 | 骑行状态检测方法、装置及电动自行车 |
CN115421125A (zh) * | 2022-11-07 | 2022-12-02 | 山东富锐光学科技有限公司 | 一种基于数据融合的雷达点云数据惯性校正方法 |
WO2022267444A1 (zh) * | 2021-06-23 | 2022-12-29 | 上海仙途智能科技有限公司 | 用于相机标定的方法及装置 |
CN116612459A (zh) * | 2023-07-18 | 2023-08-18 | 小米汽车科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN117420143A (zh) * | 2023-12-19 | 2024-01-19 | 斯润天朗(北京)科技有限公司 | 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 |
WO2024104418A1 (en) * | 2022-11-16 | 2024-05-23 | Hesai Technology Co., Ltd. | Calibration method for lidar and calibration apparatus, storage medium, and terminal device |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
US20180232947A1 (en) * | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
CN109596078A (zh) * | 2019-01-28 | 2019-04-09 | 吉林大学 | 多信息融合路面谱实时测试系统和测试方法 |
CN110118556A (zh) * | 2019-04-12 | 2019-08-13 | 浙江工业大学 | 一种基于协方差交叉融合slam的机器人定位方法及装置 |
WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
CN111381248A (zh) * | 2020-03-23 | 2020-07-07 | 湖南大学 | 一种考虑车辆颠簸的障碍物检测方法及系统 |
CN111506069A (zh) * | 2020-04-26 | 2020-08-07 | 吉林大学 | 一种全天候全地面起重机障碍识别系统及方法 |
CN111649740A (zh) * | 2020-06-08 | 2020-09-11 | 武汉中海庭数据技术有限公司 | 一种基于imu进行车辆高精度定位的方法及系统 |
CN111879287A (zh) * | 2020-07-08 | 2020-11-03 | 河南科技大学 | 基于多传感器的低速车辆的前向地形三维构建方法 |
-
2020
- 2020-12-16 CN CN202011487372.3A patent/CN112698302B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180232947A1 (en) * | 2017-02-11 | 2018-08-16 | Vayavision, Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
CN109596078A (zh) * | 2019-01-28 | 2019-04-09 | 吉林大学 | 多信息融合路面谱实时测试系统和测试方法 |
CN110118556A (zh) * | 2019-04-12 | 2019-08-13 | 浙江工业大学 | 一种基于协方差交叉融合slam的机器人定位方法及装置 |
CN111381248A (zh) * | 2020-03-23 | 2020-07-07 | 湖南大学 | 一种考虑车辆颠簸的障碍物检测方法及系统 |
CN111506069A (zh) * | 2020-04-26 | 2020-08-07 | 吉林大学 | 一种全天候全地面起重机障碍识别系统及方法 |
CN111649740A (zh) * | 2020-06-08 | 2020-09-11 | 武汉中海庭数据技术有限公司 | 一种基于imu进行车辆高精度定位的方法及系统 |
CN111879287A (zh) * | 2020-07-08 | 2020-11-03 | 河南科技大学 | 基于多传感器的低速车辆的前向地形三维构建方法 |
Non-Patent Citations (1)
Title |
---|
李峰: "《机载LiDAR系统原理与点云处理方法》", 北京:煤炭工业出版社, pages: 57 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022267444A1 (zh) * | 2021-06-23 | 2022-12-29 | 上海仙途智能科技有限公司 | 用于相机标定的方法及装置 |
CN113830083B (zh) * | 2021-07-26 | 2024-02-23 | 武汉理工大学 | 基于交通路锥识别的车辆安全引导方法 |
CN113830083A (zh) * | 2021-07-26 | 2021-12-24 | 武汉理工大学 | 基于交通路锥识别的车辆安全引导方法 |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及系统 |
CN113822210A (zh) * | 2021-09-27 | 2021-12-21 | 山东睿思奥图智能科技有限公司 | 一种基于激光技术的人腿检测方法 |
CN113822210B (zh) * | 2021-09-27 | 2022-10-14 | 山东睿思奥图智能科技有限公司 | 一种基于激光技术的人腿检测方法 |
CN114399587A (zh) * | 2021-12-20 | 2022-04-26 | 禾多科技(北京)有限公司 | 三维车道线生成方法、装置、电子设备和计算机可读介质 |
CN114655343A (zh) * | 2022-03-14 | 2022-06-24 | 摩拜(北京)信息技术有限公司 | 骑行状态检测方法、装置及电动自行车 |
CN115421125A (zh) * | 2022-11-07 | 2022-12-02 | 山东富锐光学科技有限公司 | 一种基于数据融合的雷达点云数据惯性校正方法 |
WO2024104418A1 (en) * | 2022-11-16 | 2024-05-23 | Hesai Technology Co., Ltd. | Calibration method for lidar and calibration apparatus, storage medium, and terminal device |
CN116612459B (zh) * | 2023-07-18 | 2023-11-17 | 小米汽车科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN116612459A (zh) * | 2023-07-18 | 2023-08-18 | 小米汽车科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN117420143A (zh) * | 2023-12-19 | 2024-01-19 | 斯润天朗(北京)科技有限公司 | 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 |
CN117420143B (zh) * | 2023-12-19 | 2024-03-15 | 斯润天朗(北京)科技有限公司 | 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112698302B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112698302B (zh) | 一种颠簸路况下的传感器融合目标检测方法 | |
CN111368706B (zh) | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 | |
JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
CN109752701A (zh) | 一种基于激光点云的道路边沿检测方法 | |
CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
CN109410264B (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
CN112346463B (zh) | 一种基于速度采样的无人车路径规划方法 | |
CN104204726A (zh) | 移动物体位置姿态估计装置和移动物体位置姿态估计方法 | |
CN113627473A (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
Kellner et al. | Road curb detection based on different elevation mapping techniques | |
CN114724110A (zh) | 目标检测方法及设备 | |
CN115265493B (zh) | 一种基于非标定相机的车道级定位方法及装置 | |
CN112509054A (zh) | 一种相机外参动态标定方法 | |
US9098774B2 (en) | Method for detection of targets in stereoscopic images | |
CN115079143A (zh) | 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置 | |
CN114295099A (zh) | 基于单目摄像头的测距方法、车载测距设备以及存储介质 | |
CN111830519B (zh) | 多传感器融合的测距方法 | |
CN111539278A (zh) | 一种用于目标车辆的检测方法及系统 | |
CN113947141B (zh) | 一种城市路口场景的路侧灯塔感知系统 | |
CN115965847A (zh) | 交叉视角下多模态特征融合的三维目标检测方法和系统 | |
CN115471526A (zh) | 基于多源异构信息融合的自动驾驶目标检测与跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |