CN109596078A - 多信息融合路面谱实时测试系统和测试方法 - Google Patents

多信息融合路面谱实时测试系统和测试方法 Download PDF

Info

Publication number
CN109596078A
CN109596078A CN201910078278.3A CN201910078278A CN109596078A CN 109596078 A CN109596078 A CN 109596078A CN 201910078278 A CN201910078278 A CN 201910078278A CN 109596078 A CN109596078 A CN 109596078A
Authority
CN
China
Prior art keywords
information
road surface
road
roughness
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910078278.3A
Other languages
English (en)
Inventor
王国强
陈春思
马若丁
崔达
李婧锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910078278.3A priority Critical patent/CN109596078A/zh
Publication of CN109596078A publication Critical patent/CN109596078A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/30Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种多信息融合的路面谱实时测试系统和测试方法,路面信息初步提取模块获取前方路面的点云信息,对点云进行融合处理后得到前方障碍物信息、路面边缘及宽度信息、车道线和标志牌等特殊图像信息以及路面不平度信息;位姿信息融合模块将位姿信息融合获得系统的位姿信息,使用得到的系统位姿信息对得到的初步路面信息进行修正;路面信息细化模块,对经过使用位姿信息进行修正后的初步路面信息进行细化,得到更为详细的路面不平度信息,并建立功率谱分析模型、时间序列分析模型、分型分析模型、小波分析模型、路面三维模型,并将能按照国际路面不平度等级标准进行划分的路面,按照国际路面不平度等级标准进行分级。

Description

多信息融合路面谱实时测试系统和测试方法
技术领域
本发明涉及一种车载路面不平度识别系统及方法,具体涉及一种多信息融 合路面谱实时测试系统与测试方法。
背景技术
车辆在行驶过程中会受到路面不平度的影响而颠簸起伏,引起车轮或车 身的垂向振动,直接影响整车的平顺性和驾驶员的舒适性,并且由于车轮垂 直在和和接地面积不稳定,也会影响车轮的地面附着力,进而对车辆的制动 性和操纵稳定性有很大影响;电子空气悬架(ECAS)、制动防抱死系统(ABS)、 电子稳定性系统(ESC)等系统也会针对路面不平度的变化调整控制模式或参 数,提高其在不平路面的适应性。
现有的路面谱的测试系统一般基于双目相机与惯性测量单元融合或使用 激光测距传感器和惯性测量单元融合或单独的使用惯性测量单元等,一般为 单传感器或双传感器融合测量,所得到的路面不平度基本满足使用要求,但 随着智能驾驶、无人驾驶技术的发展,需要车辆能够获得实时在线、更加可 靠、更加准确的路面信息并做出相应的调整以保证车辆的安全、稳定、高效。
因此,一种能够获得更加准确、实时的路面信息的多信息融合路面谱实时 测试系统与方法,是提升车辆安全稳定性和整车电控系统适应性的关键。
发明内容
针对上述技术问题,本发明提供了一种能够更加精确、实时获取路面不 平度信息的系统和测试方法。
本发明采用的技术方案为:
一种基于多信息融合路面谱实时测试系统,应用在一车辆中,包括路面 信息初步提取模块、位姿信息融合模块、路面信息细化模块;
所述路面信息初步提取模块包括激光雷达001和双目相机003,用于获取 车辆前方路面的双目图像和点云,通过双目图像和点云进行融合得到前方路 面的障碍物信息、路面边缘及宽度信息、车道线和标志牌等特殊指导图像的 信息以及路面不平度信息;
所述位姿信息融合模块,所用的传感器包括通过RTK实时定位系统006、 惯性测量单元005、双目相机003、激光雷达001,RTK实时定位系统006、 惯性测量单元005、双目相机003、激光雷达001的位姿信息融合获得系统位 姿信息,使用的得到的系统位姿信息对得到的初步路面信息进行修正;
所述路面信息信息细化模块,所用传感器有激光测距传感器004和惯性 测量单元005,通过激光传感器004和惯性测量单元005对经过使用位姿信息 进行修正后的初步路面信息进行细化,建立更为详细的路面谱。
相机标定模块,用于对所述双目相机003进行标定以获取吸纳及标定参 数并发送给所述图像处理模块;所述相机标定参数包括两个相机间的基线距 离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。
所述图像处理模块用于将所述双目图像进行三维重建并对可通行的点 云进行提取具体包括:利用预设较正方法和所获取的相机标定参数对所接收 的双目图像进行校正,得到矫正后的双目图像;利用预设匹配方法对矫正后 的双目图像进行立体匹配,得到双目图像的图像像素点之间的对应关系;基 于所述双目图像像素点之间的对应关系以及相机标定参数,计算经理提匹配 后的双目图像在相应坐标系中的三位坐标;其中双目图像的相应坐标系十一 该图像对应相机的光心为原点,Z轴垂直城乡平面向外,X轴沿成像平面水平向右,Y轴沿成像平面竖直向下的坐标系;将所及孙的双目图像的三维坐标 进行坐标转换,是的相机坐标系下的三维坐标点云转换为车体坐标系下的点 云;其中,车体坐标系是以车辆后轴中心为原点,X轴向前,Y轴向左,Z轴 垂直向上的坐标系;将车体坐标系的X轴中小于预设距离法制的三维点云在 X-Y平面内划分未预定规格的栅格,将所述栅格内Z向高度最大值与最小值 之差不大于预设阈值的栅格内的点云进行提取,得到可通行点云。
车道线信息的识别通过双目相机003进行实现,双目相机003获取图像, 通过对感兴趣区域内的图像进行处理,通过提取出的车道线边界点可以拟合 出车道线模型,达到车道线信息识别的目的。该系统在单边部分车道线缺失 的情况下仍能准确识别车道线信息。该识别系统基于道路图像的识别,采用 双目相机采集道路图像。车道线信息的识别分五步:图像灰度化,节约了存 储空间,并同时提高了处理速度;图像的平滑和滤波,消除图像噪声,突出 感兴趣的特征;图像的二值化,灰度图转换为黑白图,方面目标信息的提取; 车道线的边缘提取,通过边缘检测将感兴趣的部分轮廓提取出来;车道标识 线的识别,采用链表跟踪的特征点提取方法,然后将特征点坐标转换到世界 坐标系下,道路模型采用直线与三次抛物线型缓和曲线,采用最小二乘法对 特征点进行拟合,最终得到车道线模型。
路面等级的识别是基于车辆振动模型通过惯性测量单元005进行实现, 针对于油气悬架参数可变的车辆。路面等级识别基于学习向量量化(LVQ) 神经网络,涉及训练神经网络。首先建立被测车辆的振动模型,然后选取若 干组悬架参数,每组包含悬架惰性气体初始压力、初始体积及阻尼孔直径。 车辆行驶速度在5-40km/h中选取八个,然后建立八个不同路面等级的路面激 励的时域仿真模型。然后通过每组悬架参数在不同行驶速度、不同路面等级 下的仿真得到悬架参数与车身垂直加速度的对应关系,将这些样本点带入神 经网络进行训练。再将由惯性测量单元获取的实时加速度信号输入至训练后 的神经网络,便可输出路面等级。
本发明的有益效果:
本发明能得到更为详细的路面不平度信息,并建立功率谱分析模型、时 间序列分析模型、分型分析模型、小波分析模型、路面三维模型,并将能按 照国际路面不平度等级标准进行划分的路面按照国际路面不平度等级标准进 行分级。
附图说明
图1为本发明所涉及的各种传感器的安装位置示意图。
图2为本发明多传感器融合路面谱实时测试方法与系统的结构示意图。
图3为本发明障碍物信息检测系统流程图。
图4为本发明道路模型的选择算法示意图。
图5为本发明车道线模型识别系统流程图。
图6为本发明惯性测量单元路面等级识别示意图。
图7为本发明多传感器数据融合目标识别框图。
具体实施方式
请参阅图1所示,一种基于多信息融合路面谱实时测试系统,应用在一 车辆中,包括路面信息初步提取模块、位姿信息融合模块、路面信息信息细 化模块;
所述路面信息初步提取模块由激光雷达001、毫米波雷达002和双目相机 003构成,激光雷达001安装在车辆上方,高度为2.1米;毫米波雷达002安 装在车辆前端中心位置;双目相机003安装在车辆前端挡风玻璃下面;激光 雷达001、毫米波雷达002和双目相机003用于获取车辆前方路面的双目图像 和点云,通过双目图像和点云进行融合得到前方路面的障碍物信息、路面边 缘及宽度信息、车道线和标志牌等特殊指导图像的信息以及路面不平度信息;
所述位姿信息融合模块由RTK实时定位系统、惯性测量单元005、双目 相机003和激光雷达001构成,RTK实时定位系统具有前天线006a和后天线 006b,前天线006a安装在车辆驾驶室顶部,后天线006b安装在车辆后部的 顶部,前天线006a用于定向,后天线006b用于定位,惯性测量单元005安 装在车辆惯性参考系质心位置处,RTK实时定位系统、惯性测量单元005、 双目相机003和激光雷达001的位姿信息融合获得系统位姿信息,使用得到 的系统位姿信息对得到的初步路面信息进行修正;
所述路面信息信息细化模块由激光测距传感器和惯性测量单元005构成, 激光测距传感器包括第一激光测距传感器004a和第二激光测距传感器004b; 惯性测量单元005安装在车辆惯性参考系质心位置处,第一激光测距传感器 004a安装在车辆前端中心位置,毫米波雷达002正下方,第二激光测距传感 器004b安装在车辆后方中心位置,通过激光测距传感器和惯性测量单元005 对经过使用位姿信息进行修正后的初步路面信息进行细化,建立更为详细的 路面谱。
所述的路面信息初步提取模块对双目图像进行处理和激光雷达点云进 行处理并对两者信息进行融合;
所述的双目图像首先是对双目相机003进行标定以获取双目相机标定参 数,然后将接收的双目图像进行三维重建并对可通行点云进行提取,由此可 得到对车道线以及对特殊图像的识别;所述相机标定参数包括两个相机间的 基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。
所述激光雷达点云的处理是选择预瞄距离测量范围,对所得点云进行零 点修正,最大误差估计,分级并加权运算,得到可通行点云信息;
所述对两者信息进行融合用于将点云信息进行融合,得到前方路面的障 碍物信息、路面边缘及宽度信息以及路面不平度信息(1)。
所述图像处理模块用于讲解好搜的所述双目图像进行三维重建并对可通 行的点云进行提取具体包括:利用预设较正方法和所获取的相机标定参数对 所接收的双目图像进行校正,得到矫正后的双目图像;利用预设匹配方法对 矫正后的双目图像进行立体匹配,得到双目图像的图像像素点之间的对应关 系;基于所述双目图像像素点之间的对应关系以及相机标定参数,计算经理 提匹配后的双目图像在相应坐标系中的三位坐标;其中双目图像的相应坐标 系十一该图像对应相机的光心为原点,Z轴垂直城乡平面向外,X轴沿成像平 面水平向右,Y轴沿成像平面竖直向下的坐标系;将所及孙的双目图像的三 维坐标进行坐标转换,是的相机坐标系下的三维坐标点云转换为车体坐标系 下的点云;其中,车体坐标系是以车辆后轴中心为原点,X轴向前,Y轴向 左,Z轴垂直向上的坐标系;将车体坐标系的X轴中小于预设距离法制的三 维点云在X-Y平面内划分未预定规格的栅格,将所述栅格内Z向高度最大值 与最小值之差不大于预设阈值的栅格内的点云进行提取,得到可通行点云。
车道线信息的识别通过双目相机003进行实现,双目相机003获取图像, 通过对感兴趣区域内的图像进行处理,通过提取出的车道线边界点可以拟合 出车道线模型,达到车道线信息识别的目的。该系统在单边部分车道线缺失 的情况下仍能准确识别车道线信息。该识别系统基于道路图像的识别,采用 双目相机采集道路图像。车道线信息的识别分五步:图像灰度化,节约了存 储空间,并同时提高了处理速度;图像的平滑和滤波,消除图像噪声,突出 感兴趣的特征;图像的二值化,灰度图转换为黑白图,方面目标信息的提取; 车道线的边缘提取,通过边缘检测将感兴趣的部分轮廓提取出来;车道标识 线的识别,采用链表跟踪的特征点提取方法,然后将特征点坐标转换到世界 坐标系下,道路模型采用直线与三次抛物线型缓和曲线,采用最小二乘法对 特征点进行拟合,最终得到车道线模型。
路面等级的识别是基于车辆振动模型通过惯性测量单元005进行实现, 针对于油气悬架参数可变的车辆。路面等级识别基于学习向量量化(LVQ) 神经网络,涉及训练神经网络。首先建立被测车辆的振动模型,然后选取若 干组悬架参数,每组包含悬架惰性气体初始压力、初始体积及阻尼孔直径。 车辆行驶速度在5-40km/h中选取八个,然后建立八个不同路面等级的路面激 励的时域仿真模型。然后通过每组悬架参数在不同行驶速度、不同路面等级 下的仿真得到悬架参数与车身垂直加速度的对应关系,将这些样本点带入神 经网络进行训练。再将由惯性测量单元获取的实时加速度信号输入至训练后 的神经网络,便可输出路面等级。
如图2所示,路面信息初步提取模块用于获取车辆前方路面的双目图像 和点云,通过双目图像和点云进行融合得到前方路面的障碍物信息、路面边 缘及宽度信息、车道线和标志牌等特殊指导图像的信息以及路面不平度信息 (1);
位姿信息融合模块得到的系统位姿信息对得到的初步路面信息进行修 正,得到路面不平度信息(2);
RTK(Real-time kinematic,实时动态)载波相位差分技术,是实时处理 两个测量站载波相位观测量的差分方法,将基准站采集的载波相位发给用户 接收机,进行求差解算坐标。这是一种新的常用的卫星定位测量方法,以前 的静态、快速静态、动态测量都需要事后进行解算才能获得厘米级的精度, 而RTK是能够在野外实时得到厘米级定位精度的测量方法,它采用了载波相 位动态实时差分方法,是GPS应用的重大里程碑,它的出现为工程放样、地 形测图,各种控制测量带来了新的测量原理和方法,极大地提高了作业效率。 使用RTK与惯性测量单元进行信息融合,能够得到实时的、更加准确的位姿 信息。
路面信息信息细化模块,所用传感器有激光测距传感器004和惯性测量单 元005,通过激光测距传感器和惯性测量单元005得到路面不平度信息(3), 将路面不平度信息(2)与路面不平度信息(3)融合,得到路面不平度信息 (4)。
请参阅图3所示,前方障碍物信息检测通过激光雷达001及毫米波雷达002 进行实现,通过激光雷达001获取点云图后,将数据点转换到车体坐标系中。 激光雷达001中心在路面上的投影为坐标原点,车辆行驶方向为x轴正方向, 在任意时刻,雷达某一根扫描线与XOY平面的夹角为与XOZ平面的夹 角为θ,d为雷达中心到所测点的实际距离,h为激光雷达001中心到地面的 距离,则数据点在车体坐标系下的坐标可以转换为:
下一步通过构建栅格地图确定障碍物的位置信息,激光雷达001扫描数据 为空间三维点(x,y,z),在俯视图中x和y确定扫描点所在栅格地图的位 置,z值确定该位置栅格的内容,判断该区域是否有障碍物。使用基于距离与 位置信息的密度聚类算法处理数据,首先输入若干个雷达数据点,计算两点 之间的欧氏距离,若大于阀值D,直接归为不同类,反之则归为同一类,然 后在计算其他数据点,直至遍历所有的点。阀值D的取值根据该点到激光雷 达001中心的实际距离d决定,距离越远,扫描线越稀疏,阀值D的取值更 大。实现障碍物及障碍物外形的检测。
毫米波雷达002达探测距离较长,有更强的穿透力,能够精确测量目标的 距离和相对速度,通过CAN卡接收雷达数据报文,并将报文解码得到多个目 标的状态信息后通过滤波去除杂点,实现目标障碍物信息的检测。
激光雷达001扫描距离在100米左右,距离车辆越远的地方扫描线会越稀 疏,导致精度降低,在距离车辆50米以内,激光雷达001可以达到较高的测 量精度。激光的波长远小于毫米波波长,毫米波雷达002的探测距离可以达 到200米,满足高速行驶环境下对较大距离范围内的障碍物的检测需要,而 且雨雪天气及雾霾等恶劣环境会导致激光雷达001失效,毫米波雷达002穿 透力较强,测量精度受雨、雪、雾、阳光等天气因素和杂声、污染等环境的 影响较小。对于距离车辆50米范围内,障碍物检测主要依靠激光雷达001实 现,在环境较差时及距离较远时,对激光雷达001及毫米波雷达002所测得 障碍物位置信息进行加权平均,权数k取决于环境对测量的影响程度及目标 的距离。通过激光雷达与毫米波雷达的信息融合可以较好的实现车辆前方的 障碍物信息的检测。
参阅图4所示,路面边缘及宽度的识别通过激光雷达001传感器进行实现, 是通过对路面边缘的高程信息变化点的识别,如马路沿或路肩。所应用32线 激光雷达001水平安装在车顶2.1米高度的位置,其垂直视角范围为-25°至 +15°,所能识别路面点最近为4.5米。首先参数初始化,设定采样时刻,读取 帧数据,点云数据以周期分层扫描,分层(32层)存储。传感器水平角分辨 率为0.1°至0.4°,距离过远会造成识别点稀疏无法有效识别路面边缘,在距离 20米以内可以准确识别出路面边缘。接下来提取激光层,由于距离越远,采样点越稀疏,所以对水平距离20米左右的范围内的点云数据进行处理,也就 是下边18层点云数据。第三步对边界点数据进行粗提取,采用局部均值变点 检测算法,点云图转化到车辆坐标系下,z坐标值用来进行局部均值变点检测, 对用的(x,y)坐标便为所求的道路边界点数据集。制定一个适当的自然数c, 把每个点左右各c个观测值求和并相减,即:
以车辆左侧为例,道路上的点均值接近0,则
且|Aimax|小于一定阀值,在此条件下,通常|Aimax|所对应的(xi,yi)为所 得道路面边缘点的粗提取结果。第四步采用分段双阀值算法对所提去的边界 点数据进行滤波,去除其他障碍物对边界识别的干扰,满足以下约束条件:
(xi,yi)为每个激光层所提取的边缘点,ak,aj代表相邻俩边缘点之间 的距离范围,距离越远,间距越大;bj代表边缘点曲率变化,距离越远,曲率 变化越大。道路模型采用直线与三次抛物线型缓和曲线,道路模型选择算法 如4。所采用三次抛物线型缓和曲线:
C为三次抛物线参数,与抛物线的长度,圆曲线的半径有关。然后采用最 小二乘法拟合道路边界点数据得到C,B或直线参数,获得路面模型。
参阅图5所示,通过工业摄像机获取图像后进行感兴趣区域的划分,降低 非感兴趣区域的干扰。通过图像灰度化将彩色图像转换为灰度图像:
R、G、B分别代表彩色图像中红、绿、蓝三种颜色的色彩值,Vgray代表每 个像素的灰度值,灰度化不仅节约了存储空间,而且同时提高了处理速度。 然后采用加权邻域平均法对图像进行平滑和滤波,消除图像噪声,突出感兴 趣的特征。图像的二值化是将灰度图转换为黑白图,方面目标信息的提取, 采用逐行最优阈值分割算法,就是以图像中的一行为图像单元进行最优阈值 法分割,根据统计学原理,每行阀值T的取值为:
式中为单行像素灰度值的总体均值,μα/2为道路灰度值分布在置信度1-α 为99.5%区间的均值,S2为灰度值方差估计值,n为每行像素值个数。车道线 的边缘提取,通过边缘检测将感兴趣的部分轮廓提取出来,图像中找到一个 白色点,而且它的邻域点均为白色,则说明这个点是目标的内部点,将其设 置为黑色,表现为被掏空的状态;否则保持白色不变,该点是便是目标的边 界点,整幅图像按此原理处理,便得到了目标的轮廓。采用链表跟踪的特征 点提取方法提取特征点,然后将特征点坐标转换到世界坐标系下。车道线模型同道路线模型,采用直线与三次抛物线型缓和曲线,采用最小二乘法对特 征点进行拟合,最终得到车道线模型。
参阅图6所示,路面等级的识别是基于车辆振动模型通过惯性测量单元进 行实现,针对于油气悬架参数可变的车辆。识别系统基于学习向量量化神经 网络,涉及训练神经网络。首先建立被测车辆的振动模型,然后选取若干组 悬架参数,每组包含悬架惰性气体初始压力、初始体积及阻尼孔直径。车辆 行驶速度在5-40km/h中选取八个,然后建立八个不同路面等级的路面激励的 时域仿真模型。然后通过每组悬架参数在不同行驶速度、不同路面等级下的 仿真得到悬架参数与车身垂直加速度的对应关系,将这些样本点带入神经网 络进行训练,建立车身垂直加速度与路面激励之间的非线性映射关系。再将 由惯性测量单元获取的实时加速度信号输入至训练后的神经网络,便可输出 路面等级。
如图7所示,本发明由于进行了多传感器的局部信息融合和交叉融合,为 了方便对数据的融合,采用了分布式卡尔曼滤波组合的方法。分布式卡尔曼 滤波的方法,一般分两步来处理来自多个子系统的数据。首先,每个子系统 处理各自的观测数据,进行局部最优估计。然后,局部滤波器的输出都并行 输入到主滤波器,获得主滤波器状态向量的最优估计。
离散型卡尔曼滤波基本方程:
设tk时刻的被估计状态Xk受系统噪声序列Wk-1的驱动,驱动机理由下述状 态方程描述:
Xk=Φk,k-1Xk-1k-1Wk-1 (8)
对Xk的量测满足线性关系,量测方程为:
Zk=HkXk+Vk (9)
式中,Φk,k-1为tk-1时刻至tk时刻的一步转移阵;Γk-1为系统噪声驱动阵;Hk为量测阵;Vk为量测噪声序列;Wk为系统激励噪声序列。
同时,Wk和Vk满足:
式中,Qk为系统噪声序列的方差阵,假设为非负定阵;Rk为量测噪声序列 的方差阵,假设为正定阵。
如果被估计状态Xk满足上述状态方程,对Xk的量测量Zk满足上述量测方 程,系统噪声Wk和量测噪声Vk满足式(3-34),系统噪声方差阵Qk非负定, 量测噪声方差阵Rk正定,k时刻的量测为Zk,则Xk的估计按下述方程求解:
状态一步预测
状态估计
滤波增益
一步预测均方误差
估计均方误差
或Pk=(I-KkHk)Pk/k-1 (17)
以上各式即为离散型卡尔曼滤波基本方程。只要给定初值和P0,根据时 刻的量测Zk,就可以递推计算得k时刻的状态估计Xk(k=1,2,3…)。
为了进一步提高分布式多传感器融合的精度,本发明使用了基于高阶球面 —径向准则的多传感器融合算法。该算法将高阶球面—径向准则嵌入信息滤 波框架,采用平均一致性算法对多传感器信息进行处理,并对平均一致值进 行滤波,得到能够处理分布式多传感器融合算法。
已知k时刻目标状态估计值和协方差Pk|k,有:
Pk|k=Sk|k(Sk|k)T (19)
于集中式多传感器系统,假设具有J个传感器,其量测分别为:
可以得到:
进一步可以得到:
通过式(22)和式(23),集中式滤波可通过传感器间的信息交互分布 式实现,处理分布式多传感器信息融合。

Claims (2)

1.一种基于多信息融合路面谱实时测试系统,其特征在于:包括路面信息初步提取模块、位姿信息融合模块、路面信息信息细化模块;
所述路面信息初步提取模块由激光雷达(001)、毫米波雷达(002)和双目相机(003)构成,激光雷达(001)安装在车辆上方,高度为2.1米;毫米波雷达(002)安装在车辆前端中心位置;双目相机(003)安装在车辆前端挡风玻璃下面;激光雷达(001)、毫米波雷达(002)和双目相机(003)用于获取车辆前方路面的双目图像和点云,通过双目图像和点云进行融合得到前方路面的障碍物信息、路面边缘及宽度信息、车道线和标志牌等特殊指导图像的信息以及路面不平度信息;
所述位姿信息融合模块由RTK实时定位系统、惯性测量单元(005)、双目相机(003)和激光雷达(001)构成,RTK实时定位系统具有前天线(006a)和后天线(006b),前天线(006a)安装在车辆驾驶室顶部,后天线(006b)安装在车辆后部的顶部,前天线(006a)用于定向,后天线(006b)用于定位,惯性测量单元(005)安装在车辆惯性参考系质心位置处,RTK实时定位系统、惯性测量单元(005)、双目相机(003)和激光雷达(001)的位姿信息融合获得系统位姿信息,使用得到的系统位姿信息对得到的初步路面信息进行修正;
所述路面信息信息细化模块由激光测距传感器和惯性测量单元(005)构成,激光测距传感器包括第一激光测距传感器(004a)和第二激光测距传感器(004b);惯性测量单元(005)安装在车辆惯性参考系质心位置处,第一激光测距传感器(004a)安装在车辆前端中心位置,毫米波雷达(002)正下方,第二激光测距传感器(004b)安装在车辆后方中心位置,通过激光测距传感器和惯性测量单元(005)对经过使用位姿信息进行修正后的初步路面信息进行细化,建立更为详细的路面谱;
所述的路面信息初步提取模块对双目图像进行处理和激光雷达点云进行处理并对两者信息进行融合。
2.权利要求1所述的一种基于多信息融合路面谱实时测试系统的测试方法,其特征在于:该方法是:
所述的路面信息初步提取模块对双目图像进行处理和激光雷达点云进行处理并对两者信息进行融合;对两者信息进行融合用于将点云信息进行融合,得到前方路面的障碍物信息、路面边缘及宽度信息以及路面不平度信息(1)。
所述位姿信息融合模块通过RTK实时定位系统、惯性测量单元、双目摄像机、激光雷达的位姿信息融合获得系统位姿信息,使用得到的系统位姿信息对得到的初步路面信息进行修正得到路面不平度信息(2);
所述路面信息细化模块,使用激光传感器和惯性测量单元,通过激光传感器和惯性测量单元得到路面不平度(3),将得到的路面不平度(2)与得到的路面不平度(3)融合,得到更为详细的路面不平度信息(4);并建立功率谱分析模型、时间序列分析模型、分型分析模型、小波分析模型、路面三维模型,并将能按照国际路面不平度等级标准进行划分的路面,按照国际路面不平度等级标准进行分级。
CN201910078278.3A 2019-01-28 2019-01-28 多信息融合路面谱实时测试系统和测试方法 Pending CN109596078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910078278.3A CN109596078A (zh) 2019-01-28 2019-01-28 多信息融合路面谱实时测试系统和测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910078278.3A CN109596078A (zh) 2019-01-28 2019-01-28 多信息融合路面谱实时测试系统和测试方法

Publications (1)

Publication Number Publication Date
CN109596078A true CN109596078A (zh) 2019-04-09

Family

ID=65966729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910078278.3A Pending CN109596078A (zh) 2019-01-28 2019-01-28 多信息融合路面谱实时测试系统和测试方法

Country Status (1)

Country Link
CN (1) CN109596078A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007316A (zh) * 2019-04-16 2019-07-12 吉林大学 一种基于激光雷达路面信息识别的主动转向避障系统及方法
CN110008921A (zh) * 2019-04-12 2019-07-12 北京百度网讯科技有限公司 一种道路边界的生成方法、装置、电子设备及存储介质
CN110345952A (zh) * 2019-07-09 2019-10-18 同济人工智能研究院(苏州)有限公司 一种序列化车道线地图构建方法及构建系统
CN110413936A (zh) * 2019-07-26 2019-11-05 成都天锐星通科技有限公司 一种相控阵天线校准数据确定方法及天线系统
CN110866544A (zh) * 2019-10-28 2020-03-06 杭州飞步科技有限公司 传感器数据的融合方法、装置及存储介质
CN110988888A (zh) * 2019-11-08 2020-04-10 中科长城海洋信息系统有限公司 海底信息的获取方法和装置
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111273312A (zh) * 2020-01-15 2020-06-12 吉林大学 一种智能车辆定位与回环检测方法
CN111449681A (zh) * 2020-04-08 2020-07-28 深圳开立生物医疗科技股份有限公司 一种剪切波成像方法、装置、设备及可读存储介质
CN111829514A (zh) * 2020-06-29 2020-10-27 燕山大学 一种适用于车辆底盘集成控制的路面工况预瞄方法
CN112698302A (zh) * 2020-12-16 2021-04-23 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN113051304A (zh) * 2021-04-02 2021-06-29 中国有色金属长沙勘察设计研究院有限公司 一种雷达监测数据与三维点云融合的计算方法
CN113175937A (zh) * 2021-06-29 2021-07-27 天津天瞳威势电子科技有限公司 一种车道线感知结果的评测方法及装置
CN113255553A (zh) * 2021-06-04 2021-08-13 清华大学 一种基于振动信息监督的可持续学习方法
CN113569958A (zh) * 2021-07-29 2021-10-29 清华大学苏州汽车研究院(吴江) 激光点云数据聚类方法、装置、设备及介质
CN113657333A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
CN113933876A (zh) * 2021-11-16 2022-01-14 西南电子技术研究所(中国电子科技集团公司第十研究所) 多星通讯时差定位数据融合处理方法
CN114549990A (zh) * 2022-02-25 2022-05-27 重庆长安汽车股份有限公司 一种多信息融合的自动驾驶系统道路边界构建方法
CN115797338A (zh) * 2023-02-02 2023-03-14 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统
CN114549990B (zh) * 2022-02-25 2024-07-02 重庆长安汽车股份有限公司 一种多信息融合的自动驾驶系统道路边界构建方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1548653A (zh) * 2003-05-15 2004-11-24 南京理工大学 路面状况激光三维智能检测车
RU79109U1 (ru) * 2008-08-06 2008-12-20 Государственное образовательное учреждение высшего профессионального образования "Московский автомобильно-дорожный институт" (Государственный технический университет) Передвижная дорожная лаборатория мониторинга улично-дорожной сети (варианты)
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN205839560U (zh) * 2016-07-27 2016-12-28 北京中天恒宇科技有限公司 激光平整度构造深度车辙检测系统
CN106909152A (zh) * 2017-03-17 2017-06-30 奇瑞汽车股份有限公司 一种车用环境感知系统及汽车
CN107351785A (zh) * 2017-07-12 2017-11-17 奇瑞汽车股份有限公司 车辆周围环境感知系统
CN206784090U (zh) * 2016-12-06 2017-12-22 山东北斗华宸导航技术股份有限公司 轨道几何参数测量系统
CN107817509A (zh) * 2017-09-07 2018-03-20 上海电力学院 基于rtk北斗和激光雷达的巡检机器人导航系统及方法
CN108490941A (zh) * 2018-03-29 2018-09-04 奇瑞汽车股份有限公司 应用于道路清扫车的自动驾驶系统及其控制方法、装置
CN108710376A (zh) * 2018-06-15 2018-10-26 哈尔滨工业大学 基于多传感器融合的slam与避障的移动底盘
CN109131336A (zh) * 2017-06-15 2019-01-04 华为技术有限公司 获取路面附着系数的方法和系统
CN209214563U (zh) * 2019-01-28 2019-08-06 吉林大学 多信息融合路面谱实时测试系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1548653A (zh) * 2003-05-15 2004-11-24 南京理工大学 路面状况激光三维智能检测车
RU79109U1 (ru) * 2008-08-06 2008-12-20 Государственное образовательное учреждение высшего профессионального образования "Московский автомобильно-дорожный институт" (Государственный технический университет) Передвижная дорожная лаборатория мониторинга улично-дорожной сети (варианты)
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN205839560U (zh) * 2016-07-27 2016-12-28 北京中天恒宇科技有限公司 激光平整度构造深度车辙检测系统
CN206784090U (zh) * 2016-12-06 2017-12-22 山东北斗华宸导航技术股份有限公司 轨道几何参数测量系统
CN106909152A (zh) * 2017-03-17 2017-06-30 奇瑞汽车股份有限公司 一种车用环境感知系统及汽车
CN109131336A (zh) * 2017-06-15 2019-01-04 华为技术有限公司 获取路面附着系数的方法和系统
CN107351785A (zh) * 2017-07-12 2017-11-17 奇瑞汽车股份有限公司 车辆周围环境感知系统
CN107817509A (zh) * 2017-09-07 2018-03-20 上海电力学院 基于rtk北斗和激光雷达的巡检机器人导航系统及方法
CN108490941A (zh) * 2018-03-29 2018-09-04 奇瑞汽车股份有限公司 应用于道路清扫车的自动驾驶系统及其控制方法、装置
CN108710376A (zh) * 2018-06-15 2018-10-26 哈尔滨工业大学 基于多传感器融合的slam与避障的移动底盘
CN209214563U (zh) * 2019-01-28 2019-08-06 吉林大学 多信息融合路面谱实时测试系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
刘庆华;张文明;夏鹏飞;: "基于加速度传感器的路面不平度采集系统", 江苏科技大学学报(自然科学版), no. 04 *
张艳辉;徐坤;郑春花;冯伟;徐国卿;: "智能电动汽车信息感知技术研究进展", 仪器仪表学报, no. 04 *
李以磊: "基于激光雷达的车前地形高程信息测量技术研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 1, 15 January 2019 (2019-01-15), pages 2 - 21 *
段虎明;石峰;张开斌;谢飞;: "中国典型汽车道路谱研究的构建及应用", 中国测试, no. 04, 30 July 2009 (2009-07-30), pages 76 - 79 *
段虎明;石峰;张开斌;谢飞;: "中国典型汽车道路谱研究的构建及应用", 中国测试, no. 04, pages 76 - 79 *
段虎明;石锋;谢飞;杨殿阁;韩毅;: "道路谱测量系统的误差与精度分析", 汽车工程, no. 09 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008921A (zh) * 2019-04-12 2019-07-12 北京百度网讯科技有限公司 一种道路边界的生成方法、装置、电子设备及存储介质
CN110008921B (zh) * 2019-04-12 2021-12-28 北京百度网讯科技有限公司 一种道路边界的生成方法、装置、电子设备及存储介质
CN110007316A (zh) * 2019-04-16 2019-07-12 吉林大学 一种基于激光雷达路面信息识别的主动转向避障系统及方法
CN110345952A (zh) * 2019-07-09 2019-10-18 同济人工智能研究院(苏州)有限公司 一种序列化车道线地图构建方法及构建系统
CN110413936A (zh) * 2019-07-26 2019-11-05 成都天锐星通科技有限公司 一种相控阵天线校准数据确定方法及天线系统
CN110413936B (zh) * 2019-07-26 2022-11-22 成都天锐星通科技有限公司 一种相控阵天线校准数据确定方法及天线系统
CN110866544A (zh) * 2019-10-28 2020-03-06 杭州飞步科技有限公司 传感器数据的融合方法、装置及存储介质
CN110866544B (zh) * 2019-10-28 2022-04-15 杭州飞步科技有限公司 传感器数据的融合方法、装置及存储介质
CN110988888A (zh) * 2019-11-08 2020-04-10 中科长城海洋信息系统有限公司 海底信息的获取方法和装置
CN110988888B (zh) * 2019-11-08 2021-10-29 中科长城海洋信息系统有限公司 海底信息的获取方法和装置
CN111273312B (zh) * 2020-01-15 2023-04-07 吉林大学 一种智能车辆定位与回环检测方法
CN111273312A (zh) * 2020-01-15 2020-06-12 吉林大学 一种智能车辆定位与回环检测方法
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111449681B (zh) * 2020-04-08 2023-09-08 深圳开立生物医疗科技股份有限公司 一种剪切波成像方法、装置、设备及可读存储介质
CN111449681A (zh) * 2020-04-08 2020-07-28 深圳开立生物医疗科技股份有限公司 一种剪切波成像方法、装置、设备及可读存储介质
CN111829514B (zh) * 2020-06-29 2023-08-18 燕山大学 一种适用于车辆底盘集成控制的路面工况预瞄方法
CN111829514A (zh) * 2020-06-29 2020-10-27 燕山大学 一种适用于车辆底盘集成控制的路面工况预瞄方法
CN112698302B (zh) * 2020-12-16 2023-11-07 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN112698302A (zh) * 2020-12-16 2021-04-23 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN113051304B (zh) * 2021-04-02 2022-06-24 中国有色金属长沙勘察设计研究院有限公司 一种雷达监测数据与三维点云融合的计算方法
CN113051304A (zh) * 2021-04-02 2021-06-29 中国有色金属长沙勘察设计研究院有限公司 一种雷达监测数据与三维点云融合的计算方法
CN113255553A (zh) * 2021-06-04 2021-08-13 清华大学 一种基于振动信息监督的可持续学习方法
CN113175937A (zh) * 2021-06-29 2021-07-27 天津天瞳威势电子科技有限公司 一种车道线感知结果的评测方法及装置
CN113569958B (zh) * 2021-07-29 2024-04-12 清华大学苏州汽车研究院(吴江) 激光点云数据聚类方法、装置、设备及介质
CN113569958A (zh) * 2021-07-29 2021-10-29 清华大学苏州汽车研究院(吴江) 激光点云数据聚类方法、装置、设备及介质
CN113657333A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质
CN113657333B (zh) * 2021-08-23 2024-01-12 深圳科卫机器人科技有限公司 警戒线识别方法、装置、计算机设备及存储介质
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
CN113933876B (zh) * 2021-11-16 2023-05-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 多星通讯时差定位数据融合处理方法
CN113933876A (zh) * 2021-11-16 2022-01-14 西南电子技术研究所(中国电子科技集团公司第十研究所) 多星通讯时差定位数据融合处理方法
CN114549990A (zh) * 2022-02-25 2022-05-27 重庆长安汽车股份有限公司 一种多信息融合的自动驾驶系统道路边界构建方法
CN114549990B (zh) * 2022-02-25 2024-07-02 重庆长安汽车股份有限公司 一种多信息融合的自动驾驶系统道路边界构建方法
CN115797338B (zh) * 2023-02-02 2023-05-02 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统
CN115797338A (zh) * 2023-02-02 2023-03-14 河北工业大学 基于双目视觉的全景路面多性能指标计算方法及系统

Similar Documents

Publication Publication Date Title
CN109596078A (zh) 多信息融合路面谱实时测试系统和测试方法
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN101975951B (zh) 一种融合距离和图像信息的野外环境障碍检测方法
CN109166140B (zh) 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN109466548A (zh) 用于自主车辆操作的地面参照确定
CN109738910A (zh) 一种基于三维激光雷达的路沿检测方法
CN209214563U (zh) 多信息融合路面谱实时测试系统
CN105892471A (zh) 汽车自动驾驶方法和装置
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
CN104899590A (zh) 一种无人机视觉目标跟随方法及系统
CN108830159A (zh) 一种前方车辆单目视觉测距系统及方法
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN110349192A (zh) 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN114877838B (zh) 一种基于车载激光扫描系统的道路几何特征检测方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Wang et al. Two-stage road terrain identification approach for land vehicles using feature-based and markov random field algorithm
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN116563466A (zh) 一种基于深度学习的三维单木点云的补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination