CN111551938A - 一种基于矿区环境的无人驾驶技术感知融合方法 - Google Patents
一种基于矿区环境的无人驾驶技术感知融合方法 Download PDFInfo
- Publication number
- CN111551938A CN111551938A CN202010338185.2A CN202010338185A CN111551938A CN 111551938 A CN111551938 A CN 111551938A CN 202010338185 A CN202010338185 A CN 202010338185A CN 111551938 A CN111551938 A CN 111551938A
- Authority
- CN
- China
- Prior art keywords
- information
- obstacle
- vehicle
- unmanned
- radar sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于矿区环境的无人驾驶技术感知融合方法,以多种传感器作为数据来源,针对矿区特殊行车环境,利用多传感器融合技术,保证感知信息的稳定性和可靠性。利用多种传感器采集车辆周围环境信息,基于多传感器融合原理,依据不同传感器特性进行互补,可以获取更加精准的感知信息,提高感知准确性,从而可以使无人驾驶矿卡车辆在使用过程中适应复杂的矿区环境,安全高效地完成作业。利用不同传感器得到的障碍物信息,通过计算信息熵得到其特征信息权重,进而优化匹配矩阵,提高匹配精度,从而针对恶劣矿区环境下提取的障碍物信息以及跟踪目标信息进行更精确地匹配,获得更精准的行车环境信息,保障整体行车过程中的安全性和流畅性。
Description
技术领域
本发明涉及自动驾驶、多传感器处理、多信息融合技术领域,尤其涉及一种基于矿区环境的无人驾驶技术感知融合方法。
背景技术
自动驾驶是汽车产业与人工智能、物联网、高性能计算等新一代信息技术深度融合的产物,是当前全球汽车与交通出行领域智能化和物联网化发展的主要方向。随着无人驾驶技术的逐步成熟,民用、乘用甚至工业用途的无人驾驶技术得到推广与应用。尤其是在矿山采矿业,其运输方式主要是以矿用卡车运输为主,而运输费用又是整个矿区生产开采费用的最重要组成部分。在矿石总成本和生产过程总劳动量中,运输成本和运输劳动成本占主要部分。另一方面,目前国内大多数的矿山仍然采用人工驾驶车辆进行运输的方式,矿山采矿作业环境危险,危险系数高,操作稍有不慎就会造成生命安全隐患,驾驶技术要求和安全问题使得人员招聘困难。
随着智慧矿山的推进,将无人驾驶技术应用矿车上,能够极大地改善矿区运输作业现状,降低卡车司机的安全风险,同时也能大幅降低物流运输成本以及人力成本,提高矿区生产效率,推动矿山产业的进一步发展,有助于构建绿色矿山、智慧矿山。然而,不同于铺装道路与普通乘用车的无人驾驶车辆,矿区行驶道路条件恶劣,经常存在道路起伏、灰尘较大以及积水积雪等情况。在行驶过程中车身会布置不同类型的传感器,包括摄像头、机械式激光雷达、毫米波雷达以及超声雷达等;其中,摄像头具有价格低廉、数据获取简易以及辐射范围广等优点,但是数据采集受环境影响较大,例如矿区的扬尘、昼夜工作条件都会对摄像头的数据采集造成影响;机械式激光雷达虽然具有检测距离精度高、不受光照影响、覆盖范围广等特点,但是容易受到雨、雪、雾、灰尘等的影响;毫米波雷达虽然具有成本低、动态跟踪、检测距离远的特点,但是噪声多、分辨率低、范围角度小,容易误检、漏检静态障碍,而且很容易受到周边非障碍物的干扰;超声雷达的能量消耗较缓慢,在介质中传播的距离比较远,穿透性强,测距的方法简单,成本低,但超声雷达的传输速度受环境影响大,不稳定,且超声雷达波的散射角大,方向性差。因此,鉴于矿区复杂道路环境,仅采用单一传感器检测精度和效果都存在较大不足。
发明内容
有鉴于此,本发明提供了一种基于矿区环境的无人驾驶技术感知融合方法,用以解决现有无人驾驶车辆感知融合技术对于矿区环境的普适性低,尤其是针对矿区灰尘以及道路颠簸不平稳的环境可靠性低的问题,以及对于无人驾驶矿卡车辆,现有技术信息稳定性和可靠性不足,无法满足无人驾驶矿卡车辆行车感知需求以及安全流畅地作业的问题。
因此,本发明提供了一种基于矿区环境的无人驾驶技术感知融合方法,包括如下步骤:
S1:基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
S2:针对不同传感器数据特性,对不同传感器获取的车辆环境信息分别进行预处理;
S3:采用卡尔曼方法对预处理后的障碍物信息进行目标跟踪;
S4:根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;
S5:对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;
S6:对得到的各障碍物的状态信息进行逻辑滤波后输出;
返回步骤S1,重复步骤S1~步骤S6,进行下一时刻的环境感知,直至作业结束。
在一种可能的实现方式中,在本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中,步骤S1,基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息,具体包括:
基于在无人驾驶矿卡车辆的车身不同位置配置的激光雷达传感器和毫米波雷达传感器,获取车辆环境信息如下:
其中,表示激光雷达传感器检测到的第i个障碍物信息,表示激光雷达传感器检测到的第i个障碍物的位置信息,表示激光雷达传感器检测到的第i个障碍物的横向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的速度信息,表示激光雷达传感器检测到的第i个障碍物的横向速度,表示激光雷达传感器检测到的第i个障碍物的纵向速度;表示毫米波雷达传感器检测到的第i个障碍物信息,表示毫米波雷达传感器检测到的第i个障碍物的位置信息,表示毫米波雷达传感器检测到的第i个障碍物的横向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的速度信息,表示毫米波雷达传感器检测到的第i个障碍物的横向速度,表示毫米波雷达传感器检测到的第i个障碍物的纵向速度;i=1,…,n,n表示传感器检测到的障碍物的数量。
在一种可能的实现方式中,在本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中,步骤S2,针对不同传感器数据特性,对不同传感器获取的车辆环境信息分别进行预处理,具体包括:
对激光雷达传感器获取的车辆环境信息进行滤波去除杂点和地面点,对滤波后的点云进行聚类;对毫米波雷达传感器获取的车辆环境信息进行滤波去除虚警。
在一种可能的实现方式中,在本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中,步骤S4,根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配,具体包括:
基于欧式距离,计算无人驾驶矿卡车辆与障碍物之间的距离:
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆的横向中心坐标点,表示无人驾驶矿卡车辆的纵向中心坐标点;
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆的横向速度,表示无人驾驶矿卡车辆的纵向速度;
采用Z标准化,对障碍物信息的平均值和标准差进行数据的标准化,经过标准化之后的数据符合标准正态分布,均值为0,标准差为1;
其中,j=1,2,3,4;表示激光雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的 表示毫米波雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的
第i个障碍物的第j个特征信息的占比为:
计算所有障碍物的第j个特征信息的熵值:
对所有障碍物的第j个特征信息的熵值进行指标正向化:
利用所有障碍物正向化后的第j个特征信息的熵值计算各个特征信息的权重值后进行基于信息熵权重的特征信息指标计算,其中,m=4n,表示所有障碍物的特征信息的数量;
根据得到的基于信息熵权重的特征信息指标和生成包含距离信息与速度信息的权重矩阵,由权重矩阵进行匈牙利匹配,得到配对完成的障碍物信息,并通过比对激光雷达传感器的匹配结果与毫米波雷达传感器的匹配结果进行非障碍物筛除,得到匹配融合后的障碍物信息进行下一步的输出。
在一种可能的实现方式中,在本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中,步骤S6,对得到的各障碍物的状态信息进行逻辑滤波后输出,具体包括:
S61:根据得到的各障碍物的状态信息,判断障碍物是否为跟踪周期内的障碍物且为已匹配的障碍物;若是,则执行步骤S62;若否,则执行步骤S63;
S62:判断障碍物最靠近无人驾驶矿卡车辆的边界在跟踪周期内是否超出阈值范围;若是,则执行步骤S63;若否,则执行步骤S64;
S63:删除障碍物的状态信息;
S64:保留障碍物的状态信息并输出。
本发明还提供了一种基于矿区环境的无人驾驶技术感知融合系统,包括:嵌入式开发设备和多种传感器;其中,
各所述传感器,安装在无人驾驶矿卡车辆车身的不同位置,用于实时获取车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
所述嵌入式开发设备,用于对获取的车辆环境信息分别进行预处理;采用卡尔曼方法分别对预处理后的障碍物信息进行目标跟踪;根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;对得到的各障碍物的状态信息进行逻辑滤波后输出。
本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法,以多种传感器作为数据来源,针对矿区特殊行车环境,尤其是针对道路起伏颠簸、灰尘等环境,利用多传感器融合技术,保证感知信息的稳定性和可靠性。通过安装在矿卡车辆上的多种传感器对车辆周围环境进行数据采集,分析车辆周围障碍物以及障碍物信息,进而获取感知信息,然后针对不同传感器获取的感知信息进行融合,并将融合结果发送给车辆相关控制部分。利用多种传感器采集车辆周围环境信息,基于多传感器融合原理,依据不同传感器特性进行互补,可以获取更加精准的感知信息,提高感知准确性,从而能够满足无人驾驶矿卡车辆在使用过程中适应复杂的矿区环境的要求,安全高效地完成作业。利用不同传感器得到的障碍物信息,通过计算信息熵得到其特征信息权重,进而优化匹配矩阵,提高匹配精度,从而针对恶劣矿区环境下提取的障碍物信息以及跟踪目标信息进行更精确地匹配,获得更精准的行车环境信息,保障整体行车过程中的安全性和流畅性。
附图说明
图1为本发明提供的一种基于矿区环境的无人驾驶技术感知融合方法的框架图;
图2为本发明提供的一种基于矿区环境的无人驾驶技术感知融合方法的流程图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是作为例示,并非用于限制本发明。
本发明提供的一种基于矿区环境的无人驾驶技术感知融合方法,框架图和流程图分别如图1和图2所示,包括如下步骤:
S1:基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
具体地,考虑矿区灰尘以及昼夜工作特点,摄像头容易受到环境光照影响从而导致其成像性能及视野均变差,因此,本发明采用机械式激光雷达传感器和毫米波雷达传感器对矿卡车辆的行车环境进行感知数据采集;当然,也可以选择其他类型的传感器;在此不做限定;
S2:针对不同传感器数据特性,对不同传感器获取的车辆环境信息分别进行预处理;
具体地,对于激光雷达传感器获取的车辆环境信息,首先进行滤波去除杂点和地面点,然后对滤波后的点云进行聚类;对于毫米波雷达传感器获取的车辆环境信息,进行滤波去除虚警;
S3:采用卡尔曼(KF)方法对预处理后的障碍物信息进行目标跟踪;
S4:根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;
为了解决单一传感器缺陷问题导致误检漏检情况,为了滤除矿区常见灰尘,为了解决毫米波雷达传感器由于车辆颠簸导致误检问题,本发明采用多信息融合技术,基于信息熵优化匹配矩阵,针对恶劣矿区环境下提取的障碍物信息以及跟踪目标信息进行更精确地匹配,获得更精准的行车环境信息,从而可以保障整体行车过程中的安全性和流畅性;
S5:对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;
S6:对得到的各障碍物的状态信息进行逻辑滤波后输出;
由于矿区作业环境恶劣,尤其是灰尘以及作业道路颠簸起伏会引成误检漏检,因此,需要对得到的各障碍物的状态信息进行进一步逻辑滤波,以提高感知信息的准确性;
返回步骤S1,重复步骤S1~步骤S6,进行下一时刻的环境感知,直至作业结束。
本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法,是特定针对矿区环境,综合利用激光雷达传感器和毫米波雷达传感器等多传感器的无人驾驶车辆感知方法。本发明通过组合利用各种传感器感知定位车辆的位置,可以准确有效地检测到无人矿卡车辆前进方向上的车道标识线及地面上障碍物,可以有效提高矿区复杂环境下矿卡车辆的作业效率和运行安全;并且,能够准确感知各种极端行车条件下的车辆环境,使无人驾驶能够适应更多的场景,为无人驾驶矿卡车辆的正常以及安全运行提供保证。
在具体实施时,在执行本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中的步骤S1,基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息时,具体可以通过以下方式来实现:
基于在无人驾驶矿卡车辆的车身不同位置配置的激光雷达传感器和毫米波雷达传感器,获取车辆环境信息如下:
其中,表示激光雷达传感器检测到的第i个障碍物信息,表示激光雷达传感器检测到的第i个障碍物的位置信息,表示激光雷达传感器检测到的第i个障碍物的横向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的速度信息,表示激光雷达传感器检测到的第i个障碍物的横向速度,表示激光雷达传感器检测到的第i个障碍物的纵向速度;表示毫米波雷达传感器检测到的第i个障碍物信息,表示毫米波雷达传感器检测到的第i个障碍物的位置信息,表示毫米波雷达传感器检测到的第i个障碍物的横向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的速度信息,表示毫米波雷达传感器检测到的第i个障碍物的横向速度,表示毫米波雷达传感器检测到的第i个障碍物的纵向速度;i=1,…,n,n表示传感器检测到的障碍物的数量。
在具体实施时,在执行本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中的步骤S4,根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配时,具体可以通过以下方式来实现:
(1)计算距离信息和速度信息:
距离信息:基于欧式距离,计算无人驾驶矿卡车辆与障碍物之间的距离:
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆的横向中心坐标点,表示无人驾驶矿卡车辆的纵向中心坐标点;
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆的横向速度,表示无人驾驶矿卡车辆的纵向速度;
(2)数据标准化:
由于距离信息差值和速度信息差值的量纲以及数量级不同,需要先将数据标准化,再利用标准化的数据生成权重匹配矩阵;标准化后数据的范围均为0~1之间;数据标准化即对于不同特征维度的数据进行伸缩变换,使得不同度量之间的特征具有可比性,且不改变原始数据的分布;采用Z标准化,对障碍物信息的平均值和标准差进行数据的标准化,经过标准化之后的数据符合标准正态分布,即均值为0,标准差为1;
其中,j=1,2,3,4;表示激光雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的 表示毫米波雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的
(3)计算信息熵得到信息熵权重
为了综合距离信息与速度信息,需要根据标准化后的数据信息计算信息熵,即估算获得特征信息中有效信息比重,得到权重值后生成权重矩阵;
首先,计算第i个障碍物的第j个特征信息的占比为:
然后,计算所有障碍物的第j个特征信息的熵值:
接着,对所有障碍物的第j个特征信息的熵值进行指标正向化:
之后,利用所有障碍物正向化后的第j个特征信息的熵值计算各个特征信息的权重值后进行基于信息熵权重的特征信息指标计算,其中,m=4n,表示所有障碍物的特征信息的数量;
最后,根据得到的基于信息熵权重的特征信息指标和生成包含距离信息与速度信息的权重矩阵,由权重矩阵即匹配二分图进行匈牙利匹配,得到配对完成的障碍物信息,并通过比对激光雷达传感器的匹配结果与毫米波雷达传感器的匹配结果进行非障碍物筛除,得到匹配融合后的障碍物信息进行下一步的输出。
在具体实施时,在本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法中,步骤S6,对得到的各障碍物的状态信息进行逻辑滤波后输出,具体包括:
S61:根据得到的各障碍物的状态信息,判断障碍物是否为跟踪周期内的障碍物且为已匹配的障碍物;若是,则执行步骤S62;若否,则执行步骤S63;
经过步骤S61的判断,可以排除毫米波雷达传感器因车辆颠簸产生的误检问题;
S62:判断障碍物最靠近无人驾驶矿卡车辆的边界在跟踪周期内是否超出阈值范围;若是,则执行步骤S63;若否,则执行步骤S64;
经过步骤S62的判断,可以排除激光雷达传感器对灰尘的误检问题;
S63:删除障碍物的状态信息;
S64:保留障碍物的状态信息并输出。本发明针对矿区恶劣环境,增加特征数据信息逻辑判断,尤其针对矿区道路灰尘问题、因车辆颠簸导致毫米波雷达传感器误检问题进行优化,可以保证无人驾驶矿卡车辆的安全性和行车流畅。
基于同一发明构思,本发明还提供了一种基于矿区环境的无人驾驶技术感知融合系统,包括:嵌入式开发设备和多种传感器;其中,
各所述传感器,安装在无人驾驶矿卡车辆车身的不同位置,用于实时获取车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
所述嵌入式开发设备,用于对获取的车辆环境信息分别进行预处理;采用卡尔曼方法分别对预处理后的障碍物信息进行目标跟踪;根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;对得到的各障碍物的状态信息进行逻辑滤波后输出。
本发明提供的上述基于矿区环境的无人驾驶技术感知融合方法,以多种传感器作为数据来源,针对矿区特殊行车环境,尤其是针对道路起伏颠簸、灰尘等环境,利用多传感器融合技术,保证感知信息的稳定性和可靠性。通过安装在矿卡车辆上的多种传感器对车辆周围环境进行数据采集,分析车辆周围障碍物以及障碍物信息,进而获取感知信息,然后针对不同传感器获取的感知信息进行融合,并将融合结果发送给车辆相关控制部分。利用多种传感器采集车辆周围环境信息,基于多传感器融合原理,依据不同传感器特性进行互补,可以获取更加精准的感知信息,提高感知准确性,从而能够满足无人驾驶矿卡车辆在使用过程中适应复杂的矿区环境的要求,安全高效地完成作业。利用不同传感器得到的障碍物信息,通过计算信息熵得到其特征信息权重,进而优化匹配矩阵,提高匹配精度,从而针对恶劣矿区环境下提取的障碍物信息以及跟踪目标信息进行更精确地匹配,获得更精准的行车环境信息,保障整体行车过程中的安全性和流畅性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种基于矿区环境的无人驾驶技术感知融合方法,其特征在于,包括如下步骤:
S1:基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
S2:针对不同传感器数据特性,对不同传感器获取的车辆环境信息分别进行预处理;
S3:采用卡尔曼方法对预处理后的障碍物信息进行目标跟踪;
S4:根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;
S5:对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;
S6:对得到的各障碍物的状态信息进行逻辑滤波后输出;
返回步骤S1,重复步骤S1~步骤S6,进行下一时刻的环境感知,直至作业结束。
2.如权利要求1所述的基于矿区环境的无人驾驶技术感知融合方法,其特征在于,步骤S1,基于在无人驾驶矿卡车辆的车身不同位置配置的多种传感器,获取当前时刻的车辆环境信息,具体包括:
基于在无人驾驶矿卡车辆的车身不同位置配置的激光雷达传感器和毫米波雷达传感器,获取车辆环境信息如下:
其中,表示激光雷达传感器检测到的第i个障碍物信息,表示激光雷达传感器检测到的第i个障碍物的位置信息,表示激光雷达传感器检测到的第i个障碍物的横向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示激光雷达传感器检测到的第i个障碍物的速度信息,表示激光雷达传感器检测到的第i个障碍物的横向速度,表示激光雷达传感器检测到的第i个障碍物的纵向速度;表示毫米波雷达传感器检测到的第i个障碍物信息,表示毫米波雷达传感器检测到的第i个障碍物的位置信息,表示毫米波雷达传感器检测到的第i个障碍物的横向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的纵向中心坐标点,表示毫米波雷达传感器检测到的第i个障碍物的速度信息,表示毫米波雷达传感器检测到的第i个障碍物的横向速度,表示毫米波雷达传感器检测到的第i个障碍物的纵向速度;i=1,…,n,n表示传感器检测到的障碍物的数量。
3.如权利要求2所述的基于矿区环境的无人驾驶技术感知融合方法,其特征在于,步骤S2,针对不同传感器数据特性,对不同传感器获取的车辆环境信息分别进行预处理,具体包括:
对激光雷达传感器获取的车辆环境信息进行滤波去除杂点和地面点,对滤波后的点云进行聚类;对毫米波雷达传感器获取的车辆环境信息进行滤波去除虚警。
4.如权利要求2所述的基于矿区环境的无人驾驶技术感知融合方法,其特征在于,步骤S4,根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配,具体包括:
基于欧式距离,计算无人驾驶矿卡车辆与障碍物之间的距离:
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间的距离;表示无人驾驶矿卡车辆的横向中心坐标点,表示无人驾驶矿卡车辆的纵向中心坐标点;
其中,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与激光雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间横向速度差值的绝对值,表示无人驾驶矿卡车辆与毫米波雷达传感器检测到的第i个障碍物之间纵向速度差值的绝对值;表示无人驾驶矿卡车辆的横向速度,表示无人驾驶矿卡车辆的纵向速度;
采用Z标准化,对障碍物信息的平均值和标准差进行数据的标准化,经过标准化之后的数据符合标准正态分布,均值为0,标准差为1;
其中,j=1,2,3,4;表示激光雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的 表示毫米波雷达传感器检测到的第i个障碍物的第j个特征信息,表示的平均值,表示的标准差,表示标准化后的
第i个障碍物的第j个特征信息的占比为:
计算所有障碍物的第j个特征信息的熵值:
对所有障碍物的第j个特征信息的熵值进行指标正向化:
利用所有障碍物正向化后的第j个特征信息的熵值计算各个特征信息的权重值后进行基于信息熵权重的特征信息指标计算,其中,m=4n,表示所有障碍物的特征信息的数量;
5.如权利要求1~4任一项所述的基于矿区环境的无人驾驶技术感知融合方法,其特征在于,步骤S6,对得到的各障碍物的状态信息进行逻辑滤波后输出,具体包括:
S61:根据得到的各障碍物的状态信息,判断障碍物是否为跟踪周期内的障碍物且为已匹配的障碍物;若是,则执行步骤S62;若否,则执行步骤S63;
S62:判断障碍物最靠近无人驾驶矿卡车辆的边界在跟踪周期内是否超出阈值范围;若是,则执行步骤S63;若否,则执行步骤S64;
S63:删除障碍物的状态信息;
S64:保留障碍物的状态信息并输出。
6.一种基于矿区环境的无人驾驶技术感知融合系统,其特征在于,包括:嵌入式开发设备和多种传感器;其中,
各所述传感器,安装在无人驾驶矿卡车辆车身的不同位置,用于实时获取车辆环境信息,包括无人驾驶矿卡车辆周围的障碍物信息以及用于识别障碍物的道路信息、行人信息、车辆信息以及矿区特殊作业设备信息;
所述嵌入式开发设备,用于对获取的车辆环境信息分别进行预处理;采用卡尔曼方法分别对预处理后的障碍物信息进行目标跟踪;根据进行目标跟踪后的障碍物信息包括无人驾驶矿卡车辆与障碍物之间的距离以及障碍物的速度,计算信息熵权重,生成匹配矩阵,利用匈牙利算法对进行目标跟踪后的障碍物信息进行数据关联,将当前时刻的障碍物信息与下一时刻的障碍物信息进行匹配;对关联匹配后的障碍物信息进行组合滤波后,跟踪无人驾驶矿卡车辆上各传感器检测范围内的各障碍物在跟踪周期内的运动状态,得到各障碍物的状态信息;对得到的各障碍物的状态信息进行逻辑滤波后输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010338185.2A CN111551938B (zh) | 2020-04-26 | 2020-04-26 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010338185.2A CN111551938B (zh) | 2020-04-26 | 2020-04-26 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111551938A true CN111551938A (zh) | 2020-08-18 |
CN111551938B CN111551938B (zh) | 2022-08-30 |
Family
ID=72000283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010338185.2A Active CN111551938B (zh) | 2020-04-26 | 2020-04-26 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111551938B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112147615A (zh) * | 2020-09-08 | 2020-12-29 | 北京踏歌智行科技有限公司 | 一种基于全天候环境监测系统的无人驾驶感知方法 |
CN113031602A (zh) * | 2021-03-04 | 2021-06-25 | 上海申传电气股份有限公司 | 一种矿用轨道电机车动态包络线的构建方法 |
CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
CN114332818A (zh) * | 2021-12-28 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 障碍物的检测方法、装置和电子设备 |
CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
CN117130010A (zh) * | 2023-10-23 | 2023-11-28 | 青岛慧拓智能机器有限公司 | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2585023A1 (en) * | 2006-11-09 | 2008-05-09 | Raytheon Canada Limited | Track quality based multi-target tracker |
CN104112282A (zh) * | 2014-07-14 | 2014-10-22 | 华中科技大学 | 一种基于在线学习跟踪监控视频中多个运动目标的方法 |
CN105678804A (zh) * | 2016-01-06 | 2016-06-15 | 北京理工大学 | 一种耦合目标检测与数据关联的实时在线多目标跟踪方法 |
US20170116488A1 (en) * | 2015-10-23 | 2017-04-27 | MAGNETI MARELLI S.p.A. | Method for identifying an incoming vehicle and corresponding system |
CN106803263A (zh) * | 2016-11-29 | 2017-06-06 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
CN107238835A (zh) * | 2017-06-08 | 2017-10-10 | 中国人民解放军海军航空工程学院 | 一种编队目标点航抗叉关联方法 |
CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
CN109581353A (zh) * | 2018-11-27 | 2019-04-05 | 北京信息科技大学 | 一种基于汽车雷达的多目标跟踪方法及系统 |
CN109696172A (zh) * | 2019-01-17 | 2019-04-30 | 福瑞泰克智能系统有限公司 | 一种多传感器航迹融合方法、装置及车辆 |
CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及系统 |
CN110879598A (zh) * | 2019-12-11 | 2020-03-13 | 北京踏歌智行科技有限公司 | 车辆用多传感器的信息融合方法和装置 |
US20200126241A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory |
-
2020
- 2020-04-26 CN CN202010338185.2A patent/CN111551938B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2585023A1 (en) * | 2006-11-09 | 2008-05-09 | Raytheon Canada Limited | Track quality based multi-target tracker |
CN104112282A (zh) * | 2014-07-14 | 2014-10-22 | 华中科技大学 | 一种基于在线学习跟踪监控视频中多个运动目标的方法 |
US20170116488A1 (en) * | 2015-10-23 | 2017-04-27 | MAGNETI MARELLI S.p.A. | Method for identifying an incoming vehicle and corresponding system |
CN105678804A (zh) * | 2016-01-06 | 2016-06-15 | 北京理工大学 | 一种耦合目标检测与数据关联的实时在线多目标跟踪方法 |
CN106803263A (zh) * | 2016-11-29 | 2017-06-06 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
CN107238835A (zh) * | 2017-06-08 | 2017-10-10 | 中国人民解放军海军航空工程学院 | 一种编队目标点航抗叉关联方法 |
CN108053427A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 |
US20200126241A1 (en) * | 2018-10-18 | 2020-04-23 | Deepnorth Inc. | Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory |
CN109581353A (zh) * | 2018-11-27 | 2019-04-05 | 北京信息科技大学 | 一种基于汽车雷达的多目标跟踪方法及系统 |
CN109696172A (zh) * | 2019-01-17 | 2019-04-30 | 福瑞泰克智能系统有限公司 | 一种多传感器航迹融合方法、装置及车辆 |
CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及系统 |
CN110879598A (zh) * | 2019-12-11 | 2020-03-13 | 北京踏歌智行科技有限公司 | 车辆用多传感器的信息融合方法和装置 |
Non-Patent Citations (2)
Title |
---|
杨大磊等: ""基于三维激光雷达的障碍物检测与跟踪"", 《智能网联汽车》 * |
露娜: ""多传感器多目标的航迹关联技术研究"", 《中国优秀博硕士学位论文全文数据(硕士)工程科技||辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112147615A (zh) * | 2020-09-08 | 2020-12-29 | 北京踏歌智行科技有限公司 | 一种基于全天候环境监测系统的无人驾驶感知方法 |
CN112147615B (zh) * | 2020-09-08 | 2024-03-26 | 北京踏歌智行科技有限公司 | 一种基于全天候环境监测系统的无人驾驶感知方法 |
CN113031602B (zh) * | 2021-03-04 | 2022-08-02 | 上海申传电气股份有限公司 | 一种矿用轨道电机车动态包络线的构建方法 |
CN113031602A (zh) * | 2021-03-04 | 2021-06-25 | 上海申传电气股份有限公司 | 一种矿用轨道电机车动态包络线的构建方法 |
CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
CN113963327B (zh) * | 2021-09-06 | 2023-09-08 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN113820714B (zh) * | 2021-09-07 | 2024-04-12 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN114332818A (zh) * | 2021-12-28 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 障碍物的检测方法、装置和电子设备 |
CN114332818B (zh) * | 2021-12-28 | 2024-04-09 | 阿波罗智联(北京)科技有限公司 | 障碍物的检测方法、装置和电子设备 |
CN114383598A (zh) * | 2022-01-17 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种隧道施工作业车及其自动驾驶系统 |
CN117130010A (zh) * | 2023-10-23 | 2023-11-28 | 青岛慧拓智能机器有限公司 | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 |
CN117130010B (zh) * | 2023-10-23 | 2024-05-24 | 青岛慧拓智能机器有限公司 | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 |
Also Published As
Publication number | Publication date |
---|---|
CN111551938B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111551938B (zh) | 一种基于矿区环境的无人驾驶技术感知融合方法 | |
US11726493B2 (en) | Modifying behavior of autonomous vehicles based on sensor blind spots and limitations | |
US11970160B2 (en) | Traffic signal response for autonomous vehicles | |
Han et al. | Research on road environmental sense method of intelligent vehicle based on tracking check | |
CN106240458B (zh) | 一种基于车载双目相机的车辆前方碰撞预警方法 | |
US9600768B1 (en) | Using behavior of objects to infer changes in a driving environment | |
CN111144432B (zh) | 在传感器融合系统中消除模糊检测的方法 | |
US20150344037A1 (en) | Method and device for predictive determination of a parameter value of a surface on which a vehicle can drive | |
US8233663B2 (en) | Method for object formation | |
Gavrila et al. | A multi-sensor approach for the protection of vulnerable traffic participants the PROTECTOR project | |
CN114442101B (zh) | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 | |
CN113253257B (zh) | 一种基于多毫米波雷达和视觉的露天矿障碍物检测方法 | |
CN114475573B (zh) | 基于v2x与视觉融合的起伏路况识别及车辆控制方法 | |
CN115257784A (zh) | 基于4d毫米波雷达的车路协同系统 | |
CN113147733A (zh) | 雨雾沙尘天气汽车智能限速系统及方法 | |
CN114120275A (zh) | 自动驾驶障碍检测识别方法、装置、电子设备及存储介质 | |
US20210124351A1 (en) | Onboard cluster tracking system | |
CN112230216A (zh) | 面向云控智能底盘的车载毫米波雷达多目标探测方法 | |
Lu | Autonomous vision of driverless car in machine learning | |
CN115985109B (zh) | 一种无人驾驶矿车环境感知方法和系统 | |
Cui et al. | Mining Autonomous Vehicle Driving Boundary Detection on Basis of 3D LiDAR | |
CN118144674A (zh) | 一种多种场景下带有语音提示功能的汽车主动防御系统 | |
Brown et al. | Map based localization to assist commercial fleet operations. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |