CN115236673A - 一种大型车辆多雷达融合感知系统和方法 - Google Patents

一种大型车辆多雷达融合感知系统和方法 Download PDF

Info

Publication number
CN115236673A
CN115236673A CN202210680801.1A CN202210680801A CN115236673A CN 115236673 A CN115236673 A CN 115236673A CN 202210680801 A CN202210680801 A CN 202210680801A CN 115236673 A CN115236673 A CN 115236673A
Authority
CN
China
Prior art keywords
module
data
radar
laser
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210680801.1A
Other languages
English (en)
Inventor
郭旭东
刘润森
粱经国
韩蕾
邬海杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Idriver Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Idriver Technology Co Ltd filed Critical Beijing Tage Idriver Technology Co Ltd
Priority to CN202210680801.1A priority Critical patent/CN115236673A/zh
Publication of CN115236673A publication Critical patent/CN115236673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Hydrology & Water Resources (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智能驾驶感知系统技术领域，提供了一种大型车辆多雷达融合感知系统和方法。该方法包括：将各个传感器数据存入域控制器，建立缓存区；定期读取缓存区数据，获得同步数据；并输入至感知软件系统模块；对激光点云数据提取边界，对障碍物点和疑似障碍物点进行点云聚类；并构建障碍信息；融合激光雷达传统模块与激光深度学习模块，获得感知结果和毫米波雷达感知结果，并将两者融合，获得最终检测结果。本发明保证了感知系统的精度，降低了系统受恶劣环境影响，提升障碍物检测的准确率和召回率，提高了检测可靠性。

Description

一种大型车辆多雷达融合感知系统和方法
技术领域
本发明涉及智能驾驶感知系统技术领域，尤其涉及一种大型车辆多雷达融合感知系统和方法。
背景技术
智能驾驶的实现离不开感知系统对周围环境信息的检测，一个精准的感知系统对智能驾驶的功能实现和功能安全起了决定性作用。感知系统是先通过激光雷达、毫米波雷达、相机、超声波等检测设备获取设备周围环境数据。再使用相应的感知算法融合多种传感器的环境数据，并获取环境数据中的如行人、车辆、道路边界等关键信息。
感知系统检测设备中激光雷达具有较高的检测精度和较大的检测范围，易受灰尘、雨雾雪的影响，毫米波雷达受灰尘、雨雾雪影响很小，但检测精度较低，相机对于环境属性和2D检测精度高，三维位置检测不高，易受光照、灰尘、雨雾雪等恶劣天气影响。因此一个多种传感器融合的系统对于检测的稳定性和准确性很有必要。
智能驾驶在小型汽车上有较快的发展和较完善的理论体系，而大型车辆个体大，所需行驶区域大，需要考虑的盲区也大；大型车辆作业场景恶劣，经常需要在雨、雪、雾以及大片扬尘的环境下作业；大型车辆动力响应慢，易受路面凹坑、路面坡度和石块影响。这些都提高了对感知系统的要求。
发明内容
有鉴于此，本发明提供了一种大型车辆多雷达融合感知系统和方法，以解决现有技术中解决大型车辆检测盲区，应对雨雪雾和大灰尘的干扰和满足大型车辆在非结构化道路上作业时对特殊障碍的检测问题。
本发明的第一方面，提供了一种大型车辆多雷达融合感知系统，包括：
硬件系统和软件系统，
所述硬件系统包括激光雷达系统、毫米波雷达系统、GPS-IMU模块、域控制器和电源模块，所述软件系统包括驱动模块和核心算法模块，所述软件系统嵌入在所述硬件系统内部，
所述激光雷达系统，分布在车辆4个方向，分别由1个激光雷达或多个不同位置、角度激光雷达的组合而成，用于通过设定布置条件一，检测车辆4个方向的整个立体空间，将获得的激光雷达系统检测数据反馈至所述域控制器；
所述毫米波雷达系统，由2个或以上的毫米波雷达组合而成，用于检测车辆前、后两个方向，并基于设定布置条件二将获得的毫米波雷达系统检测数据反馈至所述域控制器；
所述GPS-IMU模块，用于提供车辆所在的位置和航向角的数据以及车身姿态方面数据，并将GPS-IMU模块检测数据反馈至所述域控制器；
所述域控制器将接收到的所述激光雷达系统检测数据和毫米波雷达系统检测数据、所述车辆所在的位置和航向角的数据以及车身姿态方面数据同步处理，实现障碍物检测，并将处理结果输出至感知系统外的其他模块，其中，其他模块包括控制执行模块、平台管理模块；
所述电源模块，用于为所述激光雷达系统、所述毫米波雷达系统、所述GPS-IMU模块和所述域控制器提供电源；
所述驱动系统包括各个传感器的数据解析模块、数据时间同步模块和数据空间同步模块，其中，各个传感器包括各个激光雷达、各个毫米波雷达和GPS-IMU模块；
所述数据时间同步模块，用同一个时间基准给不同时刻来自各个传感器数据添加时间戳信息，其中，各个传感器包括激光雷达系统、毫米波雷达系统和GPS-IMU模块；
所述数据空间同步模块，用于通过各个传感器的检测数据到车辆后轴中心标定参数，将各个传感器数据坐标中心转换至车辆后轴中心；
所述数据解析模块，将各个传感器的检测数据经解析分别放入各自缓存区，所述数据时间同步模块定期读取各传感器缓存区，获取设定时间匹配度的数据，所述数据空间同步模块将各传感器数据坐标系转换至统一的标准，将同步完的数据分别输入核心算法模块。
进一步地，所述布置条件一包括：
前向激光雷达布置：1)近距离区域:水平视场角覆盖不小于180度，垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；2)远距离区域：水平视场角覆盖不小于120度，垂直视场角不小于20度，覆盖区域纵向不小于100米，由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
侧向激光雷达布置：车辆左右两侧激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
后向激光雷达布置：后向激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测。
进一步地，所述设定布置条件二，包括：
由一颗设定水平视角的毫米波雷达进行覆盖检测，或采用几个毫米波雷达，通过不同位置或角度的安装组合进行覆盖检测，实现前方水平检测角度不小于180度，检测距离不小于100米；后方水平角度大于等于120，检测距离不小于40米。
进一步地，所述激光雷达系统，是各个激光雷达通过网线或者车载以太网将所述激光雷达系统检测数据传到域控器的；
所述毫米波雷达系统，是各个毫米波雷达通过can线、网线或者车载以太网将所述毫米波雷达系统检测数据传到域控器的；
GPS-IMU模块，是通过数据线将所述车辆所在的位置和航向角的数据以及车身姿态方面数据接到域控制器模块的。
进一步地，所述核心算法模块，包括激光雷达传统模块、激光深度学习模块、传感器数据融合模块，
所述激光雷达传统模块和所述激光深度学习模块处理输入的激光雷达点云，并融合所述激光雷达传统模块与所述激光深度学习模块获得感知结果，所述毫米波雷达检测模块处理输入的毫米波雷达感知结果，所述传感器数据融合模块融合所述感知结果和毫米波雷达感知结果获得最终检测结果。
进一步地，所述激光雷达传统模块：包括激光点云的边界提取、点云ROI提取、地面滤除、雨雪雾灰尘检测、点云聚类、障碍物构建、障碍物跟踪。
所述激光点云的边界提取，包括基于边界信息，直接从点云信息中提取边界内的点云，或基于边界信息，依据所述GPS-IMU模块3提供的定位信息，从先验地图中提取边界内的点云；
所述地面滤除，用于对提取边界内的点云进行地面点滤除，滤除的地面点转换成栅格地面信息列表，判断所述栅格地面信息属于障碍物、地面还是凹坑并记录所述类别；
所述雨雪雾灰尘检测，用于滤除雨雪雾灰尘干扰的噪点，对于滤除后的信息包括确定的障碍物点云和疑似障碍物点云，进行后期和毫米波雷达的校验。
进一步地，所述激光深度学习模块，用于将一种或多种点云目标检测模型回归激光雷达点云中障碍物的位置、尺寸、航向。
进一步地，所述传感器数据融合模块：包括激光雷达融合模块、毫米波雷达融合模块、以及毫米波雷达和激光雷达融合模块，
所述激光雷达融合模块，用于对激光雷达传统模块输出确定的障碍物信息和激光深度学习模块输出结果的融合；
所述毫米波雷达融合模块，用以对多个毫米波雷达检测结果的融合；
所述毫米波雷达和激光雷达融合模块，用于对激光雷达融合模块和毫米波雷达融合模块的结果进一步融合，对于确定的障碍物信息和激光深度学习模块融合结果直接融合，疑似障碍物的信息由毫米波雷达融合结果做是否有无的校验，将同一位置两者都有检测的认定为障碍物，输出结果，并将只有激光雷达的目标信息，没有毫米波雷达的目标信息，认定为假目标。
进一步地，所述数据时间同步模块，根据各传感器的工作周期由长到短依次排序，选择第一个作为主传感器主传感器，当第一个传感器出现故障时，选下一传感器作为主传感器，进行同步。
本发明的第二方面，提供了一种大型车辆多雷达融合感知方法，包括：
Step1将各个激光雷达，各个毫米波雷达和GPS-IMU模块的数据分别存入域控制器，建立缓存区；
Step2所述数据时间同步模块定期读取所述缓存区，获取设定时间匹配度的数据，将各传感器数据坐标系转换到统一的标准，获得同步数据；
本发明对同步完的数据进行同一时间基准的主传感器时间预测，大大降低了多传感器间数据的差异性和分离情况。
Step3将所述同步数据分别输入至感知软件系统模块；
Step4所述激光雷达传统模块基于传入的激光点云数据提取边界，基于边界提取ROI的激光雷达点云；对于ROI点云进行地面滤除，滤除后的点分为地面点和非地面点，地面点构建栅格地面信息列表，栅格大小按需求设置，对所述障碍物点和疑似障碍物点分别进行点云聚类、障碍物构建、障碍物跟踪，其中，ROI，全拼region of interest，感兴趣区域；
Step5所述激光深度学习模块处理输入的激光雷达点云，构建障碍信息；
Step6传感器融合模块融合所述激光雷达传统模块与所述激光深度学习模块，获得所述感知结果；
本发明通过同时融合毫米波雷达和激光雷达的检测，提升障碍物检测的准确率和召回率。
Step7同时传感器融合模块对毫米波雷达检测模块进行处理，获得所述毫米波雷达感知结果；
Step8所述传感器融合模块融合感知结果和所述毫米波雷达感知结果，获得最终检测结果。
本发明与现有技术相比存在的有益效果是：
1.本系统设备搭建上对大型车辆进行360的全面覆盖，而且是车辆外侧立体空间的全面覆盖，不仅仅是俯视平面的覆盖，是应对大型车辆的盲区、死角的有效方案。具备检测远、近距离土堆、坑洼、石块，行人、车辆的能力。
2.本系统采用高精度的激光雷达和抗干扰强的毫米波雷达两种不同特性传感器组合，而设计感知系统方案，既能保证感知系统的精度，也能降低系统受雨雪雾灰尘的恶劣环境影响。
3.本系统采用的时间同步，在数据产生前完成同步，数据产生后直接获取，保证了实时性；在同步数据过程中保证数据真实场景的综合最大重合度，并对同步完的数据进行同一时间基准的(主传感器时间)预测，大大降低了多传感器间数据的差异性和分离情况。
4.本系统对激光雷达点云采用多种方法进行处理，如激光雷达传统模块与激光深度学习模块，同时融合了毫米波雷达和激光雷达的检测，提升障碍物检测的准确率和召回率。
5.本系统对激光点云处理中建立的栅格地面信息，是一个很好的环境标志，可以很好的标记周围环境障碍物、凹坑和道路边界的位置，以及周围地面的高度、坡度信息，并且能够很好的衡量障碍物的高度，而不受道路坡度影响。
6.本系统采用雨雪雾大灰尘检测模块对激光点云进行区分，并将确定的障碍物和疑似的障碍物分别进行跟踪融合，提高检测可靠性。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的一种大型车辆多雷达融合感知系统的示意图；
图2是本发明提供的一种大型车辆多雷达融合感知方法的流程图；
图3是本发明提供的一种大型车辆多雷达融合感知系统核心算法处理的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合附图详细说明根据本发明的一种大型车辆多雷达融合感知系统和方法。
图1是本发明提供的一种大型车辆多雷达融合感知系统的示意图。如图1所示，该多雷达融合感知系统包括：
硬件系统和软件系统，
硬件系统包括激光雷达系统、毫米波雷达系统、GPS-IMU模块、域控制器和电源模块，软件系统包括驱动模块和核心算法模块，软件系统嵌入在硬件系统内部，
激光雷达系统，分布在车辆4个方向，分别由1个激光雷达或多个不同位置、角度激光雷达的组合而成，用于通过设定布置条件一，检测车辆4个方向的整个立体空间，将获得的激光雷达系统检测数据反馈至域控制器；
本发明对大型车辆进行3600的全面覆盖，而且是车辆外侧立体空间的全面覆盖，不仅仅是俯视平面的覆盖，应对大型车辆的盲区、死角的更加有效。
布置条件一包括：
前向激光雷达布置：1)近距离区域:水平视场角覆盖不小于180度，垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；2)远距离区域：水平视场角覆盖不小于120度，垂直视场角不小于20度，覆盖区域纵向不小于100米，由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
侧向激光雷达布置：车辆左右两侧激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
后向激光雷达布置：后向激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测。
优先选用一颗符合设定条件的激光雷达进行覆盖检测。
毫米波雷达系统，由2个或以上的毫米波雷达组合而成，用于检测车辆前、后两个方向，并基于设定布置条件二将获得的毫米波雷达系统检测数据反馈至域控制器；
设定布置条件二，包括：
由一颗设定水平视角的毫米波雷达进行覆盖检测，或采用几个毫米波雷达，通过不同位置或角度的安装组合进行覆盖检测，实现前方水平检测角度不小于180度，检测距离不小于100米；后方水平角度大于等于120，检测距离不小于40米。
优先选用一颗符合设定条件的的毫米波雷达进行覆盖检测。
GPS-IMU模块，用于提供车辆所在的位置和航向角的数据以及车身姿态方面数据，并将GPS-IMU模块检测数据反馈至域控制器；
其中，车辆所在的位置的数据包括经纬度数据，航向角的数据包括车头与正北方向的夹角数据。
域控制器将接收到的激光雷达系统检测数据和毫米波雷达系统检测数据、车辆所在的位置和航向角的数据以及车身姿态方面数据同步处理，实现障碍物检测，并将处理结果输出至感知系统外的其他模块其中，其他模块包括控制执行模块、平台管理模块；
电源模块，用于为激光雷达系统、毫米波雷达系统、GPS-IMU模块和域控制器提供电源；
其中，电源模块提供24v、12v等不同电压的直流电。
驱动系统包括各个传感器的数据解析模块、数据时间同步模块和数据空间同步模块，其中，各个传感器包括各个激光雷达、各个毫米波雷达和GPS-IMU模块；
数据时间同步模块，用同一个时间基准给不同时刻来自各个传感器数据添加时间戳信息，其中，各个传感器包括激光雷达系统、毫米波雷达系统和GPS-IMU模块；
数据空间同步模块，用于通过各个传感器的检测数据到车辆后轴中心标定参数，将各个传感器数据坐标中心转换至车辆后轴中心；
数据解析模块，将各个传感器的检测数据经解析分别放入各自缓存区，数据时间同步模块定期读取各传感器缓存区，获取设定时间匹配度的数据，数据空间同步模块将各传感器数据坐标系转换至统一的标准，将同步完的数据分别输入核心算法模块。
数据时间同步模块，根据各传感器的工作周期由长到短依次排序，选择第一个作为主传感器主传感器，当第一个传感器出现故障时，选下一传感器作为主传感器，进行同步。
完成同步后等待数据到来，数据到来后直接获取。
核心算法模块，包括激光雷达传统模块、激光深度学习模块、传感器数据融合模块，
激光雷达传统模块和激光深度学习模块处理输入的激光雷达点云，并融合激光雷达传统模块与激光深度学习模块获得感知结果，毫米波雷达检测模块处理输入的毫米波雷达感知结果，传感器数据融合模块融合感知结果和毫米波雷达感知结果获得最终检测结果。
激光雷达传统模块：包括激光点云的边界提取、点云ROI提取、地面滤除、雨雪雾灰尘检测、点云聚类、障碍物构建、障碍物跟踪。
激光点云的边界提取，包括基于边界信息，直接从点云信息中提取边界内的点云，或基于边界信息，依据GPS-IMU模块3提供的定位信息，从先验地图中提取边界内的点云；
地面滤除，用于对提取边界内的点云进行地面点滤除，滤除的地面点转换成栅格地面信息列表，判断栅格地面信息属于障碍物、地面还是凹坑并记录类别；
雨雪雾灰尘检测，用于滤除雨雪雾灰尘干扰的噪点，对于滤除后的信息包括确定的障碍物点云和疑似障碍物点云，进行后期和毫米波雷达的校验。
激光深度学习模块，用于将一种或多种点云目标检测模型回归激光雷达点云中障碍物的位置、尺寸、航向。
传感器数据融合模块：包括激光雷达融合模块、毫米波雷达融合模块、以及毫米波雷达和激光雷达融合模块，
激光雷达融合模块，用于对激光雷达传统模块输出确定的障碍物信息和激光深度学习模块输出结果的融合；
毫米波雷达融合模块，用以对多个毫米波雷达检测结果的融合；
毫米波雷达和激光雷达融合模块，用于对激光雷达融合模块和毫米波雷达融合模块的结果进一步融合，对于确定的障碍物信息和激光深度学习模块融合结果直接融合，疑似障碍物的信息由毫米波雷达融合结果做是否有无的校验，将同一位置两者都有检测的认定为障碍物，输出结果，并将只有激光雷达的目标信息，没有毫米波雷达的目标信息，认定为假目标。
基于同一构思，本发明还提供一种大型车辆多雷达融合感知方法，包括：
Step1将各个激光雷达，各个毫米波雷达和GPS-IMU模块的数据分别存入域控制器，建立缓存区；
Step2数据时间同步模块定期读取缓存区，获取设定时间匹配度的数据，将各传感器数据坐标系转换到统一的标准，获得同步数据；
Step3将同步数据分别输入至感知软件系统模块；
Step4激光雷达传统模块基于传入的激光点云数据提取边界，基于边界提取ROI的激光雷达点云；对于ROI点云进行地面滤除，滤除后的点分为地面点和非地面点，地面点构建栅格地面信息列表，栅格大小按需求设置，对障碍物点和疑似障碍物点分别进行点云聚类、障碍物构建、障碍物跟踪；其中，ROI，全拼region of interest，感兴趣区域。
例如，设为(0.3X0.3米或0.5X0.5米)；非地面点经过雨雪雾灰尘检测，滤除确定的噪点，并将剩余的激光点云分为障碍物点和疑似障碍物点。
Step5激光深度学习模块处理输入的激光雷达点云，构建障碍信息；
Step6传感器融合模块融合激光雷达传统模块与激光深度学习模块，获得感知结果；
Step7同时传感器融合模块对毫米波雷达检测模块进行处理，获得毫米波雷达感知结果；
Step8传感器融合模块融合感知结果和毫米波雷达感知结果，获得最终检测结果。
本发明对大型车辆进行3600的全面覆盖，而且是车辆外侧立体空间的全面覆盖，不仅仅是俯视平面的覆盖，是应对大型车辆的盲区、死角的有效方案。具备检测远、近距离障碍物、行人、车辆的能力。
本发明通过采用高精度的激光雷达和抗干扰强的毫米波雷达两种不同特性传感器组合，在保证感知系统的精度，也能降低系统受雨雪雾灰尘的恶劣环境影响；采用的时间同步，在数据产生前完成同步，数据产生后直接获取，保证了实时性，保证了数据真实场景的综合最大重合度；同时融合毫米波雷达和激光雷达的检测，提升障碍物检测的准确率和召回率，能够很好的衡量障碍物的高度，而不受道路坡度影响，将确定的障碍物和疑似的障碍物分别进行跟踪融合，提高检测可靠性。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大型车辆多雷达融合感知系统，其特征在于，包括：硬件系统和软件系统，
所述硬件系统包括激光雷达系统、毫米波雷达系统、GPS-IMU模块、域控制器和电源模块，所述软件系统包括驱动模块和核心算法模块，所述软件系统嵌入在所述硬件系统内部，
所述激光雷达系统，分布在车辆4个方向，分别由1个激光雷达或多个不同位置、角度激光雷达的组合而成，用于通过设定布置条件一，检测车辆4个方向的整个立体空间，将获得的激光雷达系统检测数据反馈至所述域控制器；
所述毫米波雷达系统，由2个或以上的毫米波雷达组合而成，用于检测车辆前、后两个方向，并基于设定布置条件二将获得的毫米波雷达系统检测数据反馈至所述域控制器；
所述GPS-IMU模块，用于提供车辆所在的位置和航向角的数据以及车身姿态方面数据，并将GPS-IMU模块检测数据反馈至所述域控制器；
所述域控制器将接收到的所述激光雷达系统检测数据和毫米波雷达系统检测数据、所述车辆所在的位置和航向角的数据以及车身姿态方面数据同步处理，实现障碍物检测，并将处理结果输出至感知系统外的其他模块其中，其他模块包括控制执行模块、平台管理模块；
所述电源模块，用于为所述激光雷达系统、所述毫米波雷达系统、所述GPS-IMU模块和所述域控制器提供电源；
所述驱动系统包括各个传感器的数据解析模块、数据时间同步模块和数据空间同步模块，其中，各个传感器包括各个激光雷达、各个毫米波雷达和GPS-IMU模块；
所述数据时间同步模块，用同一个时间基准给不同时刻来自各个传感器数据添加时间戳信息，其中，各个传感器包括激光雷达系统、毫米波雷达系统和GPS-IMU模块；
所述数据空间同步模块，用于通过各个传感器的检测数据到车辆后轴中心标定参数，将各个传感器数据坐标中心转换至车辆后轴中心；
所述数据解析模块，将各个传感器的检测数据经解析分别放入各自缓存区，所述数据时间同步模块定期读取各传感器缓存区，获取设定时间匹配度的数据，所述数据空间同步模块将各传感器数据坐标系转换至统一的标准，将同步完的数据分别输入核心算法模块。
2.根据权利要求1所述的多雷达融合感知系统，其特征在于，所述布置条件一包括：
前向激光雷达布置：1)近距离区域:水平视场角覆盖不小于180度，垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；2)远距离区域：水平视场角覆盖不小于120度，垂直视场角不小于20度，覆盖区域纵向不小于100米，由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
侧向激光雷达布置：车辆左右两侧激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测；
后向激光雷达布置：后向激光雷达的水平视场角覆盖不小于180度,垂直视场角不小于90度，覆盖距离横、纵向不小于20米；由一颗激光雷达进行覆盖检测，或采用几个激光雷达，通过不同位置或角度的安装组合进行覆盖检测。
3.根据权利要求1所述的多雷达融合感知系统，其特征在于，所述设定布置条件二，包括：
由一颗设定水平视角的毫米波雷达进行覆盖检测，或采用几个毫米波雷达，通过不同位置或角度的安装组合进行覆盖检测，实现前方水平检测角度不小于180度，检测距离不小于100米；后方水平角度大于等于120，检测距离不小于40米。
4.根据权利要求1所述的多雷达融合感知系统，其特征在于，
所述激光雷达系统，是各个激光雷达通过网线或者车载以太网将所述激光雷达系统检测数据传到域控器的；
所述毫米波雷达系统，是各个毫米波雷达通过can线、网线或者车载以太网将所述毫米波雷达系统检测数据传到域控器的；
GPS-IMU模块，是通过数据线将所述车辆所在的位置和航向角的数据以及车身姿态方面数据接到域控制器模块的。
5.根据权利要求1所述的多雷达融合感知系统，其特征在于，
所述核心算法模块，包括激光雷达传统模块、激光深度学习模块、传感器数据融合模块，
所述激光雷达传统模块和所述激光深度学习模块处理输入的激光雷达点云，并融合所述激光雷达传统模块与所述激光深度学习模块获得感知结果，所述毫米波雷达检测模块处理输入的毫米波雷达感知结果，所述传感器数据融合模块融合所述感知结果和毫米波雷达感知结果获得最终检测结果。
6.根据权利要求5所述的多雷达融合感知系统，其特征在于，所述激光雷达传统模块：包括激光点云的边界提取、点云ROI提取、地面滤除、雨雪雾灰尘检测、点云聚类、障碍物构建、障碍物跟踪；
所述激光点云的边界提取，包括基于边界信息，直接从点云信息中提取边界内的点云，或基于边界信息，依据所述GPS-IMU模块3提供的定位信息，从先验地图中提取边界内的点云；
所述地面滤除，用于对提取边界内的点云进行地面点滤除，滤除的地面点转换成栅格地面信息列表，判断所述栅格地面信息属于障碍物、地面还是凹坑并记录；
所述雨雪雾灰尘检测，用于滤除雨雪雾灰尘干扰的噪点，对于滤除后的信息包括确定的障碍物点云和疑似障碍物点云，进行后期和毫米波雷达的校验。
7.根据权利要求5所述的多雷达融合感知系统，其特征在于，
所述激光深度学习模块，用于将一种或多种点云目标检测模型回归激光雷达点云中障碍物的位置、尺寸、航向。
8.根据权利要求5所述的多雷达融合感知系统，其特征在于，
所述传感器数据融合模块：包括激光雷达融合模块、毫米波雷达融合模块、以及毫米波雷达和激光雷达融合模块，
所述激光雷达融合模块，用于对激光雷达传统模块输出确定的障碍物信息和激光深度学习模块输出结果的融合；
所述毫米波雷达融合模块，用以对多个毫米波雷达检测结果的融合；
所述毫米波雷达和激光雷达融合模块，用于对激光雷达融合模块和毫米波雷达融合模块的结果进一步融合，对于确定的障碍物信息和激光深度学习模块融合结果直接融合，疑似障碍物的信息由毫米波雷达融合结果做是否有无的校验，将同一位置两者都有检测的认定为障碍物，输出结果，并将只有激光雷达的目标信息，没有毫米波雷达的目标信息，认定为假目标。
9.根据权利要求1所述的多雷达融合感知系统，其特征在于，所述数据时间同步模块，根据各传感器的工作周期由长到短依次排序，选择第一个作为主传感器主传感器，当第一个传感器出现故障时，选下一传感器作为主传感器，进行同步。
10.根据权利要求1-9任一所述的多雷达融合感知系统的感知方法，包括：
Step1将各个激光雷达，各个毫米波雷达和GPS-IMU模块的数据分别存入域控制器，建立缓存区；
Step2所述数据时间同步模块定期读取所述缓存区，获取设定时间匹配度的数据，将各传感器数据坐标系转换到统一的标准，获得同步数据；
本发明对同步完的数据进行同一时间基准的主传感器时间预测，大大降低了多传感器间数据的差异性和分离情况；
Step3将所述同步数据分别输入至感知软件系统模块；
Step4所述激光雷达传统模块基于传入的激光点云数据提取边界，基于边界提取ROI的激光雷达点云；对于ROI点云进行地面滤除，滤除后的点分为地面点和非地面点，地面点构建栅格地面信息列表，栅格大小按需求设置，对所述障碍物点和疑似障碍物点分别进行点云聚类、障碍物构建、障碍物跟踪，其中，ROI，全拼region of interest，感兴趣区域；
Step5所述激光深度学习模块处理输入的激光雷达点云，构建障碍信息；
Step6传感器融合模块融合所述激光雷达传统模块与所述激光深度学习模块，获得所述感知结果；
本发明通过同时融合毫米波雷达和激光雷达的检测，提升障碍物检测的准确率和召回率；
Step7同时传感器融合模块对毫米波雷达检测模块进行处理，获得所述毫米波雷达感知结果；
Step8所述传感器融合模块融合感知结果和所述毫米波雷达感知结果，获得最终检测结果。
CN202210680801.1A 2022-06-15 2022-06-15 一种大型车辆多雷达融合感知系统和方法 Pending CN115236673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210680801.1A CN115236673A (zh) 2022-06-15 2022-06-15 一种大型车辆多雷达融合感知系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210680801.1A CN115236673A (zh) 2022-06-15 2022-06-15 一种大型车辆多雷达融合感知系统和方法

Publications (1)

Publication Number Publication Date
CN115236673A true CN115236673A (zh) 2022-10-25

Family

ID=83669265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210680801.1A Pending CN115236673A (zh) 2022-06-15 2022-06-15 一种大型车辆多雷达融合感知系统和方法

Country Status (1)

Country Link
CN (1) CN115236673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434183A (zh) * 2023-03-08 2023-07-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116453087A (zh) * 2023-03-30 2023-07-18 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434183A (zh) * 2023-03-08 2023-07-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116434183B (zh) * 2023-03-08 2023-11-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116453087A (zh) * 2023-03-30 2023-07-18 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法
CN116453087B (zh) * 2023-03-30 2023-10-20 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法

Similar Documents

Publication Publication Date Title
CN108256413B (zh) 可通行区域检测方法及装置、存储介质、电子设备
CN102944224B (zh) 一种无人驾驶车的自动环境感知系统的工作方法
WO2022206978A1 (zh) 一种基于车载定位装置的路侧毫米波雷达校准方法
CN112698302B (zh) 一种颠簸路况下的传感器融合目标检测方法
CN115236673A (zh) 一种大型车辆多雷达融合感知系统和方法
CN109298415A (zh) 一种轨道和道路障碍物检测方法
CN106525057A (zh) 高精度道路地图的生成系统
CN114994684B (zh) 多雷达数据融合的扬尘场景下障碍物检测方法与系统
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
CN104899855A (zh) 三维障碍物检测方法和装置
CN105404844A (zh) 一种基于多线激光雷达的道路边界检测方法
CN103176185A (zh) 用于检测道路障碍物的方法及系统
CN110356339B (zh) 一种变道盲区监测方法、系统及车辆
CN111257892A (zh) 一种用于车辆自动驾驶的障碍物检测方法
CN110568433A (zh) 基于毫米波雷达的高空抛物检测方法
CN110091875A (zh) 基于物联网的深度学习型智能驾驶环境感知系统
CN113566833A (zh) 一种多传感器融合的车辆定位方法及系统
CN113850102A (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN111506069B (zh) 一种全天候全地面起重机障碍识别系统及方法
CN112598899A (zh) 一种数据处理方法和装置
CN113537046A (zh) 基于检测车辆轨迹大数据的地图车道线标注方法及系统
CN112572431A (zh) 一种停车场驾驶辅助方法、辅助系统、设备及存储介质
CN112835030A (zh) 一种障碍物目标的数据融合方法、装置及智能汽车
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN113790718A (zh) 一种基于无人船的信息共享系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination