CN111611885A - 一种基于分散式架构多传感器后融合数据一致性的方法 - Google Patents

一种基于分散式架构多传感器后融合数据一致性的方法 Download PDF

Info

Publication number
CN111611885A
CN111611885A CN202010379047.9A CN202010379047A CN111611885A CN 111611885 A CN111611885 A CN 111611885A CN 202010379047 A CN202010379047 A CN 202010379047A CN 111611885 A CN111611885 A CN 111611885A
Authority
CN
China
Prior art keywords
data
fusion
tracked
sensor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010379047.9A
Other languages
English (en)
Inventor
张林灿
董钊志
宋罡
李大鹏
刘树全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wohang Technology Nanjing Co ltd
Original Assignee
Wohang Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wohang Technology Nanjing Co ltd filed Critical Wohang Technology Nanjing Co ltd
Priority to CN202010379047.9A priority Critical patent/CN111611885A/zh
Publication of CN111611885A publication Critical patent/CN111611885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于分散式架构多传感器后融合数据一致性的方法，其将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的全面解析。在此过程中，充分地利用多源数据进行合理匹配与优势互补，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多层次、多方面组合提炼出更多有价值的信息。进一步地利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据，提高整个传感器系统的可靠性和稳定性。

Description

一种基于分散式架构多传感器后融合数据一致性的方法
技术领域：
本发明涉及一种基于分散式架构多传感器后融合数据一致性的方法，其属于电动汽车智能驾驶技术领域。
背景技术：
自动驾驶感知中多传感器融合成了无人驾驶领域的趋势，多传感器信息融合(Multi-sensor Information Fusion,MSIF)，就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。融合按照实现原理分为原始数据前融合和目标数据后融合；利用传感器的底层数据进行融合称为原始数据前融合；利用传感器各种得到的后期识别结果，即每个传感器各自独立生成目标数据，再由主处理器进行融合这些特征数据来实现感知任务称为后期目标数据融合。
发明内容：
本发明是为了解决上述现有技术存在的问题而提供一种基于分散式架构多传感器后融合数据一致性的方法。
本发明所采用的技术方案有：一种基于分散式架构多传感器后融合数据一致性的方法，步骤如下：
1、获得每一种传感器的障碍物数据，转化为标准待融合数据类型，此处转化包括对障碍物进行坐标转换，转化为车身坐标系下的物体，并且提取出可行驶区域中的物体；
2、判断是否允许融合，判断标准根据传感器类型设置，如果允许融合，将可行驶区域中的物体数据加入到融合缓冲区中，等待触发传感器的数据到来；
3、如果接收到了触发传感器的数据，取出融合缓冲区中最新的一帧数据，判断物体是否已经跟踪上，去除未跟踪上的物体，计算任意两物体间的关联矩阵，即根据物体的位置、大小、速度参数按照对应的权重叠加在一起获得匹配度；
4、根据关联矩阵匹配度，采用匈牙利算法进行匹配，获得匹配后的映射关系，对匹配后的物体进行卡尔曼滤波融合，得到跟踪上的物体，存入队列；
5、判断已跟踪上的物体的生命值，当生命值为0时，将其移除。
本发明具有如下有益效果：本发明基于分散式架构多传感器后融合数据一致性的方法将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的全面解析。在此过程中，充分地利用多源数据进行合理匹配与优势互补，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多层次、多方面组合提炼出更多有价值的信息。进一步地利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据，提高整个传感器系统的可靠性和稳定性。
附图说明：
图1为本发明基于分散式架构多传感器后融合数据一致性的方法的流程图。
具体实施方式：
下面结合附图对本发明作进一步的说明。
本发明基于分散式架构多传感器后融合数据一致性的方法，步骤如下：
1、获得每一种传感器的障碍物(objects)数据，转化为标准待融合数据类型(BeforeFuse)，此处转化包括对障碍物进行坐标转换，转化为车身坐标系下的物体，并且提取出可行驶区域中的物体objects In Driving Area；
2、判断是否允许融合，判断标准根据实际情况设置(比如传感器类型等)，如果允许融合，将可行驶区域中的物体数据加入到融合缓冲区中，等待触发传感器的数据到来；
3、如果接收到了触发传感器的数据，取出融合缓冲区中最新的一帧数据，判断物体是否已经跟踪上，去除未跟踪上的物体，计算任意两物体间的关联矩阵，即根据物体的位置、大小、速度等参数按照对应的权重叠加在一起获得匹配度；
4、根据关联矩阵匹配度，采用匈牙利算法进行匹配，获得匹配后的映射关系，对匹配后的物体进行卡尔曼滤波融合，得到跟踪上的物体Tracked Objects，存入队列；
5、判断已跟踪上的物体的生命值，当生命值为0时，将其移除。
本发明基于分散式架构多传感器后融合数据一致性的方法采用后期目标数据进行融合，实现多传感器识别效果的优势互补，增强环境感知的准确性；本发明针对32线主激光雷达识别结果、两颗16线扫盲侧向激光雷达识别结果、前摄像头识别结果以及多个毫米波雷达识别结果实现多个传感器数据识别结果的融合，实现目标物的冗余识别，防止某单个传感器失效时，智能驾驶车辆决策单元仍然能够通过其余传感器的识别结果有效地感知到周围的信息，完成决策规划。
本发明采用分散式融合架构，每个传感器都具有估计全局信息的能力，任何一个传感器的失效都不会导致系统的崩溃，各传感器之间互通信息，系统的可靠性和容错性高，计算和通信负担轻；可以有效地将多个传感器经过数据处理后的结果进行后融合，保证对智能驾驶车辆周围环境精准的识别；保证决策算法以及后融合算法的数据有效利用，大大提高系统的鲁棒性和容错性。
本发明可以有效地解决多传感器综合识别智能驾驶车辆周围环境信息，深层次地利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据，提高整个传感器系统的可靠性和稳定性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (1)

1.一种基于分散式架构多传感器后融合数据一致性的方法，其特征在于：步骤如下：
1、获得每一种传感器的障碍物数据，转化为标准待融合数据类型，此处转化包括对障碍物进行坐标转换，转化为车身坐标系下的物体，并且提取出可行驶区域中的物体；
2、判断是否允许融合，判断标准根据传感器类型设置，如果允许融合，将可行驶区域中的物体数据加入到融合缓冲区中，等待触发传感器的数据到来；
3、如果接收到了触发传感器的数据，取出融合缓冲区中最新的一帧数据，判断物体是否已经跟踪上，去除未跟踪上的物体，计算任意两物体间的关联矩阵，即根据物体的位置、大小、速度参数按照对应的权重叠加在一起获得匹配度；
4、根据关联矩阵匹配度，采用匈牙利算法进行匹配，获得匹配后的映射关系，对匹配后的物体进行卡尔曼滤波融合，得到跟踪上的物体，存入队列；
5、判断已跟踪上的物体的生命值，当生命值为0时，将其移除。
CN202010379047.9A 2020-05-07 2020-05-07 一种基于分散式架构多传感器后融合数据一致性的方法 Pending CN111611885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010379047.9A CN111611885A (zh) 2020-05-07 2020-05-07 一种基于分散式架构多传感器后融合数据一致性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010379047.9A CN111611885A (zh) 2020-05-07 2020-05-07 一种基于分散式架构多传感器后融合数据一致性的方法

Publications (1)

Publication Number Publication Date
CN111611885A true CN111611885A (zh) 2020-09-01

Family

ID=72198204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010379047.9A Pending CN111611885A (zh) 2020-05-07 2020-05-07 一种基于分散式架构多传感器后融合数据一致性的方法

Country Status (1)

Country Link
CN (1) CN111611885A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128140A (zh) * 2016-08-11 2016-11-16 江苏大学 车联网环境下行车服务主动感知系统及方法
CN108646739A (zh) * 2018-05-14 2018-10-12 北京智行者科技有限公司 一种传感信息融合方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128140A (zh) * 2016-08-11 2016-11-16 江苏大学 车联网环境下行车服务主动感知系统及方法
CN108646739A (zh) * 2018-05-14 2018-10-12 北京智行者科技有限公司 一种传感信息融合方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Similar Documents

Publication Publication Date Title
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN113379805B (zh) 一种交通节点的多信息资源融合处理方法
Aeberhard et al. High-level sensor data fusion architecture for vehicle surround environment perception
Kang et al. Camera and radar sensor fusion for robust vehicle localization via vehicle part localization
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
Samal et al. Task-driven rgb-lidar fusion for object tracking in resource-efficient autonomous system
CN112084835A (zh) 基于航拍数据和遥测数据生成地图特征
US20230162472A1 (en) Method and system for keypoint detection based on neural networks
CN110936959A (zh) 车辆感知系统在线诊断和预测
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
CN112313536B (zh) 物体状态获取方法、可移动平台及存储介质
CN110398735B (zh) 一种基于多雷达的感知数据处理方法及系统
EP4095812A1 (en) Method for predicting a trajectory of an agent in a vicinity of a self-driving vehicle based on ranking
CN114118253A (zh) 一种基于多源数据融合的车辆检测方法及检测装置
CN114018269A (zh) 定位方法、装置、电子设备、存储介质以及自动驾驶车辆
CN111611885A (zh) 一种基于分散式架构多传感器后融合数据一致性的方法
CN113763423A (zh) 一种基于多模态数据的系统性目标识别与跟踪方法
CN109344776B (zh) 数据处理方法
CN111626334B (zh) 一种车载高级辅助驾驶系统的关键控制目标选择方法
CN112946603B (zh) 一种基于激光雷达的道路养护检测系统及其检测方法
CN111947624B (zh) 时变态势矩阵驱动的天基广域分布式态势感知方法及系统
CN112257750B (zh) 一种面向复合式探测节点的分布式融合系统
CN114913352A (zh) 基于联合相似度匹配的多源信息时空配准方法及系统
Nguyen et al. Optimized grid-based environment perception in advanced driver assistance systems
CN114758200A (zh) 多传感数据融合方法、多源融合感知系统和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination