CN114608589B - 一种多传感器信息融合方法及系统 - Google Patents

一种多传感器信息融合方法及系统 Download PDF

Info

Publication number
CN114608589B
CN114608589B CN202210208752.1A CN202210208752A CN114608589B CN 114608589 B CN114608589 B CN 114608589B CN 202210208752 A CN202210208752 A CN 202210208752A CN 114608589 B CN114608589 B CN 114608589B
Authority
CN
China
Prior art keywords
sensor
information
observation range
estimation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210208752.1A
Other languages
English (en)
Other versions
CN114608589A (zh
Inventor
杨丹
屈军锁
蔡星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202210208752.1A priority Critical patent/CN114608589B/zh
Publication of CN114608589A publication Critical patent/CN114608589A/zh
Application granted granted Critical
Publication of CN114608589B publication Critical patent/CN114608589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例是关于一种多传感器信息融合方法及系统。该方法包括：获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；按照固定的时间间隔截取所述初始目标信息；对截取的初始目标信息进行运动补偿和时空对齐；利用关联算法匹配初始目标信息，得到初始估计信息；根据初始估计信息构建动态观测范围模型；根据动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；对目标状态和身份进行加权融合，得到输出目标信息，同时更新历史可靠性值。本公开实施例解决遮挡导致的目标权值下降和目标丢失难题，提高目标状态估计和身份估计的准确性，保证智能汽车感知层输出鲁棒性。

Description

一种多传感器信息融合方法及系统
技术领域
本公开实施例涉及汽车多传感信息融合系统技术领域，尤其涉及一种多传感器信息融合方法。
背景技术
现有智能汽车往往搭载包括多个激光雷达、毫米波雷达、摄像头、卫星定位系统等大量传感器，这些原理不同、观测范围不同的传感器会提供大量既冗余又矛盾的信息，这就要求信息融合系统能够快速处理数据，过滤无用、错误信息，保证系统及时做出正确决策。目前主流的信息融合系统大多采用多级混合融合策略，该系统通过分层管理保证在部分单元失效时，系统仍可保证必要的安全性功能。首先，按照观测区域将传感器分组，将功能互补、观测区域重叠的传感器进行融合，组成多个可以独立运行的子系统。然后，再将多个子系统的局部估计与路侧单元或云平台信息进行融合，最终给出统一的结论。
现有方法利用目标的位置、速度、大小等特征信息构建分配矩阵，采用匈牙利算法确定局部目标之间的对应关系，利用卡尔曼滤波更新目标状态，对目标身份则采用证据理论、贝叶斯推理等算法进行融合。这种方法易于实现、计算负担小，但未能充分利用本地传感器信息。常用车载传感器如激光雷达、毫米波雷达、摄像头等都会收到遮挡的严重影响，特别是城市道路往往存在近距离大目标遮挡传感器视野的问题，如果不加区分的对这些静态观测范围重叠但动态观测范围不同的传感器信息进行融合，就可能导致目标权值降低甚至目标丢失的严重问题，对智能汽车的安全造成重大隐患。
因此，有必要改善上述相关技术方案中存在的一个或者多个问题。
需要注意的是，本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
发明内容
本公开实施例的目的在于提供一种多传感器信息融合方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开实施例的第一方面，提供一种多传感器信息融合方法，包括：
获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
按照固定的时间间隔截取所述初始目标信息；
对所述截取的初始目标信息进行运动补偿和时空对齐；
利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器观测范围模型；
根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值。
本公开的一实施例中，所述动态观测范围模型包括：
传感器观测范围模型为静态观测范围模型与遮挡范围模型之差。
本公开的一实施例中，该方法还包括：
利用各个所述传感器构建得到所述静态观测范围模型；
利用所述传感器的位姿及所述初始估计信息计算得到所述遮挡模型。
本公开的一实施例中，所述遮挡模型通过混合高斯视锥体建立，所述视锥体的横截面积服从高斯分布，所述视锥体的起点位于传感器自身位置，横截面中心位于目标状态估计的均值位置。
本公开的一实施例中，所述时空对齐方法包括：
所述传感器异步同速率时，采用线性插值方法将传感器目标状态的时间对齐；
所述传感器异步异速率时，取采样频率较低的传感器的采样间隔时间，选择最接近采样频率较低采样间隔时间的目标信息，再进行插值获得时间对齐的初始目标信息。
本公开的一实施例中，所述传感器可靠性模型为所述传感器观测范围与所述历史可靠性值之积，所述历史可靠性为一个标量，用于衡量所述传感器的历史精度和身份估计准确率。
本公开的一实施例中，按照固定的时间间隔截取所述初始目标信息后，抛弃所述初始目标信息中过期的数据，采用所述初始目标信息中满足时间要求的数据。
本公开的一实施例中，所述传感器包括：
激光雷达、毫米波雷达、超声波雷达、摄像头和深度摄像头之中至少一种。
本公开的一实施例中，所述初始目标信息包括：
时间戳、目标状态信息和目标身份信息。
根据本公开实施例的第二方面，提供一种多传感器信息融合系统，包括：
信息接收单元，用于获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
信息处理单元，用于按照固定的时间间隔截取所述初始目标信息；
运动补偿和时空对齐单元，用于对所述截取的初始目标信息进行运动补偿和时空对齐；
数据关联单元，用于利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
传感器动态观测范围估计单元，用于利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器观测范围模型；
传感器可靠性估计单元，用于根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
加权融合单元，用于利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开的实施例中，通过上述多传感器信息融合方法，实现了传感器可靠性模型的构建，能够在充分利用局部传感器输出和系统内注册的传感器静态信息的基础上，提高目标估计的可靠性和鲁棒性，从而保证智能汽车的行车安全。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中多传感器信息融合方法流程图；
图2示出本公开示例性实施例中多传感器信息融合系统示意图；
图3示出图1中传感器视锥体模型示意；
图4示出图1中传感器静态观测范围示意图；
图5示出图1中传感器动态观测范围的示意图；
图6示出本公开示例性实施例中异步同速率传感器采样示意图；
图7示出本公开示例性实施例中异步异速率传感器采样示意图；
图8示出本公开示例性实施例中一种程序产品示意图；
图9示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本示例实施方式中首先提供了一种多传感器信息融合方法。参考图1中所示，该多传感器信息融合方法可以包括：步骤S101～步骤S107。
步骤S101：获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
步骤S102：按照固定的时间间隔截取所述初始目标信息；
步骤S103：对所述截取的初始目标信息进行运动补偿和时空对齐；
步骤S104：利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
步骤S105：利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器观测范围模型；
步骤S106：根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
步骤S107：利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值。
通过上述多传感器信息融合方法，实现了传感器可靠性模型的构建，能够在充分利用局部传感器输出和系统内注册的传感器静态信息的基础上，提高目标估计的可靠性和鲁棒性，从而保证智能汽车的行车安全。
下面，将参考图1至图7对本示例实施方式中的上述多传感器信息融合方法的各个步骤进行更详细的说明。
步骤S101：获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息。
具体的，智能车辆通过总线获取包含不同传感器组的子系统输出信息(各个传感器的局部估计信息)，通过无线通信协议(专用短程通信DSRC、5G等)接收路侧单元的环境感知信息和其他车辆的估计信息，这些输出通常包含时间戳、目标状态信息和目标身份信息。
步骤S102：按照固定的时间间隔截取所述初始目标信息。
具体的，获取所述初始目标信息后，系统按照固定的时间间隔T对获取的信息进行截取，部分数据可能因为无线传输导致过期，信息接收单元将这部分过期数据抛弃，然后将满足时间要求的数据传输给车载计算单元。
步骤S103：对所述截取的初始目标信息进行运动补偿和时空对齐。
具体的，考虑按照固定的时间间隔截取后的初始目标信息中时间戳不完全一致，运动补偿和时空对齐模块通过目标状态中的速度、加速度等信息进行插值，使不同来源的信息在时间上对齐，同时将不同坐标系下的目标转换到统一的坐标系中。
步骤S104：利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息。具体的，数据关联模块通过匈牙利算法、联合概率数据关联或多假设跟踪等数据关联算法将不同来源中的相同目标匹配在一起，给出初步的目标状态估计信息。
步骤S105：利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器观测范围模型。具体的，传感器动态观测范围估计模块利用传感器的位姿和上一步估计的目标状态计算遮挡模型，考虑目标状态估计通常会存在误差，传感器的观测范围边界不应当是清晰的硬边界，在此通过混合高斯视锥体(视锥体的横截面服从高斯分布)建立遮挡模型，传感器观测范围＝静态观测范围-遮挡模型,这个观测范围表示为[0，1]之间的概率分布，其中1表示可见，0表示完全不可见。
步骤S106：根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值。
具体的，传感器可靠性建模为历史可靠性和当前可靠性空间分布之积，历史可靠性为一个标量，用于衡量传感器的历史精度和身份估计准确率，当前可靠性的空间分布即传感器的观测范围。
步骤S107：利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值。具体的，信息融合模块利用传感器可靠性对目标状态和身份进行加权融合，再对传感器的历史可靠性进行更新。
在一个实施例中，该方法还包括：利用各个所述传感器构建得到所述静态观测范围模型；利用所述传感器的位姿及所述初始估计信息计算得到所述遮挡模型。
具体的，在车辆上路之前，需要对车载传感器的静态观测范围进行建模。车载传感器包括但不限于激光雷达、毫米波雷达、超声波雷达、摄像头、深度摄像头等，由于车载传感器安装后通常不会移动，其静态观测范围可以离线建模，并保存在系统中。传感器的静态观测范围即为理想状态下传感器的可感知区域。在安装传感器时需要对传感器进行标定，获得传感器在车辆坐标系下的位姿。传感器的静态观测范围可视为三维空间中的锥体模型，参数包括起始点Oc的位姿、垂直视场角α、水平视场角β，近截面中心点距离d1、远截面中心点距离d2，这些参数可以根据传感器本身性能参数和位姿进行计算。传感器的静态观测范围还受智能车辆本身影响，受限于安装位置，部分传感器观测范围会被车辆外轮廓部分遮挡，这种影响可以通过车辆外观模型和传感器位姿进行计算。考虑长期使用可能出现传感器位姿轻微改变，通常建议定期对传感器位姿进行校正并更新其静态观测范围。传感器动态观测范围估计模块利用传感器的位姿和上一步估计的目标状态计算遮挡模型。
在一个实施例中，所述遮挡模型通过混合高斯视锥体建立，所述视锥体的横截面积服从高斯分布，所述视锥体的起点位于传感器自身位置，横截面中心位于目标状态估计的均值位置。
具体的，考虑目标状态估计通常会存在误差，传感器的观测范围边界不应当是清晰的硬边界，在此通过混合高斯视锥体(视锥体的横截面服从高斯分布)建立遮挡模型。
在一个实施例中，所述时空对齐方法包括：所述传感器异步同速率时，采用线性插值方法将传感器目标状态的时间对齐；所述传感器异步异速率时，取采样频率较低的传感器的采样间隔时间，选择最接近采样频率较低采样间隔时间的目标信息，再进行插值获得时间对齐的初始目标信息。
具体的，对于多传感器系统，要求异构传感器同步是很难实现的。目标状态和传感器采样间隔采用线性插值方法将传感器目标状态的时间对齐；对于异步异速率传感器，通常与采样频率较低的传感器采样间隔相同，选择最接近采样频率较低采样间隔时间的目标信息，再进行插值，获得时间对齐的目标状态。
在一个实施例中，所述传感器包括：激光雷达、毫米波雷达、超声波雷达、摄像头和深度摄像头之中至少一种。具体的，一般智能汽车的传感器包括激光雷达、毫米波雷达、超声波雷达、摄像头和深度摄像头等。
在一个实施例中，所述初始目标信息包括：时间戳、目标状态信息和目标身份信息。具体的，智能车辆通过总线获取包含不同传感器组的子系统输出信息(各个传感器的局部估计信息)，通过无线通信协议(专用短程通信DSRC、5G等)接收路侧单元的环境感知信息和其他车辆的估计信息，这些输出通常包含时间戳、目标状态信息和目标身份信息。
进一步的，本示例实施方式中，还提供了一种多传感器信息融合系统。参考图2中所示，多传感器信息融合系统包括：
信息接收单元，用于获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
信息处理单元，用于按照固定的时间间隔截取所述初始目标信息；
运动补偿和时空对齐单元，用于对所述截取的初始目标信息进行运动补偿和时空对齐；
数据关联单元，用于利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
传感器动态观测范围估计单元，用于利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器观测范围模型；
传感器可靠性估计单元，用于根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
加权融合单元，用于利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值。
下面对本发明的技术方案做进一步的详细描述。
针对现有技术存在的问题，本发明提供一种基于动态观测范围的车载多传感器可靠性估计系统。为了简单起见，本案例中智能车辆搭载传感器如图5所示，两传感器独立进行目标检测、目标状态估计、身份识别，同时也从路侧单元获取环境感知信息，即融合系统存在三个信息来源。在实际使用中，融合系统可以简单地扩展到多个传感器系统中。
已知传感器1位姿矩阵T1，传感器参数垂直视场角α1、水平视场角β1，近截面中心点距离远截面中心点距离/>其静态观测范围表示为：
其中，如图4所示，/>表示周围没有目标的情况下被自身车辆遮挡的部分。类似的可以得到传感器2的静态观测范围/>需要说明的是，本文中用上标表示传感器标号。
对于多传感器系统，要求异构传感器同步是很难实现的。对于异步同速率传感器，假设采样间隔为Tth，由传感器1收到的目标信息为由传感器2收到的目标信息为/>其中X表示目标状态信息，L表示目标身份信息。目标状态和传感器采样间隔如图6所示，采用线性插值方法将传感器目标状态的时间对齐，/>表示将传感器1的目标状态对齐到传感器2的采样时刻，
对于异步异速率传感器，目标状态和传感器采样间隔如图7所示。首先预设时间间隔Tth，通常与采样频率较低的传感器采样间隔相同。对于传感器1在此时间间隔中收到的目标信息为：
传感器2收到的目标状态为如图7所示，选择最接近传感器2采样时间的传感器1目标信息，再进行插值，获得时间对齐的目标状态。
对不同坐标系下的目标状态还需要进行坐标转换，在此处先利用各个传感器的位姿将目标状态转换到车辆坐标系下。
在k时刻，经过时空对齐的多传感器目标状态为：
为了简单起见在本案例中利用最近邻方法对来自不同传感器的目标进行关联，并维护统一的融合航迹。需要说明的是，关联算法不仅可以采用最近邻算法，也可以采用概率数据关联、联合概率数据关联、多假设跟踪等方法。经过数据关联可以得到一个最大可能的数据关联方案，也称之为关联事件，针对该关联事件，可以计算出一个关联矩阵：
其中，θ(k)表示联合关联事件，关联矩阵Ω满足两个条件：每个量测都有唯一的源，对于一个给定的目标，每个传感器最多获得一个量测。利用关联矩阵对目标加权融合，即可获得初步的目标估计，假设目标状态服从高斯分布，加权融合后的目标状态为：
其中，m表示均值，P表示方差，B为三维空间中的目标检测框。若传感器输出的目标状态不包含方差信息，则仅对目标状态估计值进行融合。对目标的身份信息采用D-S证据理论进行融合，获得融合后的目标信息
将遮挡模型建模为混合高斯视锥体(视锥体的横截面服从高斯分布)，视锥体的起点位于传感器自身位置，横截面中心位于目标状态估计的均值位置，边缘服从N(mk，j，Pk，j)Bk，j分布，
传感器实时的观测范围建模为：
这个观测范围表示为[0，1]之间的概率分布，其中1表示可见，0表示完全不可见。
传感器可靠性建模为历史可靠性和当前可靠性空间分布之积，假设k-1时刻第i个传感器的历史可靠性为一个标量当前时刻的可靠性的空间分布为/>对目标状态进行加权融合：
更新传感器的历史可靠性：
其中，τ为预设的学习率。
通过上述多传感器信息融合方法，实现了传感器可靠性模型的构建，能够在充分利用局部传感器输出和系统内注册的传感器静态信息的基础上，提高目标估计的可靠性和鲁棒性，从而保证智能汽车的行车安全。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述多传感器信息融合方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述多传感器信息融合方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述多传感器信息融合方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述多传感器融合方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述多传感器信息融合方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (7)

1.一种多传感器信息融合方法，其特征在于，包括：
获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
按照固定的时间间隔截取所述初始目标信息；
对所述截取的初始目标信息进行运动补偿和时空对齐；
利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器动态观测范围模型；
根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值；
所述动态观测范围模型包括：
传感器动态观测范围模型为静态观测范围模型与遮挡模型之差；
该方法还包括：
利用各个所述传感器构建得到所述静态观测范围模型；
利用所述传感器的位姿及所述初始估计信息计算得到所述遮挡模型；
所述遮挡模型通过混合高斯视锥体建立，所述视锥体的横截面积服从高斯分布，所述视锥体的起点位于传感器自身位置，横截面中心位于目标状态估计的均值位置。
2.根据权利要求1所述多传感器信息融合方法，其特征在于，所述时空对齐方法包括：
所述传感器异步同速率时，采用线性插值方法将传感器目标状态的时间对齐；
所述传感器异步异速率时，取采样频率较低的传感器的采样间隔时间，选择最接近采样频率较低采样间隔时间的目标信息，再进行插值获得时间对齐的初始目标信息。
3.根据权利要求1所述多传感器信息融合方法，其特征在于，所述传感器可靠性值为所述传感器动态观测范围与所述历史可靠性值之积，所述历史可靠性为一个标量，用于衡量所述传感器的历史精度和身份估计准确率。
4.根据权利要求1所述多传感器信息融合方法，其特征在于，按照固定的时间间隔截取所述初始目标信息后，抛弃所述初始目标信息中过期的数据，采用所述初始目标信息中满足时间要求的数据。
5.根据权利要求1所述多传感器信息融合方法，其特征在于，所述传感器包括：
激光雷达、毫米波雷达、超声波雷达、摄像头中的至少一种。
6.根据权利要求1所述多传感器信息融合方法，其特征在于，所述初始目标信息包括：
时间戳、目标状态信息和目标身份信息。
7.一种多传感器信息融合系统，其特征在于，包括：
信息接收单元，用于获取各个传感器的局部估计信息、路侧单元的环境感知信息及其他车辆的估计信息，得到初始目标信息；
信息处理单元，用于按照固定的时间间隔截取所述初始目标信息；
运动补偿和时空对齐单元，用于对所述截取的初始目标信息进行运动补偿和时空对齐；
数据关联单元，用于利用关联算法匹配所述运动补偿和时空对齐后的初始目标信息，得到初始估计信息；
传感器动态观测范围估计单元，用于利用所述初始估计信息计算遮挡模型，根据所述遮挡模型获得传感器动态观测范围模型；
传感器可靠性估计单元，用于根据所述动态观测范围模型中的传感器观测范围和历史可靠性值，得到传感器可靠性值；
加权融合单元，用于利用所述传感器可靠性值对目标状态和身份进行加权融合，得到输出目标信息，同时更新所述历史可靠性值；
所述动态观测范围模型包括：
传感器动态观测范围模型为静态观测范围模型与遮挡模型之差；
该方法还包括：
利用各个所述传感器构建得到所述静态观测范围模型；
利用所述传感器的位姿及所述初始估计信息计算得到所述遮挡模型；
所述遮挡模型通过混合高斯视锥体建立，所述视锥体的横截面积服从高斯分布，所述视锥体的起点位于传感器自身位置，横截面中心位于目标状态估计的均值位置。
CN202210208752.1A 2022-03-04 2022-03-04 一种多传感器信息融合方法及系统 Active CN114608589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208752.1A CN114608589B (zh) 2022-03-04 2022-03-04 一种多传感器信息融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208752.1A CN114608589B (zh) 2022-03-04 2022-03-04 一种多传感器信息融合方法及系统

Publications (2)

Publication Number Publication Date
CN114608589A CN114608589A (zh) 2022-06-10
CN114608589B true CN114608589B (zh) 2024-06-25

Family

ID=81860649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208752.1A Active CN114608589B (zh) 2022-03-04 2022-03-04 一种多传感器信息融合方法及系统

Country Status (1)

Country Link
CN (1) CN114608589B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115166721B (zh) * 2022-09-05 2023-04-07 湖南众天云科技有限公司 路侧感知设备中雷达与gnss信息标定融合方法及装置
CN117768003B (zh) * 2023-12-22 2024-07-30 中国人民解放军国防科技大学 基于事件触发和多层次规划的绕轨卫星观测应急调度方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813299A (zh) * 2019-03-06 2019-05-28 南京理工大学 一种基于交互多模型的组合导航信息融合方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1166922C (zh) * 2002-07-18 2004-09-15 上海交通大学 多传感器多目标信息融合方法
CN108573270B (zh) * 2017-12-15 2020-04-28 上海蔚来汽车有限公司 使多传感器目标信息融合与多传感器感测同步的方法及装置、计算机设备和记录介质
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
US11282397B2 (en) * 2019-03-28 2022-03-22 Fortem Technologies, Inc. System and method for fusing asynchronous sensor tracks in a track fusion application
CN111127523B (zh) * 2019-12-04 2023-03-24 杭州电子科技大学 基于量测迭代更新的多传感器gmphd自适应融合方法
CN112146648B (zh) * 2020-09-23 2022-08-19 河北工业大学 一种基于多传感器数据融合的多目标跟踪方法
CN112284376A (zh) * 2020-10-10 2021-01-29 南京工程学院 一种基于多传感器融合的移动机器人室内定位建图方法
CN113537287A (zh) * 2021-06-11 2021-10-22 北京汽车研究总院有限公司 多传感器信息融合方法与装置、存储介质、自动驾驶系统
CN113537302B (zh) * 2021-06-24 2023-05-26 四川大学 一种多传感器随机化数据关联融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813299A (zh) * 2019-03-06 2019-05-28 南京理工大学 一种基于交互多模型的组合导航信息融合方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法

Also Published As

Publication number Publication date
CN114608589A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
JP6952165B2 (ja) 障害物検出方法および装置
US11353553B2 (en) Multisensor data fusion method and apparatus to obtain static and dynamic environment features
CN114608589B (zh) 一种多传感器信息融合方法及系统
EP3734389B1 (en) Vehicle positioning method and apparatus
CN108828527B (zh) 一种多传感器数据融合方法、装置、车载设备及存储介质
EP4080468A2 (en) Collision detection method and apparatus, electronic device, medium, and autonomous vehicle
CN111915873B (zh) 车辆及共享车辆系统
US11648936B2 (en) Method and apparatus for controlling vehicle
CN113537362A (zh) 一种基于车路协同的感知融合方法、装置、设备及介质
CN109814113B (zh) 一种超声波雷达障碍物检测结果处理方法及系统
US20220043145A1 (en) Ultrasonic radar array, and obstacle detection method and system
US20170261996A1 (en) Location and mapping device and method
CN113093128A (zh) 用于标定毫米波雷达的方法、装置、电子设备及路侧设备
CN111624550B (zh) 一种车辆定位方法、装置、设备及存储介质
CN115016435A (zh) 一种自动驾驶车辆测试方法、装置、系统、设备和介质
CN116772831A (zh) 基于多传感器融合的移动机器人导航定位系统及方法
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
CN116161040B (zh) 车位信息生成方法、装置、电子设备和计算机可读介质
CN112630798B (zh) 用于估计地面的方法和装置
CN111951552A (zh) 一种自动驾驶中风险管理的方法以及相关装置
CN114724115B (zh) 障碍物定位信息生成方法、装置、设备和计算机可读介质
CN114363308B (zh) 一种地图数据的传输方法及装置
CN112150503B (zh) 一种环境动态模型的确定方法、装置、电子设备及存储介质
CN114296096A (zh) 一种机器人定位方法、系统以及终端
JP7151387B2 (ja) 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant