CN113269811A - 数据融合方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种数据融合方法、装置及电子设备，首先基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；然后对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；再根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；进一步根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。本发明提高了数据融合效率，从而提高了数据处理的实时性。

Description

数据融合方法、装置及电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据融合方法、装置及电子设备。

背景技术

相关技术中，通常采用联合概率数据互联方法进行多传感器数据关联及融合，它通过计算航迹与每一个落入关联门的观测数据之间的关联概率，得到关于航迹的次优估计。然而，当目标和量测数目增多时，联合概率数据算法的计算量将出现组合爆炸现象，从而造成计算复杂，实时性较差。

发明内容

有鉴于此，本发明的目的在于提供一种数据融合方法、装置及电子设备，以提高数据融合效率，提高数据处理实时性。

第一方面，本发明实施例提供了一种数据融合方法，包括：基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述数据融合指令包括融合时间；基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧的步骤，包括：从多个数据帧中，查找产生时间早于融合时间的数据帧；将查找到的数据帧中产生时间与融合时间相距最短的数据帧确定为待融合数据帧。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述数据帧由预设的传感器采集；传感器对应于多种传感器类型；航迹观测值包括多个观测目标及观测目标对应的观测位置；对待融合数据帧进行处理，得到待融合数据对应的航迹观测值的步骤，包括：基于待融合数据帧对应的传感器类型，采用与传感器类型对应的处理方式，对待融合数据帧进行处理，得到多个观测目标及观测目标对应的观测位置。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述预先确定的航迹信息包括按照融合时间顺序排列的多个航迹；航迹包括跟踪目标及跟踪目标在航迹对应的融合时间的目标位置；航迹推算值包括跟踪目标及跟踪目标在航迹观测值对应的融合时间的推算位置；根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值的步骤，包括：基于航迹及航迹对应的融合时间，建立跟踪目标的运动模型；基于跟踪目标的运动模型，以及融合时间距离与航迹观测值的融合时间最近的航迹，计算得到跟踪目标在航迹观测值对应的融合时间的推算位置。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及航迹信息进行融合处理，得到融合后的航迹信息的步骤，包括：基于预设的关联条件及待融合数据对应的航迹观测值及航迹推算值，得到航迹观测值与预先确定的航迹信息之间的关联关系；基于关联关系，对航迹观测值及航迹信息进行融合处理，得到融合后的航迹信息。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述航迹推算值包括多个跟踪目标；航迹观测值包括多个观测目标；基于预设的关联条件及待融合数据对应的航迹观测值及航迹推算值，得到航迹观测值与预先确定的航迹信息之间的关联关系的步骤，包括：针对于每个观测目标，基于预设的关联条件、航迹观测值及航迹推算值，判断观测目标是否与跟踪目标相匹配；如果是，将观测目标与跟踪目标的关联系数设置为1；如果否，将观测目标与跟踪目标的关联系数设置为0；基于观测目标与跟踪目标的关联系数，生成航迹观测值与航迹信息之间的关联矩阵；基于关联矩阵，计算航迹观测值与航迹信息之间的关联概率；基于关联概率，得到航迹观测值与预先确定的航迹信息之间的关联关系。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述预设的关联条件包括第一关联条件及第二关联条件；航迹观测值还包括跟踪目标的尺寸信息、跟踪目标的推算位置、跟踪目标的速度信息以及跟踪目标的类型信息；航迹观测值还包括观测目标的尺寸信息、观测目标的观测位置、观测目标的速度信息以及观测目标的类型信息；基于预设的关联条件、航迹观测值及航迹推算值，判断观测目标是否与跟踪目标相匹配的步骤，包括：基于观测目标的尺寸信息、观测位置、跟踪目标的尺寸信息及推算位置，计算观测目标及跟踪目标的距离参数；判断距离参数是否满足第一关联条件；如果满足，判断观测目标的速度信息与跟踪目标的速度信息是否满足第一设定门限，且观测目标的类型信息与跟踪目标的类型信息是否满足第二设定门限；如果满足，确定观测目标满足第二关联条件，确定观测目标与跟踪目标相匹配。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，上述关联关系分为相关联或不关联；航迹推算值包括跟踪目标的运动信息；航迹观测值包括观测目标的运动信息；基于关联关系，对航迹观测值及航迹信息进行融合处理，得到融合后的航迹信息的步骤，包括：如果观测目标与航迹信息中的跟踪目标相关联，基于观测目标的运动信息更新观测目标相关联的跟踪目标的运动信息；如果观测目标不与航迹信息中的任何跟踪目标相关联，将观测目标确定为航迹信息中的新的跟踪目标；如果跟踪目标不与航迹观测值中的任何观测目标相关联，删除跟踪目标。

第二方面，本发明实施例还提供一种数据融合装置，包括：数据帧确定模块，用于基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；数据帧处理模块，用于对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；航迹推算模块，用于根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；融合模块，用于根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述方法。

第四方面，本发明实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述方法。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种数据融合方法、装置及电子设备，首先基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；然后对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；再根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；进一步根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。该方式提高了数据融合效率，从而提高了数据处理的实时性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据融合方法的流程图；

图2为本发明实施例提供的一种多传感器融合系统的结构示意图 ；

图3为本发明实施例提供的传感器数据的排序过程的流程图；

图4为本发明实施例提供的一种基于变结构联合概率数据互联的多传感器融合系统结构示意图 ；

图5为本发明实施例提供的航迹与观测值的关联示意图；

图6为本发明实施例提供的目标速度方向与车道位置的关系示意图；

图7为本发明实施例提供的感兴趣区域的示意图；

图8为本发明实施例提供的一种数据融合装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

高级别自动驾驶需要感知端能提供更加丰富和稳定的障碍物信息。单一传感器受其硬件和算法的局限性，往往无法满足高级自动驾驶的需求。因此，将多源传感器的数据进行融合，能够将各种传感器进行多层次、多空间的信息互补和优化组合处理，各种传感器之间进行优势互补，去粗取精，最终产生对观测环境的一致性解释。

对于多传感器系统而言，信息具有多样性和复杂性，因此对数据融合算法的基本要求是具有鲁棒性和并行处理能力，同时还要保证算法的运行速度和结果的精度。联合概率数据互联是一种常用的进行多传感器数据关联的方法，它通过计算航迹与每一个落入关联门的观测数据之间的关联概率，得到关于航迹的次优估计。它不需要任何关于目标和杂波的先验信息，是在密集杂波环境下进行多目标跟踪的有效方法之一。但是当目标和量测数目增多时，联合概率数据算法的计算量将出现组合爆炸现象，从而造成计算复杂，可能无法满足系统的实时性要求。

基于此，本发明实施例提供的一种数据融合方法、装置以及电子设备，可以用于各种传感器系统的数据的融合及目标检测场景。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据融合方法进行详细介绍。

本发明实施例提供了一种数据融合方法，如图1所示，该方法包括以下步骤：

步骤S100，基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧。

具体而言，上述多个数据帧可以为不同的传感器采集的，如图像传感器、激光雷达等。为了便于处理，这些数据帧可以按照其产生时间存储在设定位置。其中，数据帧的产生时间可以为传感器采集该数据帧的时间。

上述数据融合指令可以包括融合时间；此时，可以从多个数据帧中，查找产生时间早于融合时间的数据帧；并将查找到的数据帧中产生时间与融合时间相距最短的数据帧确定为待融合数据帧。数据融合指令也可以指定需要融合的数据帧的类型，如该数据帧由图像传感器采集等。

步骤S102，对待融合数据帧进行处理，得到待融合数据对应的航迹观测值。

具体而言，上述数据帧由预设的传感器采集；传感器对应于多种传感器类型。由于不同类型的传感器采集的数据具有不同的特点，如图像传感器采集到的数据可能需要对进行补光处理等，可以基于待融合数据帧对应的传感器类型，采用与传感器类型对应的处理方式，对待融合数据帧进行处理，得到多个观测目标及观测目标对应的观测位置。此时的航迹观测值可以包括多个观测目标及观测目标对应的观测位置。

步骤S104，根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值。

上述预先确定的航迹信息可以包括按照融合时间顺序排列的多个航迹；每个融合时间对应的航迹可以通过航迹管理器进行管理。其中，每个航迹包括跟踪目标及跟踪目标在航迹对应的融合时间的目标位置；跟踪目标通常为多个。

首先，可以基于航迹及航迹对应的融合时间，建立跟踪目标的运动模型；如针对于某个跟踪目标，得知该跟踪目标在多个融合时间的位置后，可以得到该跟踪目标在包括这些融合时间的时间段内的运动信息，如速度及加速度等，基于这些运动信息生成该跟踪目标的运动模型；然后在基于跟踪目标的运动模型，以及融合时间距离与航迹观测值的融合时间最近的航迹，计算得到跟踪目标在航迹观测值对应的融合时间的推算位置。将该跟踪目标及跟踪目标在航迹观测值对应的融合时间的推算位置作为航迹推算值，该航迹推算值还可以包括跟踪目标在该融合时间的速度及加速度等。

步骤S106，根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

具体而言，可以首先基于预设的关联条件及待融合数据对应的航迹观测值及航迹推算值，得到航迹观测值与预先确定的航迹信息之间的关联关系；然后再基于关联关系，对航迹观测值及航迹信息进行融合处理，得到融合后的航迹信息。

通常情况下，航迹推算值包括多个跟踪目标；航迹观测值包括多个观测目标；在确定航迹观测值与预先确定的航迹信息之间的关联关系时，需要针对于每个观测目标，基于预设的关联条件、航迹观测值及航迹推算值，判断观测目标是否与跟踪目标相匹配；如果是，将观测目标与跟踪目标的关联系数设置为1；如果否，将观测目标与跟踪目标的关联系数设置为0；然后再基于观测目标与跟踪目标的关联系数，生成航迹观测值与航迹信息之间的关联矩阵，也称为确认矩阵；然后再基于关联矩阵，计算航迹观测值与航迹信息之间的关联概率；并基于关联概率，得到航迹观测值与预先确定的航迹信息之间的关联关系。

上述关联关系可以为相关联和不关联，可以预先设定概率阈值，当关联概率大于或等于该概率阈值时，认为观测目标与跟踪目标相关联，当关联概率小于该概率阈值时，认为观测目标与跟踪目标不关联。

上述关联条件可以跟跟踪目标及观测目标之间的距离、二者之间的速度相似度、尺寸相似度、类型相关度等信息相关。此时，航迹观测值需要包括跟踪目标的尺寸信息、跟踪目标的推算位置、跟踪目标的速度信息以及跟踪目标的类型信息；航迹观测值需要包括观测目标的尺寸信息、观测目标的观测位置、观测目标的速度信息以及观测目标的类型信息。可以将关联条件划分为第一关联条件及第二关联条件。

可以首先基于观测目标的尺寸信息、观测位置、跟踪目标的尺寸信息及推算位置，计算观测目标及跟踪目标的距离参数；判断距离参数是否满足第一关联条件；如果不满足，认为二者不匹配；如果满足，再判断观测目标的速度信息与跟踪目标的速度信息是否满足第一设定门限，且观测目标的类型信息与跟踪目标的类型信息是否满足第二设定门限；如果满足，确定观测目标满足第二关联条件，确定观测目标与跟踪目标相匹配。

通常情况下，航迹推算值包括跟踪目标的运动信息；航迹观测值包括观测目标的运动信息，如速度、加速度及实时位置等。如果观测目标与航迹信息中的跟踪目标相关联，基于观测目标的运动信息更新观测目标相关联的跟踪目标的运动信息；如果观测目标不与航迹信息中的任何跟踪目标相关联，将观测目标确定为航迹信息中的新的跟踪目标；如果跟踪目标不与航迹观测值中的任何观测目标相关联，删除跟踪目标。在一些情况下，如果传感器采集的数据容易包含干扰数据，会在跟踪目标在设定次数没有与观测目标相关联后，再删除该跟踪目标，以防对跟踪目标误删除情况。

本发明实施例提供了一种数据融合方法，首先基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；然后对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；再根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；进一步根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。该方法提高了数据融合效率，从而提高了数据处理的实时性。

本发明实施例还提供了另一种数据融合方法，该方法在图1所示的方法基础上实现。该方法借鉴了联合概率数据互联算法，并对其结构进行优化调整，对每帧数据的观测量分别建立航迹，独立进行数据关联和更新。避免了在计算确认矩阵时产生组合爆炸的可能性，在降低计算量的同时也能保证算法的精度。同时，该方法针对提及的多传感器融合系统，设计了一套航迹管理算法，包括航迹的创建、更新和消亡等。

上述多传感器融合系统包括数据管理模块、数据关联模块、航迹管理模块和数据后处理发布模块，其结构如图2所示。

数据管理模块用于将各个传感器进行编号，并将传感器检测数据发送至缓存器进行存储。其中，传感器数据与传感器编号要进行对应。

上述方法首先需要提取数据管理器中的传感器数据，在使用定时器触发传感器数据融合后，获取定时器触发标识以及时间戳信息，根据定时器的时间（相当于上述“融合时间”）戳查询每一个传感器距离该时刻最近的一帧数据。需要注意的是，最近一帧指的是传感器数据的时间戳要小于定时器的时间戳，并且与定时器时间戳最接近的一帧。并将各传感器数据按照时间前后进行排序。此外，需要设置一个时间戳用于记录上一时刻触发融合的定时器时间戳；如果传感器数据时间戳小于上一时刻触发融合的时间戳，则丢弃该帧数据。得到排序好的传感器序列后，逐帧进行数据融合。传感器数据的排序过程如图3所示。

上述数据关联模块在接收排序好的传感器数据以及上一时刻的融合模块建立的航迹信息后，采用数据关联的方法将融合模块建立的航迹与传感器数据建立对应关系。常用的数据关联算法包括最近邻法，全局最近邻法和全领域法等。该方法采用全领域法的联合概率数据互联方式。

该方法对联合概率数据算法做出的结构调整在于传感器数据与各个localtracker独立进行数据关联。其中，local tracker表示一个航迹管理器，每一个localtracker包含了根据某一帧传感器数据建立的所有航迹。local tracker的特点在于将每一帧的数据独立进行关联和跟踪。因为每一帧的目标数量是有限的，所以将航迹独立进行维护后就可以大大减少联合事件的数量。local tracker中维护的航迹具体是如何创建的会在后续说明。基于联合概率数据互联算法的多传感器融合系统结构示意图如图4所示。

数据关联模块包括联合事件的生成和关联概率的计算。具体的，包含以下三个步骤。

（1）建立航迹（相当于上述“跟踪目标”）与量测（相当于上述“观察目标”）的对应关系，形成确认矩阵。将航迹在上一时刻的状态值根据模型推算到当前时刻，以其更新值建立波门。每一列代表相应航迹，每一行代表相应观测值。目标落入关联门内，相应矩阵元素为1，否则为0。确认矩阵第一列全部为1，表示每个量测都可能源于杂波或者虚警。为了便于理解，结合图5对确认矩阵的计算进行说明。图中有两个航迹V₁和V₂，三个量测Z₁、Z₂和Z₃。椭圆代表以该航迹为中心建立的关联门限。其中，量测Z₁、Z₂落在航迹V₁的关联门限中，量测Z₂、Z₃落在航迹V₂的关联门限中。最终确认矩阵的结果如下所示：

为了避免量测异常值对原有航迹产生影响，该方法建立了多尺度的关联门限。该多尺度的关联门限通过多个关联门限之间的与或关系判断航迹与观测值的关联关系，具体如下表示：

（根据障碍物ID进行判断 或者 判断观测目标与融合障碍物的边界框是否重叠或者马氏距离判断） 并且（横纵向欧氏距离在设定门限内 并且 速度差异在设定门限内并且 类型在设定门限内）

其中符号“（）”表示先进行其中的逻辑运算。

（a）根据障碍物ID进行判断。如果当前传感器的编号与融合航迹匹配上的传感器编号相同，且当前传感器检测到的障碍物ID与融合障碍物匹配上的单传感器障碍物ID相同，且当前传感器目标已经连续跟踪超过1s，ID没有跳变。则当前测量与融合障碍物关联上，即相信传感器模块自己的跟踪结果。

（b）判断观测目标与融合障碍物的边界框是否重叠。根据障碍物的中心位置和尺寸计算障碍物边界矩形框的四个角点。判断两个矩形框是否重叠的方法包括：用射线法判断其中一个矩形框的点是否在另一个矩形框内，或者两个矩形是否有交点。

（c）马氏距离判断。马氏距离的计算公式为：

其中，x和y是融合障碍物和观测目标的状态量，S为归一化新息平方矩阵。

当某一传感器数据与融合航迹进行关联时，根据传感器编号判断融合航迹在上一时刻是否与该传感器的数据产生关联。如果是，将上一时刻关联上的该传感器障碍物信息推算到当前时刻，计算观测值与推算值的马氏距离。同时，计算观测值与融合航迹之间的马氏距离，取两个马氏距离中最小的一个。

（d）横纵向欧氏距离在设定门限内。将传感器观测数据和融合航迹的坐标转换到融合障碍物朝向方向。转换公式为：

其中，X、Y为转换后的横纵向坐标，x、y为观测数据或者融合障碍物原始的横纵向坐标，θ为融合障碍物朝向。

根据障碍物类型设定横纵向关联阈值。本发明中所述障碍物类型包括：大车，汽车，非机动车和未知类型。

如果传感器为激光雷达和毫米波雷达，或者融合航迹上一时刻匹配上了毫米波雷达或者激光雷达的数据，则横纵向阈值为常数。大车的横向阈值为2.5m，纵向阈值为8m。汽车的横向阈值为2m，纵向为4.5m。非机动车横向阈值为1.6m，纵向为3.5m。未知障碍物的横向阈值为2m，纵向阈值为4m。

如果传感器数据来源于视觉，或者融合航迹只与视觉数据匹配上，则设定动态的横纵向阈值。具体为：

其中，S_lan表示横向阈值，S_lon表示纵向阈值，k₁、k₂、b、p₁、p₂、c为常数，x为融合航迹的横向坐标，y为融合航迹的纵向坐标。

（e）速度差异在设定门限内。具体为：

a. 运动障碍物与静止障碍物不进行关联：

运动障碍物速度阈值为4m/s，静止障碍物速度阈值为0.5m/s，当观测数据与融合障碍物速度一个大于运动的速度阈值，一个小于静止的速度阈值，则不进行关联。

b. 速度差异过大的观测数据和融合障碍物不进行关联：

当观测数据来自于毫米波雷达或者激光雷达，且融合障碍物关联上毫米波雷达或者激光雷达，当观测数据与融合障碍物的速度差异大于5m/s，则不进行关联。防止关联后对融合障碍物的速度产生影响。

（f）类型在设定门限内。当观测数据和融合障碍物类型一个为人,一个为车，则不进行关联。防止一个人离车很近的时候被错误关联。

以某一航迹的预测值建立关联门，每一列代表相应航迹，每一行代表相应观测值。经过（a）-（f）的判断，目标落入关联门内，相应矩阵元素为1，否则为0。确认矩阵第一列全部为1，表示每个量测都可能源于杂波或者虚警。

（2）对确认矩阵进行拆分，形成可行矩阵，从而构建联合事件。

确认矩阵拆分遵循的原则具体为：可行矩阵每一行必须有一个为非零元素，即任意量测不源于某一目标，则必源于杂波。可行矩阵中，除第一列外，每列最多只能有一个非零元素。即每个目标最多有一个量测以其为源。该方法中不对确认矩阵拆分原则作进一步的修改。

（3）计算联合概率。假设有效量测服从正态分布，杂波服从参数为CV的泊松分布（C代表每单位体积内杂波的期望数量，也就是泊松分布参数λ，V表示关联门的体积）。则量测t与目标j关联的概率为

其中，β _jt 表示第j个量测关联到航迹t的概率。

表示在可行事件

中观测j是否与目标t关联。如果关联为1，否则为0。

表示事件1与事件2同时发生的概率。其中事件1为：已知所有时刻的有效观测时，第i个联合可行事件发生的概率；事件2：可行事件

中观测j是否与航迹t关联。事件1与事件2同时发生就表示在第i个可行事件中，第j个量测关联到航迹t的概率。

其中，S _jt 代表归一化新息平方矩阵，M代表新息维度， P_D代表检测概率。

上述航迹管理模块包括三个功能，分别为航迹创建，航迹更新和航迹删除。

针对不同的传感器数据，创建航迹的方法有所不同。根据数据关联模块的结果可以得到航迹与量测的对应关系。如果某个量测没有关联到任何已经存在的航迹，认为该量测为新进入传感器视野范围内的目标，基于该量测创建航迹进行维护。视觉传感器目标可信度高，可直接创建航迹。激光雷达数据信息少于视觉传感器，检测结果中往往存在许多虚假障碍物。针对激光雷达目标，需要判断该障碍物的存在时长，连续存在一定时间可创建航迹。毫米波雷达目标中往往存在虚警，所以，结合高精地图的信息，判断毫米波雷达目标运动状态是否异常。具体为，速度小于一定阈值的目标不会创建航迹。对于速度超过设定阈值的毫米波雷达目标，根据目标位置结合地图信息获取目标的车道朝向，如果目标不在任何车道，则不创建障碍物，否则，判断目标速方向与车道方向的差异，如果小于设定阈值，创建航迹。如图6所示。

航迹更新的过程具体如下：根据数据关联模块得到的航迹与各个量测的对应关系，更新航迹的状态信息。本发明中航迹更新的状态量包括位置、速度和加速度信息。计算公式为

其中，

为航迹的状态量，包括位置、速度和加速度信息，K _K 为卡尔曼滤波增益，β _jt 为j个量测关联到航迹t的概率，

为落在航迹关联门限中第j个目标的状态向量。

航迹删除。融合航迹会关联上多个传感器的数据信息。针对每一种传感器，设置一个数据丢失的容忍时间，如果传感器超过容忍时间后依然没有更新融合航迹的数据，表明该传感器数据丢失。如果融合航迹未关联上所有的传感器数据，则将其删除。

结合图4对基于变结构联合概率数据互联的多传感器融合系统进行说明。对于每一帧的传感器数据，建立一个单独的航迹管理器进行数据维护，记为local_tracker。传感器数据与local_tracker中的航迹进行数据关联，而后进行航迹的新建、更新和删除等步骤。该方法的主要改进点在于将一个大的航迹管理器拆分成多个小的航迹管理器，大大减少了确认矩阵拆分时穷举联合事件的数量，从而降低计算量。利于低算力自动驾驶硬件平台算法的移植。同时，更少的航迹关联使得算法更接近于概率数据关联（PDA），能有效减少杂波环境对航迹跟踪的影响，提高跟踪精度。

上述系统中的数据后处理发布模块将各个局部航迹管理器中的航迹取出，合并成一个总的航迹列表。对现存的所有融合航迹数据进行校验。包括挑选一定位置区域的目标数据，剔除速度异常的目标数据以及消除虚假的静止目标数据。

该模块还用于挑选一定位置区域的目标数据。结合高精地图的信息，根据自车定位数据获取本车一定范围的高精地图信息，得到感兴趣区域。感兴趣区域为根据道路边界创建的多个多边形，如图8所示。如果融合目标不在任何多边形内，则不进行发布。

该模块还用于剔除速度异常的目标数据。根据目标位置信息结合高精度地图得到障碍物所在车道信息，如果障碍物速度方向与车道方向相差超过一定阈值，且障碍物跟踪时间小于设定阈值，则该目标属于速度异常目标，不进行发布。不在任何车道的障碍物不进行速度异常的判断。

该模块还用于消除虚假的静止目标数据。根据目标数据首次出现的位置设定真实性判断的帧数阈值。目标距离自车越近的位置检测到，真实性判断的帧数阈值越大。因为一个目标不会突然出现在本车附近，应该很远就会被探测到。具体的，可将位置区间设为20-30m，30-50m，大于50m三个范围。不同的区间设置不同的帧数判断阈值。当航迹连续跟踪的帧数超过设定的帧数阈值，则该目标可以发布。

此外在数据融合的过程可以进行数据补偿。根据最后一帧传感器数据时间戳与定时器时间戳之差，对融合航迹的位置进行补偿。具体为，保持融合航迹的加速度不变，对融合航迹的速度和位置进行推算。公式为：

其中，

分别为补偿后的横、纵向位置、速度和加速度信息，

为融合后航迹的横、纵向位置、速度和加速度信息。

最后进行数据发布，发布所有经过后处理的航迹数据，包括航迹的位置、速度和加速度信息等。最终发布补偿后的数据。

上述方法在现有联合概率数据互联算法的基础上，对其结构进行调整，将一个大的航迹管理器，拆分成多个子航迹管理器，可以大大减少拆分确认矩阵时穷举联合事件的数量，同时，更少的航迹关联使得算法更接近于概率数据关联（PDA），能有效减少杂波环境对航迹跟踪的影响，提高跟踪精度。

本发明实施例基于传统的联合概率数据互联算法（JPDA），将一个大的航迹管理器拆分成多个子航迹管理器，在降低算法计算量的同时，更少的航迹关联能够有效减少杂波数据的影响，从而提高跟踪精度。同时，本发明提出一套完整的基于联合概率数据互联的多传感器数据融合系统，将融合系统分为数据管理、数据关联、航迹管理和数据后处理发布模块，使得融合系统更加模块化，能够大大减少错误关联的几率，提高航迹的跟踪精度；本发明实施例还提出了一种多传感器数据管理方案，能够避免时间戳问题对融合质量的影响；同时，本发明在融合系统中引入导航定位和高精地图信息，能够有效降低虚假目标和数据异常目标的数量。同时，本发明结合马氏距离、横纵向欧氏距离、速度和类型等提出的基于多尺度的数据关联门限，能够有效降低数据的错误关联，提高跟踪精度。

对应于上述方法实施例，本发明实施例还提供一种数据融合装置，如图8所示，该装置包括：

数据帧确定模块900，用于基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；

数据帧处理模块902，用于对待融合数据帧进行处理，得到待融合数据对应的航迹观测值；

航迹推算模块904，用于根据预先确定的航迹信息，确定待融合数据帧对应的航迹推算值；

融合模块906，用于根据预设的关联条件、待融合数据对应的航迹观测值及航迹推算值，对航迹观测值及预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

本发明实施例提供的数据融合装置，与上述实施例提供的数据融合方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供了一种电子设备，参见图9所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述数据融合方法。

进一步地，图9所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口133（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据融合方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的数据融合方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，网关电子设备，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种数据融合方法，其特征在于，包括：

基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；

对所述待融合数据帧进行处理，得到待融合数据对应的航迹观测值；

根据预先确定的航迹信息，确定所述待融合数据帧对应的航迹推算值；

根据预设的关联条件、所述待融合数据对应的航迹观测值及所述航迹推算值，对所述航迹观测值及所述预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

2.根据权利要求1所述的方法，其特征在于，所述数据融合指令包括融合时间；

基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧的步骤，包括：

从多个数据帧中，查找产生时间早于融合时间的数据帧；

将查找到的数据帧中产生时间与融合时间相距最短的数据帧确定为待融合数据帧。

3.根据权利要求1所述的方法，其特征在于，所述数据帧由预设的传感器采集；所述传感器对应于多种传感器类型；所述航迹观测值包括多个观测目标及所述观测目标对应的观测位置；

所述对所述待融合数据帧进行处理，得到待融合数据对应的航迹观测值的步骤，包括：

基于所述待融合数据帧对应的传感器类型，采用与所述传感器类型对应的处理方式，对所述待融合数据帧进行处理，得到多个观测目标及所述观测目标对应的观测位置。

4.根据权利要求1所述的方法，其特征在于，所述预先确定的航迹信息包括按照融合时间顺序排列的多个航迹；所述航迹包括跟踪目标及所述跟踪目标在所述航迹对应的融合时间的目标位置；所述航迹推算值包括跟踪目标及所述跟踪目标在所述航迹观测值对应的融合时间的推算位置；

所述根据预先确定的航迹信息，确定所述待融合数据帧对应的航迹推算值的步骤，包括：

基于所述航迹及所述航迹对应的融合时间，建立所述跟踪目标的运动模型；

基于所述跟踪目标的运动模型，以及融合时间距离与所述航迹观测值的融合时间最近的航迹，计算得到所述跟踪目标在所述航迹观测值对应的融合时间的推算位置。

5.根据权利要求1所述的方法，其特征在于，根据预设的关联条件、所述待融合数据对应的航迹观测值及所述航迹推算值，对所述航迹观测值及所述航迹信息进行融合处理，得到融合后的航迹信息的步骤，包括：

基于预设的关联条件及所述待融合数据对应的航迹观测值及所述航迹推算值，得到所述航迹观测值与所述预先确定的航迹信息之间的关联关系；

基于所述关联关系，对所述航迹观测值及所述航迹信息进行融合处理，得到融合后的航迹信息。

6.根据权利要求5所述的方法，其特征在于，所述航迹推算值包括多个跟踪目标；所述航迹观测值包括多个观测目标；

所述基于预设的关联条件及所述待融合数据对应的航迹观测值及所述航迹推算值，得到所述航迹观测值与所述预先确定的航迹信息之间的关联关系的步骤，包括：

针对于每个观测目标，基于预设的关联条件、所述航迹观测值及所述航迹推算值，判断所述观测目标是否与所述跟踪目标相匹配；

如果是，将所述观测目标与所述跟踪目标的关联系数设置为1；

如果否，将所述观测目标与所述跟踪目标的关联系数设置为0；

基于所述观测目标与所述跟踪目标的关联系数，生成所述航迹观测值与所述航迹信息之间的关联矩阵；

基于所述关联矩阵，计算所述航迹观测值与所述航迹信息之间的关联概率；

基于所述关联概率，得到所述航迹观测值与所述预先确定的航迹信息之间的关联关系。

7.根据权利要求6所述的方法，其特征在于，所述预设的关联条件包括第一关联条件及第二关联条件；

所述航迹观测值还包括所述跟踪目标的尺寸信息、所述跟踪目标的推算位置、所述跟踪目标的速度信息以及所述跟踪目标的类型信息；所述航迹观测值还包括观测目标的尺寸信息、所述观测目标的观测位置、所述观测目标的速度信息以及所述观测目标的类型信息；

所述基于预设的关联条件、所述航迹观测值及所述航迹推算值，判断所述观测目标是否与所述跟踪目标相匹配的步骤，包括：

基于所述观测目标的尺寸信息、观测位置、所述跟踪目标的尺寸信息及推算位置，计算所述观测目标及所述跟踪目标的距离参数；

判断所述距离参数是否满足所述第一关联条件；

如果满足，判断所述观测目标的速度信息与所述跟踪目标的速度信息是否满足第一设定门限，且所述观测目标的类型信息与所述跟踪目标的类型信息是否满足第二设定门限；

如果满足，确定所述观测目标满足第二关联条件，确定所述观测目标与所述跟踪目标相匹配。

8.根据权利要求5所述的方法，其特征在于，所述关联关系分为相关联或不关联；所述航迹推算值包括跟踪目标的运动信息；所述航迹观测值包括观测目标的运动信息；

所述基于所述关联关系，对所述航迹观测值及所述航迹信息进行融合处理，得到融合后的航迹信息的步骤，包括：

如果所述观测目标与所述航迹信息中的跟踪目标相关联，基于所述观测目标的运动信息更新所述观测目标相关联的跟踪目标的运动信息；

如果所述观测目标不与所述航迹信息中的任何跟踪目标相关联，将所述观测目标确定为所述航迹信息中的新的跟踪目标；

如果所述跟踪目标不与所述航迹观测值中的任何观测目标相关联，删除所述跟踪目标。

9.一种数据融合装置，其特征在于，包括：

数据帧确定模块，用于基于获取到的数据融合指令，从预先获取的多个数据帧中确定待融合数据帧；

数据帧处理模块，用于对所述待融合数据帧进行处理，得到待融合数据对应的航迹观测值；

航迹推算模块，用于根据预先确定的航迹信息，确定所述待融合数据帧对应的航迹推算值；

融合模块，用于根据预设的关联条件、所述待融合数据对应的航迹观测值及所述航迹推算值，对所述航迹观测值及所述预先确定的航迹信息进行融合处理，得到融合后的航迹信息。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-8任一项所述的方法。

11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-8任一项所述的方法。

Images