CN111348046B - 目标数据融合方法、系统及机器可读存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，提供一种目标数据融合方法及系统。本发明所述的目标数据融合方法包括：对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性；基于所述同步目标属性进行目标关联；以及在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。本发明采用时间同步的方式进行目标关联，提高了目标关联的准确度，采用时间异步的方式对关联后的目标进行属性融合，保证了原始传感器属性的真实性。

Description

目标数据融合方法、系统及机器可读存储介质

技术领域

本发明涉及自动驾驶技术领域，特别涉及一种目标数据融合方法、系统及机器可读存储介质。

背景技术

目前，自动驾驶车辆已开始逐步推向市场，极大地促进了智能交通的发展。自动驾驶车辆在行驶过程中需要利用安装在车身上的各类传感器来探测周围环境目标的数据，从而根据周围环境目标的数据实现对车辆的控制和路径的规划。在这一过程中，又需要对不同传感器所探测的目标数据进行数据融合，以提高目标数据的数据精度。

在自动驾驶数据融合算法的开发过程中，时间信息是数据融合的基准信息，通过时间信息的对齐(即时间同步)与分解，可实现有效感知目标关联和融合目的性能提升。但是，时间同步与时间异步需要结合具体应用场景来分别应用，假如都按照统一的标准应用于数据融合，那么会造成数据信息的延时或失效。

发明内容

有鉴于此，本发明旨在提出一种目标数据融合方法，以解决现有自动驾驶数据融合中易造成数据信息延时或失效的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种目标数据融合方法，包括：对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性；基于所述同步目标属性进行目标关联；以及在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

进一步的，所述对各个传感器所探测的目标属性进行时间同步包括：根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

进一步的，所述基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合包括：在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合，其中融合结束时间戳为融合开始时间戳与所述固定融合周期之和。

进一步的，所述基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合还包括：在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

进一步的，在所述分步进行目标属性的融合的过程中，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行数据预测，以获得每一步对应的属性融合数据。

相对于现有技术，本发明所述的目标数据融合方法具有以下优势：

(1)本发明所述的目标数据融合方法采用时间同步的方式进行目标关联，提高了目标关联的准确度，采用时间异步的方式对关联后的目标进行属性融合，保证了原始传感器属性的真实性。因此，本发明所述的目标数据融合方法能够有效提高数据融合的精度，从而提升了自动驾驶车辆的数据融合系统的性能。

(2)本发明所述的目标数据融合方法采用固定融合周期对目标进行融合，且使用卡尔曼滤波器的预测功能，实现了融合信息的实时输出，提高了自动驾驶系统的安全性。

本发明的另一目的在于提出一种目标数据融合系统，以解决现有自动驾驶数据融合中易造成数据信息延时或失效的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种目标数据融合系统，包括：时间同步单元，用于对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性；目标关联单元，用于基于所述同步目标属性进行目标关联；以及属性融合单元，用于在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

进一步的，所述时间同步单元用于对各个传感器所探测的目标属性进行时间同步包括：根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

进一步的，所述属性融合单元包括：分步融合模块，用于在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合，其中融合结束时间戳为融合开始时间戳与所述固定融合周期之和；更新判断模块，用于在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

进一步的，在所述分步融合模块分步进行目标属性的融合的过程中，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行数据预测，以获得每一步对应的属性融合数据。

所述目标数据融合系统与上述目标数据融合方法相对于现有技术所具有的优势相同，在此不再赘述。

本发明的另一目的在于提出一种机器可读存储介质，以解决现有自动驾驶数据融合中易造成数据信息延时或失效的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器能够执行上述的目标数据融合方法。

所述机器可读存储介质与上述目标数据融合方法相对于现有技术所具有的优势相同，在此不再赘述。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1是本发明实施例的一种目标数据融合方法的流程示意图；

图2是时间同步示例的基本示意图；

图3是目标关联示例的基本示意图；

图4是属性融合示例的基本示意图；

图5是第一个固定融合周期中进行目标属性融合的示意图；

图6是一个传感器的数据发生更新的场景下的属性融合示意图；

图7是没有传感器数据更新的场景下的属性融合示意图；以及

图8是本发明实施例的一种目标数据融合系统的结构示意图。

附图标记说明：

100、时间同步单元 200、目标关联单元

300、属性融合单元 310、分步融合模块

320、更新判断模块

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。

本发明实施例中提到的“传感器”可以指布置在车辆上用于探测目标的任意类型的装置，例如可以是摄像头、激光雷达、毫米波雷达等。本发明实施例中提到的“目标”可以指在车辆前方、后方或侧方的移动的或静止的任意物体，例如，车辆、人、建筑物等，“目标属性”可以指车辆、人、建筑物等目标的位置信息、运动信息、形状信息等。另外，本发明实施例中提到的“传感器数据”是指传感器所探测的目标属性，其在本发明实施例中可与“原始目标属性”、“传感器的测量值”等同理解。

下面将参考附图并结合实施方式来详细说明本发明。

图1是本发明实施例的一种目标数据融合方法的流程示意图。如图1所示，该目标数据融合方法可以包括以下步骤：

步骤S100，对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性。

其中，时间同步是指将传感器的时间和车辆的自动驾驶系统(以下简称系统)的时间进行统一。

本发明实施例中，步骤S100中对各个传感器所探测的目标属性进行时间同步包括：根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

其中，各个传感器在进入车辆的自动驾驶系统时，会给传感器打上时间戳，而自动驾驶系统在融合开始时刻设置有基准时间戳，因此上述时间同步即是将各个传感器时间戳时刻的目标属性预测至融合时刻。

该时间同步过程可结合图2理解。图2是时间同步示例的基本示意图，该示例中包括传感器1、传感器2和传感器3，它们各自具有对应的时间戳time1、time2和time3，而系统基准时间戳记为time4，将各个传感器时间戳时刻的目标属性预测至融合时刻以实现时间同步，使得传感器1、传感器2和传感器3的时间戳均变为基准时间戳time4。

通过时间同步，目标将同时具有两套目标属性，一套是未经过所述时间同步的原始目标属性，另外一套是经过所述时间同步的同步目标属性。本发明实施例存储这两套目标属性，并将在后续的目标关联中应用同步目标属性，在后续的属性融合中应用原始目标属性。

步骤S200，基于所述同步目标属性进行目标关联。

其中，目标关联是指将不同的传感器根据纵向距离、横向距离或者其他属性，判定不同传感器的目标是不是现实世界中的同一个目标，假如是同一个目标，那么这些目标将产生关联关系，为后面的属性融合做准备。其中，判定不同传感器的目标是不是现实世界中的同一个目标可通过计算目标与目标之间的相似度来实现，这属于现有公知技术，在此不进行赘述。

本发明实施例是基于同步目标属性来进行目标关联的，其相对于采用原始目标属性进行目标关联的方式，关联正确度要高很多，这可以结合图3来进行理解。图3是目标关联示例的基本示意图，该示例中，常规框是原始没有经过时间同步的目标位置，加粗框是经过时间同步后为目标关联做准备的目标位置，虚线框是目标关联之后的目标位置，可明显看出，若目标关联没有进行时间同步，那么不同传感器的目标位置差距比较大，为目标关联造成很大干扰，所以进行时间同步能够更好地进行目标关联。

步骤S300，在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

其中，属性融合是指在目标关联之后，得到现实世界中同一个目标存在不同传感器的探测属性，对这些探测属性进行融合，最终得到一个优于单个传感器属性的融合目标属性。

本发明实施例中，属性融合是基于未经过时间同步的原始目标属性进行的(即采用图3中常规框所示位置处的目标属性信息)。从上文可知，经过时间同步的同步目标属性涉及了人为预测，而人为预测或多或少地会导致数据精度的损失，因此原始目标属性相对于同步目标属性，更具真实性，不会加入人的预测导致的数据精度的损失。因此，在属性融合中采用同步目标属性，保证了各个传感器的真实数据，提高了数据融合之后的属性精度。

下面可结合图4理解本发明实施例的属性融合过程。图4是属性融合示例的基本示意图，该示例中仍以传感器1、传感器2和传感器3为例，且图中的“传感器1-t3”表示传感器1以t3为时间戳所取得的原始目标属性数据或测量值，其他传感器与之类似，可理解的是t1<t2<t3，且t1、t2和t3还可用于表示分步触发各个传感器的属性融合所对应的时间。参考图4，本发明实施例中，步骤S300中基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合包括：

1)在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合。

在此，固定融合周期的设置使得融合结果可以以固定周期的形式输出，而关于分步目标属性融合，参考图4，传感器2的上个周期属性融合数据首先在t1时间被触发与传感器2的原始目标属性数据进行属性融合，然后其融合属性预测至t2，并在t2处与传感器3的原始目标属性数据一起进行属性融合，再然后t2处输出的融合属性预测至t3，在t3处与传感器1的测量值一起进行属性融合，直到固定融合周期结束，输出融合目标数据。

由于目标融合整个过程的各个阶段是统一的时间基准，包括传感器时间戳和融合开始时刻的时间戳，那么融合结束时刻的时间戳根据融合周期也很容易计算，即融合结束时间戳＝融合开始时间戳+固定融合周期。

另外，在上述分步进行目标属性的融合的过程中，对t1、t2和t3，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行至下一步的数据预测。其中，优选为采用卡尔曼滤波器，卡尔曼滤波器有利于保证属性融合的实时性(输出属性即当前时刻的预测属性，其是根据传感器最新数据预测得到的)。但需要说明的是，本发明实施例并不局限于这三种滤波器，本领域技术人员可根据需要选择任意适用的滤波器来进行数据预测。

2)在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

该过程对应为需要两个或两个以上固定融合周期的场景，在一些实施例中，也可以仅有上述的过程1)而不执行过程2)。

在本发明实施例中，各个传感器的原始目标属性数据在进入融合之前已经放在固定缓存中，融合程序开始运行，即从融合开始时刻开始读取缓存中的传感器的原始目标属性数据，参考图4，t1处“属性融合”方框对应的数据是传感器2在上一固定融合周期中的属性融合数据与传感器2的原始目标属性数据进行属性融合的数据，t2、t3与此类似。因此，对于两个或两个以上固定融合周期的场景，一般在融合开始时刻是以之前的融合结果作为输入的，但在融合开始的第一个周期，由于没有之前的融合结果作为输入，那么需要根据缓存中时间戳最老的数据作为t1时刻的融合结果，然后再与其他传感器根据时间推进关系进行融合。对此，可参考图5进行理解。图5是第一个固定融合周期中进行目标属性融合的示意图。如图5所示，t1时刻是直接用传感器2的测量值(最初测量的原始目标属性)，t2时刻是用t1时刻传感器2的测量值的预测与传感器3的测量值进行融合得到的属性融合，其它时刻也是类似。

进一步地，对于该过程2)判断存储的各个传感器当前的原始目标属性是否存在更新，应在融合结束时刻进行判断，且主要涉及以下三种情况：

第一种情况：只有一个传感器的数据进行了更新，即在融合程序执行过程中，有一个传感器数据已经进入到了缓存区，替代了原来此传感器的数据，而其他传感器还是原来的传感器数据。

举例而言，图6是一个传感器的数据发生更新的场景下的属性融合示意图，可知传感器1在第一周期结束时已发生了数据更新，则在第二周期中，传感器1在t4处将更新后的数据进行预测以与上周期的属性融合数据一起进行新的属性融合，而数据未发生更新的传感器2和传感器3则不参与t4处的属性融合。

第二种情况：与图6情况类似，只是发生更新的传感器的数量发生变化(例如，两个或三个传感器参与更新)。

第三种情况：以卡尔曼滤波器为例，没有传感器数据更新，那么只进行卡尔曼滤波器的预测部分，不执行卡尔曼滤波器的更新部分。前两种情况中，卡尔曼滤波器的预测和更新都执行。

举例而言，图7是没有传感器数据更新的场景下的属性融合示意图，可知在第二周期只是以上一周期的属性融合数据作为输入，但不再使用三个传感器的数据进行属性融合。

综上所述，本发明实施例采用时间同步与时间异步(即未时间同步的原始目标属性)的方式完成目标数据融合过程，是以往数据融合方案所没有涉及的方案，能更好地实现数据融合。具体地，本发明实施例采用时间同步的方式进行目标关联，提高了目标关联的准确度；采用时间异步的方式对关联后的目标进行属性融合，保证了原始传感器属性的真实性。因此，本发明实施例的方法能有效提高数据融合的精度，从而提升自动驾驶车辆的数据融合系统的性能。另外，本发明实施例采用固定融合周期对目标进行融合，使用卡尔曼滤波器的预测功能实现融合信息的实时输出，提高了自动驾驶系统的安全性。

图8是本发明实施例的一种目标数据融合系统的结构示意图，该目标数据融合系统与上述实施例的目标数据融合方法是基于相同的发明思路的。如图8所示，所述目标数据融合系统包括：时间同步单元100，用于对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性；目标关联单元200，用于基于所述同步目标属性进行目标关联；以及属性融合单元300，用于在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

在优选的实施例中，所述时间同步单元100用于对各个传感器所探测的目标属性进行时间同步包括：根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

在优选的实施例，所述属性融合单元300包括：分步融合模块310，用于在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合，其中融合结束时间戳为融合开始时间戳与所述固定融合周期之和；更新判断模块320，用于在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

在更为优选的实施例中，在所述分步融合模块310分步进行目标属性的融合的过程中，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行数据预测，以获得每一步对应的属性融合数据。

本发明另一实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的目标数据融合方法所述机器可读存储介质包括但不限于相变内存(相变随机存取存储器的简称，Phase Change Random Access Memory，PRAM，亦称为PCM/PCRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备等各种可以存储程序代码的介质。

需说明的是，本发明实施例的目标数据融合系统及机器可读存储介质的具体实施细节及效果可参考上述关于目标数据融合方法的实施例，在此不再进行赘述。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进、组合等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标数据融合方法，其特征在于，所述目标数据融合方法包括：

对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性，其中所述时间同步是指将所述传感器的时间和车辆的自动驾驶系统的时间进行统一；

基于所述同步目标属性进行目标关联；以及

在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

2.根据权利要求1所述的目标数据融合方法，其特征在于，所述对各个传感器所探测的目标属性进行时间同步包括：

根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

3.根据权利要求1所述的目标数据融合方法，其特征在于，所述基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合包括：

在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合，其中融合结束时间戳为融合开始时间戳与所述固定融合周期之和。

4.根据权利要求3所述的目标数据融合方法，其特征在于，所述基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合还包括：

在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

5.根据权利要求3所述的目标数据融合方法，其特征在于，在所述分步进行目标属性的融合的过程中，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行数据预测，以获得每一步对应的属性融合数据。

6.一种目标数据融合系统，其特征在于，所述目标数据融合系统包括：

时间同步单元，用于对各个传感器所探测的目标属性进行时间同步，并分别存储未经过所述时间同步的原始目标属性和经过所述时间同步的同步目标属性，其中所述时间同步是指将所述传感器的时间和车辆的自动驾驶系统的时间进行统一；

目标关联单元，用于基于所述同步目标属性进行目标关联；以及

属性融合单元，用于在经过所述目标关联之后，基于所述原始目标属性对同一目标中由不同传感器所探测的目标属性进行属性融合。

7.根据权利要求6所述的目标数据融合系统，其特征在于，所述时间同步单元用于对各个传感器所探测的目标属性进行时间同步包括：

根据各个传感器进入车辆的自动驾驶系统时的时间戳信息和所述自动驾驶系统在融合开始时刻的基准时间戳信息，将各个传感器在对应时间戳时刻所探测的目标属性同步至所述融合开始时刻。

8.根据权利要求6所述的目标数据融合系统，其特征在于，所述属性融合单元包括：

分步融合模块，用于在固定融合周期内将不同传感器的不同时间戳信息作为触发条件，分步进行目标属性的融合，其中融合结束时间戳为融合开始时间戳与所述固定融合周期之和；

更新判断模块，用于在一个固定融合周期结束后，判断存储的各个传感器当前的原始目标属性是否存在更新，若存在，则基于更新后的原始目标属性在下一个固定融合周期中继续目标属性的融合。

9.根据权利要求8所述的目标数据融合系统，其特征在于，在所述分步融合模块分步进行目标属性的融合的过程中，每一步均采用卡尔曼滤波器、扩展卡尔曼滤波器和粒子滤波器中的一者进行数据预测，以获得每一步对应的属性融合数据。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有指令，该指令用于使得机器能够执行根据权利要求1至5中任一项所述的目标数据融合方法。

Images