CN112590808B - 多传感器融合方法、系统及自动驾驶车辆 - Google Patents

Abstract

本发明提供了一种多传感器融合方法、系统及自动驾驶车辆，方法包括：对当前融合周期内每两个传感器的有效目标进行指派得到指派结果；根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标；其中，输出目标为有效目标中的一个或多个；将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。本发明可以解决目标匹配错误或未匹配上的技术问题，提高目标检测的准确度。

Description

多传感器融合方法、系统及自动驾驶车辆

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种多传感器融合方法、系统及自动驾驶车辆。

背景技术

自动驾驶车辆在行驶过程中需要利用安装在车身上的各类传感器来探测周围环境目标的数据，从而根据周围环境目标的数据实现对车辆自身的控制和车辆行驶路径的规划等等。在环境数据感知的过程中，针对目标的检测和跟踪起着尤为重要的作用，但是，目前现有技术中，在进行目标指派和跟踪时存在目标匹配错误或未匹配上等问题，从而影响目标检测的准确度。

发明内容

有鉴于此，本发明的目的在于提供多传感器融合方法、系统及自动驾驶车辆，以解决了目标匹配错误或未匹配上的技术问题，提高了目标检测的准确度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种多传感器融合方法，方法包括：对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果；根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份(Identity Document,ID)信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标；其中，输出目标为有效目标中的一个或多个；将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。

在一种实施方式中，上述方法还包括：提取多个传感器检测到的预设范围内至少一个有效目标；其中，传感器中储存有检测到的有效目标的身份信息和原属性信息；对多个传感器采集的同一有效目标的原属性信息进行预测，得到当前融合周期每个有效目标的属性信息。

在一种实施方式中，对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果的步骤，包括：根据属性信息，对每两个传感器检测到的有效目标进行指派得到指派结果。

在一种实施方式中，传感器的数量支持任意增减。

在一种实施方式中，根据属性信息，对每两个传感器检测到的有效目标进行指派得到指派结果的步骤，包括：根据属性信息和预设阈值对每两个传感器的有效目标进行预筛选，得到预匹配目标对；计算每个预匹配目标对对应的有效目标之间的欧式距离，并将欧式距离作为预设权值；根据预设权值，将预匹配目标对进行指派，得到指派结果。

在一种实施方式中，属性信息包括有效目标相对于安装传感器的车辆的纵向距离；根据属性信息和预设阈值对每两个传感器的有效目标进行预筛选，得到预匹配目标对的步骤，包括：根据每两个传感器中的第一传感器检测到的有效目标相对于安装第一传感器的车辆的纵向距离确定横向距离和纵向距离的预设阈值；将每两个传感器中的第二传感器的所有有效目标中满足预设阈值的有效目标与对应的第一传感器的有效目标确定为预匹配目标对。

在一种实施方式中，指派结果对应的有效目标至少包括以下四种状态：候选状态、选择状态、锁定状态和丢失状态；如果前一融合周期的指派结果对应的有效目标为选择状态，根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标的步骤，包括：在当前融合周期每个传感器内储存的有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标；当存在相同身份的有效目标时，判断相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果是否完全相同；如果完全相同，当相同的指派结果出现的周期数大于或者等于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标升级为锁定状态，并将锁定状态下的有效目标作为输出目标进行输出；当相同的指派结果出现的周期数小于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标维持选择状态，并将选择状态下的有效目标作为输出目标进行输出。

在一种实施方式中，当存在相同身份的有效目标时，如果前一融合周期的指派结果对应的有效目标为选择状态，判断相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果是否完全相同的步骤之后，还包括：如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果中只有一个有效目标相同，将当前融合周期的指派结果确定为第一指派结果；如果第一指派结果在后续融合周期中出现的周期数大于或者预设周期数，采用第一指派结果替换前一融合周期中的相同身份的指派结果；如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果完全不同时，将当前融合周期的指派结果确定为第二指派结果，并将第二指派结果对应的有效目标确定为候选状态；如果第二指派结果在后续融合周期中出现的周期数大于或者预设周期数，将第二指派结果对应的有效目标升级为选择状态，并将选择状态下的有效目标作为输出目标进行输出。

在一种实施方式中，在当前融合周期每个传感器内储存的有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标的步骤之后，还包括：当不存在相同身份的有效目标时，将前一融合周期的指派结果对应的有效目标转换为丢失状态。

在一种实施方式中，如果前一融合周期的指派结果对应的有效目标为锁定状态，根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标的步骤，包括：在当前融合周期每个传感器内储存的有效目标的身份信息中查找与前一融合周期的指派结果中具有相同身份的有效目标，并将查找到的有效目标作为输出目标进行输出。

第二方面，本发明实施例提供了一种多传感器融合系统，传感器的数量支持任意增减，系统包括：指派模块，用于对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果；跟踪模块，用于根据预先储存的前一融合周期的指派结果、当前融合周期每个所述传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标；其中，输出目标为有效目标中的一个或多个；更新模块，用于将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。

第三方面，本发明实施例提供了一种自动驾驶车辆，包括前述第二方面提供的多传感器融合系统。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的上述多传感器融合方法、系统及自动驾驶车辆，首先对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果；之后根据预先储存的前一融合周期的指派结果、当前融合周期每个所述传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标(输出目标为有效目标中的一个或多个)；最后将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。上述方法采用KM算法对每个有效目标和传感器进行指派，从而能够得到传感器与检测到的有效目标之间的最佳匹配，减少误匹配；同时，可以根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果实现目标的稳定关联跟踪，使得到的目标属性连续平滑。综上所述，上述方法能够解决目标匹配错误或未匹配上的技术问题，提高目标检测的准确度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多传感器融合方法的流程图；

图2为本发明实施例提供的一种多传感器融合的结构示意图；

图3为本发明实施例提供的一种目标状态转换示意图；

图4为本发明实施例提供的一种多传感器融合系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前现有技术中，在进行目标指派和跟踪时存在目标匹配错误或未匹配上等问题，从而影响目标检测的准确度。基于此，本发明实施例提供的一种多传感器融合方法、系统及自动驾驶车辆，以解决了目标匹配错误或未匹配上的技术问题，提高了目标检测的准确度。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种多传感器融合方法进行详细介绍，参见图1所示的一种多传感器融合方法的流程图，该方法可以由自动驾驶车辆执行，该自动驾驶车辆上可以安装有多传感器融合系统，多传感器融合方法可应用于该多传感器融合系统，系统中传感器的数量支持任意增加和/或减少，主要包括以下步骤S102至步骤S106：

步骤S102：对当前融合周期内每两个传感器的有效目标进行指派得到指派结果。

匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，其目的是寻找最大匹配，但是由于匈牙利算法找到的最大匹配不是最优匹配，因此可能会导致目标匹配错误。基于此，本发明实施例采用带权值的匈牙利算法，即KM算法(Kuhn-Munkres算法)对每两个传感器的所有所述有效目标进行指派，得到指派结果(也即KM匹配结果)，从而使得指派结果更加贴近真实情况，达到最优分配，减少误匹配。

步骤S104：根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标。

其中，输出目标为有效目标中的一个或多个。在一种实施方式中，可以首先根据前一融合周期KM匹配结果查找当前融合周期每个传感器储存的ID信息中是否存在相同ID的有效目标，然后结合当前融合周期的KM匹配结果确定最终输出的输出目标，从而能够解决由于传感器检测误差较大导致的目标匹配错误或者未匹配上的问题。

步骤S106：将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。

在一种实施方式中，同一输出目标可能会被多个不同的传感器检测到，因此在进行指派、跟踪时，同一输出目标可以匹配到多个传感器，因此需要将多个传感器采集到的同一输出目标的属性信息进行融合以得到更加精确地输出目标的属性信息。假设输出目标A与传感器1、传感器2和传感器3匹配成功，则对于输出目标A最终将传感器1、传感器2和传感器3采集到的输出目标A的属性信息进行融合得到融合后的属性信息，并更新输出目标A的属性。

本发明实施例提供的上述多传感器融合方法，采用KM算法对每个有效目标和传感器进行指派，从而能够得到传感器与检测到的有效目标之间的最佳匹配，减少误匹配；同时，可以根据预先储存的前一融合周期KM匹配结果、当前融合周期每个传感器储存的ID信息和当前融合周期的KM匹配结果实现目标的稳定关联跟踪，使得到的目标属性连续平滑。综上所述，上述方法能够解决目标匹配错误或未匹配上的技术问题，提高目标检测的准确度。

进一步，本发明实施例提供的上述方法在进行目标指派之前还包括以下步骤(1)至步骤(2)：

步骤(1)：提取多个传感器检测到的预设范围内至少一个有效目标。

其中，传感器中储存有检测到的有效目标的ID信息和原属性信息。在实际应用中，自动驾驶车辆上可以安装多个不同类型的传感器，用于检测目标，诸如毫米波雷达、相机、激光雷达、角雷达等。每个传感器可以筛选预设范围内的有效目标，预设范围可以是用户根据实际情况预先设定的，诸如当自动驾驶车辆在道路上行驶时，预设范围可以仅包括车道内的范围，也可以包括车道和人行道的范围。目标可以是车辆、行人、障碍物等，原属性信息可以包括车辆、行人、障碍物等的形状信息、尺寸信息、位置信息以及速度信息等。每个有效目标对应一个ID，用于表征有效目标的身份，当一个传感器检测到一个有效目标后，可以保存该有效目标的ID，即该有效目标和该传感器之间建立关联。在一种实施方式中，可以提取传感器检测的有效目标。

步骤(2)：对多个传感器采集的同一有效目标的原属性信息进行预测，得到当前融合周期每个有效目标的属性信息。

考虑到不同类型的传感器采集信号的时间周期不同，为了提高匹配准确度，在进行融合之前，需要将不用传感器采集到的同一有效目标的原属性信息进行时间同步，也即根据各个传感器的时间戳信息和当前融合时刻的时间戳，预测出当前融合时刻的各个传感器的数据，得到当前融合周期内有效目标的属性信息。基于此，对于上述步骤S102具体可以按照以下方式实现：根据属性信息，对每两个传感器检测到的有效目标进行指派得到指派结果。

考虑到全景传感器融合中，传感器的配置(类型和数量)各不相同，现有的多传感器融合系统仅支持固定数量的传感器，当传感器的数量发生变化时，需要对多传感器融合系统进行相应的修改以得到精确的检测结果。基于此，本发明实施例中传感器的数量支持任意增减，即融合算法结构支持任意插拔，支持不同数量不同类型的传感器融合。参见图2所示的一种多传感器融合的结构示意图，融合的核心是两个传感器融合，且保留匹配目标ID信息。如图2所示，传感器输入1和传感器输入2采集的目标的属性信息可以通过初级融合中心1进行融合，并将第一融合结果保存在初级融合中心1；当增加传感器输入3时，初级融合中心1保存的第一融合结果可以和传感器输入3采集的目标的属性信息进行融合得到第二融合结果进行保存，以此类推直至所有传感器融合完成。

本发明实施例提供的上述方法中，每个传感器都可以单独输出检测结果，同时任何一个传感器的失效都不会影响系统的正常运行；此外，传感器的数量可以任意增减，从而能够提高目标检测结果的可靠性和鲁棒性。

现有技术中在进行多目标指派时通常采用匈牙利算法查找最大匹配，匈牙利算法是将每个匹配对象的地位视为相同，在该前提下求解最大匹配，但是因为每个匹配对象的地位不可能完全相同，因此查找到的最大匹配并不一定是最佳匹配，从而导致指派错误的问题。事实上，最佳匹配往往具有更高的权重，基于此，本发明实施例中采用KM算法(即带权重的匈牙利算法)进行指派得到KM匹配结果。具体的，根据属性信息和预设阈值对每两个传感器的有效目标进行预筛选，得到预匹配目标对；计算每个预匹配目标对对应的有效目标之间的欧式距离，并将欧式距离作为预设权值；根据预设权值，将预匹配目标对进行指派，得到指派结果。在实际应用中，每个传感器可以检测到多个有效目标，本发明实施例中可以根据传感器目标纵向距离的不同设定不同的横纵向匹配阈值(即横向距离和纵向距离的预设阈值)，然后根据预设阈值先对目标进行预筛选，得到预匹配目标对，然后计算预匹配目标对中两个有效目标之间的欧式距离作为预设权值，将计算得到的预设权值作为KM矩阵输入，从而能够减少KM矩阵的噪声，提高运算效率。

进一步，属性信息包括有效目标相对于安装传感器的车辆的纵向距离；根据属性信息和预设阈值对每两个传感器的有效目标进行预筛选，得到预匹配目标对的步骤，具体包括：根据每两个传感器中的第一传感器检测到的有效目标相对于安装第一传感器的车辆的纵向距离确定横向距离和纵向距离的预设阈值；将每两个传感器中的第二传感器的有效目标中满足预设阈值的有效目标与第一传感器的有效目标确定为预匹配目标对。

在一种具体的实施方式中，可以将每两个传感器分别即为第一传感器和第二传感器，可以选择任意一个传感器作为第一传感器(即参考传感器)，并将第一传感器的有效目标确定为预匹配目标，另一个即为第二传感器。然后根据第一传感器检测到的有效目标与安装该传感器的车辆之间的纵向距离确定横向距离和纵向距离的预设阈值，不同的纵向距离对应不同的横向距离阈值，诸如：当第一传感器的有效目标与安装该传感器的车辆之间的纵向距离为50米时，可以将横向距离和纵向距离的预设阈值设置为2米，若第一传感器的有效目标与安装该传感器的车辆之间的横向距离为0米，此时，第二传感器检测到的有效目标与安装第二传感器的车辆之间的纵向距离在[48，52]之间、横向距离在[-2，2]之间时，即满足预设阈值可以被筛选出来与对应的第一传感器的有效目标确定为预匹配目标对(可以根据实际情况设置相对于车辆偏左为负或者偏右为负)。

举例说明：假设第一传感器检测到的有效目标1与安装该传感器的车辆之间的纵向距离是50米、横向距离是0米，预设阈值为2米，第二传感器检测到的有效目标2、有效目标3、有效目标4与安装第二传感器的车辆之间的纵向距离分别是45米、49米和50米，横向距离分别是0米、0米和1米；那么有效目标3和有效目标4满足预设阈值，可以将有效目标1和有效目标3以及有效目标1和有效目标4确定为预匹配目标对。进而可以分别计算有效目标1与有效目标3和有效目标4之间的欧式距离，并将计算得到的欧式距离作为预设权值，根据KM匹配算法得到有效目标1的KM匹配结果。

在一种实施方式中，指派结果(KM匹配结果)对应的有效目标至少包括以下四种状态：候选状态、选择状态、锁定状态和丢失状态，在具体应用中，目标的初始状态可以设置为候选状态，最终匹配输出的状态可以为选择状态和锁定状态，丢失状态和候选状态不输出。在目标跟踪时，可以对不同状态进行ID匹配和KM匹配多周期更新、计数以及状态维护，从而实现目标稳定关联跟踪。具体的，本发明实施例还提供了一种根据预先储存的前一融合周期的指派结果、当前融合周期每个传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标的具体实施事例，即对于上述步骤S104可以包括以下两种方式：

方式一：如果前一融合周期的指派结果对应的有效目标为选择状态，对于上述步骤S104可以按照以下步骤1至步骤9来实现：

步骤1：在当前融合周期每个传感器内储存的有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标。

由于每次融合完成后可以保存指派结果对应的有效目标的ID信息，为了提高目标匹配的准确度以及保证目标属性连续平滑，本发明实施例中可以根据预先储存的前一融合周期的指派结果，查找当前融合周期每个传感器内储存的有效目标的ID信息中是否存在相同ID的目标，当存在相同ID的目标时，执行步骤2至步骤8；否则执行步骤9。

步骤2：当存在相同身份的有效目标时，判断相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果是否完全相同。

当查找到相同ID的目标时，表明相同ID的有效目标在前一融合周期已经进行过指派，则有效目标的状态为选择状态。在选择状态下，可以判断相同ID的有效目标在当前融合周期的KM匹配结果与前一融合周期的KM匹配结果是否完全相同。

步骤3：如果完全相同，当相同的指派结果出现的周期数大于或者等于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标升级为锁定状态，并将锁定状态下的有效目标作为输出目标进行输出。

步骤4：当相同的指派结果出现的周期数小于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标维持选择状态，并将选择状态下的有效目标作为输出目标进行输出。

对于上述步骤1至步骤4举例说明：假设前一融合周期内传感器A检测到有效目标1、有效目标2和有效目标3，传感器B检测到有效目标4、有效目标5和有效目标6，且传感器A与传感器B的KM匹配结果为1和4；当前融合周期内传感器A检测到的同样是有效目标1、有效目标2和有效目标3，传感器B检测到同样是有效目标4、有效目标5和有效目标6，且传感器A与传感器B的KM匹配结果也为1和4。那么，在当前融合周期每个传感器储存的ID信息中查找是否存在与前一融合周期的KM匹配结果1和4中具有相同ID的有效目标时，可以查找到相同ID的目标；进而前一融合周期和当前融合周期内相同ID的有效目标的KM匹配结果完全相同，即均为1和4，那么此时需要判断1和4的匹配结果在之前的融合周期中共出现了多少个周期，当出现的周期数大于或者等于预设周期数(诸如7个周期)时，可以将该指派结果对应的有效目标1和4的状态升级为锁定状态，并且输出。

步骤5：如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果中只有一个有效目标相同，将当前融合周期的指派结果确定为第一指派结果。

具体的，如果前一融合周期内的KM匹配结果是1和4，而当前融合周期内KM匹配结果为1和5，即当前融合周期的KM匹配结果与前一融合周期的KM匹配结果中只有一个有效目标相同，可以将当前融合周期的KM匹配结果1和5确定为第一指派结果。

步骤6：如果第一指派结果在后续融合周期中出现的周期数大于或者预设周期数，采用第一指派结果替换前一融合周期中的相同身份的指派结果。

在一种实施方式中，当前融合周期内的第一指派结果与前一融合周期内根据ID查找到的指派结果不完全一致时，可以根据后续融合周期中该第一指派结果出现的周期数确定是否需要采用当前融合周期的第一指派结果替换前一融合周期的指派结果。具体的，当第一指派结果在后续融合周期中连续出现的周期数大于或者等于预设周期数时，可以采用第一指派结果代替前一融合周期中根据ID查找到的指派结果。

步骤7：如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果完全不同时，将当前融合周期的指派结果确定为第二指派结果，并将第二指派结果对应的有效目标确定为候选状态。

具体的，如果前一融合周期内的KM匹配结果是1和4，而当前融合周期内KM匹配结果为3和6，即当前融合周期的KM匹配结果与前一融合周期的KM匹配结果完全不同，则表明该指派结果为首次出现，可以将当前融合周期的KM匹配结果3和6确定为第二指派结果，并将第二指派结果对应的有效目标确定为候选状态。

步骤8：如果第二指派结果在后续融合周期中出现的周期数大于或者预设周期数，将第二指派结果对应的有效目标升级为选择状态，并将选择状态下的有效目标作为输出目标进行输出。

在一种实施方式中，如果第二指派结果3和6在后续融合周期中连续出现的周期数大于或者等于预设周期数时，可以将第二指派结果对应的有效目标3和6升级为选择状态，并输出有效目标3和6。

步骤9：当不存在相同身份的有效目标时，将前一融合周期的指派结果对应的有效目标转换为丢失状态。

举例说明，假设前一融合周期内传感器A检测到有效目标1、有效目标2和有效目标3，传感器B检测到有效目标4、有效目标5和有效目标6，且传感器A与传感器B的KM匹配结果为1和4；当前融合周期内传感器A检测到的同样是有效目标2、有效目标3和有效目标4，传感器B检测到同样是有效目标5、有效目标6和有效目标7，根据前一融合周期的KM匹配结果1和4在传感器A中没有查找到有效目标1，在传感器B中也没有查找到有效目标4，则有效目标1和有效目标4为丢失状态。

方式二：如果前一融合周期的指派结果对应的有效目标为锁定状态，对于上述步骤S104可以按照以下步骤来实现：在当前融合周期每个传感器内储存的有效目标的身份信息中查找与前一融合周期的指派结果中具有相同身份的有效目标，并将查找到的有效目标作为输出目标进行输出。

具体的，当有效目标处于锁定状态时，可以不考虑KM匹配结果，只根据ID信息进行查找，并将查找到的有效目标作为输出目标进行输出。

在一种实施方式中，目标状态是可以转换的，为了便于理解，本发明实施例还提供了一种目标状态转换示意图，参见图3所示，示意出候选状态(CANDIDITE)可以转换为选择状态(SELECTED)，选择状态可以转换为锁定状态(LOCKED)和丢失状态(LOST)，此外锁定状态也可以转换为选择状态和丢失状态。

本发明实施例提供的上述多传感器融合方法首先可以任意增减传感器的数量，并且任何一个传感器的失效不会影响系统的正常运行，从而能够提高目标检测结果的可靠性和鲁棒性；其次，在多目标指派时采用KM算法进行指派，能够达到最优分配，减少误匹配；最后，根据前一融合周期的ID匹配结果和当前融合周期的KM匹配结果和ID匹配结果实现目标的稳定关联跟踪，稳定跟踪同一目标，跟踪ID不变，使得到的目标属性连续平滑。

对于前述实施例提供的多传感器融合方法，本发明实施例还提供了一种多传感器融合系统，传感器的数量支持任意增减，参见图4所示的一种多传感器融合系统的结构示意图，该系统可以包括以下部分：

指派模块401，用于对当前融合周期内每两个传感器的有效目标进行指派得到指派结果。

跟踪模块402，用于根据预先储存的前一融合周期指派结果、当前融合周期每个所述传感器内储存的有效目标的身份信息和当前融合周期的指派结果，对有效目标进行跟踪，确定输出目标；其中，输出目标为有效目标中的一个或多个。

更新模块403，用于将当前融合周期内同一输出目标的属性信息进行融合，并更新融合后输出目标的属性。

本发明实施例提供的上述多传感器融合系统，采用KM算法对每个有效目标和传感器进行指派，从而能够得到传感器与检测到的有效目标之间的最佳匹配，减少误匹配；同时，可以根据预先储存的前一融合周期指派结果、当前融合周期每个所述传感器内储存的有效目标的身份信息和当前融合周期的指派结果实现目标的稳定关联跟踪，使得到的目标属性连续平滑。综上所述，上述系统能够解决标匹配错误或未匹配上的技术问题，提高目标检测的准确度。

在一种实施方式中，上述系统还包括提取模块，用于提取多个传感器检测到的预设范围内至少一个有效目标；其中，传感器中储存有检测到的有效目标的身份信息和原属性信息。

在一种实施方式中，上述系统还包括预测模块，用于对多个传感器采集的同一有效目标的原属性信息进行预测，得到当前融合周期每个有效目标的属性信息。

在一种实施方式中，上述指派模块401进一步还用于根据属性信息，对每两个传感器检测到的有效目标进行指派得到指派结果。

在一种实施方式中，上述指派模块401还用于根据属性信息和预设阈值对每两个传感器的有效目标进行预筛选，得到预匹配目标对；计算每个预匹配目标对对应的有效目标之间的欧式距离，并将欧式距离作为预设权值；根据预设权值，将预匹配目标对进行指派，得到指派结果。

在一种实施方式中，属性信息包括有效目标相对于安装传感器的车辆的纵向距离；上述指派模块401还用于根据每两个传感器中的第一传感器检测到的有效目标相对于安装第一传感器的车辆的纵向距离确定横向距离和纵向距离的预设阈值；将每两个传感器中的第二传感器的有效目标中满足预设阈值的有效目标与对应的第一传感器的有效目标确定为预匹配目标对。

在一种实施方式中，指派结果对应的匹配目标至少包括以下四种状态：候选状态、选择状态、锁定状态和丢失状态；如果前一融合周期的指派结果对应的匹配目标为选择状态，上述跟踪模块402还用于在当前融合周期每个传感器内储存的有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标；当存在相同身份的有效目标时，判断相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果是否完全相同；如果完全相同，当相同的指派结果出现的周期数大于或者等于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标升级为锁定状态，并将锁定状态下的有效目标作为输出目标进行输出；当相同的指派结果出现的周期数小于预设周期数时，将当前融合周期内的该相同的指派结果对应的有效目标维持选择状态，并将选择状态下的有效目标作为输出目标进行输出。

在一种实施方式中，上述跟踪模块402还用于如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果中只有一个有效目标相同，将当前融合周期的指派结果确定为第一指派结果；如果第一指派结果在后续融合周期中出现的周期数大于或者预设周期数，采用第一指派结果替换前一融合周期中的相同身份的指派结果；如果相同身份的有效目标在当前融合周期的指派结果与前一融合周期的指派结果完全不同时，将当前融合周期的指派结果确定为第二指派结果，并将第二指派结果对应的有效目标确定为候选状态；如果第二指派结果在后续融合周期中出现的周期数大于或者预设周期数，将第二指派结果对应的有效目标升级为选择状态，并将选择状态下的有效目标作为输出目标进行输出。

在一种实施方式中，上述跟踪模块402还用于当不存在相同身份的有效目标时，将前一融合周期的指派结果对应的有效目标转换为丢失状态。

在一种实施方式中，如果前一融合周期的指派结果对应的有效目标为锁定状态，上述跟踪模块402还用于在当前融合周期每个传感器内储存的有效目标的身份信息中查找与前一融合周期的指派结果中具有相同身份的有效目标，并将查找到的有效目标作为输出目标进行输出。

本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种自动驾驶车辆，包括前述实施例提供的多传感器融合系统，其实现原理及产生的技术效果和前述实施例相同，在此不再赘述。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种多传感器融合方法，其特征在于，所述方法包括：

对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果；

根据预先储存的前一融合周期的指派结果、所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息和所述当前融合周期的指派结果，对所述有效目标进行跟踪，确定输出目标；其中，所述输出目标为所述有效目标中的一个或多个；

将所述当前融合周期内同一所述输出目标的属性信息进行融合，并更新融合后所述输出目标的属性；

所述指派结果对应的有效目标至少包括以下四种状态：候选状态、选择状态、锁定状态和丢失状态；所述根据预先储存的前一融合周期的指派结果、所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息和所述当前融合周期的指派结果，对所述有效目标进行跟踪，确定输出目标包括：基于所述前一融合周期的指派结果对应的有效目标的状态，对所述当前融合周期内的所述有效目标的身份信息和指派结果进行更新、计数以及状态维护，得到输出目标。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

提取多个传感器检测到的预设范围内至少一个有效目标；其中，所述传感器中储存有检测到的所述有效目标的身份信息和原属性信息；

对所述多个传感器采集的同一所述有效目标的原属性信息进行预测，得到当前融合周期每个所述有效目标的属性信息。

3.根据权利要求2所述的方法，其特征在于，所述对当前融合周期内每两个传感器检测到的有效目标进行指派得到指派结果的步骤，包括：

根据所述属性信息，对每两个所述传感器检测到的所述有效目标进行指派得到指派结果。

4.根据权利要求1所述的方法，其特征在于，所述传感器的数量支持任意增减。

5.根据权利要求3所述的方法，其特征在于，所述根据所述属性信息，对每两个所述传感器检测到的所述有效目标进行指派得到指派结果的步骤，包括：

根据所述属性信息和预设阈值对每两个所述传感器的所述有效目标进行预筛选，得到预匹配目标对；

计算每个所述预匹配目标对对应的所述有效目标之间的欧式距离，并将所述欧式距离作为预设权值；

根据预设权值，将所述预匹配目标对进行指派，得到所述指派结果。

6.根据权利要求5所述的方法，其特征在于，所述属性信息包括所述有效目标相对于安装所述传感器的车辆的纵向距离；所述根据所述属性信息和预设阈值对每两个所述传感器的所述有效目标进行预筛选，得到预匹配目标对的步骤，包括：

根据每两个所述传感器中的第一传感器检测到的所述有效目标相对于安装所述第一传感器的车辆的纵向距离确定横向距离和纵向距离的预设阈值；

将每两个所述传感器中的第二传感器的所述有效目标中满足所述预设阈值的有效目标与对应的所述第一传感器的所述有效目标确定为预匹配目标对。

7.根据权利要求6所述的方法，其特征在于，如果所述前一融合周期的指派结果对应的有效目标为所述选择状态，所述根据预先储存的前一融合周期的指派结果、所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息和所述当前融合周期的指派结果，对所述有效目标进行跟踪，确定输出目标的步骤，包括：

在所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标；

当存在相同身份的有效目标时，判断相同身份的有效目标在所述当前融合周期的指派结果与所述前一融合周期的指派结果是否完全相同；

如果完全相同，当相同的指派结果出现的周期数大于或者等于预设周期数时，将所述当前融合周期内的该相同的指派结果对应的有效目标升级为所述锁定状态，并将所述锁定状态下的有效目标作为输出目标进行输出；

当相同的指派结果出现的周期数小于预设周期数时，将所述当前融合周期内的该相同的指派结果对应的有效目标维持所述选择状态，并将所述选择状态下的有效目标作为输出目标进行输出。

8.根据权利要求7所述的方法，其特征在于，所述当存在相同身份的有效目标时，如果所述前一融合周期的指派结果对应的有效目标为所述选择状态，判断相同身份的有效目标在所述当前融合周期的指派结果与所述前一融合周期的指派结果是否完全相同的步骤之后，还包括：

如果相同身份的有效目标在所述当前融合周期的指派结果与所述前一融合周期的指派结果中只有一个有效目标相同，将所述当前融合周期的指派结果确定为第一指派结果；

如果所述第一指派结果在后续融合周期中出现的周期数大于或者预设周期数，采用所述第一指派结果替换所述前一融合周期中的相同身份的指派结果；

如果相同身份的有效目标在所述当前融合周期的指派结果与所述前一融合周期的指派结果完全不同时，将所述当前融合周期的指派结果确定为第二指派结果，并将所述第二指派结果对应的有效目标确定为候选状态；

如果所述第二指派结果在后续融合周期中出现的周期数大于或者预设周期数，将所述第二指派结果对应的有效目标升级为所述选择状态，并将所述选择状态下的有效目标作为输出目标进行输出。

9.根据权利要求7所述的方法，其特征在于，所述在所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息中查找是否存在与前一融合周期的指派结果中具有相同身份的有效目标的步骤之后，还包括：

当不存在相同身份的有效目标时，将所述前一融合周期的指派结果对应的有效目标转换为丢失状态。

10.根据权利要求7所述的方法，其特征在于，如果所述前一融合周期的指派结果对应的有效目标为所述锁定状态，所述根据预先储存的前一融合周期的指派结果、所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息和所述当前融合周期的指派结果，对所述有效目标进行跟踪，确定输出目标的步骤，包括：

在所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息中查找与前一融合周期的指派结果中具有相同身份的有效目标，并将查找到的有效目标作为输出目标进行输出。

11.一种多传感器融合系统，其特征在于，传感器的数量支持任意增减，所述系统包括：

指派模块，用于对当前融合周期内每两个所述传感器检测到的有效目标进行指派得到指派结果；

跟踪模块，用于根据预先储存的前一融合周期的指派结果、所述当前融合周期每个所述传感器内储存的所述有效目标的身份信息和所述当前融合周期的指派结果，对所述有效目标进行跟踪，确定输出目标；其中，所述输出目标为所述有效目标中的一个或多个；

更新模块，用于将所述当前融合周期内同一所述输出目标的属性信息进行融合，并更新融合后所述输出目标的属性；

所述指派结果对应的有效目标至少包括以下四种状态：候选状态、选择状态、锁定状态和丢失状态；所述跟踪模块还用于：基于所述前一融合周期的指派结果对应的有效目标的状态，对所述当前融合周期内的所述有效目标的身份信息和指派结果进行更新、计数以及状态维护，得到输出目标。

12.一种自动驾驶车辆，其特征在于，包括上述权利要求11所述的多传感器融合系统。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至10任一项所述的方法的步骤。

Images