CN115600158B

CN115600158B - 一种无人车多传感器融合方法

Info

Publication number: CN115600158B
Application number: CN202211568242.1A
Authority: CN
Inventors: 靳泽宇; 杜垚琼; 张雅妮
Original assignee: Autobrain Tianjin Technology Co ltd
Current assignee: Autobrain Tianjin Technology Co ltd
Priority date: 2022-12-08
Filing date: 2022-12-08
Publication date: 2023-04-18
Anticipated expiration: 2042-12-08
Also published as: CN115600158A

Abstract

本发明提供了一种无人车多传感器融合方法，包括以下步骤：将输入系统先验信息和观测信息看作广义观测信息，对其进行聚类，得到的每一个聚类对应一个潜在物体的信息集合；对每一个信息集合进行信息融合，融合结果作为先验信息参与下个时刻系统的计算；单个信息集合融合采用元素分批次进行融合的方法：每次筛选并融合高确信度信息，融合结果再和信息集合中剩下元素在下一批次融合，直到信息集合所有元素融合完毕。有益效果：一种无人车多传感器融合方法，对各种影响融合顺序的因素，比如传感器类型，考虑更加合理全面；并且对一些常见场景变化有通用性，比如，一个物体有一个或者多个观测或者有无先验信息的情况。

Description

一种无人车多传感器融合方法

技术领域

本发明属于自动驾驶领域，尤其是涉及一种无人车多传感器融合方法。

背景技术

随着自动驾驶汽车的迅速发展，多传感器融合在无人车感知中成为自动驾驶领域的常用技术，通过多传感器融合能够让各个传感器优劣互补，减少误检，丢检等问题。

但是目前现有的融合中常见的问题或者难点是：传感器检测中存在噪音，同一个传感器的噪音会随着一些因素变化，比如，传感器的检测越靠近其视野边缘，噪音可能更大；多个传感器对同一个物体的检测信息可能不一致，检测点的数量也可能是一个或者是多个。

发明内容

有鉴于此，本发明旨在提出一种无人车多传感器融合方法，以至少解决背景技术中的至少一个问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种无人车多传感器融合方法，包括以下步骤：

S1、将输入系统的先验信息集合的元素和观测信息集合的元素定义为广义观测信息集合的元素，对广义观测信息集合元素进行聚类，得到的每一个聚类为一个潜在-物体的单目标信息集合；

S2、对每一个单目标信息集合单独进行信息融合，所有潜在物体最终融合结果作为先验信息参与下个时刻系统的计算；

S3、在步骤S2中，如果一个单目标信息集合只有一个信息元素，则当前信息元素为对应潜在物体的最终融合结果，结束这个单目标信息集合的信息融合，否则执行下述步骤；

S4、在步骤S2中，如果单目标信息集合包括不少于两个信息元素，则构造单目标信息集合对应的关联矩阵，并基于关联矩阵利用单目标信息集合中的置信度信息进行筛选，筛选出信息元素；

S5、对步骤S4中筛选出来的信息元素选取部分进行融合，得到部分信息融合结果；

S6、将步骤S4中单目标信息集合中筛选出的信息替换为步骤S5中的部分信息融合结果，并将单目标信息集合中源于部分信息融合结果的元素类型设置为先验信息，得到更新后的单目标信息集合，对更新后的单目标信息集合按照步骤S3重新开始循环处理。

进一步的，在步骤S1中，得到的每一个聚类对应一个潜在的物体的单目标信息集合：

其中，为单目标信息集合中元素数量，第个元素服从均值为，方差为的正态分布。

进一步的，在步骤S4中，关联矩阵中的每一个元素值表征之间的关联程度，其中，其中包含的元素；

如果，则取一定概率参数的置信椭圆上任何一点的概率值，概率参数为需要调试的参数；

如果，，其中是对应的概率密度函数，是的均值，越大，的关联程度越高，这两个元素的确信度越高；

基于上述关联矩阵筛选中的高确信度元素，所述高确信度元素为高确信度信息，具体的筛选方法这里提供两种：

a、设定筛选的数量，筛选前个最大的关联矩阵元素对应的中的元素；

b、设定关联程度阈值，筛选关联矩阵元素大于该阈值的元素对应的中的元素。

进一步的，在步骤S5中，对筛选出来的高确信度信息进行融合，包括以下情况：

如果筛选出来的信息包含先验信息，则使用卡尔曼滤波进行融合；

如果筛选出来的信息不包含先验信息，则使用最大似然估计算法融合；

上述融合的结果为部分信息融合结果，结果服从正态分布。

进一步的，在步骤S6中，更新物体的单目标信息集合，将经过步骤S5融合后的部分信息融合结果放入这个物体的单目标信息集合，将这些放入的元素的类型设置为先验信息，并且从单目标信息集合中删除用于计算这个部分信息融合结果的上述筛选出来的信息，对更新后的单目标信息集合重新从步骤S3开始处理。

相对于现有技术，本发明所述的一种无人车多传感器融合方法具有以下有益效果：

（1）本发明所述的一种无人车多传感器融合方法，对传感器融合顺序的考虑更加全面，具体地，本专利提出的方法可以通过概率建模，以及基于关联矩阵的筛选方法综合地考虑各种相关因素，比如传感器类型，感知区域等。并且本专利遵循高确信度的信息先融合的原则，这种方式能够有效减少融合过程中的信息污染问题，即噪音大的信息使用不当，使得系统的信噪比下降，破坏有效信息；

（2）本发明所述的一种无人车多传感器融合方法，提出融合方法适用于更加普适的检测情况，例如对先验信息的数量变化和检测信息的数量变化的情况有适应性，本方案将先验信息和障碍物的检测信息统一看作广义检测信息，并用基于关联矩阵的方法选择需要融合的信息，这样的处理对于没有先验信息的障碍物，多个检测信息的障碍物都有处理的能力。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的步骤S1和步骤S2流程示意图；

图2为本发明实施例所述的步骤S3至步骤S6流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

本方案基于多传感器对含有多目标的环境的观测和上次计算得到的多个目标障碍物先验信息进行融合处理，得到多个障碍物状态的估计。所述多传感器对含有多目标的环境的观测可能源于对先验信息对应的目标的再次观测，也可能来源于对进入场景的新目标的观测。

本方案的具体步骤包括：

步骤一、将输入系统的先验信息集合的元素和观测信息集合的元素都看作广义观测信息集合的元素，对广义观测信息集合元素进行聚类，得到的每一个聚类对应一个潜在的物体的单目标信息集合。

步骤二、对每一个单目标信息集合单独进行信息融合，估计其状态，所有潜在物体最终融合结果作为先验信息参与下个时刻系统的计算。对这个单目标信息集合的融合包含下面这些步骤。

步骤三、如果这个单目标信息集合只有一个信息元素，那么，这个信息就是对应潜在物体的最终融合结果。下面的处理步骤全部跳过。否则遵循下面步骤继续处理。

步骤四、构造这个单目标信息集合对应的关联矩阵，并基于关联矩阵筛选这个单目标信息集合中的高置信度信息。

步骤五、对筛选出来的信息进行融合，得到这个物体部分信息融合结果。

步骤六、将所述单目标信息集合中筛选出的信息替换为步骤五所述的部分信息融合结果，并将目标信息集合中源于这个部分信息融合结果的元素的类型设置为先验。然后从步骤三重新开始处理。

对系统输入的要求：

每一个元素可能含有这些信息：目标的位置，速度，类型，大小等。

每一个元素服从正态分布。

如果元素源自于传感器观测，其协方差基于影响它的多种因素进行建模。影响它的多种因素有，时间，空间，传感器类型，场景等。比如，相机在黑夜的噪音一般比白天大。比如，激光雷达这种器件类型的平均噪音一般要小于毫米波这种器件类型。比如，毫米波在其可视区域边缘的检测噪音一般大于可视区域内部。

下面对各个步骤进行详细阐述：

步骤一：将输入系统的先验信息集合元素和观测信息集合元素都看作广义观测信息集合元素，对广义观测信息集合进行聚类。得到的每一个聚类对应一个潜在的物体的单目标信息集合。其中，。

聚类可以根据多目标广义观测集合元素的一部分信息进行聚类。选择的信息根据实际系统需要确定。比如，如果一个系统多传感器全部是毫米波，那么，可以选择毫米波检测的距离，角度，径向速度进行聚类。这些信息毫米波一般都提供，并且，径向速度往往是比较准确的信息，有利于区分各个潜在物体。比如，如果一个系统同时包含相机，毫米波，激光雷达等不同的传感器，可以选择对应地面的2d位置，因为这个信息多种传感器都能提供。

具体的聚类算法也根据实际需要决定。比如，欧式聚类，连通域聚类等。

步骤二：对于每一个潜在物体对应的聚类对应的单目标信息集合，分别独立做信息融合，估计其最终状态。所有潜在物体最终融合结果作为先验信息参与下个时刻系统的计算。单目标信息集合的融合要根据信息集合中的元素数量分类处理。

步骤三：如果单目标信息集合中只有一个元素，那么，这个元素的信息就是潜在物体的最终状态。那么，这个单目标信息集合的融合就结束了。下面步骤会被跳过。

步骤四：如果单目标信息集合中元素数量大于一个，那么，对这个集合建立关联矩阵并且筛选高确信度信息。关联矩阵中的每一个元素值表征两个信息之间的关联程度。其中，函数是其计算关系。注意，其中包含的元素。

为了计算关联矩阵，这里给出函数的一种具体实现方法：如果那么，取概率参数的置信椭圆上任何一点的概率值，这里的概率参数是需要调试的参数；如果，，其中是对应的概率密度函数。是的均值。在这种计算方式下，越大，的关联程度越高。

基于上述关联矩阵筛选高确信度信息。高确信度信息即关联矩阵中关联程度较大的元素对应的中的元素。具体的筛选方法这里提供两种：a、设定筛选的数量，筛选前个最大的关联矩阵元素对应的中的元素；b、设定关联程度阈值，筛选关联矩阵元素大于该阈值的元素对应的中的元素；

步骤五：对筛选出来的高确信度信息进行融合。它包含这些情况：

如果筛选出来的信息包含先验信息，那么，用卡尔曼滤波进行融合。

如果筛选出来的信息不包含先验信息，那么，用最大似然估计算法融合。

上述融合的结果即部分信息融合结果，它服从正态分布。

步骤六：更新这个物体的单目标信息集合，将上述融合后的部分信息融合结果放回这个物体的单目标信息集合，将这些放回的元素的类型设置为先验信息。并且从单目标信息集合中删除用于计算这个部分信息融合结果的上述筛选出来的信息。然后，对更新后的单目标信息集合重新从步骤三开始处理。

在图1中，无人车多传感器融合系统不断地接受传感器信息，综合考虑物体的历史检测信息和实时检测信息来估计物体的信息或者状态。历史检测信息以“先验信息”的形式参与这个信息融合过程。这些信息统称为“广义观测信息集合”。多传感器融合系统不断地接受新的检测，当前处理后得到的“融合结果”在下一个时刻传感器到来的时候，作为“先验信息”参与下次融合过程。在一次处理过程中，因为传感器冠词信息中混杂了多个物体的信息，需要通过“聚类操作”将物体区分开，得到“多个潜在物体聚类”，每一个聚类内包含1到多个广义检测信息，对应一个潜在物体。对每一个聚类内信息单独处理，得到每一个物体各自的融合结果。单独处理的细节对应右图。

在图2中，对应右图，每一个单目标信息集合内有1到多个广义检测元素。如果只有1个检测元素，则不需要进行融合，该元素就是该目标的最终信息。如果有多个检测元素，分批次进行融合，比如，第一批次选择若干个元素，得到的第一批次的融合结果再和第二批次选择的元素进行融合，依次类推进行第三次，第四次等融合，直到所有信息融合完毕，这时，“单目标信息集合”中只有一个元素。每一批次融合结果对应图中“部分信息融合结果”。每一批次结果参与下次融合在实践中通过对单目标信息集合，用融合结果替换筛选出的信息实现，对应图中的循环操作。每一批次筛选元素通过构造关联矩阵，并基于此筛选高置信度信息元素实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种无人车多传感器融合方法，其特征在于：包括以下步骤：

S1、将输入系统的先验信息集合的元素和观测信息集合的元素定义为广义观测信息集合的元素，每一个元素含有目标的位置、速度、类型和大小，对广义观测信息集合元素进行聚类，得到的每一个聚类为一个潜在-物体的单目标信息集合；

S6、将步骤S4中单目标信息集合中筛选出的信息元素替换为步骤S5中的部分信息融合结果，并将单目标信息集合中源于部分信息融合结果的元素类型设置为先验信息，得到更新后的单目标信息集合，对更新后的单目标信息集合按照步骤S3重新开始循环处理；

在步骤s4中，关联矩阵中的每一个元素值l_i，j＝L(s_i，s_j)表征s_i，s_j之间的关联程度，其中s_i，s_j∈S_sense，其中包含i＝j的元素；

如果i＝j，则l_t，i取概率参数的置信椭圆上任何一点的概率值，概率参数为需要调试的参数；

如果i≠j，l_i，j＝0.5·P_i(0·5·μ_i+0.5·μ_j)+0.5·P_j(0·5·μ_i+0.5·μ_j)，其中P_i，P_j是s_i，s_j对应的概率密度函数，μ_i，μ_j是s_i，s_j的均值，l_i，j越大，s_i，s_j的关联程度越高，s_j，s_j这两个元素的确信度越高；

基于上述关联矩阵筛选S_sense中的高确信度元素，所述高确信度元素为高确信度信息，具体的筛选方法这里提供两种：

a、设定筛选的数量N，筛选前N个最大的关联矩阵元素对应的S_sense中的元素；

b、设定关联程度阈值，筛选关联矩阵元素大于该阈值的元素对应的S_sense中的元素；

在步骤S5中，对筛选出来的高确信度信息进行融合，包括以下情况：

上述融合的结果为部分信息融合结果，结果服从正态分布。

2.根据权利要求1所述的一种无人车多传感器融合方法，其特征在于：在步骤S1中，得到的每一个聚类对应一个潜在的物体的单目标信息集合：

S_sense＝{s_k|1≤k≤m}

其中，m为单目标信息集合中元素数量，第k个元素s_k服从均值为μ_k，方差为Q_k的正态分布S_k～N(μ_k，Q_k)。

3.根据权利要求1所述的一种无人车多传感器融合方法，其特征在于：在步骤S6中，更新物体的单目标信息集合，将经过步骤S5融合后的部分信息融合结果放入这个物体的单目标信息集合，将这些放入的元素的类型设置为先验信息，并且从单目标信息集合中删除用于计算这个部分信息融合结果的上述筛选出来的信息元素，对更新后的单目标信息集合重新从步骤S3开始处理。