CN113723540B - 一种基于多视图的无人驾驶场景聚类方法及系统 - Google Patents

Abstract

本发明公开了一种基于多视图的无人驾驶场景聚类方法及系统，包括以下步骤：获取无人驾驶车辆当前多视图数据，并进行标准化处理；基于迁移学习对每个视图进行聚类分析：(1)根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；(2)根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果。本发明通过基于激光雷达数据和图像数据两个视图进行场景中道路的识别，数据的利用更为充分，识别精度高。

Description

一种基于多视图的无人驾驶场景聚类方法及系统

技术领域

本发明属于多视图聚类领域，尤其涉及一种基于多视图的无人驾驶场景聚类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

无人驾驶主要由感知、决策和控制这三个部分组成,而感知是其中极其重要的一环。通过装备在汽车上的摄像头、激光雷达、毫米波雷达等传感器感知获取多视图数据，快速准确的获取自身位置和周围目标的位置、大小和运动方向等信息,从而保障无人驾驶车辆安全平稳的行驶在道路上。因此，无人驾驶场景中道路和周围目标的检测和分类至关重要。

传统的场景检测主要基于图像、激光点云数据等，借助于神经网络、聚类等机器学习方法实现。其中，聚类算法作为一种无监督的机器学习方法得到广泛应用。聚类方法按其内在原理又可细分为多种类别，包括划分聚类、密度聚类和层次聚类等。显然，传统的聚类方法对多视图数据已经不再适用。目前已有的多视图聚类方法包括多视图图聚类、多视图子空间聚类、基于多核的多视图聚类、多任务多视图聚类和协同多视图聚类等。其中，协同多视图聚类算法因其可以有效地利用先验知识并且能够通过多个视图之间的信息交互来最大化多个视图的一致性，在学术界展开了深入的研究。但是，目前的协同多视图聚类算法的协同学习方法仍然难以有效地挖掘多视图之间的潜在互补信息，无法获得较好的聚类效果，导致无人驾驶场景中目标的识别精度较低。此外，这些算法为了保证多视图的协同效果往往涉及大量的参数，然而在实际应用中人工选择这些参数是非常困难的。

为了解决传统聚类算法因目标数据不充分而导致聚类性能低下的问题，大量的科研工作者将迁移学习的思想引入到聚类中，提出了众多迁移聚类算法。基本思想都是通过学习从聚类较为充分的源域中获得的知识来提高目标域数据的聚类性能。但是，目前的迁移聚类方法大都是针对于单视图数据进行聚类，并不适用于无人驾驶多视图数据的聚类。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于多视图的无人驾驶场景聚类方法及系统。本发明通过基于激光雷达数据和图像数据两个视图进行场景中道路的识别，实现迁移学习技术和协同多视图聚类算法的有机结合，数据的利用更为充分，识别精度更高。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于多视图的无人驾驶场景聚类方法，包括以下步骤：

获取无人驾驶车辆当前多视图数据，所述多视图数据包括激光雷达数据和图像数据；

基于迁移学习对每个视图进行聚类分析：

(1)根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；

(2)根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；

根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果。

进一步地，获取多视图数据后，还进行标准化处理：分别基于激光雷达数据和图像数据获取无人驾驶车辆前方的深度数据，得到多维数据集。

进一步地，对隶属度矩阵进行更新的公式为：

其中，u_lik表示第l个视图第i个样本点属于第k个类别的隶属度，L表示视图个数，取值为2，I代表的是样本的数量，K为聚类个数，取值为2，x_li指的是第l个视图中第i个样本点，c_lk指的是第l个视图中第k个聚类中心，||x_li-c_lk||为x_li与c_lk的欧几里得距离，ω_l为第l个视图的权重；ξ_ll′为当前视图l从其他视图l′进行迁移学习的因子；p_ll′ik为更新隶属度所必需的拉格朗日乘子，α为模糊参数。

进一步地，所述得到新的聚类中心公式为：

进一步地，所述更新视图的权重公式为：

其中，γ是一个非负的正则化参数。

进一步地，判断是否需要继续进行迁移学习包括：根据设定的目标函数计算本次迁移学习相应的目标函数值，若与上一次目标函数值差值在设定范围内，聚类结束；若否，更新迁移学习因子。

进一步地，第t次迭代的目标函数为：

一个或多个实施例提供了一种基于多视图的无人驾驶场景聚类系统，包括：

数据获取模块，用于获取无人驾驶车辆当前多视图数据，并进行标准化处理；

迁移学习聚类模块，用于基于迁移学习对每个视图进行聚类分析，具体包括：

初始聚类子模块，用于根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；

迁移学习子模块，用于根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于多视图的无人驾驶场景聚类方法。

一个或多个实施例提供了一种无人驾驶车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于多视图的无人驾驶场景聚类方法，以识别当前场景中的道路信息。

以上一个或多个技术方案存在以下有益效果：

基于激光雷达数据和图像数据两个视图，基于多视图协同模糊聚类的方法，并结合迁移学习，充分挖掘了激光雷达数据和图像数据两个视图间的互补信息，对无人驾驶场景中道路和其他对象进行分类，实现了驾驶场景中道路的识别；

迁移学习过程中，将激光雷达数据和图像数据两个视图的全局一致性作为重要的约束条件引入到聚类方法中，在全局一致性的约束下定义学习因子来控制激光雷达数据到图像数据，以及图像数据到激光雷达数据的知识迁移的程度，实现了在聚类过程中依据其他视图对当前视图的知识参考价值进行动态地调整，从而充分的挖掘潜在信息。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中基于多视图的无人驾驶场景聚类方法流程图；

图2为本发明实施例中多视图间迁移学习的示意图；

图3为本发明实施例中基于动态迁移学习的多视图协同模糊聚类方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于多视图的无人驾驶场景聚类方法，将不同数据采集设备获取的数据分别作为一个视图。

考虑到多视图协同聚类算法中多个视图之间通过协作的方式进行信息交换就类似于迁移聚类中源域向目标域的知识迁移,当前视图既可以作为源域供其他视图学习，也可以作为目标域向其它视图学习。如图2所示，假设采集的多视图数据包括三个视图，这三个视图在聚类过程中均可以作为源域和目标域，迁移学习发生在任意两个视图之间。例如，图中的view1聚类时需要从view2和view3中学习知识来促进自身的聚类，此时view1可视为目标域，view2和view3则被视为源域；而当view2和view3进行聚类时，也需要借鉴来自于view1的互补知识，此时view1又可视为源域，view2和view3则被视为目标域。随着聚类的执行，每个视图均会在源域和目标域两个角色中来回切换，直到聚类任务结束，从而有效地挖掘多视图之间的潜在互补信息。

自动驾驶中的传感器主要有摄像机、激光雷达、惯性传感器IMU、超声波雷达等。本实施例以摄像机和激光雷达作为多视图数据集中的两个视图，来进行无人驾驶场景聚类的示例说明。

如图2和图3所示，所述方法具体包括：

步骤1：获取无人驾驶车辆当前多视图数据，并对每个视图数据进行标准化处理，得到表示多视图数据的多维数据矩阵；

所述多维数据矩阵表示为X＝{X₁,...,X_l,...,X_L}，其中，L表示视图个数，X_l＝{x_l1,...,x_li,...,x_lI}表示一个视图，且其中I代表的是样本的数量，D_l指的是第l个视图的数据维度。

本实施例中，第一视图(view1)为激光雷达数据，第二视图(view2)为摄像头采集的图像数据。为了使视图之间便于知识迁移，需将多视图数据标准化为统一数据形式，本实施例中，以深度数据作为标准化的形式标准，以图像数据所对应的成像视角作为数据范围，分别基于激光雷达数据和图像数据获取无人驾驶车辆前方的深度数据，得到激光雷达数据和图像数据相应的多维数据，即得多维数据矩阵，用于后续聚类分析。

步骤2：对于每个视图，根据设定的类别数分别进行聚类分析，得到每个视图中各个样本点与聚类中心的当前距离(第一次聚类得到的为初始距离)；

步骤3：对于每个视图，分别执行以下步骤：

A、基于设定的迁移学习因子，根据该视图以及其他视图中各个样本点与聚类中心的距离，对该视图的隶属度矩阵进行更新，得到该视图本次迁移学习后的隶属度矩阵；

B、根据该视图隶属度矩阵更新聚类中心，根据隶属度矩阵和新的聚类中心更新该视图的权重；

步骤4：根据设定的目标函数计算本次迁移学习相应的目标函数值，若与上一次目标函数值差值在设定范围内，聚类结束；若否，更新迁移学习因子，重复步骤2-4。

为了更清楚的阐述上述聚类过程，上述步骤2-4就具体实现过程如下：

(1)用户输入聚类的个数K，本实施例中，K＝2，两个类别分别指代道路及其他障碍物，并在每个视图中均随机初始化K个聚类中心，设置每个视图的初始权重ω_l＝1/L，设置最大迭代次数T，并将迭代计数器t置为0，设置迁移学习因子ξ_ll′的初始值为1/(L-1)；

(2)将迭代计数器t加1；

(3)在数据的所有视图中分别计算每个样本点与聚类中心的距离度量；

所述步骤(3)中样本点与聚类中心的距离的计算公式为d_lik＝||x_li-c_lk||²，d_lik指的是在第l个视图中第i个样本点到第k个聚类中心的距离，x_li指的是第l个视图中第i个样本点，c_lk指的是第l个视图中第k个聚类中心，||x_li-c_lk||为x_li与c_lk的欧几里得距离，其中1≤l≤L，1≤i≤I，1≤k≤K。

(4)基于设定的迁移学习因子，对于每个视图，对每个样本点属于每个聚类中心的隶属度，根据该视图以及其他视图该样本点与每个聚类中心的距离进行更新，得到各个视图本次迁移学习后的隶属度矩阵。具体地，在每个视图中逐一计算第i个样本点属于第k个聚类中心的隶属度u_lik，得到隶属度矩阵U。利用迁移学习因子来控制其他视图到该视图的知识迁移。公式如下：

逐一计算u_lik，式中ω_l为第l个视图的权重(初始状态下为1/L)；ξ_ll′为第l个视图从第l′个视图进行知识迁移的学习因子；l′为除第l个视图之外的其他视图；p_ll′ik为更新隶属度所必需的拉格朗日乘子(其在初始状态时被设置为0)，α是取值范围为[1.1,2]的模糊参数；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；

使用公式逐一计算并更新拉格朗日乘子，其中μ为迭代步长，一般设置为10^-6。

(5)结合步骤(4)得到的隶属度，逐一计算并更新每个视图中的聚类中心c_lk，得到聚类中心矩阵C；计算公式为：

式中u_lik和u_l′ik为所述步骤(4)中得到的样本点的隶属度，其中u_lik为第l个视图中第i个样本点相对于第k个聚类中心的隶属度，u_l′ik为第l′个视图中第i个样本点相对于第k个聚类中心的隶属度；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；

(6)结合以上得到的隶属度矩阵和聚类中心矩阵逐一计算并更新每个视图的权重ω_l，得到视图权重向量Ω；

所述步骤(6)中视图权重的计算公式为

式中ω_l为第l个视图的权重，γ是一个非负的正则化参数，这里一般取值为10^-4；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；

(7)计算第t次迭代所得到的目标函数值F^(t)；所述第t次迭代的目标函数值F^(t)的公式为：

(8)计算第t次迭代所得到的目标函数值F^(t)与第t-1次迭代所得到的目标函数值F^(t-1)之间的差值，如果满足|F^(t)-F^(t-1)|＜ε或者t＞T，则终止迭代；如果不满足执行步骤(9)后再重复执行步骤(2)到步骤(8)。其中，ε为迭代收敛阀值。

(9)逐一计算并更新第l个视图和第l′个视图的迁移学习因子ξ_ll′。

所述步骤(9)中逐一计算并更新第l个视图和第l′个视图的迁移学习因子ξ_ll′，包括以下步骤：

步骤(9-1)：利用公式求得多个视图的近似全局隶属度；

步骤(9-2)：利用公式和公式分别计算第l个视图和第l′个视图与全局隶属度的KL散度值；

步骤(9-3)：利用公式计算两个KL散度的比值β，以此作为多个视图之间评估知识参考价值的重要依据；

步骤(9-4)：利用公式ξ_ll′＝ξ_ll′+θξ_ll′[1-2^(1-β)]逐一计算并更新第l个视图和第l′个视图之间的迁移学习因子，其中θ为大于0的更新步长，这里一般取10^-3。

各视图间根据与全局隶属度的比较结果，按照一定的学习比例进行相互学习(此过程实现视图间的动态迁移学习)，得到各视图趋于一致的聚类结果，即最后的分类结果，从而实现了无人驾驶场景中道路的识别。

实施例二

本实施例的目的是提供一种基于多视图的无人驾驶场景聚类系统，所述系统包括：

数据获取模块，用于获取无人驾驶车辆当前多视图数据，并进行标准化处理；

迁移学习聚类模块，用于基于迁移学习对每个视图进行聚类分析，具体包括：

初始聚类子模块，用于根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；

迁移学习子模块，用于根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于多视图的无人驾驶场景聚类方法。

实施例四

一种无人驾驶车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于多视图的无人驾驶场景聚类方法，以识别当前场景中的道路信息。

以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

通过采用基于迁移学习的多视图模糊聚类方法，本发明实现了无人驾驶场景道路的有效识别，当然，该方法也可扩展应用到其他应用领域。

(1)多视图协同模糊聚类的最大特点就在于能够利用先验知识和多个视图之间的协同学习来促进整体的聚类效果，然而现有的方法对于视图间的互补信息的挖掘还不够充分，以至于全局聚类效果不佳。为了解决这个问题，本发明将迁移学习技术嵌入到多视图的协同学习中，并将多个视图的全局一致性作为重要的约束条件引入到聚类方法中，在全局一致性的约束下定义学习因子来控制知识迁移的程度。

(2)区别于单一视图的高维特征数据，多视图数据是由多个特征集构成的，每个特征集都有可能包含高维特征。此外，在整个聚类过程中每个视图的中间聚类结果都是动态变化的，本发明认为多视图之间的迁移学习应当捕获到这种变化并进行有选择地学习，因而制定参数自调整策略，提出动态迁移学习方法以实现多视图间的迁移学习可以在聚类过程中依据多视图间知识的参考价值进行动态地调整。

(3)考虑到并不是所有视图的数据来源都是可靠的，聚类结果往往受那些数据来源不可靠的视图影响较大，导致聚类性能的下降。为了防止不可靠视图过多的影响全局聚类效果，本发明对视图进行加权处理，并利用最大熵正则化技术实现对权重的自动调整。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于多视图的无人驾驶场景聚类方法，其特征在于，包括以下步骤：

获取无人驾驶车辆当前多视图数据，所述多视图数据包括激光雷达数据和图像数据；

基于迁移学习对每个视图进行聚类分析：

（1）根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；

（2）根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；

根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果；

对隶属度矩阵进行更新的公式为：

其中，表示第l个视图第i个样本点属于第k个类别的隶属度，/>为除第l个视图之外的其他视图，L表示视图个数，取值为2，I代表的是样本的数量，K为聚类个数，取值为2，/>指的是第l个视图中第i个样本点，/>指的是第/>个视图中第i个样本点，/>指的是第l个视图中第k个聚类中心，/>指的是第l个视图中第h个聚类中心，/>为/>与/>的欧几里得距离，/>为第l个视图的权重，/>为第l'个视图的权重；/>是迁移学习因子，/>为当前视图/>从其他视图/>进行迁移学习的因子；/>为更新隶属度所必需的拉格朗日乘子，/>为模糊参数；

所述得到新的聚类中心公式为：

所述更新视图的权重公式为：

其中，是一个非负的正则化参数，/>为当前视图/>从其他视图/>进行迁移学习的因子，为第/>个视图中第i个样本点相对于第k个聚类中心的隶属度；

判断是否需要继续进行迁移学习包括：根据设定的目标函数计算本次迁移学习相应的目标函数值，若与上一次目标函数值差值在设定范围内，聚类结束；若否，更新迁移学习因子；

第t次迭代的目标函数为：

。

2.如权利要求1所述的基于多视图的无人驾驶场景聚类方法，其特征在于，获取多视图数据后，还进行标准化处理：分别基于激光雷达数据和图像数据获取无人驾驶车辆前方的深度数据，得到多维数据集。

3.一种基于多视图的无人驾驶场景聚类系统，其特征在于，包括：

数据获取模块，用于获取无人驾驶车辆当前多视图数据，并进行标准化处理；

迁移学习聚类模块，用于基于迁移学习对每个视图进行聚类分析，具体包括：

初始聚类子模块，用于根据设定的类别数分别进行聚类分析，得到当前隶属度矩阵；

迁移学习子模块，用于根据该视图与其他视图的当前隶属度矩阵，以及设定的迁移学习因子，对隶属度矩阵进行更新，得到新的聚类中心，并更新视图的权重；根据迁移学习前后的聚类结果，判断是否需要继续进行迁移学习，若是，更新迁移学习因子，对每个视图再次进行聚类分析，若否，聚类结束，得到无人驾驶场景的道路识别结果；

对隶属度矩阵进行更新的公式为：

其中，表示第l个视图第i个样本点属于第k个类别的隶属度，/>为除第l个视图之外的其他视图，L表示视图个数，取值为2，I代表的是样本的数量，K为聚类个数，取值为2，/>指的是第l个视图中第i个样本点，/>指的是第/>个视图中第i个样本点，/>指的是第l个视图中第k个聚类中心，/>指的是第l个视图中第h个聚类中心，/>为/>与/>的欧几里得距离，/>为第l个视图的权重，/>为第l'个视图的权重；/>是迁移学习因子，/>为当前视图/>从其他视图/>进行迁移学习的因子；/>为更新隶属度所必需的拉格朗日乘子，/>为模糊参数；

所述得到新的聚类中心公式为：

所述更新视图的权重公式为：

其中，是一个非负的正则化参数，/>为当前视图/>从其他视图/>进行迁移学习的因子，为第/>个视图中第i个样本点相对于第k个聚类中心的隶属度；

判断是否需要继续进行迁移学习包括：根据设定的目标函数计算本次迁移学习相应的目标函数值，若与上一次目标函数值差值在设定范围内，聚类结束；若否，更新迁移学习因子；

第t次迭代的目标函数为：

。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2任一项所述的基于多视图的无人驾驶场景聚类方法。

5.一种无人驾驶车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-2任一项所述的基于多视图的无人驾驶场景聚类方法，以识别当前场景中的道路信息。