CN111814079A - 结合聚类与cmab的群智感知车联网用户筛选方法 - Google Patents

Abstract

本发明涉及一种结合聚类与CMAB的群智感知车联网用户筛选方法。该方法包括：对车联网用户行车轨迹进行用户轨迹聚类特征的构建；利用CMAB模型，将轨迹聚类信息作为用户任务分配的依据，求解最佳工作者组合；根据真实出租车轨迹数据集对该方法进行验证分析。本发明将用户轨迹信息与CMAB模型相结合的用户筛选方法，克服了参与感知任务的用户技能水平不高而导致的感知数据质量差的现象，能使所选出的工作者集合具有相近的行车轨迹；同时该方法可以使得基于用户筛选结果的任务分配算法更快更早地趋于稳定。故适用于实际应用场景中。

Description

结合聚类与CMAB的群智感知车联网用户筛选方法

技术领域

本发明涉及一种群智感知车联网领域，具体是一种结合聚类与组合多臂赌博机(CMAB)的群智感知车联网用户筛选方法。

背景技术

随着嵌入式设备的不断更新和互联网覆盖范围的逐渐扩大，智能城市的社会感知活动已成为信息和通信领域的研究热点。群智感知技术代替了传统传感网络，使传感更为实时、便捷和低成本，并且更真实地反映了实时状态，规避了传统模式的缺陷。在群智感知相关研究中，任务分配是目前国内外学者研究的核心问题之一，该方面的研究主要分为任务自主选择和任务协调分配两类。在任务分配的过程中，易存在参与感知任务的用户技能水平不高，感知数据质量差的问题。因此，在任务分配环节引入合适的算法进行工作者技能水平筛选，并根据筛选结果进行感知任务分配，可以大大提高感知数据的质量。

群智感知车联网(Internet of Vehicles，IoV)，是物联网在车辆领域的一个典型应用。它是由车辆位置、速度和路线等信息构成的巨大交互网络。在IoV系统中，由于车联网用户存在数量多、车辆轨迹信息多样化等特点，因此，基于车联网系统的群智感知用户筛选，需要考虑用户的车辆轨迹信息以及任务要求的完成时间等多方面的因素。作为一种新型的动态随机控制模型，具有强大的学习能力的多臂赌博机(Multi Arm Bandit，MAB)是解决上述问题的方案之一。但是，经典的MAB框架中存在从某些臂观察到的信息被丢弃，导致效率降低的问题。因此，为解决上述问题，研究者进一步提出了CMAB框架，以解决在随机环境中的组合在线学习问题。

发明内容

本发明的目的在于提供一种结合聚类与CMAB的群智感知车联网用户筛选方法，将车辆用户轨迹特征与组合多臂赌博机相结合，克服了参与感知任务的用户技能水平不高而导致的感知数据质量差的现象，同时该方法可以使得基于用户筛选结果的任务分配任务更快更早地趋于稳定。

为实现上述目的，本发明的技术方案是：一种结合聚类与CMAB的群智感知车联网用户筛选方法，包括如下步骤：

步骤S1、对车联网用户行车轨迹进行用户轨迹聚类特征的构建，将轨迹相近的用户聚类为同一群集用户；

步骤S2、根据CMAB模型，从衡量其多臂收益的标准之一后悔值的策略中选择出一组超级臂；

步骤S3、将选出的超级臂与用户轨迹聚类特征相结合，初步估计群集用户技能水平，并更新到当前为止的用户总期望收益；

步骤S4、重新选出一组超级臂与用户轨迹聚类特征相结合，利用初步估计的群集用户技能水平及总期望收益来观察工作者的真实反馈，更新工作者自己的技能水平以及总期望收益；

步骤S5、迭代执行步骤S4，根据更新后的群集用户技能水平进行如数据收集或分布式计算的任务分配，求解出最佳工作者组合即求解任务分配最大化问题；

步骤S6、最后根据真实出租车轨迹数据集对该方法进行验证分析。

在本发明一实施例中，在所述步骤S1中，所述用户轨迹聚类特征通过如下方式构建：

步骤S11、给定道路网络，将覆盖整个道路网络的最小边界矩形划分为一系列网格单元；

步骤S12、将包含车辆开始位置、行程位置和目标位置的轨迹投射到网格化后的道路网络中，并将其表示为覆盖其位置的时间有序网格单元序列；

步骤S13、根据基于网格单元序列的距离函数计算不同轨迹间的距离；

步骤S14、通过轨迹映射算法TrajMap将每个轨迹转换为欧氏度量空间中的d维点；

步骤S15、在d维欧几里德空间中对轨迹映射的坐标点进行k-means聚类；

步骤S16、使用聚类平方和来判别聚类质量。

在本发明一实施例中，在所述步骤S2中，后悔值的策略包括：

(1)Random策略：采用随机选择的方式，每个手臂获得相同的被选中概率；

(2)ε-Greedy策略：在选择手臂的过程中，以ε的概率从所有手臂中随机选择一个进行尝试，执行“探索”操作，以1-ε的概率选择目前收益最高的手臂执行“开发”操作；

(3)上置信界策略：在CMAB框架下，定义每个手臂的UCB值如下所示：

其中t为摇臂轮数，n_i,t为手臂i到t轮时被摇的次数，

为手臂i到t轮为止的期望收益，

体现

的不确定度。

在本发明一实施例中，在所述步骤S3中，初步估计用户技能水平的步骤如下：

S41、将步骤S2选择的一组超级臂记为S_t；

S42、根据超级臂的执行结果来初步更新所有集群中用户的技能水平，更新所有用户

其同一集群中用户的技能水平的初步估计如下式：

其中C_p表示工作者i所属簇类，

表示第t次实验工作者h给出任务k的感知结果达到任务质量要求，

表示第t次实验工作者h给出任务k的感知结果未达到任务质量要求，

为用户i到t轮时任务k的总次数；

S43、更新所有用户的总期望收益

用户i到t轮时在任务k上的总期望收益

为：

在本发明一实施例中，在所述步骤S4中，观察工作者的真实反馈，更新工作者自己的技能水平的步骤如下：

S51、通过步骤S2重新选择一组超级臂S_t；

S52、根据超级臂的执行结果来更新所有集群中用户的技能水平，更新所有用户

对于第k项任务，工作者i在该类任务上的技能水平

通过其以往对该任务的历史完成率来定义，如下式：

其中，

表示用户i在第t次实验中给出任务k的感知结果达到任务要求，

表示用户i在第t次实验中给出任务k的感知结果未达到任务要求；调和因子ε的作用是避免在实验次数较少时工作者的技能水平估计误差过大；

S53、基于更新后的用户技能水平再来更新所有用户的总期望收益

在本发明一实施例中，在所述步骤S5中，任务分配最大化问题为：

其中r_μ(S_t)是超级手臂S_t里所有工作者在t轮时完成任务的收益。

在所述步骤S6中，采用准确率和后悔值对实测数据进行验证分析，其定义如下：

准确率指的是每种策略最终所选择的用户实际完成任务的概率的均值；令T轮之后的后悔值为ρ，其表示如下：

其中μ*是最大收益的平均数，μ*＝max{μ_K}，

是在t轮时获得的收益。

相较于现有技术，本发明具有以下有益效果：本发明方法将车辆用户轨迹特征与组合多臂赌博机相结合，克服了参与感知任务的用户技能水平不高而导致的感知数据质量差的现象，同时该方法可以使得任务分配算法更快更早地趋于稳定。

附图说明

图1是本发明实施例中考虑轨迹特征的任务分配CUCB策略在1000次迭代下的工作者选择结果。

图2是本发明实施例中考虑轨迹特征的任务分配CUCB策略和不考虑轨迹特征的任务分配UCB策略下的的实验后悔值对比图。

图3是为本发明实施例中考虑轨迹特征的任务分配CUCB策略和不考虑轨迹特征的任务分配UCB策略下的的实验后悔率对比图。

图4是为本发明实施例中考虑轨迹特征的任务分配CUCB策略所选工作者的轨迹图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提出一种结合车辆轨迹聚类与组合多臂赌博机(CMAB)的群智感知车联网用户筛选方法，具体按照如下步骤实现：

步骤S1：对车联网用户行车轨迹进行用户轨迹聚类特征的构建，将轨迹相近的用户聚类为同一群集用户。

先给定道路网络，将覆盖整个道路网络的最小边界矩形划分为一系列网格单元。将包含车辆开始位置、行程位置和目标位置的轨迹投射到网格化后的道路网络中，并将其表示为覆盖其位置的时间有序网格单元序列。根据基于网格单元序列的距离函数计算不同轨迹间的距离。

再通过轨迹映射算法TrajMap将每个轨迹转换为欧氏度量空间中的d维点，也就是将每对轨迹之间的网格序列距离转换成欧氏度量空间的中的每对点之间的距离。

最后在d维欧几里德空间中对轨迹映射的坐标点进行k-means聚类。使用WCSS来判别聚类质量，WCSS值越小则聚类质量越好。通过该聚类方法，使相似程度高的历史行车轨迹的用户聚集在同一个类别中。

步骤S2：根据CMAB模型，从衡量其多臂收益的标准之一后悔值的常用策略中选择出一组超级臂。

后悔值代表的是最优策略对应的总收益和所执行策略的长期累积收益之间的差值。某个策略的后悔值越小，则越趋近于最优策略。常用的策略有如下三种。

Random策略：采用随机选择的方式，每个手臂获得相同的被选中概率。

ε-Greedy策略：在选择手臂的过程中，以ε的概率从所有手臂中随机选择一个进行尝试，执行“探索”操作，以1-ε的概率选择目前收益最高的手臂执行“开发”操作。

UCB策略：在CMAB框架下，定义每个手臂的UCB值如下所示：

其中t为摇臂轮数，n_i,t为手臂i到t轮时被摇的次数，

为手臂i到t轮为止的期望收益，

体现

的不确定度。

步骤S3：将选出的超级臂与用户轨迹聚类特征相结合，先初步估计群集用户技能水平，并更新到当前为止的用户总期望收益。

先根据步骤S2从所述策略中选择一组超级臂S_t。接着为了达到用较少的实验次数来估计所有工作者的技能水平的目的，则根据超级臂的执行结果来初步更新所有集群中用户的技能水平，更新所有用户

其同一集群中用户的技能水平的初步估计如下式：

其中C_p表示工作者i所属簇类，

表示第t次实验工作者h给出任务k的感知结果达到任务质量要求，

表示第t次实验工作者h给出任务k的感知结果未达到任务质量要求，

为用户i到t轮时任务k的总次数。

最后再基于更新后的用户技能水平来更新所有用户的总期望收益即真实反馈

用户i到t轮时在任务k上的总期望收益

为：

其中，用户i到t轮时在任务k上的期望收益

为：

步骤S4：重新选出一组超级臂与用户轨迹聚类特征相结合，利用初步估计的群集用户技能水平及总期望收益来观察工作者的真实反馈，更新工作者自己的技能水平及总期望收益。

先根据步骤S2从所述策略中重新选择一组超级臂S_t。再根据超级臂的执行结果来更新所有集群中用户的技能水平，更新所有用户

该处对于第k项任务，工作者i在该类任务上的技能水平

可通过其以往对该任务的历史完成率来定义，如下式：

其中，

表示用户i在第t次实验中给出任务k的感知结果达到任务要求，

表示用户i在第t次实验中给出任务k的感知结果未达到任务要求。调和因子ε的作用是避免在实验次数较少时工作者的技能水平估计误差过大。

最后基于更新后的用户技能水平再来更新所有用户的总期望收益

步骤S5：迭代执行步骤S4，最终根据更新后的群集用户技能水平进行如数据收集或分布式计算的任务分配，求解出最佳工作者组合即求解任务分配最大化问题。

最终根据步骤S4迭代可得到所有群集用户的技能水平，从这些群集用户中求解出用户技能水平最高的群集用户即为本方法所求解出的最佳工作者组合，求解任务分配最大化问题为：

在上式中，目标函数为任务发布者获得的总收益。其中，

步骤S6：最后根据真实出租车轨迹数据集对该方法进行验证分析。

采用准确率和后悔值对实测数据进行验证分析，其中准确率指的是每种策略最终所选择的用户实际完成任务的概率的均值。令T轮之后的后悔值为ρ，其表示如下：

其中μ*是最大收益的平均数，μ*＝max{μ_K}，

是在t时获得的收益。当准确率越高则该策略越优化，后悔值越低增长较慢则该策略越早趋于稳定。

为了让本领域技术人员进一步了解本发明所提出的一种结合车辆轨迹聚类与组合多臂赌博机的群智感知车联网用户筛选方法，下面结合具体实施例作详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程。

如图1所示，为考虑轨迹特征的任务分配CUCB策略在1000次迭代下的工作者选择结果。

本实施例包括如下具体步骤：

步骤一：本发明中将结合轨迹特征的任务分配使用UCB策略简称为CUCB策略。采用的原始数据集为滴滴出行公司提供的真实出租车轨迹数据，主要为包含了整个成都市在2016年11月的所有出租车轨迹数据，最终对该原始数据集进行预处理，得到如表1为本发明实验中所需数据集。

表1工作者数据示例

步骤二：本发明实验假设用户技能水平服从伯努利分布，设定单个任务即K＝1，假设该任务要求选取的工作者总数量为10人以达到所需的感知质量，最大迭代次数为2000，k-means算法群集数取12。根据步骤S1对表1的数据集进行轨迹聚类特征的构建，即根据这些出租车工作者的历史行车轨迹将所有工作者聚集在不同群集里。

步骤三：根据构建的轨迹聚类特征，可观察CUCB策略在迭代次数T为1000次下的工作者选择结果。在T₁轮前根据步骤S3先初步估计工作者的技能水平。即在T₁轮前不断迭代地执行如下步骤：先根据步骤S2选出一组CUCB策略下的超级臂；接着按照工作者所聚类成不同的群集根据这一群集里的所有工作者的任务完成收益情况统一计算这一群集里的工作者水平，以快速探索所有工作者的技能水平。

步骤四：在T₁轮后根据步骤S4观察工作者的真实反馈，然后更新工作者自己的技能水平(更新个人的，对应类簇里其他的不更新)。

步骤五：根据步骤S5由得到的群集用户技能水平来求解出能够带给任务发布者最大效益的最佳工作者集合。则由此绘制的实验图1中横坐标表示实验的迭代次数，纵坐标表示工作者标号ID，当第t轮工作者j被选择时用黄点标识。则由图1可以看出，在迭代初期，CUCB策略对于工作者的选择较为分散，但随着迭代次数的增加，所选择的工作者趋于稳定。在实验迭代到1000次后，由图1可以看出，感知任务最终所选择的工作者集合为S₁₀₀₀＝{25,58,208,213,272,277,307,331,384,440}。

如图2所示，为本发明中考虑轨迹特征的任务分配CUCB策略和不考虑轨迹特征的任务分配UCB策略下的的实验后悔值对比图。

本实施例包括如下具体步骤：

步骤一：按照表1实验数据以及相应实验参数的设置，可求解出CUCB策略在不同迭代次数下的最佳工作者集合，其步骤类比图1。

步骤二：将求解出的CUCB策略在不同迭代次数下的最佳工作者集合带入公式(5)，计算不同迭代次数下选出的最佳工作者集合的后悔值，并绘制出来，由纵坐标表示。利用公式(5)将计算出的UCB策略在不同迭代次数下的的后悔值进行绘制。则由图2可得，在迭代次数为100时，CUCB策略的后悔值比UCB策略小了19.8％；在迭代次数为200时，CUCB策略的后悔值比UCB策略小了23.6％；而后其他迭代次数，两个值的差距在10％上下波动，体现了轨迹聚类辅助的优势，速度更快更早稳定，后悔值更小。

如图3所示，为本发明中考虑轨迹特征的任务分配CUCB策略和不考虑轨迹特征的任务分配UCB策略下的的实验准确率对比图。

本实施例包括如下具体步骤：

步骤一：按照表1实验数据以及相应实验参数的设置，可求解出CUCB策略在不同迭代次数下的最佳工作者集合，其步骤类比图1。

步骤二：对求解出的CUCB策略在不同迭代次数下的最佳工作者集合计算其实际完成任务的概率的均值即准确率，并进行绘制，由纵坐标表示。同理对由UCB策略选出的工作者计算其准确率并进行绘制。则由图3可得，在迭代次数为100时，CUCB策略的准确率比UCB策略高了14.9％；在迭代次数为200时，CUCB策略的准确率比UCB策略高了15.9％，并且更早趋向于稳定，体现了轨迹聚类辅助的优势，速度更快更早稳定，准确率更高。

如图4所示，为本发明中考虑轨迹特征的任务分配CUCB策略所选工作者的轨迹图。

本实施例包括如下具体步骤：

步骤一：由于数据集过于庞大，因此需缩小数据涉及范围，故截取成都市某块区域内的所有出租车历史行车记录点，并从此区域选取用以设置感知任务的地点。该选定区域包含文殊院景点区域及附近城市道路，经纬度范围为104.07458°-104.08460°E、30.67564°-30.68565°N。实验区域的地图如图4所示，感知地点为在地图里设置50×50m²的方块区域。

步骤二：根据图1所选出的最佳工作者集合S₁₀₀₀的行车轨迹绘制于该实验区域中，用红色字体标注，则由图可以看出，所选工作者的轨迹都会经过任务地点。结合图2和图3可知借助于轨迹聚类所选出的工作者集合S₁₀₀₀相对于没有进行轨迹聚类所选出的集合其感知任务完成质量高，故该实验结果与倾向于选择技能水平高的工作者相符合。即本发明提出的结合轨迹特征和CMAB模型的用户筛选算法所选出的工作者集合具有相同或相似程度高的历史轨迹，对于同一地点的任务具有较高的完成质量，这也说明了本发明所提出的策略适用于实际应用场景。

上述分析说明，本发明所提出的一种结合车辆轨迹聚类与组合多臂赌博机的群智感知车联网用户筛选方法，能够选出具有感知质量高的工作者集合并最大化任务发布者的效益，具有一定的参考价值和实际经济效益。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，包括如下步骤：

步骤S1、对车联网用户行车轨迹进行用户轨迹聚类特征的构建，将轨迹相近的用户聚类为同一群集用户；

步骤S2、根据组合多臂赌博机即CMAB模型，从衡量其多臂收益的标准之一后悔值的策略中选择出一组超级臂；

步骤S3、将选出的超级臂与用户轨迹聚类特征相结合，初步估计群集用户技能水平，并更新到当前为止的用户总期望收益；

步骤S4、重新选出一组超级臂与用户轨迹聚类特征相结合，利用初步估计的群集用户技能水平及总期望收益来观察工作者的真实反馈，更新工作者自己的技能水平以及总期望收益；

步骤S5、迭代执行步骤S4，根据更新后的群集用户技能水平进行如数据收集或分布式计算的任务分配，求解出最佳工作者组合即求解任务分配最大化问题；

步骤S6、最后根据真实出租车轨迹数据集对该方法进行验证分析。

2.根据权利要求1所述的一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，在所述步骤S1中，所述用户轨迹聚类特征通过如下方式构建：

步骤S11、给定道路网络，将覆盖整个道路网络的最小边界矩形划分为一系列网格单元；

步骤S12、将包含车辆开始位置、行程位置和目标位置的轨迹投射到网格化后的道路网络中，并将其表示为覆盖其位置的时间有序网格单元序列；

步骤S13、根据基于网格单元序列的距离函数计算不同轨迹间的距离；

步骤S14、通过轨迹映射算法TrajMap将每个轨迹转换为欧氏度量空间中的d维点；

步骤S15、在d维欧几里德空间中对轨迹映射的坐标点进行k-means聚类；

步骤S16、使用聚类平方和来判别聚类质量。

3.根据权利要求1所述的一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，在所述步骤S2中，后悔值的策略包括：

(1)Random策略：采用随机选择的方式，每个手臂获得相同的被选中概率；

(2)ε-Greedy策略：在选择手臂的过程中，以ε的概率从所有手臂中随机选择一个进行尝试，执行“探索”操作，以1-ε的概率选择目前收益最高的手臂执行“开发”操作；

(3)上置信界策略：在CMAB框架下，定义每个手臂的UCB值如下所示：

其中t为摇臂轮数，n_i,t为手臂i到t轮时被摇的次数，

为手臂i到t轮为止的期望收益，

体现

的不确定度。

4.根据权利要求1所述的一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，在所述步骤S3中，初步估计用户技能水平的步骤如下：

S41、将步骤S2选择的一组超级臂记为S_t；

S42、根据超级臂的执行结果来初步更新所有集群中用户的技能水平，更新所有用户

其同一集群中用户的技能水平的初步估计如下式：

其中C_p表示工作者i所属簇类，

表示第t次实验工作者h给出任务k的感知结果达到任务质量要求，

表示第t次实验工作者h给出任务k的感知结果未达到任务质量要求，

为用户i到t轮时任务k的总次数；

S43、更新所有用户的总期望收益

用户i到t轮时在任务k上的总期望收益

为：

5.根据权利要求1所述的一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，在所述步骤S4中，观察工作者的真实反馈，更新工作者自己的技能水平的步骤如下：

S51、通过步骤S2重新选择一组超级臂S_t；

S52、根据超级臂的执行结果来更新所有集群中用户的技能水平，更新所有用户

对于第k项任务，工作者i在该类任务上的技能水平

通过其以往对该任务的历史完成率来定义，如下式：

其中，

表示用户i在第t次实验中给出任务k的感知结果达到任务要求，

表示用户i在第t次实验中给出任务k的感知结果未达到任务要求；调和因子ε的作用是避免在实验次数较少时工作者的技能水平估计误差过大；

S53、基于更新后的用户技能水平再来更新所有用户的总期望收益

6.根据权利要求4所述的一种结合聚类与CMAB的群智感知车联网用户筛选方法，其特征在于，在所述步骤S5中，任务分配最大化问题为：

其中r_μ(S_t)是超级手臂S_t里所有工作者在t轮时完成任务的收益。

7.根据权利要求1所述的一种结合聚类与组合多臂赌博机的群智感知车联网用户筛选方法，其特征在于，在所述步骤S6中，采用准确率和后悔值对实测数据进行验证分析，其定义如下：

准确率指的是每种策略最终所选择的用户实际完成任务的概率的均值；令T轮之后的后悔值为ρ，其表示如下：

其中μ*是最大收益的平均数，μ*＝max{μ_K}，

是在t轮时获得的收益。

Images