CN114185651A - 一种融合多模态信息的移动群智感知任务推荐方法 - Google Patents

Abstract

任务推荐是当前移动群智感知研究的热点和难点，现有任务推荐忽略任务历史数据的多样性，及不同的感知任务之间可能存在某种关联性，本发明提出了一种多模态相似度网络融合方法，通过融合用户历史参与任务在各模态信息下的相似度网络，构建历史任务之间的相似度网络，然后采用谱聚类方法对相似度网络进行剪枝分类，将历史任务进行划分，最后计算新任务与历史任务之间的多模态相似度，进而判断新任务是否适合推荐给用户。本发明提出的方法，通过从多模态角度研究移动群智感知的任务推荐问题，融合多种有效信息，最终使得对感知用户群的剖析更细致，对感知任务的划分更明确，从而进行的任务推荐更加合理，有效避免资源浪费、节约能耗的同时，提高参与者的积极性，减少恶意用户的数量，提高感知质量。

Description

一种融合多模态信息的移动群智感知任务推荐方法

技术领域

本发明属于移动群智感知领域，具体涉及一种融合多模态历史信息发掘历史任务之间以及历史任务与新任务之间潜在关系的任务推荐方法。

背景技术

移动群智感知（Mobile Crowd Sensing，MCS）是近年来涌现出的新型感知技术，有着传统无线传感器网络（Wireless Sensor Network，WSN）无法比拟的优势。它将用户移动设备（智能手机、平板电脑、可穿戴式智能设备等）作为基本感知单元，通过不同拓扑结构的移动网络进行连接构成大规模的感知系统，从而实现感知数据的收集，是群体智慧在移动数据感知领域的体现。MCS系统通常包含服务器平台、任务发布者以及任务执行者三类角色，其中，服务器平台作为系统管理者，用于完成感知任务的分发、感知数据的处理等一系列核心运算；任务发布者和执行者均是感知用户，他们既可以发布感知任务，也能执行感知任务。

由于社会中移动智能设备的用户群数量巨大且分布广泛，MCS模式可以令闲置的移智能设备资源创造价值，它利用感知用户的手持智能设备所携带的GPS、加速度计、麦克风等功能，以及用户自身的移动性，能够完成一些传统传感网络无法完成的感知任务，比如交通拥堵情况感知，由此可见，MCS具备良好灵活性和高效性。其相关领域的研究包括任务发布、任务分配、数据收集以及结果反馈等方面。如今，也都已被许多传感应用广泛使用，如城市环境监测，基础设施监测，公共安全，交通控制和规划，地理空间信息收集和天气状况等应用，因此，对MCS系统相关问题进行研究是非常有必要的。

任务推荐是MCS的一个基本问题，对MCS应用的效率和有效性至关重要。在现有的感知系统中，单个感知任务可能会被多个感知用户同时执行，这在一定程度上会导致感知数据的冗余。此外，不同的感知任务之间可能存在某种关联性，若各个感知任务都需要独立地被感知将会造成资源的极大浪费。因此，如何设计高效的多模态数据融合机制识别并剔除冗余数据，以及如何准确地将新任务与已经完成任务关联以降低感知成本、提高系统性能还有待进一步研究。

目前的移动群智感知任务推荐均忽略了历史数据的多样性，如任务执行过程中需要的传感器类型可以是速度加速器、摄像头、麦克风等等。而且，不同的感知任务之间可能存在某种关联性，需要设计高效的数据融合机制识别并剔除冗余数据，准确地将新任务与已经完成任务关联以降低感知成本、提高系统性能。本发明通过融合用户历史参与任务在各模态信息下的相似度网络，从而构建历史任务之间的相似度网络，通过计算新任务与历史任务之间的多模态相似度，进而判断新任务是否适合推荐给用户。该方法综合多种类型的历史数据，使得为用户推荐的都是适合自己的任务类型，故而提交的感知数据也会是真实且优质的，借此进一步保障了感知数据质量。

发明内容

本发明的目的是针对现有技术的不足，提供一种融合多模态信息的移动群智感知任务推荐方法。

本发明是通过以下技术方案来实现的：一种融合多模态信息的移动群智感知任务推荐方法，融合用户参与任务的多种模态历史数据，构建历史任务之间的相似度网络，通过计算新任务与历史任务之间的多模态相似度，更加细致的剖析感知用户群，进而为用户推荐新的任务。

本发明的逻辑框架如图1所示，包括如下步骤：构建历史任务在图像信息下的相似度网络：本发明使用Siamese相似度网络模型，借助双通道卷积神经网络，实现两个图像之间的特征提取与相似度计算。

构建历史任务在文本信息下的相似度网络：本发明通过使用词袋模型，对历史任务的文本描述进行特征提取和相似度计算。

融合历史任务在多模态信息下的相似度网络：采用改进的SNF（similaritynetwork fusion）对两种模态的相似度网络进行融合，最终得到历史任务之间的相似度网络。

谱聚类：每个任务当作图上的一个顶点，然后根据相似度将这些顶点连起来，最后进行谱聚类分割，分割后还连在一起的顶点就是同一类。

与现有技术相比，本发明的有益效果是：目前多模态学习领域的研究者都侧重于发掘多模态信息的共享特征空间，这就导致了各模态信息中所独有的那部分特征的损失，造成可用信息资源的浪费。本发明将用户历史参与任务的文本和图像两种模态的信息分别进行特征提取和相似度计算，然后进行多模态相似度网络融合，输出历史任务之间的相似度网络，进而对历史任务进行聚类，计算新任务与历史任务之间的相似度，判断是否将新任务推荐给用户，提高了推荐系统的准确率；采用改进的SNF（similarity network fusion）对两种模态的相似度网络进行融合，用自适应密度估计的高斯核来代替传统的固定密度方法来构造相似矩阵，并通过区分类边界和类内部的顶点，来假定类簇成员关系，达到强调或弱化相似度的效果，从而改善噪声的不利影响；通过从多模态角度研究移动群智感知的任务推荐问题，融合多种有效信息，最终使得对感知用户群的剖析更细致，对感知任务的划分更明确，从而进行的任务推荐更加合理，有效避免资源浪费、节约能耗的同时，提高参与者的积极性，减少恶意用户的数量，提高感知质量。

附图说明

图1为本发明的整体逻辑框架。

图2为双通道卷积神经网络框架图。

图3为相似度网络融合过程示意图。

具体实施方式

下面对本发明内容做更详细地描述。

构建历史任务在图像信息下的相似度网络：判断图片p ₁ 和p ₂ 是否相似，构建一个卷积神经网络，如图2所示，其中映射函数G _w (p)用于图片的特征提取，该网络把p ₁ 和p ₂ 作为参数自变量，全连接层输出G _w (p ₁ )、G _w (p ₂ )，也就是得到用于评价p ₁ 和p ₂ 是否相似的特征向量，最后在网络的最后一层定义损失函数，E _w = || G _w (p ₁ ) - G _w (p ₂ ) ||表示两个向量之间的欧式距离，E _w 值越大，相似度越低，值越小，相似度越高。

构建历史任务在文本信息下的相似度网络：先通过词袋模型提取文本特征，再用欧氏距离衡量两段文本之间的相似度。

步骤：分词；列出所有词；分词编码；词频向量化；套用欧氏距离计量两个句子的相似度。

融合历史任务在多模态信息下的相似度网络：相似度网络融合过程如图3所示，假设用户参加过n个任务{t ₁ , t ₂ , … ,t _n },W(i,j)表示任务t _i 和t _j 之间的相似度。

定义如下: W(i, j) = exp(-ρ ²(t _i ,t _j )/μ﹒ε _i,j )，其中：μ是一个超参数，一般设置的范围为[0.3,0.8]；ρ(t _i ,t _j )表示任务t _i 和t _j 之间的欧式距离；ε _i,j 用于消除缩放比例问题。

下面对任务的相似度矩阵进行归一化，以融合多种相似度矩阵，从而得到状态矩阵p(i, j)，当j≠i,k≠i时：P(i,j) = W(i,j)/2∑W(i,j)；当j = i，P(i,j) = 1/2。

本发明中，首先使用KNN选择与给定任务最近的k个任务，除去距离最近的和最远的邻居后，剩下的用M _i 表示，然后使用NMD方法计算近邻间的相似矩阵S(i, j)，当j∈M _i 时：S(i,j) = K _i ﹒K _j ﹒ρ ² (t _i ,t _j )/mean(ρ(t _i ,M _i ))﹒mean(ρ(t _j ,M _j ))；其他情况S(i,j) = 0。

本质上，聚类过程中，网络中的每个任务顶点都可以被划分为边界点(BP)或内部点(IP)。前者的邻居具有异构的集群成员结构，而后者的所有邻居都属于同一个集群。{d_i}表示任务t _i 与它的邻居M _i 之间的距离，将距离按顺序排列，前30%值记为{d _i } _s ，后30%的值记为{d _i } _L ，引入参数K表示任务t _i 邻域的扩散范围，其中，L _i 和S _i 分别是{d _i } _L 和{d _i } _s 的中值，K _i = L _i - S _i 。

当任务t _i 是内部点时，K _i 通常比较小；当任务t _i 是边界点时，K _i 比较大，因为如果任务t _i 有来自不同簇的邻居，{d _i }的扩散范围会更大设P ⁽¹⁾和P ⁽²⁾分别表示不同模态信息对应的相似度矩阵，对应的核矩阵为S ⁽¹⁾和S ⁽²⁾，若P ⁽¹⁾ _t=0 =P ⁽¹⁾及P ⁽²⁾ _t=0 =P ⁽²⁾分别表示在t = 0时刻两种不同相似度的初始状态。

经过t次迭代得到：P ⁽¹⁾ _t+1 =S ⁽¹⁾∙P ⁽²⁾ ∙(S ⁽¹⁾) ^T 及P ⁽²⁾ _t+1 =S ⁽²⁾∙P ⁽¹⁾ ∙(S ⁽²⁾) ^T ，其中P ⁽¹⁾ _t+1 为第1种模态相似度经过t次迭代后的状态矩阵；P ⁽²⁾ _t+1 为第2种模态相似度经过t次迭代后的状态矩阵。因此，总的融合矩阵计算公式如下：P ^(c) = (P ⁽¹⁾ _t + P ⁽²⁾ _t )/2。

当模态种类m > 2时，P ^(v) = S ^(v)×( ∑ _k≠v P ^(k) / (m-1) ×(S ^(v) ) ^T ，v=1,2,…,m。

谱聚类：每个任务当作图上的一个顶点，然后根据相似度将这些顶点连起来，相似度较低的两个点之间的边权重值较低，而相似度较高的两个点之间的边权重值较高，通过对所有顶点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，最后进行谱聚类分割，分割后还连在一起的顶点就是同一类，从而达到对历史任务分类的目的。

综上所述，本发明提出的一种融合多模态信息的移动群智感知任务推荐方法，为MCS领域，提供了一种高效的多模态历史任务数据融合机制，通过综合多种类型的历史数据，更加准确地将新任务与已经完成任务关联以降低感知成本，使得为用户推荐的都是合适的任务类型，故而提交的感知数据也会是真实且优质的，进一步保障了感知数据质量，提高感知系统性能。

Claims (4)

1.一种融合多模态信息的移动群智感知任务推荐方法，其特征在于，融合用户参与任务的多种模态历史数据，构建历史任务之间的相似度网络，通过计算新任务与历史任务之间的多模态相似度，进而为用户推荐新的任务。

2.根据权利要求1所述的融合多模态信息的移动群智感知任务推荐方法，其特征在于，使用Siamese相似度网络模型，借助双通道卷积神经网络，实现两个图像之间的特征提取与相似度计算；通过使用词袋模型，对历史任务的文本描述进行特征提取和相似度计算。

3.根据权利要求1所述的融合多模态信息的移动群智感知任务推荐方法，其特征在于，采用改进的SNF（similarity network fusion）算法，对两种模态的相似度进行融合，最终得到历史任务之间的相似度网络。

4.根据权利要求1所述的融合多模态信息的移动群智感知任务推荐方法，其特征在于，采用谱聚类，把每个任务当作图上的一个顶点，根据顶点间的相似度进行聚类分割，分割后还连在一起的顶点就是同一类任务，进而计算新任务与历史任务的相似度，并完成用户新任务的推荐。

Images