CN115577316A - 一种基于多模态数据融合的用户人格预测方法与应用 - Google Patents

Abstract

本申请公开了一种基于多模态数据融合的用户人格预测方法与应用。该方法包括：利用网络平台上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得拼接向量；利用网络平台上的用户关系数据，将用户作为图的节点，根据用户关系数据构建节点间的边，将拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值；将用户的文本数据按周期进行划分，根据不同周期的文本数据调整用户的预测值。本发明充分利用了文本、图片和关系多模态的数据，可以提高用户人格预测精准度。

Description

一种基于多模态数据融合的用户人格预测方法与应用

技术领域

本申请涉及信息挖掘技术领域，更具体地，涉及一种基于多模态数据融合的用户人格预测方法与应用。

背景技术

近年来，随着移动通信技术的快速发展，以用户交互为特点的各类网站平台得到广泛普及。用户在网络平台的任何行为都能够反映出用户的偏好及性格等人格特征。特别是，用户之间关注、点评赞等社交行为，能够形成偏好及性格相似的用户群。各视频平台、电商平台、社交平台、知识平台等大型网络平台，都致力于充分挖掘用户交互规律、构建用户偏好与性格的人格画像，以增强用户需求的契合度、提高用户使用热度，进而实现平台价值的提升。与此同时，各大网站平台从以文字为主的模式发展成图、文、音频、视频等多种模态信息兼并的平台。传统的单模态信息处理方法难以充分利用隐含用户关系、用户交互规律的不同模态的信息，更加需要运用多模态数据融合的方法来解决用户人格的预测，这是本发明重点解决的问题。预测平台用户性格在广告推广、个性推荐、心理疾病治疗和预防上有着庞大的应用空间。

网络平台用户交互行为包括自我展示行为、关注行为、转评赞行为、发文行为等，本发明通过自我展示行为、关注行为或转评赞行为和发文行为中生产出的图文信息和拓扑信息，挖掘出这些行为与用户的性格之间的关系。

目前，应用在网络平添上的人格预测方法的训练数据大多来源于单模态，并且缺少关注关系这一特征。由于不是每个用户都会提供图、文、关系这三种信息。如果模型仅能提取其中一种信息，则不得不清理掉没有内容的用户，比如，仅观看别人的状态而不自己发表的用户、仅发文不发图的用户等。

除此之外，将单一用户的所有文本信息进行一次性特征化处理时，难免会将极端信息平均到稳定信息中去。比如，用户在平时只会转发不带观点的生活内容，这些会让该用户在N(neuroticism神经质的、容易焦虑的)维度上获得一个很低的分数，也就是在Emotional Stability上获得很高的分数，但是在负面社会新闻发生时，该用户会发表极端评论，这些暗示了该用户在N维度上应该获得高分。然而，由于生活内容和负面新闻内容数量上的差距，直接统计所有文本信息将把少量的极端内容平均掉，最终导致结果的不准确。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于多模态数据融合的用户人格预测方法，本发明可以提高用户人格预测精准度。

为实现上述目的，按照本发明的第一个方面，提供了一种基于多模态数据融合的用户人格预测方法，包括：

利用用户在网络平台上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量；

利用用户在网络平台上的用户关系数据，将用户作为图的节点，根据用户间的关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将构建的图数据输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值。

进一步地基于多模态数据融合的用户人格预测方法还包括：将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

进一步地，所述情绪不稳定程度包括情感值变化程度和发言频率变化程度，用户i的情感值变化程度记为S_i，用户i的发言频率变化程度记为P_i，

S_i和P_i的计算公式为：

其中，Y_ij+1为用户i第j+1周的情感数值，Y_ij为用户i第j周的情感数值，n为总周期数量，T_ij+1为用户i第j+1周的文本中包含的发文次数，T_ij为用户i第j周的文本中包含的发文次数。

进一步地，所述调整用户的预测值的计算公式为：

其中，N_new代表调整后的用户i在神经质性方面的预测值，N_ori调整前的用户i在神经质性方面的预测值，

代表所有用户的发言频率变化程度P的均值，

代表所有用户在神经质性方面的预测值N_ori的均值，

代表所有用户的情感值变化程度S的均值。

进一步地，用户在网络平台上的关系数据包括用户的仅关注节点及双向关注节点，所述用户人格预测模型在利用用户间的关系数据进行聚合时，分别对用户的仅关注节点及双向关注节点赋予不同的权重。

进一步地，所述文本特征向量为不同种类单词的词频组成的向量，所述图片数据为用户头像，所述图片特征向量为用户头像图片属于不同类别的概率组成的向量。

进一步地，所述用户人格预测模型包括五个预测子模型，每个预测子模型分别用于输出用户在大五人格模型中五个性格维度中的某一维度的预测值，每个预测子模型单独训练。

按照本发明的第二个方面，还提供了一种基于多模态数据融合的用户人格预测系统，包括：

特征向量获取模块，用于向量化用户在网络平台上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量；

预测模块，利用用户在网络平台上的用户关系数据，将用户作为图的节点，根据用户间的关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值。

进一步地，基于多模态数据融合的用户人格预测系统还包括：

反向调整单元，用于将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

按照本发明的第三个方面，还提供了一种存储介质，其存储有可由处理器执行的计算机程序，当所述计算机程序在处理器上运行时，使得处理器执行上述任一项所述方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)节点的语义信息同时包括了用户的用语习惯和偏好图像，多模态的信息能够更全面地体现其性格特征，通过利用多模态的信息进行用户人格预测，可以提高预测精准度。

(2)图神经网络的节点之间有信息传递的特性，用户的关注偏好在一定程度上也能够反映用户性格特征，本发明改进了传统的采样方法以获取该特征。

(3)通过引入时间特征来调整预测值，避免了在不考虑时间的情况下，单一用户的所有图文特征的一次性平均处理对个性带来的巨大误差。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于多模态数据融合的用户人格预测方法的流程示意图；

图2为本申请实施例提供的基于多模态数据融合的用户人格预测方法原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。

如图1和图2所示，本发明实施例的基于多模态数据融合的用户人格预测方法包括步骤S101～S102。一方面，通过利用多模态的信息进行用户人格预测，可以提高预测精准度。另一方面，通过图神经网络的节点之间有信息传递的特性，同时还利用用户关系数据来辅助预测。

进一步地，本发明实施例的基于多模态数据融合的用户人格预测方法还包括步骤S103，通过引入时间特征来调整预测值，避免了在不考虑时间的情况下，单一用户的所有图文特征的一次性平均处理对个性带来的巨大误差。

S101，利用用户在网络平台上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量。也即据预处理阶段。

预处理阶段的目的是将爬虫等手段从互联网上收集到的媒体数据处理成格式化数据，并提取其特征。主要处理对象具体包括文本、头像等。文本利用自然语言处理中的分词技术，得到的单词进行词频统计，词频将作为图神经网络的特征之一；头像图片利用机器视觉中强大的ImageNet库直接提取出图片内容的分类和每个类别的概率，这些概率作为特征向量，这些特征向量也将成为图神经网络中节点自身特征。

接着将得到的文本、图像特征属性进行格式转换成图神经网络的可读格式，也就是在数据输入到神经网络之前进行跨模态融合。具体做法为将由文本统计信息和图像分类信息拼接作为图片语义向量，并处理成GNN节点自身语义特征。

下面具体说明文本特征提取、图像特征提取和特征拼接的优选实现方式。

(1)文本特征提取

假设本专利的数据源是社交媒体网站的一部分用户的爬虫结果，每一个用户都能爬取到用户简介、用户头像、用户博文、用户粉丝、用户关注。每个用户的这加上唯一标识id可以抽象为社交媒体关系网的拓扑图中的一个用户节点。

遍历每个用户的博文作为文本数据集，该数据集来自每个用户主页的时间线上的所有文字信息，并且仅包含正文文字。

如果数据为中文文本，则需要利用jieba分词工具首先将单词从句子中切分开，如果数据为英文文本，则可以免去此步骤。

本发明优选利用LIWC软件提取文本中的特征词词频。打开LIWC软件，将分好词的文本以用户为单位输入软件，软件将输出每个用户的文本中，每种种类单词的词频。单词种类一共有15种，包括单数主语(本人、自己、我)、复数主语(我们，我俩、咱们)、复数第三人称(他们、她们)、动词(分享、做、提出)、数量形容词(一些、众多、所有)、虚拟语气词(本、该、每)、社交词(给、打电话、见面)、感情词(怜悯、温暖、敏锐)、正面情感(信心、满足、祝福)、负面情感(担忧、猜疑、报复)、不安情感(不安、顾虑、怀疑)、进食(吃、喝、口渴)、成就(擅长、挑战、胜利)、爱(爱、接吻、表白)、听觉(说话、声音、呐喊)。

然后，将15种种类的词频组成用户的文本特征向量。比如，用户A在统计词频之后，在15种种类的单词数分别为10、15、17、3、8、11、28、12、19、5、0、0、5、13、22。则用户A的文本特征向量为(10,15,17,3,8,11,28,12,19,5,0,0,5,13,22)。

(2)图像特征提取

首先将所有图片处理成相同分辨率，如227×227。接着将图片输入神经网络，利用预训练好的模型，可以让每张图片输出一个分类向量。由于图片分类技术已经发展成熟，故本发明具体实现为现有技术，数据源是由斯坦福大学提供的众包标注数据，包含1400万张图片和2万多种图片分类；预训练模型可以优选使用ResNet101，该模型的数据源包含了ImageNet中的120万张图片和1000种分类。

准备好预训练模型后，将用户的头像数据输入该模型并进行分类预测。在模型的输出层本该输出预测结果的分类，本发明将在全连接层得到的所有分类的概率向量作为输出，而不再输出唯一结果。

由于直接获取了所有分类的概率，则将所有用户的图像特征向量列在一起的时候会产生明显的稀疏性。所以，这一步将每一个用户的图像特征向量作为一行，n个用户为n行，1000个分类为1000列，组合成n×1000的矩阵。然后进行稀疏性过滤，即若某一列中超过90％的元素值在0.1以下，则删除这一列。过滤之后的矩阵的每一行即是一个用户的图像特征向量。

(3)特征向量拼接

假设过滤后的图像特征向量的维度是m，将每个用户的文本特征向量后面拼接上图像特征向量，那么完整的用户特征向量的维度是15+m。

S102，利用用户在社交网络上的用户关系数据，将用户作为图的节点，根据用户关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值

基于图神经网络的用户人格预测模型是用于输出每个节点/用户的人格预测值，具体可以是大五人格模型中五个性格维度上的预测值，包括O(经验开放性)、C(认真性)、E(外倾性)、A(宜人性)、N(神经质性)五个值。

进一步地，用户人格预测模型包括五个预测子模型，每个预测子模型分别用于输出用户在某一维度的预测值，每个预测子模型单独训练。一个神经网络仅计算一种人格分数。

(1)构建边

如大部分GNN算法的输入数据一样，本发明实施例中，边文件需要准备成每行一个节点对的utf-8编码txt或csv文件。本发明实施例优选使用GraphSage图神经网络。假设每个用户是拓扑图中的一个节点，并且每个用户节点相应有一个唯一标识id，节点对指两个节点之间有关注关系，由于GraphSage是无向图模型，所以只要有单向关注就可以构建边。文件中以在同一行的两个节点id表示，并用英文逗号隔开。

(2)采样方案

由于假设了本专利的数据源是社交媒体网站的爬虫结果，那么关系数据可以是描述用户间关注关系的数据。如果数据源在视频平台、电商平台、新闻平台，那么关系数据可以是描述用户间评论、点赞关系、收藏关系与粉丝群等数据。

在构建边的时候忽略了关注方向的信息，所以在采样步骤中将关注方向信息加回到模型中来。通过分析可以得出结论，一个用户所关注、喜爱的东西决定了一个人的性格，性格并不是由其关注者决定的。那么，在图神经网络中需要被传递的信息仅发生在主动关注这一个行为中。所以，在采样时仅采样当前节点的关注节点，其中包括仅关注节点及双向关注节点，忽略被关注节点。并且，用户人格预测模型在利用用户间的关系数据进行聚合时，分别对用户的仅关注节点及双向关注节点赋予不同的权重。于是，本发明给出的采样方案中，双向关注边与关注边与被关注边的权重比为6:3:1。

(3)聚合函数

在GraphSage模型中，每一层中某个节点的表示来自于其上一层的表示和其采样节点的表示的聚合。本发明在直接聚合的基础上，对双向关注节点和仅关注节点加上了不同的权重，聚合函数如下：

与GraphSage中的平均聚合函数相似，下一层的节点表示由上一层该节点的表示和上一层其邻居节点的表示平均后获得，本发明在此基础上将双向关注的朋友节点又加了一次以提高其权重。式中

表示节点v在第k层的表示；Bi(v)表示和v双向关注的节点；Si(v)表示v的仅关注节点；

表示k-1层节点v的表示，MEAN()表示均值函数，W表示权重矩阵，σ表示sigmoid激活函数，

表示k-1层节点u的表示。

(4)损失函数

由于本发明的目的并不是得到节点的表示而是得到节点的人格分数，所以不选用GraphSage原本的无监督损失函数，本发明实施例选用的损失函数为均方误差。

(5)训练及预测

利用问卷得到的少数人的人格分数为标注，对其余用户进行预测。对五种人格分别训练一个图神经网络，分别得到该人格的分数，即同一个用户样本，需要5个不同的分数标注，分别进行五次训练，得到五个图神经网络模型和预测结果。

S103，将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

具体地，在图网络得到的大五人格分数的基础上，求出N这一维度的分数在时间维度上的稳定性，再将稳定性与图神经网络得出的分数做对比和调整，输出符合条件的节点分数、反向调整不符合的，输出最终分数。

下面对上述步骤作详细说明。

(1)文本数据切分

将每个用户的发文文本以一周为周期切分成多个文件，那么用户i的第j周的所有发文X就是文件X_ij。

(2)情感分析

使用stanford NLP等分析工具，对每个切分好的文本进行情感分析，每个切分文本文件绑定一个情感值Y，那么用户i的第j周的情感值就是Y_ij。

(3)不稳定性评估

评估一个用户在情绪上的不稳定性有两种途径，第一是情感值的变化程度，第二是发言频率的变化。那么，一个用户的情感不稳定程度由以下公式体现：

其中，S_i表示用户i的情感不稳定程度，S_i值越大表明该用户情绪越不稳定，代表该用户经常发表情绪突变的发言。n是该用户文本切分的个数，j指第j周的文本，σ负责判断相邻两周情绪的极性是否相同其中，Y_ij+1为第j+1周的情感值，Y_ij为第j周的情感值，n为总周期数量。该公式计算了用户每两周直接的情绪变化差值，并且，在情绪的正负值变化的时候，将该变化放大。

接着，一个用户的发言频率变化程度由以下公式体现：

其中，P表示该用户发言频率的变化程度，P值越大表示该用户发言频率变化越大，代表该用户有着突发性集中发言和突发性沉默的情况。T_ij+1为第j+1周的文本中包含的发文次数，T_ij为第j周的文本中包含的发文次数。

(4)N值更新

在图神经网络的预测结果中的N值的大小，和上述公式体现出来的不稳定性不一致的情况下，表明此时的图神经网络N值预测结果与真实情况偏差较大。

目前大五人格统计报告中显示，人群的平均得分为：O＝17.5，C＝20，E＝17.5，A＝20，N＝21，在预测值比人群平均得分高时，判断为高神经敏感用户，比人群平均得分低时，判断为情绪稳定用户。同理，当用户的S值和P值大于所有被测用户的平均值时，判定为高神经敏感用户，低于平均值时，判定为情绪稳定用户。更新公式如下：

其中，N_new代表调整后的用户在神经质性方面的预测值，N_ori调整前的用户在神经质性方面的预测值，

代表所有用户的发言频率变化程度P的均值，

代表所有用户在神经质性方面的预测值N_ori的均值，

代表所有用户的情感值变化程度S的均值。

本发明实施例的一种基于多模态数据融合的用户人格预测系统，包括：

特征向量获取模块，用于向量化用户在网络上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量；

预测模块，利用用户在社交网络上的用户关系数据，将用户作为图的节点，根据用户关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值。

进一步地，基于多模态数据融合的用户人格预测系统，还包括：反向调整单元，用于将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

特征向量获取模块包括用语习惯统计单元、头像特征抽取单元、特征向量拼接单元。用语习惯统计单元负责从用户的博文中抽取文本模态的特征；头像特征抽取单元负责从用户使用的头像图片中抽取图像模态的特征；特征向量拼接单元负责将图文两种模态特征组合，并保证每个用户的特征向量维度相同。

用语习惯统计单元，包括去噪声模块、通用统计模块、LIWC统计模块、n-gram模块，用于提取用户的博文中的文本特征。

头像特征抽取单元，包括分类预训练单元、分类预测单元，用于提取用户自我展示的图像的分类，并作为图像特征。

特征向量拼接单元，包括归一化单元、组合单元，组合单元用于组合图文特征。

反向调整单元包括周期切片模块和调整模块。

系统的实现方法和上述方法相同，此处不再赘述。

本申请还提供一种存储介质，其存储有可由处理器执行的计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述任一项上述基于多模态数据融合的用户人格预测方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，可通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，系统或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据融合的用户人格预测方法，其特征在于，包括：

利用用户在网络平台上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量；

利用用户在网络平台上的用户关系数据，将用户作为图结构的节点，根据用户关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值。

2.如权利要求1所述的基于多模态数据融合的用户人格预测方法，其特征在于，还包括：将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

3.如权利要求2所述的基于多模态数据融合的用户人格预测方法，其特征在于，所述情绪不稳定程度包括情感值变化程度和发言频率变化程度，用户i的情感值变化程度记为S_i，用户i的发言频率变化程度记为P_i，

S_i和P_i的计算公式为：

其中，Y_ij+1为用户i第j+1周的情感数值，Y_ij为用户i第j周的情感数值，n为总周期数量，T_ij+1为用户i第j+1周的文本中包含的发文次数，T_ij为用户i第j周的文本中包含的发文次数。

4.如权利要求3所述的基于多模态数据融合的用户人格预测方法，其特征在于，所述调整用户的预测值的计算公式为：

其中，N_new代表调整后的用户i在神经质性方面的预测值，N_ori调整前的用户i在神经质性方面的预测值，

代表所有用户的发言频率变化程度P的均值，

代表所有用户在神经质性方面的预测值N_ori的均值，

代表所有用户的情感值变化程度S的均值。

5.如权利要求4所述的基于多模态数据融合的用户人格预测方法，其特征在于，用户在网络平台上的关系数据包括用户的仅关注节点及双向关注节点，所述用户人格预测模型在利用用户间的关系数据进行聚合时，分别对用户的仅关注节点及双向关注节点赋予不同的权重。

6.如权利要求1所述的基于多模态数据融合的用户人格预测方法，其特征在于，所述文本特征向量为不同种类单词的词频组成的向量，所述图片数据为用户头像，所述图片特征向量为用户头像图片属于不同类别的概率组成的向量。

7.如权利要求1所述的基于多模态数据融合的用户人格预测方法，其特征在于，所述用户人格预测模型包括五个预测子模型，每个预测子模型分别用于输出用户在大五人格模型中五个性格维度中的某一维度的预测值，每个预测子模型单独训练。

8.一种基于多模态数据融合的用户人格预测方法，其特征在于，包括：

特征向量获取模块，用于向量化用户在网络上的文本数据和图片数据，从文本数据和图片数据中分别提取文本特征向量和图片特征向量，将文本特征向量和图片特征向量进行拼接，获得用户的拼接向量；

预测模块，利用用户在网络上的用户关系数据，将用户作为图的节点，根据用户关系数据构建节点间的边，将用户的拼接向量作为节点的语义表示，将图输入到基于图神经网络的用户人格预测模型中，输出用户人格预测值。

9.如权利要求8所述的基于多模态数据融合的用户人格预测方法，其特征在于，还包括：

反向调整单元，用于将用户的文本数据按周期进行划分，根据不同周期的文本数据按照预设计算公式计算用户的情绪不稳定程度，根据用户的情绪不稳定程度调整用户的预测值。

10.一种存储介质，其特征在于，其存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行权利要求1～7任一项所述方法的步骤。

Images