CN111914885B - 基于深度学习的多任务人格预测方法和系统 - Google Patents

基于深度学习的多任务人格预测方法和系统 Download PDF

Info

Publication number
CN111914885B
CN111914885B CN202010568812.1A CN202010568812A CN111914885B CN 111914885 B CN111914885 B CN 111914885B CN 202010568812 A CN202010568812 A CN 202010568812A CN 111914885 B CN111914885 B CN 111914885B
Authority
CN
China
Prior art keywords
image
user
text
data
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010568812.1A
Other languages
English (en)
Other versions
CN111914885A (zh
Inventor
刘业政
田志强
井二康
张雪
李哲
姜元春
孙见山
钱洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010568812.1A priority Critical patent/CN111914885B/zh
Publication of CN111914885A publication Critical patent/CN111914885A/zh
Application granted granted Critical
Publication of CN111914885B publication Critical patent/CN111914885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的多任务人格预测方法和系统，涉及深度学习领域。包括以下步骤：获取用户文本数据、用户图像数据和用户点赞数据；对数据预处理，得到文本训练数据、图像训练数据和点赞训练数据；基于三种训练数据获取文本向量、图像向量和偏好特征向量；对文本向量和图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对矩阵进行特征提取，得到文本特征向量和图像特征向量；将文本特征向量、图像特征向量和偏好特征向量进行拼接处理，得到用户特征向量；将用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。本发明可以准确分析用户的人格特征。

Description

基于深度学习的多任务人格预测方法和系统
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于深度学习的多任务人格预测方法和系统。
背景技术
随着互联网技术的发展，各式各样的社交平台也随之产生。用户的人格被定义为在一定生物和环境因素下的行为、认知和情感模式的特征集合，具体表现可以是一个人的性格、兴趣、价值观和需要等。人格特征决定了人的行为模式，反过来，人的行为模式也反映了一个人的人格特征。因此在对平台的个性化推荐上，分析社交平台用户的人格特征尤为重要。而用户在社交平台上的行为特征可以用来预测用户的人格特征，从而预测用户的偏好。
现有技术在分析用户的人格特征上一般采用以下方法：通过深度学习方法，对用户产生的文本数据进行分析来预测用户的人格特征；融合用户的图像数据、文本数据和关系数据进行人格特征预测；通过对用户发表微博的字数长短、有无图片、是否为转发等统计特征做序列分析来进行人格特征预测。
然而本申请的发明人发现，现有技术在实际应用中，仅对单方面数据进行了应用，没有充分将不同来源的数据融合分析。因此现有技术在分析用户的人格特征上准确度较低。即现有技术存在准确性低的缺点。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度学习的多任务人格预测方法和系统，解决了现有技术准确性低的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明解决其技术问题所提供的一种基于深度学习的多任务人格预测方法，所述预测方法由计算机执行，包括以下步骤：
S1、获取用户社交数据，形成历史数据；所述历史数据包括：用户行为数据和人格标签数据，所述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对所述用户文本数据、所述用户图像数据和所述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于所述文本训练数据获取文本向量；基于所述图像训练数据获取图像向量；基于所述点赞训练数据获取偏好特征向量；
S4、对所述文本向量和所述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对所述文本矩阵和所述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将所述文本特征向量、所述图像特征向量和所述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将所述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；所述多任务人格预测模型用于预测用户的人格特征。
优选的，在S2中，所述预处理包括：
对用户进行筛选，得到历史用户，保留历史用户对应的用户行为数据；所述历史用户为：发表内容超过预设值且点赞其他用户的发表内容超过预设值的用户。
优选的，在S3中，所述文本向量的获取方法包括：
对所述文本训练数据进行统计，选取时间距离最近的若干条记录，形成文本内容集合，基于预训练的Bert模型对所述文本内容集合进行处理，得到文本向量，具体为：
senti_vec＝Bert(senti)
其中：
senti表示第i个文本训练数据。
优选的，在S3中，所述图像向量的获取方法包括：
对所述图像训练数据进行统计，选取时间距离最近的若干条记录，形成图像内容集合，基于预训练的VGG-16模型对所述图像内容集合进行处理，得到图像向量，具体为：
imagei_vec＝VGG16(imagei)
其中：
imagei表示第i个图像训练数据。
优选的，在S3中，所述偏好特征向量的获取方法包括：
获取用户的社交关系：
其中：itemm表示用户user1参与互动的动态；
用户与其他用户产生的数据有过互动，即作为一条点赞训练数据，每个用户所有的点赞训练数据构成一个社交网络G1；
基于Node2Vec方法获得每个用户的偏好特征向量：
usern_vec＝Node2Vec(Gn)
其中：
Gn表示第n个用户。
优选的，在S4中，所述文本矩阵的获取方法包括：
将所述文本向量拼接成预设格式的文本矩阵D_matrix：
D_matrix＝concat(senti_vec)
其中：
senti_vec表示文本向量；
所述图像矩阵的获取方法包括：
将所述图像向量拼接成预设格式的图像矩阵Image_matrix：
Image_matrix＝concat(imagei_vec)
其中：
imagei_vec表示图像向量。
优选的，在S4中，所述文本特征向量的获取方法包括：
基于卷积操作对所述文本矩阵进行处理，得到文本特征向量：
Dconv1＝ReLU(W1·D_matrix+b1)
D_vec＝ReLU(W2·Dconv1+b2)
其中：
W1、W2表示权重；b1、b2表示偏置；
ReLU表示激活函数；
所述图像特征向量的获取方法包括：
基于卷积操作对所述图像矩阵进行处理，得到文本特征向量：
Imageconv1＝ReLU(W3·Image_matrix+b3)
Image_vec＝ReLU(W4·Imageconv1+b4)
其中：
W3、W4表示权重；b3、b4表示偏置；
ReLU表示激活函数。
优选的，在S6中，所述多任务人格预测模型的获取方法包括：
将所述用户特征向量输入到预训练的多任务分类全连接网络中，利用两层全连接网络和softmax层处理，得到多任务分类的每个子任务值，具体包括：
h1＝W5·V+b1
h1_act＝sigmoid(h1)
h2＝W6·h1_act+b2
其中：
V表示用户特征向量，V＝concat(usern_vec，D_vec，Image_vec)；
W5、W6表示权重；
h1表示两层全连接层中第一层的输出；
h1_act表示h1经激活函数的输出；
h2表示两层全连接层中第二层的输出；
sigmoid为激活函数；
softmax将得到的子任务值映射到[0，1]区间内；
预设的损失函数为：
其中：
loss表示各个子任务的均方误差；
L即表示子任务的个数。
优选的，还包括：
基于所述多任务人格预测模型获取用户在每个人格维度上的概率值，基于所述每个人格维度上的概率值和所述人格标签数据获取用户每个人格维度上的得分。
本发明解决其技术问题所提供的一种基于深度学习的多任务人格预测系统，所述系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取用户社交数据，形成历史数据；所述历史数据包括：用户行为数据和人格标签数据，所述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对所述用户文本数据、所述用户图像数据和所述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于所述文本训练数据获取文本向量；基于所述图像训练数据获取图像向量；基于所述点赞训练数据获取偏好特征向量；
S4、对所述文本向量和所述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对所述文本矩阵和所述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将所述文本特征向量、所述图像特征向量和所述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将所述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；所述多任务人格预测模型用于预测用户的人格特征。
(三)有益效果
本发明提供了一种基于深度学习的多任务人格预测方法和系统。与现有技术相比，具备以下有益效果：
本发明通过获取用户文本数据、用户图像数据和用户点赞数据；对用户文本数据、用户图像数据和用户点赞数据预处理，得到文本训练数据、图像训练数据和点赞训练数据；基于三种训练数据获取文本向量、图像向量和偏好特征向量；对文本向量和图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对文本矩阵和图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；将文本特征向量、图像特征向量和偏好特征向量进行拼接处理，得到用户特征向量；将用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。本发明融合了用户产生的文本数据、图像数据和关系数据，弥补了单一数据源在用户特征表征上的不足，可以准确分析用户的人格特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的基于深度学习的多任务人格预测方法的整体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于深度学习的多任务人格预测方法和系统，解决了现有技术准确性低问题，可以准确预测用户的人格特征。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例通过获取用户文本数据、用户图像数据和用户点赞数据；对用户文本数据、用户图像数据和用户点赞数据预处理，得到文本训练数据、图像训练数据和点赞训练数据；基于三种训练数据获取文本向量、图像向量和偏好特征向量；对文本向量和图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对文本矩阵和图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；将文本特征向量、图像特征向量和偏好特征向量进行拼接处理，得到用户特征向量；将用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。本发明实施例融合了用户产生的文本数据、图像数据和关系数据，弥补了单一数据源在用户特征表征上的不足，可以准确分析用户的人格特征。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种基于深度学习的多任务人格预测方法，该方法由计算机执行，如图1所示，包括以下步骤：
S1、获取用户社交数据，形成历史数据；上述历史数据包括：用户行为数据和人格标签数据，上述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对上述用户文本数据、上述用户图像数据和上述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于上述文本训练数据获取文本向量；基于上述图像训练数据获取图像向量；基于上述点赞训练数据获取偏好特征向量；
S4、对上述文本向量和上述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对上述文本矩阵和上述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将上述文本特征向量、上述图像特征向量和上述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将上述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；上述多任务人格预测模型用于预测用户的人格特征。
本发明实施例通过获取用户文本数据、用户图像数据和用户点赞数据；对用户文本数据、用户图像数据和用户点赞数据预处理，得到文本训练数据、图像训练数据和点赞训练数据；基于三种训练数据获取文本向量、图像向量和偏好特征向量；对文本向量和图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对文本矩阵和图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；将文本特征向量、图像特征向量和偏好特征向量进行拼接处理，得到用户特征向量；将用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。本发明实施例融合了用户产生的文本数据、图像数据和关系数据，弥补了单一数据源在用户特征表征上的不足，可以准确分析用户的人格特征。
下面对各步骤进行具体分析。
在步骤S1中，获取用户社交数据，形成历史数据；上述历史数据包括：用户行为数据和人格标签数据，上述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据。
具体的，本发明实施例以微博社交平台为例。
首先获取用户的行为数据和人格标签数据。
其中，用户行为数据包括用户在社交媒体所发表内容(文本、图片等)、对其他用户发表的内容进行点赞的记录。
用户发表一个动态所产生的文本内容，看作是一个句子，作为一条记录，记为senti，其中i表示文本的序号。用户发表的动态内容所包含的一个图像内容作为一条记录，记为imagei，其中i表示图像的序号。用户点赞一条其他用户所发表的动态作为一条记录，记为likei，其中i表示点赞的动态的序号。这里N取10，i∈{1，2，…，10}。
人格标签数据为大五人格五个维度得分，最高分为5分，最低分为0分。
大五人格是现在研究人员比较认可一致的人格模式。大五人格提出人的物种人格特质，分别是开放性、责任心、外倾性、宜人性、神经质性。在本发明实施例中，大五人格的各个维度得分通过大五人格问卷数据分析获得。
在步骤S2中，对上述用户文本数据、上述用户图像数据和上述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据。
具体的，本发明实施例对用户进行筛选，得到历史用户，保留历史用户对应的用户行为数据。
上述历史用户为：发表内容超过预设值(本发明实施例设定预设值为9)且点赞其他用户的发表内容超过预设值的用户。
即保留发表内容(发表的内容包含文本和图片)在10条及10条以上，同时点赞其他用户发表的内容在10次及10次以上的用户数据。
通过简单的统计，对数据进行过滤，保留符合条件的数据用于接下来的处理及模型训练。
在步骤S3中，基于上述文本训练数据获取文本向量；基于上述图像训练数据获取图像向量；基于上述点赞训练数据获取偏好特征向量。
在本发明实施例中，需要对用户产生的行为数据进行嵌入表示，具体包括：
S301、获取文本向量。
本发明实施例对上述文本训练数据进行统计，选取时间距离最近的若干条记录，形成文本内容集合。对于用户发表的文本内容senti，取时间距离最近的10条记录，记为D＝{sent1，sent2，…，sent10}，D表示用户产生文本内容集合，称为一个文档。
基于预训练的Bert模型对所述文本内容集合进行处理，得到文本向量，具体为：
senti_vec＝Bert(senti)
其中：
senti表示第i个文本训练数据。
Bert是谷歌发布的自然语言处理预训练模型，为现有技术。具体的，Bert模型被验证在11个自然语言处理任务上刷新了记录，且提供了英文版和中文版的预训练模型，输入句子即可得到句子的向量表示。
本发明实施例根据上式可以得到每条文本的768维向量表示。
S302、获取图像向量。
对上述图像训练数据进行统计，选取时间距离最近的若干条记录，形成图像内容集合。对于用户产生的图像数据，取时间距离最近的N条记录，并将图像处理成224×224×3的格式，记为Image＝{image1，iamge2…，iamge10}。
基于预训练的VGG-16模型对所述图像内容集合进行处理，得到图像向量，具体为：
imagei_vec＝VGG16(imagei)
其中：
imagei表示第i个图像训练数据。
VGG-16是VGG卷积神经网络模型的一种，为现有技术。VGG-16具有13个卷积层和3个全连接层，可以很好的学习图像的特征。
本发明实施例对于每一张图片输出一个1×512的特征向量。
S303、获取偏好特征向量。
用户社交特征通过用户在社交平台中的互动体现。如用户user1的社交关系可以表示为：
其中：itemm表示用户user1参与互动的动态。
用户与其他用户产生的数据有过互动，即作为一条点赞训练数据，每个用户所有的点赞训练数据构成一个社交网络G1。
基于Node2Vec方法获得每个用户的偏好特征向量。
Node2Vec是用来产生网络中节点向量的模型，为现有技术。其输入是网络结构，输出是每个节点的向量。NodesVec方法对节点网络中的节点通过特定游走方式进行采样，得到一系列的节点序列，将这些序列视为文本序列利用word2vec原理进行训练获得节点的向量表示。
具体的：
usern_vec＝Node2Vec(Gn)
其中：
Gn表示第n个用户。
针对特定用户usern，可以得到该用户的社交特征向量usern_vec，本发明实施例中维度设定为128。
在步骤S4中，对上述文本向量和上述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对上述文本矩阵和上述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量。
具体包括：
S401、获取文本矩阵和图像矩阵。
将上述文本向量拼接成预设格式(10×768)的文本矩阵D_matrix：
D_matrix＝concat(senti_vec)
其中：
senti_vec表示文本向量。
上述图像矩阵的获取方法包括：
将上述图像向量拼接成预设格式(10×512)的图像矩阵Image_matrix：
Image_matrix＝concat(imagei_vec)
其中：
imagei_vec表示图像向量。
S402、获取文本特征向量和图像特征向量。
基于卷积操作对上述文本矩阵进行处理，得到文本特征向量：
Dconv1＝ReLU(W1·D_matrix+b1)
D_vec＝ReLU(W2·Dconv1+b2)
其中：
W1、W2表示权重；b1、b2表示偏置；
ReLU表示激活函数。
在本发明实施例中，W表示需要学习的权重矩阵，b表示偏置，均可以通过模型训练得到。
卷积操作通过两个卷积层实现，第一个卷积层的卷积核大小为3×3，即W1的维度为3×3，卷积核移动步长为2。第二个卷积核大小为5×5，即W2的维度为5×5，卷积核移动步长为3。经过两次卷积，得到维度为128的一维特征向量。
上述图像特征向量的获取方法包括：
基于卷积操作对上述图像矩阵进行处理，得到文本特征向量：
Imageconv1＝ReLU(W3·Image_matrix+b3)
Image_vec＝ReLU(W4·Imageconv1+b4)
其中：
W3、W4表示权重；b3、b4表示偏置；
ReLU表示激活函数。
卷积操作通过两个卷积层实现，第一个卷积核大小为3×3，即W3的维度为3×3，卷积核的移动步长为2。第二个卷积核大小为3×3，即W4的维度为3×3，卷积核的移动步长为2。经过两次卷积得到128维的一维特征向量。
在步骤S5中，将上述文本特征向量、上述图像特征向量和上述偏好特征向量进行拼接处理，得到用户特征向量。
具体的，将S4得到的两个特征向量和用户社交偏好特征向量拼接成一个特征向量V，作为多任务分类网络的输入。
V＝concat(D_vec，Image_vec，user_vec)
将D_vec、Image_vec和user_vec横向拼接成1×378维的向量，作为下游多任务分类网络的输入。
在步骤S6中，将上述用户特征向量输入到预训练的多任务分类全连接网络中，得到损失函数，基于Adam优化方法对上述损失函数进行处理，得到多任务人格预测模型；上述多任务人格预测模型用于预测用户的人格特征。
具体的，将上述用户特征向量输入到预训练的多任务分类全连接网络中，利用两层全连接网络和softmax层处理，得到多任务分类的每个子任务值。具体包括：
h1＝W5·V+b1
h1_act＝sigmoid(h1)
h2＝W6·h1_act+b2
其中：
V表示用户特征向量，V＝concat(usern_vec，D_vec，Image_vec)；
W5、W6表示权重；
h1表示两层全连接层中第一层的输出；
h1_act表示h1经激活函数的输出；
h2表示两层全连接层中第二层的输出；
sigmoid为激活函数；
softmax将得到的子任务值映射到[0，1]区间内。
损失函数定义为各个子任务的均方误差：
其中：
loss表示各个子任务的均方误差；
L即表示子任务的个数(本发明实施例中取5)。
通过Adam优化器对模型进行训练。
Adam优化器是计算每个参数的自适应学习率的一种方法，为现有技术。Adam算法很容易实现，并且有很高的计算效率和较低的内存需求。Adam算法梯度的对角缩放具有不变性，因此很适合求解带有大规模数据或参数的问题。
本发明实施例还包括：
S7、基于上述多任务人格预测模型获取用户在每个人格维度上的概率值，基于上述每个人格维度上的概率值和上述人格标签数据获取用户每个人格维度上的得分。
具体的，训练得到模型后，对于未知人格的用户，将其数据按照模型输入格式输入到训练好的模型中，即可对该用户的人格进行预测，得到该用户在各个人格维度上的概率值，乘以分值上限即可得到各个人格维度的得分，如下式。对于用户数据不足10的，用0进行填充。
本发明实施例还提供了一种基于深度学习的多任务人格预测系统，上述系统包括计算机，上述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，上述至少一个存储单元中存储有至少一条指令，上述至少一条指令由上述至少一个处理单元加载并执行以实现以下步骤：
S1、获取用户社交数据，形成历史数据；上述历史数据包括：用户行为数据和人格标签数据，上述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对上述用户文本数据、上述用户图像数据和上述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于上述文本训练数据获取文本向量；基于上述图像训练数据获取图像向量；基于上述点赞训练数据获取偏好特征向量；
S4、对上述文本向量和上述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对上述文本矩阵和上述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将上述文本特征向量、上述图像特征向量和上述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将上述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；上述多任务人格预测模型用于预测用户的人格特征。
可理解的是，本发明实施例提供的上述预测系统与上述预测方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于深度学习的多任务人格预测方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例通过获取用户文本数据、用户图像数据和用户点赞数据；对用户文本数据、用户图像数据和用户点赞数据预处理，得到文本训练数据、图像训练数据和点赞训练数据；基于三种训练数据获取文本向量、图像向量和偏好特征向量；对文本向量和图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对文本矩阵和图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；将文本特征向量、图像特征向量和偏好特征向量进行拼接处理，得到用户特征向量；将用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。本发明实施例融合了用户产生的文本数据、图像数据和关系数据，弥补了单一数据源在用户特征表征上的不足，可以准确分析用户的人格特征。
2、在融合多源数据的基础上，本发明实施例引入了多任务的深度学习方法。多任务学习给出了多个监督标签，利用任务之间的相关性相互促进，提高了模型的效果。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于深度学习的多任务人格预测方法，其特征在于，所述预测方法由计算机执行，包括以下步骤：
S1、获取用户社交数据，形成历史数据；所述历史数据包括：用户行为数据和人格标签数据，所述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对所述用户文本数据、所述用户图像数据和所述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于所述文本训练数据获取文本向量；基于所述图像训练数据获取图像向量；基于所述点赞训练数据获取偏好特征向量；
S4、对所述文本向量和所述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对所述文本矩阵和所述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将所述文本特征向量、所述图像特征向量和所述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将所述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；所述多任务人格预测模型用于预测用户的人格特征，从而预测用户的偏好；
S7、基于所述多任务人格预测模型获取用户在每个人格维度上的概率值，基于所述每个人格维度上的概率值和所述人格标签数据获取用户每个人格维度上的得分；
其中，在S3中，所述文本向量的获取方法包括：
对所述文本训练数据进行统计，选取时间距离最近的若干条记录，形成文本内容集合，基于预训练的Bert模型对所述文本内容集合进行处理，得到文本向量，具体为：
senti_vec＝Bert(senti)
其中：
senti表示第i个文本训练数据；
在S3中，所述图像向量的获取方法包括：
对所述图像训练数据进行统计，选取时间距离最近的若干条记录，形成图像内容集合，基于预训练的VGG-16模型对所述图像内容集合进行处理，得到图像向量，具体为：
imagei_vec＝VGG16(imagei)
其中：
imagei表示第i个图像训练数据；
在S3中，所述偏好特征向量的获取方法包括：
获取用户的社交关系：
其中：itemm表示用户user1参与互动的动态；
用户与其他用户产生的数据有过互动，即作为一条点赞训练数据，每个用户所有的点赞训练数据构成一个社交网络G1；
基于Node2Vec方法获得每个用户的偏好特征向量：
usern_vec＝Node2Vec(Gn)
其中：
Gn表示第n个用户；
在S6中，所述多任务人格预测模型的获取方法包括：
将所述用户特征向量输入到预训练的多任务分类全连接网络中，利用两层全连接网络和softmax层处理，得到多任务分类的每个子任务值，具体包括：
h1＝W５·V+b°
h５_act＝sigoid(h1)
h2＝W6·h1_act+b2
其中：
V表示用户特征向量，V＝concat(usern_vec,D_vec,Image_vec)；
W5、W6表示权重；
h1表示两层全连接层中第一层的输出；
h1_act表示h1经激活函数的输出；
h2表示两层全连接层中第二层的输出；
sigmoid为激活函数；
softmax将得到的子任务值映射到[0，1]区间内；
预设的损失函数为：
其中：
loss表示各个子任务的均方误差；
L即表示子任务的个数。
2.如权利要求1所述的预测方法，其特征在于，在S2中，所述预处理包括：
对用户进行筛选，得到历史用户，保留历史用户对应的用户行为数据；所述历史用户为：发表内容超过预设值且点赞其他用户的发表内容超过预设值的用户。
3.如权利要求1所述的预测方法，其特征在于，在S4中，所述文本矩阵的获取方法包括：
将所述文本向量拼接成预设格式的文本矩阵D_matrix：
D_matrix＝concat(senti_vec)
其中：
senti_vec表示文本向量；
所述图像矩阵的获取方法包括：
将所述图像向量拼接成预设格式的图像矩阵Image_matrix：
Image_matrix＝concat(imagei_vec)
其中：
imagei_vec表示图像向量。
4.如权利要求3所述的预测方法，其特征在于，在S4中，所述文本特征向量的获取方法包括：
基于卷积操作对所述文本矩阵进行处理，得到文本特征向量：
Dconv1＝ReLU(W1·D_matrix+b1)
D_vec＝ReLU(W2·Dconv1+b2)
其中：
W1、W2表示权重；b1、b2表示偏置；
ReLU表示激活函数；
所述图像特征向量的获取方法包括：
基于卷积操作对所述图像矩阵进行处理，得到文本特征向量：
Imageconv1＝ReLU(W3·Image_matrix+b3)
Image_vec＝ReLU(W4·Imageconv1+b4)
其中：
W3、W4表示权重；b3、b4表示偏置；
ReLU表示激活函数。
5.一种基于深度学习的多任务人格预测系统，其特征在于，所述系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取用户社交数据，形成历史数据；所述历史数据包括：用户行为数据和人格标签数据，所述用户行为数据包括：用户文本数据、用户图像数据和用户点赞数据；
S2、对所述用户文本数据、所述用户图像数据和所述用户点赞数据分别预处理，得到文本训练数据、图像训练数据和点赞训练数据；
S3、基于所述文本训练数据获取文本向量；基于所述图像训练数据获取图像向量；基于所述点赞训练数据获取偏好特征向量；
S4、对所述文本向量和所述图像向量分别进行拼接处理，得到文本矩阵和图像矩阵；对所述文本矩阵和所述图像矩阵分别进行特征提取处理，得到文本特征向量和图像特征向量；
S5、将所述文本特征向量、所述图像特征向量和所述偏好特征向量进行拼接处理，得到用户特征向量；
S6、将所述用户特征向量输入到预训练的多任务分类全连接网络中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型；所述多任务人格预测模型用于预测用户的人格特征，从而预测用户的偏好；
S7、基于所述多任务人格预测模型获取用户在每个人格维度上的概率值，基于所述每个人格维度上的概率值和所述人格标签数据获取用户每个人格维度上的得分；
其中，在S3中，所述文本向量的获取方法包括：
对所述文本训练数据进行统计，选取时间距离最近的若干条记录，形成文本内容集合，基于预训练的Bert模型对所述文本内容集合进行处理，得到文本向量，具体为：
senti_vec＝Bert(senti)
其中：
senti表示第i个文本训练数据；
在S3中，所述图像向量的获取方法包括：
对所述图像训练数据进行统计，选取时间距离最近的若干条记录，形成图像内容集合，基于预训练的VGG-16模型对所述图像内容集合进行处理，得到图像向量，具体为：
imagei_vec＝VGG16(imagei)
其中：
imagei表示第i个图像训练数据；
在S3中，所述偏好特征向量的获取方法包括：
获取用户的社交关系：
其中：itemm表示用户user1参与互动的动态；
用户与其他用户产生的数据有过互动，即作为一条点赞训练数据，每个用户所有的点赞训练数据构成一个社交网络G1；
基于Node2Vec方法获得每个用户的偏好特征向量：
usern_vec＝Node2Vec(Gn)
其中：
Gn表示第n个用户；
在S6中，所述多任务人格预测模型的获取方法包括：
将所述用户特征向量输入到预训练的多任务分类全连接网络中，利用两层全连接网络和softmax层处理，得到多任务分类的每个子任务值，具体包括：
h1＝W5·V+b°
h1_act＝sigmoid(h1)
h2＝W6·h1_act+b2
其中：
V表示用户特征向量，V＝concat(usern_vec,D_vec,Image_vec)；
W5、W6表示权重；
h1表示两层全连接层中第一层的输出；
h1_act表示h1经激活函数的输出；
h2表示两层全连接层中第二层的输出；
sigmoid为激活函数；
softmax将得到的子任务值映射到[0，1]区间内；
预设的损失函数为：
其中：
loss表示各个子任务的均方误差；
L即表示子任务的个数。
CN202010568812.1A 2020-06-19 2020-06-19 基于深度学习的多任务人格预测方法和系统 Active CN111914885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568812.1A CN111914885B (zh) 2020-06-19 2020-06-19 基于深度学习的多任务人格预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568812.1A CN111914885B (zh) 2020-06-19 2020-06-19 基于深度学习的多任务人格预测方法和系统

Publications (2)

Publication Number Publication Date
CN111914885A CN111914885A (zh) 2020-11-10
CN111914885B true CN111914885B (zh) 2024-04-26

Family

ID=73238093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568812.1A Active CN111914885B (zh) 2020-06-19 2020-06-19 基于深度学习的多任务人格预测方法和系统

Country Status (1)

Country Link
CN (1) CN111914885B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579884B (zh) * 2020-11-27 2022-11-04 腾讯科技（深圳）有限公司 一种用户偏好估计方法及装置
CN112650861A (zh) * 2020-12-29 2021-04-13 中山大学 一种基于任务分层的人格预测方法、系统及装置
CN113254649B (zh) * 2021-06-22 2023-07-18 中国平安人寿保险股份有限公司 敏感内容识别模型的训练方法、文本识别方法及相关装置
CN113554762B (zh) * 2021-06-25 2023-12-29 广州市粤拍粤精广告有限公司 基于深度学习的短视频风格图像生成方法、装置及系统
CN113662545B (zh) * 2021-08-09 2022-10-14 南京航空航天大学 一种基于情绪脑电信号和多任务学习的人格评估方法
CN113837445A (zh) * 2021-08-27 2021-12-24 合肥工业大学 基于注意力机制的人格预测方法及系统
CN113705725B (zh) * 2021-09-15 2022-03-25 中国矿业大学 一种基于多模态信息融合的用户人格特征预测方法和装置
CN114297366A (zh) * 2021-11-18 2022-04-08 北京智谱华章科技有限公司 一种基于mt5预训练模型的学者职称和年龄预测方法和装置
CN115269845B (zh) * 2022-08-01 2023-06-23 安徽大学 一种基于社交网络用户人格的网络对齐方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法
CN109165692A (zh) * 2018-09-06 2019-01-08 中国矿业大学 一种基于弱监督学习的用户性格预测装置及方法
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
CN110119849A (zh) * 2019-05-21 2019-08-13 山东大学 一种基于网络行为的人格特质预测方法及系统
KR20190125153A (ko) * 2018-04-27 2019-11-06 아토머스 주식회사 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法
KR20190125153A (ko) * 2018-04-27 2019-11-06 아토머스 주식회사 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법
CN109165692A (zh) * 2018-09-06 2019-01-08 中国矿业大学 一种基于弱监督学习的用户性格预测装置及方法
CN110119849A (zh) * 2019-05-21 2019-08-13 山东大学 一种基于网络行为的人格特质预测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于上下文语义的社交网络用户人格预测;王江晴;陈思敏;刘晶;孙翀;毕建权;;中南民族大学学报(自然科学版);20200615(第03期);全文 *
基于双层注意力机制的深度学习电影推荐系统;肖青秀;汤鲲;;计算机与现代化;20181115(第11期);全文 *
基于多任务学习的大五人格预测;郑敬华;郭世泽;高梁;赵楠;;中国科学院大学学报;20180715(第04期);全文 *

Also Published As

Publication number Publication date
CN111914885A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111914885B (zh) 基于深度学习的多任务人格预测方法和系统
US11475273B1 (en) Deep convolutional neural networks for automated scoring of constructed responses
CN108399158B (zh) 基于依存树和注意力机制的属性情感分类方法
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
CN112687374B (zh) 一种基于文本和图像信息联合计算的心理危机预警方法
Cabada et al. Mining of educational opinions with deep learning
Puscasiu et al. Automated image captioning
CN115270752A (zh) 一种基于多层次对比学习的模板句评估方法
CN115130591A (zh) 一种基于交叉监督的多模态数据分类方法及装置
CN113988079A (zh) 一种面向低数据的动态增强多跳文本阅读识别处理方法
CN115391570A (zh) 一种基于方面的情感知识图谱构建方法及装置
CN115935969A (zh) 基于多模态信息融合的异构数据特征提取方法
CN115730606A (zh) 一种基于bert模型以及注意力集中网络的细粒度情感分析方法
CN115129807A (zh) 基于自注意的社交媒体主题评论的细粒度分类方法及系统
CN113326868B (zh) 一种用于多模态情感分类的决策层融合方法
US20230121404A1 (en) Searching for normalization-activation layer architectures
Harris et al. DeepAction: a MATLAB toolbox for automated classification of animal behavior in video
CN116910294A (zh) 一种基于情感分析的图像滤镜生成方法
Mejia-Escobar et al. Towards a Better Performance in Facial Expression Recognition: A Data‐Centric Approach
US20230206030A1 (en) Hyperparameter neural network ensembles
US20230063686A1 (en) Fine-grained stochastic neural architecture search
Ren Construction of a thinking model for Literary Writing based on Deep Spatio-Temporal Residual Convolutional Neural Networks
CN114357284A (zh) 基于深度学习的众包任务个性化推荐方法和系统
Soujanya et al. A CNN based approach for handwritten character identification of Telugu guninthalu using various optimizers
Gambo et al. A deep learning solution for learning style detection using cognitive-affective features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant