CN114936723A - 一种基于数据增强的社交网络用户属性预测方法及系统 - Google Patents

一种基于数据增强的社交网络用户属性预测方法及系统 Download PDF

Info

Publication number
CN114936723A
CN114936723A CN202210856300.4A CN202210856300A CN114936723A CN 114936723 A CN114936723 A CN 114936723A CN 202210856300 A CN202210856300 A CN 202210856300A CN 114936723 A CN114936723 A CN 114936723A
Authority
CN
China
Prior art keywords
user
behavior
layer
behavior data
forwarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210856300.4A
Other languages
English (en)
Other versions
CN114936723B (zh
Inventor
丁建伟
陈周国
李欣泽
沈亮
张震
石瑾
杨宇
王鑫
刘志洁
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 30 Research Institute
National Computer Network and Information Security Management Center
Original Assignee
CETC 30 Research Institute
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 30 Research Institute, National Computer Network and Information Security Management Center filed Critical CETC 30 Research Institute
Priority to CN202210856300.4A priority Critical patent/CN114936723B/zh
Publication of CN114936723A publication Critical patent/CN114936723A/zh
Application granted granted Critical
Publication of CN114936723B publication Critical patent/CN114936723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据挖掘技术领域，公开了一种基于数据增强的社交网络用户属性预测方法及系统，该属性预测方法，基于用户的历史行为序列，推断用户未来一段时间的行为序列，通过将历史行为序列与预测得到的行为序列进行拼接，扩大行为序列的长度，对用户的行为数据进行增强。本发明解决了现有技术存在的线网络用户行为序列长度较短时不能为用户属性预测任务提供足够信息、从而导致用户属性预测的预测准确性低的问题。

Description

一种基于数据增强的社交网络用户属性预测方法及系统
技术领域
本发明涉及数据挖掘技术领域，具体是一种基于数据增强的社交网络用户属性预测方法及系统。
背景技术
在过去的二十年间涌现出越来越多的社交平台（例如Twitter、Facebook、Instagram等等），在这些社交平台上，用户可以第一时间阅读感兴趣的推文并将自己的想法添加到评论区与他人分享。除了评论之外，用户还可以利用更加便捷的转发功能，在原始推文的基础上添加评论后进行转发，便可与粉丝分享你的观点。在推特平台中，用户之间通过转发关系构成错综复杂的网络结构，这种推文传播方式具有传播快、覆盖广的特点，使得某些推文能够在短时间内形成极大的关注和影响。
虽然已有工作针对社交网络中的转发行为预测进行了多项研究，但是这些方法均着眼于推文的被转发概率或者用户转发推文的可能性，并未对用户在未来一段时间内的转发对象进行深入研究。除此之外，上述算法的预测精度与特征的构建及选择息息相关，为了对用户的转发行为进行更加精准的预测，数据科学家需要根据业务背景以及专家知识构建大量特征用于机器学习模型的训练，这使得训练好的模型很难迁移到其它数据集或相关业务场景之下。在模型的训练方式上，由于特征工程与模型训练是分开执行的，所以很难选择最佳的特征组合对建立好的模型进行训练，而端到端的训练方式可以将特征构建与预测任务进行有效的结合，从而使得模型能够对不同特征之间的相对重要程度以及特征与预测任务之间的关联性进行全面的考量。
随着深度学习技术的快速发展，数据增强技术已经在自然语言处理、语音识别、目标检测等多个领域取得了巨大的进展。如何将数据增强技术应用于行为建模等相关技术是接下来用户属性预测任务的研究重点。
发明内容
为克服现有技术的不足，本发明提供了一种基于数据增强的社交网络用户属性预测方法及系统，解决现有技术存在的线网络用户行为序列长度较短时不能为用户属性预测任务提供足够信息、从而导致用户属性预测的预测准确性低的问题。
本发明解决上述问题所采用的技术方案是：
一种基于数据增强的社交网络用户属性预测方法，基于用户的历史行为序列，推断用户未来一段时间的行为序列，通过将历史行为序列与预测得到的行为序列进行拼接，扩大行为序列的长度，对用户的行为数据进行增强。
作为一种优选的技术方案，包括以下步骤：
S1，进行数据预处理：提取社交网络用户的转发行为数据，对提取的转发行为数据进行预处理，获得预处理后的用户行为数据；
S2，构建并训练预测模型：利用预处理后的用户行为数据，构建用户行为数据预测模型，并训练用户行为数据预测模型；
S3，预测转发行为：利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为，获得增强后的用户行为数据；
S4，预测属性信息：利用增强后的用户行为数据预测社交网络中用户的属性信息。
作为一种优选的技术方案，步骤S1包括以下步骤：
S11，提取社交网络用户的行为信息：对于给定用户
Figure 100002_DEST_PATH_IMAGE001
，首先获取
Figure 831836DEST_PATH_IMAGE002
在某一段时间 跨度内的转发行为序列
Figure 127688DEST_PATH_IMAGE003
，在起始位置添加特殊标志符[SOS]，在 行为序列的末尾添加特殊标志符[EOS]；并将转发行为对应的时间戳
Figure 100002_DEST_PATH_IMAGE004
进行记录；其中，i表示用户的编号，
Figure 958241DEST_PATH_IMAGE005
表示第i个用户的昵 称，
Figure 100002_DEST_PATH_IMAGE006
表示第i个用户的转发行为对应的时间戳；
S12，首先计算当前转发行为与参照时刻之间的时间间隔，然后以事先设定的周期将时间间隔转换为时间ID，最后计算相邻转发行为之间时间ID的差分值。
作为一种优选的技术方案，步骤S2包括以下步骤：
S21，构建用户转发行为嵌入表示层：用户转发行为嵌入表示层包括行为序列嵌入 表示层
Figure 266250DEST_PATH_IMAGE007
、行为先后顺序嵌入表示层
Figure 865858DEST_PATH_IMAGE008
、时间信息嵌入层
Figure 100002_DEST_PATH_IMAGE009
；其中，行为序列嵌入表示层
Figure 598191DEST_PATH_IMAGE007
用 于将用户转发行为序列中的每一个昵称转换为k维的向量表示，行为先后顺序嵌入表示层
Figure 119302DEST_PATH_IMAGE010
用于将每一个被转发用户的转发顺序编号转换为k维的向量表示，时间信息嵌入层
Figure 100002_DEST_PATH_IMAGE011
用 于将每一个被转发用户的转发时间信息转换为k维的向量表示，将上述三种向量表示按位 相加，得到生成式预训练用户行为数据预测模型的输入
Figure 493652DEST_PATH_IMAGE012
；k≥2且k为整数；
S22，构建编码器：构建包括多头自注意力模块MHA、基于位置的全连接前馈网络 FFN的编码器；其中，多头自注意力模块MHA基于缩放点积自注意力用户行为数据预测模型， 将嵌入表示矩阵
Figure 100002_DEST_PATH_IMAGE013
作为输入，输出注意力评分矩阵
Figure 947767DEST_PATH_IMAGE014
；基于位置的全连接前馈网络FFN，将 注意力评分矩阵
Figure 100002_DEST_PATH_IMAGE015
作为输入，输出解码器的隐层表示
Figure 54263DEST_PATH_IMAGE016
；
S23，构建行为序列输出层：行为序列输出层为全连接神经网络，用于将解码器的 隐层表示
Figure 124987DEST_PATH_IMAGE017
作为输入，输出预测结果，并通过Softmax函数计算预测结果与真实值之间的误 差值
Figure 506290DEST_PATH_IMAGE018
，所述预测结果指用户下一时刻转发行为；
步骤S24，通过误差反向传播的训练方式更新用户行为数据预测模型参数，直到误 差值
Figure 611649DEST_PATH_IMAGE018
达到最低为止，保存最终的用户行为数据预测模型参数，获得训练好的用户行为数 据预测模型；误差值
Figure 295572DEST_PATH_IMAGE018
达到最低为止指用户行为数据预测模型收敛的情形。
作为一种优选的技术方案，步骤S22包括以下步骤：
S221，利用嵌入表示矩阵
Figure 100002_DEST_PATH_IMAGE019
作为输入，先将
Figure 447067DEST_PATH_IMAGE020
整理为
Figure 100002_DEST_PATH_IMAGE021
，再将
Figure 507427DEST_PATH_IMAGE022
输入到一个
Figure 100002_DEST_PATH_IMAGE023
层的Transformer网络中进行编码：
Figure 732872DEST_PATH_IMAGE024
；
其中，
Figure 712330DEST_PATH_IMAGE025
，
Figure 100002_DEST_PATH_IMAGE026
，
Figure 226487DEST_PATH_IMAGE027
表示用户行为的向量表征，
Figure 100002_DEST_PATH_IMAGE028
表示第
Figure 215172DEST_PATH_IMAGE029
层用户行为数据预测模型的输出结果，
Figure 232807DEST_PATH_IMAGE029
表示Transformer网络中的层编号，
Figure 100002_DEST_PATH_IMAGE030
表示第
Figure 645815DEST_PATH_IMAGE029
层Transformer网络编码后的结果，
Figure 178427DEST_PATH_IMAGE031
表示步骤S11中转发 行为序列
Figure 580590DEST_PATH_IMAGE032
的长度，
Figure 515048DEST_PATH_IMAGE033
分别表示第1至第
Figure 101887DEST_PATH_IMAGE034
个行为在第
Figure DEST_PATH_IMAGE035
层的向量表征；在每个 Transformer编码器中，有多头注意力机制以聚合前一层的输出向量；第
Figure 325058DEST_PATH_IMAGE036
层的Transformer 中的一个自注意力头
Figure 655545DEST_PATH_IMAGE037
的计算公式如下：
Figure DEST_PATH_IMAGE038
，
Figure 913351DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
，
Figure 671091DEST_PATH_IMAGE041
，
Figure DEST_PATH_IMAGE042
；
其中，前层的输出
Figure 381558DEST_PATH_IMAGE043
通过参数为
Figure 250157DEST_PATH_IMAGE044
的线性变换分 别得到查询向量
Figure DEST_PATH_IMAGE045
、键向量
Figure 96891DEST_PATH_IMAGE046
、值向量
Figure 963215DEST_PATH_IMAGE047
；掩码矩阵
Figure 754454DEST_PATH_IMAGE048
控制着行为之间是否能够 被参照，
Figure 100002_DEST_PATH_IMAGE049
表示第
Figure 567689DEST_PATH_IMAGE050
层查询向量对应的线性变换矩阵，
Figure 100002_DEST_PATH_IMAGE051
表示第
Figure 393563DEST_PATH_IMAGE029
层键向量对应的线性 变换矩阵，
Figure 430789DEST_PATH_IMAGE052
表示第
Figure 850269DEST_PATH_IMAGE035
层值向量对应的线性变换矩阵，i表示掩码矩阵
Figure 100002_DEST_PATH_IMAGE053
的行标号，j表示 掩码矩阵
Figure 326250DEST_PATH_IMAGE053
的列标号，
Figure 881996DEST_PATH_IMAGE054
表示掩码矩阵
Figure 90123DEST_PATH_IMAGE053
的第i行第j列元素，
Figure 100002_DEST_PATH_IMAGE055
表示键向量的转置，
Figure 327725DEST_PATH_IMAGE056
表示隐藏层神经元个数，
Figure 279501DEST_PATH_IMAGE057
表示用户行为的嵌入维度；
S222，以交叉熵作为损失函数，采用梯度下降法训练行为生成部分的神经网络，将用户的转发行为进行独热编码；
S223：返回步骤S221，循环执行步骤S221~步骤S222，直至训练用户行为数据预测模型收敛为止。
作为一种优选的技术方案，步骤S222中，独热编码计算公式为：
Figure 814387DEST_PATH_IMAGE058
Figure 193416DEST_PATH_IMAGE059
；
其中，
Figure 321909DEST_PATH_IMAGE060
表示损失值，
Figure 811796DEST_PATH_IMAGE061
表示真实用户在第i时刻转发用户j的概率，n表示时刻 总数，
Figure 466768DEST_PATH_IMAGE062
表示所分析的用户的总数量，
Figure DEST_PATH_IMAGE063
表示社交网络用户行为数据预测模型预测的用 户i在第j时刻转发用户的概率。
作为一种优选的技术方案，步骤S3包括以下步骤：
S31，利用词嵌入层以及位置嵌入层对行为序列对应的时间ID差分序列进行嵌入 表示，然后用户行为数据预测模型通过
Figure 954382DEST_PATH_IMAGE064
个编码层得到时间ID差分序列的隐藏表示，最后 利用交叉熵损失函数计算用户行为数据预测模型预测结果与期望值之间的偏差；
S32，将嵌入表示矩阵
Figure DEST_PATH_IMAGE065
输入到多头自注意力机制ATT中，得到注意力权重矩阵，并 将注意力矩阵
Figure 960384DEST_PATH_IMAGE066
输入到基于位置的全连接前馈网络FFN中，得到隐层表示
Figure 253962DEST_PATH_IMAGE017
，并通过步骤 S23得到用户下一时刻转发行为的预测结果
Figure DEST_PATH_IMAGE067
，最后将预测结果
Figure 904386DEST_PATH_IMAGE068
拼接到输入序列中；
S33，循环执行步骤S31~S32，直至得到用户未来一段时间的转发行为预测结果
Figure DEST_PATH_IMAGE069
。
作为一种优选的技术方案，步骤S4包括以下步骤：
S41，将步骤S33得到的用户行为预测结果
Figure 953113DEST_PATH_IMAGE070
与用户历史行为序列
Figure DEST_PATH_IMAGE071
进行拼接得到 增强后的用户行为数据
Figure 384095DEST_PATH_IMAGE072
，并利用步骤S21得到用户行为数据
Figure DEST_PATH_IMAGE073
的嵌入矩阵
Figure 684626DEST_PATH_IMAGE074
，对嵌入矩 阵
Figure DEST_PATH_IMAGE075
按列求平均得到社交网络用户属性预测用户行为数据预测模型的输入特征
Figure 579770DEST_PATH_IMAGE076
；
S42，将特征向量
Figure 409186DEST_PATH_IMAGE076
输入到预训练好的用户行为数据预测模型中进行调整，得到用 户属性的所属概率值
Figure DEST_PATH_IMAGE077
。
作为一种优选的技术方案，步骤S42中，对用户行为数据预测模型进行调整的具体方法为：
仅保留用户行为数据预测模型的嵌入层以及编码器模块，并添加Flatten层做维度变换，最后输入包括依次相连的线性层、激活层、线性层的前馈神经网络，将隐藏特征映射到真实标签，具体的计算方式如下式：
Figure 124201DEST_PATH_IMAGE078
，
Figure DEST_PATH_IMAGE079
；
其中，
Figure 962844DEST_PATH_IMAGE080
表示用户行为数据预测模型最后一个编码器的输出向量，
Figure 384598DEST_PATH_IMAGE081
表示属性预 测结果，
Figure 100002_DEST_PATH_IMAGE082
表示全连接前馈神经网络的输出，
Figure 975460DEST_PATH_IMAGE083
、
Figure DEST_PATH_IMAGE084
表示权重，
Figure 177772DEST_PATH_IMAGE085
表示、
Figure DEST_PATH_IMAGE086
表示偏置。
一种基于数据增强的社交网络用户属性预测系统，基于所述的一种基于数据增强的社交网络用户属性预测方法，包括依次电相连的以下模块：
数据预处理模块：用以，提取社交网络用户的转发行为数据，对提取的转发行为数据进行预处理，获得预处理后的用户行为数据；
预测模型构建并训练模块：用以，利用预处理后的用户行为数据，构建用户行为数据预测模型，并训练用户行为数据预测模型；
转发行为预测模块：用以，利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为，获得增强后的用户行为数据；
属性信息预测模块：用以，利用增强后的用户行为数据预测社交网络中用户的属性信息。
本发明相比于现有技术，具有以下有益效果：
（1）本发明通过采用数据增强的方法，仅基于用户的历史行为序列，便可以合理预测其未来一段时间的行为，通过将历史行为序列与预测得到的行为序列进行拼接，可以有效扩大行为序列的长度，便于为广泛的下游任务提供更加丰富的行为信息；
（2）本发明通过嵌入表示，可以得到用户行为的通用化向量表示方法，基于行为的向量表示方法，可以将其应用于不同的下游任务并均取得非常准确的预测效果；
（3）本发明通过使用微调的方法，以增强后的用户行为数据作为输入，预测该用户的属性信息，从而有效克服特征维度高、筛选有效特征难等问题。
附图说明
图1为用户行为数据预测模型的示意图；
图2为本发明所述的一种基于数据增强的社交网络用户属性预测方法的步骤示意图；
图3为数据预处理流程图；
图4为自注意力模块的算法流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1
如图1至图4所示，本发明公开一种基于数据增强的社交网络用户属性预测方法。
1）能够充分融合行为信息及其相关的时间信息，并对行为模式识别与行为数据生成两种任务同时进行学习；2）提出一种共享参数的深度学习模型，通过使用精心设计的注意力掩码机制控制行为数据增强过程中所用到的行为以及时间信息；3）选用Transformer的编码器部分进行建模，通过采用多头掩码自注意力机制，可以使模型在预测当前时刻的转发用户昵称时，有侧重地对其所有的历史转发记录进行分析；4）在行为生成模型中引入转发时间信息，帮助模型学习更加复杂的转发行为模式，从而较为准确地预测出用户未来一段时间的转发对象。5）对预训练好的模型针对用户属性预测任务进行微调，输出的结果表示用户属性的所属概率。本发明公开的一种基于数据增强的社交网络用户属性预测方法可应用于在线社交网络中的用户属性补全，从而帮助社交媒体平台建立更加完整的用户画像，所需要的数据在现实网络中易于获取，计算复杂度低，可以在社交网络的用户属性预测任务中获得非常高的准确率。
一种基于数据增强的社交网络用户属性预测方法，根据用户的转发行为信息能够快速预测社交网络中用户的属性信息，具体包括以下步骤：
步骤S1：用户行为数据预处理
步骤S11：提取社交网络用户的转发行为信息，用
Figure 820106DEST_PATH_IMAGE001
表示第i个用户的昵称，用
Figure 158683DEST_PATH_IMAGE006
表示用户
Figure 392218DEST_PATH_IMAGE087
转发行为对应的时间戳。这里用转发对象的昵称表示用户的转发行为，对于给 定用户
Figure 691613DEST_PATH_IMAGE087
，首先获取其某一段时间跨度内的转发行为数据
Figure DEST_PATH_IMAGE088
， 其中在起始位置添加特殊标志符[SOS]，在行为序列的末尾添加特殊标志符[EOS]。并记录 用户
Figure 996692DEST_PATH_IMAGE001
转发行为对应的时间戳
Figure 127459DEST_PATH_IMAGE089
；
步骤S12：首先计算当前转发行为与参照时刻之间的时间间隔，然后按照事先设定的周期将时间间隔转换为时间ID，最后计算相邻转发行为之间时间ID的差分值；
步骤S2：构建用户行为数据预测模型，模型一共由三个模块组成，包括用户转发行为嵌入表示层，编码器和行为序列输出层；模型的构建具体包括以下步骤：
步骤S21：构建用户转发行为嵌入表示层：用户转发行为嵌入表示层包括行为序列 嵌入表示层
Figure 469579DEST_PATH_IMAGE007
、行为先后顺序嵌入表示层
Figure 646482DEST_PATH_IMAGE008
、时间信息嵌入层
Figure 427356DEST_PATH_IMAGE009
；其中，行为序列嵌入表示层
Figure 350313DEST_PATH_IMAGE007
用于将用户转发行为序列中的每一个昵称转换为k维的向量表示，行为先后顺序嵌入表 示层
Figure DEST_PATH_IMAGE090
用于将每一个被转发用户的转发顺序编号转换为k维的向量表示，时间信息嵌入层
Figure 253547DEST_PATH_IMAGE011
用于将每一个被转发用户的转发时间信息转换为k维的向量表示，将上述三种向量表示 按位相加，得到生成式预训练用户行为数据预测模型的输入
Figure 589850DEST_PATH_IMAGE012
；k≥2且k为整数；
步骤S22：构建编码器，包括多头自注意力模块（Multi-head Attention, MHA）、基 于位置的全连接前馈网络（Feed Forward Neural Network, FFN）。多头自注意力模块MHA 基于缩放点积自注意力模型，将嵌入表示矩阵
Figure 846519DEST_PATH_IMAGE091
作为输入，输出注意力评分矩阵；基于位置 的全连接前馈网络FFN，将注意力评分矩阵
Figure 951878DEST_PATH_IMAGE015
作为输入，输出解码器的隐层表示
Figure 760435DEST_PATH_IMAGE016
；
步骤S23：构建行为序列输出层：行为序列输出层为全连接神经网络，用于将解码 器的隐层表示
Figure DEST_PATH_IMAGE092
作为输入，输出预测结果，并通过Softmax函数计算预测结果与真实值之间 的误差值
Figure 787296DEST_PATH_IMAGE093
，所述预测结果指用户下一时刻转发行为；
步骤S24：通过误差反向传播的训练方式更新用户行为数据预测模型的参数，直到 误差值
Figure DEST_PATH_IMAGE094
达到最低为止，保存最终的模型参数；
步骤S3：利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为，具体包括以下步骤：
步骤S31：利用时间嵌入层以及位置嵌入层对行为序列对应的时间ID差分序列进 行嵌入表示，然后户行为数据预测模型通过
Figure 237869DEST_PATH_IMAGE095
个编码层得到时间ID差分序列的隐藏表示， 最后利用交叉熵损失函数计算户行为数据预测模型预测结果与期望值之间的偏差；
步骤S32：将嵌入表示矩阵
Figure 135418DEST_PATH_IMAGE019
输入到多头自注意力机制ATT中，得到注意力权重矩 阵，并将注意力矩阵
Figure 318138DEST_PATH_IMAGE066
输入到基于位置的全连接前馈网络FFN中，得到隐层表示
Figure 428701DEST_PATH_IMAGE017
，并通过 步骤S23得到用户下一时刻转发行为的预测结果
Figure 89489DEST_PATH_IMAGE067
，最后将预测结果
Figure 107124DEST_PATH_IMAGE068
拼接到输入序列中；
步骤S33：循环执行步骤S31、S32得到用户未来一段时间的转发行为预测结果
Figure 195166DEST_PATH_IMAGE069
；
步骤S4：利用增强后的用户行为数据推理社交网络中用户的属性信息，具体包括以下步骤：
步骤S41：将步骤S33得到的用户行为预测结果
Figure DEST_PATH_IMAGE096
与用户历史行为序列
Figure 55674DEST_PATH_IMAGE097
进行拼接 得到增强后的用户行为数据
Figure 723416DEST_PATH_IMAGE072
，并利用步骤S21得到用户行为数据
Figure DEST_PATH_IMAGE098
的嵌入矩阵
Figure 985770DEST_PATH_IMAGE074
，对嵌 入矩阵
Figure 182396DEST_PATH_IMAGE099
按列求平均得到社交网络用户属性预测用户行为数据预测模型的输入特征
Figure 202305DEST_PATH_IMAGE076
；
步骤S42：根据步骤S41，将特征向量
Figure 267213DEST_PATH_IMAGE076
输入到预训练好的用户行为数据预测模型 中进行调整，得到用户属性的所属概率值
Figure 259439DEST_PATH_IMAGE100
；
2．根据权力要求1所述的基于数据增强的社交网络用户行为生成模型，其特征在于所述步骤S22中的编码器构建方式具体包括以下步骤：
步骤S1：利用嵌入表示矩阵作为输入，先将嵌入表示矩阵整理为。再将其输入到一个层的Transformer网络中对输入进行编码：
S221，利用嵌入表示矩阵
Figure 954863DEST_PATH_IMAGE019
作为输入，先将
Figure 524385DEST_PATH_IMAGE020
整理为
Figure 65087DEST_PATH_IMAGE021
，再将
Figure 911821DEST_PATH_IMAGE022
输入到一个
Figure 512566DEST_PATH_IMAGE023
层的Transformer网络中进行编码：
Figure 569384DEST_PATH_IMAGE024
；
其中，
Figure 913778DEST_PATH_IMAGE025
，
Figure 615017DEST_PATH_IMAGE026
，
Figure 652243DEST_PATH_IMAGE027
表示用户行为的向量表征，
Figure 930778DEST_PATH_IMAGE028
表示第
Figure 78863DEST_PATH_IMAGE029
层 用户行为数据预测模型的输出结果，
Figure 634609DEST_PATH_IMAGE029
表示Transformer网络中的层编号，
Figure 842736DEST_PATH_IMAGE030
表示第
Figure 608567DEST_PATH_IMAGE029
层Transformer网络编码后的结果，
Figure 294763DEST_PATH_IMAGE031
表示步骤S11中转发行为 序列
Figure 970595DEST_PATH_IMAGE032
的长度，
Figure 349624DEST_PATH_IMAGE033
分别表示第1至第
Figure 623259DEST_PATH_IMAGE034
个行为在第
Figure 113146DEST_PATH_IMAGE035
层的向量表征；在每个 Transformer编码器中，有多头注意力机制以聚合前一层的输出向量；第
Figure 377905DEST_PATH_IMAGE036
层的Transformer 中的一个自注意力头
Figure 255731DEST_PATH_IMAGE037
的计算公式如下：
Figure 933837DEST_PATH_IMAGE038
，
Figure 165098DEST_PATH_IMAGE039
，
Figure 612260DEST_PATH_IMAGE040
，
Figure 129829DEST_PATH_IMAGE041
，
Figure 295231DEST_PATH_IMAGE042
；
其中，前层的输出
Figure 64604DEST_PATH_IMAGE043
通过参数为
Figure 631852DEST_PATH_IMAGE044
的线性变换分 别得到查询向量
Figure 585901DEST_PATH_IMAGE045
、键向量
Figure 176283DEST_PATH_IMAGE046
、值向量
Figure 811663DEST_PATH_IMAGE047
；掩码矩阵
Figure 30155DEST_PATH_IMAGE048
控制着行为之间是否能够被 参照，
Figure 92789DEST_PATH_IMAGE049
表示第
Figure 904887DEST_PATH_IMAGE050
层查询向量对应的线性变换矩阵，
Figure 343959DEST_PATH_IMAGE051
表示第
Figure 682536DEST_PATH_IMAGE029
层键向量对应的线性变 换矩阵，
Figure 916072DEST_PATH_IMAGE052
表示第
Figure 215466DEST_PATH_IMAGE035
层值向量对应的线性变换矩阵，i表示掩码矩阵
Figure 192649DEST_PATH_IMAGE053
的行标号，j表示掩 码矩阵
Figure 651312DEST_PATH_IMAGE053
的列标号，
Figure 993432DEST_PATH_IMAGE054
表示掩码矩阵
Figure 842439DEST_PATH_IMAGE053
的第i行第j列元素，
Figure 420051DEST_PATH_IMAGE055
表示键向量的转置，
Figure 670904DEST_PATH_IMAGE056
表 示隐藏层神经元个数，
Figure 183925DEST_PATH_IMAGE057
表示用户行为的嵌入维度；
不同的掩码矩阵
Figure 520228DEST_PATH_IMAGE053
控制关注到不同的上下文信息，例如在双向掩码矩阵中，掩码 矩阵的值为0，表示所有的行为之间都能够相互注意到。
S222，以交叉熵作为损失函数，采用梯度下降法训练行为生成部分的神经网络，将用户的转发行为进行独热编码（One-Hot Encoding）；
独热编码计算公式为：
Figure 170040DEST_PATH_IMAGE058
Figure 213082DEST_PATH_IMAGE059
；
其中，
Figure 959321DEST_PATH_IMAGE060
表示损失值，
Figure 579659DEST_PATH_IMAGE061
表示真实用户在第i时刻转发用户j的概率，n表示时刻 总数，
Figure 702335DEST_PATH_IMAGE062
表示所分析的用户的总数量，
Figure 865463DEST_PATH_IMAGE063
表示社交网络用户行为数据预测模型预测的用 户i在第j时刻转发用户的概率。
S223：返回步骤S221，循环执行步骤S221~步骤S222，直至训练用户行为数据预测模型收敛为止。
本发明的目的在于针对在线网络用户行为序列长度较短，不能为用户属性预测任务提供足够信息的问题，提出一种基于数据增强的社交网络用户属性预测方法，能够对用户的行为数据进行有效增强，从而提高社交网络用户属性预测的预测准确性。
本发明具有以下有益效果：
(1)本发明通过采用数据增强的方法，仅基于用户的历史行为序列，便可以合理预测其未来一段时间的行为，通过将历史行为序列与预测得到的行为序列进行拼接，可以有效扩大行为序列的长度，便于为广泛的下游任务提供更加丰富的行为信息；
(2)本发明通过嵌入表示，可以得到用户行为的通用化向量表示方法，基于行为的向量表示方法，可以将其应用于不同的下游任务并均取得非常准确的预测效果；
(3)本发明通过使用微调的方法，以增强后的用户行为数据作为输入，预测该用户的属性信息，从而有效克服特征维度高、筛选有效特征难等问题。
实施例2
如图1至图4所示，作为实施例1的进一步优化，在实施例1的基础上，本实施例还包括以下技术特征：
本发明为一种基于数据增强的社交网络用户属性预测方法，包括以下步骤：
步骤S1：用户行为数据预处理；
为了验证本文所提算法的有效性，本实施例中的用户转发行为数据集来自于 Internet Archive网站。从该网站获取了2019年9月1日至2019年9月30日之间的推特用户 数据，这些数据包含来自5,971,242个用户的50,560,219条推文信息。首先，从原始数据中 提取用户昵称、被转发用户昵称、转发时间戳作为用户的转发行为数据。由于不同转发次数 下的用户数量服从幂律分布，为了确保用户有足够多的历史转发行为供模型分析，仅考虑 转发次数大于10的用户进行分析。在样本选择方面，考虑到计算资源的有限性，对每一类转 发次数下的样本进行了随机采样。行为推理模型预训练的一个要素就是如何对每一类转发 次数下的样本进行采样，这个选择是一个零和博弈，如果转发行为较多的样本采样频率过 高，模型可能过拟合；如果转发行为较少的样本训练次数不够，模型就会欠拟合。因此，采用 XLM中使用的方法，假设有M种转发次数，每一种转发次数下对应的样本记为
Figure DEST_PATH_IMAGE101
，而 每一种转发次数下的样本数目记为
Figure 110500DEST_PATH_IMAGE102
。然后，将每一种转发次数下的样本随机打乱后按照 概率
Figure 359079DEST_PATH_IMAGE103
进行随机采样，其中
Figure DEST_PATH_IMAGE104
的计算公式如下：
Figure 347763DEST_PATH_IMAGE105
不难发现，
Figure 162136DEST_PATH_IMAGE106
值越大，对于样本数较多的类别采样频率越高，惩罚力度越小，本发 明中选择
Figure 453440DEST_PATH_IMAGE107
。通过上述采样方式，共得到2,038个用户的219,341条历史转发记录， 采样数据中共包含74,936种用户昵称。
然后将用户的转发对象昵称映射为0至N之间的一个整数，其中N表示数据集中所 有出现过的昵称所构成的集合的大小。通过上述步骤，一个用户的转发行为序列便可表示 为由多个数字构成的列表。这里，取该列表的前n项作为模型的输入：
Figure DEST_PATH_IMAGE108
，而后项作为模型的期望输出：
Figure 579527DEST_PATH_IMAGE109
。数据预 处理过程如图3所示。
步骤S2：构建用户行为数据预测模型，如图2所示模型一共由四个模块组成，包括用户转发行为嵌入表示层，编码器、行为序列输出层；
构建用户转发行为嵌入表示层：用户转发行为嵌入表示层包括行为序列嵌入表示 层
Figure 981690DEST_PATH_IMAGE007
、行为先后顺序嵌入表示层
Figure DEST_PATH_IMAGE110
、时间信息嵌入层
Figure 978465DEST_PATH_IMAGE009
；行为序列嵌入表示层
Figure 706249DEST_PATH_IMAGE007
用于将用户 转发行为序列中的每一个昵称转换为512维的向量表示，行为先后顺序嵌入表示层
Figure 726158DEST_PATH_IMAGE111
用于 将每一个被转发用户的转发顺序编号转换为512维的向量表示，时间信息嵌入层
Figure 791066DEST_PATH_IMAGE009
用于将 每一个被转发用户的转发时间信息转换为k维的向量表示，将上述三种向量表示按位相加， 得到生成式预训练模型的输入
Figure 580030DEST_PATH_IMAGE112
；
解码器包括多头自注意力模块MHA、基于位置的全连接前馈网络FFN。多头自注意 力模块MHA基于缩放点积自注意力模型，将嵌入表示矩阵
Figure DEST_PATH_IMAGE113
作为输入，输出注意力权重矩阵
Figure 478716DEST_PATH_IMAGE114
，具体计算方式如图3所示；基于位置的全连接前馈网络FFN，将注意力权重矩阵
Figure 782659DEST_PATH_IMAGE115
作为输入，输出解码器的隐层表示
Figure DEST_PATH_IMAGE116
。
行为序列输出层为全连接神经网络，将解码器的隐层表示
Figure 57782DEST_PATH_IMAGE016
作为输入，输出用户 下一时刻转发行为的预测结果，这里计算得到的是对每一个推特用户的转发概率，概率值 越大，表示用户在下一时刻更有可能转发该用户的推文，并通过Softmax函数计算预测结果 与真实值之间的误差值。通过使用梯度下降法反复更迭模型参数，使得误差值
Figure 26220DEST_PATH_IMAGE018
最小化，并 将此时的模型参数保存下来。
步骤S3：利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为；
基于训练好的用户行为数据预测模型，通过反复将模型的预测值加入到输入序列中进一步解码，就可以得到用户在未来一段时间的转发行为序列。将生成的转发行为序列与用户的历史行为序列进行合并便可得到增强后的用户行为数据。
步骤S4：利用增强后的用户行为数据推断用户的属性信息；
采用微调的方式训练用户属性推断模型。在微调过程中，为了使模型能够对下游任务进行端到端的训练，仅保留模型的嵌入层以及编码器模块，并在此基础上添加Flatten层做维度变换，最后采用“线性层-激活层-线性层”的结构将隐藏特征映射到真实标签，具体的计算方式如下式：
Figure 626965DEST_PATH_IMAGE078
，
Figure 559149DEST_PATH_IMAGE079
；
其中，
Figure 903543DEST_PATH_IMAGE117
表示用户行为数据预测模型最后一个编码器的输出向量，
Figure 729416DEST_PATH_IMAGE081
表示属性预 测结果，
Figure DEST_PATH_IMAGE118
表示全连接前馈神经网络的输出，
Figure 969905DEST_PATH_IMAGE083
、
Figure 514019DEST_PATH_IMAGE084
表示权重，
Figure 662103DEST_PATH_IMAGE085
表示、
Figure 217849DEST_PATH_IMAGE086
表示偏置。
其中表示用户行为数据预测模型最后一个编码器的输出向量。微调模型中新增线性层权重参数以正态分布初始化，偏置参数初始化为常数。
为了检验在本实施例中本发明所提出的基于数据增强的用户属性推断方法的效果，在整个数据集上进行了测试，整个数据集包含2,038名Twitter用户以及这些用户的219,341条转发行为。选择该数据集中80%左右用户的行为信息以及属性信息作为训练集，10％左右的用户行为以及属性信息作为验证集， 10％左右的用户行为以及属性信息作为测试集。在测试集上计算BLEU-4和Accuracy两个值分别作为行为生成和属性推断的评价指标。
BLEU-4指标的计算方法为：
Figure 753873DEST_PATH_IMAGE119
表示模型生成的行为序列，
Figure 191808DEST_PATH_IMAGE120
表示m 个参考结果，
Figure DEST_PATH_IMAGE121
表示元素
Figure 346845DEST_PATH_IMAGE122
在行为序列
Figure 147311DEST_PATH_IMAGE123
中出现的次数，
Figure DEST_PATH_IMAGE124
表示元素
Figure 464023DEST_PATH_IMAGE125
在参考 结果
Figure DEST_PATH_IMAGE126
中出现的次数，
Figure 982729DEST_PATH_IMAGE127
表示序列中的第k个n-gram词组，
Figure DEST_PATH_IMAGE128
表示元素
Figure 675879DEST_PATH_IMAGE129
在 各条参考结果中的最大出现次数。基于上述定义，我们给出各阶n-gram的精度计算公式：
Figure DEST_PATH_IMAGE130
Accuracy指标计算的是所有预测正确样本占所有实验样本的比例。
本次实施例的实验结果如下：
行为序列生成的BLEU-4稳定在5.98，测试集Accuracy值稳定在0.81。
该实验结果表明本发明所提出的基于数据增强的用户属性推断方法可以在在线社交网络中实现对用户属性推断并取得很好的效果。
如上所述，可较好地实现本发明。
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于数据增强的社交网络用户属性预测方法，其特征在于，基于用户的历史行为序列，推断用户未来一段时间的行为序列，通过将历史行为序列与预测得到的行为序列进行拼接，扩大行为序列的长度，对用户的行为数据进行增强。
2.根据权利要求1所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，包括以下步骤：
S1，进行数据预处理：提取社交网络用户的转发行为数据，对提取的转发行为数据进行预处理，获得预处理后的用户行为数据；
S2，构建并训练预测模型：利用预处理后的用户行为数据，构建用户行为数据预测模型，并训练用户行为数据预测模型；
S3，预测转发行为：利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为，获得增强后的用户行为数据；
S4，预测属性信息：利用增强后的用户行为数据预测社交网络中用户的属性信息。
3.根据权利要求2所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S1包括以下步骤：
S11，提取社交网络用户的行为信息：对于给定用户
Figure DEST_PATH_IMAGE001
，首先获取
Figure 334457DEST_PATH_IMAGE002
在某一段时间跨度 内的转发行为序列
Figure 505675DEST_PATH_IMAGE003
，在起始位置添加特殊标志符[SOS]，在行 为序列的末尾添加特殊标志符[EOS]；并将转发行为对应的时间戳
Figure DEST_PATH_IMAGE004
进行记录；其中，i表示用户的编号，
Figure 463791DEST_PATH_IMAGE005
表示第i个用户的昵 称，
Figure DEST_PATH_IMAGE006
表示第i个用户的转发行为对应的时间戳；
S12，首先计算当前转发行为与参照时刻之间的时间间隔，然后以事先设定的周期将时间间隔转换为时间ID，最后计算相邻转发行为之间时间ID的差分值。
4.根据权利要求3所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S2包括以下步骤：
S21，构建用户转发行为嵌入表示层：用户转发行为嵌入表示层包括行为序列嵌入表示 层
Figure 378658DEST_PATH_IMAGE007
、行为先后顺序嵌入表示层
Figure 102900DEST_PATH_IMAGE008
、时间信息嵌入层
Figure DEST_PATH_IMAGE009
；其中，行为序列嵌入表示层
Figure 710599DEST_PATH_IMAGE007
用于将 用户转发行为序列中的每一个昵称转换为k维的向量表示，行为先后顺序嵌入表示层
Figure 621923DEST_PATH_IMAGE010
用 于将每一个被转发用户的转发顺序编号转换为k维的向量表示，时间信息嵌入层
Figure DEST_PATH_IMAGE011
用于将 每一个被转发用户的转发时间信息转换为k维的向量表示，将上述三种向量表示按位相加， 得到生成式预训练用户行为数据预测模型的输入
Figure 340480DEST_PATH_IMAGE012
；k≥2且k为整数；
S22，构建编码器：构建包括多头自注意力模块MHA、基于位置的全连接前馈网络FFN的 编码器；其中，多头自注意力模块MHA基于缩放点积自注意力用户行为数据预测模型，将嵌 入表示矩阵
Figure DEST_PATH_IMAGE013
作为输入，输出注意力评分矩阵
Figure 184808DEST_PATH_IMAGE014
；基于位置的全连接前馈网络FFN，将注意力 评分矩阵
Figure DEST_PATH_IMAGE015
作为输入，输出解码器的隐层表示
Figure 963409DEST_PATH_IMAGE016
；
S23，构建行为序列输出层：行为序列输出层为全连接神经网络，用于将解码器的隐层 表示
Figure 34133DEST_PATH_IMAGE017
作为输入，输出预测结果，并通过Softmax函数计算预测结果与真实值之间的误差值
Figure 681015DEST_PATH_IMAGE018
，所述预测结果指用户下一时刻转发行为；
步骤S24，通过误差反向传播的训练方式更新用户行为数据预测模型参数，直到误差值
Figure 724057DEST_PATH_IMAGE018
达到最低为止，保存最终的用户行为数据预测模型参数，获得训练好的用户行为数据预 测模型；误差值
Figure 470296DEST_PATH_IMAGE018
达到最低为止指用户行为数据预测模型收敛的情形。
5.根据权利要求4所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S22包括以下步骤：
S221，利用嵌入表示矩阵
Figure DEST_PATH_IMAGE019
作为输入，先将
Figure 356213DEST_PATH_IMAGE019
整理为
Figure 682152DEST_PATH_IMAGE020
，再将
Figure DEST_PATH_IMAGE021
输入 到一个
Figure 969914DEST_PATH_IMAGE022
层的Transformer网络中进行编码：
Figure DEST_PATH_IMAGE023
；
其中，
Figure 824737DEST_PATH_IMAGE024
，
Figure 463529DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
表示用户行为的向量表征，
Figure 327580DEST_PATH_IMAGE027
表示第
Figure DEST_PATH_IMAGE028
层用户 行为数据预测模型的输出结果，
Figure 466918DEST_PATH_IMAGE029
表示Transformer网络中的层编号，
Figure DEST_PATH_IMAGE030
表示第
Figure 289381DEST_PATH_IMAGE029
层Transformer网络编码后的结果，
Figure 884310DEST_PATH_IMAGE031
表示步骤S11中转发行为序列
Figure 83210DEST_PATH_IMAGE032
的长度，
Figure 955352DEST_PATH_IMAGE033
分别表示第1至第
Figure DEST_PATH_IMAGE034
个行为在第
Figure 807770DEST_PATH_IMAGE029
层的向量表征；在每个Transformer编码器 中，有多头注意力机制以聚合前一层的输出向量；第
Figure 562099DEST_PATH_IMAGE035
层的Transformer中的一个自注意力 头
Figure 767953DEST_PATH_IMAGE036
的计算公式如下：
Figure DEST_PATH_IMAGE037
，
Figure 884813DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE039
，
Figure 783499DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
；
其中，前层的输出
Figure 618600DEST_PATH_IMAGE042
通过参数为
Figure 362565DEST_PATH_IMAGE043
的线性变换分别得 到查询向量
Figure DEST_PATH_IMAGE044
、键向量
Figure 333932DEST_PATH_IMAGE045
、值向量
Figure 200257DEST_PATH_IMAGE046
；掩码矩阵
Figure 866862DEST_PATH_IMAGE047
控制着行为之间是否能够被参 照，
Figure 476835DEST_PATH_IMAGE048
表示第
Figure 568287DEST_PATH_IMAGE029
层查询向量对应的线性变换矩阵，
Figure DEST_PATH_IMAGE049
表示第
Figure 543197DEST_PATH_IMAGE029
层键向量对应的线性变换 矩阵，
Figure 87310DEST_PATH_IMAGE050
表示第
Figure 235395DEST_PATH_IMAGE029
层值向量对应的线性变换矩阵，i表示掩码矩阵
Figure DEST_PATH_IMAGE051
的行标号，j表示掩码 矩阵
Figure 56720DEST_PATH_IMAGE051
的列标号，
Figure 330094DEST_PATH_IMAGE052
表示掩码矩阵
Figure 971291DEST_PATH_IMAGE051
的第i行第j列元素，
Figure DEST_PATH_IMAGE053
表示键向量的转置，
Figure 250963DEST_PATH_IMAGE054
表 示隐藏层神经元个数，
Figure DEST_PATH_IMAGE055
表示用户行为的嵌入维度；
S222，以交叉熵作为损失函数，采用梯度下降法训练行为生成部分的神经网络，将用户的转发行为进行独热编码；
S223：返回步骤S221，循环执行步骤S221~步骤S222，直至训练用户行为数据预测模型收敛为止。
6.根据权利要求5所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S222中，独热编码计算公式为：
Figure 926795DEST_PATH_IMAGE056
Figure 633720DEST_PATH_IMAGE057
；
其中，
Figure 824530DEST_PATH_IMAGE058
表示损失值，
Figure 252100DEST_PATH_IMAGE059
表示真实用户在第i时刻转发用户j的概率，n表示时刻总数，
Figure 844755DEST_PATH_IMAGE060
表示所分析的用户的总数量，
Figure 457002DEST_PATH_IMAGE061
表示社交网络用户行为数据预测模型预测的用户i在 第j时刻转发用户的概率。
7.根据权利要求6所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S3包括以下步骤：
S31，利用词嵌入层以及位置嵌入层对行为序列对应的时间ID差分序列进行嵌入表示， 然后用户行为数据预测模型通过
Figure DEST_PATH_IMAGE062
个编码层得到时间ID差分序列的隐藏表示，最后利用交 叉熵损失函数计算用户行为数据预测模型预测结果与期望值之间的偏差；
S32，将嵌入表示矩阵
Figure 338371DEST_PATH_IMAGE019
输入到多头自注意力机制ATT中，得到注意力权重矩阵，并将注 意力矩阵
Figure 694266DEST_PATH_IMAGE063
输入到基于位置的全连接前馈网络FFN中，得到隐层表示
Figure 141427DEST_PATH_IMAGE017
，并通过步骤S23得 到用户下一时刻转发行为的预测结果
Figure DEST_PATH_IMAGE064
，最后将预测结果
Figure 65521DEST_PATH_IMAGE065
拼接到输入序列中；
S33，循环执行步骤S31~S32，直至得到用户未来一段时间的转发行为预测结果
Figure DEST_PATH_IMAGE066
。
8.根据权利要求7所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S4包括以下步骤：
S41，将步骤S33得到的用户行为预测结果
Figure 558819DEST_PATH_IMAGE067
与用户历史行为序列
Figure DEST_PATH_IMAGE068
进行拼接得到增强 后的用户行为数据
Figure 921668DEST_PATH_IMAGE069
，并利用步骤S21得到用户行为数据
Figure DEST_PATH_IMAGE070
的嵌入矩阵
Figure 426598DEST_PATH_IMAGE071
，对嵌入矩阵
Figure DEST_PATH_IMAGE072
按列求平均得到社交网络用户属性预测用户行为数据预测模型的输入特征
Figure 646227DEST_PATH_IMAGE073
；
S42，将特征向量
Figure 33346DEST_PATH_IMAGE073
输入到预训练好的用户行为数据预测模型中进行调整，得到用户属 性的所属概率值
Figure DEST_PATH_IMAGE074
。
9.根据权利要求8所述的一种基于数据增强的社交网络用户属性预测方法，其特征在于，步骤S42中，对用户行为数据预测模型进行调整的具体方法为：
仅保留用户行为数据预测模型的嵌入层以及编码器模块，并添加Flatten层做维度变换，最后输入包括依次相连的线性层、激活层、线性层的前馈神经网络，将隐藏特征映射到真实标签，具体的计算方式如下式：
Figure 196955DEST_PATH_IMAGE075
，
Figure DEST_PATH_IMAGE076
；
其中，
Figure 821972DEST_PATH_IMAGE077
表示用户行为数据预测模型最后一个编码器的输出向量，
Figure DEST_PATH_IMAGE078
表示属性预测结 果，
Figure 212502DEST_PATH_IMAGE079
表示全连接前馈神经网络的输出，
Figure DEST_PATH_IMAGE080
、
Figure 290179DEST_PATH_IMAGE081
表示权重，
Figure DEST_PATH_IMAGE082
表示、
Figure 57147DEST_PATH_IMAGE083
表 示偏置。
10.一种基于数据增强的社交网络用户属性预测系统，其特征在于，基于权利要求1至9任一项所述的一种基于数据增强的社交网络用户属性预测方法，包括依次电相连的以下模块：
数据预处理模块：用以，提取社交网络用户的转发行为数据，对提取的转发行为数据进行预处理，获得预处理后的用户行为数据；
预测模型构建并训练模块：用以，利用预处理后的用户行为数据，构建用户行为数据预测模型，并训练用户行为数据预测模型；
转发行为预测模块：用以，利用训练好的用户行为数据预测模型预测用户未来一段时间的转发行为，获得增强后的用户行为数据；
属性信息预测模块：用以，利用增强后的用户行为数据预测社交网络中用户的属性信息。
CN202210856300.4A 2022-07-21 2022-07-21 一种基于数据增强的社交网络用户属性预测方法及系统 Active CN114936723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210856300.4A CN114936723B (zh) 2022-07-21 2022-07-21 一种基于数据增强的社交网络用户属性预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210856300.4A CN114936723B (zh) 2022-07-21 2022-07-21 一种基于数据增强的社交网络用户属性预测方法及系统

Publications (2)

Publication Number Publication Date
CN114936723A true CN114936723A (zh) 2022-08-23
CN114936723B CN114936723B (zh) 2023-04-14

Family

ID=82868429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210856300.4A Active CN114936723B (zh) 2022-07-21 2022-07-21 一种基于数据增强的社交网络用户属性预测方法及系统

Country Status (1)

Country Link
CN (1) CN114936723B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116842398A (zh) * 2023-06-27 2023-10-03 哈尔滨工业大学 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189207A1 (en) * 2014-12-26 2016-06-30 Yahoo! Inc. Enhanced online content delivery system using action rate lift
US20190313959A1 (en) * 2013-03-13 2019-10-17 Aptima, Inc. Systems and methods to determine user state
CN110532464A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种基于多旅游上下文建模的旅游推荐方法
CN111915024A (zh) * 2020-09-25 2020-11-10 点内（上海）生物科技有限公司 一种序列预测模型训练方法、预测系统及预测方法和介质
CN113177633A (zh) * 2021-04-20 2021-07-27 浙江大学 一种深度解耦时间序列预测方法
CN114298417A (zh) * 2021-12-29 2022-04-08 中国银联股份有限公司 反欺诈风险评估方法、训练方法、装置及可读存储介质
CN114579963A (zh) * 2022-03-09 2022-06-03 携程旅游信息技术（上海）有限公司 基于数据挖掘的用户行为分析方法、系统、设备及介质
CN114691995A (zh) * 2022-04-06 2022-07-01 东华大学 一种基于信息传播和注意力机制的序列推荐方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190313959A1 (en) * 2013-03-13 2019-10-17 Aptima, Inc. Systems and methods to determine user state
US20160189207A1 (en) * 2014-12-26 2016-06-30 Yahoo! Inc. Enhanced online content delivery system using action rate lift
CN110532464A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种基于多旅游上下文建模的旅游推荐方法
CN111915024A (zh) * 2020-09-25 2020-11-10 点内（上海）生物科技有限公司 一种序列预测模型训练方法、预测系统及预测方法和介质
CN113177633A (zh) * 2021-04-20 2021-07-27 浙江大学 一种深度解耦时间序列预测方法
CN114298417A (zh) * 2021-12-29 2022-04-08 中国银联股份有限公司 反欺诈风险评估方法、训练方法、装置及可读存储介质
CN114579963A (zh) * 2022-03-09 2022-06-03 携程旅游信息技术（上海）有限公司 基于数据挖掘的用户行为分析方法、系统、设备及介质
CN114691995A (zh) * 2022-04-06 2022-07-01 东华大学 一种基于信息传播和注意力机制的序列推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGHUA ZHAO 等: "User personality prediction based on topic preference and sentiment analysis using LSTM model", 《PATTERN RECOGNITION LETTERS》 *
杨国胜 等: "机器学习增强的电子商务平台用户行为预测", 《科技与创新》 *
汪菁瑶 等: "用户行为序列个性化推荐研究综述", 《小型微型计算机系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116842398A (zh) * 2023-06-27 2023-10-03 哈尔滨工业大学 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统
CN116842398B (zh) * 2023-06-27 2024-06-28 哈尔滨工业大学 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统

Also Published As

Publication number Publication date
CN114936723B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN111079409B (zh) 一种利用上下文和方面记忆信息的情感分类方法
CN111753209B (zh) 一种基于改进时序卷积网络的序列推荐列表生成方法
CN116049459B (zh) 跨模态互检索的方法、装置、服务器及存储介质
CN112527993B (zh) 一种跨媒体层次化深度视频问答推理框架
CN114398976A (zh) 基于bert与门控类注意力增强网络的机器阅读理解方法
CN110781401A (zh) 一种基于协同自回归流实现的Top-n项目推荐方法
CN113537539B (zh) 一种基于注意力机制的多时间步供热用气量预测模型
CN114936723B (zh) 一种基于数据增强的社交网络用户属性预测方法及系统
CN114218457B (zh) 一种基于转发社交媒体用户表征的假新闻检测方法
Muqeeth et al. Learning to route among specialized experts for zero-shot generalization
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
CN117633371B (zh) 基于多注意力机制的推荐方法、设备和可读存储介质
Hashana et al. Deep Learning in ChatGPT-A Survey
CN114332565A (zh) 一种基于分布估计的条件生成对抗网络文本生成图像方法
Wei et al. MoCo4SRec: A momentum contrastive learning framework for sequential recommendation
Zhou et al. A k-variate time series is worth k words: Evolution of the vanilla transformer architecture for long-term multivariate time series forecasting
CN114925197B (zh) 基于主题注意力的深度学习文本分类模型训练方法
CN109859062A (zh) 一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法
CN115455144A (zh) 用于小样本意图识别的完型填空式的数据增强方法
CN115310004A (zh) 融合项目时序关系的图神经协同过滤推荐方法
CN115481236A (zh) 一种基于用户兴趣建模的新闻推荐方法
CN111680151A (zh) 一种基于层次化transformer的个性化商品评论摘要生成方法
Chen et al. Genetic Design of Topology for Neural Network
CN111158640B (zh) 一种基于深度学习的一对多需求分析识别方法
CN118132803B (zh) 一种零样本视频时刻检索方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant