CN117688343A - 一种多任务学习LSTM-Attention框架的LTV预测方法及系统 - Google Patents
一种多任务学习LSTM-Attention框架的LTV预测方法及系统 Download PDFInfo
- Publication number
- CN117688343A CN117688343A CN202410159041.9A CN202410159041A CN117688343A CN 117688343 A CN117688343 A CN 117688343A CN 202410159041 A CN202410159041 A CN 202410159041A CN 117688343 A CN117688343 A CN 117688343A
- Authority
- CN
- China
- Prior art keywords
- ltv
- user
- data
- feature
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 20
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及游戏用户大数据分析领域，尤其涉及一种多任务学习LSTM‑Attention框架的LTV预测方法及系统，通过获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；构建LSTM神经网络模型，并引入Attention机制，得到LSTM‑Attention框架的LTV预测模型；利用LTV预测模型将LTV基础数据特征分别进行数据特征预处理；将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；将特征聚合结果作为输入，进行LTV预测模型的训练，得到训练好的LTV预测模型；将待预测的LTV数据输入到训练好的LTV预测模型中，输出LTV预测结果。采用本发明提供的预测方法不仅提高了模型的泛化能力和模型训练学习效率，还提高了LTV预测模型的准确性和实用性。
Description
技术领域
本发明涉及游戏用户大数据分析领域，尤其涉及一种多任务学习LSTM-Attention框架的LTV预测方法及系统。
背景技术
用户终身价值LTV，是用户在生命周期内创造的总净值。通常用公式LTV = LT *ARPU = 1/CR * ARPU计算得到，即每个用户生命周期*用户平均收入，其中，LT表示用户生命周期，ARPU表示用户平均收入，CR表示用户流失率，这也就导致了用户LTV预测的关键就在于如何有效预测用户平均支付ARPU和预测用户的流失率CR。
LTV模型在企业内数据驱动的决策过程中发挥至关重要的作用，大致可以分为两类，一种根据RFM模型业务结构构建用户LTV模型，另一种利用ML、AI做用户LTV预测（包括利用逻辑回归、随机森林、梯度提升树、神经网络等方法）。
现有技术方案中，更多偏向使用神经网络捕获复杂的非线性关系，但是由于实际数据差异不同且更为复杂，依然需要大量的训练、大量的测试集，在真实数据中尝试复杂模式解决用户LTV预测。其中，尤为显著的是鉴于用户群体数据分布类型种类繁多，包括混合泊松分布、指数分布等多种分布，举例来说，用户中不仅包含很多不购买、一次性购买、付费金额不稳定的，还包括少量付费金额稳定的，所以每个用户的LTV分布是不均匀的，这也是导致LTV预估困难的主要因素之一。再有，由于数据质量的稳定性问题，存在有数据漂移和概念漂移，其中，数据漂移是指模型依据的用户数据季节性不同、环境变量不同等；概念漂移是指依赖客户群体的行为发生根本性变化，这就导致了LTV预测准确率极不稳定。最后就是，传统双模型预测用户平均收入和流失概率，构造模型复杂度高，且存在模型累积误差，导致LTV预测效果不明显，鲁棒性较差。
综上所述，现有技术存在模型预测准确率低、效果波动较大、泛化能力较差、训练学习耗时久、实用性较差的技术问题。
发明内容
有鉴于此，本发明提供一种多任务学习LSTM-Attention框架的LTV预测方法及系统，旨在解决上述全部或部分技术问题。
为解决以上技术问题，本发明的技术方案为提供一种多任务学习LSTM-Attention框架的LTV预测方法，包括：
获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；
构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的LTV预测模型；
利用所述LTV预测模型将所述LTV基础数据特征分别进行数据特征预处理；
将预处理后的LTV基础数据特征进行特征合并，并进行进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；
将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，得到训练好的LTV预测模型；
将待预测的LTV数据输入到所述训练好的LTV预测模型中，输出LTV预测结果。
作为一种实施方式，所述获取LTV基础数据，并进行数据特征提取，包括：
获取用户画像数据和用户价值数据；
对所述用户画像数据进行特征提取，包括静态属性特征和动态行为特征，得到用户画像特征；
对所述用户价值数据进行特征提取，具体的，根据RFM模型构造用户购买行为频率特征和用户购买金额特征，基于所述用户购买行为频率特征和所述用户购买金额特征，得到用户价值特征；
其中，用户购买行为频率是用户游戏时序有关特征。
作为一种实施方式，得到用户画像特征之后，还包括：
对用户画像特征进行数据预处理，具体的，
将用户画像特征做嵌入处理，以使高维特征向量转换为低维特征向量；
通过ReLU激活函数对降维后的用户画像特征进行非线性转换，并映射到FC全连接层。
作为一种实施方式，得到用户购买金额特征之后，还包括：
对用户购买金额特征进行数据预处理，具体的，
将用户购买金额特征通过ReLU激活函数进行非线性转换，并映射到FC全连接层。
作为一种实施方式，得到用户购买行为频率特征之后，还包括：
对用户购买行为频率特征进行数据预处理，具体的，
获取基础数据特征中的时间特征；
将所述时间特征和所述用户购买行为频率特征包含的动态序列特征进行结合，并将结合后的特征进行LSTM处理，得到时间特征的动态序列特征和用户购买行为频率特征的动态序列特征之间的依赖关系。
作为一种实施方式，所述将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，包括：
引入门控制机制进行多任务学习；
分别获取流失的隐式表达和用户平均付费的隐式表达；
基于所述流失的隐式表达和所述用户平均付费的隐式表达，输出用户流失预测值和用户平均付费预测值；
根据所述用户流失预测值和所述用户平均付费预测值，计算得到LTV预测值。
作为一种实施方式，所述将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，还包括：
采用零膨胀对数正态损失函数对所述LTV预测值进行结果补偿。
作为一种实施方式，所述引入门控制机制进行多任务学习的公式被配置为：，其中，G为门控制机制，Sigmoid表示为用具有Sigmoid激活函数的全连接层FC处理输入张量，X为以特征聚合结果作为输入，WG和bG分别为引入门控制的权重和偏置。
相应的，本发明还提供一种多任务学习LSTM-Attention框架的LTV预测系统，包括：
数据获取模块，用于获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；
模型构建模块，用于构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的神经网络模型；
特征预处理模块，用于利用所述LSTM-Attention框架的神经网络模型将所述LTV基础数据特征分别进行数据特征预处理；
特征合并模块，用于将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化，得到特征聚合结果；
模型训练模块，用于将所述特征聚合结果作为输入，进行所述LSTM-Attention框架的神经网络模型的训练，得到训练好的LSTM-Attention框架的神经网络模型；
结果输出模块，用于将待预测的LTV数据输入到所述训练好的LSTM-Attention框架的神经网络模型中，输出LTV预测结果。
本发明的首要改进之处：采用本发明提供的多任务学习的LSTM-Attention框架在LTV预测的优势，包括捕捉时间序列关系、关注重要特征、综合学习多个任务以及提高效率和泛化性能。使用多任务学习的框架可以有效地减少模型的训练时间和数据需求。这对于通常只有有限的历史数据可用的LTV预测问题尤为重要，多任务学习可以帮助模型更好地利用这些数据进行准确的预测,提高LTV预测模型的准确性和实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1是本发明一实施例提供的一种多任务学习LSTM-Attention框架的LTV预测方法的步骤示意图；
图2是本发明一实施例提供的一种多任务学习LSTM-Attention框架的LTV预测方法的流程示意图；
图3是本发明一实施例提供的一种多任务学习LSTM-Attention框架的LTV预测系统的结构示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，分别是本发明一实施例提供的一种多任务学习LSTM-Attention框架的LTV预测方法的步骤示意图和流程示意图。
S11、获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征。
进入模型处理前，首先需要做数据准备，构造足够的数据数量和适当的数据质量才能训练出合理的预测效果。
进一步的，获取用户画像数据和用户价值数据；对所述用户画像数据进行特征提取，包括静态属性特征和动态行为特征，得到用户画像特征；对所述用户价值数据进行特征提取，具体的，根据RFM模型构造用户购买行为频率特征和用户购买金额特征，基于所述用户购买行为频率特征和所述用户购买金额特征，得到用户价值特征；其中，用户购买行为频率是用户游戏时序有关特征。
动态行为特征是用来区别用户差异性的，比如：用户地区、等级、渠道、历史游戏天数、历史游戏次数等，这部分特征用来聚类活跃差异性的用户群体。用户购买行为频率是用户游戏时序有关特征，比如：用户游戏游玩频率、支付频率、登陆频率、游戏金币收支频率等，而用户购买金额指代的就是用户支付金额数。
S12、构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的LTV预测模型。
LSTM（Long Term Mermory network）神经网络是一种特殊的Rnn递归神经网络，可以很好地解决长时依赖问题，LSTM的关键就在于记忆块中包含了三个门（遗忘门、输入门、输出门），通过门控单元可以添加和删除信息，也可以有选择地决定信息是否通过，需要说明的是，门控单元是由一个神经网络层的sigmoid函数和一个成对乘法操作组成，该层的输出是一个介于0到1的数，表示允许信息通过的多少，0表示完全不允许通过，1表示允许完全通过。
注意力机制即Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。
需要说明的是，Attention机制的基本思想是：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。
本实施例就是将Attention机制引入到LSTM神经网络模型中，得到以LSTM-Attention为框架的LTV预测模型。
S13、利用LTV预测模型将LTV基础数据特征分别进行数据特征预处理。
在步骤S11中获得了用户画像特征（Customer Feature），用户购买金额特征（Payment Feature），用户购买行为频率特征（Sequences），分别对这些特征做不同的处理。
进一步的，对用户画像特征进行数据预处理，具体为：将用户画像特征做嵌入处理，以使高维特征向量转换为低维特征向量；通过ReLU激活函数对降维后的用户画像特征进行非线性转换，并映射到FC全连接层。不同于传统机器模型特征工程构造，避免one-hot编码造成矩阵稀疏问题，嵌入层负责将稀疏高维特征向量转换成稠密低维特征向量，性能提升且表达能力、解释性更高；同时，用户画像特征通过ReLU激活函数做非线性转换，更容易拟合实际模型。
进一步的，采用公式表示对所有用户特征/>做嵌入并非线性转换，其中，ReLU表示ReLU激活函数，/>为以用户画像特征的聚合结果作为输入，/>和/>分别为进行用户画像特征聚合的权重和偏置。
进一步的，对用户购买金额特征进行数据预处理，具体为：将用户购买金额特征通过ReLU激活函数进行非线性转换，并映射到FC全连接层，原理同上。
进一步的，采用公式表示对用户购买金额特征做非线性转换，其中，ReLU表示ReLU激活函数，/>为以用户购买金额特征的聚合结果作为输入，/>和/>分别为进行用户购买金额特征聚合的权重和偏置。
进一步的，对用户购买行为频率特征进行数据预处理，具体为：获取基础数据特征中的时间特征；将所述时间特征和所述用户购买行为频率特征包含的动态序列特征进行结合，并将结合后的特征进行LSTM处理，得到时间特征的动态序列特征和用户购买行为频率特征的动态序列特征之间的依赖关系。
为了解决数据漂移问题，需要在对用户购买行为频率特征进行数据预处理时，增加时间特征，如：是否工作日、是否游戏活动期间、是否游戏解锁关卡日等，加入环境变量减少预测准确率波动。同时，为了解决传统模型缺少时序因素影响，本实施例将用户购买行为频率特征和时间特征的动态序列特征结合，并进行LSTM处理，通过LSTM门控状态来控制传输状态，有效地捕捉到序列数据中的长期依赖关系，学习到用户行为随时间的演化，更好的预测未来LTV。此外，为了解决概念漂移问题，通过引入Attention机制，模型自主学习和关注对LTV预测最重要的用户行为特征，Attention机制允许模型根据输入序列的不同部分自适应地分配权重，从而更加关注与LTV相关的关键行为特征。这样，模型可以更准确地捕捉到对LTV预测有重要影响的用户行为模式，提高预测性能。由此，通过多任务LSTM +Attention的结合，共享模型的表达能力和参数，更好地利用任务之间的相关性和互补性。
进一步的，采用公式表示对所有动态序列特征/>做序列到序列性转化，其中，/>为以动态序列特征特征的聚合结果作为输入，/>为用户购买行为频率的动态序列特征转化公式，下标s为共有s个动态序列特征，下标i为第i个动态序列特征。
S14、将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果。
为解决双模型累积误差问题，将上述三部分数据特征进行合并，将用户的用户平均收入LT预测和流失CR预测任务进行联合学习，使模型能够共享学到特征表现。三部分特征合并的张量，进行卷积层、最大池化层和池化扁平化处理，得到模型聚合结果X，目的及时捕获序列中局部模式&结构，且降低输入序列的维度，增加性能效率。特征合并公式为。
S15、将特征聚合结果作为输入，进行LTV预测模型的训练，得到训练好的LTV预测模型。
进一步的，引入门控制机制进行多任务学习；分别获取流失的隐式表达和用户平均付费的隐式表达；基于所述流失的隐式表达和所述用户平均付费的隐式表达，输出用户流失预测值和用户平均付费预测值；根据所述用户流失预测值和所述用户平均付费预测值，计算得到LTV预测值。其中，引入门控制机制进行多任务学习的公式被配置为：，其中，Sigmoid表示为用具有Sigmoid激活函数的全连接层FC处理输入张量，X为以特征聚合结果作为输入，WG和bG分别为引入门控制的权重和偏置。
具体步骤为：将卷积结果也就是特征聚合结果X作为输入，使用ReLU激活函数的全连接层FC处理输入张量，将输出值映射>=0的正数，作为流失在隐藏维度空间的表示，公式被配置为/>，其中，/>为用户流失情况，X为特征聚合结果，/>为用户流失的权重，/>为用户流失的偏置；将卷积结果也就是特征聚合结果X作为输入，使用ReLU激活函数的全连接层FC处理输入张量，将输出值映射>=0的正数，记作/>人均付费的隐式表达式，公式被配置为/>，其中，/>为用户平均付费情况，/>为用户平均付费的权重，/>为用户平均付费的偏置；同时，引入门控制机制G，使用Sigmoid激活函数将输入X取负操作，将G和/>相乘得到新的张量，新的张量与/>连接，最终作为Arpu用户平均价值预测结果/>；其中，G输出值映射到0到1之间连续值，与的乘积张量，作为控制的预测权重，对留存率低的用户调整降低预测N日的Arpu权重。此外，为了解决用户群体不同分布混合问题，在模型训练过程中，损失函数使用零膨胀对数正态损失ZILN，同时考虑分类和回归损失的综合损失函数，更贴合实际用户分布曲线。通过上述公式得到输出值/>和/>，公式分别被配置为公式（1）和公式（2），公式（1）为：/>其中，/>为用户流失预测结果，/>为用户流失预测的权重，/>为用户流失预测的偏置；得到的结果可以设置概率阈值，例如将概率阈值设置为0.5，低于0.5则判断客户在N日内流失；/>用于表示用户平均付费，公式（2）为/>，其中，/>为用户平均价值预测结果，G为引入的门控制机制，/>为用户平均价值预测的权重，/>为用户平均价值的偏置。最后将上述两个值带入传统LTV计算公式/>得到用户终身价值LTV。
S16、将待预测的LTV数据输入到训练好的LTV预测模型中，输出LTV预测结果。
本发明一实施例提供一种多任务学习LSTM-Attention框架的LTV预测方法，通过获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的LTV预测模型；利用所述LTV预测模型将所述LTV基础数据特征分别进行数据特征预处理；将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，得到训练好的LTV预测模型；将待预测的LTV数据输入到所述训练好的LTV预测模型中，输出LTV预测结果。降低了模型预测效果的波动，提高了模型的泛化能力和模型训练学习效率，并进一步提高了LTV预测模型的准确性和实用性。
相应的，本发明一实施例还提供了一种多任务学习LSTM-Attention框架的LTV预测系统，如图3所示，包括：
数据获取模块，用于获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；
模型构建模块，用于构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的神经网络模型；
特征预处理模块，用于利用LSTM-Attention框架的神经网络模型将LTV基础数据特征分别进行数据特征预处理；
特征合并模块，用于将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；
模型训练模块，用于将特征聚合结果作为输入，进行LSTM-Attention框架的神经网络模型的训练，得到训练好的LSTM-Attention框架的神经网络模型；
结果输出模块，用于将待预测的LTV数据输入到训练好的LSTM-Attention框架的神经网络模型中，输出LTV预测结果。
以上对本发明实施例所提供的一种多任务学习LSTM-Attention框架的LTV预测方法及系统。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
Claims (9)
1.一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，包括：
获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；
构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的LTV预测模型；
利用所述LTV预测模型将所述LTV基础数据特征分别进行数据特征预处理；
将预处理后的LTV基础数据特征进行特征合并，并进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；
将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，得到训练好的LTV预测模型；
将待预测的LTV数据输入到所述训练好的LTV预测模型中，输出LTV预测结果。
2.根据权利要求1所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，所述获取LTV基础数据，并进行数据特征提取，包括：
获取用户画像数据和用户价值数据；
对所述用户画像数据进行特征提取，包括静态属性特征和动态行为特征，得到用户画像特征；
对所述用户价值数据进行特征提取，具体的，根据RFM模型构造用户购买行为频率特征和用户购买金额特征，基于所述用户购买行为频率特征和所述用户购买金额特征，得到用户价值特征；
其中，用户购买行为频率是用户游戏时序有关特征。
3.根据权利要求2所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，得到用户画像特征之后，还包括：
对用户画像特征进行数据预处理，具体的，
将用户画像特征做嵌入处理，以使高维特征向量转换为低维特征向量；
通过ReLU激活函数对降维后的用户画像特征进行非线性转换，并映射到FC全连接层。
4.根据权利要求2所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，得到用户购买金额特征之后，还包括：
对用户购买金额特征进行数据预处理，具体的，
将用户购买金额特征通过ReLU激活函数进行非线性转换，并映射到FC全连接层。
5.根据权利要求2所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，得到用户购买行为频率特征之后，还包括：
对用户购买行为频率特征进行数据预处理，具体的，
获取基础数据特征中的时间特征；
将所述时间特征和所述用户购买行为频率特征包含的动态序列特征进行结合，并将结合后的特征进行LSTM处理，得到时间特征的动态序列特征和用户购买行为频率特征的动态序列特征之间的依赖关系。
6.根据权利要求1所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，所述将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，包括：
引入门控制机制进行多任务学习；
分别获取流失的隐式表达和用户平均付费的隐式表达；
基于所述流失的隐式表达和所述用户平均付费的隐式表达，输出用户流失预测值和用户平均付费预测值；
根据所述用户流失预测值和所述用户平均付费预测值，计算得到LTV预测值。
7.根据权利要求6所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，所述将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，还包括：
采用零膨胀对数正态损失函数对所述LTV预测值进行结果补偿。
8.根据权利要求6所述的一种多任务学习LSTM-Attention框架的LTV预测方法，其特征在于，所述引入门控制机制进行多任务学习的公式被配置为：，其中，G为门控制机制，Sigmoid表示为用具有Sigmoid激活函数的全连接层FC处理输入张量，X为以特征聚合结果作为输入，WG和bG分别为引入门控制的权重和偏置。
9.一种多任务学习LSTM-Attention框架的LTV预测系统，其特征在于，包括：
数据获取模块，用于获取LTV基础数据，并进行数据特征提取，得到LTV基础数据特征；
模型构建模块，用于构建LSTM神经网络模型，并引入Attention机制，得到LSTM-Attention框架的LTV预测模型；
特征预处理模块，用于利用所述LTV预测模型将所述LTV基础数据特征分别进行数据特征预处理；
特征合并模块，用于将预处理后的LTV基础数据特征进行特征合并，并进行进行卷积层、最大池化层和池化扁平化处理，得到特征聚合结果；
模型训练模块，用于将所述特征聚合结果作为输入，进行所述LTV预测模型的训练，得到训练好的LTV预测模型；
结果输出模块，用于将待预测的LTV数据输入到所述训练好的LTV预测模型中，输出LTV预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410159041.9A CN117688343B (zh) | 2024-02-04 | 2024-02-04 | 一种多任务学习LSTM-Attention框架的LTV预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410159041.9A CN117688343B (zh) | 2024-02-04 | 2024-02-04 | 一种多任务学习LSTM-Attention框架的LTV预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117688343A true CN117688343A (zh) | 2024-03-12 |
| CN117688343B CN117688343B (zh) | 2024-05-03 |
Family
ID=90130561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410159041.9A Active CN117688343B (zh) | 2024-02-04 | 2024-02-04 | 一种多任务学习LSTM-Attention框架的LTV预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117688343B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105430100A (zh) * | 2015-12-23 | 2016-03-23 | 北京奇虎科技有限公司 | 一种用户价值的评估方法、装置及其应用方法和系统 |
| CN109409963A (zh) * | 2018-11-12 | 2019-03-01 | 平安科技（深圳）有限公司 | 客户生命周期的预测方法及装置、存储介质、计算机设备 |
| CN109522372A (zh) * | 2018-11-21 | 2019-03-26 | 北京交通大学 | 民航领域旅客价值的预测方法 |
| CN110091751A (zh) * | 2019-04-30 | 2019-08-06 | 深圳四海万联科技有限公司 | 基于深度学习的电动汽车续航里程预测方法、设备及介质 |
| CN111915377A (zh) * | 2020-08-11 | 2020-11-10 | 广东电网有限责任公司广州供电局 | 一种供电套餐设计方法和装置 |
| CN112819507A (zh) * | 2020-12-31 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | 一种服务推送方法、装置、电子设备以及可读存储介质 |
| CN112950261A (zh) * | 2021-02-20 | 2021-06-11 | 北京读我网络技术有限公司 | 一种用户价值的确定方法及系统 |
| CN113591811A (zh) * | 2021-09-28 | 2021-11-02 | 湖南大学 | 零售货柜商品搜索识别方法、系统及计算机可读存储介质 |
| CN113657945A (zh) * | 2021-08-27 | 2021-11-16 | 建信基金管理有限责任公司 | 用户价值预测方法、装置、电子设备和计算机存储介质 |
| CN113850616A (zh) * | 2021-09-01 | 2021-12-28 | 矩智原力(上海)信息科技有限公司 | 基于深度图神经网络的客户生命周期价值预测方法 |
| CN113935529A (zh) * | 2021-10-13 | 2022-01-14 | 北京沃东天骏信息技术有限公司 | 客户生命周期价值的确定方法、装置、设备及介质 |
| CN114742599A (zh) * | 2022-05-17 | 2022-07-12 | 金数信息科技(苏州)有限公司 | 一种基于自训练的用户价值分层方法、装置、存储介质及设备 |
| US20220292423A1 (en) * | 2021-03-12 | 2022-09-15 | Hubspot, Inc. | Multi-service business platform system having reporting systems and methods |
| CN115238951A (zh) * | 2022-06-09 | 2022-10-25 | 南京无象云智能科技有限公司 | 一种电力负荷的预测方法及装置 |
| TW202312060A (zh) * | 2021-09-07 | 2023-03-16 | 伊雲谷數位科技股份有限公司 | 以用戶短期特徵預測用戶是否屬於價值用戶群的預測裝置、方法與儲存該方法的儲存媒介 |
| CN116703457A (zh) * | 2022-12-16 | 2023-09-05 | 荣耀终端有限公司 | 用户生命周期价值的预测方法和预测装置 |
| CN116956009A (zh) * | 2023-01-09 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及相关装置 |
-
2024
- 2024-02-04 CN CN202410159041.9A patent/CN117688343B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105430100A (zh) * | 2015-12-23 | 2016-03-23 | 北京奇虎科技有限公司 | 一种用户价值的评估方法、装置及其应用方法和系统 |
| CN109409963A (zh) * | 2018-11-12 | 2019-03-01 | 平安科技（深圳）有限公司 | 客户生命周期的预测方法及装置、存储介质、计算机设备 |
| CN109522372A (zh) * | 2018-11-21 | 2019-03-26 | 北京交通大学 | 民航领域旅客价值的预测方法 |
| CN110091751A (zh) * | 2019-04-30 | 2019-08-06 | 深圳四海万联科技有限公司 | 基于深度学习的电动汽车续航里程预测方法、设备及介质 |
| CN111915377A (zh) * | 2020-08-11 | 2020-11-10 | 广东电网有限责任公司广州供电局 | 一种供电套餐设计方法和装置 |
| CN112819507A (zh) * | 2020-12-31 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | 一种服务推送方法、装置、电子设备以及可读存储介质 |
| CN112950261A (zh) * | 2021-02-20 | 2021-06-11 | 北京读我网络技术有限公司 | 一种用户价值的确定方法及系统 |
| US20220292423A1 (en) * | 2021-03-12 | 2022-09-15 | Hubspot, Inc. | Multi-service business platform system having reporting systems and methods |
| CN113657945A (zh) * | 2021-08-27 | 2021-11-16 | 建信基金管理有限责任公司 | 用户价值预测方法、装置、电子设备和计算机存储介质 |
| CN113850616A (zh) * | 2021-09-01 | 2021-12-28 | 矩智原力(上海)信息科技有限公司 | 基于深度图神经网络的客户生命周期价值预测方法 |
| TW202312060A (zh) * | 2021-09-07 | 2023-03-16 | 伊雲谷數位科技股份有限公司 | 以用戶短期特徵預測用戶是否屬於價值用戶群的預測裝置、方法與儲存該方法的儲存媒介 |
| CN113591811A (zh) * | 2021-09-28 | 2021-11-02 | 湖南大学 | 零售货柜商品搜索识别方法、系统及计算机可读存储介质 |
| CN113935529A (zh) * | 2021-10-13 | 2022-01-14 | 北京沃东天骏信息技术有限公司 | 客户生命周期价值的确定方法、装置、设备及介质 |
| CN114742599A (zh) * | 2022-05-17 | 2022-07-12 | 金数信息科技(苏州)有限公司 | 一种基于自训练的用户价值分层方法、装置、存储介质及设备 |
| CN115238951A (zh) * | 2022-06-09 | 2022-10-25 | 南京无象云智能科技有限公司 | 一种电力负荷的预测方法及装置 |
| CN116703457A (zh) * | 2022-12-16 | 2023-09-05 | 荣耀终端有限公司 | 用户生命周期价值的预测方法和预测装置 |
| CN116956009A (zh) * | 2023-01-09 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及相关装置 |
Non-Patent Citations (6)
| Title |
|---|
| JOSEF BAUER 等: "Improved Customer Lifetime Value Prediction With Sequence-To-Sequence Learning and Feature-Based Models", 《ACM TRANSACTIONS ON KNOWLEDGE DISCOVERY FROM DATA》, vol. 15, no. 5, 30 April 2021 (2021-04-30), pages 1 - 37, XP058681277, DOI: 10.1145/3441444 * |
| PEI PEI CHEN 等: "Customer Lifetime Value in Video Games Using Deep Learning and Parametric Models", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》, 24 January 2019 (2019-01-24), pages 2134 - 2140 * |
| 胡理增 等: "以客户终身价值为准则的客户重要程度识别系统", 《系统工程理论与实践》, no. 11, 25 November 2005 (2005-11-25), pages 79 - 85 * |
| 诸葛先笙: "基于多任务学习的游戏用户生命周期价值（LTV）预估", pages 1 - 9, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/348409645》> * |
| 谷剑芳: "LSTM、RFM算法和 箱型图在电子社保卡互联网行为中的应用", 《数字技术与应用》, vol. 40, no. 4, 25 April 2022 (2022-04-25), pages 161 - 163 * |
| 赵虹剑: "数据驱动的网约车用户价值分析及预测", 《中国优秀硕士学位论文全文数据库 工程科技2辑》, 15 July 2023 (2023-07-15), pages 034 - 369 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117688343B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rahimikia et al. | Machine learning for realised volatility forecasting | |
| CA3184439A1 (en) | Neural network architecture for transaction data processing | |
| Aicher et al. | Adaptively truncating backpropagation through time to control gradient bias | |
| Li et al. | Bitcoin options pricing using LSTM-based prediction model and blockchain statistics | |
| Wolff et al. | Stock picking with machine learning | |
| CN111408143A (zh) | 游戏付费预测方法、模型训练方法及装置 | |
| Khan et al. | Predictors without borders: behavioral modeling of product adoption in three developing countries | |
| Nguyen et al. | Attention-based neural network: A novel approach for predicting the popularity of online content | |
| CN117291069A (zh) | 一种基于改进de与注意力机制的lstm污水水质预测方法 | |
| Asad et al. | A long-short-term-memory based model for predicting atm replenishment amount | |
| CN117557361B (zh) | 基于数据分析的用户信用风险评估方法及系统 | |
| CN113450158A (zh) | 银行活动信息推送方法及装置 | |
| CN117494824A (zh) | 量子芯片系统、量子计算机及其性能改进方法、相关装置 | |
| CN117688343B (zh) | 一种多任务学习LSTM-Attention框架的LTV预测方法及系统 | |
| CN116451841A (zh) | 企业贷款违约概率预测方法、装置、电子设备和存储介质 | |
| CN116934341A (zh) | 交易风险的评估方法、装置、电子设备和介质 | |
| Silva et al. | Using GAN-generated market simulations to guide genetic algorithms in index tracking optimization | |
| CN114529053A (zh) | 用于逾期金额预测的神经网络模型构建方法及预测系统 | |
| AT&T | Logistic | |
| Song et al. | High-water marks and hedge fund management contracts with partial Information | |
| Moen | Bankruptcy prediction for Norwegian enterprises using interpretable machine learning models with a novel timeseries problem formulation | |
| Zhao et al. | Construction and simulation of market risk warning model based on deep learning | |
| CN111402042A (zh) | 一种用于股市大盘形态分析的数据分析与显示方法 | |
| Huang | Research on Data Analysis of Digital Economic Management under the Background of Big Data | |
| Baranes et al. | Predicting Earnings Directional Movement Utilizing Recurrent Neural Networks (RNN) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |