CN114022202A - 基于深度学习的用户流失预测方法及系统 - Google Patents
基于深度学习的用户流失预测方法及系统 Download PDFInfo
- Publication number
- CN114022202A CN114022202A CN202111295191.5A CN202111295191A CN114022202A CN 114022202 A CN114022202 A CN 114022202A CN 202111295191 A CN202111295191 A CN 202111295191A CN 114022202 A CN114022202 A CN 114022202A
- Authority
- CN
- China
- Prior art keywords
- user
- matrix
- feature
- vector
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 145
- 239000011159 matrix material Substances 0.000 claims abstract description 114
- 230000006399 behavior Effects 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000002354 daily effect Effects 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000003203 everyday effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于深度学习的用户流失预测方法及系统,通过构建并将时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,再提取嵌入特征块的各个块嵌入向量的目标类别,并加上位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到嵌入特征块的类别嵌入向量;对嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值,从用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及用户流失概率值确定用户的流失类别。本发明能准确、全面捕捉用户各种时序行为特征之间的自相似性,并结合用户画像的关键特征矩阵实现高精度的用户流失预测。
Description
技术领域
本发明涉及用户流失预测领域,尤其涉及基于深度学习的用户流失预测方法及系统。
背景技术
随着现代信息技术和通信技术的快速发展,移动通信领域用户以较低的价格就可以享受到优质的服务。市场竞争日趋激烈,需求逐步饱和,原有用户的流失也日益严重。其中,用户流失是指用户终止与企业的服务合同或转向使用其他公司提供的服务。Garter公司的调查数据显示,开发一个新用户的费用是维持一个老用户成本的4~5倍。另有研究表明,一个公司如果将用户流失率降低5%,就能增加25%~85%的利润。目前,我国移动通信行业已经进入用户饱和阶段,发展一个新用户的成本越来越高,因此控制用户流失是关系各大通信运营商未来生存和发展的一个关键问题。而通过用户流失预测来保留现有用户成为很多移动通信公司发展的首要目标。用户流失预测作为客户关系管理(CRM)方法的一部分,能够有效帮助公司减少客户的流失,对公司增加营收和提高竞争力有重要意义。
由于近些年来深度学习的快速发展,基于深度学习模型的预测算法也开始出现。有的利用多层前馈网络(FFN)预测用户流失,有的利用循环神经网络(RNN)模型处理包含用户年龄、性别特征,及用户各项通信消费数据在内的时序数据进行流失预测。神经网络还被用来提取高维特征表达,以求获取隐藏潜在信息等。然而上述用户流失预测方法均不适合处理复杂动态的时间序列数据,且对用户流失预测精度有限。
发明内容
本发明提供了基于深度学习的用户流失预测方法及系统,用于解决现有的用户流失预测方法预测精度不高的技术问题。
为解决上述技术问题,本发明提出的技术方案为:
一种基于深度学习的用户流失预测方法,包括以下步骤:
获取用户的画像特征集以及时序行为特征集,根据所述用户画像特征集构建用户画像特征矩阵,根据所述时序行为特征集构建时序行为特征矩阵,所述画像特征集中包含用户不同维度的画像特征数据,所述时序行为特征集中包含用户不同维度的时序行为特征序列;
将所述时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,所述类别嵌入向量用于学习并标记各个块嵌入向量的目标类别;所述位置嵌入向量用于标记各个块嵌入向量之间的位置关系;
提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向重;对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值;
从所述用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。
优选的,将所述时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量由嵌入层实现,具体包括以下步骤:
设所述时序行为特征矩阵为X∈RN×L,其中,N为所述时序行为特征矩阵的特征维度,L为每个时间序列特征的长度;将所述时序行为特征矩阵X∈RN×L切分成大小为P×Q的矩阵块,得到分割后的时序行为特征矩阵X∈RM×(P×Q);
通过线性变换嵌入E将分切后的时序行为特征矩阵X∈RM×(P×Q)映射到D大小的维度,得出嵌入表示X′=XE∈RM×D;
在嵌入表示X′=XE∈RM×D中添加类别嵌入向量xc∈RD以及位置嵌入向量Ep∈R(M +1)×D,得到嵌入层的输出为:
y0=[xc;x1E;x2E;...;xME]+Ep,E∈R(P×Q)×D,Ep∈R(M+1)×D
其中,y0为嵌入层的输出,且y0∈R(M+1)×D,Xi′为所述嵌入表示X′=XE∈RM×D中第i个块嵌入向量,i=1,2,3,...,M,块嵌入向量xi′=xiE对应的位置嵌入为所述类别嵌入向量xc∈RD为可学习,且无明显语义信息的嵌入向量。
优选的,提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量由多头自注意层实现,具体包括以下步骤:
分别计算每一个块嵌入向量与其他块嵌入向量目标类别的相似性并给予相应的权重:
其中,和分别为3个不同的参数矩阵,由随机初始化得到,维度均为(M+1)×(M+1),Qi、Ki、Vi分别为嵌入层的输出y0的query、key和value矩阵;为一个查询向量qi的维度,取值为M+1;Headi为采用第i个参数矩阵和计算得到的特征子矩阵,该特征子矩阵用于模型在不同的表示子空间里去学习相关的信息;i为所述多头自注意层中自注意块的序号,i=1,2,3...,N,N为自注意头的总数。
计算查询矩阵Qi与键矩阵的转置之间的内积得到分数,除以进行归一化,然后对分数使用softmax激活函数,再点乘价值矩阵Vi,得到特征子矩阵Headi,拼接Headi,乘以投影矩阵WO得到MultiHead(0),作为新的序列特征:
MultiHead(y0)=Concat(Head1,...,HeadN)WO
Wo为投影矩阵,维度是(N×D)×D,MultiHead(0)的维度为(M+1)×D。
将新的序列特征输出给注意力层中的全连接神经网络,然后堆叠L层,最后输出第L层的类别嵌入向量,其中,L根据数据量大小和实验结果确定,取值范围为3~10。
优选的,对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值,通过以下公式实现:
p=LayerNorm(MultiHead0)
其中,MultiHead0为多头自注意层输出的第L层的类别嵌入向量。
优选的,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别,包括以下步骤:
将所述用户画像特征以及预分类输出的所述用户流失概率值喂给分类器多层感知机MLP后,进行训练输出流失概率值p′;
再根据阈值过滤,输出用户是否会在下个月流失的指示变量I,其中,阈值过滤公式为:
其中,0表示下个月不会流失,1表示此用户下个月将会流失。
优选的,从所述用户画像特征矩阵提取用户画像的关键特征矩阵,包括以下步骤:
对用户画像特征矩阵Dn×m={x1,x2,...,xm}进行中心化,其中,xi为用户画像特征矩阵Dn×m第i个用户的画像特征列向量,i=1,...,m,n为用户画像特征矩阵的特征维度,m为用户数,并用以下公式计算用户每个维度中心化后的用户画像特征向量,得到第i个用户的中心化特征向量x′i:
将所有用户的用户中心化特征向量组装成用户中心化特征矩阵D′n×m,计算所述用户中心化特征矩阵的协方差矩阵XXT,并对协方差XXT做特征值分解,取最大的k个特征值对应的特征向量u1,u2,...,uk组成投影矩阵W=(u1,u2,...,uk),将投影矩阵与用户特征矩阵相乘,得到经过特征提取层提取后的关键特征矩阵:
一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现方法的步骤。
本发明具有以下有益效果:
1、本发明中的基于深度学习的用户流失预测方法及系统,通过构建并将时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,再提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量;对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值,从所述用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。相比现有技术,能准确、全面捕捉用户各种时序行为特征之间的自相似性,并结合用户画像的关键特征矩阵实现高精度的用户流失预测。
2、在优选方案中,本发明使用一个不带归纳偏置的类别标记向量表征时序行为特征矩阵所对应的用户流失概率序列,接着将低维的嵌入序列、位置序列以及可学习的类别标记向量拼接到一起,通过一个采用多头自注意力机制的变换层来学习拼接序列的自相似性,然后通过一个轻量级的分类器输出根据用户的时序行为特征矩阵得到的流失概率,接着和通过主成分分析得到的降维特征拼接到一起喂给用于分类的多层感知机,最终输出用户是否会流失,不但能提高用户流失预测的准确性,还能提高用户的预测速度。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例中的基于深度学习的用户流失预测方法所使用的深度学习模型架构图。
图2是本发明优选实施例中的基于深度学习的用户流失预测方法与其他用户流失预测方法的AUC性能比对图;
图3是本发明优选实施例中的基于深度学习的用户流失预测方法与其他用户流失预测方法的PR-AUC性能比对图;
图4是本发明优选实施例中的基于深度学习的用户流失预测方法与其他用户流失预测方法的F-Score性能比对图;
图5是本发明优选实施例中的基于深度学习的用户流失预测方法与其他用户流失预测方法提取活跃熵前后的模型预测性能对比图;
图6是本发明优选实施例中的基于深度学习的用户流失预测方法与其他用户流失预测方法提取异常天数前后的模型预测性能对比图;
图7是本发明优选实施例中的基于深度学习的用户流失预测方法的流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一:
如图7所示,本实施中公开了一种基于深度学习的用户流失预测方法,包括以下步骤:
获取用户的画像特征集以及时序行为特征集,根据所述用户画像特征集构建用户画像特征矩阵,根据所述时序行为特征集构建时序行为特征矩阵,所述画像特征集中包含用户不同维度的画像特征数据,所述时序行为特征集中包含用户不同维度的时序行为特征序列;
将所述时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,所述类别嵌入向量用于学习并标记各个块嵌入向量的目标类别;所述位置嵌入向量用于标记各个块嵌入向量之间的位置关系;
提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量;对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值;
从所述用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。
此外,在本实施例中,还公开了一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现方法的步骤。
本发明中的基于深度学习的用户流失预测方法及系统,通过构建并将时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,再提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量;对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值,从所述用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。相比现有技术,能准确、全面捕捉用户各种时序行为特征之间的自相似性,并结合用户画像的关键特征矩阵实现高精度的用户流失预测。
实施例二:
实施例二针对当前通信运营商的现有用户流失和维护等关键问题,提出一种互联网卡用户流失的预测方法,首先对运营商收集的用户属性、CDR(呼叫细节记录)、流量数据等数据进行清洗,对每个月份的数据集都提取通信运营商所需的目标用户群体,根据流失判定规则给每个用户打上是否已流失的标签。然后根据用户各个维度的数据进行特征提取,主要分四个方面进行,分别是用户的个人信息、套餐和开支信息、呼叫细节记录以及流量使用行为,特别是针对后两者,根据公式或者算法提取特征来最大化地表征正常用户和流失用户之间的差异。第二步则使用基于第一步提取的用户特征和标签,然后通过本发明设计的基于多头自注意力机制的深度神经网络对现有用户进行未来一个月是否会流失进行训练和预测。第三步则是模型上线。固定深度神经网络的超参数以及训练出来的各项权重和偏置,每到一个新的月份,就对该月份的数据集重复第一步和第二步的操作,然后通过固化的深度神经网络直接预测。
在本实施例,互联网卡用户流失的预测方法具体包括以下步骤:
一、数据清洗和特征工程
使用Spark SQL或者Hive SQL对运营商通过自身的OSS和BSS收集的用户属性、CDR(呼叫细节记录)、流量数据进行清洗,对每个月份的数据集都提取通信运营商所需的目标用户群体,筛去其中由于数据记录、格式转换和导入导出等导致的异常数据,然后使用Python对目标用户群体各个维度的数据的缺失值进行填充,再根据领域知识筛去其中的异常用户,接着根据流失判定规则给每个用户打上是否已流失的标签。
根据用户各个维度的数据进行特征提取,针对呼叫细节记录以及流量使用行为这种序列数据,本发明提出了活跃熵来表征互联网卡用户行为的不确定性和活跃度,行为异常天数来表征互联网卡用户的异常行为。以下是这两个特征的具体计算步骤。
1.1、活跃熵:
1)静态统计:
统计每个用户每天产生的流量和/上网记录条数/上网时间和/通话时间和/通话记录条数等数据,所以每个用户拥有一些行为序列,数量同统计的特征数相等。每个行为序列都可以表示成为[t1,t2,…,ti,…,td],其中,d表示当月的天数,ti表示第i天用户关于某特征的统计值。即用当月中每天产生的日上流量和构建当月的月上流量行为序列(简称月上流量),用当月中每天产生的日下流量和构建当月的月下流量行为序列(简称月下流量),用当月中每天产生的日上网记录条数和构建当月的上网记录条数行为序列(简称月通话时间),用当月中每天产生的日上网时间和构建当月的上网时间行为序列(简称月上网时间),用当月中每天产生的日通话时间和构建当月的通话时间行为序列(简称月通话时间),用当月中每天产生的日通话记录条数和构建当月的通话记录条数行为序列(简称月通话记录条数)。
2)分桶:
3)活跃熵计算:
1.2、行为异常天数:
1)静态统计:
统计每个用户每天产生的上行流量和/下行流量和/上网时间和/上网记录条数等数据,所以每个用户拥有一些行为序列,数量同统计的特征数相等。每个行为序列都可以表示成为[t1,t2,…,ti,…,tn],其中n表示当月的天数,ti表示第i天用户某特征的统计值。
2)前向差分计算:
di=ti+1-ti (3)
3)异常检测:
异常值被定义为大于QU+1.5IQR或小于QL-1.5IQR的值。其中QU是上四分位数,表示全部观察值中有1/4的数据比他大,QL是下四分位数,表示全部观察值中有1/4的数据比他小。IQR是四分位间距,是QU和QL的差,其间包含了一半的观察值。
根据如上的识别异常值标准来检测行为序列的一阶前向差分中的异常点,并把异常点个数作为异常天数特征。
二、构建并训练模型
将第一步和第二步提取的用户标签和特征称为数据集D,本发明将数据集D进行n折交叉验证(比如n=10)以验证模型在不同数据划分中的鲁棒性。具体来说即将数据集D随机划分成n个几乎同等大小的子数据集,总共进行n次模型训练。第i次训练的时候,就将第i个子数据集作为测试集,剩下的子数据集作为训练集喂给本发明设计的基于多头自注意力机制的深度神经网络。
在本实施例中,如图1所示,基于多头自注意力机制的深度神经网络包括特征提取层、嵌入层、注意力层、预分类层以及分类器,其中,嵌入层、注意力层、预分类层以及分类器连接,所述分类器还与特征提取层连接。所述特征提取层用于从用户画像特征矩阵(图中简称用户画像矩阵)提取降维的用户画像关键特征矩阵,并将所述关键特征矩阵输出给分类器,嵌入层用于将时间序列3D张量构成的时序行为特征矩阵及其对应的类别标记转化包含块嵌入向量、类别嵌入向量以及位置嵌入向量的嵌入特征块,并将嵌入特征块输出给注意力层,注意力层用于提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量;并将所述嵌入特征块的类别嵌入向量输出给预分类层,预分类层用于对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值给分类层;分类层用于根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。
其中,在本实施例中,基于多头自注意力机制的深度神经网络的用户特征可细分成两种:一种是用户画像特征矩阵Dn×m(2D张量),比如:年龄、性别、套餐金额、余额、入网时长,活跃熵等。另一种是用户时间序列特征3D张量X∈Rm×N×L,比如:日上行流量和,日通话时长,日通话所连基站数等,其中,具体用户特征以及类别如表1所示:
表1用户特征类别以及维度
画像特征 | 时间序列特征 |
性别 | 日下行流量和 |
年龄 | 日上行流量和 |
移动终端机型 | 日上网时间和 |
移动终端价格 | 日上网记录条数和 |
移动终端使用时长 | 每日是否流量异常 |
余额 | 日主叫通话次数 |
套餐ID | 日主叫通话时长 |
套餐档次 | 日主叫号码个数 |
第二卡槽归属运营商 | 日被叫通话次数 |
在网月份 | 日被叫通话时长 |
近3个月单停次数 | 日被叫号码个数 |
近3个月双停次数 | 日通话所连基站数 |
基于月上行流量的活跃熵 | |
基于月下行流量的活跃熵 | |
基于月上网时间的活跃熵 | |
基于月上网记录条数的活跃熵 |
2.1特征提取层
为了充分利用用户高达数百个的全量特征,假设特征和特征之间没有顺序关系,本发明构建了一个特征提取层来加快模型训练和收敛速度的同时保留最主要的特征分量,即最大程度保留原有的信息。对用户画像特征矩阵Dn×m={x1,x2,...,xm}进行中心化,其中,xi为用户画像特征矩阵Dn×m第i个用户的画像特征列向量,i=1,...,m,n为用户画像特征矩阵的特征维度,m为用户数,并用以下公式计算用户每个维度中心化后的用户画像特征向量,得到第i个用户的中心化特征向量x′i:
将所有用户的用户中心化特征向量组装成用户中心化特征矩阵D′n×m,计算所述用户中心化特征矩阵的协方差矩阵XXT,并对协方差XXT做特征值分解,取最大的k个特征值对应的特征向量u1,u2,...,uk组成投影矩阵W=(u1,u2,...,uk),将投影矩阵与用户特征矩阵相乘,得到经过特征提取层提取后的关键特征矩阵:
为了更好地利用特征中数据量最丰富、粒度最细的时间序列特征,本发明通过加入嵌入层,注意力层和预分类层来捕获序列特征和用户之间是否离网的潜在关系。
2.2嵌入层
嵌入层分为块嵌入,类别嵌入和位置嵌入。块嵌入将每个用户的多个时间序列特征组成的矩阵转化成一系列的1D块嵌入表示。将每个用户输入的时间序列张量记为X∈RN ×L,其中N为时间序列的特征数(N=12),L为每个时间序列特征的长度(L=30),通过reshape操作将每个用户的时间序列张量X分成大小为P×Q(P=4,Q=3)的块,一共可切分成M=NL/PQ个块(M=30),得到X∈RM×(P×Q),然后通过线性变换嵌入E将Xp映射到D大小的维度(D=12),得出嵌入表示X′=XE∈RM×D。
假设将时间序列张量分为30个块,即取M=30,输入到注意力层中就有30个向量,但对于这30个向量而言,该取哪一个向量做分类预测都不合适。所以本发明添加一个类别标记向量,该向量是可学习的嵌入向量,与其他30个块嵌入向量一起输入到注意力层中,最后取第一个向量作为类别预测结果。因为与已有的其它向量相比,这个无明显语义信息的向量会更公平地融合各个向量的语义信息,从而更好的表示所有时间序列的语义。这个追加的向量可以理解为其他30个块寻找的类别信息,能够学习到不同序列表示的流失状态。具体做法是在训练时随机初始化一个类别标记向量xc∈RD(每个数从均值为0,标准差为1的正态分布随机挑选)作为第一个序列特征,并且作为预分类层分类时用的特征。
y0=[xc;x1E;x2E;...;xME]+Ep,E∈R(P×Q)×D,Ep∈R(M+1)×D (6)
2.3注意力层
为了更好地捕获长距离序列特征之间的潜在关系,本发明使用具有多头自注意力层作为特征提取器,分别计算每一个块嵌入向量与其他块嵌入向量的相似性并给予相应的权重::
其中,和分别为3个不同的参数矩阵,由随机初始化得到,维度均为(M+1)×(M+1),Qi、Ki、Vi分别为嵌入层的输出y0的query、key和value矩阵;为一个查询向量qi的维度,取值为M+1;Headi为采用第i个参数矩阵和计算得到的特征子矩阵,该特征子矩阵用于模型在不同的表示子空间里学习到相关的信息;i为所述多头自注意层中自注意块的序号,i=1,2,3,自注意块的总数为3。
计算查询矩阵Qi与键矩阵的转置之间的内积得到分数,除以进行归一化,然后对分数使用softmax激活函数,再点乘价值矩阵Vi,得到特征子矩阵Headi,拼接Headi,乘以投影矩阵Wo得到MultiHead(y0),作为新的序列特征:
MultiHead(y0)=Concat(Head1,...,Head3)WO (9)
WO为投影矩阵,维度是(3×D)×D,MultiHead(0)的维度为(M+1)×D。
将新的序列特征输出给注意力层中的全连接神经网络,然后堆叠L层,最后输出第L层的类别嵌入向量,L在实例中设置为3~10,具体是为6,是可调整的参数,根据数据量大小和实验结果进行微调。
2.4预分类层
注意力层输出第L层的类别标记向量给预分类层进行预分类,预分类层输出基于时间序列特征推断的离网概率值p:
p=LayerNorm(MultiHead0) (10)
2.5分类层
分类层拼接基于时间序列特征推断的离网概率值p和经过特征提取层提取后的特征矩阵Dk×n喂给分类器多层感知机MLP后,进行训练输出离网概率值p′,再根据阈值过滤,输出用户是否会在下个月流失的指示变量I,
其中,0表示下个月不会流失,1表示此用户下个月将会流失。
三、验证与评估
在测试集上预测这些互联网卡用户未来一个月是否会流失,并对预测结果采用AUC、PR-AUC、F分数等多个评价指标进行评估,最后将n次的评价指标求平均值作为最后的模型评估结果。
通过某通信运营商提供的某两月的互联网卡用户数约为10w数量级的真实数据集上进行测试,测试结果如图2-5所示,我们可发现本发明提出的基于注意力机制的基于深度学习的用户流失预测方法同其他机器学习、深度学习模型的预测性能进行对比有着较为明显的提升,如在AUC指标上比高了线性判别分析35%,在PR-AUC指标上比决策树高了50%,在F-Score指标上比轻量梯度提升机高了21%等。
为了表明本发明提取的活跃熵和异常天数对于所有模型都有较好的提升效果,本发明进行了去掉相应特征的消融实验,图5表明活跃熵的加入对于所有模型都有1%~1.5%的提升,图6表明异常天数的加入对于所有模型有1%~5%的提升。
3.1、模型上线和性能对比
固定深度神经网络训练出来的各项权重和偏置以及各项超参数,每到一个新的月份,就对该月份的数据重复第一步和第二步的操作,然后通过固化的深度神经网络直接预测最新的互联网卡用户未来一个月是否会流失。
综上可知,本发明中的基于深度学习的用户流失预测方法,能够通过一种固定且自动的工作流程高效地处理较大规模的互联网卡用户的原始数据。并且设计和提取了多个特征以较好的可解释性来简洁地最大化表征流失用户和正常用户之间的差异。最后使用先进的深度学习模型准确地捕捉提取的用户长时间序列特征之间的自相似性,实现了不错的预测性能,并且采取多折交叉验证证明了本发明设计的模型具有一定的鲁棒性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的用户流失预测方法,其特征在于,包括以下步骤:
获取用户的画像特征集以及时序行为特征集,根据所述用户画像特征集构建用户画像特征矩阵,根据所述时序行为特征集构建时序行为特征矩阵,所述画像特征集中包含用户不同维度的画像特征数据,所述时序行为特征集中包含用户不同维度的时序行为特征序列;
将所述时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量,所述类别嵌入向量用于学习并标记各个块嵌入向量的目标类别;所述位置嵌入向量用于标记各个块嵌入向量之间的位置关系;
提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量;对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值;
从所述用户画像特征矩阵提取用户画像的关键特征矩阵,根据用户画像的关键特征矩阵以及所述用户流失概率值确定所述用户的流失类别。
2.根据权利要求1所述的基于深度学习的用户流失预测方法,其特征在于,将所述时序行为特征矩阵转化成多个块嵌入向量,并添加初始类别嵌入向量以及位置嵌入向量由嵌入层实现,具体包括以下步骤:
设所述时序行为特征矩阵为X∈RN×L,其中,N为所述时序行为特征矩阵的特征维度,L为每个时间序列特征的长度;将所述时序行为特征矩阵X∈RN×L切分成大小为P×Q的矩阵块,得到分割后的时序行为特征矩阵X∈RM×(P×Q);
通过线性变换嵌入E将分切后的时序行为特征矩阵X∈RM×(P×Q)映射到D大小的维度,得出嵌入表示X′=XE∈RM×D;
在嵌入表示X′=XE∈RM×D中添加类别嵌入向量xc∈RD以及位置嵌入向量Ep∈R(M+1)×D,得到嵌入层的输出为:
y0=[xc;x1E;x2E;...;xME]+Ep,E∈R(P×Q)×D,Ep∈R(M+1)×D
3.根据权利要求2所述的基于深度学习的用户流失预测方法,其特征在于,提取所述嵌入特征块的各个块嵌入向量的目标类别,并加上所述位置嵌入向量所标记的各个块嵌入向量之间的位置关系对提取的各个块嵌入向量进行自相似性计算,得到所述嵌入特征块的类别嵌入向量由多头自注意层实现,具体包括以下步骤:
分别计算每一个块嵌入向量与其他块嵌入向量的相似性并给予相应的权重:
其中,和分别为3个不同的参数矩阵,由随机初始化得到,维度均为(M+1)×(M+1),Qi、Ki、Vi分别为嵌入层的输出y0的query、key和value矩阵;为一个查询向量qi的维度,取值为M+1;Headi为采用第i个参数矩阵和计算得到的特征子矩阵,该特征子矩阵用于模型在不同的表示子空间里学习到相关的信息;i为所述多头自注意层中自注意块的序号,i=1,2,3...,N,N为自注意块的总数;
计算查询矩阵Qi与键矩阵的转置之间的内积得到分数,除以进行归一化,然后对分数使用softmax激活函数,再点乘价值矩阵Vi,得到特征子矩阵Headi,拼接Headi,乘以投影矩阵WO得到MultiHead(y0),作为新的序列特征:
MultiHead(y0)=Concat(Head1,...,HeadN)WO
WO为投影矩阵,维度是(N×D)×D,MultiHead(y0)的维度为(M+1)×D;
将新的序列特征输出给注意力层中的全连接神经网络,然后堆叠L层,最后输出第L层的类别嵌入向量,其中,L根据数据量大小和实验结果确定,取值范围为3~10。
4.根据权利要求2所述的基于深度学习的用户流失预测方法,其特征在于,对所述嵌入特征块的类别嵌入向量进行预分类,输出用户流失概率值,通过以下公式实现:
p=LayerNorm(MultiHead0)
其中,MultiHead0为多头自注意层输出的第L层的类别嵌入向量。
6.根据权利要求5所述的基于深度学习的用户流失预测方法,其特征在于,从所述用户画像特征矩阵提取用户画像的关键特征矩阵,包括以下步骤:
对用户画像特征矩阵Dn×m={x1,x2,...,xm}进行中心化,其中,xi为用户画像特征矩阵Dn×m第i个用户的画像特征列向量,i=1,...,m,n为用户画像特征矩阵的特征维度,m为用户数,并用以下公式计算用户每个维度中心化后的用户画像特征向量,得到第i个用户的中心化特征向量x′i:
将所有用户的用户中心化特征向量组装成用户中心化特征矩阵D′n×m,计算所述用户中心化特征矩阵的协方差矩阵XXT,并对协方差XXT做特征值分解,取最大的k个特征值对应的特征向量u1,u2,...,uk组成投影矩阵W=(u1,u2,...,uk),将投影矩阵与用户特征矩阵相乘,得到经过特征提取层提取后的关键特征矩阵:
7.一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111295191.5A CN114022202B (zh) | 2021-11-03 | 2021-11-03 | 基于深度学习的用户流失预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111295191.5A CN114022202B (zh) | 2021-11-03 | 2021-11-03 | 基于深度学习的用户流失预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114022202A true CN114022202A (zh) | 2022-02-08 |
CN114022202B CN114022202B (zh) | 2022-11-01 |
Family
ID=80060449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111295191.5A Active CN114022202B (zh) | 2021-11-03 | 2021-11-03 | 基于深度学习的用户流失预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114022202B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116456323A (zh) * | 2023-05-30 | 2023-07-18 | 南京邮电大学 | 一种基于用户偏好解耦的用户套餐推荐方法及系统 |
CN116761207A (zh) * | 2023-08-22 | 2023-09-15 | 杭州纵横通信股份有限公司 | 一种基于通信行为的用户画像构建方法与系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269244A1 (en) * | 2013-12-28 | 2015-09-24 | Evolv Inc. | Clustering analysis of retention probabilities |
CN107818473A (zh) * | 2016-09-13 | 2018-03-20 | 深圳市优朋普乐传媒发展有限公司 | 一种判断忠诚用户的方法及装置 |
CN108416620A (zh) * | 2018-02-08 | 2018-08-17 | 杭州浮云网络科技有限公司 | 一种基于大数据的画像数据的智能社交广告投放平台 |
CN109034861A (zh) * | 2018-06-04 | 2018-12-18 | 挖财网络技术有限公司 | 基于移动端日志行为数据的用户流失预测方法及装置 |
CN109784959A (zh) * | 2017-11-10 | 2019-05-21 | 广州腾讯科技有限公司 | 一种目标用户预测方法、装置、后台服务器及存储介质 |
KR20190134934A (ko) * | 2018-05-18 | 2019-12-05 | 성균관대학교산학협력단 | 딥 러닝과 부스티드 디시즌 트리를 활용한 고객이탈 예측장치 및 이를 이용한 고객이탈 예측방법 |
CN110634027A (zh) * | 2019-09-18 | 2019-12-31 | 创络(上海)数据科技有限公司 | 一种基于迁移学习的首次订购用户精细化流失预判方法 |
CN110689164A (zh) * | 2019-08-26 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 用户解约行为的预测方法及其系统 |
CN112561598A (zh) * | 2020-12-23 | 2021-03-26 | 中国农业银行股份有限公司重庆市分行 | 基于客户画像的客户流失预测及挽回方法和系统 |
CN113591971A (zh) * | 2021-07-28 | 2021-11-02 | 上海数鸣人工智能科技有限公司 | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 |
-
2021
- 2021-11-03 CN CN202111295191.5A patent/CN114022202B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269244A1 (en) * | 2013-12-28 | 2015-09-24 | Evolv Inc. | Clustering analysis of retention probabilities |
CN107818473A (zh) * | 2016-09-13 | 2018-03-20 | 深圳市优朋普乐传媒发展有限公司 | 一种判断忠诚用户的方法及装置 |
CN109784959A (zh) * | 2017-11-10 | 2019-05-21 | 广州腾讯科技有限公司 | 一种目标用户预测方法、装置、后台服务器及存储介质 |
CN108416620A (zh) * | 2018-02-08 | 2018-08-17 | 杭州浮云网络科技有限公司 | 一种基于大数据的画像数据的智能社交广告投放平台 |
KR20190134934A (ko) * | 2018-05-18 | 2019-12-05 | 성균관대학교산학협력단 | 딥 러닝과 부스티드 디시즌 트리를 활용한 고객이탈 예측장치 및 이를 이용한 고객이탈 예측방법 |
CN109034861A (zh) * | 2018-06-04 | 2018-12-18 | 挖财网络技术有限公司 | 基于移动端日志行为数据的用户流失预测方法及装置 |
CN110689164A (zh) * | 2019-08-26 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 用户解约行为的预测方法及其系统 |
CN110634027A (zh) * | 2019-09-18 | 2019-12-31 | 创络(上海)数据科技有限公司 | 一种基于迁移学习的首次订购用户精细化流失预判方法 |
CN112561598A (zh) * | 2020-12-23 | 2021-03-26 | 中国农业银行股份有限公司重庆市分行 | 基于客户画像的客户流失预测及挽回方法和系统 |
CN113591971A (zh) * | 2021-07-28 | 2021-11-02 | 上海数鸣人工智能科技有限公司 | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 |
Non-Patent Citations (6)
Title |
---|
CARL YANG ETC: "I Know You’ll Be Back: Interpretable New User Clustering and", 《KDD"18: PROCEEDINGS OF THE 24TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》 * |
CARL YANG ETC: "I Know You’ll Be Back: Interpretable New User Clustering and", 《KDD"18: PROCEEDINGS OF THE 24TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》, 23 August 2018 (2018-08-23) * |
罗彬: "基于数据挖掘的匿名电信用户流失预警研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
罗彬: "基于数据挖掘的匿名电信用户流失预警研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 06, 15 June 2021 (2021-06-15) * |
雷紫娟: ""纯运力"模式网约车B端用户流失预警模型研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
雷紫娟: ""纯运力"模式网约车B端用户流失预警模型研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 4, 15 April 2021 (2021-04-15) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116456323A (zh) * | 2023-05-30 | 2023-07-18 | 南京邮电大学 | 一种基于用户偏好解耦的用户套餐推荐方法及系统 |
CN116456323B (zh) * | 2023-05-30 | 2023-09-12 | 南京邮电大学 | 一种基于用户偏好解耦的用户套餐推荐方法及系统 |
CN116761207A (zh) * | 2023-08-22 | 2023-09-15 | 杭州纵横通信股份有限公司 | 一种基于通信行为的用户画像构建方法与系统 |
CN116761207B (zh) * | 2023-08-22 | 2023-12-15 | 杭州纵横通信股份有限公司 | 一种基于通信行为的用户画像构建方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114022202B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10713597B2 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
CN110858269B (zh) | 事实描述文本预测方法及装置 | |
US10521748B2 (en) | Retention risk determiner | |
CN113962160A (zh) | 基于用户画像的互联网卡用户流失预测方法及系统 | |
CN114022202B (zh) | 基于深度学习的用户流失预测方法及系统 | |
KR20040037180A (ko) | 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법 | |
CN113438114B (zh) | 互联网系统的运行状态监控方法、装置、设备及存储介质 | |
CN112258223B (zh) | 一种基于决策树的营销广告点击的预测方法 | |
CN108667678A (zh) | 一种基于大数据的运维日志安全检测方法及装置 | |
CN107451596A (zh) | 一种网络节点分类方法及装置 | |
CN109902823A (zh) | 一种基于生成对抗网络的模型训练方法及设备 | |
CN112632609A (zh) | 异常检测方法、装置、电子设备及存储介质 | |
CN116402352A (zh) | 一种企业风险预测方法、装置、电子设备及介质 | |
CN116048912A (zh) | 一种基于弱监督学习的云服务器配置异常识别方法 | |
CN110097120B (zh) | 网络流量数据分类方法、设备及计算机存储介质 | |
CN109617864B (zh) | 一种网站识别方法及网站识别系统 | |
CN114841268A (zh) | 基于Transformer和LSTM融合算法的异常电力客户识别方法 | |
CN112541530B (zh) | 针对聚类模型的数据预处理方法及装置 | |
CN110751191A (zh) | 一种图像的分类方法及系统 | |
Renström et al. | Fraud Detection on Unlabeled Data with Unsupervised Machine Learning | |
CN111753992A (zh) | 筛选方法和筛选系统 | |
CN112463964B (zh) | 文本分类及模型训练方法、装置、设备及存储介质 | |
CN112329928A (zh) | 基于异构模型的用户满意度分析方法 | |
CN113850483A (zh) | 一种企业信用风险评级系统 | |
Yu et al. | Customer Churn Prediction Based on Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |