CN116452241B - 一种基于多模态融合神经网络的用户流失概率计算方法 - Google Patents

一种基于多模态融合神经网络的用户流失概率计算方法 Download PDF

Info

Publication number
CN116452241B
CN116452241B CN202310410561.8A CN202310410561A CN116452241B CN 116452241 B CN116452241 B CN 116452241B CN 202310410561 A CN202310410561 A CN 202310410561A CN 116452241 B CN116452241 B CN 116452241B
Authority
CN
China
Prior art keywords
neural network
data
numerical
text
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310410561.8A
Other languages
English (en)
Other versions
CN116452241A (zh
Inventor
李云
夏国恩
王粟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Finance and Economics
Original Assignee
Guangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Finance and Economics filed Critical Guangxi University of Finance and Economics
Priority to CN202310410561.8A priority Critical patent/CN116452241B/zh
Publication of CN116452241A publication Critical patent/CN116452241A/zh
Application granted granted Critical
Publication of CN116452241B publication Critical patent/CN116452241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于多模态融合神经网络的用户流失概率计算方法，涉及深度学习领域，该用户流失概率计算方法包括构造多模态融合神经网络的初始化模型、训练所述多模态融合神经网络和基于所述多模态融合神经网络计算平台目标用户的流失概率三个实施步骤，通过新构建的多模态融合神经网络及特殊设计的训练方法取得更好的客户流失概率预测效果，具有良好的实用性。

Description

一种基于多模态融合神经网络的用户流失概率计算方法
技术领域
本发明涉及深度学习领域，具体涉及到一种基于多模态融合神经网络的用户流失概率计算方法。
背景技术
关于神经网络模型在用户流失预测方面的应用，主要有逻辑回归预测模型、决策树预测模型、K紧邻算法预测模型、自适应增强算法测试模型等模型。神经网络模型的性能的评价指标主要包括客户准确度(Accuracy)、精确率(Precision)、召回率(Recall)和综合评价指标(F-Measure)，现有技术下应用于用户流失预测的相关预测模型的性能还具有一定的提升空间，需要进一步进行开发和挖掘。
发明内容
本发明提供了一种基于多模态融合神经网络的用户流失概率计算方法，通过新构建的多模态融合神经网络及特殊设计的训练方法取得更好的客户流失概率预测效果。
相应的，本发明还提供了一种基于多模态融合神经网络的用户流失概率计算方法，包括步骤一：构造多模态融合神经网络的初始化模型；
步骤二：训练所述多模态融合神经网络；
步骤三：基于所述多模态融合神经网络计算平台目标用户的流失概率：
所述步骤一包括：
所述初始化模型包括用于从数值型数据提取数值特征的数值特征提取神经网络、用于从文本型数据提取文本特征的文本特征提取神经网络、用于融合所述数值特征和所述文本特征并根据融合结果导出与用户流失概率关联的二分类结果的融合预测神经网络，任意给定所述数值特征提取神经网络、所述数值特征提取神经网络和所述融合预测神经网络的参数；
所述步骤二包括：
构造一用于从所述融合结果重构出文本型重构数据的文本特征重构神经网络和一用于从所述融合结果重构出数值型重构数据的数值特征重构神经网络，任意给定所述文本特征重构神经网络和所述数值特征重构神经网络的参数；
从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数；
使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数；
联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述数值特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；
所述步骤三包括：
提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据；
将所述数值型目标数据输入至所述多模态融合神经网络中的数值特征提取神经网络中，并将所述文本型目标数据输入至所述多模态融合神经网络中的文本特征提取神经网络中；
所述多模态融合神经网络的融合预测神经网络输出关于所述平台目标用户的流失概率的二分类结果。
可选的实施方式，所述数值特征提取神经网络和所述文本特征提取神经网络具有相同的隐藏层数，且所述数值特征提取神经网络和所述文本特征特区神经网络位于同一层级的隐藏层具有相同的隐藏层结构。
可选的实施方式，所述从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数包括：
从关于平台用户的N份训练数据中迭代提取第i位平台用户的训练数据xi＝(τi～0，τi～1，τi～2，…τi～(d1+d2))对所述初始化模型进行训练，其中，τi～0为第i位平台用户的流失标签，留存用户的流失标签为(1，0)，流失用户的流失标签为(0，1)；
根据数据类型将所述训练数据xi拆分为数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)、文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)和流失标签x0，i＝(τi～0)；
将所述数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)输入至所述数值特征提取神经网络中，将所述文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)输入至所述文本特征提取神经网络中；
所述数值特征提取神经网络从所述数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)提取出数值特征z1，i，所述文本特征提取神经网络从所述文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)提取出文本特征z2，i，对所述数值特征z1，i和文本特征z2，i进行级联得到级联特征zi＝[z1，i，z2，i]，利用融合预测神经网络从所述级联特征zi中提取融合特征zi′并对所述融合特征zi′进行二分类，得到二分类向量qi＝(μi～1，μi～2)，使用softmax函数对所述二分类向量qi＝(μi～1，μi～2)进行处理得到二分类概率向量其中，/>为实时状态下的平台目标用户的流失概率，/>为实时状态下的平台目标用户的留存概率；
通过第一损失函数计算二分类概率向量相对于流失标签的第一损失值。
可选的实施方式，所述使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数包括：
利用所述数值特征重构神经网络从所述zi′重构出数值型数据x1，i′＝(ωi～1′，ωi～2′，…，ωi～d1′)并将数值型数据x1，i′输入至所述数值特征提取神经网络迭代；
利用所述文本特征重构神经网络从所述zi′重构出文本型数据x2，i′＝(λi～1′，λi～2′，…，λi～d2′)并将文本型数据x2，i′输入至所述文本特征提取神经网络迭代；
通过第二损失函数计算数值型数据x1，i′相对于数值型数据x1，i的第二损失值，通过第三损失函数计算文本型数据x2，i′相对于文本型数据x2，i的第三损失值。
可选的实施方式，所述提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据包括：
提取所需要预测的平台目标用户的目标数据xO＝(τO～0，τO～1，τO～2，…τO～(d1+d2))，并根据数据类型将所述目标数据xO拆分为数值型数据x1，O＝(ωO～1，ωO～2，…，ωO～d1)、文本型数据x2，O＝(λO～1，λO～2，…，λO～d2)。
可选的实施方式，所述目标数据在所述多模态融合神经网络的处理过程包括：
将所述数值型数据x1，O＝(ωO～1，ωO～2，…，ωO～d1)输入至所述多模态融合神经网络的数值特征提取神经网络中，所述数值特征提取神经网络将所述数值型数据x1，O映射至对应的高维度空间中并获得数值特征z1，O；
将所述文本型数据x2，O＝(λO～1，λO～2，…，λO～d2)输入至所述多模态融合神经网络的文本特征提取神经网络中，所述文本特征提取神经网络将所述文本型数据x1，O映射至对应的高维度空间中并获得文本特征z2，O；
对所述数值特征z1，O和文本特征z2，O进行级联得到级联特征zO＝[z1，O，z2，O]，所述级联特征zO中的数值特征z1，O和文本特征z2，O具有间隔；
利用融合预测神经网络将级联特征zo映射至对应的高维度空间中，融合所述数值特征z1，O和文本特征z2，O生成融合特征zi′，并基于所述融合特征zi′生成二分类向量qO＝(μO～1，μO～2)；
使用softmax函数对所述二分类向量qO＝(μO～1，μO～2)进行处理得到二分类概率向量其中，/>为所述平台目标用户的流失概率，/>为所述平台目标用户的留存概率。
可选的实施方式，定义一流失阈值概率ψ作为参考值，当平台目标用户的流失概率大于所述流失阈值概率ψ时，将所述平台目标用户标记为高危用户。
可选的实施方式，还包括：
将所要预测的平台目标用户的目标数据整合为预测数据库；
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1，2，…，V，k＝1，2，…，kv～max；
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
设计多种挽回手段
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率q＝1，2，…，qmax；
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位静态消耗
其中，表示在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>为对v～k用户使用Uq挽回手段时的花费；
基于所述人均满意度提升单位静态消耗制定用户挽回计划。
可选的实施方式，还包括：
将所要预测的平台目标用户的目标数据整合为预测数据库；
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1，2，…，V，k＝1，2，…，kv～max；
设计多种挽回手段
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率q＝1，2，…，qmax，表示在流失概率θv～k基础上，在对第v个用户群体实施挽回手段Uq后，v～k平台目标用户的流失概率；
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位动态消耗
其中，表示在流失概率θv～k基础上，在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>表示在流失概率θv～k基础上，对v～k用户使用Uq挽回手段时的花费；
基于所述人均满意度提升单位动态消耗制定用户挽回计划。
综上，本发明提供了一种基于多模态融合神经网络的用户流失概率计算方法，通过新构建的多模态融合神经网络及特殊设计的训练方法取得更好的客户流失概率预测效果，具有良好的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的用户流失预测方法流程图。
图2为本发明实施例的用户流失预测模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
具体的，本发明实施例提供了一种基于多模态融合神经网络的用户流失概率计算方法，包括构造多模态融合神经网络的初始化模型、训练所述多模态融合神经网络和基于所述多模态融合神经网络计算平台目标用户的流失概率三个基本步骤。
具体的，所述构造多模态融合神经网络的初始化模型包括：所述初始化模型包括用于从数值型数据提取数值特征的数值特征提取神经网络、用于从文本型数据提取文本特征的文本特征提取神经网络、用于融合所述数值特征和所述文本特征并根据融合结果导出与用户流失概率关联的二分类结果的融合预测神经网络，任意给定所述数值特征提取神经网络、所述数值特征提取神经网络和所述融合预测神经网络的参数；
具体的，所述训练所述多模态融合神经网络包括：
构造一用于从所述融合结果重构出文本型重构数据的文本特征重构神经网络和一用于从所述融合结果重构出数值型重构数据的数值特征重构神经网络，任意给定所述文本特征重构神经网络和所述数值特征重构神经网络的参数；
从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数；
使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数；
联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述数值特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；
具体的，所述基于所述多模态融合神经网络计算平台目标用户的流失概率包括：
提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据；
将所述数值型目标数据输入至所述多模态融合神经网络中的数值特征提取神经网络中，并将所述文本型目标数据输入至所述多模态融合神经网络中的文本特征提取神经网络中；
所述多模态融合神经网络的融合预测神经网络输出关于所述平台目标用户的流失概率的二分类结果。
具体的，本发明实施例的基于多模态融合神经网络的用户流失概率计算方法的基本思路为，在输入数据的处理上，分别利用数值特征提取神经网络和文本特征提取神经网络对不同类型的数据进行提取，保证了数据特征的提取的正对性和有效性；不同类型的数据特征在高维度的空间进行级联后再进行融合(本质上也是一种特征提取操作)，通过合理设计数值特征提取神经网络和文本特征提取神经网络的特征提取深度，可以使得数据在特定的深度上具有更强的关联性，相较于直接用一个特征提取网络对不同类型的数据进行同时提取，具有更好的特征融合效果；融合后的特征在合适深度上可与流失概率以及留存概率形成强关联，从而能够准确的得到用户流失概率以及用户留存概率。另外，为了得到各个神经网络的具体参数，使得本发明实施例的户流失概率计算方法具有更准确的结果，在训练阶段，在多模态融合神经网络的基础上融入了一个解码器-编码器模型，具体的，由于不同该类型的数据在输入时形成了数据隔离，在进行特征提取时，不同类型的数据的距离会增加，虽然在融合阶段能够将不同类型的数据的特征进行融合，但是数据在融合时更接近于是强行推导(无指导和监督，仅是通过反向传播进行训练)，虽然对已有数据的效果具有良好的判别性，但往往会在出现新类型的数据时小概率出现不准确的结果；因此，在本发明实施例中，融合后的特征在分别利用对应类型的特征提取网络进行对应类型的数据重构，在该阶段，融合后的特征实际是包括所有类型的特征数据的，要从其中提取出对应类型的数据，提取出来的数据实际上是带有部分其他类型的数据信息(或可以理解为其他类型的数据会对提取的数据造成干扰)，通过新增加的特征重构网络辅助多模态融合神经网络的训练，实际上可使得迭代训练输入的数值型数据和文本型数据不再是纯粹的数值型数据和文本型数据，特征重构网络可认为是一种将输入数据更为合理化分类的工具，在该训练基础上得到的多模态融合神经网络，在后续的应用中，可具有更准确的预测效果。
需要说明的是，数值型数据和文本型数据是具有同等的数据地位的，因此，在对数值型数据和文本型数据分别进行特征提取时，所述数值特征提取神经网络和所述文本特征提取神经网络具有相同的隐藏层数，且所述数值特征提取神经网络和所述文本特征特区神经网络位于同一层级的隐藏层具有相同的隐藏层结构，从而才能保证后续的融合操作具有较强的准确性和合理性。
具体的，以前述内容为理论基础，本发明实施例提供了一种具体的实践方法以供参考，参考附图图2示意的多模态融合神经网络训练结构示意图，在多模态融合神经网络的基础上补充了文本特征重构神经网络和数值特征重构神经网络。具体的，在示意图中的每一个神经网络的隐藏层数为经过实践后选取的最佳隐藏层数量，而每一层隐藏层的神经元的数量的具体取值在后续实施内容中进行结合说明；带箭头的线主要表示数据的流向，并不表示数据的数量。
图1为本发明实施例的用户流失预测方法流程图。
具体的，该多模态融合神经网络的实际训练过程包括：
S101：从关于平台用户的N份训练数据中迭代提取第i位平台用户的训练数据xi＝(τi～0，τi～1，τi～2，…τi～d21+d2))对所述初始化模型进行训练；
其中，τi～0为第i位平台用户的流失标签，留存用户的流失标签为(1，0)，流失用户的流失标签为(0，1)；具体的，流失标签有时候可直接记录为1或0，其中1表示流失用户，0表示留存用户，在该情况下，为了贴合本发明实施例的多模态融合神经网络的输出内容，需要将其转换为向量，以用于二分类表示。
S102：根据数据类型将所述训练数据xi拆分为数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)、文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)和流失标签x0，i＝(τi～0)；
具体的，数值型数据x1，i的内容ω和文本型数据x2，i的内容λ均是从训练数据xi中的内容τ提取，为了形成区分改用了不同的符号进行表示，根据前述对流失标签的说明，流失标签x0，i＝(τi～0)实质为一个二维向量。
S103：将所述数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)输入至所述数值特征提取神经网络中，将所述文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)输入至所述文本特征提取神经网络中；
具体的，在本发明实施例中，数值特征提取神经网络的隐藏层为三层神经元结构，每一层神经元实质包含了全连接层、批量归一化层和激活函数层，其中，激活函数层采用ReLU激活函数，为了保证效果，批量归一化层位于激活函数层前，即数据首先经过批量归一化层后再进入激活函数层。
同样的，文本特征提取神经网络与数值特征提取神经网络具有同样的神经网络结构，以保证两类数据的特征提取深度保持一致。
此外，本发明实施例的文本特征提取神经网络及数值特征提取神经网络的目的为提取特征，不希望提前损失掉信息内容，因此，最优实施方式为根据输入数据的结构确定每一层神经元结构的神经元数量，在本发明实施例中，对应的，所述数值特征提取神经网络中的每一层神经元结构的神经元数量为d1，所述文本特征提取神经网络中的每一层神经元结构的神经元数量为d2。
需要说明的是，输入层由于不具有实际作用，在图2所示结构中并未示出，全连接层是用于将每一个输入数据传输至每一个神经元上(类似于复制操作)。
具体的，所述数值特征提取神经网络从所述数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)提取出数值特征z1，i，所述文本特征提取神经网络从所述文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)提取出文本特征z2，i，z1，i和z2，i可理解为数值特征提取神经网络和文本特征提取神经网络的输出。
S104：对所述数值特征z1，i和文本特征z2，i进行级联得到级联特征zi＝[z1，i，z2，i]；
具体的，级联操作可认为是简单的将所述数值特征z1，i和文本特征z2，i进行拼接，在本发明实施例中，拼接后的级联特征zi的向量长度为d1+d2。
S105：利用融合预测神经网络从所述级联特征zi中提取融合特征zi′；
具体的，融合预测神经网络同时兼有特征融合和融合结果预测两个功能，实际上，特征融合的过程也可以视为分类的过程，融合特征zi′的生成可以认为是融合预测神经网络的一个中间过程量。
具体的，融合预测神经网络一共具有三层隐藏神经元结构，其中，第一层隐藏神经元结构和第二层隐藏神经元结构主要用于数据的融合，将两类型的特征数据投射至高维空间中，具体的，每一层神经元结构包括一个全连接层、一个批量归一化层和一个激活函数层，具体的激活函数层选用的激活函数为ReLU函数。融合预测神经网络的第三层神经元结构用于生成二分类结果，具体的，第三层神经元结构包括一层全连接层和一层Softmax层，其中，Softmax层主要用于将二分类结果转换成实际概率以便于理解及应用，Softmax层的输出之和为1。
具体的，第一层神经元结构和第二层神经元结构主要用于特征的融合，最后一层神经元结构主要用于结果的二分类及输出。
具体的，第三层神经元结构对所述融合特征zi′进行二分类，得到二分类向量qi＝(μi～1，μi～2)，使用softmax函数对所述二分类向量qi＝(μi～1，μi～2)进行处理得到二分类概率向量其中，/>为实时状态下的平台目标用户的流失概率，/>为实时状态下的平台目标用户的留存概率；
具体的，由于目前还处于训练状态，数据每流转一次，最终导出的二分类概率向量是实时变化的。
S106：通过第一损失函数计算二分类概率向量相对于流失标签的第一损失值。
具体的，softmax函数的输出一般采用交叉熵作为第一损失函数，利用第一损失函数衡量预测结果的差异性，再以此为基础反向传递信息调整神经网络的各种参数，参数的调整内容一般根据梯度下降实现。
S107：利用所述数值特征重构神经网络从所述zi′重构出数值型数据x1，i′＝(ωi～1′，ωi～2′，…，ωi～d1′)并将数值型数据x1，i′输入至所述数值特征提取神经网络迭代；
S108：利用所述文本特征重构神经网络从所述zi′重构出文本型数据x2，i′＝(λi～1′，λi～2′，…，λi～d2′)并将文本型数据x2，i′输入至所述文本特征提取神经网络迭代；
具体的，从融合特征zi′中利用对应类型的神经网络重新重构出对应类型的数据，可使得不同类型的数据在高维空间中的联系传递至低维空间中，然后将重构的数据返回至对应的特征提取网络中进行迭代，并在迭代的时候实现对多模态融合神经网络的训练以及特征重构神经网络的训练。
特征重构神经网络的应用实质为利用了解码-编码器结构，解码-编码器结构有一个核心作用为训练到一核心内容(在本发明实施例的核心内容即为融合特征zi′)。
为了便于理解，具体的，当解码-编码器结构应用至翻译领域时，A语言经过解码-编码器神经网络翻译为B语言，从计算机语言而言，其目标是为了A语言能够直译为B语言，而实际的认知中，解码-编码器神经网络的核心作为为构造出对象的核心本质。在英语翻译为中文时，例如，APPLE输入至解码-编码器神经网络中，解码-编码器神经网络输出苹果，实质上，解码-编码器神经网络并不是直接将APPLE转换为苹果输出，而是解码-编码器神经网络知道APPLE所指代的客观对象是苹果，然后再将苹果这一客观对象的中文进行输出，因此，用于翻译的解码-编码器神经网络的训练过程实质是培养解码-编码器神经网络对一具体对象的认知过程，为此，在解码-编码器神经网络的训练过程中，还会有类似于上下文补充定义、结合上下文内容定义对象等数据的训练，以保证解码-编码器神经网络能够实质认清楚对象的具体内容。
而在本发明实施例中所构造的解码-编码器结构是由特征提取、特征融合以及特征重构三个方面的神经网络组成，其本质是想准确的对融合特征进行对象定义，将融合特征zi′的身份进行更准确的认知，因此，通过特征重构神经网络辅助多模态融合神经网络的训练，可提高多模态融合神经网络的认知分类性能。
具体的，所述文本特征重构神经网络和所述数值特征重构神经网络具有同样的基本结构。
具体的，所述文本特征重构神经网络的隐藏层包括三层神经元结构，每一层神经元结构包括一个全连接层和一个激活函数层，具体的，该激活函数层选用sigmoid激活函数。
S109：通过第二损失函数计算数值型数据x1，i′相对于数值型数据x1，i的第二损失值，通过第三损失函数计算文本型数据x2，i′相对于文本型数据x2，i的第三损失值。
具体的，在本发明实施例的解码-编码器结构中，编码器的输出的理想值即为训练数据的输入值，因此，可利用数值型数据x1，i＝(ωi～1，ωi～2，…，ωi～d1)与x1，i′的距离作为第二损失函数，利用文本型数据x2，i＝(λi～1，λi～2，…，λi～d2)与x2，i′的距离作为第三损失函数。通过第二损失函数以及第三损失函数动态调节对应的神经网络参数。
S110：联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述文本特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；
根据前述步骤，若导入一组训练数据，在第一次对多模态融合神经网络的训练中输入为训练数据，然后通过特征重构神经网络的作用继续为多模态融合神经网络提供输入数据并进行训练；依次导入所有训练数据，同样会按照相应的步骤进行训练，训练数据的增加，可以实现很好的鲁棒性以及对导入数据的泛预测性。
具体的，训练的目标为直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值，可以理解为本发明实施例的多模态融合神经网络的目标函数为第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值。
S111：提取所需要预测的平台目标用户的目标数据xO＝(τO～0，τO～1，τO～2，…τO～(d1+d2))，并根据数据类型将所述目标数据xO拆分为数值型数据x1，O＝(ωO～1，ωO～2，…，ωO～d1)、文本型数据x2，O＝(λO～1，λO～2，…，λO～d2)。
S112：所述多模态融合神经网络对所述目标数据进行处理并导出所述平台目标用户的流失概率；
将所述数值型数据x1，O＝(ωO～1，ωO～2，…，ωO～d1)输入至所述多模态融合神经网络的数值特征提取神经网络中，所述数值特征提取神经网络将所述数值型数据x1，O映射至对应的高维度空间中并获得数值特征z1，O；
将所述文本型数据x2，O＝(λO～1，λO～2，…，λO～d2)输入至所述多模态融合神经网络的文本特征提取神经网络中，所述文本特征提取神经网络将所述文本型数据x1，O映射至对应的高维度空间中并获得文本特征z2，O；
对所述数值特征z1，O和文本特征z2，O进行级联得到级联特征zO＝[z1，O，z2，O]，所述级联特征zO中的数值特征z1，O和文本特征z2，O具有间隔；
利用融合预测神经网络将级联特征zO映射至对应的高维度空间中，融合所述数值特征z1，O和文本特征z2，O生成融合特征zi′，并基于所述融合特征zi′生成二分类向量qO＝(μO～1，μO～2)；
使用softmax函数对所述二分类向量qO＝(μO～1，μO～2)进行处理得到二分类概率向量其中，/>为所述平台目标用户的流失概率，/>为所述平台目标用户的留存概率。
在计算出用户的流失概率和留存概率后，可针对性的进行后续的步骤。
具体的，了解单个平台目标用户的流失概率和留存概率的意义在于如果能够针对性的对特定平台目标用户进行挽留，保证平台目标用户的留存。而在实际实施中，不同的挽回手段对不同的用户个体是具有不同效果的，同样的挽回手段对于不同的用户个体也是具有不同效果的，而在实践中是无法一一针对性的对每一名用户都进行挽回手段的试验，因此，这就需要进行群体性的实现，以规模性的概率计算来克服个体的不稳定性。后续步骤为基于前述步骤得到的用户流失概率的后续应用方法的说明，实际实施中还可以利用用户流失概率来完成更多方面的应用，例如用于评估公司价值、用于调整公司业务方向内容等。
S113：定义一流失阈值概率ψ作为参考值，当平台目标用户的流失概率大于所述流失阈值概率ψ时，将所述平台目标用户标记为高危用户。
S114：将所要预测的平台目标用户的目标数据整合为预测数据库；
以下分别提供两种用户挽回计划的制定方法以供参考：
S115：基于所述人均满意度提升单位静态消耗制定用户挽回计划。
具体的，该方法包括：
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1，2，…，V，k＝1，2，…，kv～max；
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
设计多种挽回手段
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率q＝1，2，…，qmax；
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位静态消耗
其中，表示在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>为对v～k用户使用Uq挽回手段时的花费；
基于所述人均满意度提升单位静态消耗制定用户挽回计划。
S116：基于所述人均满意度提升单位动态消耗制定用户挽回计划。
具体的，该方法包括：
将所要预测的平台目标用户的目标数据整合为预测数据库；
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1，2，…，V，k＝1，2，…，kv～max；
设计多种挽回手段
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率q＝1，2，…，qmax，表示在流失概率θv～k基础上，在对第v个用户群体实施挽回手段Uq后，v～k平台目标用户的流失概率；
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位动态消耗
其中，表示在流失概率θv～k基础上，在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>表示在流失概率θv～k基础上，对v～k用户使用Uq挽回手段时的花费；
S117：基于所述人均满意度提升单位动态消耗制定用户挽回计划。
具体的，人均满意度提升单位静态消耗和人均满意度提升单位动态消耗的差异在于，人均满意度提升单位动态消耗是根据目标用户的实时的流失概率进行动态变化的，人均满意度提升单位动态消耗是与平台目标用户的实时的流失概率关联的。
具体实施中，人均满意度提升单位静态消耗可认为是在首次试验中，对预测数据库中的用户群进行挽回手段的实施测试得到的；在经过多次的实验后当有了丰富的测试数据，人均满意度提升单位静态消耗可通过函数曲线拟合等方式转换为人均满意度提升单位动态消耗。
需要说明的是，本发明实施例使用不同挽回手段对目标用户进行测试，对应的，在求出的人均满意度提升单位静态消耗和人均满意度提升单位动态消耗在不同的流失概率θv～k基础上，都具有一个消耗最低的唯一选项，该唯一选项所对应的挽回手段以及其消耗则为制定用户挽回计划所需的数据，可为用户挽回计划提供有效的参考。
例如，流失阈值概率ψ对所述给定样本库中的用户数据进行筛选，将流失概率θv～k≥ψ的用户数据提取至第一参考集；
为所述第一参考集中的用户选择最适挽回手段
计算所述第一参考集中每一名平台目标用户的第一挽回消耗
基于第一挽回消耗升序排列所述第一参考集中的用户并形成第一用户序列；
依次对第一用户序列中的用户所对应的第一挽回消耗进行累加并得到第一累加值，当所述第一累加值大于或等于第一预设值时停止累加；
对参与所述第一挽回消耗累加的每一名用户实施对应的最适挽回手段。
具体实践中，在已知挽回用户的最低成本的挽回手段，即能制定可靠的挽回计划。
具体的，按照以上步骤，本发明实施例提供以下几个实践对比内容以供参考。具体的，客户流失预测常用的评价指标有准确度(Aecuracy)、精确率(Precision)、召回率(Recall)和F1值(F-Measure，综合评价指标)。这些指标可以通过混淆矩阵(ConfusionMatrix)计算。
如表1所示，评价指标以真阴性(TN)、真阳性(TP)、假阴性(FN)、假阳性(FP)四种指标为基础。在客户流失预测中，真阴性表示预测为流失客户并且实际也为流失客户；真阳性表示预测为未流失客户并且实际也为未流失客户；假阴性表示预测为流失客户但是实际为未流失客户；假阳性表示预测为未流失客户但是实际为流失客户。准确率表示预测正确的数量占总数量的比例，精准率表示真阳性数量占所有预测为正数量的百分比，召回率表示真阳性数量占所有标注为正数量的百分比，F1值为精确率和召回率的调和均值。这四个评价指标的数值越大说明方法的预测效果越好。
表1
具体的，准确率公式为：
精确度公式为：
召回率公式为：
F1值公式为：
在以下实施例中均分别使用所述四个评价指标对不同模型的预测效果进行比较。
实施例一：对直播电商客户数据集的测试。
直播电商客户数据集来自阿里云天池的公开数据，该数据集包含5630条客户信息，未流失标签4682个，流失标签948个，未流失标签与流失标签比例约为5：1。采用综合采样法对数据集进行均衡后，新数据集总样本9332个，未流失标签4666个，流失标签4666个，未流失标签与流失标签比例为1：1。对文本特征标签进行独热编码后共有34个特征维度。
特殊的，该数据集可以从多个维度查看客户行为特征：包含客户的在线时长、常用登录设备、仓库距离顾客地址的距离、婚姻状况等。
为了测试本发明实施例的客户流失预测方法，我们将其与现有的逻辑回归(Logistic regression)预测模型、决策树(Decision Tree)预测模型、K近邻(KNN)算法预测模型及自适应增强(AdaBoost)算法预测模型，使用了具有相同特征的相同数据集对客户流失进行预测。
通过采用不同算法预测模型，对直播电商客户数据集的客户流失预测结果进行评价，计算各模型的正确率、召回率、精确率和综合评价指标F1值以进行对比分析，实验结果如表2所示。
表2
为了示意的清晰性，每一个指标中的最大值采用下划线进行标记，从表2可以看出，本发明实施例的客户流失预测方法的所有评价指标均高于其他机器学习方法。
本发明实施例提出的方法注意到了数值特征标签下的数字矩阵与文本特征标签下的数字矩阵的不同，文本特征标签下用来描述客户特征的文本或者类别描述信息需要经过独热编码才能被计算机处理，当文本型的特征类别较多时，文本特征标签下的数字矩阵会变得稀疏，数值特征标签下的数字矩阵比较稠密，根据数字矩阵的特点分为两种表征模态，能够更加精细地对两种类型的特征标签进行特征提取，从而模型性能更佳。
实施例二：对电信客户数据集的测试
电信客户数据集来自Kaggle竞赛平台上公开的电信数据集。该数据集包含7043条客户信息，未流失标签5174个，流失标签1869个，未流失标签与流失标签比例约为3：1。采用综合采样法对数据集进行均衡后，新数据集总样本9790个，未流失标签4895个，流失标签4895个，未流失标签与流失标签比例为1：1。对文本特征标签进行独热编码后共有46个特征维度。
特别的，该数据集提供了多个维度的客户信息，包括是否经济独立、在网时长、月费用、总费用等信息。
通过采用不同算法预测模型，对电信客户数据集的客户流失预测结果进行评价，计算各模型的正确率、召回率、精确率和综合评价指标F1值以进行对比分析，实验结果表3所示。
表3
从表3可以看出，本发明实施例提供的方法仅在召回率这一指标上落后于KNN算法，但在其他评价指标下均为最佳。KNN算法在此数据集下将未流失客户预测成流失客户的数量较小，从而FN较小，召回率偏高，有效帮助企业减少维护客户的运营成本，但KNN算法将较多的流失客户预测为未流失客户，从而FP偏高，精确率指标较低，会导致企业不能及时采取措施挽留客户，造成损失，这是企业极力想要避免的情况。因此，若以正确率指标为基准，本发明实施例提出的方法最佳说明预测客户是否流失的正确率高，并且综合召回率和精确率两项评价指标，在F1综合评价指标下，本发明实施例提出的方法更佳。
实施例三：对网络视频服务商客户数据集上进行测试
网络视频服务商客户流失数据集由和鲸社区发布。该数据集包含72274条客户信息，未流失标签32224个，流失标签40050个，未流失标签与流失标签比例约为1：1.24，虽然未流失标签与流失标签比例相近，但是数量上差距仍旧较大，同样需要对数据集进行样本均衡。采用综合采样法对数据集进行均衡后，新数据集总样本77140个，未流失标签38570个，流失标签38570个，未流失标签与流失标签比例为1：1。对文本特征标签进行独热编码后共有36个特征维度。
特别的，该数据集可以从是否订阅套餐、服务年限、客户合同剩余年数、过去三个月平均上传量等维度对客户进行分析。
通过采用不同算法预测模型，对网络视频服务商客户数据集的客户流失预测结果进行评价，计算各模型的正确率、召回率、精确率和综合评价指标F1值以进行对比分析，实验结果如表4所示。
表4
从表4可以看出，本发明实施例的方法仅在召回率这一指标上略低于AdaBoost算法，在其它评价指标下均为最佳。在网络视频服务商客户数据集中，召回率评价指标下的各算法数值都较为令人满意，AdaBoost算法相较本发明实施例提出的方法在召回率上表现更好，本本发明实施例在其它指标下的数值为最佳。
由以上三个实施例的对比实现可知，本发明实施例所提供的用户流失预测方法综合性能较佳，在较多应用场合中都具有出色的性能表现，相较于现有技术具有一定程度的改进。
需要说明的是，实施例一至三的内容均使用PYTHON编程语言编写的相关程序及平台实验得出。
综上，本发明实施例提供了一种基于多模态融合神经网络的用户流失概率计算方法，通过新构建的多模态融合神经网络取得更好的客户流失概率预测效果。
以上对本发明实施例所提供的一种基于多模态融合神经网络的用户流失概率计算方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于多模态融合神经网络的用户流失概率计算方法，其特征在于，包括：
步骤一，构造多模态融合神经网络的初始化模型，
步骤二，训练所述多模态融合神经网络；
步骤三，基于所述多模态融合神经网络计算平台目标用户的流失概率；
所述步骤一包括：
所述初始化模型包括用于从数值型数据提取数值特征的数值特征提取神经网络、用于从文本型数据提取文本特征的文本特征提取神经网络、用于融合所述数值特征和所述文本特征并根据融合结果导出与用户流失概率关联的二分类结果的融合预测神经网络，任意给定所述数值特征提取神经网络、所述数值特征提取神经网络和所述融合预测神经网络的参数；
所述步骤二包括：
构造一用于从所述融合结果重构出文本型重构数据的文本特征重构神经网络和一用于从所述融合结果重构出数值型重构数据的数值特征重构神经网络，任意给定所述文本特征重构神经网络和所述数值特征重构神经网络的参数；
从训练数据中提取数值型数据、文本型数据和流失标签，将所述数值型数据和文本型数据分别输入至所述数值特征提取神经网络和所述文本型数据提取神经网络中，利用所述融合预测神经网络的输出结果与所述流失标签构建第一损失函数，包括：从平台用户的N份训练数据中迭代提取第i位平台用户的训练数据xi＝(τi～0,τi～1,τi～2,…τi～(d1+d2))对所述初始化模型进行训练，其中，τi～0为第i位平台用户的流失标签，留存用户的流失标签为(1,0)，流失用户的流失标签为(0,1)；根据数据类型将所述训练数据xi拆分为数值型数据x1,i＝(ωi～1,ωi～2,…,ωi～d1)、文本型数据x2,i＝(λi～1,λi～2,…,λi～d2)和流失标签x0,i＝(τi～0)；将所述数值型数据x1,i＝(ωi～1,ωi～2,…,ωi～d1)输入至所述数值特征提取神经网络中，将所述文本型数据x2,i＝(λi～1,λi～2,…,λi～d2)输入至所述文本特征提取神经网络中；所述数值特征提取神经网络从所述数值型数据x1,i＝(ωi～1,ωi～2,…,ωi～d1)提取出数值特征z1,i，所述文本特征提取神经网络从所述文本型数据x2,i＝(λi～1,λi～2,…,λi～d2)提取出文本特征z2,i，对所述数值特征z1,i和文本特征z2,i进行级联得到级联特征zi＝[z1,i,z2,i]，利用融合预测神经网络从所述级联特征zi中提取融合特征zi'并对所述融合特征zi'进行二分类，得到二分类向量qi＝(μi～1,μi～2)，使用softmax函数对所述二分类向量qi＝(μi～1,μi～2)进行处理得到二分类概率向量其中，/>为实时状态下的平台目标用户的流失概率，/>为实时状态下的平台目标用户的留存概率；通过第一损失函数计算二分类概率向量/>相对于流失标签的第一损失值；
使用所述数值特征重构神经网络从所述融合预测神经网络的融合结果中重构出所述数值型重构数据并输入至所述数值特征提取神经网络，使用文本特征重构神经网络从所述融合预测神经网络的融合结果中重构出一文本型重构数据并输入至所述文本特征提取神经网络，利用所述数值型重构数据和所述数值型数据构建第二损失函数，利用所述文本型重构数据和所述文本型数据构建第三损失函数，包括：利用所述数值特征重构神经网络从所述zi'重构出数值型数据x1,i'＝(ωi～1',ωi～2',…,ωi～d1')并将数值型数据x1,i'输入至所述数值特征提取神经网络迭代；利用所述文本特征重构神经网络从所述zi'重构出文本型数据x2,i'＝(λi～1',λi～2',…,λi～d2')并将文本型数据x2,i'输入至所述文本特征提取神经网络迭代；通过第二损失函数计算数值型数据x1,i'相对于数值型数据x1,i的第二损失值，通过第三损失函数计算文本型数据x2,i'相对于文本型数据x2,i的第三损失值；
联合第一损失函数、第二损失函数和第三损失函数调整所述数值特征提取神经网络、所述数值特征提取神经网络、所述融合预测神经网络、文本特征重构神经网络和数值特征重构神经网络的参数并进行迭代训练，直至所述第一损失函数、第二损失函数和第三损失函数之和达到最小值或小于一预设值；
所述步骤三包括：
提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据；
将所述数值型目标数据输入至所述多模态融合神经网络中的数值特征提取神经网络中，并将所述文本型目标数据输入至所述多模态融合神经网络中的文本特征提取神经网络中；
所述多模态融合神经网络的融合预测神经网络输出关于所述平台目标用户的流失概率的二分类结果。
2.如权利要求1所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，所述数值特征提取神经网络和所述文本特征提取神经网络具有相同的隐藏层数，且所述数值特征提取神经网络和所述文本特征特区神经网络位于同一层级的隐藏层具有相同的隐藏层结构。
3.如权利要求2所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，所述提取需要预测用户流失概率的平台目标用户的目标数据并从所述目标数据中提取出数值型目标数据和文本型目标数据包括：
提取所需要预测的平台目标用户的目标数据xO＝(τO～0,τO～1,τO～2,…τO～(d1+d2)),并根据数据类型将所述目标数据xO拆分为数值型数据x1,O＝(ωO～1,ωO～2,…,ωO～d1)、文本型数据x2,O＝(λO～1,λO～2,…,λO～d2)。
4.如权利要求3所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，所述目标数据在所述多模态融合神经网络的处理过程包括：
将所述数值型数据x1,O＝(ωO～1,ωO～2,…,ωO～d1)输入至所述多模态融合神经网络的数值特征提取神经网络中，所述数值特征提取神经网络将所述数值型数据x1,O映射至对应的高维度空间中并获得数值特征z1,O；
将所述文本型数据x2,O＝(λO～1,λO～2,…,λO～d2)输入至所述多模态融合神经网络的文本特征提取神经网络中，所述文本特征提取神经网络将所述文本型数据x1,O映射至对应的高维度空间中并获得文本特征z2,O；
对所述数值特征z1,O和文本特征z2,O进行级联得到级联特征zO＝[z1,O,z2,O]，所述级联特征zO中的数值特征z1,O和文本特征z2,O具有间隔；
利用融合预测神经网络将级联特征zO映射至对应的高维度空间中，融合所述数值特征z1,O和文本特征z2,O生成融合特征zi'，并基于所述融合特征zi'生成二分类向量qO＝(μO～1,μO～2)；
使用softmax函数对所述二分类向量qO＝(μO～1,μO～2)进行处理得到二分类概率向量其中，/>为所述平台目标用户的流失概率，/>为所述平台目标用户的留存概率。
5.如权利要求4所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，定义一流失阈值概率ψ作为参考值，当平台目标用户的流失概率大于所述流失阈值概率ψ时，将所述平台目标用户标记为高危用户。
6.如权利要求4所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，还包括：
将所要预测的平台目标用户的目标数据整合为预测数据库；
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1,2,…,V,k＝1,2,…,kv～max；
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
设计多种挽回手段
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位静态消耗
其中，表示在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>为对v～k用户使用Uq挽回手段时的花费；
基于所述人均满意度提升单位静态消耗制定用户挽回计划。
7.如权利要求4所述的基于多模态融合神经网络的用户流失概率计算方法，其特征在于，还包括：
将所要预测的平台目标用户的目标数据整合为预测数据库；
根据所述目标数据对预测数据库中的平台目标用户进行聚类分析，形成V个用户群体，第v个用户群体具有kv～max名用户，每一名平台目标用户的身份标识为v～k，v＝1,2,…,V,k＝1,2,…,kv～max；
设计多种挽回手段
基于所述多模态融合神经网络计算出每一名平台目标用户的流失概率
对第v个用户群体实施挽回手段Uq后，基于所述多模态融合神经网络计算出第v个用户群体内每一名平台目标用户v～k的流失概率 表示在流失概率θv～k基础上，在对第v个用户群体实施挽回手段Uq后，v～k平台目标用户的流失概率；
计算采用Uq挽回手段时的第v个用户群体的人均满意度提升单位动态消耗
其中，表示在流失概率θv～k基础上，在实施Uq挽回手段时，第v个用户群体中的平台目标用户的流失概率减少1％时所需要的消耗，/>表示在流失概率θv～k基础上，对v～k用户使用Uq挽回手段时的花费；
基于所述人均满意度提升单位动态消耗制定用户挽回计划。
CN202310410561.8A 2023-04-17 2023-04-17 一种基于多模态融合神经网络的用户流失概率计算方法 Active CN116452241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310410561.8A CN116452241B (zh) 2023-04-17 2023-04-17 一种基于多模态融合神经网络的用户流失概率计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310410561.8A CN116452241B (zh) 2023-04-17 2023-04-17 一种基于多模态融合神经网络的用户流失概率计算方法

Publications (2)

Publication Number Publication Date
CN116452241A CN116452241A (zh) 2023-07-18
CN116452241B true CN116452241B (zh) 2023-10-20

Family

ID=87135235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310410561.8A Active CN116452241B (zh) 2023-04-17 2023-04-17 一种基于多模态融合神经网络的用户流失概率计算方法

Country Status (1)

Country Link
CN (1) CN116452241B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714193A (zh) * 2023-12-28 2024-03-15 中国电子技术标准化研究院 一种诊断方法、装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
WO2012103290A1 (en) * 2011-01-26 2012-08-02 Google Inc. Dynamic predictive modeling platform
US9270778B1 (en) * 2007-07-05 2016-02-23 Invent.Ly, Llc Matching users based on behavior in a social network
CN105790952A (zh) * 2016-02-29 2016-07-20 上海诺亚投资管理有限公司 一种用户信息的验证系统和方法
CN109189930A (zh) * 2018-09-01 2019-01-11 网易（杭州）网络有限公司 文本特征提取及提取模型优化方法以及介质、装置和设备
WO2020232382A1 (en) * 2019-05-15 2020-11-19 Captricity, Inc. Few-shot language model training and implementation
CN112329824A (zh) * 2020-10-23 2021-02-05 北京中科智加科技有限公司 多模型融合训练方法、文本分类方法以及装置
CN113705725A (zh) * 2021-09-15 2021-11-26 中国矿业大学 一种基于多模态信息融合的用户人格特征预测方法和装置
CN114581098A (zh) * 2022-01-25 2022-06-03 上海数禾信息科技有限公司 客群分类方法、装置、计算机设备和存储介质
CN114758149A (zh) * 2022-04-25 2022-07-15 广西财经学院 基于深度多模态特征融合的时尚兼容度分析方法和系统
CN115601771A (zh) * 2022-12-01 2023-01-13 广州数说故事信息科技有限公司（Cn） 基于多模态数据的商单识别方法、装置、介质及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204968B2 (en) * 2019-06-21 2021-12-21 Microsoft Technology Licensing, Llc Embedding layer in neural network for ranking candidates
CN110377686B (zh) * 2019-07-04 2021-09-17 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
US11915123B2 (en) * 2019-11-14 2024-02-27 International Business Machines Corporation Fusing multimodal data using recurrent neural networks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
US9270778B1 (en) * 2007-07-05 2016-02-23 Invent.Ly, Llc Matching users based on behavior in a social network
WO2012103290A1 (en) * 2011-01-26 2012-08-02 Google Inc. Dynamic predictive modeling platform
CN105790952A (zh) * 2016-02-29 2016-07-20 上海诺亚投资管理有限公司 一种用户信息的验证系统和方法
CN109189930A (zh) * 2018-09-01 2019-01-11 网易（杭州）网络有限公司 文本特征提取及提取模型优化方法以及介质、装置和设备
WO2020232382A1 (en) * 2019-05-15 2020-11-19 Captricity, Inc. Few-shot language model training and implementation
CN112329824A (zh) * 2020-10-23 2021-02-05 北京中科智加科技有限公司 多模型融合训练方法、文本分类方法以及装置
CN113705725A (zh) * 2021-09-15 2021-11-26 中国矿业大学 一种基于多模态信息融合的用户人格特征预测方法和装置
CN114581098A (zh) * 2022-01-25 2022-06-03 上海数禾信息科技有限公司 客群分类方法、装置、计算机设备和存储介质
CN114758149A (zh) * 2022-04-25 2022-07-15 广西财经学院 基于深度多模态特征融合的时尚兼容度分析方法和系统
CN115601771A (zh) * 2022-12-01 2023-01-13 广州数说故事信息科技有限公司（Cn） 基于多模态数据的商单识别方法、装置、介质及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jan Kozak.Swarm intelligence goal-oriented approach to data-driven innovation in customer churn management.《International Journal of Information Management》.2021,第50卷1-16. *
夏国恩.改进的多层感知机在客户流失预测中的应用.计算机工程与应用.2019,第56卷(第14期),257-263. *

Also Published As

Publication number Publication date
CN116452241A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN111581520B (zh) 基于会话中物品重要性的物品推荐方法和系统
CN112559764B (zh) 一种基于领域知识图谱的内容推荐方法
CN111597298A (zh) 一种基于深度对抗离散哈希学习的跨模态检索方法及装置
CN113177132A (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN114549850B (zh) 一种解决模态缺失问题的多模态图像美学质量评价方法
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN116452241B (zh) 一种基于多模态融合神经网络的用户流失概率计算方法
CN114756686A (zh) 一种基于知识图谱的知识推理和故障诊断方法
CN115409018B (zh) 基于大数据的公司舆情监测系统及其方法
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN112529638A (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN112258250A (zh) 基于网络热点的目标用户识别方法、装置和计算机设备
Khan et al. Unsupervised domain adaptation using fuzzy rules and stochastic hierarchical convolutional neural networks
Rijal et al. Integrating Information Gain methods for Feature Selection in Distance Education Sentiment Analysis during Covid-19.
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN114330482A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
WO2023137918A1 (zh) 文本数据的分析方法、模型训练方法、装置及计算机设备
CN116662564A (zh) 一种基于深度矩阵分解与知识图谱的服务推荐方法
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及系统
CN114842301A (zh) 一种图像注释模型的半监督训练方法
CN113064967A (zh) 基于深度迁移网络的投诉举报可信度分析方法
Shi et al. A sparse topic model for bursty topic discovery in social networks.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant