CN116934385B - 用户流失预测模型的构建方法、用户流失预测方法及装置 - Google Patents

用户流失预测模型的构建方法、用户流失预测方法及装置 Download PDF

Info

Publication number
CN116934385B
CN116934385B CN202311190252.0A CN202311190252A CN116934385B CN 116934385 B CN116934385 B CN 116934385B CN 202311190252 A CN202311190252 A CN 202311190252A CN 116934385 B CN116934385 B CN 116934385B
Authority
CN
China
Prior art keywords
user
data
loss
classifier
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311190252.0A
Other languages
English (en)
Other versions
CN116934385A (zh
Inventor
屈道宽
高琰
姜海洋
马海苓
明玲
王广洲
郑子龙
李杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ligong Haoming New Energy Co ltd
Original Assignee
Shandong Ligong Haoming New Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ligong Haoming New Energy Co ltd filed Critical Shandong Ligong Haoming New Energy Co ltd
Priority to CN202311190252.0A priority Critical patent/CN116934385B/zh
Publication of CN116934385A publication Critical patent/CN116934385A/zh
Application granted granted Critical
Publication of CN116934385B publication Critical patent/CN116934385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种用户流失预测模型的构建方法、用户流失预测方法及装置，涉及通信用户流失预测技术领域，包括：获取训练数据集，包括用户的用户信息、历史行为数据和表征用户是否为流失用户的流失标签；使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量，目标特征向量包括时间序列的动态信息；将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，对分类器进行分类训练，进而构建用户流失预测模型，从而对用户待测数据进行流失预测。本发明基于时间序列数据中的动态变化进行模型训练，可以充分捕捉用户行为和服务数据的演化趋势，进而保证预测准确性。

Description

用户流失预测模型的构建方法、用户流失预测方法及装置
技术领域
本发明涉及通信用户流失预测技术领域，尤其涉及一种用户流失预测模型的构建方法、用户流失预测方法及装置。
背景技术
通信行业在现代社会中扮演着重要的角色，为用户提供通信、互联网接入和移动应用等服务。在通信行业中，用户流失是一个重要的问题。流失用户对通信厂家而言意味着损失和市场份额的减少。因此，准确预测用户流失情况对于通信厂家来说具有重要的商业意义。过去，通信用户流失预测主要基于统计方法和传统机器学习算法，如逻辑回归、决策树等。然而，这些方法在处理复杂的用户行为和服务数据时存在一些限制。例如，传统方法难以处理数据不平衡和样本不足问题，无法充分利用时间序列数据中的动态变化信息。此外，它们也可能无法处理高维度的特征和复杂的关联关系。
随着深度学习和人工智能的发展，基于神经网络的方法在预测和分类任务中取得了显著的成果。特别是长短期记忆网络（LSTM），作为一种递归神经网络（RNN）的变体，具备记忆能力和对序列信息的建模能力，适用于处理时间序列数据。然而，传统的LSTM方法可能忽视了时间序列数据中的动态变化，无法充分捕捉用户行为和服务数据的演化趋势。基于此，现有技术的预测准确性低，无法进行有效的用户流失预测。
发明内容
有鉴于此，本发明的目的在于提供一种用户流失预测模型的构建方法、用户流失预测方法及装置，可以保证用户流失预测的准确性。
第一方面，本发明实施例提供了一种用户流失预测模型的构建方法，其中，该方法包括：获取训练数据集，其中，训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，流失标签用于表征该用户是否为流失用户；使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量，其中，目标特征向量包括时间序列的动态信息；将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，以对分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型；其中，用户流失预测模型用于对用户待测数据进行流失预测。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，用户信息包括用户的个人信息和服务信息；上述方法还包括：获取预设信息数据库中的用户数据，其中，用户数据包括多个用户的用户信息和该用户对应的历史行为数据；基于用户数据构建数据集表格，其中，数据集表格的每一行代表一个用户数据，每一列代表一个属性，以及该属性对应的数据特征；按照每个用户的流失信息生成该用户的流失标签，并使用流失标签对每个用户数据进行标注；对流失标签表征为流失用户对应的用户数据进行数据扩充；基于扩充后的流失用户的用户数据，和流失标签表征为非流失用户对应的用户数据构建训练数据集。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对流失标签表征为流失用户对应的用户数据进行数据扩充的步骤，包括：将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本；生成对抗网络包括生成器和判别器，生成对抗函数中包括正则化项，正则化项根据生成器的参数和判别器的参数确定；根据初始生成样本，以及初始生成样本对应的均值和方差，确定自适应增强因子；基于自适应增强因子对生成器的参数和判别器的参数进行调整，执行将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本的步骤，更新初始生成样本；直到生成的初始生成样本满足预设的生成要求时，将初始生成样本确定为用户数据对应的扩充样本，以确定扩充后的流失用户的用户数据。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，训练数据集的每个训练数据包括多个数据特征；使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量的步骤，包括：从训练数据集的多个数据特征中选择预设数量的特征，得到特征集；根据特征集中的每个特征对应的预测准确率，和预先设置的权重参数，对特征集进行特征选择，确定特征集中的目标特征；通过预先设置的递归神经网络，对目标特征进行特征提取，确定基于时间序列的动态信息；递归神经网络包括神经网络目标函数，神经网络目标函数基于预先设置的模型权重参数、模型预测错误率和递归神经网络对应的模型正则化项确定。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，以对分类器进行分类训练的步骤，包括：将目标特征向量和目标特征向量对应的用户标签输入至预先设置的分类器中，根据分类器的目标函数确定基于时间序列的动态信息对应的分类结果，以对分类器进行分类训练；分类器根据联邦学习和SVM算法设置；分类器的目标函数为：
其中，和/>分别是超平面的法向量和截距，/>为正则化参数；/>是松弛变量；/>表示联邦学习的联邦成员总数量，/>表示第/>个联邦成员对应的本地动态信息数量，/>和/>分别表示第/>个联邦成员的第/>个本地动态信息和对应的用户标签。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型的步骤，包括：通过预设的第二分类器算法确定目标特征向量对应的分类结果，得到第二分类结果；判断预先设置的分类器的分类结果，是否与第二分类结果一致；如果是，将分类器确定为用户流失预测模型。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，通过预设的第二分类器算法确定目标特征向量对应的分类结果，得到第二分类结果的步骤，包括：通过小生境算法，确定目标特征向量中的最优特征子集；根据最优特征子集对应的行为模式，对最优特征子集进行用户分层；根据用户分层对应的动态权重、时间缩减因子和学习率，确定用户分层对应的流失概率；基于预设的代价矩阵，确定流失概率对应的分类代价，并判断分类代价是否满足预设的代价阈值；如果否，更新用户分层对应的动态权重，执行确定用户分层对应的流失概率的步骤；如果是，将流失概率确定为第二分类结果。
第二方面，本发明实施例提供了一种用户流失预测方法，其中，该方法包括：获取用户待测数据；将用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果；基于所预测结果对用户待测数据进行流失预测；其中，用户流失预测模型为基于上述用户流失预测模型的构建方法构建得到的。
第三方面，本发明实施例提供了一种用户流失预测模型的构建装置，其中，该装置包括：数据获取模块，用于获取训练数据集，其中，训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，流失标签用于表征该用户是否为流失用户；数据处理模块，用于使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量，其中，目标特征向量包括时间序列的动态信息；训练模块，用于将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，以对分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型；其中，用户流失预测模型用于对用户待测数据进行流失预测。
第四方面，本发明实施例提供了一种用户流失预测装置，该装置包括：数据采集模块，用于获取用户待测数据；执行模块，用于将用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果；输出模块，用于基于所预测结果对用户待测数据进行流失预测；其中，用户流失预测模型为基于上述用户流失预测模型的构建方法构建得到的。
本发明实施例带来了以下有益效果：本发明提供的一种用户流失预测模型的构建方法、用户流失预测方法及装置，利用训练数据集进行模型训练，且，使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，确定包括时间序列的动态信息的目标特征向量，其中，基于时间序列数据中的动态变化进行模型训练，可以充分捕捉用户行为和服务数据的演化趋势，进而保证预测准确性。而且，本发明实施例针对训练数据集构建LSTM网络模型，保证特征提取能力，进一步保证用户流失的预测精度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用户流失预测模型的构建方法的流程图；
图2为本发明实施例提供的另一种用户流失预测模型的构建方法的流程图；
图3为本发明实施例提供的另一种用户流失预测模型的构建方法的流程图；
图4为本发明实施例提供的一种用户流失预测方法的流程图；
图5为本发明实施例提供的一种用户流失预测模型的构建装置的结构示意图；
图6为本发明实施例提供的另一种用户流失预测模型的构建装置的结构示意图；
图7为本发明实施例提供的一种用户流失预测装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
其中，本发明实施例提供的一种用户流失预测模型的构建方法、用户流失预测方法及装置，其中，本发明实施例可以保证用户流失预测的准确性。
为便于对本实施例进行理解，首先对本发明的实施例所公开的一种用户流失预测模型的构建方法进行详细介绍，图1示出了本发明实施例提供的一种用户流失预测模型的构建方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取训练数据集。
步骤S104，使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量。
在具体实现时，本发明实施例构建用户流失预测模型时，利用训练数据集进行模型训练，其中，训练数据集包括多个训练数据，训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，流失标签用于表征该用户是否为流失用户。之后，通过模型根据训练数据及对应的流失标签进行分类学习，以进行用户流失预测。
其中，训练数据集的每个训练数据分别包括对应的特征，本发明实施例使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，确定包括时间序列的动态信息的目标特征向量，以基于时间序列数据中的动态变化进行模型训练，以充分捕捉用户行为和服务数据的演化趋势。
步骤S106，将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，以对分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型。
提取到包括时间序列的动态信息的目标特征向量后，本发明实施例将这些目标特征向量及对应的用户标签输入到预设的分类器中进行分类训练，直到分类训练的结果满足训练条件，表示该分类器满足分类要求时，得到对应的用户流失预测模型，其中，用户流失预测模型用于对用户待测数据进行流失预测。
本发明实施例提供的一种用户流失预测模型的构建方法，利用训练数据集进行模型训练，且，使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，确定包括时间序列的动态信息的目标特征向量，其中，基于时间序列数据中的动态变化进行模型训练，可以充分捕捉用户行为和服务数据的演化趋势，进而保证预测准确性。而且，本发明实施例针对训练数据集构建LSTM网络模型，保证特征提取能力，进一步保证用户流失的预测精度。
进一步地，在上述实施例的基础上，本发明实施例还提供了另一种用户流失预测模型的构建方法，该方法主要对上述训练数据集进行说明。图2示出了本发明实施例提供的另一种用户流失预测模型的构建方法的流程图，如图2所示，该方法包括以下步骤：
步骤S202，获取预设信息数据库中的用户数据。
步骤S204，基于用户数据构建数据集表格。
具体的，步骤S102获取的训练数据集的数据来源是预设的信息数据库，在具体实现时，该信息数据库包括通信厂家的用户数据库，其中包含用户数据，用户数据包括多个用户的用户信息和该用户对应的历史行为数据。其中，信息数据库的格式可以采用表格形式，基于信息数据库中的用户数据构建数据集表格，其中，数据集表格的每一行代表一个用户数据，每一列代表一个属性，以及该属性对应的数据特征。在具体实现时，本发明实施例的数据集表格中的属性包括用户的个人信息（如年龄、性别、地区等）、服务信息（如订购的套餐、通话时间、流量使用情况等）以及用户行为数据（如投诉次数、付费情况等）。这些属性作为特征，用于建立预测模型。例如，下述表1示出了本发明实施例提供的一种数据集，且该数据集包含以下属性和特征：
表1 ：
表2示出了本发明实施例的数据集表格中的一个示例，在该示例中，每一行代表一个用户的信息，每一列代表一个特征或属性。这些特征将被用于训练模型，预测用户的流失情况。
表2：
步骤S206，按照每个用户的流失信息生成该用户的流失标签，并使用流失标签对每个用户数据进行标注。
进一步的，本发明实施例还对这些用户数据进行预处理，也即，将用户流失情况作为标签进行编码，并使用流失标签对每个用户数据进行标注。在具体实现时，假设用"1"表示流失用户，用"0"表示非流失用户。标签编码表示为：
其中，是第/>个用户的流失标签。进一步地，对于分类特征，本发明实施例采用独热编码（One-Hot Encoding）方法将其转化为数值形式，以便模型处理。以性别（Gender）为例，假设有两个分类：男（Male）和女（Female）。将引入两个新特征：/>表示用户/>是否为男性，/>表示用户/>是否为女性。特征编码公式如下：
类似地，对其他分类特征进行独热编码。基于上述编码方式，可以生成用户的流失标签，进而使用流失标签对每个用户数据进行标注。进一步地，对于数值特征，本发明实施例还进行归一化处理，以将它们映射到相同的数值范围。在具体实现时，本发明实施例采用的归一化方法是最小-最大归一化（Min-Max Normalization），将特征缩放到0到1的范围内。具体的，假设要对年龄（Age）特征进行归一化，可以使用以下公式：
其中，是归一化后的特征，/>是原始特征值，/>是特征的最小值，/>是特征的最大值。通过以上预处理步骤，得到适用于模型训练的训练数据集。
步骤S208，对流失标签表征为流失用户对应的用户数据进行数据扩充。
步骤S210，基于扩充后的流失用户的用户数据，和流失标签表征为非流失用户对应的用户数据构建训练数据集。
其中，现有技术还存在数据不平衡和样本不足的问题，本发明实施例为解决数据不平衡和样本不足的问题，当生成用户的流失标签，并对用户数据进行标注后，本发明实施例还对用户数据进行数据扩充。在用户流失预测任务中，流失用户的数量通常较少，而非流失用户的数量较多，导致数据的类别不平衡。此外，真实的流失样本也可能受限于数据收集的困难性，导致样本不足。基于此，本发明引入数据扩充的步骤来增加训练数据集的多样性，从而提高模型的泛化能力。在具体实现时，本发明的数据扩充算法基于生成对抗网络（GAN）和多目标优化算法，并结合细粒度的改进。生成对抗网络（GAN）包括一个生成器（Generator）和一个判别器（Discriminator）。生成器用于生成逼真的流失用户样本，判别器则用于判断样本的真实性。通过对抗学习的过程，生成器和判别器相互博弈，不断提高生成器生成逼真样本的能力。
生成器的目标是生成逼真的流失用户样本，以增加流失样本的数量。使用多目标优化算法来进一步改进生成器的性能。假设生成器的输入为，生成器的输出为生成的流失用户样本/>。生成器的目标可以表示为以下多目标优化问题：
其中，表示判别器，/>是生成对抗损失函数，用于衡量生成器生成样本的逼真程度。/>是附加的目标函数，用于进一步改进生成器的性能。/>是权衡两个目标的超参数。
判别器的目标是判断样本的真实性，以区分真实的流失用户样本和生成器生成的假样本。判别器的目标可以表示为以下二分类问题：
其中，是生成对抗损失函数，用于衡量判别器的分类性能。
基于此，本发明实施例先将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本。在具体实现时，本发明实施例使用的生成对抗网络包括生成器和判别器，生成对抗函数中包括正则化项，正则化项根据生成器的参数和判别器的参数确定。其中，为了提升数据扩充的性能，本发明实施例引入了细粒度的改进方法：结合GAN算法、多目标优化算法以及一种改进的损失函数。在改进的损失函数中，引入了一项正则化项，用于约束生成器和判别器的参数，这样可以促使生成器和判别器的输出更加稳定和一致，提高数据扩充的质量。其中，在多目标优化算法中，采用帕累托优化来解决生成器和判别器的目标冲突问题。本发明实施例通过优化生成器和判别器的多个目标，可以得到一系列帕累托最优解，其中没有一个解能被其他解在所有目标上支配。在改进的损失函数方面，本发明实施例将生成对抗损失函数与正则化项相结合。
在具体实现时，定义改进的损失函数如下：
其中，是生成对抗损失函数，用于衡量生成器和判别器之间的对抗性。/>是正则化项，用于约束生成器和判别器的参数。进一步地，本发明引入正则化项以约束生成器和判别器的参数，使生成器和判别器的输出更加稳定和一致，提高数据扩充的质量。正则化项的公式推导如下：
对于生成器的参数，引入正则化项/>：
对于判别器的参数，引入正则化项/>：
这样，在改进的损失函数中，可以定义正则化项为：
通过引入正则化项，可以促使生成器和判别器的参数保持较小的值，从而提高数据扩充的质量和稳定性。进一步的，为了提升数据扩充的性能，本发明实施例在数据扩充的算法中还引入了自适应增强技术，通过自动调整生成器和判别器的参数，以提高生成器生成逼真样本的能力和判别器的鲁棒性。在具体实现时，本发明实施例根据初始生成样本，以及初始生成样本对应的均值和方差，确定自适应增强因子。具体的，引入了一组自适应增强因子、/>，用于调整生成器和判别器的参数。这些增强因子根据数据的特征和属性进行自适应调整，以适应不同的数据分布和特征分布。具体的，自适应增强因子的计算方式如下:
其中，表示训练数据集，/>表示训练数据集中第/>个特征的取值。/>和分别表示/>的均值和方差。其中，本发明实施例通过计算自适应增强因子，可以根据数据的分布特点和特征的分布特点，自适应地调整生成器和判别器的参数，以适应不同的数据分布和特征分布。之后，基于自适应增强因子对生成器的参数和判别器的参数进行调整，其中，对于生成器的参数/>，将其乘以自适应增强因子/>：
类似地，对于判别器的参数，将其乘以自适应增强因子/>：
之后执行将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本的步骤，更新初始生成样本。直到生成的初始生成样本满足预设的生成要求时，将初始生成样本确定为用户数据对应的扩充样本，以确定扩充后的流失用户的用户数据。预设的生成要求用于表示生成的扩充样本适应于不同的数据分布和特征分布。
本发明实施例提供的另一种用户流失预测模型的构建方法，提出了基于生成对抗网络（GAN）的数据扩充算法，通过生成逼真的流失用户样本，解决了数据不平衡和样本不足的问题，其中，引入细粒度的改进方法和自适应增强技术，可以提高数据扩充的质量和稳定性。
进一步地，在上述实施例的基础上，本发明实施例还提供另一种用户流失预测模型的构建方法，其中，本发明实施例主要对特征提取的步骤，以及，分类训练的步骤进行详细介绍。其中，传统的特征提取方法的特征提取能力不足，目前的特征提取方法可能会忽视时间序列数据中潜在的动态变化，为了解决这个问题，本发明实施例提出一种基于人工蚁群优化和LSTM（长短期记忆）的特征提取方法。具体的，获取的训练数据集中包括多个训练数据，训练数据集的每个训练数据包括多个数据特征。图3示出了本发明实施例提供的另一种用户流失预测模型的构建方法的流程图，如图3所示，该方法包括如下步骤：
步骤S302，获取训练数据集。
步骤S304，从训练数据集的多个数据特征中选择预设数量的特征，得到特征集。
步骤S306，根据特征集中的每个特征对应的预测准确率，和预先设置的权重参数，对特征集进行特征选择，确定特征集中的目标特征。
在具体实现时，本发明实施例首先应用人工蚁群算法进行特征选择。人工蚁群算法是一种模拟自然界蚂蚁群体寻找食物过程的优化算法。通过利用蚂蚁群体的集体智慧，算法能够找到数据中最具代表性的特征。具体的，假设有一个由m个特征（也即预设数量的特征）组成的特征集，算法通过优化以下目标函数来选择特征，确定特征集中的目标特征：
其中，表示选定的特征子集，也即目标特征；/>表示使用选定特征子集进行预测时的错误率，也即上述每个特征对应的预测准确率，通过预设的训练完成的逻辑回归分类器得到。/>是一个在0和1之间的权重参数，用于控制错误率和特征数量之间的平衡；表示选定特征子集的大小，/>是一个预设的最大特征数量。一旦选定了最优的特征子集，也即，确定了特征集中的目标特征，接下来利用长短期记忆网络（LSTM）进行特征提取，具体按照下述步骤S308执行。
步骤S308，通过预先设置的递归神经网络，对目标特征进行特征提取，得到包括基于时间序列的动态信息的目标特征向量。
在具体实现时，LSTM是一种特殊的递归神经网络（RNN），能够处理时间序列数据中的长期依赖问题。其中，本发明实施例使用的递归神经网络包括神经网络目标函数，神经网络目标函数基于预先设置的模型权重参数、模型预测错误率和递归神经网络对应的模型正则化项确定。具体的，本发明实施例修改了LSTM的网络结构，提出了一个基于多目标优化的LSTM（MO-LSTM）。它能够同时优化多个目标（如预测准确率和模型复杂度）。其中，MO-LSTM的目标函数如下：
其中，表示模型参数，/>表示预测错误率，/>表示模型的正则化项，用于控制模型复杂度，/>是一个在0和1之间的权重参数，用于平衡预测准确率和模型复杂度，/>表示所有可能的参数空间。本发明所提出的特征提取方法不仅可以从大量特征中筛选出最重要的特征，而且还可以从时间序列数据中提取出有用的动态信息，从而提高通信用户流失预测的准确性。
步骤S310，将目标特征向量和目标特征向量对应的用户标签输入至预先设置的分类器中，根据分类器的目标函数确定基于时间序列的动态信息对应的分类结果，以对分类器进行分类训练。
在具体实现时，本发明实施例在完成特征提取后，进行分类器的训练。其中，本发明实施例的分类器根据联邦学习和SVM算法设置，具体的，本发明实施例采用基于支持向量机（SVM）和联邦学习的方法来进行分类器的训练。SVM是一种监督学习算法，常用于分类或回归任务。基于线性SVM的基本思想是找到一个超平面，能够最大化正负样本之间的间隔。具体的，SVM的目标函数可以表达为：
其中，和/>分别是超平面的法向量和截距，/>是松弛变量，/>是一个正则化参数，用于控制间隔的宽度和分类误差的平衡，/>和/>分别是训练样本和对应的类别标签。其中，传统的SVM算法通常需要将所有的数据集中在一处进行训练，这在面对大规模分布式数据时，会带来隐私和通信的问题。为了解决这个问题，本发明实施例提出一种基于联邦学习的SVM训练方法。对应的，联邦学习是一种分布式机器学习的方法，它可以在数据的本地进行模型的训练，而不需要共享原始数据。这不仅可以保护数据的隐私，还可以减少数据传输的开销。基于此，本发明实施例基于联邦学习和SVM算法设置的分类器的目标函数如下：
其中，和/>分别是超平面的法向量和截距，/>为正则化参数；/>是松弛变量；/>表示联邦学习的联邦成员总数量，/>表示第/>个联邦成员对应的本地动态信息数量，/>和/>分别表示第/>个联邦成员的第/>个本地动态信息和对应的用户标签。其中，上述联邦学习的联邦成员总数量/>表示并非固定数值，本发明实施例通过第二分类器算法对该分类器的分类训练结果进行验证，验证过程若分类器不满足验证要求，则会对联邦学习的联邦成员总数量/>进行调整。
步骤S312，通过预设的第二分类器算法确定目标特征向量对应的分类结果，得到第二分类结果。
在具体实现时，当得到对应的分类结果后，本发明实施例通过第二分类器算法确定的第二分类结果对上述步骤S310得到的分类结果进行验证，以确定分类器是否满足要求。其中，本发明实施例提出一种分层动态权重和时间衰减的代价敏感贝叶斯分类器算法，并将该算法作为第二分类器算法，用于对上述分类器的分类结果进行一致性验证。具体的，算法流程如下：
A、通过小生境算法，确定目标特征向量中的最优特征子集。具体的，利用小生境算法找到最优特征子集的方式为：1、初始化：在特征空间中随机生成一定数量的解，这些解可以被视个体。每个解都对应于一个可能的特征子集。2、评估适应度：对每个解（即特征子集）进行评估，通过使用这个特征子集进行模型训练和验证，然后根据模型的性能（如精度、F1分数等）来评估其适应度。3、更新：在每一轮迭代中，选择适应度最高的解，然后在其周围生成新的解（可以看作是个体的繁殖）。这些新解是通过增加或删除一些特征从原来的解变化得来的。4、淘汰：评估所有解的适应度，保留适应度最高的一部分，淘汰其余的解。5、迭代：重复步骤3和步骤4，直到满足停止条件，如达到预设的最大迭代次数，或者最优解在一定次数的迭代中没有明显改变。
B、根据最优特征子集对应的行为模式，对最优特征子集进行用户分层，并根据用户分层对应的动态权重、时间缩减因子和学习率，确定用户分层对应的流失概率。在具体实现时，本发明实施例通过聚类分析，将用户根据行为模式划分为个层级，以进行用户分层。其中，行为模式根据用户的个人行为确定，包括上网行为、社交媒体行为、移动设备使用行为等行为模式。
进一步地，进行动态权重与时间衰减因子的设置。其中，对于每个层级，初始化权重/>和时间衰减因子/>，并为不同的层级设定不同的学习率/>。之后，对于层级/>中的每个用户，计算其流失概率：
其中，：通过小生境算法找到的最优特征子集。
：表示第/>个层级的特征权重集合，其中/>代表第/>个层级的第/>个特征的权重。/>：表示用户流失事件，/>表示用户流失的先验概率。/>：第/>个层级中的特征集合。/>：时间衰减因子，用于衰减旧数据的影响。/>，/>：分别表示用户流失和特定特征的代价，由代价敏感函数定义。/>：表示给定的特征集合，其中/>代表给定的第/>个特征。：用户行为模式的层级数，通过聚类分析得出。/>：第/>个层级中的用户数。
C、基于预设的代价矩阵，确定流失概率对应的分类代价，并判断分类代价是否满足预设的代价阈值。如果否，更新用户分层对应的动态权重，执行确定用户分层对应的流失概率的步骤；如果是，将流失概率确定为第二分类结果。
在具体实现时，本发明实施例确定流失概率后，还基于预先设置的代价矩阵确定对应的分类代价，并在分类代价不满足预设的条件（代价阈值）时，进行分类预测与动态权重更新，重新计算对应的流失概率，否则，基于其流失概率确定第二分类结果，以根据第二分类结果对上述分类器的分类结果进行一致性验证。
具体的，假设特征提取后得到的特征集合为：。进一步地，为预测正确和预测错误设定不同的代价/>，形成代价敏感函数/>。在本发明实施例的用户流失预测的问题中，将即将流失的用户预测为不流失（也就是漏报）通常比将不会流失的用户预测为流失（也就是误报）的代价要高。举例说明，假设对于二分类用户流失预测问题，其中/>代表两个类别标签，那么可以定义一个代价矩阵：
在这个矩阵中，代表将类别/>的样本错误预测为类别/>的代价。对于真实类别为/>、预测类别为/>的样本/>，其代价可以定义为/>。其中，在贝叶斯分类中，常常通过最小化预期代价来进行决策。对于给定的样本/>，其预期代价定义为：
其中，，/>：表示用户特征的集合，其中/>代表第/>个特征。/>是在给定样本/>的条件下，其真实类别为/>的概率。
其中，根据每一轮的实际分类结果更新权重，根据预测结果更新权重的公式如下：
其中，表示在第/>轮预测中的预测分类结果与实际分类结果不同时取1，/>表示自然对数的基数e的幂函数，/>表示更新后的权重，/>表示更新前的权重，/>：第/>个层级的学习率。/>：在第/>轮预测中的实际分类结果。/>：在第/>轮预测中的预测分类结果。进一步地，进行分类预测与权重更新步骤，在新的动态权重下，进行下一轮的分类预测，直到满足预定的终止条件，如达到最大迭代次数或预测误差小于某个阈值。
步骤S314，判断预先设置的分类器的分类结果，是否与第二分类结果一致。
步骤S316，如果是，将分类器确定为用户流失预测模型。
其中，如果分层动态权重和时间衰减的代价敏感贝叶斯分类器算法的分类结果与步骤五算法的分类结果一致，则完成模型训练。如果分类结果不一致，则增加/减少总的联邦成员数量，直至分类结果一致。之后，使用训练好的分类器构建用户流失预测模型，以利用训练好的该用户流失预测模型进行用户流失预测。
本发明实施例提供的另一种用户流失预测模型的构建方法，提出了一种利用多目标优化和LSTM网络进行通信用户流失预测的方法，通过引入多目标优化算法，同时优化预测准确率和模型复杂度，提高了流失预测的准确性和模型的泛化能力，相较于传统方法，能够更精确地预测用户的流失情况，帮助通信厂家采取针对性的措施。且，还综合考虑了多个目标，如预测准确率、模型复杂度和数据扩充质量。通过多目标优化的方法，可以权衡这些目标，并获得一系列帕累托最优解，提供了更多选择和灵活性。
此外，还结合人工蚁群算法和LSTM网络进行特征提取，人工蚁群算法用于选择最具代表性的特征子集，LSTM网络用于提取时间序列数据中的动态信息，从而提高通信用户流失预测的准确性。本发明实施例基于生成对抗网络（GAN）的数据扩充算法，并结合人工蚁群算法和LSTM网络进行特征提取。这些改进使得数据扩充的质量更高、稳定性更强，特征提取能够捕捉时间序列数据中的动态信息，更好地反映用户流失的模式和趋势。
并采用基于支持向量机（SVM）和联邦学习的方法进行分类器的训练，联邦学习保护数据隐私，减少数据传输开销。还可以在保护数据隐私的前提下，实现分布式环境下的模型训练，适用于大规模分布式数据环境，这使得通信厂家能够利用分散在不同地区的数据进行流失预测，而无需将原始数据集集中存储或共享，减少了隐私和通信方面的风险。综上，本发明实施例在通信用户流失预测领域具有良好的市场前景，能够为通信厂家供准确的流失预测和决策支持，具备广泛的市场应用潜力，并在创新性和竞争优势上具备优势。
进一步地，本发明实施例还提供了一种用户流失预测方法，图4示出了本发明实施例提供的一种用户流失预测方法的流程图，如图4所示，该方法包括以下步骤：
步骤S402，获取用户待测数据。
步骤S404，将用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果。
步骤S406，基于所预测结果对用户待测数据进行流失预测。
在具体实现时，先获取待预测的用户待测数据，再将该数据输入至预先构建的用户流失预测模型中，通过该模型对数据进行流失预测，其中，用户流失预测模型为基于上述用户流失预测模型的构建方法构建得到的。且，本发明实施例提供的一种用户流失预测方法，与上述实施例提供的用户流失预测模型的构建方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
进一步地，本发明实施例还提供一种用户流失预测模型的构建装置，图5示出了本发明实施例提供的一种用户流失预测模型的构建装置的结构示意图，如图5所示，该装置包括：数据获取模块100，用于获取训练数据集，其中，训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，流失标签用于表征该用户是否为流失用户。数据处理模块200，用于使用预先构建的LSTM网络模型对训练数据集的训练数据进行特征提取，以提取训练数据对应的目标特征向量，其中，目标特征向量包括时间序列的动态信息。训练模块300，用于将目标特征向量和目标特征向量对应的训练数据的用户标签输入至预先设置的分类器中，以对分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型；其中，用户流失预测模型用于对用户待测数据进行流失预测。
本发明实施例提供的一种用户流失预测模型的构建装置，与上述实施例提供的用户流失预测模型的构建方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
进一步地，本发明实施例还提供另一种用户流失预测模型的构建装置，其中，用户信息包括用户的个人信息和服务信息；图6示出了本发明实施例提供的一种用户流失预测模型的构建装置的结构示意图，如图6所示，该装置还包括数据集生成模块400，用于获取预设信息数据库中的用户数据，其中，用户数据包括多个用户的用户信息和该用户对应的历史行为数据；基于用户数据构建数据集表格，其中，数据集表格的每一行代表一个用户数据，每一列代表一个属性，以及该属性对应的数据特征；按照每个用户的流失信息生成该用户的流失标签，并使用流失标签对每个用户数据进行标注；对流失标签表征为流失用户对应的用户数据进行数据扩充；基于扩充后的流失用户的用户数据，和流失标签表征为非流失用户对应的用户数据构建训练数据集。
上述数据集生成模块400，还用于对流失标签表征为流失用户对应的用户数据进行数据扩充的步骤，包括：将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本；生成对抗网络包括生成器和判别器，生成对抗函数中包括正则化项，正则化项根据生成器的参数和判别器的参数确定；根据初始生成样本，以及初始生成样本对应的均值和方差，确定自适应增强因子；基于自适应增强因子对生成器的参数和判别器的参数进行调整，执行将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过生成对抗网络的生成对抗函数生成初始生成样本的步骤，更新初始生成样本；直到生成的初始生成样本满足预设的生成要求时，将初始生成样本确定为用户数据对应的扩充样本，以确定扩充后的流失用户的用户数据。
训练数据集的每个训练数据包括多个数据特征；上述数据处理模块200，还用于从训练数据集的多个数据特征中选择预设数量的特征，得到特征集；根据特征集中的每个特征对应的预测准确率，和预先设置的权重参数，对特征集进行特征选择，确定特征集中的目标特征；通过预先设置的递归神经网络，对目标特征进行特征提取，得到包括基于时间序列的动态信息的目标特征向量；递归神经网络包括神经网络目标函数，神经网络目标函数基于预先设置的模型权重参数、模型预测错误率和递归神经网络对应的模型正则化项确定。
上述训练模块300，还用于将目标特征向量和目标特征向量对应的用户标签输入至预先设置的分类器中，根据分类器的目标函数确定基于时间序列的动态信息对应的分类结果，以对分类器进行分类训练；分类器根据联邦学习和SVM算法设置；分类器的目标函数为：
其中，和/>分别是超平面的法向量和截距，/>为正则化参数；/>是松弛变量；/>表示联邦学习的联邦成员总数量，/>表示第/>个联邦成员对应的本地动态信息数量，/>和/>分别表示第/>个联邦成员的第/>个本地动态信息和对应的用户标签。
上述训练模块300，还用于通过预设的第二分类器算法确定目标特征向量对应的分类结果，得到第二分类结果；判断预先设置的分类器的分类结果，是否与第二分类结果一致；如果是，将分类器确定为用户流失预测模型。
上述训练模块300，还用于通过小生境算法，确定目标特征向量中的最优特征子集；根据最优特征子集对应的行为模式，对最优特征子集进行用户分层；根据用户分层对应的动态权重、时间缩减因子和学习率，确定用户分层对应的流失概率；基于预设的代价矩阵，确定流失概率对应的分类代价，并判断分类代价是否满足预设的代价阈值；如果否，更新用户分层对应的动态权重，执行确定用户分层对应的流失概率的步骤；如果是，将流失概率确定为第二分类结果。
进一步地，本发明实施例还提供一种用户流失预测装置，图7示出了本发明实施例提供的一种用户流失预测装置的结构示意图，如图7所示，该装置包括：数据采集模块10，用于获取用户待测数据；执行模块20，用于将用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果；输出模块30，用于基于所预测结果对用户待测数据进行流失预测。其中，用户流失预测模型为基于上述用户流失预测模型的构建方法构建得到的。
本发明实施例提供的一种用户流失预测装置，与上述实施例提供的用户流失预测模型的构建方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述图1至图4任一所示的方法的步骤。本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图1至图4任一所示的方法的步骤。本发明实施例还提供了一种电子设备的结构示意图，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述图1至图4任一所示的方法。在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。
其中，存储器80可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口83（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA（Industry StandardArchitecture，工业标准体系结构）总线、PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（Extended Industry Standard Architecture，扩展工业标准结构）总线等，还可以是AMBA（Advanced Microcontroller Bus Architecture，片上总线的标准）总线，其中，AMBA定义了三种总线，包括APB（Advanced Peripheral Bus）总线、AHB（Advanced High-performance Bus）总线和AXI（Advanced eXtensible Interface）总线。总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述图1至图4任一所示的方法。本发明实施例所提供的一种用户流失预测模型的构建方法、用户流失预测方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种用户流失预测模型的构建方法，其特征在于，所述方法包括：
获取训练数据集，其中，所述训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，所述流失标签用于表征该用户是否为流失用户；
使用预先构建的LSTM网络模型对所述训练数据集的训练数据进行特征提取，以提取所述训练数据对应的目标特征向量，其中，所述目标特征向量包括时间序列的动态信息；
将所述目标特征向量和所述目标特征向量对应的所述训练数据的用户标签输入至预先设置的分类器中，以对所述分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型；其中，所述用户流失预测模型用于对用户待测数据进行流失预测；
所述用户信息包括所述用户的个人信息和服务信息；
所述方法还包括：
获取预设信息数据库中的用户数据，其中，所述用户数据包括多个用户的用户信息和该用户对应的历史行为数据；
基于所述用户数据构建数据集表格，其中，所述数据集表格的每一行代表一个所述用户数据，每一列代表一个属性，以及该属性对应的数据特征；
按照每个用户的流失信息生成该用户的流失标签，并使用所述流失标签对每个所述用户数据进行标注；
对所述流失标签表征为流失用户对应的用户数据进行数据扩充；
基于扩充后的流失用户的用户数据，和所述流失标签表征为非流失用户对应的用户数据构建所述训练数据集；
所述训练数据集的每个训练数据包括多个数据特征；使用预先构建的LSTM网络模型对所述训练数据集的训练数据进行特征提取，以提取所述训练数据对应的目标特征向量的步骤，包括：
从所述训练数据集的多个所述数据特征中选择预设数量的特征，得到特征集；
通过预先设置的人工蚁群算法根据所述特征集中的每个所述特征对应的预测准确率，和预先设置的权重参数，对所述特征集进行特征选择，确定所述特征集中的目标特征；
通过预先设置的递归神经网络，对所述目标特征进行特征提取，得到包括基于时间序列的动态信息的目标特征向量；其中，所述递归神经网络包括基于多个目标优化训练的LSTM；所述LSTM的目标函数如下：
其中，表示模型参数，/>表示预测错误率，/>表示模型的正则化项，用于控制模型复杂度，/>是一个在0和1之间的权重参数，用于平衡预测准确率和模型复杂度，/>表示所有可能的参数空间；所述递归神经网络包括神经网络目标函数，所述神经网络目标函数基于预先设置的模型权重参数、模型预测错误率和所述递归神经网络对应的模型正则化项确定；
将所述目标特征向量和所述目标特征向量对应的所述训练数据的用户标签输入至预先设置的分类器中，以对所述分类器进行分类训练的步骤，包括：
将所述目标特征向量和所述目标特征向量对应的用户标签输入至预先设置的分类器中，根据所述分类器的目标函数确定基于时间序列的动态信息对应的分类结果，以对所述分类器进行分类训练；
所述分类器根据联邦学习和SVM算法设置；所述分类器的目标函数为：
其中，和/>分别是超平面的法向量和截距，/>为正则化参数；/>是松弛变量；/>表示联邦学习的联邦成员总数量，/>表示第/>个联邦成员对应的本地动态信息数量，/>和/>分别表示第/>个联邦成员的第/>个本地动态信息和对应的用户标签；
将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型的步骤，包括：
通过预设的第二分类器算法确定所述目标特征向量对应的分类结果，得到第二分类结果；所述第二分类器算法包括分层动态权重和时间衰减的代价敏感贝叶斯分类器算法；
判断预先设置的分类器的分类结果，是否与所述第二分类结果一致；
如果是，将所述分类器确定为用户流失预测模型；
如果否，对联邦学习的联邦成员总数量进行调整，直至分类器的分类结果与所述第二分类结果一致；
通过预设的第二分类器算法确定所述目标特征向量对应的分类结果，得到第二分类结果的步骤，包括：
通过小生境算法，确定所述目标特征向量中的最优特征子集；
根据所述最优特征子集对应的行为模式，对所述最优特征子集进行用户分层；
根据所述用户分层对应的动态权重、时间缩减因子和学习率，确定所述用户分层对应的流失概率；
基于预设的代价矩阵，确定所述流失概率对应的分类代价，并判断所述分类代价是否满足预设的代价阈值；
如果否，更新所述用户分层对应的动态权重，执行确定所述用户分层对应的流失概率的步骤；
如果是，将所述流失概率确定为第二分类结果。
2.根据权利要求1所述的方法，其特征在于，对所述流失标签表征为流失用户对应的用户数据进行数据扩充的步骤，包括：
将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过所述生成对抗网络的生成对抗函数生成初始生成样本；所述生成对抗网络包括生成器和判别器，所述生成器包括多目标优化问题：
其中，表示判别器，/>是生成对抗损失函数，用于衡量生成器生成样本的逼真程度；是附加的目标函数，用于进一步改进生成器的性能；/>是权衡两个目标的超参数；所述生成对抗函数中包括正则化项，所述正则化项根据所述生成器的参数和所述判别器的参数确定；且，所述生成对抗网络包括帕累托优化的多目标优化算法；
根据所述初始生成样本，以及所述初始生成样本对应的均值和方差，确定自适应增强因子；
基于所述自适应增强因子对所述生成器的参数和所述判别器的参数进行调整，执行将流失标签表征为流失用户对应的用户数据输入至预先设置的生成对抗网络中，通过所述生成对抗网络的生成对抗函数生成初始生成样本的步骤，更新所述初始生成样本；
直到生成的所述初始生成样本满足预设的生成要求时，将所述初始生成样本确定为所述用户数据对应的扩充样本，以确定扩充后的流失用户的用户数据。
3.一种用户流失预测方法，其特征在于，所述方法包括：
获取用户待测数据；
将所述用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果；
基于所预测结果对所述用户待测数据进行流失预测；
其中，所述用户流失预测模型为基于权利要求1~2任一项所述的用户流失预测模型的构建方法构建得到的。
4.一种用户流失预测模型的构建装置，其特征在于，所述装置包括：
数据获取模块，用于获取训练数据集，其中，所述训练数据集的每个训练数据包括一个用户的用户信息、历史行为数据和该用户的流失标签，所述流失标签用于表征该用户是否为流失用户；
数据处理模块，用于使用预先构建的LSTM网络模型对所述训练数据集的训练数据进行特征提取，以提取所述训练数据对应的目标特征向量，其中，所述目标特征向量包括时间序列的动态信息；
训练模块，用于将所述目标特征向量和所述目标特征向量对应的所述训练数据的用户标签输入至预先设置的分类器中，以对所述分类器进行分类训练，并将分类训练的结果满足预设条件时的分类器确定为用户流失预测模型；其中，所述用户流失预测模型用于对用户待测数据进行流失预测；
其中，所述用户信息包括所述用户的个人信息和服务信息；所述装置还包括数据集生成模块，用于获取预设信息数据库中的用户数据，其中，所述用户数据包括多个用户的用户信息和该用户对应的历史行为数据；基于所述用户数据构建数据集表格，其中，所述数据集表格的每一行代表一个所述用户数据，每一列代表一个属性，以及该属性对应的数据特征；按照每个用户的流失信息生成该用户的流失标签，并使用所述流失标签对每个所述用户数据进行标注；对所述流失标签表征为流失用户对应的用户数据进行数据扩充；基于扩充后的流失用户的用户数据，和所述流失标签表征为非流失用户对应的用户数据构建所述训练数据集；
所述训练数据集的每个训练数据包括多个数据特征；所述数据处理模块，还用于从所述训练数据集的多个所述数据特征中选择预设数量的特征，得到特征集；通过预先设置的人工蚁群算法根据所述特征集中的每个所述特征对应的预测准确率，和预先设置的权重参数，对所述特征集进行特征选择，确定所述特征集中的目标特征；通过预先设置的递归神经网络，对所述目标特征进行特征提取，得到包括基于时间序列的动态信息的目标特征向量；其中，所述递归神经网络包括基于多个目标优化训练的LSTM；所述LSTM的目标函数如下：
其中，表示模型参数，/>表示预测错误率，/>表示模型的正则化项，用于控制模型复杂度，/>是一个在0和1之间的权重参数，用于平衡预测准确率和模型复杂度，/>表示所有可能的参数空间；所述递归神经网络包括神经网络目标函数，所述神经网络目标函数基于预先设置的模型权重参数、模型预测错误率和所述递归神经网络对应的模型正则化项确定；
所述训练模块，还用于将所述目标特征向量和所述目标特征向量对应的用户标签输入至预先设置的分类器中，根据所述分类器的目标函数确定基于时间序列的动态信息对应的分类结果，以对所述分类器进行分类训练；所述分类器根据联邦学习和SVM算法设置；所述分类器的目标函数为：
其中，和/>分别是超平面的法向量和截距，/>为正则化参数；/>是松弛变量；/>表示联邦学习的联邦成员总数量，/>表示第/>个联邦成员对应的本地动态信息数量，/>和/>分别表示第/>个联邦成员的第/>个本地动态信息和对应的用户标签；
所述训练模块，还用于通过预设的第二分类器算法确定所述目标特征向量对应的分类结果，得到第二分类结果；所述第二分类器算法包括分层动态权重和时间衰减的代价敏感贝叶斯分类器算法；判断预先设置的分类器的分类结果，是否与所述第二分类结果一致；如果是，将所述分类器确定为用户流失预测模型；如果否，对联邦学习的联邦成员总数量进行调整，直至分类器的分类结果与所述第二分类结果一致；
所述训练模块，还用于通过小生境算法，确定所述目标特征向量中的最优特征子集；根据所述最优特征子集对应的行为模式，对所述最优特征子集进行用户分层；根据所述用户分层对应的动态权重、时间缩减因子和学习率，确定所述用户分层对应的流失概率；基于预设的代价矩阵，确定所述流失概率对应的分类代价，并判断所述分类代价是否满足预设的代价阈值；如果否，更新所述用户分层对应的动态权重，执行确定所述用户分层对应的流失概率的步骤；如果是，将所述流失概率确定为第二分类结果。
5.一种用户流失预测装置，其特征在于，所述装置包括：
数据采集模块，用于获取用户待测数据；
执行模块，用于将所述用户待测数据输入至预先构建的用户流失预测模型中，确定预测结果；
输出模块，用于基于所预测结果对所述用户待测数据进行流失预测；
其中，所述用户流失预测模型为基于权利要求1~2任一项所述的用户流失预测模型的构建方法构建得到的。
CN202311190252.0A 2023-09-15 2023-09-15 用户流失预测模型的构建方法、用户流失预测方法及装置 Active CN116934385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311190252.0A CN116934385B (zh) 2023-09-15 2023-09-15 用户流失预测模型的构建方法、用户流失预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311190252.0A CN116934385B (zh) 2023-09-15 2023-09-15 用户流失预测模型的构建方法、用户流失预测方法及装置

Publications (2)

Publication Number Publication Date
CN116934385A CN116934385A (zh) 2023-10-24
CN116934385B true CN116934385B (zh) 2024-01-19

Family

ID=88375693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311190252.0A Active CN116934385B (zh) 2023-09-15 2023-09-15 用户流失预测模型的构建方法、用户流失预测方法及装置

Country Status (1)

Country Link
CN (1) CN116934385B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312865B (zh) * 2023-11-30 2024-02-27 山东理工职业学院 基于非线性动态优化的数据分类模型的构建方法及装置
CN117422181B (zh) * 2023-12-15 2024-04-02 湖南三湘银行股份有限公司 一种基于模糊标签的代发客户流失预警方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095494A (zh) * 2015-08-21 2015-11-25 中国地质大学（武汉） 一种对分类数据集进行测试的方法
CN109544197A (zh) * 2017-09-22 2019-03-29 中兴通讯股份有限公司 一种用户流失预测方法和装置
WO2020224403A1 (zh) * 2019-05-07 2020-11-12 腾讯科技（深圳）有限公司 分类任务模型的训练方法、装置、设备及存储介质
US10867267B1 (en) * 2016-01-12 2020-12-15 Equinix, Inc. Customer churn risk engine for a co-location facility
CN113706187A (zh) * 2021-07-13 2021-11-26 杭州电子科技大学 一种基于时空图卷积的电信用户流失行为预测方法及系统
CN114997286A (zh) * 2022-05-18 2022-09-02 大连理工大学 一种基于联邦支持向量机的金融客户分类方法及装置
CN115619448A (zh) * 2022-11-03 2023-01-17 平安科技（深圳）有限公司 用户流失预测方法、装置、计算机设备及存储介质
CN116595463A (zh) * 2023-07-18 2023-08-15 国网山东省电力公司武城县供电公司 窃电识别模型的构建方法、窃电行为识别方法及装置
CN116680637A (zh) * 2023-08-02 2023-09-01 北京世纪慈海科技有限公司 社区居家老年人传感数据分析模型的构建方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095494A (zh) * 2015-08-21 2015-11-25 中国地质大学（武汉） 一种对分类数据集进行测试的方法
US10867267B1 (en) * 2016-01-12 2020-12-15 Equinix, Inc. Customer churn risk engine for a co-location facility
CN109544197A (zh) * 2017-09-22 2019-03-29 中兴通讯股份有限公司 一种用户流失预测方法和装置
WO2020224403A1 (zh) * 2019-05-07 2020-11-12 腾讯科技（深圳）有限公司 分类任务模型的训练方法、装置、设备及存储介质
CN113706187A (zh) * 2021-07-13 2021-11-26 杭州电子科技大学 一种基于时空图卷积的电信用户流失行为预测方法及系统
CN114997286A (zh) * 2022-05-18 2022-09-02 大连理工大学 一种基于联邦支持向量机的金融客户分类方法及装置
CN115619448A (zh) * 2022-11-03 2023-01-17 平安科技（深圳）有限公司 用户流失预测方法、装置、计算机设备及存储介质
CN116595463A (zh) * 2023-07-18 2023-08-15 国网山东省电力公司武城县供电公司 窃电识别模型的构建方法、窃电行为识别方法及装置
CN116680637A (zh) * 2023-08-02 2023-09-01 北京世纪慈海科技有限公司 社区居家老年人传感数据分析模型的构建方法及装置

Also Published As

Publication number Publication date
CN116934385A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN116934385B (zh) 用户流失预测模型的构建方法、用户流失预测方法及装置
CN107688823B (zh) 一种图像特征获取方法及装置，电子设备
CN109214436A (zh) 一种针对目标场景的预测模型训练方法及装置
CN107230108A (zh) 业务数据的处理方法及装置
CN111612039A (zh) 异常用户识别的方法及装置、存储介质、电子设备
CN111695042B (zh) 基于深度游走和集成学习的用户行为预测方法及系统
CN105354595A (zh) 一种鲁棒视觉图像分类方法及系统
CN116595463B (zh) 窃电识别模型的构建方法、窃电行为识别方法及装置
CN116881832B (zh) 旋转机械设备故障诊断模型的构建方法及装置
EP4322031A1 (en) Recommendation method, recommendation model training method, and related product
CN111210072B (zh) 预测模型训练和用户资源额度确定方法及装置
CN105095494A (zh) 一种对分类数据集进行测试的方法
CN109948680A (zh) 病历数据的分类方法及系统
CN112465231B (zh) 地区人口健康状态预测方法、设备和可读存储介质
CN111611390B (zh) 一种数据处理方法及装置
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN111582315B (zh) 样本数据处理方法、装置及电子设备
CN112669143A (zh) 基于关联网络的风险评估方法、装置、设备以及存储介质
CN113516417A (zh) 基于智能建模的业务评估方法、装置、电子设备及介质
CN115545103A (zh) 异常数据识别、标签识别方法和异常数据识别装置
CN110378389A (zh) 一种Adaboost分类器计算机创建装置
US10726349B2 (en) Calculating posterior probability of classes
CN111582647A (zh) 用户数据处理方法、装置及电子设备
CN111026661B (zh) 一种软件易用性全面测试方法及系统
CN109086730A (zh) 一种手写数字识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant