CN114757495A - 一种基于逻辑回归的会员价值量化评估方法 - Google Patents

Abstract

本发明涉及一种基于逻辑回归的会员价值量化评估方法，包括：1)获取会员原始数据；2)对获取的会员原始数据进行预处理，获取预处理后的格式化数据；3)对预处理后的格式化数据执行数据标注；4)从格式化数据的原始特征中筛选出用以输入模型的有效特征；5)构建包括变量分段、变量的WOE变换和逻辑回归估算的会员价值评估模型；6)将步骤4)筛选后的有效特征输入构建的会员价值评估模型中，获取会员价值量化评估结果。与现有技术相比，本发明具有评估客观、更适用于B2B钢铁行业等电商平台等优点。

Description

一种基于逻辑回归的会员价值量化评估方法

技术领域

本发明涉及互联网技术领域，尤其是涉及一种基于逻辑回归的会员价值量化评估方法。

背景技术

随着互联网大数据的发展和计算机性能的提升，会员平台(会员价值体系)也越来越多的被运用在各行各业。搭建会员价值体系的目的是通过用户标签，将用户群体拆分成特征明显的各个群体，有针对性的运用各类手段提高不同类型用户的四率(B2B行业四率：覆盖率、转化率、重复购率、渗透率)。传统的RFM模型通过Rencency(最近一次交易)、Frequency(交易频率)和Monetary(交易金额)来衡量当前用户价值和用户潜在价值。因此RFM模型中的三个值分别代表着用户类型、用户忠诚度、用户价值。

但现有的RFM模型的缺点在于：(1)首先该模型仅包含三个维度，而这些维度包含的信息有限，无法满足在B2B行业，特别是针对B2B行业供应商用户的实际应用。如通过Recency判断的用户类型不够具体，缺少潜在用户和新用户数据；Frequency反映用户的忠诚度、活跃度，但是对于标准化的产品，如钢铁行业的产品，以及钢铁行业的供应商，衡量其交易频率的意义不大，更应该考虑用户销售持续性以及其涉及产品、服务的丰富性；Monetary代表用户交易总金额，则不适用于价值较高、单品差异较大的钢铁行业。此外，该模型未考虑供应商用户的销售意愿、销售质量、下游客户及下游潜在用户等会影响用户现金流期望从而影响用户潜在价值的因素。(2)其次，该模型适用于产品相对成熟、已稳定运营的行业。RFM模型关键点在于如何划分用户级别，将不同用户划分至不同的象限从而实现差异化运营。但由于B2B钢铁行业作为新兴的互联网行业，尚处于发展期，难以通过RFM模型划分其各个阶段的用户分布。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于逻辑回归的会员价值量化评估方法。

本发明的目的可以通过以下技术方案来实现：

一种基于逻辑回归的会员价值量化评估方法，该方法包括下列步骤：

S1：获取会员原始数据。

S2：对获取的会员原始数据进行预处理，获取预处理后的格式化数据。

S3：对预处理后的格式化数据执行数据标注。

S4：从格式化数据的原始特征中筛选出用以输入模型的有效特征。

S5：构建包括变量分段、变量的WOE变换和逻辑回归估算的会员价值评估模型。

S6：将S4筛选后的有效特征输入构建的会员价值评估模型中，获取会员价值量化评估结果。

进一步地，S1中，所述会员原始数据包括但不限于会员销售数据、运营数据、挂货数据、行为数据和下游买家数据。

进一步地，S2中，所述预处理包括但不限于数据清洗、缺失值处理、异常值处理、标准化、归一化、信息量分析、数据分布和类别特征编码处理。

进一步地，对预处理后的格式化数据执行数据标注的具体内容为：

在S2处理后的数据中，基于业务需求标注部分样本数据作为训练样本，即标注用户是否为高价值会员用户，标注方法采用K-means算法。具体地：

采用K-means算法对给定的样本集按照样本之间的距离大小进行K个簇划分，通过迭代构建最终划分类别，进而将划分后的类别标注为用户是否为高价值会员用户。进一步地，为提高标注效果，在采用K-means算法对用户是否为高价值会员用户的标注过程中引入自动化工具pycaret。

进一步地，S4中，采用方差分析、相关系数法、卡方检验法、信息熵、基尼系数、过滤法或嵌入法对格式化数据的原始特征中筛选出用以输入模型的有效特征。

进一步地，S5中，基于Logistic Regression进行变量分段、变量的WOE变换和逻辑回归估算的会员价值评估模型的构建，模型迭代和优化阶段采用人工智能框架进行全局搜索和优化。优选地，所述逻辑回归采用线性回归。构建线性回归模型并设定预测结果的评估范围，根据输入的有效特征数据，若预测结果大于或等于0.5，则评估结果的分数为1，若预测结果小于0.5，则评估结果的分数为0。

本发明提供的基于逻辑回归的会员价值量化评估方法，相较于现有技术至少包括如下有益效果：

1)本发明采用Logistic和WOE构建的评分模型，并以AutoML技术构建自适应迭代优化，拆解用户结构，从而体现会员用户价值，能够实现各个阶段的用户分布的客观划分，使其更加适用于B2B钢铁等行业的会员价值的量化判断。

2)本发明从多维度建立会员价值模型，涵盖维度范围广，价值评估更为客观，更适用于B2B钢铁行业等电商平台。

附图说明

图1为实施例中典型的评分模型构建流程示意图；

图2为实施例中基于逻辑回归的会员价值量化评估方法的主要流程示意图；

图3为实施例中基于RFM模型的指标划分示意图；

图4为实施例中K-means算法的迭代求解示意图；

图5为实施例中本发明构建线性回归的预测结构示例；

图6为实施例中线性回归的回归曲线示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明涉及一种基于逻辑回归的会员价值量化评估方法，该方法适用于B2B钢铁行业等新兴的互联网行业。该方法利用B2B钢铁行业供应商用户的历史数据(包括会员数据、挂货数据、销售订单数据，下游买家数据，销售质量数据，行为数据、履约数据等)，从供应商公司资质、供应商挂货规模、挂货频率、挂货资源丰富性、资源热度、销售订单规模、交易频率、销售质量、下游买家规模、下游买家质量、履约情况等维度出发，建立可度量用户的现金流和期望寿命的模型(模型包括基于K-means等构建的自动化样本标注模块，基于ensemble构建的特征工程模块，以Logistic&WOE构建的评分模型和以AutoML构建的自适应迭代优化模块等)，拆解用户结构，从而获取用户价值，使其更适用于B2B钢铁行业的会员价值判断，更利于互联网钢铁领域精准的用户运营。

在本发明方法中，利用人工智能核心技术栈，在自有真实业务数据的基础上构建了端到端的会员价值评分模型，以满足前端各类会员体系的各类业务需求；在整体解决方案中，核心思考点包括对业务的可解释性，对会员相关行为的绝对体现，对会员价值的动态评估，对会员价值的多样性体现。结合上述核心诉求，方案不仅融合了监督学习，非监督学习，统计类，应用数学类等标准方法和算法，同时也加入了一系列基于业务特征和数据特性提炼的规则和条件，尤其是在特征选择方面，不仅从整个会员体系全流程进行了业务和数据的筛选，而且利用专利的量化评估技术进行的全局的平行对比；另外，为了保证数据和模型价值的最大化挖掘，在模型优化和迭代阶段还采用了AutoML技术进行模型的优化和迭代。

典型的评分模型构建流程如图1所示。

本发明会员评级模型的主要实施流程如下：

(1)数据获取，提取各类建模所需数据，包括会员销售数据，运营数据，挂货数据，行为数据，下游买家等数据为基础。

(2)数据预处理，主要工作包括数据清洗、缺失值处理、异常值处理，主要是为了将获取的原始数据转化为可用作模型开发的格式化数据。

(3)探索性数据分析，该步骤主要是获取样本总体的大概情况，描述样本总体情况的指标主要有直方图、箱形图等。

(4)变量选择，该步骤主要是通过统计学的方法，筛选出对违约状态影响最显著的指标。主要有单变量特征选择方法和基于机器学习模型的方法。

(5)模型开发，该步骤主要包括变量分段、变量的WOE(证据权重)变换和逻辑回归估算三部分。

(6)模型评估，该步骤主要是评估模型的区分能力、预测能力、稳定性，并形成模型评估报告，得出模型是否可以使用的结论。

(7)信用评分，根据逻辑回归的系数和WOE等确定信用评分的方法。将Logistic模型转换为标准评分的形式。

(8)建立评分系统，根据信用评分方法，建立自动信用评分系统。

具体地，本发明基于逻辑回归的会员价值量化评估方法的具体步骤如图2所示，包括：

步骤一、大数据提取与清洗：

模型建设初期根据业务需求过滤和提取所需的原始数据，并进行基础的数据清洗和预处理，具体步骤包括缺失值处理、异常数据处理、标准化、归一化、信息量分析、数据分布、类别特征编码等。原始数据包括会员销售数据，运营数据，挂货数据，行为数据，下游买家等数据。

步骤二、数据标注：

数据标注主要是在步骤一处理后的原始数据中，基于业务需求标注一部分样本数据作为训练样本，核心点为标注用户是否是高价值会员用户，具体采用的方法包括经典的RFM分析模型，非监督机器学习模型K-means，为保证标注效果而引入的自动化工具pycaret等。

步骤三、特征工程：

该环节主要是从大量的步骤一预处理后的原始特征中筛选出对模型有效的部分特征，由于需要兼顾业务的可解释性和模型最终的效果，所以未采用类似PCA、ICA、多项式、全连接等方法，而是采用了始终保留数据原始属性的特征筛选方法，具体包括方差分析、相关系数法、卡方检验法、信息熵、基尼系数、过滤法或嵌入法等。有效特征为根据特征自身的信息量、特征对模型目标的影响程度、特征与特征之间的相关性等标准进行判定的，即基于实际应用过程中，数据分布、数据质量以及模型目标来界定的。

步骤四、主模型构建(会员价值评估模型构建)：

本发明的主模型借鉴了国际知名消费信用评估机构FICO等的方案，利用LogisticRegression进行模型构建；同时，为了保证数据和模型价值的最大化挖掘，在模型迭代和优化阶段采用了自动化人工智能框架pycaret、featuretools、tsfresh、skopt等进行全局搜索和优化。

步骤五、评估结果获取：通过计算WOE，IV值等对每个入模的特征，即对步骤三筛选后的特征进行筛选和标定，进而获取完整的会员价值评估结果。

进一步地，在上述步骤二中，数据标注方案的具体内容为：

数据标注主要是在步骤一处理后的原始数据中，基于业务需求标注一部分样本数据作为训练样本，核心点为标注用户是否是高价值会员用户，具体可采用的方法包括经典的RFM分析模型，非监督机器学习模型K-means，为保证标注效果而引入的自动化工具pycaret等。

该标注方案可采用多路方法进行会员价值的标注，包括RFM模型，K-means聚类模型和其他类业务规则等；其中RFM模型利用每个会员最近一次消费(Recency)，消费频率(Frequency)，消费金额(Monetary)这3项指标来描述该客户的价值状况。将上述三个指标各自再细分成5份，如图3所示，这样就能够细分出5x5x5＝125类用户，再根据每类用户具体属性和类型进行个性化的精准运营。

RFM模型有非常强的可解释性，并且开发难度较低，但也有很大的局限性：模型引入维度太少，只有3个维度，因此会存在对会员价值量化过于简单的情况。基于此，本发明方案中具体采用了非监督类K-means聚类算法替换RFM，以弥补其劣势；引入K-means算法的核心切入点主要有两个：一个是K-means聚类算法能从数据本身的属性出发进行会员间相似度的计算，能最大限度保持用户的各类原始属性，另一个是能引入包括交易数据之外的高维数据，弥补RFM只考虑3个交易数据的缺陷。

K-means聚类算法是机器学习领域非常经典的底层算法之一，有原理简单，收敛速度快，调参容易，可解释性好等优点；K-means算法对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇；让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。

如果用数据表达式表示，假设簇划分为(C₁,C₂,...,C_k)，则目标是最小化平方误差E：

其中μ_i是簇C_j的均值向量，也称为质心，表达式为：

K-means采用启发式方法进行迭代求解，具体步骤如图4所示，包括：

1)子图(a)表达了初始的数据集，假设k＝2；

2)在子图(b)中，随机选择了两个k类所对应的类别质心，即图中的两个×质心，然后分别求样本中所有点到这两个质心的距离(距离计算采用欧式距离公式计算，根据业务需求或其他个性化需求也可以将欧氏距离公式换成其他方法)，并标记每个样本的类别和该样本距离最小的质心的类别，如子图(c)所示。经过计算所有样本到两个×质心的距离，得到所有样本点的第一轮迭代后的类别。

3)此时对当前标记为×质心的数据簇分别求其新的质心，如子图(d)所示，新的两个×质心的位置已经发生了变动。

4)子图(e)和子图(f)重复了在子图(c)和子图(d)的过程，即将所有点的类别标记为距离最近的质心的类别并求新的质心。

5)持续迭代，最终得到的两个类别如子图(f)。

一般地，在实际K-means算法中会多次运行子图(c)和子图(d)，进而达到最终的比较优的类别。

在本发明的标注方案中，将所有会员数据进行了多类别聚类迭代计算，最终簇的数量确定为5类较为匹配业务数据的分布，在聚类过程中采用了标准的K-means算法进行了类别构建。

进一步地，在上述步骤四中，会员价值评估模型构建方案的具体内容为：

考虑到会员价值模型在应用层面的稳定性和可解释性，主要采用了行业较为成熟和稳定的方案，数据预处理阶段有采用标准化、归一化、one_hot编码等方法；主模型采用Logistic Regression模型，Logistic Regression分析可用于估计某个事件发生的可能性，也可分析某个问题的影响因素有哪些，最简单的回归是线性回归，有如图5中的1.a所示，x为数据点，y为观测值。通过构建线性回归模型，如h_θ(x)所示，构建线性回归模型后，即可以根据输入数据，预测结果h_θ(x)≥0.5为1，h_θ(x)＜0.5为0，以此可实现对评估结果的量化评分。基于此，本发明还可针对不同的评分场景，如会员的活跃分、经营分、基础分等均进行量化评估。

然而线性回归的鲁棒性很差，例如在图5中1.b的数据集上建立回归，因最右边噪点的存在，使回归模型在训练集上表现都很差。这主要是由于线性回归在整个实数域内敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，其回归方程如下：

式中，z＝wx+b，w代表线性模型z的权重，b代表线性模型z的偏置项，w和z都是通过模型迭代来计算而来的参数，不需要人为干预。

其回归曲线如图6所示。逻辑曲线在t＝0时，十分敏感，在t＞＞0或t＜＜0处，都不敏感，将预测值限定为(0,1)。

本发明方法采用Logistic和WOE构建的评分模型，并以AutoML技术构建自适应迭代优化，拆解用户结构，从而体现会员用户价值，能够实现各个阶段的用户分布划分，使其更加适用于B2B钢铁等行业的会员价值的量化判断。从多维度建立会员价值模型，涵盖维度范围广，价值主张更为客观，更适用于B2B钢铁电商平台。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于逻辑回归的会员价值量化评估方法，其特征在于，包括：

1)获取会员原始数据；

2)对获取的会员原始数据进行预处理，获取预处理后的格式化数据；

3)对预处理后的格式化数据执行数据标注；

4)从格式化数据的原始特征中筛选出用以输入模型的有效特征；

5)构建包括变量分段、变量的WOE变换和逻辑回归估算的会员价值评估模型；

6)将步骤4)筛选后的有效特征输入构建的会员价值评估模型中，获取会员价值量化评估结果。

2.根据权利要求1所述的基于逻辑回归的会员价值量化评估方法，其特征在于，所述会员原始数据包括但不限于会员销售数据、运营数据、挂货数据、行为数据和下游买家数据。

3.根据权利要求2所述的基于逻辑回归的会员价值量化评估方法，其特征在于，所述预处理包括但不限于数据清洗、缺失值处理、异常值处理、标准化、归一化、信息量分析、数据分布和类别特征编码处理。

4.根据权利要求1所述的基于逻辑回归的会员价值量化评估方法，其特征在于，对预处理后的格式化数据执行数据标注的具体内容为：

在步骤2)处理后的数据中，基于业务需求标注部分样本数据作为训练样本，即标注用户是否为高价值会员用户，标注方法采用K-means算法。

5.根据权利要求4所述的基于逻辑回归的会员价值量化评估方法，其特征在于，步骤3)中，采用K-means算法对给定的样本集按照样本之间的距离大小进行K个簇划分，通过迭代构建最终划分类别，进而将划分后的类别标注为用户是否为高价值会员用户。

6.根据权利要求1所述的基于逻辑回归的会员价值量化评估方法，其特征在于，步骤4)中，采用方差分析、相关系数法、卡方检验法、信息熵、基尼系数、过滤法或嵌入法对格式化数据的原始特征中筛选出用以输入模型的有效特征。

7.根据权利要求1所述的基于逻辑回归的会员价值量化评估方法，其特征在于，步骤5)中，基于Logistic Regression进行变量分段、变量的WOE变换和逻辑回归估算的会员价值评估模型的构建，模型迭代和优化阶段采用人工智能框架进行全局搜索和优化。

8.根据权利要求7所述的基于逻辑回归的会员价值量化评估方法，其特征在于，所述逻辑回归采用线性回归。

9.根据权利要求8所述的基于逻辑回归的会员价值量化评估方法，其特征在于，构建线性回归模型并设定预测结果的评估范围，根据输入的有效特征数据，若预测结果大于或等于0.5，则评估结果的分数为1，若预测结果小于0.5，则评估结果的分数为0。

10.根据权利要求5所述的基于逻辑回归的会员价值量化评估方法，其特征在于，采用K-means算法对用户是否为高价值会员用户的标注过程中引入有自动化工具pycaret。

Images