CN112232388A - 基于elm-rfe的购物意图关键因素识别方法 - Google Patents

Abstract

本发明公开了一种基于ELM‑RFE的购物意图关键因素识别方法，该方法首先初始化因素特征排序表和当前特征子集表，并获取当前训练样本集，接着训练超限学习机分类器并计算特征的排序系数，重复该步骤并找出排序得分最小的因素特征，然后更新关键因素排序指标和当前特征子集表，并重复以上步骤直至当前特征子集表为空。本发明的方法相比于传统的递归特征消除类方法，无需调节学习模型参数，能快速识别影响用户购物意图的最有效的因素。实验表明，相比传统的SVM‑RFE方法，本发明的方法仅需0.1％的计算时间，而且仅需3个因素特征在测试集上得到最高的测试精度。在识别用户购买意图的关键因素应用中，本发明的方法可以提升关键因素特征识别效率。

Description

基于ELM-RFE的购物意图关键因素识别方法

技术领域

本发明属于购物意图关键因素识别领域，特别涉及一种基于超限学习机递归特征消除(ELM-RFE)的购物意图关键因素识别方法。

背景技术

在线购物以互联网为信息沟通媒介，消费者的网上购买行为不受互联网服务提供商的控制而是由消费者自身的行为动机决定，再加上网络环境时空隔离的限制，互联网环境存在着高度的不确定性，影响网上购买行为的因素与传统购买环境相比存在着特殊性。用户从启动APP到最终下单购买，中间会有一系列步骤，这些步骤可能是点击搜索框，可能是点击首页Banner图，也可能是点击收藏页面。用户的购物意图是通过在购物网站上的一系列显式的和隐式的行为表现出来的。例如，用户直接输入对商品的分级评分或评价信息为显式的行为，浏览商品的停留时间可以认定为隐式的行为。个性化推荐是目前电子商务公司采用的较为成功的商品营销策略，根据用户之前的浏览、评价、购买或者搜索历史等行为数据以及相似用户群体的历史行为数据推测目标用户的购物意图，然后在目标用户访问网站时为其推荐或展一组他们最有可能购买的商品。

然而，有些用户历史行为数据是对判断购物意图有帮助的，有些是没有帮助的。甚至在有些情况下，考虑某些用户行为数据是推断他是否购买某种商品是起反作用的。在这种情况下，如何识别对消费者的购物意图影响最关键的因素对电商企业来说至关重要。研究网络环境下消费者在线购买行为的影响因素，及这些因素间的关系将对电子商务和在线交易的进一步发展具有重要意义。

识别消费者购物意图的关键因素在机器学习领域可以看作是一种特征选择问题，即从收集到的消费者行为数据的多个因素中选取对购物意图最相关的因素。根据不同的形式，目前的特征选择方法主要有：过滤法(Filter)：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。封装法(Wrapper)：根据目标函数(通常是预测效果评分)，每次选择若干特征，或者排除若干特征。相对于过滤法方法，封装法方法找到的特征子集分类性能通常更好。

支持向量机递归特征消除(SVM-RFE)是Guyon等人提出的包装器算法。它使用从SVM模型中支持向量的权重得出的得分函数访问特征，并递归地消除得分最低的特征。重复此过程，直到模型中剩下少量变量为止。由于其在微阵列分类中的成功应用，SVM-RFE获得了极大的欢迎，并被公认为最有效的特征选择方法之一。尽管SVM-RFE在分类率上表现更好，但是它通常需要大量的计算，尤其是针对于非线性SVM的应用。由于非线性SVM中的映射函数是未知的，因此无法显式计算权重向量。尽管可以通过特殊策略将线性SVM-RFE扩展到非线性情况，但它将花费额外的计算成本。虽然目前有很多研究从各种角度提升SVM-RFE的效率，但是SVM固有的模型选择问题还是会为SVM-RFE引入大量额外的计算代价。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种基于超限学习机递归特征消除(ELM-RFE)的购物意图关键因素识别方法。

实现本发明目的的技术解决方案为：一种基于ELM-RFE的购物意图关键因素识别方法，所述方法包括以下步骤：

步骤1，构建用户购物意图识别的数据样本集X，空的关键因素特征排序表r，以及初始化的因素特征子集指标表s＝[1,2,…,d]，其中d表示因素特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的因素特征的排序系数；

步骤5，重复执行步骤3和步骤4，直至遍历完训练样本集X₀，获取排序系数最小的因素特征f；

步骤6，更新关键因素特征排序表r，具体为：在关键因素特征排序表r的第一个元素之前加入因素特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述ELM-RFE方法的过程，返回关键因素特征排序表r，否则返回步骤2继续执行。

进一步地，步骤1中所述数据样本集X为：

式中，x_i∈R^d为第i个数据样本对应的影响用户购物意图的d维因素特征，t_i∈{-1,1}为类别，1表示有用户购买了商品，-1表示用户没有购买商品，R^d表示每个样本包含d个特征，N为数据样本的个数。

进一步地，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的因素特征构成训练样本集X₀，表示为X₀＝X(:,s)。

进一步地，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取隐节点个数L；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算输出权值

其中T＝[t₁,…,t_N]^T，

为矩阵H的广义逆。

本发明与现有技术相比，其显著优点为：1)本发明无需调节模型参数，所有模型参数从均匀分布中随机产生；2)本发明能够快速识别影响购物意图的最有效的因素特征，并得到所有因素特征对购物意图识别精度影响的排名；相比于传统的特征选择方法，本发明识别的因素特征，不仅能够提升购物意图的识别精度，还能节省大量学习模型的训练时间，适合电商企业识别影响消费者购物意图的因素特征的应用，以便调整营销策略，提升用户购买意愿。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于超限学习机递归特征消除的购物意图关键因素识别方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明ELM-RFE方法利用ELM学习模型在数据集上训练得到的权重向量对特征进行排序。在每一次循环中，具有最小排序系数的特征将被移除，然后ELM对剩余的特征重新训练以获取新的排序系数。ELM-RFE方法通过迭代执行这一过程，最后得到一个特征排序表。利用该排序列表，可以定义若干个嵌套的特征子集

在SVM-RFE方法中，一般使用SVM算法的预测精度来评估这些特征子集的优劣。为了方便比较，本发明提出的ELM-RFE方法训练得到的特征排序表也使用SVM的预测精度来选择最佳特征子集。

为了能便于理解本发明，下面先对SVM方法进行介绍。SVM模型分类过程如下：

步骤A，给定训练样本集(x_i,t_i)，i＝1,...,N，其中x_i∈R^d，t_i∈{-1,1}。根据经验风险最小化原则，同时最大化分类间隔和最小化训练错误，求解SVM的优化问题：

ξ_i≥0,i＝1,…,N

式中，C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重。映射函数

的作用是将输入向量x_i映射到特征空间Z。w为垂直于超平面的法向量。

步骤B，将SVM的优化问题转化为对偶问题求解：

得到最优解α^*。其中

为SVM的核函数，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着每个训练样本(x_i,t_i)。核函数采用单尺度高斯核函数，形式为：

参数C和核函数的参数的选取使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}×{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。

步骤C、求解法向量w^*和偏置b^*。其中

步骤D、根据步骤C得到的法向量w^*和偏置b^*，得到支持向量机分类模型f(x)：

步骤E、利用支持向量机分类模型f(x)对测试样本进行预测。

为了克服传统SVM-RFE在识别影响用户购物意图的关键因素应用中存在的识别速度慢和需要耗费大量时间进行模型选择的问题，本发明提出的基于ELM-RFE的购物意图的关键因素识别方法，首先收集用户在网站上的行为数据，数据统计了一年内用户活动的行为，形成的数据集包括训练样本集

测试样本集

其中x_i∈R^d为用户购物意图的因素特征，主要有用户访问的页面类型以及在每个页面类别中花费的总时间，页面跳出率，页面退出率，页面价值，用户使用的设备类型，浏览器，访客类型(新手还是回头客)，是否周末，访问的月份等等。t_i∈{-1,1}为类别，1表示有用户购买了物品，-1表示没有用户没有购买物品。

综上述分析，在一个实施例中，结合图1，提供了一种基于ELM-RFE的购物意图关键因素识别方法，所述方法包括以下步骤：

步骤1，构建用户购物意图识别的数据样本集X，空的关键因素特征排序表r，以及初始化的因素特征子集指标表s＝[1,2,…,d]，其中d表示因素特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的因素特征的排序系数；

步骤5，重复执行步骤3和步骤4，直至遍历完训练样本集X₀，获取排序系数最小的因素特征f；

步骤6，更新关键因素特征排序表r，具体为：在关键因素特征排序表r的第一个元素之前加入因素特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述ELM-RFE方法的过程，返回关键因素特征排序表r，否则返回步骤2继续执行；

步骤9，利用SVM算法在测试样本集V上由因素特征排序表的若干嵌套子集组成的测试集上测试数据的预测精确率。取测试精度(TA)作为预测指标，另外将ELM-RFE算法的运行时间(TS)也作为指标。

进一步地，在其中一个实施例中，步骤1中所述数据样本集X为：

式中，x_i∈R^d表示每个样本包含d个特征，t_i∈{-1,1}为类别，1表示有用户购买了商品，-1表示用户没有购买商品，R^d为所有d维因素特征样本的个数，N为数据样本的个数。

进一步地，在其中一个实施例中，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的因素特征构成训练样本集X₀，表示为X₀＝X(:,s)。

进一步地，在其中一个实施例中，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取隐节点个数L；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算输出权值

其中T＝[t₁,…,t_N]^T，

为矩阵H的广义逆。

进一步优选地，在其中一个实施例中，步骤3-1中L的取值为不超过数据样本集X中样本数目的整数。

进一步优选地，步骤3-2中所述输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

进一步优选地，步骤3-3中所述激活函数为非线性分段连续函数。

进一步地，步骤4中计算训练样本集X₀中表s中第i个指标对应的因素特征的排序系数，计算公式为：

rank(i)＝||β^(-i)||

式中，rank(i)表示表s中第i个指标对应的因素特征的排序系数。

作为一种具体示例，在其中一个实施例中，对本发明基于ELM-RFE的购物意图关键因素的识别方法进行进一步验证说明。下面通过UCI标准数据库中的电子商务在线购买意图数据集Online Shoppers Purchasing Intention，对传统的SVM-RFE和本发明的ELM-RFE两种算法进行实验，并对它们的结果进行比较。参数设置如下：传统的SVM-RFE的参数C和核函数σ使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}×{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。ELM-RFE的输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

Online Shoppers Purchasing Intention数据集的目的是通过用户在电子商务网站中的用户行为记录数据，研究用户完成商品交易的意愿，即购买意图预测。该数据集由属于12,330个会话的特征向量组成。形成数据集是为了使每个会话在1年的时间段内属于不同的用户，以避免出现倾向于特定活动，特殊日子，用户资料或时间段的趋势。在数据集中的12,330个会话中，有84.5％(10,422)是未以购物结束的负面类样本，其余(1908)是以购物结束的正面类样本。每个样本包括10个数值型的特征和7个Categorical类型的特征。由于机器学习模型通常只能处理数值数据，所以需要将Categorical数据转换成Numeric特征。经过Weka预处理软件的预处理，一共得到28个数值型的特征。为了实施本发明的方法，将该数据集的前500个划为训练样本集，其余的样本划为测试样本集。分别选取因素特征排序表的前5，10,15,20,15个特征作为嵌套子集来预测测试样本集的精度。对于ELM-RFE，ELM学习模型的隐节点个数在下面的参数范围里选取最优参数{20,50,100,200,300,400,500}。

对传统的SVM-RFE和本发明的ELM-RFE两种算法的对比结果如下表1和表2所示。

表1算法计算代价比较

	模型参数	参数选取时间(s)	算法执行时间(s)
				SVM-RFE	(10000,5)	164.84	12.637
ELM-RFE	300	0.202	10.343

表2不同的嵌套子集测试精度比较(％)

嵌套子集	3	5	10	15	20	25
							SVM-RFE	87.86	88.34	88.35	88.39	88.39	88.39
ELM-RFE	88.39	88.37	88.36	88.35	88.39	88.39

从表1可以看出，在Online Shoppers Purchasing Intention数据集上，在参数选取时间的指标上，ELM-RFE方法的参数选取时间只有SVM-RFE方法的不到0.1％。而算法的执行时间ELM-RFE和SVM-RFE两者相差不大。在识别用户购买意图的关键因素应用中，本发明的算法可以节省大量的计算代价。

从表2可以看出，SVM-RFE在嵌套子集的特征为13时首先达到最高的测试精度88.39％，而ELM-RFE在嵌套子集的特征为3时就达到88.39％的测试精度。这表明，本发明的方法只需要3个因素特征就可以在整个数据集上得到最高的测试精度。因此，在识别用户购买意图的关键因素应用中，本发明的算法可以提升关键因素特征识别效率。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于ELM-RFE的购物意图关键因素识别方法，其特征在于，所述方法包括以下步骤：

步骤1，构建用户购物意图识别的数据样本集X，空的关键因素特征排序表r，以及初始化的因素特征子集指标表s＝[1,2,…,d]，其中d表示因素特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的因素特征的排序系数；

步骤5，重复执行步骤3和步骤4，直至遍历完训练样本集X₀，获取排序系数最小的因素特征f；

步骤6，更新关键因素特征排序表r，具体为：在关键因素特征排序表r的第一个元素之前加入因素特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述ELM-RFE方法的过程，返回关键因素特征排序表r，否则返回步骤2继续执行。

2.根据权利要求1所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤1中所述数据样本集X为：

式中，x_i∈R^d为第i个数据样本对应的影响用户购物意图的d维特征，t_i∈{-1,1}为类别，1表示有用户购买了商品，-1表示用户没有购买商品，R^d表示每个样本包含d个特征，N为数据样本的个数。

3.根据权利要求2所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的因素特征构成训练样本集X₀，表示为X₀＝X(:,s)。

4.根据权利要求3所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取隐节点个数L；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算输出权值

其中T＝[t₁,…,t_N]^T，

为矩阵H的广义逆。

5.根据权利要求4所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤3-1中L的取值为不超过数据样本集X中样本数目的整数。

6.根据权利要求5所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤3-2中所述输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

7.根据权利要求6所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤3-3中所述激活函数为非线性分段连续函数。

8.根据权利要求7所述的基于ELM-RFE的购物意图关键因素识别方法，其特征在于，步骤4中计算训练样本集X₀中表s中第i个指标对应的因素特征的排序系数，计算公式为：

rank(i)＝||β^(-i)||

式中，rank(i)表示表s中第i个指标对应的因素特征的排序系数。

Images