CN110570244A - 一种基于异常用户识别的热销商品构建方法和系统 - Google Patents

Abstract

本发明涉及一种基于异常用户识别的热销商品构建方法和系统，方法步骤为：从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。本发明剔除了异常用户，从而构建更为准确的热销商品池，可以真实有效地反映出真正的热销商品。

Description

一种基于异常用户识别的热销商品构建方法和系统

技术领域

本专利申请属于电商系统技术领域，更具体地说，是涉及一种基于异常用户识别的热销商品构建方法和系统。

背景技术

当前电商推荐系统中的商品热销池构建，依赖于商品的浏览量，成交量，转化率等统计数据。由此暴露出的技术缺点是：根据上述统计数据生成热销商品的策略容易受到异常用户的针对性攻击(如刷单，恶意差评，恶意拒收等)，从而影响热销商品的真实性和有效性，加剧商家间的恶意竞争。

发明内容

本发明需要解决的技术问题是提供一种基于异常用户识别的热销商品构建方法和系统，可以真实有效地反映出真正的热销商品。

为了解决上述问题，本发明所采用的技术方案是：

一种基于异常用户识别的热销商品构建方法，包括如下步骤：

步骤a、从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；

步骤b、基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；

步骤c、在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。

本发明技术方案的进一步改进在于：步骤a中，采用分布式方式训练孤立森林模型，具体训练过程为：

将生成的训练数据随机分成K份，每一份在一台pc机器上使用相同的训练参数训练孤立森林模型，分别得到一个孤立森林模型；

训练完成后，将K个孤立森林模型封装在一起，每一个孤立森林模型都可以对用户打分，打出的分值即是该用户为异常用户的概率，取K个孤立森林模型评分的平均值、中位数值或众位数值作为最终预测评分。

本发明技术方案的进一步改进在于：孤立森林模型包括m个孤立树，每个孤立树均是一个二叉树结构，孤立森林模型的实现步骤如下：(假设训练数据总数为A，则每个孤立森林模型数据量为A/K/m)

步骤a1.从一份训练数据中随机选择x个样本点作为下采样subsample，放入树的根节点；

步骤a2.随机指定一个维度attribute，在当前节点数据中随机产生一个切割点p，切割点p产生于当前节点数据中指定维度attribute的最大值和最小值之间；

步骤a3.以此切割点p生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；

步骤a4.在孩子节点中递归步骤a2和步骤a3，不断构造新的孩子节点，直到孩子节点中只有一个数据无法再继续切割或孩子节点已到达限定高度.最终获得m个孤立树，训练结束，用以评估测试数据的孤立森林模型生成成功。

本发明技术方案的进一步改进在于：识别异常用户的具体过程为：

对于一个测试日志数据y，令其遍历每一棵孤立树，然后计算y最终落在每棵孤立树的第几层，也就是y处在树的高度值，进而可以得出y在每棵树的高度平均值；(即theaverage path length over t iTrees)

获得每个测试日志数据的高度平均值(the average path length over tiTrees)后，通过设置的边界阈值进行比较，若高度平均值(the average path lengthover t iTrees)低于此边界阈值，即该测试数据即为异常(也就是说异常在这些树中只有很短的平均高度)。

一种基于异常用户识别的热销商品构建系统，用于实现上述构建方法，包括依次通信连接的异常用户检测系统、数据识别系统和数据清洗系统，其中异常用户检测系统包括用于提取用户行为数据的后端服务器、与后端服务器形成的用户行为日志连接的消费者点击流处理平台、与消费者点击流处理平台连接的用户画像数据存储库、与用户画像数据存储库连接的模型离线训练模块，模型离线训练模块用于生成孤立森林模型；

数据识别系统包括与孤立森林模型连接的异常用户数据识别模块；

数据清洗系统包括与异常用户数据识别模块和商品画像数据库均连接的数据清洗模块、与数据清洗模块连接的真实商品画像数据库，利用真实商品画像数据库从而构建出商品热销池名单。

本发明技术方案的进一步改进在于：消费者点击流处理平台为kafka。

本发明技术方案的进一步改进在于：数据识别系统的具体工作过程：

1)基于用户历史行为序列数据，提取描述用户的特征向量；

2)使用无监督学习的孤立森林算法，分布式训练孤立森林模型；

3)训练得到孤立森林模型后，对用户打分，并根据评分结果标注用户为正常用户或异常用户。

由于采用了上述技术方案，本发明取得的有益效果是：

本发明基于孤立森林模型，构建电商推荐项目中的异常用户检测系统，孤立森林模型的思想是：假设我们用一个随机超平面来切割(split)数据空间(data space),切一次可以生成两个子空间(想象拿刀切蛋糕一分为二)。之后我们再继续用一个随机超平面来切割每个子空间，循环下去，直到每子空间里面只有一个数据点为止。直观上来讲，我们可以发现那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了。孤立森林是基于ensemble思想的树模型，对推荐系统中的海量高维度数据有很好的泛化性能和可解释性。

基于异常用户检测系统的实时检测结果，在日志数据中对遗产用户产生的数据进行标注，通过标注异常用户产生的数据，使得基于统计结果生成的商品热销名单具有更高的可靠性。

在使用统计结果更新热销商品池时，抛弃被标注为异常用户产生的数据，从而得到更精确的数据，便于开展有序、针对性竞争。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

本发明公开了一种基于异常用户识别的热销商品构建方法，包括如下步骤：

步骤a、从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；

步骤b、基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；

步骤c、在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。

步骤a中，采用分布式方式训练孤立森林模型，具体训练过程为：

将生成的训练数据随机分成K份，每一份在一台pc机器上使用相同的训练参数训练孤立森林模型，分别得到一个孤立森林模型；

训练完成后，将K个孤立森林模型封装在一起，每一个孤立森林模型都可以对用户打分，打出的分值即是该用户为异常用户的概率，取K个孤立森林模型评分的平均值、中位数值或众位数值作为最终预测评分。

孤立森林模型包括m个孤立树，每个孤立树均是一个二叉树结构，孤立森林模型的实现步骤如下：(假设训练数据总数为A，则每个孤立森林模型数据量为A/K/m)

步骤a1.从一份训练数据中随机选择x个样本点作为下采样subsample，放入树的根节点；

步骤a2.随机指定一个维度attribute，在当前节点数据中随机产生一个切割点p，切割点p产生于当前节点数据中指定维度attribute的最大值和最小值之间；

步骤a3.以此切割点p生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；

步骤a4.在孩子节点中递归步骤a2和步骤a3，不断构造新的孩子节点，直到孩子节点中只有一个数据无法再继续切割或孩子节点已到达限定高度.最终获得m个孤立树，训练结束，用以评估测试数据的孤立森林模型生成成功。

识别异常用户的具体过程为：

对于一个测试日志数据y，令其遍历每一棵孤立树，然后计算y最终落在每棵孤立树的第几层，也就是y处在树的高度值，进而可以得出y在每棵树的高度平均值；(即theaverage path length over t iTrees)

获得每个测试日志数据的高度平均值(the average path length over tiTrees)后，通过设置的边界阈值进行比较，若高度平均值(the average path lengthover t iTrees)低于此边界阈值，即该测试数据即为异常(也就是说异常在这些树中只有很短的平均高度)。

一种基于异常用户识别的热销商品构建系统，用于实现上述构建方法，包括依次通信连接的异常用户检测系统、数据识别系统和数据清洗系统，其中异常用户检测系统包括用于提取用户行为数据的后端服务器、与后端服务器形成的用户行为日志连接的消费者点击流处理平台、与消费者点击流处理平台连接的用户画像数据存储库、与用户画像数据存储库连接的模型离线训练模块，模型离线训练模块用于生成孤立森林模型；

数据识别系统包括与孤立森林模型连接的异常用户数据识别模块；

数据清洗系统包括与异常用户数据识别模块和商品画像数据库均连接的数据清洗模块、与数据清洗模块连接的真实商品画像数据库，利用真实商品画像数据库从而构建出商品热销池名单。

消费者点击流处理平台为kafka。

数据识别系统的具体工作过程：

1)基于用户历史行为序列数据，提取描述用户的特征向量；

2)使用无监督学习的孤立森林算法，分布式训练孤立森林模型；

3)训练得到孤立森林模型后，对用户打分，并根据评分结果标注用户为正常用户或异常用户。

推荐系统中的数据量较大，通常单台机器内存不足以训练一个完整的孤立森林模型，由于孤立森林本身是ensemble模型，所以可以通过分布式的方式训练模型。

基于用户行为序列数据生成用户的特征后，生成训练数据，并将其随机分成K份，每一份在一台pc机器上训练孤立森林模型(使用相同的训练参数)。

训练完成后，将K个孤立森林模型封装在一起，每一个模型都可以对用户打分(分值可以理解为该用户为异常用户的概率)，取K个模型评分的平均值作为最终预测评分.

本发明在使用时，无需依赖于商品的浏览量，成交量，转化率等统计数据，即可构建电商推荐系统中的商品热销池，由于通过孤立森林模型标注用户后，把异常用户产生的动态数据清除掉，剔除了异常用户，从而构建更为准确的热销商品池，可以真实有效地反映出真正的热销商品。

Claims (7)

1.一种基于异常用户识别的热销商品构建方法，其特征在于包括如下步骤：

步骤a、从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；

步骤b、基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；

步骤c、在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。

2.根据权利要求1所述的一种基于异常用户识别的热销商品构建方法，其特征在于：步骤a中，采用分布式方式训练孤立森林模型，具体训练过程为：

将生成的训练数据随机分成K份，每一份在一台pc机器上使用相同的训练参数训练孤立森林模型，分别得到一个孤立森林模型；

训练完成后，将K个孤立森林模型封装在一起，每一个孤立森林模型都可以对用户打分，打出的分值即是该用户为异常用户的概率，取K个孤立森林模型评分的平均值、中位数值或众位数值作为最终预测评分。

3.根据权利要求2所述的一种基于异常用户识别的热销商品构建方法，其特征在于：孤立森林模型包括m个孤立树，每个孤立树均是一个二叉树结构，孤立森林模型的实现步骤如下：

步骤a1.从一份训练数据中随机选择x个样本点作为下采样subsample，放入树的根节点；

步骤a2.随机指定一个维度attribute，在当前节点数据中随机产生一个切割点p，切割点p产生于当前节点数据中指定维度attribute的最大值和最小值之间；

步骤a3.以此切割点p生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；

步骤a4.在孩子节点中递归步骤a2和步骤a3，不断构造新的孩子节点，直到孩子节点中只有一个数据无法再继续切割或孩子节点已到达限定高度.最终获得m个孤立树，训练结束，用以评估测试数据的孤立森林模型生成成功。

4.根据权利要求3所述的一种基于异常用户识别的热销商品构建方法，其特征在于：识别异常用户的具体过程为：

对于一个测试日志数据y，令其遍历每一棵孤立树，然后计算y最终落在每棵孤立树的第几层，也就是y处在树的高度值，进而可以得出y在每棵树的高度平均值；

获得每个测试日志数据的高度平均值后，通过设置的边界阈值进行比较，若高度平均值低于此边界阈值，即该测试数据即为异常(也就是说异常在这些树中只有很短的平均高度)。

5.一种基于异常用户识别的热销商品构建系统，其特征在于：用于实现上述构建方法，包括依次通信连接的异常用户检测系统、数据识别系统和数据清洗系统，其中异常用户检测系统包括用于提取用户行为数据的后端服务器、与后端服务器形成的用户行为日志连接的消费者点击流处理平台、与消费者点击流处理平台连接的用户画像数据存储库、与用户画像数据存储库连接的模型离线训练模块，模型离线训练模块用于生成孤立森林模型；

数据识别系统包括与孤立森林模型连接的异常用户数据识别模块；

数据清洗系统包括与异常用户数据识别模块和商品画像数据库均连接的数据清洗模块、与数据清洗模块连接的真实商品画像数据库，利用真实商品画像数据库从而构建出商品热销池名单。

6.根据权利要求5所述的一种基于异常用户识别的热销商品构建系统，其特征在于：消费者点击流处理平台为kafka。

7.根据权利要求5所述的一种基于异常用户识别的热销商品构建系统，其特征在于：数据识别系统的具体工作过程：

1)基于用户历史行为序列数据，提取描述用户的特征向量；

2)使用无监督学习的孤立森林算法，分布式训练孤立森林模型；

3)训练得到孤立森林模型后，对用户打分，并根据评分结果标注用户为正常用户或异常用户。