CN111950806B - 一种基于因子分解机的营销活动预测模型结构和预测方法 - Google Patents

Abstract

一种基于因子分解机的营销活动预测方法，包括数据预处理步骤、模型建立步骤和模型预测步骤；数据预处理步骤包括从用户原始信息提取原始特征信息、依次处理具有任务批次号的所有批次中的原始特征信息，对用户手机号码归属地特征进行One‑hot编码处理、将所有任务批次号按照升序得到任务批次的排序；模型建立步骤基于因子分解机并结合上述得出的原始特征信息对预测模型进行训练，得到最终的用户预测模型；模型预测步骤采用用户预测模型对拟互联网产品营销的用户群体进行点击意愿度预测。因此，本发明通过因子分解机结合运营商数据进行更为精准的数据营销，能提供用户对广告点击意愿进行直接预测的途径，能处理具有大规模稀疏特征的数据。

Description

一种基于因子分解机的营销活动预测模型结构和预测方法

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种基于因子分解机的营销活动预测模型结构和预测方法。

背景技术

随着互联网行业市场竞争的日益激烈，应用大数据已经成为互联网营销的新方式，即互联网运营商大数据精准获客系统应运而生。大数据智能获客系统，以运营商大数据库为中心，直接抓取符合自定义条件用户的联系方式，直接与客户进行沟通，降低企业获客成本，提高企业利润。

然而，通过大数据营销和推广获成本越来越贵，即各渠道的营销推广成本也在逐渐增加。即使这样，营销推广的精准度却是没提上来，这就导致了很多企业的利润降低。

具体地，以往通过运营商处获得的用户信息来进行精准营销往往需要运营人员的经验和不断的试错，才能够从巨大的用户中寻找到特定的营销人群。由于营销广告的投放具有不低的成本，如前期用户群体的寻找以及依据经验性的广告投放都会带来高昂的成本，来降低营销所带来的收益。也有不少运营人员会结合统计学来辅助进行营销活动，例如，对被广告转化的用户群体的某些特征进行统计分析，但这种方式效率低下且效果有限，尤其是用户特征复杂的情况下，人工进行统计分析需要投入大量的时间成本。

目前，利用运营商数据的数据营销领域也采用协同过滤和基于决策树的随机森林，协同过滤并不能提供用户对广告点击意愿进行直接预测的途径，而基于决策树的随机森林也并不适合处理具有大规模稀疏特征的数据。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于因子分解机的营销活动预测模型结构和预测方法，其通过对从运营商处获取的用户画像数据和4G网络DPI访问数据，使用机器学习模型，来代替人工进行统计分析进而优化营销广告的投放策略；利用机器学习模型的自动特征学习的能力，来对用户的特征以及特征交互进行更深层次的挖掘，更精准的定位对营销活动感兴趣的用户群体。

为实现上述目的，本发明的技术方案如下：

一种基于因子分解机的营销活动预测方法，其包括数据预处理步骤S1和模型建立步骤S2；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户访问DPI和用户访问DPI频次；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；

步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：

依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大；

所述模型建立步骤S2包括如下步骤：

步骤S21：预处理之后，选择所述任务批次号最大的任务批次中的数据作为验证集，剩余的所述任务批次号的数据作为训练集；

步骤S22：提供所需建立的预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述训练集对所述预测模型进行训练，并使用验证集验证后对所述用户点击预测模型进行参数调整，得到最终的用户预测模型。

进一步地，所述基于因子分解机的营销活动预测方法，其还包括模型预测步骤S3，所述模型预测步骤S3具体包括：

步骤S31：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、当前任务批次号、用户访问DPI和用户访问DPI频次；其中，所述用户访问DPI和用户访问DPI频次以本次任务批次号为计量单位；

步骤S32：对所述任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：

按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S33：提供建立好的所述用户预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度；

进一步地，所述模型预测步骤还包括：

步骤S34：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。

从上述技术方案可以看出，本发明的基于因子分解机的营销活动预测模型结构和预测方法具有如下有益效果：

①.本方法使用的是传统运行商提供的用户4G网络访问数据，结合互联网行业中用于广告通过率(CTR)预测的因子分解机算法，来实现提升传统的短信营销的用户精准度；

②.对用户的DPI访问和访问频次做了交互特征处理，更充分的利用运营商所提供的数据。

因此，本发明能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。结果表明，本算法选出的高意愿用户的点击率是低意愿用户点击率的10倍左右。进一步地，本发明可以将大量的低意愿用户直接从投放目标中筛出，从而节省大量的营销成本，实现利润率的增加。

附图说明

图1所示为本发明实施例中基于因子分解机的营销活动预测方法的流程示意图

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，特对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。

需要说明的是，在以下本发明的具体实施方式中，该基于因子分解机的营销活动预测方法可以包括数据预处理步骤和模型建立步骤；与传统的利用运营商数据的数据营销领域所采用的协同过滤相比，本发明的因子分解机结合运营商数据进行更为精准的数据营销，其能提供用户对广告点击意愿进行直接预测的途径，也适合处理具有大规模稀疏特征的数据。

请参阅图1，图1所示为本发明实施例中基于因子分解机的营销活动预测方法的流程示意图。如图1所示，基于因子分解机的营销活动预测方法，其包括数据预处理步骤S1和模型建立步骤S2。

在本发明的实施例中，数据预处理步骤非常重要，所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID(id)、用户手机号码归属地(location)、任务批次号(batch number)、用户访问DPI(dpi)和用户访问DPI频次(dpi frequency)；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位。

步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理(One-hot编码是一种数据预处理常用方法，将类别特征按照不同取值进行0/1映射为新的特征)；其中，所述One-hot编码处理包括：

依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征。

具体地，可以认为，一个任务批次号(batch number)对应一天的用户数据，用户的原始信息中同一个任务批次号(batch number)中的用户可能会有重复，因为，同一个用户可能会访问多个用户访问DPI。因此，需要将所有不同的用户访问DPI展开作为单独的特征，如果一个用户访问过该用户访问DPI，则在该特征下，当前用户的值为1，否则为0。

同理，将用户访问DPI访问频次也按照所有不同的用户访问DPI展开为用户访问DPI与用户访问DPI频次的特征，若用户访问某用户访问DPI共m次则该特征下当前用户的值为m，否则为0。

请参阅下表1，表1为预处理过程(预处理之前的原始数据和预处理之后的数据)的表格描述，以同一批次的数据为例，可简略的表示如下：

预处理之前的原始数据：

用户id	批次号	访问dpi	dpi访问频次	归属地	是否点击
						用户A	#1	dpi 1	5	HN	1
用户A	#1	dpi 3	1	HN	1
						用户B	#1	dpi 2	10	SH	0
用户C	#1	dpi 3	3	JS	1

预处理之后的数据：

步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大。

经过上述处理后，每一个任务批次内的用户ID将是唯一值；然后，将所有批次的用户数据都做上述处理，并按照批次进行用户方向合并，按照任务批次号(batch number)升序进行排序，任务批次的日期越新则任务批次号(batch number)越大，可以得到处理好的样本。

经过上述数据预处理步骤完成后，就可以选择最后一个批次的数据作为验证样本集来进行模型参数的选择，除此之外的所有样本组成训练样本集用来建立模型，即训练样本集用来进行模型训练的样本集合；验证样本集用来进行模型参数选择的样本集合。

在本发明实施例中的发明思路是一种基于因子分解机(Factorization Machine，FM)的营销活动预测方法，其有效解决大规模稀疏矩阵学习问题的算法，在线性回归的基础上引入二阶特征交互项，并通过隐向量的形式是二阶特征交互的求解复杂度降低，且解决了特征交互后带来的特征稀疏度增加的问题；其中，隐向量为FM中引入的实现两个特征交互的中间向量，也是FM算法中待求解的向量之一，特征权重为线性模型中特征的权重大小，是FM算法中待求解的向量。

所述模型建立步骤S2包括如下步骤：

步骤S21：预处理之后，选择所述任务批次号最大的任务批次中的数据作为验证集，剩余的所述任务批次号的数据作为训练集；

步骤S22：提供所需建立的预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述训练集对所述预测模型进行训练，并使用验证集验证后对所述用户点击预测模型进行参数调整，得到最终的用户预测模型。

也就是说，对处理好的数据，选择最后一个批次的数据作为验证样本集来进行模型参数的选择，除此之外的所有样本组成训练样本集用来建立模型。模型选择使用因子分解机(FM)，其在特征线性组合的情况下通过引入特征交互权重，来实现用户特征之间的二阶交互，挖掘更深层次的用户特征信息。

具体地，将训练样本集放入FM模型中进行训练，设定二阶特征交互的隐向量维度为6，初始化所有一阶特征权重和二阶特征的隐向量。选择批处理的梯度下降算法来优化权重值和隐向量的值，按一定批次大小轮流使用训练样本集中的样本来根据计算的梯度更新权重，设定学习率为0.045，设定批数据量为10000，并设定200轮次的训练。使用早停机制来控制学习轮次，早停轮次的设定值为2轮。每一轮学习结束后，都对验证样本集的数据进行预测，并和其真实的标签计算交叉熵损失，来作为早停机制的依据。因此，因子分解机结合运营商数据可以得到更为精准的数据营销用户预测模型。

在本发明的实施例中，所述基于因子分解机的营销活动预测方法还包括模型预测步骤S3，所述模型预测步骤S3具体包括：

步骤S31：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、当前任务批次号、用户访问DPI和用户访问DPI频次；其中，所述用户访问DPI和用户访问DPI频次以本次任务批次号为计量单位。

上述步骤主要是对拟互联网产品营销的用户群体进行特征提取，后续还需要对对所述当前任务批次号的所述原始特征信息进行预处理，该预处理的步骤S32如下：

步骤S32：对所述当前任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征。

上述预处理步骤完成后，就可以通过将上述特征带入用户预测模型，能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。

步骤S33：提供建立好的所述用户预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度。

当然，本发明还可以包括步骤S34：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。

结果表明，本用户预测模型算法选出的高意愿用户的点击率是低意愿用户点击率的10倍左右。通过该用户预测模型，可以将大量的低意愿用户直接从投放目标中筛出，从而节省大量的营销成本，实现利润率的增加。

以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (3)

1.一种基于因子分解机的营销活动预测方法，其特征在于，包括数据预处理步骤S1和模型建立步骤S2；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户访问DPI和用户访问DPI频次；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；

步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：

依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大；

所述模型建立步骤S2包括如下步骤：

步骤S21：预处理之后，选择所述任务批次号最大的任务批次中的数据作为验证集，剩余的所述任务批次号的数据作为训练集；

步骤S22：提供所需建立的预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述训练集对所述预测模型进行训练，并使用验证集验证后对所述用户点击预测模型进行参数调整，得到最终的用户预测模型。

2.根据权利要求1所述基于因子分解机的营销活动预测方法，其特征在于，还包括模型预测步骤S3，所述模型预测步骤S3具体包括：

步骤S31：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、当前任务批次号、用户访问DPI和用户访问DPI频次；其中，所述用户访问DPI和用户访问DPI频次以本次任务批次号为计量单位；

步骤S32：对所述任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：

按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S33：提供建立好的所述用户预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度。

3.根据权利要求2所述的基于因子分解机的营销活动预测方法，其特征在于，所述模型预测步骤还包括：

步骤S34：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。

Images