CN109255651A - 一种基于大数据的搜索广告转化智能预测方法 - Google Patents

Abstract

本发明公开了一种基于大数据的搜索广告转化智能预测方法，包括以下步骤：数据预处理；根据行为时间对数据进行划分操作；根据搜索广告、用户、商铺历史数据进行特征工程构建操作；根据特征工程特征分布进行特征调整操作；建立多个机器学习模型，并进行模型融合操作；通过已建立模型，根据搜索广告、用户、商铺数据预测广告转化率。本发明主要通过对搜索广告、用户、商铺数据进行预处理和分析提取特征，建立多个机器学习模型并进行stacking模型融合，从而准确预测广告的转化率，能够使得广告主匹配到最可能购买自家商品的用户；另一方面，也能让用户快速找到购买意愿最强的商品，从而提升在电商平台中的用户体验。

Description

一种基于大数据的搜索广告转化智能预测方法

技术领域

本发明涉及机器学习、大数据处理、人工智能技术领域，尤其是特殊日期广告转化率预测数据划分方法、特征构建、模型设计、预测转化率等。

背景技术

随着互联网的快速发展，搜索广告和电商广告在互联网广告中的占比越来越高，成为互联网行业最主要的商业模式之一。与此同时，搜索广告以其巨大的商业价值和研究价值吸引了大量的专家学者，在学术界得到了广泛的研究。搜索广告的转化率，作为衡量广告转化效果的指标，从广告创意、商品品质、商店质量等多个角度综合刻画用户对广告商品的购买意向，即广告商品被用户点击后产生购买行为的概率。一方面，广告每被用户点击一次商家都要付出一定的成本，如果广告被点击却没有成交，广告主将白白付出成本，而如果展现给用户且被点击的广告商品都产生了购买，那么商家虽然付出成本但还是能从成交中获得收益。总结来说，准确预估转化率，能够使得广告主匹配到最可能购买自家商品的用户，提升广告主的投入产出比(ROI)；另一方面，也能让用户快速找到购买意愿最强的商品，从而提升在电商平台中的用户体验。如何更好地利用海量的交易数据来高效准确地预测用户的购买意向，是人工智能和大数据在电子商务场景中需要继续解决的技术难题。

发明内容

为了解决上述问题，本发明提供一种基于大数据的搜索广告转化智能预测方法。

本发明主要是通过对搜索广告、用户、商铺数据进行预处理和分析提取特征，建立多个机器学习模型并进行stacking模型融合、性能优化，从而准确预测广告的转化率，能够使得广告主匹配到最可能购买自家商品的用户；另一方面，也能让用户快速找到购买意愿最强的商品，从而提升在电商平台中的用户体验。

鉴于此，本发明的技术方案为，一种基于大数据的搜索广告转化智能预测方法，包括以下步骤：

101、根据搜索广告、用户、商铺基本数据进行数据预处理操作，包括对基础字段下广告商品信息、用户信息、上下文信息和店铺信息进行处理；

102、根据行为时间对步骤101中的数据进行划分操作，将步骤101中预处理后数据划分为训练集和测试集；

103、根据搜索广告、用户、商铺历史数据进行特征工程构建，包括构建基础计数特征、排序特征、贝叶斯平滑转化率特征和冷启动特征；

104、根据特征工程特征分布进行特征调整操作；

105、建立CatBoost、GBDT、LightGBM和XGBoost机器学习模型，并进行模型融合；

106、通过步骤105已建立的模型，根据搜索广告、用户、商铺数据预测广告转化率。

进一步的，所述步骤101数据预处理包括：

(1)K近邻缺失值填充：对缺失值字段先根据时间戳差值确定距离缺失数据最近的K个样本，将这K个值加权平均来填充该样本的缺失数据；其中d为两个样本的时间差值，x是缺失值样本,y_i是样本第i个元素,m表示样本总数。

(2)不属于同一量纲数据进行标准归一化处理。数据的规格不一样，不能够放在一起比较；对原始数据进行标准归一化处理，标准化是依照数据矩阵的列处理数据，将规格不同的数据转化为“单位向量”。其中，代表从第j个样本到第m个样本数据平方求和，q为未标准归一化处理的原始数据，q′为标准归一化处理的结果，其标准化归一化公式如下：

(3)原始字段context_timestamp时间为Unix时间戳的形式不能直接使用，需要将Unix时间戳转化为标准时间，为了提取更多关于时间信息，将单个标准时间字段进行切分，将时间切分为时、分、秒三个字段。

(4)统计原始字段预测的类目属性列表在广告商品的属性列表出现次序，其原始字段预测的类目属性列表属于信息冗余，故可以将其删除，减少数据冗余。

进一步的，步骤102所述根据时间对数据进行划分操作：计算特殊日期的广告转化率预估，时间窗口划分不同于计算日常的广告转化率的时间划分。在双十一购物狂欢节期间，商家和平台的促销活动会导致流量分布变化剧烈，在正常流量上训练的模型无法很好地匹配这些特殊流量，故将双十一、双十二等购物狂欢节定义为特殊日期。为更好地利用海量的交易数据来高效准确地预测用户的购买意向，计算特殊日期的广告转化率预估，将时间窗口划分不同于计算日常的广告转化率的时间划分。一种计算特殊日期的广告转化率时间划分：特殊日期上午作为训练集，特征日期下午作为测试集的时间划分方式。

进一步的，所述步骤103根据搜索广告、用户、商铺历史数据进行特征工程构建操作。所述对特征工程进行构建是指搜索广告、用户、商铺历史数据构建基础计数特征、排序特征、贝叶斯平滑转化率特征和冷启动特征等。

(1)基础计数特征：统计搜索广告、用户、商铺关键字段key出现次数特征，通过数值大小来反映数据内在的联系；

(2)排序特征：搜索广告、用户、商铺某实体在不同时间段的活动行为，对该实体在不同时间段活动行为赋予不同的权重；

(3)贝叶斯平滑转化率特征：作为衡量广告转化效果的指标，计算广告商品被用户点击后产生购买行为的概率。

C为该广告被购买次数，I为广告被浏览总次数，用r表示广告转化率。

对于新上线的商品，其浏览总次数为0，购买次数为0，此时将该商品的转化率进行贝叶斯平滑赋予一个初始值。贝叶斯平滑转化率公式如下：

其中为α、β为贝叶斯平滑公式参数，为该商品转化率的均值，为该商品转化率的方差。α、β公式如下：

(4)冷启动特征：利用专家知识分析用户行为，在历史数据中，用户如果第一次购买某商品，其再次发生购买的行为可能性比较大，如果在历史数据最后一次购买某商品，其再次购买的可能性比较低。提取用户是否为第一次发生购买行为、用户是否最后一次发生购买行为相应特征。

进一步的，步骤104所述根据特征工程特征分布进行特征调整操作：提出一种对特征分布不均，影响预测模型精确度问题的解决方法，对特征分布不均的特征进行标准归一化处理。标准化是依照特征矩阵的列处理特征，将分布不均的特征转化为“单位向量”。

进一步的，步骤105所述模型融合，提出一种基于多个单模型的stacking模型融合的方法。

第一层使用CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证，得到不同的机器学习模型，Y为验证集真实标签，l₁、l₂、l₃、l₄.分别为CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证预测结果；线性回归拟合验证集真实标签,求得各个模型的权重w₁、w₂、w₃、w₄；

Y＝l₁*w₁+l₂*w₂+l₃*w₃+l₄*w₄

第二层对于测试集使用CatBoost、GBDT、LightGBM、XGBoost预测结果为L₁、L₂、L₃、L₄，将其预测结果分别乘以第一层得到的权重w,得到最终的预测结果P

P＝L₁*w₁+L₂*w₂+L₃*w₃+L₄*w₄。

本发明的优点及效益效果如下：

本发明主要是通过对搜索广告、用户、商铺数据，通过分析原始存在问题，进行预处理和计算特征日期广告转化率问题，本发明提出一种基于特殊日期广告转化率数据划分方式，特殊日期上午作为训练集，特征日期下午作为测试集。

通过分析提取特征，提取的特征存在分布不一致的问题，影响预测模型的精确度，本发明提出对特征分布不均的特征进行标准归一化处理。随后建立多个机器学习模型并进行stacking模型融合，从而准确预测广告的转化率，能够使得广告主匹配到最可能购买自家商品的用户；另一方面，也能让用户快速找到购买意愿最强的商品，从而提升在电商平台中的用户体验。

附图说明

图1为本发明实施例一提供一种基于大数据的搜索广告转化智能预测方法的流程图；

图2为本发明实施例一提供一种基于大数据的搜索广告转化智能预测方法中预测特殊日期广告转化率数据划分图；

图3为本发明实施例一提供一种基于大数据的搜索广告转化智能预测方法中特征分布调整图；

图4为本发明实施例一提供一种基于大数据的搜索广告转化智能预测方法中stacking模型融合图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

参见图1本发明包括以下步骤：

101、数据预处理操作，根据搜索广告、用户、商铺基本数据进行数据预处理操作；

102、根据行为时间对数据进行划分操作，将历史数据划分为训练集和测试集；

103、根据搜索广告、用户、商铺历史数据进行特征工程构建操作；

104、根据特征工程特征分布进行特征调整操作；

105、建立多个机器学习模型，并进行模型融合操作；

106、通过已建立模型，根据搜索广告、用户、商铺数据预测广告转化率。

(1)数据预处理

对基础字段下广告商品信息、用户信息、上下文信息、店铺信息，具体数据预处理包括：对缺失值字段使用K近邻缺失值填充；不属于同一量纲数据进行标准归一化处理；对于原始字段context_timestamp时间不能直接使用，需要将时间字符串特征进行切分，将时间切分为时、分、秒；统计原始字段预测的类目属性列表在广告商品的属性列表出现次序，其原始字段预测的类目属性列表属于信息冗余：故可以将其删除，减少数据冗余。

(2)数据划分

计算特殊日期的转化率预估，时间经过脱敏操作，本次实例利用电商8月31日---9月7日数据，时间窗口划分不同计算日常的转化率的时间划分。提出一种计算特殊日期的转化率时间划分：特殊日期9月7日上午作为训练集，特征日期9月7日下午作为测试集的时间划分方式，特殊日期上午预测下午广告转化率。如图2所示。

(3)特征工程

根据搜索广告、用户、商铺历史数据进行特征工程构建操作。对特征工程进行构建是指搜索广告、用户、商铺历史数据构建基础计数特征、排序特征、转化率特征和行为特征等。

①统计特征：搜索广告、用户、商铺关键字段key出现次数特征，通过数值大小来反映数据内在的联系。

单个实体计数统计特征：反映出单个实体的历史行为。例如，统计历史用户点击的次数反映出历史用户的点击行为；

交互实体统计特征：反映出某个实体对另一个实体的偏爱行为或者某个实体对类别的偏爱程度。例如：统计历史用户和广告交互统计特征，反映出用户对该广告的偏爱行为；统计历史用户和类别交互统计特征，反映出历史用户对该类别的偏爱程度，此类特征表现出用户很可能再次从该商铺购买某广告/类别的商品；

单个实体或者交互实体时间的统计特征：反映出某个实体或者交互实体在某个时间段的历史行为。例如，统计历史用户和小时交互的统计次数反映的是历史用户在某个时间段的历史行为。

②排序特征：搜索广告、用户、商铺某实体在不同时间段的活动行为，对该实体在不同时间段活动行为赋予不同的权重。例如：在标签区间，用户、商铺、广告、用户-广告、用户-店铺对于时间的排序特征,根据某实体在不同时间段的点击行为，对该实体在不同时间段点击行为赋予不同的权重。

③贝叶斯转化率特征：作为衡量广告转化效果的指标，计算广告商品被用户点击后产生购买行为的概率。

C为该广告被购买次数，I为广告被浏览总次数，用r表示广告转化率。

实际应用中会碰到这样的问题，对于新上线的商品，其浏览总次数为0，购买次数为0，此时将该商品的转化率进行贝叶斯平滑赋予一个初始值。贝叶斯平滑转化率公式如下：

其中为α、β为贝叶斯平滑公式参数，为该商品转化率的均值，为该商品转化率的方差。α、β公式如下：

④冷启动特征：用户是否为第一次发生购买行为、用户是否最后一次发生购买行为，用户星级、性别、年龄、职业以及最近活动行为，此类特征反映了用户对不同广告商品吸引力不同。例如：男性用户倾向于男士商品；评分星级高的用户更可能为忠实用户；用户新近活动反映用户最近的购买行为，更能反映用户的购买意向。

(4)特征调整

根据特征工程特征分布进行特征调整操作：提出一种对特征分布不均，影响预测模型精确度问题的解决方法，对特征分布不均的特征进行归一化处理。图3左侧图中颜色较深的柱形表示训练集特征的分布情况,颜色较浅的柱形表示测试集的分布情况,两个分布信息传递了训练集和测试集特征分布存在不一致问题,具体表现为训练集深色取值在4000+较多,而测试集浅色取值在4000-较多。在数模型中,如果深色为训练集,可能会出现择>4000为分裂节点,但是在测试集上是存在错误的,因此需要对特征分布进行修正。这里通过对此类分布的特征进行归一化处理，将特征的取值区间缩放到某个特点的范围，使特征的规格一样，方便在一起比较，从图3右侧图中可以看出，训练集和测试集特征分布基本一致，有效提高的模型预测的准确度。

(5)建立模型

建立多个机器学习模型，并进行模型融合操作：提出一种基于多个单模型的stacking模型融合的方法，如图4所示。

第一层使用CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证，得到不同的机器学习模型，Y为验证集真实标签，l₁、l₂、l₃、l₄.分别为CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证预测结果；线性回归拟合验证集真实标签,求得各个模型的权重w₁、w₂、w₃、w₄；

Y＝l₁*w₁+l₂*w₂+l₃*w₃+l₄*w₄

第二层对于测试集使用CatBoost、GBDT、LightGBM、XGBoost预测结果为L₁、L₂、L₃、L₄，将其预测结果分别乘以第一层得到的权重w,得到最终的预测结果P

P＝L₁*w₁+L₂*w₂+L₃*w₃+L₄*w₄。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于大数据的搜索广告转化智能预测方法，其特征在于，包括以下步骤：

101、根据搜索广告、用户、商铺基本数据进行数据预处理操作，包括对基础字段下广告商品信息、用户信息、上下文信息和店铺信息进行处理；

102、根据行为时间对步骤101中的数据进行划分操作，将步骤101中预处理后数据划分为训练集和测试集；

103、根据搜索广告、用户、商铺历史数据进行特征工程构建，包括构建基础计数特征、排序特征、贝叶斯平滑转化率特征和冷启动特征；

104、根据特征工程特征分布进行特征调整操作；

105、建立CatBoost、GBDT、LightGBM和XGBoost机器学习模型，并进行模型融合；

106、通过步骤105已建立的模型，根据搜索广告、用户、商铺数据预测广告转化率。

2.根据权利要求1所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：步骤101所述预处理包括：(1)K近邻缺失值填充；(2)不属于同一量纲数据进行标准归一化处理；(3)将Unix时间戳转化为标准时间；(4)统计原始字段预测的类目属性列表在广告商品的属性列表出现次序。

3.根据权利要求2所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：所述K近邻缺失值填充具体为，对缺失值字段先根据时间戳差值确定距离缺失数据最近的K个样本，将这K个值加权平均来填充该样本的缺失数据；其中d为两个样本时间差值，x是缺失值样本,y_i是样本第i个元素,m表示样本总数

4.根据权利要求2所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：所述标准归一化处理具体为，标准化是依照数据矩阵的列处理数据，将规格不同的数据转化为单位向量，其中，代表从第j个样本到第m个样本数据平方求和，q为未标准归一化处理的原始数据，q′为标准归一化处理的结果，其标准化归一化公式如下：

5.根据权利要求1所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：步骤103中所述基础计数特征：统计搜索广告、用户、商铺关键字段出现次数特征，通过数值大小来反映数据内在的联系；

所述排序特征：搜索广告、用户、商铺某实体在不同时间段的活动行为，对该实体在不同时间段活动行为赋予不同的权重；

所述贝叶斯平滑转化率特征：作为衡量广告转化效果的指标，计算广告商品被用户点击后产生购买行为的概率；

C为该广告被购买次数，I为广告被浏览总次数，用r表示广告转化率

所述冷启动特征：利用专家知识分析用户行为，在历史数据中，用户如果第一次购买某商品，其再次发生购买的行为可能性比较大，如果在历史数据最后一次购买某商品，其再次购买的可能性比较低，提取用户是否为第一次发生购买行为、用户是否最后一次发生购买行为相应特征。

6.根据权利要求5所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：对于新上线的商品，所述贝叶斯平滑转化率公式如下：

其中为α、β为贝叶斯平滑公式参数，为该商品转化率的均值，为该商品转化率的方差，则α、β公式如下：

7.根据权利要求1所述一种基于大数据的搜索广告转化智能预测方法，其特征在于：步骤105所述模型融合为一种基于多个单模型的stacking模型融合的方法，包括：

第一层使用CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证，得到不同的机器学习模型，Y为验证集真实标签，l₁、l₂、l₃、l₄.分别为CatBoost、GBDT、LightGBM、XGBoost对模型进行训练集五折交叉验证预测结果；线性回归拟合验证集真实标签,求得各个模型的权重w₁、w₂、w₃、w₄；

Y＝l₁*w₁+l₂*w₂+l₃*w₃+l₄*w₄

第二层对于测试集使用CatBoost、GBDT、LightGBM、XGBoost预测结果为L₁、L₂、L₃、L₄，将其预测结果分别乘以第一层得到的权重w,得到最终的预测结果P

P＝L₁*w₁+L₂*w₂+L₃*w₃+L₄*w₄。