CN104331817B - 电子商务推荐模型的用户特征提取方法及系统 - Google Patents

Abstract

本发明涉及一种电子商务推荐模型的用户特征提取方法，包括：将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列；根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为数据进行分析，提取用户特征。本发明还涉及一种电子商务推荐模型的用户特征提取系统。本发明依据基本的用户日志信息和品牌操作信息进行维度扩建，提取新的特征集合，构建推荐模型的用户特征体系。

Description

电子商务推荐模型的用户特征提取方法及系统

技术领域

本发明涉及一种电子商务推荐模型的用户特征提取方法及系统。

背景技术

互联网和信息技术的发展引发了思维方法、生活方式和商业模式的巨大变革。在全球商业语境下，“大数据时代”要求电商品牌运用海量数据处理系统对消费者从信息搜索到产品购买甚至购买后行为的跟踪和搜索，针对消费者的需求做出更加实时和精细化的决策。常规的个性化推荐技术都需要从网站行为的日志信息中提取出用户和品牌的特征信息，并通过特征选择，消除无关和冗余特征，才能得到令人满意的推荐效果。然而网站日志信息事无巨细地包含了每个请求的详细信息，冗余的信息中真正可以进行数据特征提取的只有用户行为数据，包括点击、购买、收藏、购物车等操作信息。

数据特征提取在数据管理和机器学习领域发挥着重要的作用，但是现有的数据特征化是指在保留数据特征的情况下减小原始数据的规模。数据特征化的工业背景随着数据大规模增长，产生隐含大量有效信息的高维海量数据，若要在这些高价值总量，低价值密度的数据中发现有价值的知识，需要通过数据特征提取保留复杂数据中的有效信息，将低价值密度的信息转化为高价值密度的信息。

目前的特征提取方法可以在已知丰富的基础信息上提取得到所需的隐性特征，或者通过专业人事获取业务相关的专业知识为背景。然而，在实际面临的数据挖掘工程中，希望通过最稀少的信息构造出高维度且正交的数据特征是上述特征构建方案所不能实现的。

发明内容

有鉴于此，有必要提供一种电子商务推荐模型的用户特征提取方法及系统。

本发明提供一种电子商务推荐模型的用户特征提取方法，该方法包括如下步骤：将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列；根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为数据进行分析，提取用户特征。

其中，该方法还包括：对上述提取的用户特征进行数值修正。

所述的时间分片包括：常规的时间分片和基于购买行为的时间分片，其中所述常规的时间分片包括：按照自然日期分片、根据用户每天的行为及时间惩罚因子分片、按照日期从近至远间隔由短变长分片，所述基于购买行为的时间分片方式指把用户对品牌的时间行为序列以购买日期为切分点。

所述的用户特征包括：用户的行为转化比、用户的购买力、用户的购买周期、用户的涉猎广度。

所述的数值修正指通过log函数的进行数值修正。

本发明还提供一种电子商务推荐模型的用户特征提取系统，包括时间分片模块、特征提取模块，其中：所述时间分片模块用于将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列；所述特征提取模块用于根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为数据进行分析，提取用户特征。

其中，该系统还包括数值修正模块，所述数值修正模块用于对上述提取的用户特征进行数值修正。

所述的时间分片包括：常规的时间分片和基于购买行为的时间分片，其中所述常规的时间分片包括：按照自然日期分片、根据用户每天的行为及时间惩罚因子分片、按照日期从近至远间隔由短变长分片，所述基于购买行为的时间分片方式指把用户对品牌的时间行为序列以购买日期为切分点。

所述的用户特征包括：用户的行为转化比、用户的购买力、用户的购买周期、用户的涉猎广度。

所述的数值修正指通过log函数的进行数值修正。

本发明电子商务推荐模型的用户特征提取方法及系统，能够使电子商务网站在海量数据基础上，依据基本的用户日志信息和品牌操作信息进行维度扩建，提取新的特征集合，构建推荐模型的用户特征体系。本发明提取的数据价值高，提取效果好。

附图说明

图1为本发明电子商务推荐模型的用户特征提取方法的流程图；

图2为基于购买行为的时间分片方式示意图；

图3为本发明电子商务推荐模型的用户特征提取系统的硬件架构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明电子商务推荐模型的用户特征提取方法较佳实施例的作业流程图。

步骤S401，将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列。具体如下：

本实施例以天猫商城为例进行说明。在天猫商城，每天都会有数千万的用户通过品牌发现自己喜欢的商品，品牌是连接消费者和商品的最重要的纽带。在已有的历史记录中，如何建立用户的品牌偏好，第一个关键特征的提取就在于用户对品牌行为的时间序列的计算。

根据德国心理学家艾宾浩斯的研究发现，人体大脑对新事物遗忘的循序渐进的直观描述，即遗忘曲线。所以用户对某个品牌的行为时间序列也有必要进行分片处理，时间越为久远的操作对用户未来影响的可能越小，时间越近的行为对用户消费决策的影响越大。

常规的时间分片有三种方式：

(1)按照自然日期分割，按周、半月、月分割，直接计算用户对品牌的不同时间跨度内的行为。以四个月总记录，若按周可以分割为16片，每片的点击、购买、收藏、购物车为7天内点击、购买、收藏、购物车之和；若按半月可以分割为8片，每片的点击、购买、收藏、购物车为14天内点击、购买、收藏、购物车之和；若按月可以分割为4片，每片的点击、购买、收藏、购物车为30天内点击、购买、收藏、购物车之和。

(2)直接将用户每天的行为乘以一个时间惩罚因子K，用户最近的行为比前一个月的行为更为重要，所以时间惩罚与时间成反比，时间越近惩罚值越小，时间越远惩罚值越大。

其中，x为当前日期与最后一天的距离，w为可以调试的衰减因子，若选择4个月为时间长度，w为20为测试最佳系数。随着时间长度的变化，w可以做灵活的调整。将每天的点击，购买，收藏，购物车乘以时间惩罚因子，得到新的用户i对品牌j四种行为k(点击\购买\收藏\购物车)的总体特征值。

(3)将用户的行为按照日期的从近至远，分片的间隔逐渐变长以突出用户近期行为的重要性。以4月-7月的记录为例，分片的具体描述如下表一所示，7月为最新的行为记录，可以分成以下22片。日期最近的7天，以天为单位分为7片，接着半个月以3天为时间间隔，分为5片，接下来的一个半月以周为单位，分为6片，然后将剩下的日期先按半月提取3片，最后一个月按照月为单位分为单独的一片。

表一 用户行为方案三时间分片表

不同的数据集时间长度，不同的数据集大小，都可以通过以上的三种方案，构造出基础时间分片的数据特征。其中，第一种方案偏向于时间对模型的影响因子较小的情况，第二种方案适合数月用户行为跨度，第三种方案适用于对用户任意长的时间序列行为的切分，采用近日期细粒度，远日期组粒度的方式，构建用户对不同品牌的行为序列。

不同的行为时间分片都是使逻辑回归、决策树、随机森林等预测模型可以更好地对用户不同时间段的行为影响因子进行权重预判。但是除了常规的时间分片方案以外，本发明还提出了基于购买行为的时间分片方式。

基于购买行为的时间分片方式是指把用户对品牌的时间行为序列以购买日期为切分点，切分为不同的时间片。其中第i次购买所涉及的时间片是指，从第i-1次购买结束后三天至第i次购买结束后三天。

但是在第i-1次购买结束后三天内若有收藏或者购物车行为，则第i次购买时间段的起始时间为第i-1次购买结束后三天的收藏或购物车的日期，同时将第i-1次购买至收藏或购物车行为直接的点击行为按照购买和收藏行为切分，具体如图2所示。

图2中，第一次购买日期为2013年7月15日，若在此日期后的三天内没有收藏和购物车行为，即从2013年7月18日至第二次购买的后三天的2013年7月18日为第二次购买的时间片，但是由于第一次购买后三天内有收藏行为，则第二次购买时间片为2013年7月17日(收藏日期)至2013年7月18日，同时将第一次购买后的点击行为，点击10次按照购买的数量b和收藏数量c切分，其中，10*b/(b+c)归入第一次购买，10*c/(b+c)归入第二次购买时间片。用户i对品牌j每次的购买所涉及的时间长度t、点击次数、收藏和购物车次数后，即可以通过平均值获取品牌每次被购买平均所需时间长度、点击次数、收藏、购物车次数。

以上述的基于购买行为进行时间分片，细致地分析每次购买的作用时间，有利于更快更精确地构建用户的特征。

步骤S402，根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为数据进行消费能力、点击转化比等分析，提取用户特征。具体而言：

对用户购买行为进行推荐预测时，必须以每一个用户个体为单位分析用户的行为。不同消费者的消费行为是截然不同的，有些用户只购买少量的品牌，有些用户购买行为涉猎大量品牌，有些用户只点击不购买，有些用户点击量少但是购买量却巨大，如何区分用户的特征，本实施例从三个正交的方向构建用户的特征。

(1)用户行为的转化比

用户的行为转化比分为：点击转化率userClickRate，即点击行为对购买行为转化的比率；收藏转化率userFavoriteRate；购物车转化率定义用户点击行为对购买的有效影响力为，用户上次购买行为结束后第三天至本地购买行为结束后三天以内的所有点击，将上次购买结束后日期延后三天是因为，每次购买行为三天内点击大多是用户回访已购商品所造成，并非是新购买需求的影响。例如用户在第d_k天有过购买记录，在第d_k+1天有n条购买记录，则在d_k+3至d_k+1+3的时间段内所产生的点击之和除以第d_k+1天的够买记录数，即为用户的本次购买的点击转化率。

其中，r_idb表示用户i在第d天操作b的记录数，b＝0为点击，b＝1为购买，b＝2为收藏，b＝3为加入购物车，同理可得，用户本次购买的收藏转化率：

和购物车转化率：

得到用户每次购买记录的点击、收藏、购物车转化率，求平均值得到衡量该用户整体行为的行为转化率，包括用户i的点击转化率clickRate_i，收藏转化率favoriteRate_i和购物车转化率cartRate_i，公式如下所示，其中N_i为用户i购买所涉及的天数。

(2)用户的购买力

用户的购买力是指用户在离线推荐模型中所涉及的离线时间范围内的总购买量，即该用户的离线记录中购买交易的条数求和，其中N_i为离线时间的总天数。

(3)用户的购买周期

用户的购买周期是指用户在离线记录中平均发生一次购买记录所需的天数。如下式所示，其中，N_i为离线时间的总天数，只要第d天存在b＝1的记录，记r_idb＝1。则：

(4)用户的涉猎广度

用户的涉猎广度是指用户在离线记录中点击和购买所涉及的品牌个数，分为点击涉猎度和购买涉猎度两个标准。其中，点击涉猎度为：

其中，r_ijdb＝unique(j),when b＝0表示当用户i在第d天有点击行为时，r_ijdb为当天点击品牌不同的个数。

购买涉猎度为：

其中，r_ijdb＝unique(j),when b＝1表示当用户i在第d天有购买行为时，r_ijdb为当天购买品牌不同的个数。

步骤S403，对上述提取的用户特征进行数值修正，减少异常值对模型的影响。具体而言：

以上所构建的特征包括了用户对品牌操作的时间分片、用户的行为转化比、购买周期、购买力和涉猎广度等。在海量数据中，存在某些极端用户对某些的品牌的疯狂点击或者购买，特别是存在有些用户极高点击下的低购买率，如何控制这些异常的数据。本发明的数据修正主要作用于控制点击、购买、收藏、购物车异常增长的趋势，通过log函数的修正作用，使得点击、购买等操作在低值区间取log后依旧正常增长，在高值区间取log后保持相对稳定。

参阅图3所示，是本发明电子商务推荐模型的用户特征提取系统的硬件架构图。该系统包括时间分片模块、特征提取模块及数值修正模块。

所述时间分片模块用于将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列。具体如下：

本实施例以天猫商城为例进行说明。在天猫商城，每天都会有数千万的用户通过品牌发现自己喜欢的商品，品牌是连接消费者和品牌的最重要的纽带。在已有的历史记录中，如何建立用户的品牌偏好，第一个关键特征的提取就在于用户对品牌行为的时间序列的计算。

根据德国心理学家艾宾浩斯的研究发现，人体大脑对新事物遗忘的循序渐进的直观描述，即遗忘曲线。所以用户对某个品牌的行为时间序列也有必要进行分片处理，时间越为久远的操作对用户未来影响的可能越小，时间越近的行为对用户消费决策的影响越大。

常规的时间分片有三种方式：

(1)按照自然日期分割，按周、半月、月分割，直接计算用户对品牌的不同时间跨度内的行为。以四个月总记录，若按周可以分割为16片，每片的点击、购买、收藏、购物车为7天内点击、购买、收藏、购物车之和；若按半月可以分割为8片，每片的点击、购买、收藏、购物车为14天内点击、购买、收藏、购物车之和；若按月可以分割为4片，每片的点击、购买、收藏、购物车为30天内点击、购买、收藏、购物车之和。

(2)直接将用户每天的行为乘以一个时间惩罚因子K，用户最近的行为比前一个月的行为更为重要，所以时间惩罚与时间成反比，时间越近惩罚值越小，时间越远惩罚值越大。

其中，x为当前日期与最后一天的距离，w为可以调试的衰减因子，若选择4个月为时间长度，w为20为测试最佳系数。随着时间长度的变化，w可以做灵活的调整。将每天的点击，购买，收藏，购物车乘以时间惩罚因子，得到新的用户i对品牌j四种行为k(点击\购买\收藏\购物车)的总体特征值。

(3)将用户的行为按照日期的从近至远，分片的间隔逐渐变长以突出用户近期行为的重要性。以4月-7月的记录为例，分片的具体描述如下表一所示，7月为最新的行为记录，可以分成以下22片。日期最近的7天，以天为单位分为7片，接着半个月以3天为时间间隔，分为5片，接下来的一个半月以周为单位，分为6片，然后将剩下的日期先按半月提取3片，最后一个月按照月为单位分为单独的一片。

表一 用户行为方案三时间分片表

不同的数据集时间长度，不同的数据集大小，都可以通过以上的三种方案，构造出基础时间分片的数据特征。其中，第一种方案偏向于时间对模型的影响因子较小的情况，第二种方案适合数月用户行为跨度，第三种方案适用于对用户任意长的时间序列行为的切分，采用近日期细粒度，远日期组粒度的方式，构建用户对不同品牌的行为序列。

不同的行为时间分片都是逻辑回归、决策树、随机森林等预测模型可以更好地对用户不同时间段的行为影响因子进行权重预判。但是除了常规的时间分片方案以外，本发明还提出了基于购买行为的时间分片方式。

基于购买行为的时间分片方式是指把用户对品牌的时间行为序列以购买日期为切分点，切分为不同的时间片。其中第i次购买所涉及的时间片是指，从第i-1次购买结束后三天至第i次购买结束后三天。

但是在第i-1次购买结束后三天内若有收藏或者购物车行为，则第i次购买时间段的起始时间为第i-1次购买结束后三天的收藏或购物车的日期，同时将第i-1次购买至收藏或购物车行为直接的点击行为按照购买和收藏行为切分，具体如图2所示。

图2中，第一次购买日期为2013年7月15日，若在此日期后的三天内没有收藏和购物车行为，即从2013年7月18日至第二次购买的后三天的2013年7月18日为第二次购买的时间片，但是由于第一次购买后三天内有收藏行为，则第二次购买时间片为2013年7月17日(收藏日期)至2013年7月18日，同时将第一次购买后的点击行为，点击10次按照购买的数量b和收藏数量c切分，其中，10*b/(b+c)归入第一次购买，10*c/(b+c)归入第二次购买时间片。用户i对品牌j每次的购买所涉及的时间长度t、点击次数、收藏和购物车次数后，即可以通过平均值获取品牌每次被购买平均所需时间长度、点击次数、收藏、购物车次数。

以上述的基于购买行为进行时间分片，细致地分析每次购买的作用时间，有利于更快更精确地构建用户的特征。

所述特征提取模块用于根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为数据进行消费能力、点击转化比等分析，提取用户特征。具体而言：

对用户购买行为进行推荐预测时，必须以每一个用户个体为单位分析用户的行为。不同消费者的消费行为是截然不同的，有些用户只购买少量的品牌，有些用户购买行为涉猎大量品牌，有些用户只点击不购买，有些用户点击量少但是购买量却巨大，如何区分用户的特征，本实施例从三个正交的方向构建用户的特征。

(1)用户行为的转化比

用户的行为转化比分为：点击转化率userClickRate，即点击行为对购买行为转化的比率；收藏转化率userFavoriteRate；购物车转化率定义用户点击行为对购买的有效影响力为，用户上次购买行为结束后第三天至本地购买行为结束后三天以内的所有点击，将上次购买结束后日期延后三天是因为，每次购买行为三天内点击大多是用户回访已购商品所造成，并非是新购买需求的作用。例如用户在第d_k天有过购买记录，在第d_k+1天有n条购买记录，则在d_k+3至d_k+1+3的时间段内所产生的点击之和除以第d_k+1天的够买记录数，即为用户的本次购买的点击转化率。

其中，r_idb表示用户i在第d天操作b的记录数，b＝0为点击，b＝1为购买，b＝2为收藏，b＝3为加入购物车，同理可得，用户本次购买的收藏转化率：

和购物车转化率：

得到用户每次购买记录的点击、收藏、购物车转化率，求平均值得到衡量该用户整体行为的行为转化率，包括用户i的点击转化率clickRate_i，收藏转化率favoriteRate_i和购物车转化率cartRate_i，公式如下所示，其中N_i为用户购买所涉及的天数。

(2)用户的购买力

用户的购买力是指用户在离线推荐模型中所涉及的离线时间范围内的总购买量，即该用户的离线记录中购买交易的条数求和，其中N_i为离线时间的总天数。

(3)用户的购买周期

用户的购买周期是指用户在离线记录中平均发生一次购买记录所需的天数。如下式所示，其中，N_i为离线时间的总天数，只要第d天存在b＝1的记录，记r_idb＝1。则：

(4)用户的涉猎广度

用户的涉猎广度是指用户在离线记录中点击和购买所涉及的品牌个数，分为点击涉猎度和购买涉猎度两个标准。其中，点击涉猎度为：

其中，r_ijdb＝unique(j),when b＝0表示当用户i在第d天有点击行为时，r_ijdb为当天点击品牌不同的个数。

购买涉猎度为：

其中，r_ijdb＝unique(j),when b＝1表示当用户i在第d天有购买行为时，r_ijdb为当天购买品牌不同的个数。

所述数值修正模块用于对上述提取的用户特征进行数值修正，减少异常值对模型的影响。具体而言：

以上所构建的特征包括了用户对品牌操作的时间分片、用户的行为转化比、购买周期、购买力和涉猎广度、品牌的转化比、营销周期、热度等。在海量数据中，存在某些极端用户对某些的品牌的疯狂点击或者购买，特别是存在有些用户极高点击下的低购买率，如何控制这些异常的数据。本发明的数据修正主要作用于控制点击、购买、收藏、购物车异常增长的趋势，通过log函数的修正作用，使得点击、购买等操作在低值区间取log后依旧正常增长，在高值区间取log后保持相对稳定。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (10)

1.一种电子商务推荐模型的用户特征提取方法，其特征在于，该方法包括如下步骤：

将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列；

根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为进行分析，提取用户特征；

其中：所述的时间分片包括：常规的时间分片和基于购买行为的时间分片，其中所述常规的时间分片包括：根据用户每天的行为及时间惩罚因子分片；所述根据用户每天的行为及时间惩罚因子分片包括：将每天的点击、购买、收藏、购物车乘以时间惩罚因子，得到新的用户i对品牌j四种行为k的总体特征值：

其中，所述四种行为指点击、购买、收藏及购物车，u_ijk表示用户i对品牌j四种行为k的总体特征值,u_ijd表示用户i在品牌j第d天会发生行为的概率，k_d表示第k种行为在第d天发生的概率，d表示时间天数，num(day)表示距离行为发生的间隔天数，w为可以调试的衰减因子；

所述基于购买行为的时间分片方式是指把用户对品牌的时间行为序列以购买日期为切分点，切分为不同的时间片，其中第z次购买所涉及的时间片是指，从第z-1次购买结束后三天至第z次购买结束后三天，在第z-1次购买结束后三天内若有收藏或者购物车行为，则第z次购买时间段的起始时间为第z-1次购买结束后三天的收藏或购物车的日期，同时将第z-1次购买至收藏或购物车行为直接的点击行为按照购买和收藏行为切分。

2.如权利要求1所述的方法，其特征在于，该方法还包括：对上述提取的用户特征进行数值修正。

3.如权利要求1所述的方法，其特征在于，所述常规的时间分片还包括：按照自然日期分片、按照日期从近至远间隔由短变长分片。

4.如权利要求1所述的方法，其特征在于，所述的用户特征包括：用户的行为转化比、用户的购买力、用户的购买周期、用户的涉猎广度。

5.如权利要求2所述的方法，其特征在于，所述的数值修正指通过log函数进行数值修正。

6.一种电子商务推荐模型的用户特征提取系统，其特征在于，该系统包括时间分片模块、特征提取模块，其中：

所述时间分片模块用于将用户对品牌的行为数据进行时间分片，构造不同时间片的用户行为特征序列；

所述特征提取模块用于根据上述构造的不同时间片的用户行为特征序列，对用户的整体行为进行分析，提取用户特征；

其中：所述的时间分片包括：常规的时间分片和基于购买行为的时间分片，其中所述常规的时间分片包括：根据用户每天的行为及时间惩罚因子分片；所述根据用户每天的行为及时间惩罚因子分片包括：将每天的点击、购买、收藏、购物车乘以时间惩罚因子，得到新的用户i对品牌j四种行为k的总体特征值：

其中，所述四种行为指点击、购买、收藏及购物车，

所述基于购买行为的时间分片方式是指把用户对品牌的时间行为序列以购买日期为切分点，切分为不同的时间片，其中第z次购买所涉及的时间片是指，从第z-1次购买结束后三天至第z次购买结束后三天，在第z-1次购买结束后三天内若有收藏或者购物车行为，则第z次购买时间段的起始时间为第z-1次购买结束后三天的收藏或购物车的日期，同时将第z-1次购买至收藏或购物车行为直接的点击行为按照购买和收藏行为切分。

7.如权利要求6所述的系统，其特征在于，该系统还包括数值修正模块，所述数值修正模块用于对上述提取的用户特征进行数值修正。

8.如权利要求6所述的系统，其特征在于，所述常规的时间分片还包括：按照自然日期分片、按照日期从近至远间隔由短变长分片。

9.如权利要求6所述的系统，其特征在于，所述的用户特征包括：用户的行为转化比、用户的购买力、用户的购买周期、用户的涉猎广度。

10.如权利要求7所述的系统，其特征在于，所述的数值修正指通过log函数进行数值修正。