CN105589905B - 用户兴趣数据分析和收集系统及其方法 - Google Patents

Abstract

本申请公开了一种用户兴趣数据分析和收集系统，所述系统包括：会话识别模块，用于从web服务器抽取日志数据以及与所述日志数据对应的商品购买历史记录，并对所述日志数据进行处理，从而生成页面浏览序列参照集合；推荐服务控制器，用于实时收集用户的浏览记录；日志数据预处理模块，用于在满足预定条件下，从所述推荐服务控制器接收所述用户在本次会话中的浏览日志数据，并对该日志数据进行预处理；以及匹配分析模块，用于将经过预处理的日志数据与所生成的页面浏览序列参照集合进行匹配，并根据匹配结果来确定所述用户潜在感兴趣的商品集合。本申请还公开了一种用户兴趣数据分析和收集方法。

Description

用户兴趣数据分析和收集系统及其方法

技术领域

本发明涉及电子信息技术领域，具体来说，涉及一种用户兴趣数据分析和收集系统以及其方法。

背景技术

随着互联网的迅猛发展，中国网络购物的用户规模不断上升。2010年中国网络购物市场交易规模接近5000亿，达4980.0亿元，占到社会消费品零售总额的3.2%；同时，网络购物用户规模达到1.48亿，在网民中的渗透率达30.8%。对于一些传统企业而言，通过一些传统的营销手段已经很难对现今的市场形成什么重大的改变了。如果想将企业的销售渠道完全打开，企业就必需引进新的思维和新的方法。而网络购物正好为现今的传统企业提供了一个很好的机会与平台，传统企业通过借助第三方平台和建立自有平台纷纷试水网络购物，构建合理的网络购物平台、整合渠道、完善产业布局成为传统企业未来发展重心和出路。

随着网络购物平台的蜂拥崛起，如何基于大数据来分析和收集用户兴趣数据，以便更好地向该用户提供推荐从而提升用户体验成为了研究重点。

在申请号为201310717507.4的中国专利（发明名称为“一种基于Web日志数据的信息个性化推荐方法”）中介绍了一种通过分析日志的Web推荐技术。在该专利中，通过对服务器中Web日志文件的数据进行分析和预处理，提取出干净、规则、准确的数据源；使用协同过滤技术建立用户兴趣矩阵，计算各用户间的相似度，选较大相似度的用户作为相似用户；对相似用户的兴趣爱好建立推荐资源池；服务器选推荐资源池中推荐值大于阈值的页面推荐给用户。

但是，在该专利中，度量用户兴趣方法为用户浏览某一资源类别的时间。而分析获得的兴趣粒度很大程度上取决于资源分类的粗细粒度。如果粒度较粗，较难精确判断兴趣细微倾向。另外，用户浏览过的页面通常会涵盖多个类别主题。多个主题的页面数据源会导致最后分析结果的不精确。

发明内容

为了解决上述问题，本申请提供了一种基于用户页面浏览序列的商品推荐方法。当新的用户访问电商网站时，通过将用户当前会话中的浏览记录序列拆分为多个浏览子序列，分析和匹配子序列和Web日志中其他用户的浏览记录，找到类似页面浏览记录的历史会话，最后根据类似会话的最终实际购买商品，实施相关的商品推荐。

根据本申请的一个方面，提供了一种用户兴趣数据分析和收集系统。该系统包括会话识别模块、推荐服务控制器、日志数据预处理模块以及匹配分析模块。其中，会话识别模块用于在线下从web服务器抽取日志数据以及与所述日志数据对应的商品购买历史记录，并对所述日志数据进行处理，从而生成页面浏览序列参照集合。推荐服务控制器用于实时收集用户的浏览记录。日志数据预处理模块用于在满足预定条件下，从所述推荐服务控制器接收所述用户在本次会话中的浏览日志数据，并对该日志数据进行预处理。匹配分析模块用于将经过预处理的日志数据与所生成的页面浏览序列参照集合进行匹配，并根据匹配结果来确定所述用户潜在感兴趣的商品集合。

上述系统还可包括：候选结果过滤排序模块，用于从所述匹配分析模块接收所确定的商品集合，并根据预设定的推荐规则，对所述商品集合中的商品进行排序，并将排序的结果发送给所述推荐服务控制器。

在上述系统中，所述推荐服务控制器还配置成根据所述候选结果过滤排序模块所发送的排序结果，选择出最终的推荐商品并发送给所述用户。

在上述系统中，所述会话识别模块配置成执行如下步骤：通过核对请求资源URI的后缀名，剔除请求资源为非页面的日志条目；剔除状态响应码为错误的日志条目；汇总同一个会话标识符的所有日志记录，形成属于该会话标识符的会话日志记录集合；以及判断会话中是否包含购买页面和支付页面，以便筛选出最终完成购物的会话。

在上述系统中，当用户访问的页面数量超过预先设定的数目N时，所述推荐服务控制器从所述web服务器的日志中抽取该用户的当前会话中所有的日志条目序列，从而启动推荐服务。

在上述系统中，所述日志数据预处理模块配置成执行如下步骤：从所述日志条目序列中剔除非页面的以及响应码为错误的日志条目，以便形成精化日志条目序列Lp；根据所述精化日志条目序列Lp，产生多个预定长度的连续日志条目子序列；以及通过如下公式将所述连续日志条目子序列中的每条子序列转换为m维的权重向量：

其中，w_l,i表示某一子序列l的第i维权重，f(l,i)表示第i维日志条目的URL出现在子序列l的次数，Count(i)表示第i维URL在所述页面浏览序列参照集合中出现的次数，t(l,i)表示本次客户端浏览该页面的时间长度，λ是Count函数的权重因子。

在上述系统中，所述匹配分析模块通过如下公式计算匹配度：

其中l₁和l₂表示两个给定序列，w_1i是序列l₁中的第i维的权重，w_2i是序列l₂中的第i维的权重，函数min返回两个数值中的较小值。

在上述系统中，所述匹配分析模块进一步配置成：根据经过预处理的日志数据与所生成的页面浏览序列参照集合的匹配结果，对于所述页面浏览序列参照集合中的每个参照浏览序列，选取其与经过预处理的日志数据中每个子序列的匹配度最大值来作为该参照浏览序列的权重；挑选权重最大的前n个参照浏览序列，从而生成参照序列集合SeC；以及对于所述参照序列集合SeC中每条候选参照浏览序列，找出与序列相关的购买商品集合来作为所述用户潜在感兴趣的商品集合。

在上述系统中，所述候选结果过滤排序模块配置成：根据所述匹配分析模块所确定的商品集合，累加所述商品集合中每个商品对应的候选参照序列的权重来作为该商品的权重，根据所述商品的权重来对所述商品集合中的商品排序，以及将权重较大的一定数量的商品作为最终推荐商品告知所述推荐服务控制器。

根据本申请的另一个方面，提供了一种用户兴趣数据分析和收集方法。该方法包括步骤A：从web服务器抽取日志数据以及与所述日志数据对应的商品购买历史记录，并对所述日志数据进行处理，从而生成页面浏览序列参照集合；步骤B：实时收集用户的日志数据；步骤C：在满足预定条件下，对该用户的日志数据进行预处理；以及步骤D：将经过预处理的日志数据与所生成的页面浏览序列参照集合进行匹配，并根据匹配结果来确定所述用户潜在感兴趣的商品集合。

本申请技术方案的分析数据源为当前会话的页面浏览记录，数据依赖性低、方便采集，操作流程直接明了。同时，会话页面浏览记录隐含用户潜在的兴趣倾向和购物习惯，有助于提升推荐服务的准确性和个性化。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。

图1是根据本申请的一个实施例、基于页面浏览序列来对用户兴趣数据进行分析、收集以及商品推荐的流程图。

具体实施方式

下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

在日志文件中，每条记录被称为日志项或是条目，表示客户端对服务器的一次资源请求。目前，许多主流的日志格式（例如公共日志格式(CLF)和扩展公共日志格式（ECLF））一般都会包括客户端请求的IP地址、请求时间、请求资源的路径名称、状态响应码、用户操作系统、浏览器类型这几个重要字段,以标示客户端对Web服务器请求的情况。用户浏览网站会话是指用户在连续一段时间内访问网站历史记录集合。通常来说，在一个用户会话，代表了一次用户的完整浏览记录。

整个反馈交互式的用户兴趣数据分析收集方案总体流程由“用户页面浏览序列参照数据集生成”和“商品推荐服务实施”两部分组成，如图1所示，整个过程如下：

1）系统从web服务器中，抽取部分日志，以及对应的商品购买历史记录（见方框a1）；

2）对日志数据做预处理，识别会话，筛选出用户最后形成购买的会话记录，生成页面浏览序列参照集合（见方框a2）；

3）当用户登录网站，推荐服务控制器实时收集用户的浏览记录（见方框b1），并在符合特定条件情况下，启动推荐服务,并将用户本会话中的浏览日志数据发送至日志数据预处理模块（见方框b2）；

4）对用户的浏览数据做预处理，发送至匹配分析模块（见方框b3）；

5）匹配分析模块分析和匹配子序列和Web日志中其他用户的历史浏览记录，找到类似页面浏览记录的历史会话，生成候选推荐商品集合，发送至“候选结果过滤排序”模块（见方框b4）；

6）根据预设定的推荐规则，结合相似度，对推荐商品进行排序，并发送至推荐服务控制器（见方框b5），随后发送给用户（见方框b6）。

其中第1、2步负责生成用户页面浏览序列参照数据集，后续步骤负责实施推荐服务。以下内容将详细介绍本方案工作步骤：

1、生成用户页面浏览序列的参照数据集

在进行Web服务器日志分析前，需要抽取出对分析有价值的日志条目，并汇总形成会话。为了识别用户会话，网站的服务器使用并保存会话ID（Session ID），服务器日志中日志条目保留Session ID字段，以保存该次请求的Session ID值。一般来说，Session ID是一种唯一标识当前访问服务器的客户的只读值。

具体的步骤如下：

1) 通过核对请求资源URI的后缀名，剔除请求资源为图片、视频、脚本等非页面的日志条目；

2) 剔除状态响应码为错误（例如400、404、505）的日志条目;

3) 通过核实日志条目中Session ID方式，判断为同一个会话的请求操作。Session ID相同并且服务请求时间差小于服务器设置值的日志条目，判断属于同一个会话；

4) 汇总同一个SessionID的所有日志记录，形成属于该SessionID的会话日志记录集合；

5) 如果用户端的浏览器不支持cookie存储，会采用URL复写的方式保存SessionID。这时，需要在日志条目中URL项中，删除URL中SessionID参数；

6) 判断会话中是否包含购买页面和支付页面，筛选出最终完成购物的会话，作为协同过滤的参照记录。

在一个实施例中，一条参照的用户会话日志记录包括：用户在会话中浏览页面序列L，以及最终购买的商品列表P。

2、商品推荐服务实施

在线下完成参照用户页面浏览序列数据集生成后，在线上，推荐系统实时跟踪用户在电商网站的访问记录，根据这些记录实施推荐服务。具体的步骤如下：

1) 推荐系统通过访问电商网站的web服务器日志（或是其他方法），跟踪用户在当前会话中访问页面记录。当访问的页面数量超过固定数目N时（N为预先设定的），推荐服务控制器从web服务器日志中抽取该用户的当前会话中所有的日志条目序列Lr，启动推荐服务。

2) 采用于第一章相类似的方法，从用户当前会话日志条目序列Lr中，剔除非页面的、以及响应码为错误的日志条目。如果URL中包含SessionID项，并修剪URL中SessionID项。最后，形成属于本次会话的精化日志条目序列Lp。

3) 根据精化日志条目序列Lp，产生多个长度为w的连续日志条目子序列l₁,l₂…l_n。n为子序列的个数，子序列的集合表示为Sub(Lp)。例如，日志条目序列Lp={a₁,a₂,a₃,a₄,a₅}，生成的长度为3的连续日志条目子序列有l₁={a₁,a₂,a₃}、l₂={a₂,a₃,a₄}和l₃={a₃,a₄,a₅}。 w的数值为预先设定。如果Lp的长度小于等于w，则Sub(Lp)={Lp}。

4) 将每条子序列l={a₁,a₂,…,a_n}表示为m维的权重向量w(l)={w₁,w₂,…,w_m}。其中w_i为对应日志条目在第i维的权重，m是参照集中所有日志条目中出现的URL的总数。w_i的计算方式如下：

其中，f(l,i)表示第i维日志条目的URL出现在子序列l的次数。如果l中不存在第i维URL，f(l,i)等于0。Count(i)表示第i维URL在参照集中出现的次数。t(l,i)表示本次客户端浏览该页面的时间长度，通过该日志条目与下一条日志条目的时间差计算而得，单位为秒。参数λ是Count函数权重因子，λ数值越大，Count函数的影响越小，反之亦然。

5) 逐一计算Sub(Lp)中子序列与参照集中各个会话浏览页面序列的相似度，给定序列l₁和l₂，两者之间相似度计算公式Sim(l₁,l₂)计算方式如下：

其中，w_1i是序列l₁中的第i维的权重。函数min返回两个数值中的较小值。

6) 根据Sub(Lp)中子序列与参照数据中各个浏览序列的相似度的结果。对于每个参照浏览序列来说，选取参照序列与Sub(Lp)中子序列的相似度最大的值，作为该参照序列的权重w_l。挑选出权重最大的前n个参照序列，生成参照序列集合SeC={l₁,l₂…l_n}。

7) 对于集合SeC中每条候选参照浏览页面序列，找出与序列相关的购买商品集合作为候选推荐商品。对于每个候选推荐商品，累加商品对应的候选参照序列的权重w_l，作为候选推荐商品的权重w_p。

8) 挑选出权重w_p最大的前m个候选推荐商品作为最终推荐商品，推荐控制服务器将推荐商品传送给用户。

综上，本申请的技术方案具有以下优点：首先，本方案过比较会话页面浏览记录，找到相关购买商品。方法流程直接明了，避免了内容分析不完全或不精确问题。其次，相比其他通过商品购买，商品打分等数据分析的推荐方法，本方案分析的数据源为用户当前会话的页面浏览记录，数据依赖性低、方便采集、服务对象门槛低。最后，会话页面浏览记录隐含用户潜在的兴趣倾向和购物习惯，有助于提升推荐服务的准确性和个性化。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (16)

1.一种用户兴趣数据分析和收集系统，其特征在于，所述系统包括：

会话识别模块，用于从web服务器抽取日志数据以及与所述日志数据对应的商品购买历史记录，并对所述日志数据进行处理，从而生成页面浏览序列参照集合，其中所述日志数据包括多个用户的浏览记录；

推荐服务控制器，用于实时收集第一用户的浏览记录；

日志数据预处理模块，用于在满足预定条件下，从所述推荐服务控制器接收所述第一用户在本次会话中的浏览日志数据，并对该日志数据进行预处理；以及

匹配分析模块，用于将经过预处理的日志数据与所生成的页面浏览序列参照集合进行匹配，并根据匹配结果来确定所述第一用户潜在感兴趣的商品集合，其中，所述匹配分析模块通过如下公式计算匹配度：

其中l₁和l₂表示两个给定序列，w_1i是序列l₁中的第i维的权重，w_2i是序列l₂中的第i维的权重，函数min返回两个数值中的较小值。

2.如权利要求1所述的系统，还包括：

候选结果过滤排序模块，用于从所述匹配分析模块接收所确定的商品集合，并根据预设定的推荐规则，对所述商品集合中的商品进行排序，并将排序的结果发送给所述推荐服务控制器。

3.如权利要求2所述的系统，其中，所述推荐服务控制器还配置成根据所述候选结果过滤排序模块所发送的排序结果，选择出最终的推荐商品并发送给所述第一用户。

4.如权利要求1所述的系统，其中，所述会话识别模块配置成执行如下步骤：

通过核对请求资源URI的后缀名，剔除请求资源为非页面的日志条目；

剔除状态响应码为错误的日志条目；

汇总同一个会话标识符的所有日志记录，形成属于该会话标识符的会话日志记录集合；以及

判断会话中是否包含购买页面和支付页面，以便筛选出最终完成购物的会话。

5.如权利要求1所述的系统，其中，当第一用户访问的页面数量超过预先设定的数目N时，所述推荐服务控制器从所述web服务器的日志中抽取该第一用户的当前会话中所有的日志条目序列，从而启动推荐服务。

6.如权利要求5所述的系统，其中，所述日志数据预处理模块配置成执行如下步骤：

从所述日志条目序列中剔除非页面的以及响应码为错误的日志条目，以便形成精化日志条目序列Lp；

根据所述精化日志条目序列Lp，产生多个预定长度的连续日志条目子序列；以及

通过如下公式将所述连续日志条目子序列中的每条子序列转换为m维的权重向量：

其中，w_l,i表示某一子序列l的第i维权重，f(l,i)表示第i维日志条目的URL出现在子序列l的次数，Count(i)表示第i维URL在所述页面浏览序列参照集合中出现的次数，t(l,i)表示本次客户端浏览该页面的时间长度，λ是Count函数的权重因子。

7.如权利要求1所述的系统，其中，所述匹配分析模块进一步配置成：

根据经过预处理的日志数据与所生成的页面浏览序列参照集合的匹配结果，对于所述页面浏览序列参照集合中的每个参照浏览序列，选取其与经过预处理的日志数据中每个子序列的匹配度最大值来作为该参照浏览序列的权重；

挑选权重最大的前n个参照浏览序列，从而生成参照序列集合SeC；以及

对于所述参照序列集合SeC中每条候选参照浏览序列，找出与序列相关的购买商品集合来作为所述第一用户潜在感兴趣的商品集合。

8.如权利要求2所述的系统，其中，所述候选结果过滤排序模块配置成：

根据所述匹配分析模块所确定的商品集合，累加所述商品集合中每个商品对应的候选参照序列的权重来作为该商品的权重，

根据所述商品的权重来对所述商品集合中的商品排序，以及

将权重较大的一定数量的商品作为最终推荐商品告知所述推荐服务控制器。

9.一种用户兴趣数据分析和收集方法，其特征在于，所述方法包括：

步骤A：从web服务器抽取日志数据以及与所述日志数据对应的商品购买历史记录，并对所述日志数据进行处理，从而生成页面浏览序列参照集合，其中所述日志数据包括多个用户的浏览记录；

步骤B：实时收集第一用户的日志数据；

步骤C：在满足预定条件下，对该第一用户的日志数据进行预处理；以及

步骤D：将经过预处理的日志数据与所生成的页面浏览序列参照集合进行匹配，并根据匹配结果来确定所述第一用户潜在感兴趣的商品集合，其中，步骤D通过如下公式计算匹配度：

其中l₁和l₂表示两个给定序列，w_1i是序列l₁中的第i维的权重，w_2i是序列l₂中的第i维的权重，函数min返回两个数值中的较小值。

10.如权利要求9所述的方法，还包括：

步骤E：根据预设定的推荐规则，对所述商品集合中的商品进行排序。

11.如权利要求10所述的方法，还包括：

步骤F：根据所述排序结果，选择出最终的推荐商品并发送给所述第一用户。

12.如权利要求9所述的方法，其中，步骤A进一步包括：

通过核对请求资源URI的后缀名，剔除请求资源为非页面的日志条目；

剔除状态响应码为错误的日志条目；

汇总同一个会话标识符的所有日志记录，形成属于该会话标识符的会话日志记录集合；以及

判断会话中是否包含购买页面和支付页面，以便筛选出最终完成购物的会话。

13.如权利要求9所述的方法，其中，步骤C进一步包括：

当第一用户访问的页面数量超过预先设定的数目N时，从所述web服务器的日志中抽取该第一用户的当前会话中所有的日志条目序列，从而启动推荐服务。

14.如权利要求13所述的方法，其中，步骤C进一步包括：

从所述日志条目序列中剔除非页面的以及响应码为错误的日志条目，以便形成精化日志条目序列Lp；

根据所述精化日志条目序列Lp，产生多个预定长度的连续日志条目子序列；以及

通过如下公式将所述连续日志条目子序列中的每条子序列转换为m维的权重向量：

其中，w_l,i表示某一子序列l的第i维权重，f(l,i)表示第i维日志条目的URL出现在子序列l的次数，Count(i)表示第i维URL在所述页面浏览序列参照集合中出现的次数，t(l,i)表示本次客户端浏览该页面的时间长度，λ是Count函数的权重因子。

15.如权利要求9所述的方法，其中，步骤D进一步包括：

根据经过预处理的日志数据与所生成的页面浏览序列参照集合的匹配结果，对于所述页面浏览序列参照集合中的每个参照浏览序列，选取其与经过预处理的日志数据中每个子序列的匹配度最大值来作为该参照浏览序列的权重；

挑选权重最大的前n个参照浏览序列，从而生成参照序列集合SeC；以及

对于所述参照序列集合SeC中每条候选参照浏览序列，找出与序列相关的购买商品集合来作为所述第一用户潜在感兴趣的商品集合。

16.如权利要求10所述的方法，其中，步骤E进一步包括：

根据所确定的商品集合，累加所述商品集合中每个商品对应的候选参照序列的权重来作为该商品的权重，

根据所述商品的权重来对所述商品集合中的商品排序，以及

将权重较大的一定数量的商品作为最终推荐商品告知推荐服务控制器。