CN106919653B - 基于用户行为的日志过滤方法 - Google Patents

Abstract

本发明公开了一种基于用户行为的日志过滤方法，包括以下步骤：步骤一、将用户行为划分成多种子行为并分配相应的权重，通过分布式日志采集工具获取并存储用户行为的日志信息，提取并滤除低于权重阈值的相应子行为的日志信息；步骤二、对保留的子行为的日志信息通过效用函数进行并行处理，所述效用函数建立用户兴趣度与子行为指标的映射关系，提取并滤除低于兴趣度阈值的子行为相应的日志信息，保留用户偏好的子行为的日志信息，形成推荐结果的优化数据源，存储在数据集群中。本发明能够对海量日志信息二次过滤，及时响应用户的当前需求和感兴趣的信息，提高处理效率，本发明容易扩展以及具有一定的容错性。

Description

基于用户行为的日志过滤方法

技术领域

本发明涉及信息技术领域。更具体地说，本发明涉及一种基于用户行为的日志过滤方法。

背景技术

随着互联网的迅速发展，用户在使用网络的过程中产生海量的日志信息。用户在面对海量的互联网信息时，无法从中获取自己感兴趣的信息，产生信息超载问题。因此，各种推荐方法便成为研究热点，使得用户群体可以实时、有效地获取自己感兴趣的信息(比如感兴趣的微博推荐、商品推荐、电影推荐等等)。在推荐中日志过滤是一个必不可少的环节，然而，目前的日志过滤技术存在许多不足，例如数据缺失(数据不完整、缺少ID、时间、商品ID等)比如仅仅对含有噪声、缺失值(例如图片缺光)的数据进行过滤。并且不同的推荐系统所用的过滤方法不一样，不能达到通用性。如今在大数据环境下，互联网中各类网站产生越来越多种类的用户行为，根据用户行为设计通用的日志过滤方法是一个研究趋势。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于用户行为的日志过滤方法，其能够对海量日志信息二次过滤，及时响应用户的当前需求和感兴趣的信息，提高处理效率，本发明容易扩展以及具有一定的容错性。

为了实现根据本发明的这些目的和其它优点，提供了一种基于用户行为的日志过滤方法，包括以下步骤：

步骤一、将用户行为划分成多种子行为并分配相应的权重，通过分布式日志采集工具获取并存储用户行为的日志信息，提取并滤除低于权重阈值的相应子行为的日志信息；

步骤二、对保留的子行为的日志信息通过效用函数进行并行处理，所述效用函数建立用户兴趣度与子行为指标的映射关系，提取并滤除低于兴趣度阈值的子行为相应的日志信息，保留用户偏好的子行为的日志信息，形成推荐结果的优化数据源，存储在数据集群中。

优选的是，所述的基于用户行为的日志过滤方法，步骤一中，建立用户行为的行为函数，定义多种子行为，根据用户的需求对多种子行为的权重调整赋值，行为函数为

其中，w_i为用户α各子行为对应的权重，0<w_i<1，x₁.x₂……x_m为用户α对应的m种子行为。

优选的是，所述的基于用户行为的日志过滤方法，子行为包括用户信息、用户访问时间、页面地址、子行为指标。

优选的是，所述的基于用户行为的日志过滤方法，子行为指标为多个独立的参数时，步骤二中的效用函数为

根据用户的需求对各参数的权重调整赋值，计算该子行为的用户兴趣度，其中，w_i为子行为β各参数对应的权重，0<w_i<1，y₁.y₂……y_n为子行为β对应的n个参数。

优选的是，所述的基于用户行为的日志过滤方法，子行为指标为执行与未执行的两个选项时，步骤二中的效用函数为

保留取值为1的选项对应的子行为相应的日志信息。

优选的是，所述的基于用户行为的日志过滤方法，子行为为搜索行为时，读取用户搜索的关键词，采用语义模型获取关键词的关联词，子行为指标为关键词与关联词的相似度，步骤二中的效用函数为

其中，x代表相似度，从数据集群的历史搜索行为的日志信息中提取取值为1的含有关键词的日志信息，提取不低于相似度阈值的关联词的日志信息。

本发明至少包括以下有益效果：

第一、本发明通过采用分布式的模式从网络中收集来自各个业务系统的日志信息得到用户行为的日志信息，通过自定义函数进行二次过滤来处理来得到优化结果，本发明更能及时响应用户的当前需求和感兴趣的信息为，提高处理效率，更好地提升了用户行为日志的使用高效性，并且该方法容易扩展以及具有一定的容错性；

第二、本发明能够快速和高效地处理小批量数据，确保日志过滤的高效性和实用性，并且该方法容易扩展，同时能方便地实现容错恢复机制。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明多个业务系统的示意图；

图2为本发明用户行为的分布示意图；

图3为本发明方法的流程示意图。

具体实施方式

一种基于用户行为的日志过滤方法，如图2～3所示，用户行为指的是用户在使用网络的过程中的浏览行为，日志信息即为浏览行为中记录的信息，由于日志流并发产生并且数量大，为了保准数据的实时性和完整性，在进入日志过滤阶段之前，将日志信息流保存在数据集群中，为后续的日志过滤提供安全可靠的消息传输。本发明的过滤方法包括以下步骤：

步骤一、如图1所示，用户在各个业务系统(例如：网络购物、微博浏览、新闻推荐等客户端应用或页面)会产生海量用户行为，页面开发者在后端针对不同的业务系统预先将用户行为划分成多种子行为并分配相应的权重，以下以网络购物的业务系统举例，用户行为被划分为浏览行为、点击行为、购买行为等多种子行为，微博浏览时，用户行为被划分为浏览行为、点击行为、搜索行为等多种子行为，而当用户进行网络购物时，页面开发者预先针对大多数消费者的购物习惯，广泛列举多种子行为，并依据用户的购买概率为多种子行为分配权重，通过现有的分布式日志采集工具访问数据库的日志表，解析日志任务，提取用户的日志信息，获取并存储用户行为的日志信息，保存到数据集群，该数据集群可以承载海量的用户行为日志信息，为后续的日志过滤阶段提供了可靠的信息传输，提取并滤除低于权重阈值的相应子行为的日志信息，即去除部分相对不具有参考价值的子行为的日志信息，实现行为日志的第一次过滤；

步骤二、步骤一保留多种不同的子行为，对保留的子行为的日志信息分别通过效用函数进行并行处理，即对每一种子行为分别处理，建立具有针对性的效用函数，再次滤除各子行为中不具有参考价值的部分日志信息，子行为包括属性信息与指标，指标包括多个具有参数的子指标，子指标的数值大小具有比较意义，所述效用函数建立用户兴趣度与至少一个子行为指标的映射关系，针对不同类型的效用函数分别计算用户兴趣度，分别预设定兴趣度阈值，提取并滤除低于兴趣度阈值的子行为相应的部分日志信息，不低于兴趣度阈值的剩余的日志信息即为用户偏好的子行为，保留用户偏好的子行为的日志信息，形成推荐结果的优化数据源，作为针对各推荐端具有广泛适用性的数据源存储在数据集群中，实现行为日志的第二次过滤。

在另一种技术方案中，所述的基于用户行为的日志过滤方法，步骤一中，建立用户行为的行为函数，定义多种子行为，例如，浏览行为(一次点击查看的页面会记录多条浏览数据，记录用户信息、时间、地址、商品ID、当前鼠标停留时间、当前页面滚动次数等)、点击行为(点击子行为是点击搜索商品还是推荐列表中的商品，记录用户信息、时间、地址、点击商品ID等)、购买行为(购买的子行为有将商品加入购物车付款或者不付款，记录用户信息、商品ID、付款时间、订单时间、地址等)、对比行为(将多个商品加入对比栏进行各项参数的比较)等，(各行为存在一定的重叠，比如浏览过程会有点击行为，均会分别针对两个子行为进行提取和考量，记录用户信息、商品ID、对比时间、地址等)根据用户的需求对多种子行为的权重调整赋值，行为函数为

其中，w_i为用户α各子行为对应的权重，0<w_i<1，x₁.x₂……x_m为用户α对应的m种子行为，其中浏览行为、点击行为、购买行为的权重均高于阈值，对比行为的权重低于阈值，故所有的对比行为的日志信息滤除，浏览行为、点击行为、购买行为的日志信息保留。

在另一种技术方案中，所述的基于用户行为的日志过滤方法，子行为包括用户信息(用户ID、账号注册时间)、用户当前页面访问时间、当前页面地址、子行为指标，子行为指标针对不同的子行为时其囊括项目不完全相同，基于页面开发者在后面的预设置，例如，当子行为为浏览行为时，子行为指标为鼠标停留时间、当前页面滚动次数等。

在另一种技术方案中，所述的基于用户行为的日志过滤方法，子行为指标为多个独立的参数时，多个独立的参数彼此之间无相对、互补等关系，均具有考量价值，例如，当子行为为浏览行为时，子行为指标为鼠标停留时间、当前页面滚动次数等，浏览时间、当前页面滚动次数为独立的参数，步骤二中的效用函数为

根据用户的需求对各参数的权重调整赋值，计算该子行为当前页面的用户兴趣度，其中，w_i为子行为β各参数对应的权重，0<w_i<1，w_{鼠标停留时间}预设为0.8，w_{当前页面滚动次数}预设为0.2，即把鼠标停留时间这个操作看作用户更感兴趣的行为，y₁.y₂……y_n为子行为β对应的n个参数，对于某个页面，y_{鼠标停留时间}为5s，y_{当前页面滚动次数}为1次，G(β)计算得到为4.2，页面开发者在设定兴趣度阈值时，将4.2作为满足用户感兴趣的兴趣度阈值，即当G(β)≥4.2时，保留该页面对应的日志信息，对于不满足函数条件的日志进行删除。

在另一种技术方案中，所述的基于用户行为的日志过滤方法，子行为指标为执行与未执行的两个选项时，二者具有相对性、互补性，即二选一的情况，如当用户的子行为为购买行为时，子行为包括购买、未购买两个选项，即两个具有相对性的指标，再比如，当用户的子行为为点击行为时，子行为包括点击推荐中商品、点击搜索的商品两个选项，即两个具有互补性的指标，步骤二中的效用函数为

保留取值为1的选项(即用户兴趣度为1，兴趣度阈值为1)对应的子行为相应的日志信息，即保留产生订单信息的子行为日志信息，或者保留用户点击搜索的商品的子行为日志信息，值得注意的是，当用户的子行为为购买行为时，此处强调的是未购买的商品与已购买的商品的受欢迎程度的相对性，即便是购物车未购买的商品(或收藏夹未购买的商品)，在本子行为的效用函数中被滤除，不代表该商品不收欢迎或者用户不感兴趣，在其他子行为(例如虽未购买、但是鼠标停留时间长)也会被浏览的子行为的效用函数考虑并保留，所以本处不存在遗漏，更多考量的是相对性，受欢迎、感兴趣的商品最终会以各种行为保留在数据集群。

在另一种技术方案中，所述的基于用户行为的日志过滤方法，子行为为搜索行为时，搜索的子行为是输入关键词进行查询，记录用户信息、商品ID、检索的关键字、地址等，读取用户搜索的关键词，例如，用户输入搜索框的关键词为“电影票”，采用语义模型获取关键词的关联词，语义模型为现有技术，包含语义扩展的查询接口、语义支持系统、推理系统和本体系统，语义扩展查询接口用来分析用户请求，确定用户的语义，绑定到相关概念，语义支持系统为语义分析做支持，推理系统为语义分析和知识处理服务，本体系统用于知识表示和处理，根据用户输入的关键词通过语义模型推理出关联词，从而获得关联的对象信息，比如，用户的历史订单中，某个订单中包括“电影票”与“尿不湿”，此处关联词可以为“长城”“罗曼蒂克消亡史”“电影频道”“尿不湿”等，子行为指标为关键词与关联词的相似度，当该关联词出现在同一历史订单中时，该关联词的用户兴趣度定义为1，当该关联词未出现在历史订单中时，用户兴趣度的计算方法可以通过相似度体现，相似度为现有技术，很多论文、文献中均有体现，步骤二中的效用函数为

其中，x代表相似度，从数据集群的历史搜索行为的日志信息中提取取值为1的含有关键词的日志信息，即历史订单中与“电影票”一同购买的“尿不湿”的日志信息，提取不低于相似度阈值的关联词的日志信息，即“长城”“罗曼蒂克消亡史”，滤除“电影频道”。

最后，对于各效用函数进行并行处理，将最后的结果进行保存并且进行复制，以备后续应用提供优化的数据源。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (2)

1.一种基于用户行为的日志过滤方法，其特征在于，包括以下步骤：

步骤一、将用户行为划分成多种子行为并分配相应的权重，通过分布式日志采集工具获取并存储用户行为的日志信息，提取并滤除低于权重阈值的相应子行为的日志信息；

步骤二、对保留的子行为的日志信息通过效用函数进行并行处理，子行为包括属性信息与指标，指标包括多个具有参数的子指标，所述效用函数建立用户兴趣度与子行为指标的映射关系，针对不同类型的效用函数分别计算用户兴趣度，分别预设定兴趣度阈值，提取并滤除低于兴趣度阈值的子行为相应的日志信息，保留用户偏好的子行为的日志信息，形成推荐结果的优化数据源，存储在数据集群中；

子行为包括用户信息、用户访问时间、页面地址、子行为指标；

子行为指标为多个独立的参数时，步骤二中的效用函数为

根据用户的需求对各参数的权重调整赋值，计算该子行为的用户兴趣度，其中，w_i为子行为β各参数对应的权重，0<w_i<1，y₁.y₂……y_n为子行为β对应的n个参数；

子行为指标为执行与未执行的两个选项时，步骤二中的效用函数为

保留取值为1的选项对应的子行为相应的日志信息；

子行为为搜索行为时，读取用户搜索的关键词，采用语义模型获取关键词的关联词，子行为指标为关键词与关联词的相似度，步骤二中的效用函数为

其中，x代表相似度，从数据集群的历史搜索行为的日志信息中提取取值为1的含有关键词的日志信息，提取不低于相似度阈值的关联词的日志信息。

2.如权利要求1所述的基于用户行为的日志过滤方法，其特征在于，步骤一中，建立用户行为的行为函数，定义多种子行为，根据用户的需求对多种子行为的权重调整赋值，行为函数为

其中，w_i为用户α各子行为对应的权重，0<w_i<1，x₁.x₂……x_m为用户α对应的m种子行为。

Images