CN111666308A - 一种基于行为分析的大数据智能推荐查询方法和系统 - Google Patents

Abstract

本发明提供一种基于行为分析的大数据智能推荐查询方法，所述方法包括如下步骤：S1：从用户日志系统中提取用户的数据查询记录；S2：根据步骤S1中取得的所述数据查询记录进行热点数据分析；S3：根据步骤S2中得到的热点数据分析结果构建查询模型。本发明提供了一种方法通过对用户行为分析技术，有效发现不同业务用户的数据热度，根据用户的行为习惯进行提前推荐数据，实现数据高速查询。

Description

一种基于行为分析的大数据智能推荐查询方法和系统

技术领域

本发明属于互联网信息领域，特别涉及一种基于行为分析的大数据智能推荐查询方法和系统。

背景技术

目前在各种业务系统当中普遍使用传统的关系型数据库Orac l e，由于传统的关系型数据库的特性，随着业务数据积累时间的积累以及每天入库的数据量的增加，业务数据查询的速度也会大大延长，这会严重降低服务器端的日常工作效率和工作进度，影响用户的使用体验，延长用户端信息查询的反应时间。

因此，亟需一种大数据环境下，用户查询快速响应的查询方法。

发明内容

针对上述问题，本发明提供一种基于行为分析的大数据智能推荐查询方法，所述方法包括如下步骤：

S1：从用户日志系统中提取用户的数据查询记录；

S2：根据步骤S1中取得的所述数据查询记录进行热点数据分析；

S3：根据步骤S2中得到的热点数据分析结果构建查询模型。

进一步地，在步骤S2中所述热点数据分析具体包括如下步骤：

S21：从所述数据查询记录中提取用户查询数据的主要条件；

S22：根据步骤S21中所述主要条件，提取用户的浏览兴趣模式和频繁项特征，采用用户隔离模式计算出不同用户行为的操作权重值；

S23：根据步骤S21中所述主要条件，从用户日志系统中提取出用户查询操作的输入、输出参数；

S24：根据步骤S22中所述操作权重值，对用户浏览数据查询功能次数和对应的查询条件出现次数计算操作权重值，并将操作权重值、查询功能、查询条件、用户信息形成用户行为模型，并对模型进行归档处理；

S25：根据步骤S24中形成的用户行为模型、步骤S23中从用户日志系统中提取得到的输入、输出参数，将操作权值满足指定阈值的用户模型数据对应的源数据作为用户热点数据。

进一步地，步骤S22具体包括如下步骤:

S221:按照定量统计法，把查询条件赋值为m，兴趣模式赋值为n，则兴趣模式和频繁项特征的权重比分别为：

S222:根据步骤S221兴趣模式和频繁项特征的权重比计算兴趣模式和频繁项特征的操作权重值：

其中，x为兴趣模式出现次数,y为频繁项特征出现次数；

S223：根据兴趣模式和频繁项特征权重大小，采用基于内容的推荐算法，获取与用户爱好一致性较高的数据：

用户u的兴趣爱好向量ContentBasedProfile(u)可由如下公式得到：

其中N(u)是用户之前查询的数据集合；simd∈N(u)Content(i[1,m])表示用户数据偏好相似度；Content(i[1,m])表示兴趣模式权重和/或频繁项特征权重前m个内容向量；

一个新数据项j与用户u喜好的相似度p(u,j)可由如下公式得到：

p(u,j)＝sim(ContentBasedProfile(u),Content(j))。

进一步地，在步骤S3中，构建查询模型包括如下步骤：

S31：统一日志输出数据结构，统一日志输出位置；

S32：在步骤S31中统一日志输出数据结构之后的日志输出位置，根据步骤S2中得到的热点数据分析结果创建数据查询模型；

S33：日志数据持久化。

进一步地，在步骤S31中，所述统一日志输出数据结构，统一日志输出位置具体包括如下步骤：

S311：重新组织日志分析的数据结构；根据步骤S2中得到热点数据分析结果所需的数据参数，添加新的日志数据；所述日志数据包括用户名称、用户操作模块类型、用户操作时间、用户输入和输出参数。

进一步地，在步骤S33中，所述日志数据持久化包括如下步骤：

S331：配置日志数据的持久化范围；对用户的一种或多种操作进行持久化控制；

S332：对用户日志数据进行过滤清洗；将步骤S321中持久化控制的日志数据进行采集，并对采集到的日志数据根据有效日志规则进行筛选，获取有效的日志数据；

S333：存储清洗后的日志数据；将清洗过后的有效的日志数据写入日志持久化队列中，由所述日志持久化队列的消费者对日志数据进行处理；

S334：日志数据入库；当所述日志持久化队列的消费者监控到队列中有所述日志数据进入时，按照队列的入队顺序循环弹出，将得到的所述日志数据写入到数据库中存储。

进一步地，方法还包括：包括步骤S4，所述步骤S4包括：从构建得到的所述查询模型中提取查询数据推送给用户。

进一步地，在步骤S4中，所述查询模型通过设置过滤条件提取所述查询数据。

进一步地，所述过滤条件为话单数据；所述话单数据包括局点数据、局向数据、电话呼叫时间数据、来源地数据、被叫地数据、话题分类数据、通话时长数据、模板号数据、状态数据中的一种或多种。

本发明还提供了一种用于实现上述行为分析的大数据智能推荐查询方法的系统，所述系统包括：

数据源提取模块，所述数据源提取模块用于从用户日志系统中提取用户的数据查询记录；

数据分析模块，所述数据分析模块与所述数据源提取模块相连，用于进行热点数据分析；

数据建模模块，所述数据建模模块与所述数据分析模块相连，用于构建查询模型；

数据推送模块，所述数据推送模块与所述数据建模模块相连，用于从构建得到的所述查询模型中提取查询数据推送给用户。

本发明提供了一种基于行为分析的大数据智能推荐查询方法和系统，通过对系统用户行为分析技术，有效发现不同业务用户的数据热度，根据用户的行为习惯进行提前推荐数据，通过对数据热度的不同自动优化数据查询模型，实现数据高速查询，在用户查询相应数据时，可以在极短的时间内进行快速查询到对应结果，同时有针对性的向用户推送关联性高的信息。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中的一种基于行为分析的大数据智能推荐查询方法的流程图；

图2示出了本发明实施例中的一种用于实现基于行为分析的大数据智能推荐查询方法的系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决用户在工作中数据查询速度过慢的问题，本发明对现有系统进行改造，根据用户的行为习惯进行提前推荐数据，在用户查询相应数据时可以在极短的时间内进行快速查询到对应结果。

本发明实施例可通过对系统用户行为分析技术，有效发现不同业务用户的数据热度，通过对数据热度的不同自动优化数据查询模型，实现数据高速查询。本发明实施例以通信行业中呼叫详细记录为例，对用户查询呼叫记录时的数据推荐方法进行说明，但不限于通信行业或呼叫记录。

如图1所示，本发明提供一种基于行为分析的大数据智能推荐查询方法，包括如下步骤：

S1：从用户日志系统中分析用户操作过程日志；数据查询记录为用户操作日志文件。以天为单位，提取所有用户的操作数据和输入数据，以用户为单位将用户的操作数据和输入数据进行清洗分组。

S2：根据步骤S1中取得的所述数据查询记录进行热点数据分析。分析每个用户使用系统各类数据的使用频率，按照指定规则得到用户使用频率较高的热点数据。

S3：据步骤S2中得到的热点数据分析结果构建查询模型。根据步骤S2中的到的多用户数据使用热点数据，构建符合该每个用户对应相关类型数据的查询模型。

S4：从步骤S3中构建得到的所述查询模型中提取查询数据推送给用户。从步骤S3中构建得到的多用户多数据模型，将模型转化为具体的相关数据。根据用户的不同业务类型，将对应模型的数据推送给用户。达到数据智能推荐的目的，使用户在工作中可以更加快捷方便地得到与自己业务相关的数据。

在步骤S2中，所述热点数据分析使用基于内容相似度的推荐算法。

在本发明中，基于内容相似度的推荐主要包括把用户喜欢看的数据记录相似数据推荐给用户。基于内容的推荐算法的主要优势在于无冷启动问题，不需要用户手动输入推荐数据类型，只要用户产生了初始的历史数据，就可以开始进行推荐的计算。而且随着用户的浏览记录数据的增加，这种推荐也会越来越准确。

对于热点数据的分析具体包括如下步骤：

S21：从所述数据查询记录中提取用户查询数据的主要条件；从日志系统中提取用户历史查询记录，在服务器端可以从这些用户历史查询的数据中提取能代表查询数据的主要条件，从所述条件入手发掘用户的浏览习惯。本实施例中，能代表查询数据的主要条件包括有：来源地信息、被叫地信息、话题分类信息、局点信息、局向信息。以上述条件为基础提取用户历史查询记录。

S22：根据步骤S21中所述主要条件，提取用户浏览兴趣模式和频繁项特征，采用用户隔离模式计算出不同用户行为的操作权重值；兴趣模式为用户查询的数据种类，即用户浏览哪种数据查询功能；频繁项特征为用户频繁使用的查询条件，即用户经常使用哪些查询条件进行数据查询操作；权重操作指用户使用的查询功能和查询条件的使用次数。本发明实施例中，用户隔离模式是指分别分析每个用户的查询历史数据，具体地，可以根据查询记录中的用户标识区分用户查询数据。

S23：根据步骤S21中所述主要条件，从用户日志系统中提取用户查询操作的输入、输出参数。所述参数包括来源地信息参数、被叫地信息参数、话题分类信息参数、局点信息参数、局向信息参数等参数。

S24：根据步骤S22中所述操作权重值，对用户浏览数据查询功能次数和对应的查询条件出现次数计算操作权重值，并将操作权重值、查询功能、查询条件、用户信息形成用户行为模型，并对模型进行归档处理。

S25：根据步骤S24中形成的用户行为模型、步骤S23中从用户日志系统中提取得到的查询参数数据，包括所述输入、输出参数，根据用户的输入输出参数确认用户关注的数据范围，将操作权重值满足指定阈值的用户模型对应的源数据作为用户热点数据。本发明实施例中，按照操作权重值的大小顺序，取权重平均值大于0.6以上的用户行为模型，将该模型对应的源数据，即指跟模型匹配的源数据作为用户的热点数据。需要满足的阈值条件可以根据用户需要自动调整，根据系统的计算能力、数据量、热点数据提取效果做适应性设置。

进一步地，步骤S22具体包括如下步骤:

S221:按照定量统计法，把查询条件赋值为m，兴趣模式赋值为n，则兴趣模式和频繁项特征的权重比分别为：

S222:根据步骤S221兴趣模式和频繁项特征的权重比计算兴趣模式和频繁项特征的操作权重值：

其中，x为兴趣模式出现次数,y为频繁项特征出现次数；

由此得到业务用户浏览兴趣模式和频繁项特征，计算出业务用户习惯的操作权重值；本发明实施例中，综合考虑了用户浏览数据时涉及的多个维度，包括数据种类和查询条件，通过兴趣模式和频繁项特征来提取这两个维度的数据，并对像个维度进行权重计算，数据种类包含了系统为用户提供的可选择数据，查询条体现了用户自定义兴趣所在，综合两方面的数据记录，综合分析，使得热点数据提取更加符合数据业务环境和用户真实意愿。

S223：根据兴趣模式和频繁项特征权重大小，采用基于内容的推荐算法，获取与用户爱好一致性较高的数据。具体地，从不同用户权重较高的兴趣模式和频繁项特征中，按照权重从大到小的顺序排列得到内容向量范围，从源数据中抽取与用户爱好一致性较高的数据。

用户u的兴趣爱好向量ContentBasedProfile(u)可由如下公式得到：

其中N(u)是用户已有的查询数据集合；Content(*)表示所有数据的内容向量，Content(i[1,m])表示兴趣模式权重和/或频繁项特征权重前m个内容向量。本发明实施例中，向量数量可手动设置；兴趣模式向量可以包括：来源地、被叫地、话题分类、局点、局向等数据；simd∈N(u)Content(i[1,m])表示用户数据偏好相似度；

一个新数据项j与用户u喜好的相似度p(u,j)可由如下公式得到：

p(u,j)＝sim(ContentBasedProfile(u),Content(j))

通常采用向量夹角的余弦距离计算新数据项与用户喜好的相似度；基于内容的推荐算法中，阈值设定提出了用户行为特征与源数据的匹配问题，从而精确地计算新数据内容向量Content(j)。本发明实施例，基于用户已有数据计算兴趣爱好向量，新数据基于用户已有兴趣爱好向量计算相似度，能够对新数据与用户兴趣的匹配度进行快速评估。并随着用户使用量的增加，对用户感兴趣的数据的提取更加准确。

在步骤S3中，构建查询模型包括如下步骤：

S31：统一日志输出数据结构，统一日志输出位置；

S32：在步骤S31中统一日志输出数据结构之后的日志输出位置，根据步骤S2中得到的热点数据分析结果创建数据查询模型；

S33：日志数据持久化。

在步骤S31中，所述统一日志输出数据结构，统一日志输出位置具体包括如下步骤：

S311：重新组织日志分析的数据结构；根据步骤S2中得到热点数据分析结果所需的数据参数，添加新的日志数据；所述日志数据包括用户名称、用户操作模块类型、用户操作时间、用户输入和输出参数；

在步骤S33中，日志数据持久化包括如下步骤：

S331：配置日志数据的持久化范围；对所述业务用户的一种或多种操作进行持久化控制；

S332：对用户日志数据进行过滤清洗；将步骤S321中持久化控制的日志数据进行采集，并对采集到的日志数据根据有效日志规则进行筛选，获取有效的日志数据；

S333：存储清洗后的日志数据；将清洗过后的有效的日志数据写入日志持久化队列中，由所述日志持久化队列的消费者对日志数据进行处理；消费者就是从队列中获取数据进行处理的程序实体，即消费数据的线程。

S334：日志数据入库；当所述日志持久化队列的消费者监控到队列中有所述日志数据进入时，按照队列的入队顺序循环弹出，将得到的所述日志数据写入到数据库中存储。

本发明实施例中，对日志数据进行结构组织，规范记录，方便管理维护，并能够根据日志记录字段进行查询，方便综合利用日志数据。在持久化之前进行清洗，可以减少脏数据，提高数据准确度，减少占用空间，提高查询效率。日志持久化采用消费者模式，能够适应不断新增的数据项分析提取，需要进行持久化的数据方便及时存入数据库，无数据存储时可以避免占用数据库连接资源。

通过对完整日志数据的过滤筛选操作，去掉与建模不相关的脏数据，提高数据精确度和利用价值，提高推荐数据的准确度。

进一步地，步骤S4包括：从构建得到的所述查询模型中提取查询数据推送给业务用户，查询模型可以通过设置过滤条件提取所述查询数据。示例性地，过滤条件为话单数据；所述话单数据包括局点数据、局向数据、电话呼叫时间数据、来源地数据、被叫地数据、话题分类数据、通话时长数据、模板号数据、状态数据中的一种或多种。

基于上述方法，本发明实施例还提供一种基于行为分析的大数据智能推荐查询方法的系统，系统包括：

数据源提取模块，所述数据源提取模块用于从用户日志系统中提取用户的数据查询记录。数据查询记录为用户操作日志文件。以天为单位，提取所有用户的操作数据和输入数据，以用户为单位将用户的操作数据和输入数据进行清洗分组。

数据分析模块，所述数据分析模块与所述数据源提取模块相连，用于进行热点数据分析；所述数据分析模块根据用户浏览兴趣模式和频繁项特征，采用用户隔离模式计算出不同用户行为的操作权重值，根据权重值提取用户热点数据，即源数据。源数据提取过程可以根据上述方法实施例中的S2的具体步骤实现。

数据建模模块，所述数据建模模块与所述数据分析模块相连，用于构建查询模型；多用户数据使用热点数据，构建符合该每个用户对应相关类型数据的查询模型，将热点数据分析结果进行高效精炼的持久化操作，具体可以根据上述方法S3步骤实现。

数据推送模块，所述数据推送模块与所述数据建模模块相连，用于从构建得到的所述查询模型中提取查询数据推送给业务用户。查询模型可以通过设置过滤条件提取所述查询数据。

本发明实施例提供的方法和系统，能够基于不同用户的历史记录，提取用户热点数据，分析用户使用的兴趣点，并构建查询模型，基于查询模型可以智能得为用户提供推荐数据。对用户兴趣数据的预先分析，能够大大降低用户实时查询获取新数据的反应时间，提高用户体验度，降低数据库的压力。并能够促进信息的高效传递。本发明实施例的系统和方法，充分考虑了系统数据类型和用户查询条件等多方面因素，并采用基于内容推荐算法，基于用户使用历史数据，智能提取热点数据，分析不同用户模型中的用户使用习惯，获取查询模型。查询模型精准可靠，方便基于已有计算结果分析新数据项，持续更新。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于行为分析的大数据智能推荐查询方法，其特征在于，所述方法包括如下步骤：

S1：从用户日志系统中提取用户的数据查询记录；

S2：根据步骤S1中取得的所述数据查询记录进行热点数据分析；

S3：根据步骤S2中得到的热点数据分析结果构建查询模型。

2.根据权利要求1所述的基于行为分析的大数据智能推荐查询方法，其特征在于，在步骤S2中所述热点数据分析具体包括如下步骤：

S21：从所述数据查询记录中提取用户查询数据的主要条件；

S22：根据步骤S21中所述主要条件，提取用户的浏览兴趣模式和频繁项特征，采用用户隔离模式计算出不同用户行为的操作权重值；

S23：根据步骤S21中所述主要条件，从用户日志系统中提取出用户查询操作的输入、输出参数；

S24：根据步骤S22中所述操作权重值，对用户浏览数据查询功能次数和对应的查询条件出现次数计算操作权重值，并将操作权重值、查询功能、查询条件、用户信息形成用户行为模型，并对模型进行归档处理；

S25：根据步骤S24中形成的用户行为模型、步骤S23中从用户日志系统中提取得到的输入、输出参数，将操作权值满足指定阈值的用户模型数据对应的源数据作为用户热点数据。

3.根据权利要求2所述的基于行为分析的大数据智能推荐查询方法，其特征在于，步骤S22具体包括如下步骤:

S221:按照定量统计法，把查询条件赋值为m，兴趣模式赋值为n，则兴趣模式和频繁项特征的权重比分别为：

S222:根据步骤S221兴趣模式和频繁项特征的权重比计算兴趣模式和频繁项特征的操作权重值：

其中，x为兴趣模式出现次数,y为频繁项特征出现次数；

S223：根据兴趣模式和频繁项特征权重大小，采用基于内容的推荐算法，获取与用户爱好一致性较高的数据：

用户u的兴趣爱好向量ContentBasedProfile(u)可由如下公式得到：

其中N(u)是用户之前查询的数据集合；sim_d∈N(u)Content(i[1,m])表示用户数据偏好相似度；Content(i[1,m])表示兴趣模式权重和/或频繁项特征权重前m个内容向量；

一个新数据项j与用户u喜好的相似度p(u,j)可由如下公式得到：

p(u,j)＝sim(ContentBasedProfile(u),Content(j))。

4.根据权利要求3所述的基于行为分析的大数据智能推荐查询方法，其特征在于，在步骤S3中，构建查询模型包括如下步骤：

S31：统一日志输出数据结构，统一日志输出位置；

S32：在步骤S31中统一日志输出数据结构之后的日志输出位置，根据步骤S2中得到的热点数据分析结果创建数据查询模型；

S33：日志数据持久化。

5.根据权利要求3所述的基于行为分析的大数据智能推荐查询方法，其特征在于，在步骤S31中，统一日志输出数据结构，统一日志输出位置具体包括如下步骤：

S311：重新组织日志分析的数据结构；根据步骤S2中得到热点数据分析结果所需的数据参数，添加新的日志数据；所述日志数据包括用户名称、用户操作模块类型、用户操作时间、用户输入和输出参数。

6.根据权利要求3所述的基于行为分析的大数据智能推荐查询方法，其特征在于，在步骤S33中，所述日志数据持久化包括如下步骤：

S331：配置日志数据的持久化范围；对用户的一种或多种操作进行持久化控制；

S332：对用户日志数据进行过滤清洗；将步骤S321中持久化控制的日志数据进行采集，并对采集到的日志数据根据有效日志条件进行筛选，获取有效的日志数据；

S333：存储清洗后的日志数据；将清洗过后的有效的日志数据写入日志持久化队列中，由日志持久化队列的消费者对日志数据进行处理；

S334：日志数据入库；当日志持久化队列的消费者监控到队列中有所述日志数据进入时，按照队列的入队顺序循环弹出，将得到的所述日志数据写入到数据库中存储。

7.根据权利要求4所述的基于行为分析的大数据智能推荐查询方法，其特征在于，

还包括步骤S4，所述步骤S4包括：从构建得到的所述查询模型中提取查询数据推送给用户。

8.根据权利要求1所述的基于行为分析的大数据智能推荐查询方法，其特征在于，

在步骤S4中，所述查询模型通过设置过滤条件提取所述查询数据。

9.根据权利要求8所述的基于行为分析的大数据智能推荐查询方法，其特征在于，

所述过滤条件为话单数据；所述话单数据包括局点数据、局向数据、电话呼叫时间数据、来源地数据、被叫地数据、话题分类数据、通话时长数据、模板号数据、状态数据中的一种或多种。

10.一种用于实现权利要求1至9任意一项所述的基于行为分析的大数据智能推荐查询方法的系统，其特征在于，所述系统包括：

数据源提取模块，所述数据源提取模块用于从用户日志系统中提取用户的数据查询记录；

数据分析模块，所述数据分析模块与所述数据源提取模块相连，用于进行热点数据分析；

数据建模模块，所述数据建模模块与所述数据分析模块相连，用于构建查询模型；

数据推送模块，所述数据推送模块与所述数据建模模块相连，用于从构建得到的所述查询模型中提取查询数据推送给用户。

Images