CN103236938A - 一种基于缓存及异步处理技术的用户行为采集方法及系统 - Google Patents

Abstract

本发明公开了一种基于缓存及异步处理技术的用户行为采集方法及系统，该方法：S1、将用户请求数据记录到缓存中；S2、判断缓存中的内容是否超过指定大小，若超过，将缓存中的用户请求数据批量写入日志文件中，若不超过，继续将用户请求数据记录到缓存中；S3、系统闲时，激活数据采集模块，读取日志记录模块在忙时记录的用户访问日志，分析用户请求数据，匹配用户操作，将分析后的数据存储到数据库中。该系统包括：日志记录模块，用于批量记录缓存在内存中并超过指定大小的用户请求数据；数据采集模块,用于在系统闲时分析日志中用户请求数据，匹配用户操作，将分析后的用户请求数据储存到数据库。

Description

一种基于缓存及异步处理技术的用户行为采集方法及系统

技术领域

本发明涉及网络技术，特别涉及一种基于缓存及异步处理技术的用户行为采集方法及系统。

背景技术

通过互联网访问的WEB应用系统的过程中，现有技术在进行用户请求数据采集时会对用户提交的请求进行实时分析及存储，由于web应用系统通常访问量及并发量非常大，实时的用户请求分析及存储，会极大的影响服务器性能，导致系统响应变慢，影响用户体验。

发明内容

本发明的目的是为了克服现有技术中的不足之处，提供一种能够减少系统忙时的数据采集压力，并且在系统闲时可以充分利用系统资源的基于缓存及异步处理技术的用户行为采集方法及系统。

为了达到上述目的，本发明采用以下方案：

一种基于缓存及异步处理技术的用户行为采集方法，其特征在于包括：

S1、将用户请求数据记录到缓存中；

S2、判断缓存中的内容是否超过指定大小，若超过，将缓存中的用户请求数据批量写入日志文件中，若不超过，继续将用户请求数据记录到缓存中；

S3、系统闲时，激活数据采集模块，读取日志记录模块在忙时记录的用户访问日志，分析用户请求数据，匹配用户操作，将分析后的数据存储到数据库中。

如上所述的一种基于缓存及异步处理技术的用户行为采集方法，其特征在于所述的用户请求数据包括用户IP、访问时间、请求地址、业务数据。

一种基于缓存及异步处理技术的用户行为采集系统，其特征在于包括：

日志记录模块，用于批量记录缓存在内存中并超过指定大小的用户请求数据；

数据采集模块,用于在系统闲时分析日志中用户请求数据，匹配用户操作，将分析后的用户请求数据储存到数据库。

综上所述，本发明的有益效果：

一、本发明采用缓存及异步处理技术，对于每次请求数据采集都是针对内存进行操作的，平均下来每一次请求的实时消耗趋向于零，在高流量高并发访问下，本发明所带来的优势越发明显，能够非常明显的减少系统忙时的数据采集压力，并且在系统闲时可以充分利用系统资源。

二、本发明中日志记录模块中每个用户请求并非实时记录到日志文件中，而是先缓存到内存中，当缓存内容达到指定的大小时，才进行写入日志文件，缓存的使用避免了频繁的磁盘读写操作，批量的写入有效节省了系统资源。

三、数据采集模块：本发明在收到用户请求后仅仅将用户请求信息（包括IP、访问时间、请求地址、业务数据）记录到日志文件中，系统在闲时再激活数据采集模块对日志文件进行异步分析处理，分析完毕以后再存入数据库，极大减少了实时分析及存储所带来的性能消耗，减少忙时的系统压力。

附图说明

图1为本发明基于缓存及异步处理技术的用户行为采集方法的流程图；

图2为本发明基于缓存及异步处理技术的用户行为采集系统的方框图。

具体实施方式

本发明公开一种基于缓存及异步处理技术的用户行为采集方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对结合附图以及具体实施方式本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为于缓存及异步处理技术的用户行为采集方法的流程图，如图所示，本发明一种基于缓存及异步处理技术的用户行为采集方法，包括：

S1、将用户请求数据记录到缓存中；

S2、判断缓存中的内容是否超过指定大小，若超过，将缓存中的用户请求数据批量写入日志文件中，若不超过，继续将用户请求数据记录到缓存中；

当缓存中的用户请求数据总量超过指定大小时，将用户IP、访问时间、请求地址、业务数据等用户请求信息批量记录到日志文件中，缓存的使用避免了频繁的磁盘读写操作，批量的写入有效节省了系统资源，有效减少系统忙时的数据采集压力。

S3、系统闲时，激活数据采集模块，读取日志记录模块在忙时记录的用户访问日志，分析用户请求数据，匹配用户操作，将分析后的数据存储到数据库中。

本发明所公开的用户行为采集方法，在用户提交请求时只需将用户的请求信息以缓存的方式记录到日志文件中，在系统闲时再对日志文件进行分析和数据存储，极大的减少了实时分析及实时存储所带来的性能消耗，在基本不影响系统响应能力的情况下完成更全面更完善的用户请求数据采集。

本发明还公开一种基于缓存及异步处理技术的用户行为采集系统，如图2所示，包括：

日志记录模块110，用于批量记录缓存在内存中并超过指定大小的用户请求数据；

日志记录模块110，判断缓存中的内容是否超过指定大小，若超过，将缓存中的用户IP、访问时间、请求地址、业务数据等用户请求数据批量写入日志文件中，若不超过，继续将用户请求数据记录到缓存中。具体与上述方法中步骤S2相同。

数据采集模块120,用于在系统闲时分析日志中用户请求数据，匹配用户操作，将分析后的用户请求数据储存到数据库。

数据采集模块120，在系统闲时，数据采集模块被激活，读取日志记录模块在忙时记录的用户访问日志，分析用户请求数据，匹配用户操作，将分析后的数据存储到数据库中。具体与上述方法中步骤S3相同。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于缓存及异步处理技术的用户行为采集方法，其特征在于包括：

S1、将用户请求数据记录到缓存中；

S2、判断缓存中的内容是否超过指定大小，若超过，将缓存中的用户请求数据批量写入日志文件中，若不超过，继续将用户请求数据记录到缓存中；

S3、系统闲时，激活数据采集模块，读取日志记录模块在忙时记录的用户访问日志，分析用户请求数据，匹配用户操作，将分析后的数据存储到数据库中。

2.根据权利要求1所述的一种基于缓存及异步处理技术的用户行为采集方法，其特征在于步骤S2中所述的用户请求数据包括用户IP、访问时间、请求地址、业务数据。

3.一种基于缓存及异步处理技术的用户行为采集系统，其特征在于包括：

日志记录模块，用于批量记录缓存在内存中并超过指定大小的用户请求数据；

数据采集模块,用于在系统闲时分析日志中用户请求数据，匹配用户操作，将分析后的用户请求数据储存到数据库。

Images