CN105550264A - 用户日志收集和处理系统以及方法 - Google Patents

用户日志收集和处理系统以及方法 Download PDF

Info

Publication number
CN105550264A
CN105550264A CN201510906309.1A CN201510906309A CN105550264A CN 105550264 A CN105550264 A CN 105550264A CN 201510906309 A CN201510906309 A CN 201510906309A CN 105550264 A CN105550264 A CN 105550264A
Authority
CN
China
Prior art keywords
daily record
user journal
record data
journal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510906309.1A
Other languages
English (en)
Inventor
许伟刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU TIANPING ADVANCED DIGITAL TECHNOLOGIES Co Ltd
Original Assignee
SUZHOU TIANPING ADVANCED DIGITAL TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU TIANPING ADVANCED DIGITAL TECHNOLOGIES Co Ltd filed Critical SUZHOU TIANPING ADVANCED DIGITAL TECHNOLOGIES Co Ltd
Priority to CN201510906309.1A priority Critical patent/CN105550264A/zh
Publication of CN105550264A publication Critical patent/CN105550264A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及用户日志收集和处理系统，其包括：用户日志采集客户端、用户日志管理服务器和用户日志管理页面，用户日志管理服务器包括：触发器，触发器触发来自用户日志采集客户端的日志数据的日志点；标记模块，标记模块对日志数据进行标记；暂存盘，暂存盘将标记后的日志数据暂时存储；扫描模块，扫描模块中的扫描程序对暂存盘中暂时存储的日志数据进行扫描；分析模块，分析模块分析扫描模块扫描后的日志数据；筛选模块，筛选模块将经过分析模块分析后的日志数据进行筛选，筛选出有用的日志数据和暂时没用的日志数据；数据库，数据库用于存储有用的日志数据。该系统可以分析、暂存、筛选日志数据，解决了数据库的压力。

Description

用户日志收集和处理系统以及方法
技术领域
本发明属于信息技术领域，具体涉及用户日志收集和处理系统以及方法。
背景技术
在系统运行过程中产生日志文件，可以记录系统的运行状况和用户的操作行为，当系统运行缓慢或者异常退出时，可以通过查看日志文件，快速定位问题、修复缺陷，使系统恢复正常运行。并且随着互联网技术的发展，用户日志也成了一个非常重要的信息。
例如，一些大型电子商务网站或者社交网站，可以通过对用户日志的挖掘，通过用户日志找出用户的潜在访问模式，从而设计出更便于用户访问的网页组织模式；然而如何在这些海量的日志中挖掘出对企业有用的信息，并以此作出决策是一项任务庞大而又重要的工作。因为，用户日志是由众多用户生成的，用户日志具有数据源多样性、海量性、传输条件不确定性等特点。
因此，对用户日志进行分析、存储和管理需要配置很高的硬件和技术，随着互联网技术的发展，现在技术领域中，分布式存储和计算已经成为一种流行的用户日志收集和处理方法，但是这种用户日志收集和处理方法即使将数据分类存储，需要存储的数据也还是较为庞大，数据量庞大不但对数据库造成较大的压力，而且读取操作也费时间。
发明内容
为解决上述技术问题，本发明提供了一种用户日志收集和处理系统以及方法，该系统对所有用户日志进行缓冲、暂存再存储，通过该系统可以延迟存储用户日志，并且将有用的用户日志存储起来，解决了数据库的压力。
为达到上述目的，本发明的技术方案如下：
一种用户日志收集和处理系统，其包括：用户日志采集客户端、用户日志管理服务器和用户日志管理页面，所述用户日志采集客户端对若干用户端不同应用的日志进行采集；所述用户日志管理服务器接收所述用户日志采集客户端发送的日志数据，并进行标记、缓存、分析、筛选、存储、存档处理；所述用户日志管理页面提供与用户交互的界面，在所述界面中用户可以查找日志，并且可以对所述用户日志采集客户端和所述用户日志管理服务器进行系统配置和维护，分析用户的操作行为；
所述用户日志管理服务器包括：
触发器，所述触发器触发来自所述用户日志采集客户端的日志数据的日志点；
标记模块，所述标记模块对所述日志数据进行标记；
暂存盘，所述暂存盘将标记后的所述日志数据暂时存储；
扫描模块，所述扫描模块中的扫描程序对所述暂存盘中暂时存储的日志数据进行扫描；
分析模块，所述分析模块分析所述扫描模块扫描后的日志数据；
筛选模块，所述筛选模块将经过所述分析模块分析后的日志数据进行筛选，筛选出有用的日志数据和暂时没用的日志数据；
数据库，所述数据库用于存储有用的日志数据。
在本发明的一个较佳实施例中，进一步包括，所述用户日志采集客户端可根据自定义日志格式、日志类型、日志内容、不同的应用、不同内容不同格式或者其它关键字，有选择地采集日志数据。
在本发明的一个较佳实施例中，进一步包括，所述用户日志管理页面供管理员、普通用户使用。
在本发明的一个较佳实施例中，进一步包括，一种用户日志收集和处理方法，
步骤一、用户在所述用户日志采集客户端产生一个操作行为，操作行为触发所述触发器，从而触发了所述用户日志管理服务器的日志点；
步骤二、日志数据在所述用户日志管理服务器中缓冲，所述标记模块对所述日志数据进行标记；
步骤三、标记后的日志数据暂时存储在所述暂存盘中；
步骤四、所述扫描模块中的扫描程序对暂存后的所述日志数据进行扫描；
步骤五、所述分析模块对经过扫描后的所述日志数据进行分析，然后通过所述筛选模块进行筛选，筛选出有用的日志数据；
步骤六、筛选出来的有用的日志数据存储到所述数据库中，将暂时没用的日志数据存档；
步骤七、所述用户日志管理服务器中的扫描模块定时对存档的数据扫描，重复所述步骤四到步骤六的步骤。
在本发明的一个较佳实施例中，进一步包括，所述数据库中还存储一些不需要显示在所述用户日志管理页面中，但是后续分析需要的数据内容。
在本发明的一个较佳实施例中，进一步包括，步骤五中所述筛选模块完成对日志数据的筛选后间隔10s循环进行步骤四。
在本发明的一个较佳实施例中，进一步包括，步骤五中所述筛选模块的筛选方式包括：对用户日志格式的筛选或对业务内容的筛选，其中，所述对用户日志格式的筛选包括：对应不同的应用、不同业务内容对应的不同格式。
在本发明的一个较佳实施例中，进一步包括，步骤二中所述标记模块对日志数据进行标记，后续具有相同标记的日志数据则无需存储在所述数据库中。
本发明的有益效果是:
本发明的系统对所有用户日志进行缓冲、暂存再存储，通过该系统可以延迟存储用户日志，并且将有用的用户日志存储起来，解决了数据库的压力。
附图说明
为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统框图。
图2为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例中公开了一种用户日志收集和处理系统，其包括：用户日志采集客户端、用户日志管理服务器和用户日志管理页面。
其中，上述用户日志采集客户端对若干用户端不同应用的日志进行采集，上述用户日志采集客户端包括若干个用户端，上述用户日志采集客户端可根据自定义日志格式、日志类型、日志内容、不同的应用、不同内容不同格式或者其它关键字，有选择地采集日志数据。
上述用户日志管理服务器接收上述用户日志采集客户端发送的日志数据，并进行标记、缓存、分析、筛选、存储、存档处理；上述用户日志管理页面提供与用户交互的界面，在上述界面中用户可以查找日志，并且可以对上述用户日志采集客户端和上述用户日志管理服务器进行系统配置和维护，分析用户的操作行为；上述用户日志管理页面可以供管理员、普通用户使用。
具体的，上述用户日志管理服务器包括：触发器、标记模块、暂存盘、扫描模块、分析模块、筛选模块、数据库。
上述触发器触发来自上述用户日志采集客户端的日志数据的日志点；上述标记模块对上述日志数据进行标记；上述暂存盘将标记后的上述日志数据暂时存储；上述扫描模块中的扫描程序对上述暂存盘中暂时存储的日志数据进行扫描；上述分析模块分析上述扫描模块扫描后的日志数据；上述筛选模块将经过上述分析模块分析后的日志数据进行筛选，筛选出有用的日志数据和暂时没用的日志数据；上述数据库用于存储有用的日志数据。
基于上述的用户日志收集和处理系统，在本实施例中，还公开了一种用户日志收集和处理方法，如图2中所示：
步骤一、用户在上述用户日志采集客户端产生一个操作行为，操作行为触发上述触发器，从而触发了上述用户日志管理服务器的日志点。
步骤二、日志数据在上述用户日志管理服务器中缓冲，上述标记模块对上述日志数据进行标记；步骤二中上述标记模块对日志数据进行标记，后续具有相同标记的日志数据则无需存储在上述数据库中。
步骤三、标记后的日志数据暂时存储在上述暂存盘中。
步骤四、上述扫描模块中的扫描程序对暂存后的上述日志数据进行扫描；
步骤五、上述分析模块对经过扫描后的上述日志数据进行分析，然后通过上述筛选模块进行筛选，筛选出有用的日志数据；上述筛选模块的筛选方式包括：对用户日志格式的筛选或对业务内容的筛选，其中，上述对用户日志格式的筛选包括：对应不同的应用、不同业务内容对应的不同格式。
并且，步骤五中上述筛选模块完成对日志数据的筛选后间隔10s循环进行步骤四。
步骤六、筛选出来的有用的日志数据存储到上述数据库中，将暂时没用的日志数据存档；上述数据库中还存储一些不需要显示在上述用户日志管理页面中，但是后续分析需要的数据内容。
步骤七、上述用户日志管理服务器中的扫描模块定时对存档的数据扫描，重复上述步骤四到步骤六的步骤。例如，可以在一个月后或者几天后对存档的数据重新进行扫描，然后分析数据，筛选出有用的数据，将有用的数据存储到数据库中，将暂时没用的数据存档。
上述系统对所有用户日志进行缓冲、暂存再存储，通过该系统可以延迟存储用户日志，并且将有用的用户日志存储起来，解决了数据库的压力。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种用户日志收集和处理系统，其包括：用户日志采集客户端、用户日志管理服务器和用户日志管理页面，所述用户日志采集客户端对若干用户端不同应用的日志进行采集；所述用户日志管理服务器接收所述用户日志采集客户端发送的日志数据，并进行标记、缓存、分析、筛选、存储、存档处理；所述用户日志管理页面提供与用户交互的界面，在所述界面中用户可以查找日志，并且可以对所述用户日志采集客户端和所述用户日志管理服务器进行系统配置和维护，分析用户的操作行为；
其特征在于，所述用户日志管理服务器包括：
触发器，所述触发器触发来自所述用户日志采集客户端的日志数据的日志点；
标记模块，所述标记模块对所述日志数据进行标记；
暂存盘，所述暂存盘将标记后的所述日志数据暂时存储；
扫描模块，所述扫描模块中的扫描程序对所述暂存盘中暂时存储的日志数据进行扫描；
分析模块，所述分析模块分析所述扫描模块扫描后的日志数据；
筛选模块，所述筛选模块将经过所述分析模块分析后的日志数据进行筛选，筛选出有用的日志数据和暂时没用的日志数据；
数据库，所述数据库用于存储有用的日志数据。
2.根据权利要求1所述的用户日志收集和处理系统，其特征在于，所述用户日志采集客户端可根据自定义日志格式、日志类型、日志内容、不同的应用、不同内容不同格式或者其它关键字，有选择地采集日志数据。
3.根据权利要求1所述的用户日志收集和处理系统，其特征在于，所述用户日志管理页面供管理员、普通用户使用。
4.一种用户日志收集和处理方法，该方法基于权利要求1-3任意一项中所述的用户日志收集和处理系统，其特征在于，
步骤一、用户在所述用户日志采集客户端产生一个操作行为，操作行为触发所述触发器，从而触发了所述用户日志管理服务器的日志点；
步骤二、日志数据在所述用户日志管理服务器中缓冲，所述标记模块对所述日志数据进行标记；
步骤三、标记后的日志数据暂时存储在所述暂存盘中；
步骤四、所述扫描模块中的扫描程序对暂存后的所述日志数据进行扫描；
步骤五、所述分析模块对经过扫描后的所述日志数据进行分析，然后通过所述筛选模块进行筛选，筛选出有用的日志数据；
步骤六、筛选出来的有用的日志数据存储到所述数据库中，将暂时没用的日志数据存档；
步骤七、所述用户日志管理服务器中的扫描模块定时对存档的数据扫描，重复所述步骤四到步骤六的步骤。
5.根据权利要求4所述的用户日志收集和处理方法，其特征在于，所述数据库中还存储一些不需要显示在所述用户日志管理页面中，但是后续分析需要的数据内容。
6.根据权利要求4所述的用户日志收集和处理方法，其特征在于，步骤五中所述筛选模块完成对日志数据的筛选后间隔10s循环进行步骤四。
7.根据权利要求4所述的用户日志收集和处理方法，其特征在于，步骤五中所述筛选模块的筛选方式包括：对用户日志格式的筛选或对业务内容的筛选，其中，所述对用户日志格式的筛选包括：对应不同的应用、不同业务内容对应的不同格式。
8.根据权利要求4所述的用户日志收集和处理方法，其特征在于，步骤二中所述标记模块对日志数据进行标记，后续具有相同标记的日志数据则无需存储在所述数据库中。
CN201510906309.1A 2015-12-09 2015-12-09 用户日志收集和处理系统以及方法 Pending CN105550264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510906309.1A CN105550264A (zh) 2015-12-09 2015-12-09 用户日志收集和处理系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510906309.1A CN105550264A (zh) 2015-12-09 2015-12-09 用户日志收集和处理系统以及方法

Publications (1)

Publication Number Publication Date
CN105550264A true CN105550264A (zh) 2016-05-04

Family

ID=55829453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510906309.1A Pending CN105550264A (zh) 2015-12-09 2015-12-09 用户日志收集和处理系统以及方法

Country Status (1)

Country Link
CN (1) CN105550264A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383917A (zh) * 2016-11-11 2017-02-08 苏州天平先进数字科技有限公司 一种基于用户日志的数据处理方法
CN106528798A (zh) * 2016-11-11 2017-03-22 苏州天平先进数字科技有限公司 一种基于用户日志的数据处理系统
CN107239566A (zh) * 2017-06-14 2017-10-10 掌阅科技股份有限公司 用户日志生成方法、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670708A (zh) * 2004-03-17 2005-09-21 联想(北京)有限公司 一种计算机日志的管理方法
CN1677931A (zh) * 2004-04-02 2005-10-05 鸿富锦精密工业（深圳）有限公司 网络日志数据管理系统及方法
US20100082530A1 (en) * 2008-09-19 2010-04-01 Hitachi Software Engineering Co., Ltd. Log management server
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及系统
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103475535A (zh) * 2013-08-23 2013-12-25 汉柏科技有限公司 云计算服务器日志管理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670708A (zh) * 2004-03-17 2005-09-21 联想(北京)有限公司 一种计算机日志的管理方法
CN1677931A (zh) * 2004-04-02 2005-10-05 鸿富锦精密工业（深圳）有限公司 网络日志数据管理系统及方法
US20100082530A1 (en) * 2008-09-19 2010-04-01 Hitachi Software Engineering Co., Ltd. Log management server
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及系统
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103475535A (zh) * 2013-08-23 2013-12-25 汉柏科技有限公司 云计算服务器日志管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383917A (zh) * 2016-11-11 2017-02-08 苏州天平先进数字科技有限公司 一种基于用户日志的数据处理方法
CN106528798A (zh) * 2016-11-11 2017-03-22 苏州天平先进数字科技有限公司 一种基于用户日志的数据处理系统
CN107239566A (zh) * 2017-06-14 2017-10-10 掌阅科技股份有限公司 用户日志生成方法、电子设备及计算机存储介质
CN107239566B (zh) * 2017-06-14 2018-05-15 掌阅科技股份有限公司 用户日志生成方法、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN111309759B (zh) 企业科技项目智能匹配平台
CN103377415A (zh) 一种新的档案数字化管理系统
CN106547894A (zh) 基于移动通信信令大数据挖掘职住位置标签的系统及方法
CN104217276A (zh) 基于规则的自动化审计方法及系统
US20140082001A1 (en) Digital forensic audit system for analyzing user's behaviors
CN105550265A (zh) 一种准实时用户日志收集和处理方法
CN104679827A (zh) 一种基于大数据的公开信息关联方法及挖掘引擎
CN104899143A (zh) 提供数据挖掘的软件同行评审系统实现装置
CN105550264A (zh) 用户日志收集和处理系统以及方法
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN103455896A (zh) 基于物联网的无纸化装配质量控制方法
CN105260452A (zh) 离线日志收集查询和分析系统及方法
CN104750826A (zh) 一种结构化数据资源元数据自动甄别与动态注册方法
CN111461538A (zh) 基于大数据分析的绩效管理系统
CN113190501A (zh) 水利水电工程质量验评电子文件形成及归档方法
CN104766240A (zh) 电子银行业务数据处理系统及方法
Dunn et al. Measured extent of agricultural expansion depends on analysis technique
CN111126957A (zh) 面向检察业务协同流程的检务世系数据采集与集成方法
DE112012000305T5 (de) Gemeinsame Wiederherstellung von Datenquellen
CN107844960B (zh) 一种自动化智能分析商业计划书的投资分析工具
JP7412938B2 (ja) 情報分析装置、情報分析方法、情報分析システムおよびプログラム
CN111176901B (zh) 一种hdfs删除文件恢复方法、终端设备及存储介质
Yasin et al. Exploitation of knowledge mapping benefits in the facilities performance evaluation process: a conceptual framework
CN103778231A (zh) 一种数据银行管理操作记录信息的方法及系统
CN105763530A (zh) 一种基于web的威胁情报采集系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160504