CN104965935A - 网络监控日志的更新方法 - Google Patents

网络监控日志的更新方法 Download PDF

Info

Publication number
CN104965935A
CN104965935A CN201510477454.2A CN201510477454A CN104965935A CN 104965935 A CN104965935 A CN 104965935A CN 201510477454 A CN201510477454 A CN 201510477454A CN 104965935 A CN104965935 A CN 104965935A
Authority
CN
China
Prior art keywords
data
network monitoring
value
daily record
update method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510477454.2A
Other languages
English (en)
Other versions
CN104965935B (zh
Inventor
朱志博
陈宏�
吴善鹏
田国华
雷兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201510477454.2A priority Critical patent/CN104965935B/zh
Publication of CN104965935A publication Critical patent/CN104965935A/zh
Application granted granted Critical
Publication of CN104965935B publication Critical patent/CN104965935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络监控日志的更新方法，更新方法包括以下步骤：获取待更新的网络监控日志，将网络监控日志发送到分布式消息处理系统；分布式计算系统的每个节点从分布式消息处理系统中获取网络监控日志；遍历获取网络监控日志的数据中的key值和value值；根据key值查找相应数据库、表；链接到相应数据库，在相应数据表中查找获取相应的数据；将查找到的数据内容重新封装，并与原始数据组合后存储。本发明的网络监控日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。

Description

网络监控日志的更新方法
技术领域
本发明涉及网络监控日志，尤其是涉及一种网络监控日志的更新方法。
背景技术
随着企业规模的不断扩大、网络带宽的不断增加，相应的网络监控的日志的数量也在不断的增加，网络监控的难度和工作量也随之增大。例如，当发现问题时我们需要知道日志中的ip地址对应的是哪个员工，访问的ip地址是一个什么类型的地址，或者访问的域名是否安全等等，而在现有条件下只能通过查找不同的数据库进行人工关联才能知道以上信息，这显然效率很低。
在大规模的企业网络中，更是由于海量的网络监控日志信息不完善，关联数据分散，导致数据的查询和应用十分不便。
发明内容
本发明要解决的技术问题是为了克服现有技术网络监控日志信息不完善，难以支撑高效率的信息查询的缺陷，提供一种网络监控日志的更新方法。
本发明是通过下述技术方案来解决上述技术问题的：
一种网络监控日志的更新方法，其特点在于，预先建立一对应关系表，所述对应关系表存储有key值、数据表、数据库的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：
S1、获取待更新的网络监控日志，将所述网络监控日志以json格式发送到分布式消息处理系统；
S2、分布式计算系统的每个节点从分布式消息处理系统中获取所述网络监控日志；
S3、遍历获取所述网络监控日志的json格式的数据中的key值和value值；
S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；
S5、链接到S4中查找到的数据库，在相应的数据表中以S3中获取的value值作为检索条件查找获取相应的数据；
S6、将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合；
S7、将组合后的数据存储到一网络日志信息检索系统中。
其中，json格式即JavaScript Object Notation，是一种轻量级的数据交换格式。
较佳地，所述步骤S1中将所述网络监控日志发送到分布式消息处理系统中并以消息队列的形式暂存。
较佳地，所述步骤S2中分布式计算系统的每个节点从分布式消息处理系统中的各个消息队列中依次获取所述网络监控日志。
较佳地，所述网络日志信息检索系统为分布式存储系统。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的网络监控日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。
附图说明
图1为本发明实施例1的网络监控日志的更新方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例的网络监控日志的更新方法中，需预先建立一对应关系表，所述对应关系表存储有key值、数据表、数据库的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值。参考图1所示，所述更新方法还包括以下步骤：
S1、获取待更新的网络监控日志，将所述网络监控日志以json格式发送到分布式消息处理系统；
S2、分布式计算系统的每个节点从分布式消息处理系统中获取所述网络监控日志；
S3、遍历获取所述网络监控日志的json格式的数据中的key值和value值；
S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；
S5、链接到S4中查找到的数据库，在相应的数据表中以S3中获取的value值作为检索条件查找获取相应的数据；
S6、将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合；
S7、将组合后的数据存储到一网络日志信息检索系统中。
其中，步骤S1中将所述网络监控日志发送到分布式消息处理系统中并以消息队列的形式暂存。步骤S2中分布式计算系统的每个节点从分布式消息处理系统中的各个消息队列中依次获取所述网络监控日志。所述网络日志信息检索系统为分布式存储系统。
本实施例中，封装的json格式的数据，其可书写为“组合名称”：“值对”的形式，当多个数据串在一起时，则写为“组合名称”：“值对”，“组合名称”：“值对”，“组合名称”：“值对”，……。例如：{"firstName":"Brett","lastName":"McLaughlin","email":"aaaa"}
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (4)

1.一种网络监控日志的更新方法，其特征在于，预先建立一对应关系表，所述对应关系表存储有key值、数据表、数据库的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：
S1、获取待更新的网络监控日志，将所述网络监控日志以json格式发送到分布式消息处理系统；
S2、分布式计算系统的每个节点从分布式消息处理系统中获取所述网络监控日志；
S3、遍历获取所述网络监控日志的json格式的数据中的key值和value值；
S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；
S5、链接到S4中查找到的数据库，在相应的数据表中以S3中获取的value值作为检索条件查找获取相应的数据；
S6、将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合；
S7、将组合后的数据存储到一网络日志信息检索系统中。
2.如权利要求1所述的更新方法，其特征在于，所述步骤S1中将所述网络监控日志发送到分布式消息处理系统中并以消息队列的形式暂存。
3.如权利要求2所述的更新方法，其特征在于，所述步骤S2中分布式计算系统的每个节点从分布式消息处理系统中的各个消息队列中依次获取所述网络监控日志。
4.如权利要求1所述的更新方法，其特征在于，所述网络日志信息检索系统为分布式存储系统。
CN201510477454.2A 2015-08-06 2015-08-06 网络监控日志的更新方法 Active CN104965935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510477454.2A CN104965935B (zh) 2015-08-06 2015-08-06 网络监控日志的更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510477454.2A CN104965935B (zh) 2015-08-06 2015-08-06 网络监控日志的更新方法

Publications (2)

Publication Number Publication Date
CN104965935A true CN104965935A (zh) 2015-10-07
CN104965935B CN104965935B (zh) 2018-10-12

Family

ID=54219974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510477454.2A Active CN104965935B (zh) 2015-08-06 2015-08-06 网络监控日志的更新方法

Country Status (1)

Country Link
CN (1) CN104965935B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126671A (zh) * 2016-06-27 2016-11-16 安徽科成信息科技有限公司 一种网络日志的更新方法
CN106126672A (zh) * 2016-06-27 2016-11-16 安徽科成信息科技有限公司 一种班班通网络监控日志的更新方法
CN106202253A (zh) * 2016-06-27 2016-12-07 安徽科成信息科技有限公司 一种网络日志在线监测更新方法
CN106202219A (zh) * 2016-06-27 2016-12-07 安徽科成信息科技有限公司 一种网络监控日志的更新方法
CN106354434A (zh) * 2016-08-31 2017-01-25 中国人民大学 日志数据的存储方法及系统
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN110309110A (zh) * 2019-05-24 2019-10-08 深圳壹账通智能科技有限公司 一种大数据日志监控方法及装置、存储介质和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066128A2 (en) * 2003-01-13 2004-08-05 Oracle International Corporation Attribute relevant access control policies
CN101008998A (zh) * 2006-01-24 2007-08-01 中芯国际集成电路制造(上海)有限公司 零部件管理系统
CN101038591A (zh) * 2007-04-11 2007-09-19 华为技术有限公司 数据库同步方法及系统
CN101256561A (zh) * 2007-03-02 2008-09-03 阿里巴巴集团控股有限公司 一种存储、访问数据库数据的方法、装置及系统
CN101425060A (zh) * 2007-11-02 2009-05-06 英业达股份有限公司 数据库的数据表生成方法
CN101452484A (zh) * 2003-06-25 2009-06-10 微软公司 用于寄存和检索可以用来使缓存记录无效的数据库表格变化信息

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066128A2 (en) * 2003-01-13 2004-08-05 Oracle International Corporation Attribute relevant access control policies
CN101452484A (zh) * 2003-06-25 2009-06-10 微软公司 用于寄存和检索可以用来使缓存记录无效的数据库表格变化信息
CN101008998A (zh) * 2006-01-24 2007-08-01 中芯国际集成电路制造(上海)有限公司 零部件管理系统
CN101256561A (zh) * 2007-03-02 2008-09-03 阿里巴巴集团控股有限公司 一种存储、访问数据库数据的方法、装置及系统
CN101038591A (zh) * 2007-04-11 2007-09-19 华为技术有限公司 数据库同步方法及系统
CN101425060A (zh) * 2007-11-02 2009-05-06 英业达股份有限公司 数据库的数据表生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126671A (zh) * 2016-06-27 2016-11-16 安徽科成信息科技有限公司 一种网络日志的更新方法
CN106126672A (zh) * 2016-06-27 2016-11-16 安徽科成信息科技有限公司 一种班班通网络监控日志的更新方法
CN106202253A (zh) * 2016-06-27 2016-12-07 安徽科成信息科技有限公司 一种网络日志在线监测更新方法
CN106202219A (zh) * 2016-06-27 2016-12-07 安徽科成信息科技有限公司 一种网络监控日志的更新方法
CN106354434A (zh) * 2016-08-31 2017-01-25 中国人民大学 日志数据的存储方法及系统
CN106354434B (zh) * 2016-08-31 2019-07-23 中国人民大学 日志数据的存储方法及系统
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN106571960B (zh) * 2016-11-03 2020-05-22 北京农信互联科技有限公司 日志收集管理系统及方法
CN110309110A (zh) * 2019-05-24 2019-10-08 深圳壹账通智能科技有限公司 一种大数据日志监控方法及装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN104965935B (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN104965935A (zh) 网络监控日志的更新方法
CN103473267B (zh) 数据存储查询方法及系统
CN104516979B (zh) 一种基于二次检索的数据查询方法及系统
CN103366015B (zh) 一种基于Hadoop的OLAP数据存储与查询方法
CN105138661A (zh) 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法
AU2017243870B2 (en) "Methods and systems for database optimisation"
CN105608188A (zh) 数据处理方法和数据处理装置
CN103678665A (zh) 一种基于数据仓库的异构大数据整合方法和系统
CN102033910A (zh) 一种基于多数据源的企业搜索引擎技术
CN107895046B (zh) 一种异构数据集成平台
US11238084B1 (en) Semantic translation of data sets
CN104462421A (zh) 基于键-值数据库的多租户扩展方法
CN104462161A (zh) 基于分布式数据库的结构化数据查询方法
CN105630934A (zh) 一种数据统计方法及系统
Ji et al. Ibdp: An industrial big data ingestion and analysis platform and case studies
US9069681B1 (en) Real-time log joining on a continuous stream of events that are approximately ordered
CN107169003B (zh) 一种数据关联方法及装置
CN112579578A (zh) 基于元数据的数据质量管理方法、装置、系统及服务器
CN108133043A (zh) 一种基于大数据的服务器运行日志结构化存储方法
CN104216901A (zh) 信息搜索的方法和系统
Wang et al. Event Indexing and Searching for High Volumes of Event Streams in the Cloud
CN109739883A (zh) 提升数据查询性能的方法、装置和电子设备
Sreekanth et al. Big data electronic health records data management and analysis on cloud with MongoDB: a NoSQL database
CN106126671A (zh) 一种网络日志的更新方法
CN106202219A (zh) 一种网络监控日志的更新方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160204

Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor

Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD.

Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building

Applicant before: Ctrip computer technology (Shanghai) Co., Ltd.

GR01 Patent grant
GR01 Patent grant