CN106126671A - 一种网络日志的更新方法 - Google Patents
一种网络日志的更新方法 Download PDFInfo
- Publication number
- CN106126671A CN106126671A CN201610490855.6A CN201610490855A CN106126671A CN 106126671 A CN106126671 A CN 106126671A CN 201610490855 A CN201610490855 A CN 201610490855A CN 106126671 A CN106126671 A CN 106126671A
- Authority
- CN
- China
- Prior art keywords
- data
- value
- daily record
- tables
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种网络日志的更新方法，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，本发明的有益效果是：本发明的网络日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。
Description
技术领域
本发明涉及网络监控日志，尤其是涉及一种网络日志的更新方法。
背景技术
随着企业规模的不断扩大、网络带宽的不断增加，相应的网络监控的日志的数量也在不断的增加，网络监控的难度和工作量也随之增大。例如，当发现问题时我们需要知道日志中的ip地址对应的是哪个员工，访问的ip地址是一个什么类型的地址，或者访问的域名是否安全等等，而在现有条件下只能通过查找不同的数据库进行人工关联才能知道以上信息，这显然效率很低。
发明内容
本发明是为克服现有技术的不足而提供的一种网络日志的更新方法。
本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。将组合后的数据存储到一网络日志信息检索系统中。
作为本发明的进一步改进，从所述动态库文件的每个系统文件的Hash值形成的序列中，形成所述可信文件列表。
作为本发明的进一步改进，所述动态库可动态申请多个所述系统文件的Hash值。
本发明的有益效果是：本发明的网络日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。
附图说明
图1为本发明的流程框图。
具体实施方式
下面结合附图，对本发明做进一步的说明。
如图1所示。实施例1：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。
实施例2：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。在相应的数据表中以所述S3步骤中获取的value值作为检索条件查找获取相应的数据。
实施例3：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合。
实施例4：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。将组合后的数据存储到一网络日志信息检索系统中。
实施例5：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。从所述动态库文件的每个系统文件的Hash值形成的序列中，，形成所述可信文件列表。
实施例6：本发明采用的技术方案是：一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。所述动态库可动态申请多个所述系统文件的Hash值。
本领域技术人员应当知晓，本发明的保护方案不仅限于上述的实施例，还可以在上述实施例的基础上进行各种排列组合与变换，在不违背本发明精神的前提下，对本发明进行的各种变换均落在本发明的保护范围内。
Claims (3)
1.一种网络日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理系统；S2、消息处理系统的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得系统磁盘中每个系统文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表；将组合后的数据存储到一网络日志信息检索系统中。
2.根据权利要求1所述的网络日志的更新方法，其特征在于，从所述动态库文件的每个系统文件的Hash值形成的序列中，，形成所述可信文件列表。
3.根据权利要求1所述的网络日志的更新方法，其特征在于，所述动态库可动态申请多个所述系统文件的Hash值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610490855.6A CN106126671A (zh) | 2016-06-27 | 2016-06-27 | 一种网络日志的更新方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610490855.6A CN106126671A (zh) | 2016-06-27 | 2016-06-27 | 一种网络日志的更新方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106126671A true CN106126671A (zh) | 2016-11-16 |
Family
ID=57285222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610490855.6A Withdrawn CN106126671A (zh) | 2016-06-27 | 2016-06-27 | 一种网络日志的更新方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106126671A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241014A (zh) * | 2018-07-04 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和服务器 |
| CN110618996A (zh) * | 2019-08-07 | 2019-12-27 | 北京东方国信科技股份有限公司 | 一种应用于分布式数据库的函数库热更新方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040243555A1 (en) * | 2003-05-30 | 2004-12-02 | Oracle International Corp. | Methods and systems for optimizing queries through dynamic and autonomous database schema analysis |
| US20080282171A1 (en) * | 2007-05-07 | 2008-11-13 | Coldbrook Business Corp. | System and method for production of online magazines |
| US20100318527A1 (en) * | 2009-05-26 | 2010-12-16 | Sagnik Nandy | Dynamically generating aggregate tables |
| CN102930207A (zh) * | 2012-04-27 | 2013-02-13 | 北京金山安全软件有限公司 | 一种api日志监控方法及装置 |
| CN103379140A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志处理规则同步方法及相关设备和系统 |
| CN104965935A (zh) * | 2015-08-06 | 2015-10-07 | 携程计算机技术（上海）有限公司 | 网络监控日志的更新方法 |
-
2016
- 2016-06-27 CN CN201610490855.6A patent/CN106126671A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040243555A1 (en) * | 2003-05-30 | 2004-12-02 | Oracle International Corp. | Methods and systems for optimizing queries through dynamic and autonomous database schema analysis |
| US20080282171A1 (en) * | 2007-05-07 | 2008-11-13 | Coldbrook Business Corp. | System and method for production of online magazines |
| US20100318527A1 (en) * | 2009-05-26 | 2010-12-16 | Sagnik Nandy | Dynamically generating aggregate tables |
| CN103379140A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志处理规则同步方法及相关设备和系统 |
| CN102930207A (zh) * | 2012-04-27 | 2013-02-13 | 北京金山安全软件有限公司 | 一种api日志监控方法及装置 |
| CN104965935A (zh) * | 2015-08-06 | 2015-10-07 | 携程计算机技术（上海）有限公司 | 网络监控日志的更新方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241014A (zh) * | 2018-07-04 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和服务器 |
| CN109241014B (zh) * | 2018-07-04 | 2022-04-15 | 创新先进技术有限公司 | 数据处理方法、装置和服务器 |
| CN110618996A (zh) * | 2019-08-07 | 2019-12-27 | 北京东方国信科技股份有限公司 | 一种应用于分布式数据库的函数库热更新方法 |
| CN110618996B (zh) * | 2019-08-07 | 2023-08-22 | 北京东方国信科技股份有限公司 | 一种应用于分布式数据库的函数库热更新方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kadadi et al. | Challenges of data integration and interoperability in big data | |
| IL273860A (en) | Event context management system | |
| TWI662426B (zh) | 分布式流式資料處理的方法和裝置 | |
| CN106168965B (zh) | 知识图谱构建系统 | |
| CN103714134B (zh) | 一种网络流量数据索引方法及系统 | |
| CN104331435B (zh) | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 | |
| CN104965935B (zh) | 网络监控日志的更新方法 | |
| CN105138661A (zh) | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 | |
| CN105072196B (zh) | 分布式数据包存储、回溯方法及系统 | |
| CN106980669A (zh) | 一种数据的存储、获取方法及装置 | |
| CN106156328A (zh) | 一种银行运行日志数据监控方法及系统 | |
| CN104216962A (zh) | 一种基于HBase的海量网管数据索引设计方法 | |
| CN104462161A (zh) | 基于分布式数据库的结构化数据查询方法 | |
| CN103455335A (zh) | 一种多级分类的Web实现方法 | |
| CN108133043B (zh) | 一种基于大数据的服务器运行日志结构化存储方法 | |
| CN105898204A (zh) | 视频结构化智能录像机 | |
| CN112134719A (zh) | 一种分析基站安全日志的方法和系统 | |
| Sarlis et al. | Datix: A system for scalable network analytics | |
| CN106126671A (zh) | 一种网络日志的更新方法 | |
| CN106202219A (zh) | 一种网络监控日志的更新方法 | |
| US10162842B2 (en) | Data partition and transformation methods and apparatuses | |
| CN106126672A (zh) | 一种班班通网络监控日志的更新方法 | |
| KR101830504B1 (ko) | 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템 | |
| CN106202253A (zh) | 一种网络日志在线监测更新方法 | |
| CN107341198A (zh) | 一种基于主题实例的电力海量数据存储和查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20161116 |