CN106789232B - 一种高效的信息流程化的处理控制系统 - Google Patents

一种高效的信息流程化的处理控制系统 Download PDF

Info

Publication number
CN106789232B
CN106789232B CN201611168451.1A CN201611168451A CN106789232B CN 106789232 B CN106789232 B CN 106789232B CN 201611168451 A CN201611168451 A CN 201611168451A CN 106789232 B CN106789232 B CN 106789232B
Authority
CN
China
Prior art keywords
information
data
module
file
adopts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611168451.1A
Other languages
English (en)
Other versions
CN106789232A (zh
Inventor
吴忠华
龚斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Austrian Information Technology Co Ltd
Original Assignee
Wuhan Austrian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Austrian Information Technology Co Ltd filed Critical Wuhan Austrian Information Technology Co Ltd
Priority to CN201611168451.1A priority Critical patent/CN106789232B/zh
Publication of CN106789232A publication Critical patent/CN106789232A/zh
Application granted granted Critical
Publication of CN106789232B publication Critical patent/CN106789232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及DNS日志海量信息的高效的信息流程化的处理控制系统，工作原理是客户端实现循环获取数据、解析处理数据、压缩数据、发送数据的功能。服务端实现循环接收数据、解压缩数据、存储数据的功能。与现有技术相比，本发明的优点在于：采用boost库分段过滤解析、索引数据处理的逻辑以及利用mysql数据库完成不同域名对应的标题信息下存储、查询与快速获取插入的能力，更重要的是与现有技术相比采用循环流程化的管理控制。

Description

一种高效的信息流程化的处理控制系统
技术领域
本发明属于信息处理领域，该系统涉及对DNS日志海量信息的过滤与处理及远程传输的控制系统。
背景技术
随着大数据的应用越来越广泛,对海量信息进行高效率的前期处理与跟踪定位是大数据发展的必经之路,因此开发一套基于DNS日志信息的解析及控制系统也尤为必要。
本系统设计的多模块流程化循环操作相对于之前的单模块后期衔接操作质量和效率有双重提高。
发明内容
本发明的目的是提供一种DNS日志海量信息的处理控制系统。
本发明解决上述问题所采用的技术方案为：一种高效的信息流程化的处理控制系统包括信息传输模块、原信息获取模块、原信息解析处理模块、远程压缩与解压缩模块以及信息保存管理模块。信息传输模块采用面向连接可靠的基于字节流的传输层协议TCP进行信息的可靠传输，此模块分为客户端和服务端，实现客户端循环发送及服务端循环接收；原信息获取模块主要实现扫描目录文件的功能并且具有文件为空、目录为空的探查能力；原信息解析模块主要实现根据原信息获取模块获取的文件信息进行解析处理，主要采用boost库的正则进行分段过滤，对分段的信息进行索引处理时用到curl库联网获取信息中的标题、编码的转换采用enca/iconv库、信息存储与后期利用索引快速获取对应信息采用Mysql数据库；远程压缩与解压缩模块采用lzo高效压缩算法完成客户端压缩与服务端解压缩的功能；信息保存管理模块主要解决海量数据场景下解析处理效率低下引起DNS记录文件堆积所产生的问题，包括源文件、压缩文件、解析文件、解压缩文件的全程控制，包含客户端与服务端的删除控制，然后将文件目录信息插入mysql数据库进行管理。
本发明的工作原理是客户端实现循环获取数据、解析处理数据、压缩数据、发送数据的功能。服务端实现循环接收数据、解压缩数据、存储数据的功能。
与现有技术相比，本发明的优点在于：采用boost库分段过滤解析、索引数据处理的逻辑以及利用mysql数据库完成不同域名对应的标题信息下存储、查询与快速获取插入的能力，更重要的是与现有技术相比采用循环流程化的管理控制。
整个系统控制简单，只需运行客户端可执行程序与服务端可执行程序就可实现上述功能一键式操作。本发明的DNS日志解析及控制系统经过长期稳定高效的数据处理传输检测验证。
附图说明
图1为本实用新型实例中的DNS日志解析及控制系统的原理图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本实例中的基于Linux系统下的DNS日志解析及控制系统，包括boost库、curl库、iconv库、enca库、mysql数据库、lzo压缩算法、TCP协议。1-Boost库完成对数据的解析处理2-curl库完成对DNS域名信息的标题获取3-enca库完成将其他编码格式转换成UTF-8的编码格式4-iconv库完成将GBK/GB2312等格式的编码转换成UTF-8格式的编码5-mysql数据库完成对信息的数据管理功能6-lzo压缩算法完成对数据的高效压缩与解压缩功能7-TCP协议完成对数据可靠的传输控制能力。
上述实施例是基于Linux系统下的针对DNS日志解析及控制系统，属于高效的信息流程化的处理控制系统。
除上述实施例外，本发明还包括有其他实施方式，凡采用等同变换或者等效替换方式形成的技术方案，均应落入本发明权利要求的保护范围之内。

Claims (2)

1.一种高效的信息流程化的处理控制系统，其特征在于：针对DNS日志信息解析、控制，包括信息传输模块、原信息获取模块、原信息解析处理模块、远程压缩与解压缩模块以及信息保存管理模块；
信息传输模块采用面向连接可靠的基于字节流的传输层协议TCP进行信息的可靠传输，此模块分为客户端和服务端，实现客户端循环发送及服务端循环接收；
原信息获取模块主要实现扫描目录文件的功能并且具有文件为空、目录为空的探查能力；
原信息解析处理模块主要实现根据原信息获取模块获取的文件信息进行解析处理，主要采用boost库的正则进行分段过滤，对分段的信息进行索引处理时用到curl库联网获取信息中的标题、编码的转换采用enca/iconv库、信息存储与后期利用索引快速获取对应信息采用Mysql数据库；
远程压缩与解压缩模块采用lzo高效压缩算法完成客户端压缩与服务端解压缩的功能；
信息保存管理模块主要解决海量数据场景下解析处理效率低下引起DNS记录文件堆积所产生的问题，包括源文件、压缩文件、解析文件、解压缩文件的全程控制，包含客户端与服务端的删除控制，然后将文件目录信息插入mysql数据库进行管理。
2.根据权利要求1所述的高效的信息流程化的处理控制系统，其特征在于：客户端实现循环获取数据、解析处理数据、压缩数据、发送数据的功能；服务端实现循环接收数据、解压缩数据、存储数据的功能。
CN201611168451.1A 2016-12-16 2016-12-16 一种高效的信息流程化的处理控制系统 Active CN106789232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611168451.1A CN106789232B (zh) 2016-12-16 2016-12-16 一种高效的信息流程化的处理控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611168451.1A CN106789232B (zh) 2016-12-16 2016-12-16 一种高效的信息流程化的处理控制系统

Publications (2)

Publication Number Publication Date
CN106789232A CN106789232A (zh) 2017-05-31
CN106789232B true CN106789232B (zh) 2019-12-06

Family

ID=58893183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611168451.1A Active CN106789232B (zh) 2016-12-16 2016-12-16 一种高效的信息流程化的处理控制系统

Country Status (1)

Country Link
CN (1) CN106789232B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544381A (zh) * 2017-08-31 2018-01-05 珠海格力电器股份有限公司 能源管理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066444A1 (fr) * 2004-12-21 2006-06-29 Zte Corporation Systeme de filtrage du courrier indesirable oriente connexion et procede associe
CN101661513A (zh) * 2009-10-21 2010-03-03 上海交通大学 网络热点和舆情的检测方法
CN103944744A (zh) * 2013-01-21 2014-07-23 博雅网络游戏开发（深圳）有限公司 日志采集方法和系统
CN105391687A (zh) * 2015-10-13 2016-03-09 南京联成科技发展有限公司 一种向中小企业提供信息安全运维服务的系统与方法
CN105723335A (zh) * 2013-09-16 2016-06-29 麦塔奈迪克斯有限公司 数据流探索

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066444A1 (fr) * 2004-12-21 2006-06-29 Zte Corporation Systeme de filtrage du courrier indesirable oriente connexion et procede associe
CN101661513A (zh) * 2009-10-21 2010-03-03 上海交通大学 网络热点和舆情的检测方法
CN103944744A (zh) * 2013-01-21 2014-07-23 博雅网络游戏开发（深圳）有限公司 日志采集方法和系统
CN105723335A (zh) * 2013-09-16 2016-06-29 麦塔奈迪克斯有限公司 数据流探索
CN105391687A (zh) * 2015-10-13 2016-03-09 南京联成科技发展有限公司 一种向中小企业提供信息安全运维服务的系统与方法

Also Published As

Publication number Publication date
CN106789232A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN111552687B (zh) 时序数据的存储方法、查询方法、装置、设备及存储介质
US20140156613A1 (en) Methods and Apparatus for Increasing the Efficiency of Electronic Data Storage and Transmission
CN108108394B (zh) Apfs文件系统的压缩文件恢复方法及存储介质
US20130067237A1 (en) Providing random access to archives with block maps
Povar et al. Forensic data carving
CN110505495B (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN102118451B (zh) 用户资源的上传处理方法及装置
CN111708673A (zh) 一种日志数据压缩方法、装置、设备和存储介质
CN110851409A (zh) 一种日志压缩、解压缩方法、设备及存储介质
CN107391769B (zh) 一种索引查询方法及装置
CN106789232B (zh) 一种高效的信息流程化的处理控制系统
CN106844479B (zh) 文件的压缩、解压方法及装置
CN105718569A (zh) 复合文档的上传方法、装置及系统
CN101645073A (zh) 一种将已有数据库文件导入嵌入式数据库的方法
CN112817926B (zh) 文件处理方法及装置、存储介质及电子装置
CN104023070A (zh) 基于云存储的文件压缩方法
CN102075193A (zh) 基于时空关系的rfid事件压缩方法及解压缩方法
CN106919574B (zh) 一种实时处理远程同步文件的方法
CN204859420U (zh) 一种智能楼宇视频监控系统
CN108717438B (zh) 一种链式数据状态采集系统及方法
CN111104372A (zh) 一种移动互联网大数据处理系统及其处理方法
CN104506390A (zh) 一种路测系统日志存储方法及装置
CN110957016B (zh) 基于健康云管理平台的体检数据智能识别系统及方法
CN113868217A (zh) 一种多元传感器数据的统一存储与查询方法及系统
CN104216890A (zh) 一种elf文件的压缩方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 430000 No.2, floor 5, block 24, zone 3, 3S geospatial information industry base, Wuda Science Park, Donghu Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan Austrian Information Technology Co., Ltd.

Address before: 430079 Hubei city of Wuhan province East Lake Dongxin Road Development Zone SBI Venture Street No. 1502

Patentee before: Wuhan Austrian Information Technology Co., Ltd.

CP02 Change in the address of a patent holder