CN110110081B - 用于移动互联网海量监测数据的分级分类处理方法及系统 - Google Patents
用于移动互联网海量监测数据的分级分类处理方法及系统 Download PDFInfo
- Publication number
- CN110110081B CN110110081B CN201910279309.1A CN201910279309A CN110110081B CN 110110081 B CN110110081 B CN 110110081B CN 201910279309 A CN201910279309 A CN 201910279309A CN 110110081 B CN110110081 B CN 110110081B
- Authority
- CN
- China
- Prior art keywords
- storage
- data
- log data
- monitoring log
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于移动互联网海量监测数据的分级分类处理方法,包括以下步骤:接收并解析监测日志数据,获取监测日志数据的协议类型;根据监测日志数据的协议类型,确定监测日志数据的存储级别;根据监测日志数据的存储级别,对监测日志数据进行存储本发明提供的将移动互联网海量数据按需分级分类监测的方法,可以根据业务需求动态配置数据分级分类存储的策略,并在海量日志数据向后端存储系统发送时加入分级存储的标签;通过对日志的分级、分类存储在能够满足业务需求的情况下减少对存储空间的使用,提升系统存储效率。
Description
技术领域
本发明涉及互联网舆情分析及网络信息安全领域,尤其涉及一种用于移动互联网海量监测数据的分级分类处理方法以及系统。
背景技术
随着移动上网技术的飞速发展和移动互联网的快速普及,移动互联网数据也在飞速增加,因此,移动互联网监测分析系统存储这些海量数据越来越成为一个挑战。目前,移动互联网监测前端一般主要是通过解析原始的移动互联网流量,生成分析日志回传给后端存储系统。该方法存在日志量大的问题,其中很多的日志对后端业务系统可能是不需要的,但是却占用了大量的系统存储资源,造成了资源浪费。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种用于移动互联网海量监测数据的分级分类处理方法以及系统。
本发明解决其技术问题所采用的技术方案是:构造一种用于移动互联网海量监测数据的分级分类处理方法,包括以下步骤:
接收并解析监测日志数据,获取所述监测日志数据的协议类型;
根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;以及
根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
在本发明所述的用于移动互联网海量监测数据的分级分类处理方法中,在接收并解析监测日志数据,获取所述监测日志数据的协议类型的所述步骤之前还包括:
根据业务使用需求,确定不同协议类型的监测日志数据的分级策略;
根据所述分级策略,构造存储分类查找HASH表。
在本发明所述的用于移动互联网海量监测数据的分级分类处理方法中,根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别的所述步骤包括:
根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别。
在本发明所述的用于移动互联网海量监测数据的分级分类处理方法中,根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储的所述步骤包括:
将标记后的所述监测日志数据发送至数据存储系统;
由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
在本发明所述的用于移动互联网海量监测数据的分级分类处理方法中,所述协议类型包括DNS、HTTP、SSL、SSH、IMAP、POP3、SMTP、FTP、PPTP、HTTPS、OTHER。
本发明还公开了一种用于移动互联网海量监测数据的分级分类处理系统,连接于数据分析系统和数据存储系统,包括协议类型识别模块和存储级别确定模块,
所述协议类型识别模块,用于接收并解析来自所述数据分析系统的监测日志数据,获取所述监测日志数据的协议类型;
所述存储级别确定模块,用于根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;
所述数据存储系统,用于根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
在本发明所述的用于移动互联网海量监测数据的分级分类处理系统中,还包括:
存储分类查找HASH表构建模块,用于根据业务使用需求,确定不同协议类型的监测日志数据的分级策略,根据所述分级策略,构造存储分类查找HASH表。
在本发明所述的用于移动互联网海量监测数据的分级分类处理系统中,所述存储级别确定模块用于根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别。
在本发明所述的用于移动互联网海量监测数据的分级分类处理系统中,所述处理系统还包括数据转发模块,用于将标记后的所述监测日志数据发送至所述数据存储系统,由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
本发明还公开了一种用于移动互联网海量监测数据的分级分类处理系统,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器可运行所述计算机程序以执行如上所述的方法。
本发明的用于移动互联网海量监测数据的分级分类处理方法以及系统,具有以下有益效果:本发明提供的将移动互联网海量数据按需分级分类监测的方法,可以根据业务需求动态配置数据分级分类存储的策略,并在海量日志数据向后端存储系统发送时加入分级存储的标签;通过对日志的分级、分类存储在能够满足业务需求的情况下减少对存储空间的使用,提升系统存储效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图:
图1是实施例一提供的用于移动互联网海量监测数据的分级分类处理方法的流程图;
图2是实施例二提供的用于移动互联网海量监测数据的分级分类处理方法的流程图;
图3是实施例三提供的用于移动互联网海量监测数据的分级分类处理系统的工作流程图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明总的思路是:构造一种用于移动互联网海量监测数据的分级分类处理方法以及系统,方法包括:
接收并解析监测日志数据,获取所述监测日志数据的协议类型;
根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;以及
根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
实施例一
参考图1,本实施例公开了一种用于移动互联网海量监测数据的分级分类处理方法,方法主要包括:
步骤S110,接收并解析监测日志数据,获取所述监测日志数据的协议类型。
步骤S120,根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;
步骤S130,根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
本实施例中,对移动互联网监测数据按照业务使用需求进行制定分级分类存储策略,例如,将数据分为三级,分别是零级、一级和二级,每种级别对应不同的存储周期,零级不进行存储,一级存储30天,二级存储90天。数据根据协议类型进行分类,根据业务需要将不同类别的数据设定为不同的存储级别,将监测的数据发送给存储系统,存储系统根据数据的存储级别对数据进行按照设定的存储周期进行存储。由此,通过对日志的分级、分类存储在能够满足业务需求的情况下减少对存储空间的使用,提升系统存储效率。
实施例二
参考图2,本实施例公开了另一种用于移动互联网海量监测数据的分级分类处理方法,方法主要包括:
步骤S210,根据业务使用需求,确定不同协议类型的监测日志数据的分级策略;
步骤S220,根据所述分级策略,构造存储分类查找HASH表;
步骤S230,接收并解析监测日志数据,获取所述监测日志数据的协议类型。
步骤S240,根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;
步骤S250,根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
具体地,在步骤S210中,根据移动互联网的数据特点,将移动互联网数据按照协议类型分为DNS、HTTP、SSL、SSH、IMAP、POP3、SMTP、FTP、PPTP、HTTPS、OTHER共11类。针对业务系统的需求确定不同协议类型的数据的分级策略,该策略可以根据用户的业务需求进行改变。
具体地,在步骤S220中,根据日志中的协议类型来确定该日志的存储级别,为了保证查询的效率,查询算法使用了HASH。通过该存储分类查找HASH表,来存储协议类型与对应的存储级别,例如,将DNS类型的协议的存储级别设置为3;将HTTPS类型的协议的存储级别设置为2。通过预先设置查找表,可以方便后续查找过程,提高处理效率。
具体地,在步骤S240中,根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别。
具体地,在步骤S250中,将标记后的所述监测日志数据发送至数据存储系统;由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
实施例三
基于同一发明构思,本实施例公开了一种用于移动互联网海量监测数据的分级分类处理系统,连接于数据分析系统和数据存储系统,包括协议类型识别模块和存储级别确定模块,
所述协议类型识别模块,用于接收并解析来自所述数据分析系统的监测日志数据,获取所述监测日志数据的协议类型;
所述存储级别确定模块,用于根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;
所述数据存储系统,用于根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储。
存储分类查找HASH表构建模块,用于根据业务使用需求,确定不同协议类型的监测日志数据的分级策略,根据所述分级策略,构造存储分类查找HASH表。
具体的,所述存储级别确定模块用于根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别。
具体的,所述处理系统还包括数据转发模块,用于将标记后的所述监测日志数据发送至所述数据存储系统,由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
参考图3,图3为本发明实施例提供的用于移动互联网海量监测数据的分级分类处理系统的工作流程图,主要包括:
S1.1:加载用户设定的各数据协议的存储级别策略,构建用于查找过程的HASH表数据结构;
S1.2:系统对移动互联网数据进行监测,检查是否有待分级分类的日志数据,如果有则进入分级分类处理流程;
S1.3:解析该条日志数据,获取数据的协议类型名称;
S1.4:对该协议类型,在分级分类HASH表中进行查找;
S1.5:对S1.4步骤获取的查找结果,如果找到,则执行步骤S1.6,如果未找到,则执行步骤S1.7;
S1.6:从查找到的该HASH表项中获取该协议的分级存储级别值,然后执行步骤S1.8;
S1.7:从HASH表中没有找到该协议项,说明该协议未进行设置,则按照OTHER类设置分级存储级别值;
S1.8:将步骤S1.6或1.7的标记值和该日志数据一同转发给数据存储系统,该条日志数据的分级分类处理结束;
S1.9:判断装置是否需要退出,否则的话继续进入下一条日志数据的处理流程。
实施例四
基于同一发明构思,本实施例公开了一种用于移动互联网海量监测数据的分级分类处理系统,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器可运行所述计算机程序以执行实施例一所述的方法。
综上所述,本发明的用于移动互联网海量监测数据的分级分类处理方法以及系统,具有以下有益效果:本发明提供的将移动互联网海量数据按需分级分类监测的方法,可以根据业务需求动态配置数据分级分类存储的策略,并在海量日志数据向后端存储系统发送时加入分级存储的标签;通过对日志的分级、分类存储在能够满足业务需求的情况下减少对存储空间的使用,提升系统存储效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory,ROM)或随机存储记忆体(RandomABBessMemory,RAM)等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述描述涉及各种单元,需要指出的是,上文对各种单元的描述中,分割成这些单元,是为了说明清楚。然而,在实际实施中,各种单元的界限可以是模糊的。例如,本文中的任意或所有功能性单元可以共享各种硬件和/或软件元件。又例如,本文中的任何和/或所有功能单元可以由共有的处理器执行软件指令来全部或部分实施。相应地,除非明确要求,本发明的范围不受各种硬件和/或软件元件间强制性界限的限制。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (4)
1.一种用于移动互联网海量监测数据的分级分类处理方法,其特征在于,包括以下步骤:
根据业务使用需求,确定不同协议类型的监测日志数据的分级策略;
根据所述分级策略,构造存储分类查找HASH表;
接收并解析监测日志数据,获取所述监测日志数据的协议类型;
根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别;
将标记后的所述监测日志数据发送至数据存储系统;
由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
2.根据权利要求1所述的用于移动互联网海量监测数据的分级分类处理方法,其特征在于,所述协议类型包括DNS、HTTP、SSL、SSH、IMAP、POP3、SMTP、FTP、PPTP、HTTPS、OTHER。
3.一种用于移动互联网海量监测数据的分级分类处理系统,其特征在于,连接于数据分析系统和数据存储系统,包括协议类型识别模块和存储级别确定模块,
所述协议类型识别模块,用于接收并解析来自所述数据分析系统的监测日志数据,获取所述监测日志数据的协议类型;
所述存储级别确定模块,用于根据所述监测日志数据的所述协议类型,确定所述监测日志数据的存储级别;
所述数据存储系统,用于根据所述监测日志数据的所述存储级别,对所述监测日志数据进行存储;
还包括:
存储分类查找HASH表构建模块,用于根据业务使用需求,确定不同协议类型的监测日志数据的分级策略,根据所述分级策略,构造存储分类查找HASH表;
所述存储级别确定模块用于根据所述协议类型查找所述存储分类查找HASH表,如果所述存储分类查找HASH表中包括所述协议类型,则将所述监测日志数据标记为对应的存储级别,如果所述存储分类查找HASH表中不包括所述协议类型,则将所述监测日志数据标记为OTHER类型的存储级别;
所述处理系统还包括数据转发模块,用于将标记后的所述监测日志数据发送至所述数据存储系统,由所述数据存储系统根据标记的存储级别,按照设定的存储周期对所述监测日志数据进行存储。
4.一种用于移动互联网海量监测数据的分级分类处理系统,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器可运行所述计算机程序以执行如权利要求1-2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910279309.1A CN110110081B (zh) | 2019-04-09 | 2019-04-09 | 用于移动互联网海量监测数据的分级分类处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910279309.1A CN110110081B (zh) | 2019-04-09 | 2019-04-09 | 用于移动互联网海量监测数据的分级分类处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110110081A CN110110081A (zh) | 2019-08-09 |
CN110110081B true CN110110081B (zh) | 2021-05-11 |
Family
ID=67483970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910279309.1A Active CN110110081B (zh) | 2019-04-09 | 2019-04-09 | 用于移动互联网海量监测数据的分级分类处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110110081B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139593B (zh) * | 2021-04-19 | 2022-06-21 | 湖南大学 | 一种基于对话分析的工控协议报文分类方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447730B1 (en) * | 2012-01-31 | 2013-05-21 | Yahoo! Inc. | Probe system for replication monitoring |
CN105376077A (zh) * | 2014-08-06 | 2016-03-02 | 中国移动通信集团黑龙江有限公司 | 网络行为信息的处理方法、日志的发送方法、装置及系统 |
CN107992402A (zh) * | 2017-12-26 | 2018-05-04 | 河南恒华科技有限公司 | 日志管理方法及日志管理装置 |
CN108664499A (zh) * | 2017-03-29 | 2018-10-16 | 中国移动通信集团河北有限公司 | 数据存储的方法、装置及设备 |
-
2019
- 2019-04-09 CN CN201910279309.1A patent/CN110110081B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447730B1 (en) * | 2012-01-31 | 2013-05-21 | Yahoo! Inc. | Probe system for replication monitoring |
CN105376077A (zh) * | 2014-08-06 | 2016-03-02 | 中国移动通信集团黑龙江有限公司 | 网络行为信息的处理方法、日志的发送方法、装置及系统 |
CN108664499A (zh) * | 2017-03-29 | 2018-10-16 | 中国移动通信集团河北有限公司 | 数据存储的方法、装置及设备 |
CN107992402A (zh) * | 2017-12-26 | 2018-05-04 | 河南恒华科技有限公司 | 日志管理方法及日志管理装置 |
Non-Patent Citations (1)
Title |
---|
面向在线日志云的海量数据分级归档机制;杨锋英等;《信息技术》;20140825;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110110081A (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7668957B2 (en) | Partitioning social networks | |
US9686152B2 (en) | Techniques for tracking resource usage statistics per transaction across multiple layers of protocols | |
US20100106781A1 (en) | Automatic update of contact information in messaging | |
WO2014000485A1 (zh) | 内容过滤方法和装置 | |
WO2021047402A1 (zh) | 应用识别方法、装置及存储介质 | |
CN107769992B (zh) | 一种报文解析分流方法及装置 | |
CN108768835B (zh) | 一种邮件解析方法、装置、服务器和存储介质 | |
CN106453062A (zh) | 一种应用通知的管理方法及终端 | |
CN110110081B (zh) | 用于移动互联网海量监测数据的分级分类处理方法及系统 | |
CN111309696A (zh) | 日志处理方法及装置、电子设备、可读介质 | |
CN111581226B (zh) | 基于大数据平台的数据共享方法、装置及政企云平台 | |
US10009265B2 (en) | Communication control apparatus, communication control method, communication system, and recording medium | |
CN112118189A (zh) | 一种流量采样方法、计算机设备及计算机可读存储介质 | |
CN113992364B (zh) | 一种网络数据包阻断优化方法以及系统 | |
CN113965367B (zh) | 策略对象上限控制方法、系统、计算机及存储介质 | |
CN109697072A (zh) | 信息处理方法、装置及设备 | |
CN115309907A (zh) | 告警日志关联方法及装置 | |
CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN112019589B (zh) | 一种多层级负载均衡数据包处理方法 | |
CN113297358A (zh) | 数据处理方法、装置、服务器和计算机可读存储介质 | |
US20100077401A1 (en) | Automated identification of computing system resources based on computing resource dna | |
EP3585034A1 (en) | Big data-based method for learning and protecting service logic and device for learning and protection | |
CN108762675B (zh) | 数据存储方法及系统 | |
CN114679471B (zh) | 一种基于云端业务处理的数据匹配方法 | |
CN111383071B (zh) | 房产交易系统涉及的场景的条件筛选方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |