CN103812676A - 一种实现日志数据实时关联装置及方法 - Google Patents
一种实现日志数据实时关联装置及方法 Download PDFInfo
- Publication number
- CN103812676A CN103812676A CN201210444048.2A CN201210444048A CN103812676A CN 103812676 A CN103812676 A CN 103812676A CN 201210444048 A CN201210444048 A CN 201210444048A CN 103812676 A CN103812676 A CN 103812676A
- Authority
- CN
- China
- Prior art keywords
- data
- authority
- daily record
- correlation
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种实现日志数据实时关联装置，该装置包括数据预处理模块和数据分析模块；所述数据预处理模块，用于对网络设备中的数据进行采集，形成原始数据，并将原始数据进行规范后形成规范数据；所述数据分析模块，用于将所述规范数据与关联规则进行实时匹配，当匹配结果相同时，标识所述规范数据；本发明还公开了一种实现日志数据实时关联的方法；根据本发明方案，所述关联规则可由实际的网路情况进行灵活配置，无需人工对非授权日志数据排查，减少了人工工作量，提高了非授权日志数据的处理效率。
Description
技术领域
本发明涉及关联规则数据挖掘技术领域，尤其涉及一种实现日志数据实时关联装置及方法。
背景技术
随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，在大量的数据背后隐藏着许多重要信息。数据挖掘就是从大型的数据库中提取出人们感兴趣的信息数据。数据挖掘目的在于确定关联规则。所述关联规则是指在日志数据、关系数据或者其它信息载体中，存在与项目集合或对象集合之间的频繁模式、相关性或因果结构。关联规则的获取途径主要是利用数据挖掘方法从大量的事件记录数据库中找出数据之间的相关性或频繁模式。其中，数据挖掘方法主要以Apriori(由原因推及结果)算法为代表，其后的MPL(The Mozilla Public License，专用许可协议)等算法大多是在Apriori算法的基础上衍生或者改进。
在网络管理系统中，利用关联规则，网管系统可将具有关联性的多组日志数据进行存储、运算等处理，以备后续网络设备进行实时调用；而当关联规则描述的是非授权日志数据之间的关联性时，网管系统根据此时的关联规则即可识别出当前的日志数据为非授权日志数据。
现有技术中，当发现有多组非授权日志数据存在时，由于非授权日志数据对于后续处理基本没有作用，考虑到对存储空间的不必要占用，因此需要人工逐组进行排查，继而删除非授权日志数据。人工排查过程繁琐、工作量大、且容易造成排查漏洞。
发明内容
有鉴于此，本发明的主要目的在于提供一种实现日志数据实时关联装置及方法，进行关联规则与数据的实时匹配，当发现非授权日志数据时，标识非授权日志数据，能够解决人工排查工作量大的问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种实现日志数据实时关联装置，该装置包括数据预处理模块和数据分析模块；其中，
所述数据预处理模块，用于对网络设备中的数据进行采集，形成原始数据，并原始数据进行规范后形成规范数据；
所述数据分析模块，用于将所述规范数据与关联规则进行实时匹配，当匹配结果相同时，标识所述规范数据。
上述方案中，所述数据分析模块，进一步用于：当所述规范数据与所述关联规则的匹配结果相同时，产生告警。
上述方案中，所述数据预处理模块包括采集单元、规范单元和接口单元；其中，
所述采集单元，用于对网络设备中的数据进行采集，形成原始数据，发送至所述规范单元；
所述规范单元，用于对收到的原始数据进行泛化形成规范数据，发送至所述接口单元；
所述接口单元，用于将所述规范数据发送至所述数据分析模块。
上述方案中，所述接口单元为socket接口。
上述方案中，所述数据分析模块包括内存单元和关联规则单元；其中，
所述关联规则单元，用于加载存储的关联规则到所述内存单元；
所述内存单元，用于在指定的时间内，将所述规范数据与所述关联规则进行匹配，当匹配结果相同时，标识所述规范数据。
上述方案中，所述内存单元，进一步用于：当所述规范数据与所述关联规则的匹配结果不同时，存储所述规范数据。
上述方案中，所述内存单元，进一步用于：在设定时间内，存储的所述规范数据没有被使用，将其删除。
上述方案中，所述数据分析模块进一步包括告警单元；
所述内存单元，进一步用于当规范数据与关联规则的匹配结果为相同时，触发所述告警单元；
所述告警单元，用于根据所述内存单元的触发产生告警。
本发明还提供了一种实现日志数据实时关联方法，所述方法包括：
采集数据、并将采集到的数据进行规范，形成规范数据；
将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据。
上述方案中，所述采集数据、并将采集到的数据进行规范，形成规范数据，包括：
对网络设备中的数据进行采集，形成原始数据，然后数据预处理模块对所述原始数据进行泛化形成规范数据，并发送至数据分析模块。
上述方案中，所述将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据，包括：
加载存储的关联规则，在指定的时间内，然后将所述规范数据和所述关联规则进行匹配，当匹配结果相同即当前的规范数据为非授权日志数据时，则标识所述规范数据。
上述方案中，所述标识所述规范数据之后进一步包括：产生告警。
上述方案中，所述方法还包括：
当所述规范数据与所述关联规则的匹配结果不同时，存储所述规范数据。
上述方案中，所述存储所述规范数据之后，进一步包括：
在设定时间内，存储的所述规范数据没有被使用，将其删除。
本发明提供的一种实现日志数据实时关联装置及方法，在指定的时间内，将规范数据与关联规则进行匹配，规范数据与关联规则匹配结果相同时，便标识出相应规范数据、即非授权日志数据；在指定的时间内，自动删除已标识的规范数据，即非授权日志数据；所述关联规则可根据网络情况进行修改，配置较灵活；无需人工对所述非授权日志数据进行排查，减少了人工工作量，提高了非授权日志数据的处理效率。
根据本发明提供的方案，还可进一步实现自动告警，以告知维护人员当前日志数据为非授权日志数据。
附图说明
图1为本发明实现日志数据实时关联装置结构示意图；
图2为本发明实现日志数据实时关联方法示意图；
图3为本发明实现日志数据实时关联方法的匹配过程示意图。
具体实施方式
本发明提供一种实现日志数据实时关联装置，如图1所示，所述装置包括数据预处理模块10和数据分析模块11。其中，
所述数据预处理模块10，用于对网络设备中的数据进行采集，形成原始数据，将原始数据进行规范后形成规范数据，并发送至所述数据分析模块11；
所述数据分析模块11，用于将接收到的规范数据与关联规则进行匹配；当匹配结果为相同时，标识所述规范数据，进一步的可产生告警。
其中，当匹配结果为相同时，说明当前的规范数据为非授权日志数据，那么需要对所述非授权日志数据进行标识；所述标识可采用现有技术中的数据标识方法，例如，将所述非授权日志数据的数据头部添加数字“0”；
进一步的，所述数据预处理模块10包括采集单元101、规范单元102和接口单元103；其中，
具体的，所述采集单元101，用于对网络设备中的数据进行采集，形成原始数据，发送至所述规范单元102；
所述规范单元102，用于对收到的原始数据进行泛化形成规范数据，发送至所述接口单元103；
所述接口单元103，用于将所述规范数据发送至所述数据分析模块11。
所述接口单元103具体可以为socket接口。
其中，所述泛化指的是将原始数据按照记录的事件、事件产生的时间、地点即所属网络设备的IP(Internet Protocol，互联网协议)地址、事件性质等属性进行整理。
进一步的，所述数据分析模块11包括内存单元110和关联规则单元112；其中，
所述关联规则单元112，用于加载存储的关联规则到所述内存单元110；
所述内存单元110，用于在指定的时间内，将接收到的所述规范数据与所述关联规则进行匹配，匹配结果为相同时，表明当前的规范数据为非授权日志数据时，标识所述规范数据；
所述内存单元110在标识完所述规范数据后，删除非授权日志数据；
所述内存单元110，进一步用于当规范数据与关联规则的匹配结果为不相同时，存储所述规范数据，以方便所述装置或后续网络设备进行调用；进一步的，在设定时间内，存储的所述规范数据没有被使用时，将其删除。
所述数据分析模块11进一步包括：告警单元111；
所述内存单元110，进一步用于当规范数据与关联规则的匹配结果为相同时，触发所述告警单元111；
所述告警单元111，用于根据所述内存单元110的触发产生告警。
所述匹配过程是指将当前的规范数据遍历所有的关联规则，当前的规范数据记录的属性与关联规则中记录的相同即匹配结果相同时，则认为当前的规范数据为非授权日志数据；
当匹配结果为不同即当前的规范数据为授权日志数据时，所述内存单元110可将所述授权日志数据存储，以方便所述装置或后续网络设备进行调用；而在设定时间内，存储在所述内存单元110中的所述授权日志数据没有被自身或者其它的网络设备进行使用时，所述内存单元110会将其删除。
其中，所述关联规则、所述指定的时间和所述设定时间均由维护人员根据网络优化经验制定并预先设置于所述数据分析模块11中、具体是所述关联规则设置于所述关联规则单元112中，所述指定的时间和设定时间设置于所述内存单元110中；所述关联规则、所述指定的时间和设定时间还可根据实际的网络情况进行修改。
对应于上述装置，本发明还提供了一种实现日志数据实时关联方法，如图2所示，所述方法包括：
步骤20：数据预处理模块采集数据、并将数据进行规范，并将形成的规范数据发送至数据分析模块；
具体的，所述数据预处理模块10对网络设备中的数据进行采集，形成原始数据，然后数据预处理模块对所述原始数据进行泛化形成规范数据，并发送至数据分析模块。
步骤21：数据分析模块将规范数据与关联规则进行匹配；当匹配结果相同时，标识所述规范数据；
具体的，所述数据分析模块11接收所述规范数据，加载存储的关联规则，在指定的时间内，然后将所述规范数据和所述关联规则进行匹配，当匹配结果相同即当前的规范数据为非授权日志数据时，则标识所述规范数据，进一步还可产生告警；当匹配结果不同即当前的规范数据为授权日志数据时，将所述当前授权日志数据进行存储，以便自身或后续网络设备的调用；
其中，标识出的规范数据即非授权数据可在指定的时间内进行删除；
进一步地，所述步骤20中，所述数据预处理模块10中的采集单元101先采集网络设备上的数据，形成原始数据，然后所述数据预处理模块10中的规范单元102对所述原始数据经泛化形成规范数据，并由所述数据预处理模块10中的接口单元103将所述规范数据发送至所述数据分析模块11；
所述步骤21中，所述数据分析模块11中的内存单元110接收所述规范数据，并由所述数据分析模块11中的关联规则单元112将关联规则加载到所述内存单元110中，所述内存单元110在指定的时间内，将所述规范数据和所述关联规则进行匹配，当匹配结果相同即当前的规范数据为非授权日志数据时，便标识所述规范数据，并可进一步触发所述数据分析模块11中的告警单元111产生一次告警；当匹配结果不同即当前的规范数据为授权日志数据时，所述内存单元110将所述当前授权日志数据进行存储，以便自身或后续网络设备的调用。
其中，具体的匹配过程如图3所示，
因所述规范数据的格式为记录的事件、事件产生的时间、事件所属网络设备的IP地址、事件性质等，图3中所示的数据1包括数据1记录的事件1、事件1产生的时间、事件1所属网络设备的IP地址1、事件1的性质；
数据2包括数据2记录的事件2、事件2产生的时间、事件2所属网络设备的IP地址2、事件2的性质；
...
数据n包括数据n记录的事件n、事件n产生的时间、事件n所属网络设备的IP地址n、事件n的性质；
上述数据1至数据n为指定的时间内、如10分钟或者小于10分钟的时间内的数据。
所述数据1至数据n与所述关联规则进行匹配，即将所述数据1至数据n逐一遍历所有所述关联规则，
其中，所述数据1至数据n中至少一个数据记录的属性与至少一个所述关联规则记录的相同时，即认为当前数据为非授权日志数据；所述数据1至数据n中所有数据记录的属性均与所述关联规则记录的不相同时，即认为当前数据为授权日志数据；
在10分钟或者小于10分钟的时间内，当所述数据1至数据n中的至少一组数据记录的属性与至少一个所述关联规则记录的相同时，便产生一次报警，并标识非授权日志数据，同时将授权日志数据进行存储，以便后续调用；
在10分钟或者小于10分钟的时间内，当所述数据1至数据n所有数据记录的属性与所有所述关联规则均不相同时，说明所述数据1至数据n为授权日志数据，同时将所述数据1至数据n全部存储到所述装置的内存单元110中，以便所述装置或后续网络设备进行调用；
本发明提供的实现日志数据实时关联装置，通过配置关联规则到数据分析模块，将规范数据与所述关联规则进行匹配，在指定的时间内，当匹配结果相同时，标识非授权日志数据；其中，所述关联规则可根据实际网络情况进行修改、配置较灵活；此外，还可进一步实现自动产生告警，以告知维护人员当前存在非授权数据，无需人工对所述非授权日志数据进行排查，减少了人工工作量。
以上所述，仅为本发明较佳的实施例而已，并非用于限定本发明的保护范围。
Claims (14)
1.一种实现日志数据实时关联装置，其特征在于，该装置包括数据预处理模块和数据分析模块；其中，
所述数据预处理模块，用于对网络设备中的数据进行采集，形成原始数据，并原始数据进行规范后形成规范数据；
所述数据分析模块，用于将所述规范数据与关联规则进行实时匹配，当匹配结果相同时，标识所述规范数据。
2.根据权利要求1所述的实现日志数据实时关联装置，其特征在于，所述数据分析模块，进一步用于：当所述规范数据与所述关联规则的匹配结果相同时，产生告警。
3.根据权利要求1所述的实现日志数据实时关联装置，其特征在于，所述数据预处理模块包括采集单元、规范单元和接口单元；其中，
所述采集单元，用于对网络设备中的数据进行采集，形成原始数据，发送至所述规范单元；
所述规范单元，用于对收到的原始数据进行泛化形成规范数据，发送至所述接口单元；
所述接口单元，用于将所述规范数据发送至所述数据分析模块。
4.根据权利要求3所述的实现日志数据实时关联装置，其特征在于，所述接口单元为socket接口。
5.根据权利要求1至4任一所述的实现日志数据实时关联装置，其特征在于，所述数据分析模块包括内存单元和关联规则单元；其中，
所述关联规则单元，用于加载存储的关联规则到所述内存单元；
所述内存单元，用于在指定的时间内，将所述规范数据与所述关联规则进行匹配，当匹配结果相同时，标识所述规范数据。
6.根据权利要求5所述的实现日志数据实时关联装置，其特征在于，所述内存单元，进一步用于：当所述规范数据与所述关联规则的匹配结果不同时，存储所述规范数据。
7.根据权利要求6所述的实现日志数据实时关联装置，其特征在于，所述内存单元，进一步用于：在设定时间内，存储的所述规范数据没有被使用，将其删除。
8.根据权利要求5所述的实现日志数据实时关联装置，其特征在于，所述数据分析模块进一步包括告警单元；
所述内存单元，进一步用于当规范数据与关联规则的匹配结果为相同时，触发所述告警单元；
所述告警单元，用于根据所述内存单元的触发产生告警。
9.一种实现日志数据实时关联方法，其特征在于，所述方法包括：
采集数据、并将采集到的数据进行规范，形成规范数据；
将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据。
10.根据权利要求9所述的实现日志数据实时关联方法，其特征在于，所述采集数据、并将采集到的数据进行规范，形成规范数据，包括：
对网络设备中的数据进行采集，形成原始数据，然后数据预处理模块对所述原始数据进行泛化形成规范数据，并发送至数据分析模块。
11.根据权利要求9或10所述的实现日志数据实时关联方法，其特征在于，所述将规范数据与关联规则进行匹配，当匹配结果相同时，标识所述规范数据，包括：
加载存储的关联规则，在指定的时间内，然后将所述规范数据和所述关联规则进行匹配，当匹配结果相同即当前的规范数据为非授权日志数据时，则标识所述规范数据。
12.根据权利要求11所述的实现日志数据实时关联方法，其特征在于，所述标识所述规范数据之后进一步包括：产生告警。
13.根据权利要求9或10所述的实现日志数据实时关联方法，其特征在于，所述方法还包括：
当所述规范数据与所述关联规则的匹配结果不同时，存储所述规范数据。
14.根据权利要求13所述的实现日志数据实时关联方法，其特征在于，所述存储所述规范数据之后，进一步包括：
在设定时间内，存储的所述规范数据没有被使用，将其删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210444048.2A CN103812676A (zh) | 2012-11-08 | 2012-11-08 | 一种实现日志数据实时关联装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210444048.2A CN103812676A (zh) | 2012-11-08 | 2012-11-08 | 一种实现日志数据实时关联装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103812676A true CN103812676A (zh) | 2014-05-21 |
Family
ID=50708919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210444048.2A Pending CN103812676A (zh) | 2012-11-08 | 2012-11-08 | 一种实现日志数据实时关联装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103812676A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106817270A (zh) * | 2015-12-01 | 2017-06-09 | 精硕科技（北京）股份有限公司 | 网络流量采集方法、系统及服务器 |
| CN108021696A (zh) * | 2017-12-19 | 2018-05-11 | 北京明朝万达科技股份有限公司 | 一种数据关联分析方法及系统 |
| CN114143162A (zh) * | 2020-08-13 | 2022-03-04 | 中盈优创资讯科技有限公司 | 基于缓存的网络设备syslog信息的规则匹配方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1670708A (zh) * | 2004-03-17 | 2005-09-21 | 联想(北京)有限公司 | 一种计算机日志的管理方法 |
| US20070299868A1 (en) * | 2004-03-25 | 2007-12-27 | Heikki Huomo | Method, Device and System for Information Based Automated Selective Data Handling and Provision by Identification Means |
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
| CN101668012A (zh) * | 2009-09-23 | 2010-03-10 | 成都市华为赛门铁克科技有限公司 | 安全事件检测方法及装置 |
-
2012
- 2012-11-08 CN CN201210444048.2A patent/CN103812676A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1670708A (zh) * | 2004-03-17 | 2005-09-21 | 联想(北京)有限公司 | 一种计算机日志的管理方法 |
| US20070299868A1 (en) * | 2004-03-25 | 2007-12-27 | Heikki Huomo | Method, Device and System for Information Based Automated Selective Data Handling and Provision by Identification Means |
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
| CN101668012A (zh) * | 2009-09-23 | 2010-03-10 | 成都市华为赛门铁克科技有限公司 | 安全事件检测方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106817270A (zh) * | 2015-12-01 | 2017-06-09 | 精硕科技（北京）股份有限公司 | 网络流量采集方法、系统及服务器 |
| CN108021696A (zh) * | 2017-12-19 | 2018-05-11 | 北京明朝万达科技股份有限公司 | 一种数据关联分析方法及系统 |
| CN108021696B (zh) * | 2017-12-19 | 2021-02-05 | 北京明朝万达科技股份有限公司 | 一种数据关联分析方法及系统 |
| CN114143162A (zh) * | 2020-08-13 | 2022-03-04 | 中盈优创资讯科技有限公司 | 基于缓存的网络设备syslog信息的规则匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102902752B (zh) | 一种日志监控方法及系统 | |
| CN101854360B (zh) | 根据ip地址溯源移动用户手机号的装置及方法 | |
| KR101743191B1 (ko) | 응용 프로그램의 관리방법, 장치, 서버, 단말기기, 프로그램 및 기록매체 | |
| CN101853287B (zh) | 数据压缩快速检索文件系统及其方法 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN109271793B (zh) | 物联网云平台设备类别识别方法及系统 | |
| CN110855473A (zh) | 一种监控方法、装置、服务器及存储介质 | |
| CN105631026A (zh) | 一种安全数据分析系统 | |
| CN107832196A (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| CN104966172A (zh) | 一种用于企业经营数据分析的大数据可视化分析处理系统 | |
| CN107579874B (zh) | 一种检测流量采集设备数据采集漏报的方法及装置 | |
| CN107317838B (zh) | 一种基于流式数据处理架构的天文元数据归档方法及系统 | |
| CN103327005B (zh) | 基于虚拟桌面的设备接入方法及装置 | |
| CN104850549A (zh) | 一种网络舆情的监控方法 | |
| CN102541884A (zh) | 数据库优化方法和装置 | |
| CN111355912A (zh) | 一种执法记录方法及系统 | |
| CN103812679B (zh) | 一种海量日志统计分析系统和方法 | |
| CN111046000A (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
| CN103812676A (zh) | 一种实现日志数据实时关联装置及方法 | |
| CN103761879A (zh) | 一种车辆套牌识别方法及系统 | |
| CN104778168A (zh) | 一种数据处理方法和装置 | |
| CN112835978A (zh) | 一种数据存储方法、装置及计算机设备 | |
| CN103680257B (zh) | 通信软件自动录制课程的方法及其系统 | |
| CN107220262B (zh) | 信息处理方法和装置 | |
| CN105574172A (zh) | 一种数据分析方法及分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140521 |