CN107070897B - 入侵检测系统中基于多属性哈希去重的网络日志存储方法 - Google Patents

入侵检测系统中基于多属性哈希去重的网络日志存储方法 Download PDF

Info

Publication number
CN107070897B
CN107070897B CN201710167463.0A CN201710167463A CN107070897B CN 107070897 B CN107070897 B CN 107070897B CN 201710167463 A CN201710167463 A CN 201710167463A CN 107070897 B CN107070897 B CN 107070897B
Authority
CN
China
Prior art keywords
server
log
data
performance
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710167463.0A
Other languages
English (en)
Other versions
CN107070897A (zh
Inventor
范渊
方黎明
张小孟
莫金友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201710167463.0A priority Critical patent/CN107070897B/zh
Publication of CN107070897A publication Critical patent/CN107070897A/zh
Application granted granted Critical
Publication of CN107070897B publication Critical patent/CN107070897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及网络安全和数据存储，旨在提供入侵检测系统中基于多属性哈希去重的网络日志存储方法。该入侵检测系统中基于多属性哈希去重的网络日志存储方法包括日志去重和日志存储，能入侵检测系统将网络日志去重后存储到本地服务器上，入侵检测系统包括一台数据采集服务器、若干台数据存储和分析服务器，且数据采集服务器、数据存储和分析服务器都与交换机连接。本发明利用多属性分段哈希方法，仅需一台服务器即可完成网络日志的采集和去重操作，计算复杂度和空间需求更小；日志去重更精确，不会错误丢失数据，重复日志漏报率更低；对于网路日志的存储采用与服务器性能成比例的存储方法，保证数据存储效率的同时提高后续的数据分析任务的性能。

Description

入侵检测系统中基于多属性哈希去重的网络日志存储方法
技术领域
本发明是关于网络安全和数据存储领域，特别涉及入侵检测系统中基于多属性哈希去重的网络日志存储方法。
背景技术
随着互联网的普及，各种网络攻击层出不穷，网络用户的安全受到严重威胁。入侵检测系统的目的是通过对网络数据的分析，发现可疑的攻击行为，通常采用基于贝叶斯网络的检测方法、基于模式预测的检测方法、基于机器学习的检测方法、基于数据挖掘的检测方法等。尽管检测方法不同，但其检测过程一般包括数据采集、数据存储、数据分析、系统响应等四个步骤。数据采集过程对网络数据，尤其是日志数据，进行采集或采样，数据存储过程将采集到的数据存储到本地系统中，数据分析过程对本地的日志数据进行统计、学习、挖掘等分析操作，当数据分析结果分析完成后系统响应过程对分析结果进行相应的决策和处理。
数据采集阶段通常每秒采集数十万条网络日志，而这些日志中含有大量的重复数据。因此数据采集阶段的主要困难在于如何快速准确地去除重复的网络日志。目前常用的日志去重方法分为直接比对和哈希过滤两类。直接比对的去重方法将每条日志的原始报文与其他日志比较，借助索引等常用的数据管理技术，时间复杂度和空间复杂度较高，不考虑实时性，去重操作一般与存储操作相结合。哈希过滤方法将报文看作是一个长字符串，利用一个或多个哈希函数进行哈希映射，降低时间复杂度和空间复杂度，由于网络日志字符串较长且部分属性对入侵检测结果无影响，而基于字符串的哈希一般只选择部分字符串进行计算，导致哈希冲突较高，重复数据的漏报率较高。
网络日志存储阶段通常使用多台服务器存储海量的日志信息。目前网络日志存储方法主要采用基于服务器可用资源的均衡存储方法提高存储性能。但该方法只考虑存储阶段的性能，未考虑后续的数据分析阶段的性能提升。而数据分析阶段常用的提升性能的方法是分析算法的优化和任务分配的负载均衡，前者与任务类型紧密耦合且难度较高。后者与数据存储紧密相关，但其实际操作与数据存储阶段人为分割。由于入侵检测系统的数据分析操作中包含大量的I/O操作，受限于数据存储方法。目前未有研究在日志存储过程中考虑如何存储才能提高后续的数据分析的性能。
综上所述，当前的入侵检测系统中网络日志去重方法要么缺乏实时性保证，要么重复日志的漏报率较高，因此有必要提出入侵检测系统中重复日志的低漏报率的实时去重方法。而现有的入侵检测系统中日志存储方法不为后续的数据分析操作提供性能优化策略，导致服务器存储和计算资源的浪费，限制数据分析性能的进可优化空间。
发明内容
本发明的主要目的在于克服现有技术中的不足，提供一种在入侵检测系统中能实时去重重复日志，并将去重后的日志信息合理存储到多台服务器上的方法。为解决上述技术问题，本发明的解决方案是：
提供入侵检测系统中基于多属性哈希去重的网络日志存储方法，用于入侵检测系统将网络日志去重后存储到本地服务器上，入侵检测系统包括一台数据采集服务器、若干台数据存储和分析服务器，且数据采集服务器、数据存储和分析服务器都与交换机连接；数据采集服务器只执行日志采集和去重操作，哈希表存储在数据采集服务器的内存中；数据存储和分析服务器负责网络日志的存储和分析；
所述入侵检测系统中基于多属性哈希去重的网络日志存储方法包括日志去重和日志存储；
所述日志去重是在日志采集过程中，采用基于多属性的分段哈希实时去除重复日志，且日志去重过程由数据采集服务器完成；具体包括下述步骤：
步骤A：抓取日志并解析日志，提取出用户IP、访问时间、目的IP、被访问域名这四个对入侵检测最重要的参数，并分别记为SourceIP、Time、DestinationIP、DomainName；
步骤B：为Time、SourceIP、DestinationIP、DomainName四个参数进行哈希操作，使用Hash1、Hash2、Hash3三个哈希函数将每条日志映射到哈希表上；
所述哈希操作的过程如下：
(1)将Time、SourceIP、DestinationIP、DomainName四个参数拼接成一个字符串“TimeSourceIPDestinationIPDomainName”，使用Hash1和Hash2对该字符串进行哈希，分别产生两个哈希值：
h1＝Hash1(TimeSourceIPDestinationIPDomainName)；
h2＝Hash2(TimeSourceIPDestinationIPDomainName)；
(2)使用TimeConvertor函数将Time参数转换成整数t，使用IPConvertor函数将SourceIP和DestinationIP参数转换成整数ip，分别使用Hash1和Hash2为DomainName参数计算哈希值d1和d2；：
d1＝Hash1(DomainName)；
d2＝Hash2(DomainName)；
(3)对Time、SourceIP、DestinationIP、DomainName四个参数转换后的数值使用哈希函数Hash3计算相应的哈希值，计算过程如下：
h3＝Hash3(t,ip,d1)＝(t x ip x d1)mod HashSize；
h4＝Hash3(t,ip,d2)＝(t x ip x d2)mod HashSize；
其中，所述mod为求余函数，HashSize为哈希表大小(或长度)；
步骤C：检测哈希表中h1、h2、h3和h4的位置是否全部为1，若四个位置全部为1，则认为该日志与已采集的某条日志重复，不再对该日志进行存储；若四个位置不是全部为1，则将该日志存储在缓冲区，并将哈希表中h1、h2、h3和h4的位置全部标记为1；
所述日志存储具体是指：日志实时去重后存储在缓冲区，当缓冲区大小超过预设的阈值时将缓冲区日志数据写入数据存储和分析服务器；在数据写入过程中，根据预计算得到的服务器性能数据、当前服务器的可用资源情况，保证每台服务器存储的数据量与服务器性能成比例；
服务器性能数据包括磁盘I/O性能和计算性能，磁盘I/O性能表示服务器磁盘读数据速度，计算性能表示为服务器CPU的处理速度。
在本发明中，所述函数Hash1()和Hash2()采用BKDRHash的思想，利用移位操作实现，具体为：
其中，所述str是指待哈希的字符串，hash和i为中间变量，str.Length是指字符串str的长度，<<符号是指向左以为操作，str[i]是指字符串中第i+1个字符，ToInteger(str[i])是指将字符str[i]转换成数字，mod为求余函数，HashSize为哈希表大小(或长度)。
在本发明中，所述哈希操作的过程(2)中，使用TimeConvertor函数将Time参数转换成整数t，使用IPConvertor函数将SourceIP和DestinationIP参数转换成整数ip，具体为：
t＝TimeConvertor(Time)＝(ToInteger(MM)x2678400+ToInteger(DD)x86400+ToInteger(hh)x3600+ToInteger(mm)x60+ToInteger(ss))mod HashSize；
ip＝IPConvertor(IP)＝(ToInteger(SourceIP)x ToInteger(DestinationIP))mode HashSize；
其中，所述ToInteger(MM)、ToInteger(DD)、ToInteger(hh)、ToInteger(mm)、ToInteger(ss)是指将参数Time中的月、日、时、分、秒由字符串转换成的数值，且参数Time格式为YYYY/MM/DD/hh:mm:ss，表示年/月/日/时:分:秒；所述ToInteger(SourceIP)和ToInteger(DestinationIP)是指将参数SourceIP和DestinationIP由字符串转换成的数值；所述mod为求余函数，所述HashSize为哈希表大小(或长度)。
在本发明中，对服务器性能数据进行计算具体为：
假设服务器Si能同时读写Nd个磁盘，每个磁盘的读数据速度为Pd，能同时运行Np个CPU，每个CPU的处理速度为Pp，则服务器Si的性能计算如下：
其中，Rd和Rp分别表示服务I/O性能因子和计算性能因子，且Rd+Rp＝1(不同的应用中Rd和Rp取值不同；对于I/O操作较多的应用，Rd的值较高，对于计算较多的应用，Rp的值较高；极端情况Rd＝1,Rp＝0表示在服务器选择时只关注其I/O性能，Rd＝0,Rp＝1表示只关注服务器的计算性能；Rd和Rp的取值通过分析实际应用的I/O次数和计算复杂度设置，I/O次数越多Rd越大，计算复杂度越高Rp越大)；所述Performance(Si)是指服务器Si的性能，Si.Nd和Si.Np是指服务器Si可同时操作的磁盘个数和CPU个数，k和j是中间变量，Pd,k和Pp,j是指服务器Si第k个磁盘的读数据速度和第j个CPU的处理速度。
在本发明中，对当前服务器的可用资源情况进行计算具体为：
假设数据总量为D，数据存储服务器数量为NS，则服务器Si存储的数据量D(Si)的计算如下：
其中，所述j是中间变量，Performance(Si)和Performance(Sj)是指服务器Si和服务器Sj的性能。
与现有技术相比，本发明的有益效果是：
1、本发明利用多属性分段哈希方法，仅需一台服务器即可完成网络日志的采集和去重操作，计算复杂度和空间需求更小；
2、日志去重更精确，不会错误丢失数据，重复日志漏报率更低；
3、对于网路日志的存储采用与服务器性能成比例的存储方法，保证数据存储效率的同时提高后续的数据分析任务的性能。
附图说明
图1为基于多属性哈希的日志去重流程图。
图2为系统中服务器部署图。
图3为性能成比例的日志存储流程图。
图中的附图标记为：1交换机；2数据采集服务器；3数据存储和分析服务器。
具体实施方式
首先需要说明的是，本发明涉及网络安全和数据存储技术，是计算机技术在互联网技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
下面结合附图与具体实施方式对本发明作进一步详细描述：
入侵检测系统中基于多属性哈希去重的网络日志存储方法，旨在解决当入侵检测系统进行网络日志存储时，能够实时检测出重复记录，并根据应用需要将去重后的日志存储到本地系统中，根据本地系统中服务器性能差异，将日志按比例存储到各台服务器上。
总体方案分为日志去重和日志存储两个步骤。日志去重是在日志采集过程中实时去除重复日志，采用的主要方法是基于多属性的分段哈希；日志存储是将去重后的日志数据存储到本地服务器上，采用的主要方法是根据本地服务器性能按比例存储。日志去重过程由数据采集服务器2完成，该服务器只执行日志采集和去重操作，而日志存储过程由多台数据存储和分析服务器3完成。
日志去重过程如图1所示，首先抓取日志并解析日志，提取出用户IP(SourceIP)、访问时间(Time)、目的IP(DestinationIP)、被访问域名(DomainName)等对入侵检测最重要的四个参数。然后分别为四个参数选择哈希函数，进行哈希操作，将记录映射到不同的哈希表上。哈希函数的过程如下：
(1)将Time、SourceIP、DestinationIP、DomainName四个参数拼接成一个字符串“TimeSourceIPDestinationIPDomainName”，使用Hash1和Hash2对该字符串进行哈希，分别产生两个哈希值h1＝Hash1(TimeSourceIPDestinationIPDomainName)和h2＝Hash2(TimeSourceIPDestinationIPDomainName)。
其中，所述str是指待哈希的字符串，hash和i为中间变量，str.Length是指字符串str的长度，<<3是指向左移3位操作，<<7是指向左移7位操作，str[i]是指字符串中第i+1个字符，ToInteger(str[i])是指将字符str[i]转换成数字，mod为求余函数，HashSize为哈希表大小(或长度)。
(2)使用TimeConvertor函数将Time参数转换成整数t，使用IPConvertor函数将SourceIP和DestinationIP参数转换成整数ip，分别使用Hash1和Hash2为DomainName参数计算哈希值d1和d2。
t＝TimeConvertor(Time)＝(ToInteger(MM)x2678400+ToInteger(DD)x86400+ToInteger(hh)x3600+ToInteger(mm)x60+ToInteger(ss))mod HashSize；
ip＝IPConvertor(SourceIP,DestinationIP)＝(ToInteger(SourceIP)xToInteger(DestinationIP))mod HashSize；
d1＝Hash1(DomainName)；
d2＝Hash2(DomainName)；
其中，所述ToInteger(MM)、ToInteger(DD)、ToInteger(hh)、ToInteger(mm)、ToInteger(ss)是指将参数Time中的月、日、时、分、秒由字符串转换为数值，所述ToInteger(SourceIP)和ToInteger(DestinationIP)是指将参数SourceIP和DestinationIP由字符串转化为数值，mod为求余函数，HashSize为哈希表大小(或长度)。
(3)对Time、SourceIP、DestinationIP、DomainName四个参数转换后的数值使用哈希函数Hash3计算相应的哈希值：
h3＝Hash3(t,ip,d1)＝(t x ip x d1)mod HashSize；
h4＝Hash3(t,ip,d2)＝(t x ip x d2)mod HashSize。
其中，所述mod为求余函数，HashSize为哈希表大小(或长度)
所有哈希表初始值均为0，当采集日志后立即解析并计算h1、h2、h3和h4四个哈希值，当且仅当哈希表中h1、h2、h3和h4位置均为1时认为该日志与已采集的某条日志重复，不再对该日志进行存储；否则将相应的哈希位置为1。哈希表存储在数据采集服务器2的内存中，哈希表大小(或长度)为HashSize，当HashSize为100亿时哈希表占用内存空间为1010位二进制即1.16GB，且哈希函数的计算过程简单，因此一台数据采集服务器2即可满足日志实时采集去重的时间和空间需求。
入侵检测系统的服务器部署如图2所示，包含1台数据采集服务器2和若干台数据存储和分析服务器3，这些服务器由交换机1连接。数据采集服务器2负责日志采集和去重，数据存储和分析服务器3负责网络日志的存储和分析。
日志存储采用性能成比例的多服务器存储模式，处理流程如图3所示。日志实时去重后存储在缓冲区，当缓冲区大小超过预设的阈值时将缓冲区日志数据写入数据服务器。在数据写入过程中首先根据预计算得到的服务器性能数据以及当前服务器的可用资源情况，保证每台服务器存储的数据量与服务器性能成比例。
因为入侵检测系统中对日志数据的分析操作主要为磁盘I/O和计算，在不同的应用中磁盘I/O和计算所占比例不同，因此服务器的性能主要包括I/O性能和计算性能。磁盘I/O性能表示为服务器磁盘读数据速度，计算性能表示为服务器CPU的处理速度。假设服务器Si可以同时读写Nd个磁盘，每个磁盘的读数据速度为Pd，可以同时运行Np个CPU，每个CPU的处理速度为Pp，则服务器Si的性能计算如下
其中Rd和Rp分别表示服务I/O性能因子和计算性能因子，Rd+Rp＝1，不同的应用中Rd和Rp取值不同。对于I/O操作较多的应用，Rd的值较高；对于计算较多的应用，Rp的值较高。极端情况Rd＝1,Rp＝0表示在服务器选择时只关注其I/O性能，Rd＝0,Rp＝1表示只关注服务器的计算性能。Rd和Rp的取值通过分析实际应用的I/O次数和计算复杂度设置，I/O次数越多Rd越大，计算复杂度越高Rp越大。其中，所述Performance(Si)是指服务器Si的性能，Si.Nd和Si.Np是指服务器Si可同时操作的磁盘个数和CPU个数，k和j是中间变量，Pd,k和Pp,j是指服务器Si第k个磁盘的读数据速度和第j个CPU的处理速度。
数据由其存储服务器进行分析，因此在数据存储过程中保证每台服务器存储的数据量与服务器性能成比例，可以提高入侵检测系统中对日志数据的分析速度。若数据总量为D，数据存储服务器数量为NS，则服务器Si存储的数据量D(Si)的计算如下：
其中，j是中间变量，Performance(Si)和Performance(Sj)是指服务器Si和服务器Sj的性能。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.入侵检测系统中基于多属性哈希去重的网络日志存储方法，用于入侵检测系统将网络日志去重后存储到本地服务器上，其特征在于，入侵检测系统包括一台数据采集服务器、若干台数据存储和分析服务器，且数据采集服务器、数据存储和分析服务器都与交换机连接；数据采集服务器只执行日志采集和去重操作，哈希表存储在数据采集服务器的内存中；数据存储和分析服务器负责网络日志的存储和分析；
所述入侵检测系统中基于多属性哈希去重的网络日志存储方法包括日志去重和日志存储；
所述日志去重是在日志采集过程中，采用基于多属性的分段哈希实时去除重复日志，且日志去重过程由数据采集服务器完成；具体包括下述步骤：
步骤A：抓取日志并解析日志，提取出用户IP、访问时间、目的IP、被访问域名这四个对入侵检测最重要的参数，并分别记为SourceIP、Time、DestinationIP、DomainName；
步骤B：为Time、SourceIP、DestinationIP、DomainName四个参数进行哈希操作，使用Hash1、Hash2、Hash3三个哈希函数将每条日志映射到哈希表上；
所述哈希操作的过程如下：
(1)将Time、SourceIP、DestinationIP、DomainName四个参数拼接成一个字符串“TimeSourceIPDestinationIPDomainName”，使用Hash1和Hash2对该字符串进行哈希，分别产生两个哈希值：
h1＝Hash1(TimeSourceIPDestinationIPDomainName)；
h2＝Hash2(TimeSourceIPDestinationIPDomainName)；
(2)使用TimeConvertor函数将Time参数转换成整数t，使用IPConvertor函数将SourceIP和DestinationIP参数转换成整数ip，分别使用Hash1和Hash2为DomainName参数计算哈希值d1和d2；
d1＝Hash1(DomainName)；
d2＝Hash2(DomainName)；
(3)对Time、SourceIP、DestinationIP、DomainName四个参数转换后的数值使用哈希函数Hash3计算相应的哈希值，计算过程如下：
h3＝Hash3(t,ip,d1)＝(t x ip x d1)mod HashSize；
h4＝Hash3(t,ip,d2)＝(t x ip x d2)mod HashSize；
其中，所述mod为求余函数，HashSize为哈希表大小；
步骤C：检测哈希表中h1、h2、h3和h4的位置是否全部为1，若四个位置全部为1，则认为该日志与已采集的某条日志重复，不再对该日志进行存储；若四个位置不是全部为1，则将该日志存储在缓冲区，并将哈希表中h1、h2、h3和h4的位置全部标记为1；
所述日志存储具体是指：日志实时去重后存储在缓冲区，当缓冲区大小超过预设的阈值时将缓冲区日志数据写入数据存储和分析服务器；在数据写入过程中，根据预计算得到的服务器性能数据、当前服务器的可用资源情况，保证每台服务器存储的数据量与服务器性能成比例；
服务器性能数据包括磁盘I/O性能和计算性能，磁盘I/O性能表示服务器磁盘读数据速度，计算性能表示为服务器CPU的处理速度。
2.根据权利要求1所述的入侵检测系统中基于多属性哈希去重的网络日志存储方法，其特征在于，所述函数Hash1()和Hash2()采用BKDRHash的思想，利用移位操作实现。
3.根据权利要求1所述的入侵检测系统中基于多属性哈希去重的网络日志存储方法，其特征在于，所述哈希操作的过程(2)中，使用TimeConvertor函数将Time参数转换成整数t，使用IPConvertor函数将SourceIP和DestinationIP参数转换成整数ip，具体为：
t＝TimeConvertor(Time)＝(ToInteger(MM)x2678400+ToInteger(DD)x86400+ToInteger(hh)x3600+ToInteger(mm)x60+ToInteger(ss))mod HashSize；
ip＝IPConvertor(IP)＝(ToInteger(SourceIP)x ToInteger(DestinationIP))modeHashSize；
其中，所述ToInteger(MM)、ToInteger(DD)、ToInteger(hh)、ToInteger(mm)、ToInteger(ss)是指将参数Time中的月、日、时、分、秒由字符串转换成的数值，且参数Time格式为YYYY/MM/DD/hh:mm:ss，表示年/月/日/时:分:秒；所述ToInteger(SourceIP)和ToInteger(DestinationIP)是指将参数SourceIP和DestinationIP由字符串转换成的数值；所述mod为求余函数，所述HashSize为哈希表大小。
4.根据权利要求1所述的入侵检测系统中基于多属性哈希去重的网络日志存储方法，其特征在于，对服务器性能数据进行计算具体为：
假设服务器Si能同时读写Nd个磁盘，每个磁盘的读数据速度为Pd，能同时运行Np个CPU，每个CPU的处理速度为Pp，则服务器Si的性能计算如下：
其中，Rd和Rp分别表示服务I/O性能因子和计算性能因子，且Rd+Rp＝1；所述Performance(Si)是指服务器Si的性能，Si.Nd和Si.Np是指服务器Si可同时操作的磁盘个数和CPU个数，k和j是中间变量，Pd,k和Pp,j是指服务器Si第k个磁盘的读数据速度和第j个CPU的处理速度。
5.根据权利要求1所述的入侵检测系统中基于多属性哈希去重的网络日志存储方法，其特征在于，对当前服务器的可用资源情况进行计算具体为：
假设数据总量为D，数据存储服务器数量为NS，则服务器Si存储的数据量D(Si)的计算如下：
其中，所述j是中间变量，Performance(Si)和Performance(Sj)是指服务器Si和服务器Sj的性能。
CN201710167463.0A 2017-03-16 2017-03-16 入侵检测系统中基于多属性哈希去重的网络日志存储方法 Active CN107070897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710167463.0A CN107070897B (zh) 2017-03-16 2017-03-16 入侵检测系统中基于多属性哈希去重的网络日志存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710167463.0A CN107070897B (zh) 2017-03-16 2017-03-16 入侵检测系统中基于多属性哈希去重的网络日志存储方法

Publications (2)

Publication Number Publication Date
CN107070897A CN107070897A (zh) 2017-08-18
CN107070897B true CN107070897B (zh) 2019-11-12

Family

ID=59618248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710167463.0A Active CN107070897B (zh) 2017-03-16 2017-03-16 入侵检测系统中基于多属性哈希去重的网络日志存储方法

Country Status (1)

Country Link
CN (1) CN107070897B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107645503B (zh) * 2017-09-20 2020-01-24 杭州安恒信息技术股份有限公司 一种基于规则的恶意域名所属dga家族的检测方法
CN111159117B (zh) * 2019-12-17 2023-07-04 复旦大学 一种低开销的文件操作日志采集方法
CN111756709A (zh) * 2020-06-09 2020-10-09 杭州孝道科技有限公司 一种降低交互式应用检测中漏洞重复检测的方法
CN111694802B (zh) * 2020-06-12 2023-04-28 百度在线网络技术（北京）有限公司 去重信息获取方法、装置和电子设备
CN117453423B (zh) * 2023-12-25 2024-04-19 北京趋动智能科技有限公司 Gpu显存管理方法和系统，存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605028A (zh) * 2009-02-17 2009-12-16 北京安天电子设备有限公司 一种日志记录合并方法和系统
CN103036697A (zh) * 2011-10-08 2013-04-10 阿里巴巴集团控股有限公司 一种多维度数据去重方法及系统
CN104350514A (zh) * 2012-03-19 2015-02-11 加拿大皇家铸币厂 资产存储和转移系统中的外部日志存储

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605028A (zh) * 2009-02-17 2009-12-16 北京安天电子设备有限公司 一种日志记录合并方法和系统
CN103036697A (zh) * 2011-10-08 2013-04-10 阿里巴巴集团控股有限公司 一种多维度数据去重方法及系统
CN104350514A (zh) * 2012-03-19 2015-02-11 加拿大皇家铸币厂 资产存储和转移系统中的外部日志存储

Also Published As

Publication number Publication date
CN107070897A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107070897B (zh) 入侵检测系统中基于多属性哈希去重的网络日志存储方法
CN105608203B (zh) 一种基于Hadoop平台的物联网日志处理方法和装置
US9971847B2 (en) Automating browser tab groupings based on the similarity of facial features in images
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
CN107045531A (zh) 一种优化hdfs小文件存取的系统及方法
CN109189767A (zh) 数据处理方法、装置、电子设备及存储介质
CN107463479A (zh) 一种社交数据监控系统
CN110175730A (zh) 一种基于大数据的政府政策智能与企业匹配的系统及方法
CN109684441A (zh) 对职位和简历进行匹配的方法、系统、设备和介质
CN109033148A (zh) 一种面向多分类的不平衡数据预处理方法、装置及设备
CN110995652B (zh) 一种基于深度迁移学习的大数据平台未知威胁检测方法
Yannikos et al. Data corpora for digital forensics education and research
CN104021124B (zh) 用于处理网页数据的方法、装置和系统
CN110866564A (zh) 多重半监督图像的季节分类方法、系统、电子设备和介质
CN109145016A (zh) 一种金融用互联网大数据检索系统
CN104580109B (zh) 生成点选验证码的方法及装置
US10459947B2 (en) Frequency dependent partial index
CN109446167A (zh) 一种日志数据存储、提取方法及装置
US20150169657A1 (en) K-ary tree to binary tree conversion through complete height balanced technique
CN114022179A (zh) 一种结合网络舆情和相依性的股票价格预测方法
CN115470489A (zh) 检测模型训练方法、检测方法、设备以及计算机可读介质
CN109032940A (zh) 一种测试场景录入方法、装置、设备及存储介质
CN114584372A (zh) 一种基于注意力机制和LSTM的Tor网站指纹识别方法
CN111611498B (zh) 一种基于领域内部语义的网络表示学习方法及系统
Kumar et al. Machine learning based traffic classification using low level features and statistical analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 No. 188 Lianhui Street, Xixing Street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Annan information technology Limited by Share Ltd

Address before: Zhejiang Zhongcai Building No. 68 Binjiang District road Hangzhou City, Zhejiang Province, the 310051 and 15 layer

Applicant before: Dbappsecurity Co.,ltd.

GR01 Patent grant
GR01 Patent grant