CN110362536A - 基于告警关联的日志密文检索方法 - Google Patents

Abstract

本发明公开了基于告警关联的日志密文检索方法，构建一个基于区块链的分布式存储结构保证了告警日志的安全性，定义了一个计算源地址威胁程度的函数，将告警日志根据计算威胁程度进行聚类和索引构建，设计了一个基于告警关联的索引构建方法，通过对告警日志进行相关性分析，提取出属于同一攻击过程的告警日志，构建安全索引并进行有效检索，获取具有攻击意图的告警日志，能够提升告警日志的分析效率。设计的方法包括日志拥有者模块，基于分布式的日志存储模块和日志检索者模块，具有存储安全性较强，日志检索效率较快等优点。

Description

基于告警关联的日志密文检索方法

技术领域

本发明应用于告警日志的检索领域，是一种能够保证日志安全并且提高后续分析效率的日志密文检索方法。

背景技术

随着信息科技的高速发展，网络入侵的攻击方式也越来越多，网络防护系统的作用性也更加明显。入侵检测系统(IDS,intrusion detection system)负责对网络和系统的整体运行状况进行实时监控，通过发现和记录各种攻击行为，以保证网络系统的正常运行，增加了网络防护系统的安全性和完整性。通过使用IDS告警日志记录检测到的攻击行为，通过日志分析可以及时的找出网络环境中的安全漏洞，进一步的更新网络设备中的防护系统。然而，告警日志的管理和使用上存在两个非常严重的问题，第一，告警日志记录着网络中的攻击事件，可以分析出入侵者的攻击意图，与普通的数据文件并不一样，它更容易受到纂改或窃取行为，若使用与普通的数据文件相同的存储方式，告警日志极有可能会受到攻击行为，这使得日志的完整性和安全性难以得到保证。第二，由于告警日志的数量非常庞大，若想要知道网络中的安全问题，日志管理员需要对海量的告警日志进行安全分析，其中包含着大量的误告警和无关告警，这些低级告警没有实际的攻击行为，而且对日志分析的结果没有帮助，干扰对入侵者攻击意图的正确分析，并使得分析效率低下。对此，本发明设计了一个基于区块链的分布式存储结构，设计了一种基于告警关联的日志索引构建方法并进行有效检索。

发明内容

考虑到上述的问题，本发明提出了一种基于告警关联的日志密文检索方法。根据区块链不可篡改、不可伪造的特性，构建了一个基于区块链的日志存储架构用于安全保存日志文件；定义了一个计算告警源地址威胁程度的方法，使用该方法计算日志中源地址的威胁程度，根据威胁程度将海量的告警日志进行聚类，构建索引结构并进行检索，根据告警日志中攻击行为的逻辑关系，提出基于告警关联的索引构建方法，通过对日志文件进行相关性分析，提取出属于同一攻击场景的日志集合和攻击特征，将可能遗漏的日志文件进行有效整合，构建安全索引并作为检索结果的推荐部分提供场景检索，得到具有攻击意图的告警日志。

实现该方法的系统包括日志拥有者模块，基于区块链的分布式存储模块和日志检索者模块，通过模块相互间的共同协作，实现了告警日志的密文检索功能。

日志拥有者模块是告警日志的拥有者，日志拥有者负责通过客户端进行告警日志的加密上传，提取出密文索引结构和日志元数据发送到区块链节点，保管加密日志的密钥。

基于区块链的分布式存储模块负责日志的存储和管理。在日志拥有者上传加密日志后负责接收并存储，在日志检索者上传密文检索词信息后负责接收并进行区块查询和日志检索，并将检索结果发送日志检索者。

日志检索者是告警日志的检索者，通过客户端提交检索关键词；发送密钥请求到日志拥有者。

本发明提出了一个基于告警关联的日志密文检索方法，能够有效的提高告警日志的存储安全性，并通过日志检索获得更为关键的告警日志提高日志的分析效率。构建了一个基于区块链的日志存储结构，从日志完整性的角度解决了日志的存储问题，保证日志的安全存储。同时，使用一个区块索引库提供区块的快速检索。定义了一个计算告警源地址威胁程度的计算函数，根据威胁程度将告警日志聚类并构建索引结构。设计了一个基于告警关联的检索方法，通过将日志进行相关性分析，提取出属于同一攻击场景的告警日志并构建索引结构，通过日志检索可以获得具有攻击意图的告警日志。

附图说明

图1是本发明的密文检索模型图。

图2是本发明的存储检索图。

图3是基于源地址威胁程度的密文索引构建流程图。

图4是基于告警关联的攻击场景索引构建流程图。

图5是区块结构示意图。

具体实施方式

以下将结合附图的具体实施方式对本发明进行详细的描述：

图1是基于告警关联的日志密文检索模型图，包括：

日志拥有者模块是告警日志的拥有者，日志拥有者通过客户端进行从告警日志中提取出告警向量，根据告警向量和索引构建算法提取出密文索引结构，并从告警日志中提取出日志Hash值和日志存储地址组成日志元数据，日志集合全部处理完毕后与密文索引结构打包上传到区块链节点，需要保管加密日志的密钥，在受到密钥申请时，对检索者的身份信息进行验证，只有验证完成后才能够进行发送密钥给完成身份验证的日志检索者。

基于区块链的分布式存储模块负责日志的存储和管理，在日志拥有者上传加密日志后，负责接收密文日志并存储在分布式数据库当中，同时将存储地址返回给日志拥有者。当接收到密文索引结构与日志元数据时，生成新区块存储这些数据，将密文索引结构放入区块头，将日志元数据放入区块体，根据共识算法生成新区块并连入区块链。在日志检索者上传加密关键词后负责接收，根据时间关键词进行区块的查询和返回，根据检索关键词在索引结构中找到日志的存储地址，并根据存储地址在分布式数据库中进行日志检索，将查询到的加密日志，发送给提交关键词的日志检索者。

日志检索者模块是告警日志的检索者，通过客户端提交时间关键词和检索关键词，进行加密后发送到存储模块。收到加密日志之后发送密钥请求信息给日志拥有者，得到返回的加密密钥后对检索得到的加密日志进行解密得到明文日志。

图2是方案中告警日志存储检索示意图，可以具体分为日志存储部分和日志检索部分，其中日志存储部分由日志拥有者模块和分布式存储模块完成日志存储和区块构建等操作，日志检索部分由日志检索者模块、分布式存储模块和日志拥有者模块进行日志检索和验证等操作，日志存储检索的具体步骤为：

步骤21，日志拥有者上传告警日志文件。

步骤22，根据索引构建算法提取出索引结构。

步骤23，加密索引结构生成密文索引结构。

步骤24，将告警日志计算Hash值与告警日志存储地址组成日志元数据上传到区块链节点并生成新区块连入区块链中。

步骤25，使用日志拥有者的加密密钥将明文日志进行加密生成密文日志存储在分布式数据库中。

步骤26，日志检索者提交检索关键词。

步骤27，将关键词加密生成密文关键词提交到区块链节点，区块链节点通过区块查询和日志检索得到日志文件，将检索到的结果发送日志检索者。

步骤28，日志检索者接收密文告警日志。

步骤29，日志检索者根据密钥申请得到加密密钥对密文日志进行解密得到明文日志。

图3是基于源地址威胁程度的密文索引构建图，具体步骤为：

步骤31，日志拥有者上传告警日志。

步骤32，在告警日志中提取告警向量组成告警向量集合。

步骤33，按顺序读取集合中的告警向量，判断是否存在告警事件与告警向量的源地址、目的地址和告警类型相同且时间差小于T。

步骤34，如果相同，将告警向量加入到告警事件中。

步骤35，如果不相同，将告警向量创建一个新的告警事件，并按时间进行排序。

步骤36，根据告警事件中的目的地址，分类生成目的告警集合，根据集合中告警事件的源地址，生成相似告警集合。

步骤37，根据源地址威胁程度计算函数得到相似告警集合的威胁程度，生成源地址信息结构。

步骤38，将同一目的告警集合中的源地址信息结构加入到一个数组中，并按照威胁程度进行排序。

步骤39，根据目的地址和源地址信息结构数组生成键值对，加入到索引结构中，并将关键词计算摘要得到密文索引结构。

图4是基于告警关联的攻击场景索引构建流程图，具体步骤为：

步骤41，日志拥有者上传告警日志。

步骤42，在告警日志中提取告警向量组成告警向量集合，按顺序读取集合中的告警向量，判断是否存在告警事件与告警向量的源地址、目的地址和告警类型相同且时间差小于T，如果相同，将告警向量加入到告警事件中，如果不相同，将告警向量创建一个新的告警事件，并按时间进行排序。

步骤43，根据规则判断是否有一攻击场景与该告警事件存在IP相关并且时间相关。

步骤44，如果相关，将该告警事件加入这个攻击场景。

步骤45，如果不相关，根据该告警事件生成一个新的攻击场景。

步骤46，判断攻击场景集合中是否存在两个攻击场景相似度大于阈值。

步骤47，如果大于阈值，将两个攻击场景合并生成一个新的攻击场景。

步骤48，判断遍历是否完成，完成直接退出该循环。

步骤49，根据攻击场景包含的IP地址序列和攻击场景所有告警日志形成键值对，加入索引结构中并加密生成密文索引。

图5是区块结构示意图，本发明通过将密文索引结构存储在区块头中，将日志元数据生成Merkle树存储在区块体中，构建区块保证告警日志的安全存储。

Claims (3)

1.基于告警关联的日志密文检索系统，其特征在于：由日志拥有者模块、基于区块链的分布式存储模块和日志检索者模块三个模块组成；

上述的日志拥有者模块是告警日志的拥有者部分，负责将告警日日志加密上传到存储结构，从告警日志提取出日志元数据和密文索引结构发送到区块链节点，保管加密日志的密钥并负责发送密钥给完成身份验证的日志检索者；

基于区块链的分布式存储模块负责告警日志的存储和管理；接收并存储加密日志文件，将密文索引结构与日志元数据存入区块中并将新区块连接到区块链，接收关键词后负责日志检索，通过匹配区块告警标识获取区块，从区块的索引结构中检索告警日志，将查询到的加密日志，发送给提交关键词的日志检索者；

日志检索模块是告警日志的检索者部分，告警日志的检索者负责通过客户端提交检索关键词，并发送密钥请求到日志拥有者模块，得到返回的密钥后对检索得到的加密日志进行解密得到告警日志；

日志拥有者模块与基于区块链的分布式存储模块共同完成告警日志的存储流程，通过日志拥有者模块向存储模块发送日志信息，存储模块将日志信息进行分开管理，保证了告警日志的安全存储；日志拥有者、存储模块、日志检索者模块共同完成告警日志的检索流程，通过日志检索者提交检索信息，存储模块根据检索信息进行区块和日志的检索并将结果返回给检索者，日志拥有者通过身份验证后将加密密钥返回给检索者以解密密文日志。

2.利用权利要求1所述系统进行的基于告警关联的日志密文检索方法，其特征在于：

本方法定义了日志源地址威胁程度的计算函数，通过计算日志源地址的威胁程度，对告警日志进行有效的聚类并构建密文索引，同时本方法出了使用告警关联的方法对日志进行相关性分析，通过查找告警日志间的逻辑关系，将同一攻击过程的告警日志分类，分析日志间的先后顺序，提取出属于同一攻击场景的告警日志并构建安全索引结构，通过日志检索和场景检索快速获取到具有攻击意图的告警日志。

3.根据权利要求2所述的基于告警关联的日志密文检索方法，其特征在于：本发明的存储和检索过程为：

步骤21，日志拥有者上传告警日志文件；

步骤22，根据索引构建算法，构建告警日志索引结构；

步骤23，将索引结构进行加密，生成密文索引结构；

步骤24，计算告警日志的Hash值和告警日志存储地址组成日志元数据上传到区块链节点通过生成新区块连入区块链中；

步骤25，使用日志拥有者的加密密钥将明文日志进行加密生成密文日志安全存储在分布式数据库中；

步骤26，日志检索者提交明文检索关键词；

步骤27，将关键词进行加密生成密文检索关键词并提交到区块链节点，根据区块检索得到密文索引结构，根据索引结构的日志存储地址得到密文日志文件，将日志检索结果发送到日志检索者；

步骤28，日志检索者接收密文告警日志；

步骤29，日志检索者根据密钥申请得到加密密钥对密文日志进行解密得到明文日志。