CN111914126A

CN111914126A - 用于索引的网络安全大数据的处理方法、设备及存储介质

Info

Publication number: CN111914126A
Application number: CN202010709105.XA
Authority: CN
Inventors: 蒋希敏; 姜峰; 陶明亮; 董超
Original assignee: Zhejiang Qianguan Information Security Institute Co ltd
Current assignee: Zhejiang Qianguan Information Security Institute Co ltd
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2020-11-10

Abstract

本发明涉及一种用于索引的网络安全大数据的处理方法、设备及存储介质，属于数据处理技术领域。所述方法包括：步骤S1：使用API接口批量接收数据，将接收的数据放入队列；步骤S2：判断索引结构是否存在，若是，则进入步骤S3；若否，则自动创建索引结构，然后进入步骤S3；步骤S3：采用多线程处理方式和异步写入方式将所述队列中的数据放入相应的索引结构中。在数据处理的整个流程中使用队列、多线程处理方式和异步写入方式，提高了将数据写入索引结构的速度。

Description

用于索引的网络安全大数据的处理方法、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于索引的网络安全大数据的处理方法、设备及存储介质。

背景技术

随着网络大数据的快速发展，针对网络数据安全的威胁也与日俱增，给数据安全保障带来了严峻的挑战。使用全方位的安全数据分析是应对这一挑战的重要手段，通过以数据为基础的指导思想，结合安全行业的特殊性，有效融合各类数据并引入大数据分析、机器学习、可视化等技术手段，形成全方位的网络空间安全态势感知能力。通过以安全业务相结合的指导方针，强调数据驱动业务，业务支撑发掘数据的双向互动机制，不断增强系统的安全感知能力。

为了处理复杂的网络安全问题，通过大数据技术进行安全分析和行为分析，找出有问题的网络访问并及时预警。对网络安全大数据的使用，具有以下场景：

(1)资产、威胁、漏洞、事件、行为等监控及检测；

(2)基于大数据的统计分析、异常检测、行为分析；

(3)基于大数据的跨不同实体的相关性分析；

(4)基于大数据的预测分析；

(5)基于机器学习的策略自更新及数据分析；

(6)网络安全实时态势感知监控界面。

因此，网络安全数据具有数据量大的特点，为了能够满足上述使用场景，必须使用合理的搜索索引设计，但目前的各种常规索引设计，无法满足网络安全数据的各种分析。

发明内容

为了解决上述问题，本发明提供一种用于索引的网络安全大数据的处理方法，包括：步骤S1：使用API接口批量接收数据，将接收的数据放入队列；步骤S2：判断索引结构是否存在，若是，则进入步骤S3；若否，则自动创建索引结构，然后进入步骤S3；步骤S3：采用多线程处理方式和异步写入方式将所述队列中的数据放入相应的索引结构中。由此，在数据处理的整个流程中使用队列、多线程处理方式和异步写入方式，提高了将数据写入索引结构的速度，能够将大量的网络安全数据快速进行存储以用于索引，提高了数据的入库(索引库)效率。

可选的，所述索引结构通过如下方式设计：采用多时间组合方式命名，不但可以减少查询时参与的分片(shard)数量，而且方便对于按照周期的数据进行老化、备份、删除的处理；

针对数据的索引归类分为基于安全的索引归类和基于行为的索引归类，方便各种方式的安全分析；

使用基于安全数据ID的路由机制，并启用路由服务(routing)功能，使数据按照过滤(filter)字段的值分布到索引库集群中不同的分片，能够使参与到查询中的分片数减少很多，极大地提高了CPU的利用率；

使用rollover index API管理索引结构的生命周期，按照日期、文档数、文档存储大小三个维度进行更新索引。

可选的，所述索引结构的设计方式还包括：按照周、月和季度的时间区间设计索引结构的别名，实现安全数据索引的便捷查询，方便维护等；

根据不同的部署环境动态地调整分片及副本参数，实现灵活的管理。

可选的，所述索引结构的设计方式还包括：有规则的将索引库集群的节点分成不同类型，分别用于存储热数据和冷数据，可以一方面保证热数据的性能，另一方面保证冷数据的存储，降低存储成本。

可选的，所述步骤3具体为：根据数据结构，采用多线程处理方式和异步写入方式将列队中的数据放入相应的索引结构中，基于索引结构是实现安全数据高效使用的重要因素，可以将不同结构的安全数据以明确的结构存储到索引结构中。

可选的，所述数据结构包含通用属性和安全数据专有属性。

可选的，所述通用属性包括标识、摘要、记录类型、地址协议、主机对属性、结果、操作指令、传输属性、通用属性、用户和域名属性。

可选的，所述安全数据专有属性包括邮件属性、伪装属性、文件属性、EDR事件属性、威胁情报、数据库属性、恶意代码属性、WAF属性、HTTP请求、DNS属性、DDos属性、地理位置、漏洞属性、方案建议、归并属性、规则属性、设备状态和节点属性。

本发明进一步提供一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的用于索引的网络安全大数据的处理方法。

本发明进一步提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的用于索引的网络安全大数据的处理方法

根据上述内容，本发明的用于索引的网络安全大数据的处理方法，在数据处理的整个流程中使用队列、多线程处理方式和异步写入方式，提高了将数据写入索引结构的速度。

附图说明

图1是本发明一实施形态的用于索引的网络安全大数据的处理方法的流程示意图；

图2是本发明实施例1的用于索引的网络安全大数据的处理方法的流程示意图；

图3是本发明实施例1的索引结构示意图；

图4是本发明实施例2中电子设备的结构示意图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

请参阅图1所示，本发明一实施形态的用于索引的网络安全大数据的处理方法包括以下步骤：

步骤S1：使用API接口批量接收数据，将接收的数据放入队列；

步骤S2：判断索引结构是否存在，若是，则进入步骤S3；若否，则自动创建索引结构，然后进入步骤S3；

步骤S3：采用多线程处理方式和异步写入方式将所述队列中的数据放入相应的索引结构中。

通过上述方式，在数据处理的整个流程中使用队列、多线程处理方式和异步写入方式，提高了将数据写入索引结构的速度。

本申请的发明人还发现，在索引的过程中需要对待索引数据进行文本分析，之后建立倒排索引，该过程十分消耗CPU资源。对于索引性能来说，有两个指标非常重要：一个指标是吞吐量，即单位时间内索引的数据记录数；另一个指标是延时，即索引完的数据多久能够被检索到。因此，为了合理设计索引结构，以下公布一种实施形态作为示意性的说明。

实施例1

索引结构的命名可以设计为双日期(建立索引结构的时间)格式，不但可以减少查询时参与的分片数量，而且方便对于按照周期的数据老化、备份、删除的处理，基本上相当于文件级的操作性能。例如，索引结构的命名可以为security-2019.12.12-1577721600(毫秒时间戳)。

针对数据的索引归类分为两类：基于安全的索引归类和基于行为的索引归类，方便各种方式的安全分析。安全设备输入的数据具有标签是基于安全或基于行为。

使用基于安全数据ID的路由机制，创建索引时，启用路由服务功能，数据就可以按照过滤字段(安全设备输入时，数据包含这个字段值，字段含义：不同类型的安全数据)的值分布到集群中不同的分片，使参与到查询中的分片数减少很多，极大地提高了CPU的利用率。

对于安全数据索引结构的生命周期管理，使用rollover index API管理索引结构的生命周期，按照日期、文档数、文档存储大小三个维度进行更新索引。例如，对于像日志等滚动生成索引的数据，业务经常以天为单位创建和删除索引结构。

针对索引结构的别名设计，可以按照周、月和季度的时间区间来设计别名，实现安全数据索引的便捷查询，方便维护等。

通过动态的分片和副本管理方式，根据不同的部署环境动态的调整分片和副本参数，实现灵活的管理。

基于上述内容，请参阅图2所示，本实施例的用于索引的网络安全大数据的处理方法包括以下流程：使用API接口批量接收数据，将接收的数据放入队列，使用多线程处理方式处理队列中的数据，并判定日期，使用异步写入方式将数据存入相应的索引结构中，如果索引结构不存在，根据索引模板自动创建索引结构，然后再使用异步写入方式，将数据存入相应的索引结构中。该过程中使用队列、多线程处理方式和异步写入等方式，提高了将数据写入索引结构的速度。

上述索引结构的实现以索引库集群为基础，而索引库集群本身具有数据同步特征，能够进行数据转移，从而保持各个索引库之间的平衡和安全。

进一步的，可以根据数据结构，采用多线程处理方式和异步写入方式将列队中的数据放入相应的索引结构中。例如，数据结构可以包含通用属性和安全数据专有属性两部分，其中，通用属性包括标识、摘要、记录类型、地址协议、主机对属性、结果、操作指令、传输属性、通用属性、用户和域名属性等；安全数据专有属性的大类包括邮件属性、伪装属性、文件属性、EDR事件属性、威胁情报、数据库属性、恶意代码属性、WAF属性、HTTP请求、DNS属性、DDos属性、地理位置、漏洞属性、方案建议、归并属性、规则属性、设备状态和节点属性等，专有属性根据安全数据类型的不同而不同。

以下，针对安全数据专有属性详细说明：

邮件属性包括邮件ID、邮件方向、邮件类型、邮件发送者、邮件抄送者、邮件接收者、信头发件地址、信头收件地址、邮件MD5、邮件大小、邮件时间线、邮件黑白名单、邮件分值、邮件主题、邮件正文等字段。

伪装属性包括实际对象、伪装对象等字段。

文件属性包括文件名称、文件目录、文件大小、文件类型、文件Hash、文件内容、文件描述、路径等字段。

EDR事件属性包括事件id、客户端id、进程路径、进程id、进程md5、上报时间、状态、威胁操作、告警等级、操作系统类型、重要等级、来源厂商、攻击链图、进程关系图、可疑进程连接过的Ip等字段。

威胁情报包括威胁主机、恶意IP、恶意URL、可信度、事件名、团伙名、威胁标签、恶意类型、链接对象类型、ioc主要TAG、情报关联的ip、严重等级、威胁类型、恶意IP所在区域、恶意IP所在国家名、恶意IP所在省名、恶意IP所在城市名、恶意IP纬度、恶意IP经度、恶意IPISP服务商、恶意IP组织名等字段。

数据库属性包括服务器IP、服务器端口、数据库实例名、数据库名、数据库版本、客户端IP、客户端端口、客户端MAC、客户端工具、客户端操作系统用户、应用用户、数据库用户、风险类型、风险级别、引擎动作、规则名称、操作类型、操作对象、响应时间、执行结果、影响行数、SQL语句等字段。

恶意代码属性包括恶意代码ID、恶意代码分类、恶意代码类型、恶意代码描述、恶意代码名称等字段。

WAF属性包括攻击URL、攻击类型等字段。

HTTP请求包括HTTP请求方法、请求的参数、请求的资源、请求的域名、请求的原始来源、cookie、请求者信息、链接来源、请求真实ip和代理、传送的数据、状态码、内容类型等字段。

DNS属性包括DNS访问类型、Host、地址资源、邮件交换记录、域名规范名称等字段。

DDos属性包括DDos攻击类型、总包数、攻击包数、总字节数、攻击字节数等字段。

地理位置包括源地址类型、源地址所在国家、源地址所在省、源地址所在市、源地址经度、源地址纬度、源地址归属、目标地址类型、目标地址所在国家、目标地址所在省、目标地址所在市、目标地址经度、目标地址纬度、目标地址归属等字段。

基于上述内容，通过将通用属性和安全数据专有属性进行组合的数据结构设计，将数据按照如图3所示的索引结构进行存储，能够满足统计分析、异常检测、行为分析、相关性分析、预测分析等使用场景。

进一步的，本实施例的网络安全大数据的索引结构设计以Elasticsearch为基础以实现安全大数据的存储和分析。本申请的发明人发现，传统的Elasticsearch集群中所有节点均采用相同的配置，然而Elasticsearch并没有对节点的规格一致性做要求，每个节点可以是任意规格，当然这样做会导致索引库集群的各节点性能不一致，从而影响索引库集群的稳定性。但是，如果有规则的将索引库集群的节点分成不同类型，部分是高性能的节点用于存储热数据，部分是性能相对差些的大容量节点用于存储冷数据，那么可以一方面保证热数据的性能，另一方面保证冷数据的存储，从而达到降低存储成本的目的，以下对上述内容具体阐述。

为了保证Elasticsearch的读写性能良好，磁盘可以使用SSD固态硬盘。但是海量的数据就意味着需要大量的存储空间，如果全部使用SSD固态硬盘，那么成本将成为一个很大的问题，为了解决这个问题，请继续参阅图2所示，本实施例公开一种Elasticsearch冷热分离架构。

继上文公开的索引库集群节点异构之后，接着要考虑的是数据分布问题，即用户如何对冷热数据进行标识，从而能够将冷数据移动到冷节点并将热数据移动到热节点。

因此，在索引集群创建好时配置好冷热节点，其中冷节点为机械硬盘，热节点为固态硬盘。

对于热数据还是冷数据的判断可以是：根据存储时间和当前时间的间隔长度来判断，小于时间阈值的为热数据(例如与当前时间距离一周内的数据为热数据)，否则为冷数据。

但是，仅仅将不同的节点设置为不同的规格还不够，为了能明确区分出哪些节点是热节点，哪些节点是冷节点，还需要为对应节点打标签。

打了标签的节点有了冷热属性后，接下来就是指定数据的冷热属性来设置和调整数据分布。由于该冷热分离的技术方案中数据冷热分布的基本单位是索引结构，那么指定某个索引结构为热索引，另一个索引结构为冷索引。通过索引结构的分布来达到控制数据分布的目的。

因此，本实施例中针对索引结构的设计，使用了虚拟组合数据索引技术以及冷热数据分区技术以提高数据查询分析能力，并且为数据的应用提升时效性。

实施例2

如图4所示，为电子设备的结构示意图，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接。

处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现本发明各种实施形态的用于索引的网络安全大数据的处理方法。

存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收实体编码数据、实体等。输出装置640可包括显示屏等显示装备。

实施例3

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务端，或者网络设备等)执行本发明各种实施形态的用于索引的网络安全大数据的处理方法。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种用于索引的网络安全大数据的处理方法，其特征在于，包括：

2.根据权利要求1所述的用于索引的网络安全大数据的处理方法，其特征在于，所述索引结构通过如下方式设计：

采用多时间组合方式命名；

针对数据的索引归类分为基于安全的索引归类和基于行为的索引归类；

使用基于安全数据ID的路由机制，并启用路由服务功能，使数据按照过滤字段的值分布到索引库集群中不同的分片；

使用rollover index API管理索引结构的生命周期。

3.根据权利要求2所述的用于索引的网络安全大数据的处理方法，其特征在于，所述索引结构的设计方式还包括：

按照周、月和季度的时间区间设计索引结构的别名；

根据不同的部署环境动态地调整分片及副本参数。

4.根据权利要求3所述的用于索引的网络安全大数据的处理方法，其特征在于，所述索引结构的设计方式还包括：

有规则的将索引库集群的节点分成不同类型，分别用于存储热数据和冷数据。

5.根据权利要求1所述的用于索引的网络安全大数据的处理方法，其特征在于，所述步骤3具体为：

根据数据结构，采用多线程处理方式和异步写入方式将列队中的数据放入相应的索引结构中。

6.根据权利要求5所述的用于索引的网络安全大数据的处理方法，其特征在于，所述数据结构包含通用属性和安全数据专有属性。

7.根据权利要求6所述的用于索引的网络安全大数据的处理方法，其特征在于，所述通用属性包括标识、摘要、记录类型、地址协议、主机对属性、结果、操作指令、传输属性、通用属性、用户和域名属性。

8.根据权利要求7所述的用于索引的网络安全大数据的处理方法，其特征在于，所述安全数据专有属性包括邮件属性、伪装属性、文件属性、EDR事件属性、威胁情报、数据库属性、恶意代码属性、WAF属性、HTTP请求、DNS属性、DDos属性、地理位置、漏洞属性、方案建议、归并属性、规则属性、设备状态和节点属性。

9.一种电子设备，包括处理器和存储有计算机程序的存储介质，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的用于索引的网络安全大数据的处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的用于索引的网络安全大数据的处理方法。