CN115840862B - 一种网络靶场大规模场景中靶标的快速查询方法与系统 - Google Patents

Abstract

本发明公开了一种网络靶场大规模场景中靶标的快速查询方法与系统。本发明引入缓存服务，建立一级缓存用于缓存靶标的第一类信息，二级缓存用于缓存靶标的第一类信息与比第一类信息变动批次高、查询频次低的第二类信息；并且通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；由缓存服务接收到靶标查询请求，从一级缓存或二级缓存中查询靶标信息。本发明能够解决网络靶场大规模场景下，因靶标种类不同、靶标数量巨大而导致的靶标查询缓慢的问题。分级缓存和主动更新机制，既能兼顾性能又能应对复杂查询场景需求，并且兼容性和可扩展性高。

Description

一种网络靶场大规模场景中靶标的快速查询方法与系统

技术领域

本发明涉及一种网络靶场大规模场景中靶标的快速查询方法与系统，属于计算机软件、网络安全技术领域。

背景技术

网络靶场是一种基于虚拟化技术，对真实网络空间中的网络架构、系统设备、业务流程的运行状态及运行环境进行模拟和复现的技术或产品，以更有效地实现与网络安全相关的学习、研究、检验、竞赛、演习等行为，从而提高人员及机构的网络安全对抗水平。随着信息时代的不断发展，网络靶场不仅仅包含了在线网络攻防学习环境、网络安全赛事平台、网络安全技术测评研究平台，城市级甚至国家级的网络攻防演练平台等，也在往靶场范围数字化、靶场能力多样化的方向发展。而且随着支持规模的量级差异、模拟环境的复杂程度、各行业应用场景的不同、网络靶场的靶标数量级也有很大的差异。

靶标的种类大致可分为虚拟靶标、实体靶标。虚拟靶标包括虚拟机靶标、容器靶标、虚拟交换机、虚拟路由器等；实体靶标包括交换机、路由器、服务器、仿真设备等。

在目前的网络靶场环境中，虚拟靶标一般是基于OpenStack搭建的云平台构建的，实体靶标基于其他管理服务进行构建的，靶标查询涉及流程如图1所示。包括如下步骤：1、用户下发靶标查询请求到dashboard，dashboard将请求发送到控制服务；2、控制服务负责和nova、zun、neutron等组件交互，然后nova、zun、neutron等组件分别从数据库内获取虚拟机靶标、容器靶标、虚拟交换机靶标、虚拟路由器靶标等靶标信息经过封装转换返回给控制服务；3、控制服务直接和数据库服务交互获取实体靶标的信息；4、控制服务将虚拟靶标信息和实体靶标信息进行封装然后返回给dashboard进行数据渲染。

现有靶标查询流程存在如下问题：1、从发起请求到获取靶标信息的网络路径长开销大；2、靶标查询速度和靶标数量、靶标种类成正相关，靶标数量级越大，靶标种类越复杂，查询速度越慢，影响使用体验；3、每次查询涉及组件多，少量数据更新也需全量查询；4、获取靶标信息时只能全量查询，然后前端分页，开销较大；5、大规模场景下服务不仅需要应对组件内部的压力，还需要应对高并发、高吞吐的用户查询压力，组件性能得不到保障。

针对以上问题，常见的两类解决方案是：一、使用API分页。这种方案采用的是分而治之的思想，需要多少数据通过分页查询多少数据，将查询数据控制在一定范围内。缺点如下：靶标单一的场景下能很好解决速度慢的问题，靶标复杂的场景涉及组件总多，每个组件分页查询方式不统一，分页难度大，无法覆盖全量数据查询场景、和搜索场景；大规模场景下，意味着用户的量级也会剧增，高并发的场景下依然会存在性能瓶颈。二、优化各个组件的性能。组件可以采用多副本，提高并发查询能力，数据库可以使用高速缓存盘进行硬件加速，DB智能代理实现读写分离，优化数据查询性能，不同靶标查询时进行算法优化并行查询。该方案虽然缓解了查询速度慢，但未从根本上解决问题，且优化范围较广，优化难道较大。

发明内容

发明目的：针对上述现有技术存在的问题，本发明目的在于提供一种网络靶场大规模场景中靶标的快速查询方法与系统，以解决网络靶场大规模场景下，因靶标种类不同、靶标数量巨大而导致的靶标查询缓慢的问题。

技术方案：为实现上述发明目的，本发明提供的一种网络靶场大规模场景中靶标的快速查询方法，包括如下步骤：

建立用于缓存靶标的第一类信息一级缓存，以及用于缓存靶标的第一类信息和第二类信息的二级缓存；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；

通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；所述主动更新包括基于rpc notification机制和/或key订阅机制实时感知靶标信息的变化，以查询最新靶标信息更新到一级缓存和二级缓存；

接收到靶标查询请求时，从一级缓存或二级缓存查询靶标信息。

进一步地，所述主动更新包括：基于rpc notification机制感知虚拟靶标信息变动，监听虚拟机管理平台组件服务在虚拟靶标创建、删除或信息变动时发出的通知消息，根据通知消息中涉及到的虚拟靶标，通过组件服务接口以单个虚拟靶标为单位获取最新靶标信息以更新缓存，或者对于删除消息则删除缓存中对应的虚拟靶标。

进一步地，所述主动更新包括：基于key订阅机制感知实体靶标信息变动，为实体靶标集合以及每个实体靶标分别创建订阅key，在实体设备控制服务创建、删除或更新实体靶标时更新相应订阅key对应的value值，从而感知实体靶标信息变动，在感知到有信息变动后，进行缓存中对应靶标的信息同步。

进一步地，所述周期性同步包括：根据配置时间周期性全量或分批次获取最新的靶标信息，更新一级缓存和二级缓存。

作为优选，所述一级缓存采用Redis，基于内存实现；所述二级缓存采用etcd，同时实现靶标资源的订阅功能。

基于相同的发明构思，本发明提供的一种网络靶场大规模场景中靶标的快速查询系统，包括：

一级缓存模块，用于缓存靶标的第一类信息，

二级缓存模块，用于缓存靶标的第一类信息和第二类信息；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；

缓存服务模块，用于建立一级缓存模块和二级缓存模块，接收到靶标查询请求时，从一级缓存模块或二级缓存模块查询靶标信息，以及，用于通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性。

进一步地，所述缓存服务模块采用多副本方式提升响应能力。

基于相同的发明构思，本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的网络靶场大规模场景中靶标的快速查询方法的步骤。

有益效果：与现有技术相比，本发明具有如下优点：1、本发明引入缓存方案，靶标查询的路径开销大大缩短，靶标信息统一封装缓存和读取，能够有效解决大规模场景因靶标数量大，靶标种类多带来的查询缓慢问题。2、本发明通过分级缓存，将常用数据和全量数据进行分流缓存处理，既能兼顾性能又能应对复杂查询场景需求。3、本发明结合主动更新和周期性校验机制，既能保证实时性、准确性又能提高大规模场景下的查询速度。主动更新可以复用现有虚拟平台组件服务关于资源变动的rpc notification机制，也可以使用订阅机制实现靶标信息变动的实时感知，兼容性和可扩展性高。4、缓存可以采用内存型的数据库实现，具有速度快、性能高的特点，高并发场景下分担了靶标原有各个服务和数据库的压力。5、大规模场景下，主动更新机制可以实现靶标资源变动局部更新，有效避免全量更新带来的查询速度慢、负载高的问题。

附图说明

图1为现有靶标查询流程示意图。

图2为本发明实施例改进的靶标查询流程示意图。

图3为本发明实施例中基于rpc通知机制实现主动更新流程示意图。

图4为本发明实施例中基于key订阅机制实现主动更新流程示意图。

图5为本发明实施例中周期性同步更新流程示意图。

图6为本发明实施例中面向用户的靶标信息获取流程示意图。

实施方式

下面将结合附图和具体实施例，对本发明的技术方案进行清楚、完整的描述。

如图2所示，本发明实施例提供的网络靶场大规模场景中靶标的快速查询方法，引入缓存服务，提供两级缓存，将靶标中查询频次较高且不易变化的第一类信息缓存于一级缓存，并将第一类信息和靶标中动态变化的第二类信息再缓存在二级缓存，两级缓存功能能够实现靶标信息的高并发，高吞吐的快速查询。具体地，本实施例的靶标快速查询方法包括：建立用于缓存靶标的第一类信息一级缓存，以及用于缓存靶标的第一类信息和第二类信息的二级缓存；通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；接收到靶标查询请求时，从一级缓存或二级缓存查询靶标信息。

下面以利用Redis和etcd实现两级缓存功能为例，对本实施例的具体实现进行详细描述。

Redis和etcd实现靶标的KV存储，KV是Key-Value的缩写，KV存储也叫键值对存储。简单来说，它是利用Key做索引来实现数据的存储、修改、查询和删除功能。

Redis用来实现靶标的一级缓存功能，缓存靶标的基础信息，包括靶标的名称、规格、靶标类型、操作系统信息、IP信息等第一类信息。这类信息使用比较频繁、在靶标的生命周期内不易改变，且数据量小，存储在内存中占用空间较小，响应速度极快。因为Redis是基于内存的，单进程单线程KV数据库，绝大部分的请求是纯粹的内存操作，且单线程避免了不必要的上下文切换和竞争条件，所以查询速度非常快，理论可以达到100000+的QPS（每秒内查询次数）。

etcd用来实现靶标的二级缓存功能，缓存靶标的全量信息，即除了靶标的基础信息还包括靶标的运行状态、靶标的连接信息、靶标的授权信息、靶标的快照链等第二类信息。这类信息有的会随着靶标生命周期的变动而实时变动。此外，etcd还用来实现靶标资源的订阅功能，用来监控靶标的信息实时变动，并结合缓存服务进行资源信息的实时同步。订阅功能支持订阅某个key下的数据变更，一旦数据被修改了，客户端能够实时收到通知并获取最新的数据。

cache service（缓存服务）为本发明实施例开发的服务程序，基于Golang实现，简单配置后就可以运行，很轻松即可实现API 请求的高并发处理。缓存服务主要负责靶标信息的实时监控，靶标信息的缓存和缓存信息更新，并对外暴露HTTP接口，提供靶标信息的查询功能。缓存服务在缓存靶标的时候会统一靶标信息封装形式，便于调用者查询和使用。

具体地，缓存服务在启动的时候会进行靶标信息的一级缓存，二级缓存建立，然后对外暴露靶标的查询能力，缓存里的靶标信息的实时性和准确性依赖于缓存服务的主动更新和周期性的信息校正。

缓存服务针对靶标的提供服务（如nova、neutron、zun、控制服务等）进行资源订阅，来达到对靶标的实时监控目的，当靶标信息有变化时进行靶标缓存信息的主动更新，如图3和图4，根据资源订阅实现方式的不同，可分为以下两种方式：

a、rpc的notification（通知）机制实现靶标信息变更的实时动态感知。

rpc notification是rpc（remote produce call）调用的一种方式，是一种典型的订阅者/发布者模式，通过这种模式，靶标的管理者在靶标发生变化的时候，将信息发布出去，此时，靶标的管理者（例如nova）是发布者，订阅者收到信息的时候，可以针对靶标的变化做出响应。例如缓存服务是订阅者，在收到有靶标信息发生变化时，调用对应的api接口更新缓存里的靶标信息。

以nova服务为例，虚拟机靶标在创建的时候会主动调用nova.compute.utils.notify_about_instance_usage函数，把消息类型是compute.instance.create.start的通知信息经过rpc通知给订阅者缓存服务，缓存服务可以拿到此通知代表有新的虚拟机靶标产生，缓存里的靶标信息已经和实际产生了差异，需要主动更新缓存里的靶标信息，然后缓存服务会调用nova-api查询虚拟机的接口，将新创建的虚拟机靶标信息缓存到Redis和etcd中，更新过后，缓存里的靶标信息便和实际的相同。此外，在虚拟机靶标的生命周期内，如果某些属性发生变动，例如虚拟机靶标的运行状态发生变化，也会发送特定的通知信息经过rpc通知给订阅者缓存服务，缓存服务也会调用nova-api查询虚拟机的接口，将变动的属性更新到缓存里，如果虚拟机靶标被删除，缓存服务也能订阅到删除的通知，此时会直接将对应的靶标信息从缓存里删除。此机制保证了用户从缓存读取到的虚拟机靶标信息的实时性和准确性，并且更新是以单个虚拟机靶标为单位进行的，资源开销小。实现此机制的OpenStack服务还有Neutron、Glance、Cinder等，能够兼容大部分虚拟靶标的查询场景。

b、利用etcd实现靶标信息的实时订阅。

etcd提供一种监听机制，使用者可以监听一个或者一组key，key对应的内容有变动的时候，使用者都会收到相应的变化。

缓存服务动态的订阅某些key作为标志位，控制服务（对于实体交换机、服务器、仿真设备等实体靶标，其控制服务可以是各实体设备对应的管理/控制程序，或者是集成在靶场平台上的用于管理实体设备的管理模块）创建实体靶标、删除实体靶标、更新实体靶标的时候更新标志位，缓存服务能借助etcd实时收到标志位的更新，然后主动的将实体靶标信息更新缓存到Redis和etcd中。具体实现如下：

通过配置项定义实体靶标的订阅key，例如physical_target，key保存的value是实体靶标的uuid（用来标识靶标，具有唯一性，例如uuid为07a1f510-8839-41ed-9805-f8869390ef05）的集合，缓存服务会在启动的时候会创建这个key，并通过控制服务api将查询到的全量的实体靶标uuid集合作为value保存到etcd中，然后缓存服务会订阅这个key。当控制服务创建实体靶标的时候，会将新创建的实体靶标的uuid添加到physical_target对应的value集合内，etcd会实时将这些变动通知到缓存服务，然后缓存服务调用控制服务的api将新创建的实体靶标信息更新到Redis和etcd缓存里，并同时创建一个以新靶标uuid为key，初始值为0的value的键值对在etcd中，然后再订阅这个新key（新靶标的uuid），控制服务在后续的流程中如果针对靶标的信息有新的更新，都会调用etcd的api更新这个新key的value，每次更新value的值自增+1。如果有靶标删除的时候，控制服务会删除physical_target这个key对应的value里存的靶标的uuid，缓存服务在感知到这个变化后，会删除缓存里Redis和etcd的靶标信息，并且去除以该靶标uuid为key的订阅。利用此机制，实体靶标在创建、删除或者靶标信息有变动的时候缓存服务也能够实时感知到，并将变动信息同步到缓存里供使用者查询。

以上两种主动更新机制，一种是基于rpc notification实现的，一种是基于etcd订阅key对应数据是否发生变动实现的，两种方式的目的相同，都是为了能够实时感知靶标信息的变化，然后缓存服务才能够有触发条件将靶标对应的变化信息更新到缓存里，以保证用户从缓存里拿到的靶标信息的实时性和准确性。因此在实际使用过程中可以两者相结合，或者使用其中的某一种。本例中采用etcd实现二级缓存，同时etcd支持key订阅机制，所以采用同一工具实现key订阅，当然也可以采用其他支持消息订阅的工具。

如图5所示，除了上述主动更新机制，缓存服务还提供周期性靶标信息更新功能，会根据配置时间（例如60秒一个刷新周期）周期性的获取靶标的信息并将信息缓存到Redis和etcd中，用来对靶标信息的周期性校正。获取靶标的策略可以全量获取、也可以分批次分服务获取，使用者根据环境负载进行动态配置。

图6所示为用户获取靶标信息的过程，调用者发起查询请求直接到缓存服务，缓存服务根据查询信息的需要进行一级缓存查询和二级缓存查询，然后将靶标信息返回给调用者。集群内原有面向用户提供的靶标信息查询能力由缓存服务统一提供，将大规模下的高并发压力引流到缓存服务内，缓存服务可以提高服务配置和多副本来提升API响应能力。

综上，本发明实施例基于Redis和etcd引入缓存方案，提供多级缓存功能。能够有些解决大规模场景因靶标数量大，靶标种类多带来的查询缓慢问题。通过分级缓存，将常用数据和全量数据进行分流缓存处理，不仅能够充分利用Redis和etcd的性能特点，还能够兼容不同场景的查询需求。靶标信息的主动更新提供两种可行方案，可以直接结合现有服务进行使用，也可以使用订阅的方式进行靶标原有流程的快速改造，既能带来查询速度质的提升，也能够兼容准确性和实时性的要求。靶标信息的读写分离，能够解决提供靶标服务的单点压力，如虚拟机靶标的查询由缓存服务提供，nova服务和其配合的数据库服务不再承担大规模场景下用户侧带来的高并发、高吞吐的查询压力。靶标信息的统一封装缓存然后直接查询使用，避免因靶标种类不同，带来使用时需要兼容处理的弊端。缓存服务只专注提供靶标信息的查询能力，不仅可以通过调整配置提高组件的响应能力，还能够通过多副本方式提高可用性，避免单点故障引起的服务不可用。

基于相同的发明构思，本发明实施例提供的一种网络靶场大规模场景中靶标的快速查询系统，包括：一级缓存模块，用于缓存靶标的第一类信息，二级缓存模块，用于缓存靶标的第一类信息和第二类信息；缓存服务模块，用于建立一级缓存模块和二级缓存模块，接收到靶标查询请求时，从一级缓存模块或二级缓存模块查询靶标信息，以及，用于通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性。具体实施细节参见上述查询方法，不再赘述。

基于相同的发明构思，本发明实施例提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的网络靶场大规模场景中靶标的快速查询方法的步骤。

Claims (6)

1.一种网络靶场大规模场景中靶标的快速查询方法，其特征在于，包括如下步骤：

建立用于缓存靶标的第一类信息一级缓存，以及用于缓存靶标的第一类信息和第二类信息的二级缓存；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；

通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；所述主动更新包括基于rpc notification机制和key订阅机制实时感知靶标信息的变化，以查询最新靶标信息更新到一级缓存和二级缓存；

接收到靶标查询请求时，从一级缓存或二级缓存查询靶标信息；

所述主动更新包括：基于rpc notification机制感知虚拟靶标信息变动，监听虚拟机管理平台组件服务在虚拟靶标创建、删除或信息变动时发出的通知消息，根据通知消息中涉及到的虚拟靶标，通过组件服务接口以单个虚拟靶标为单位获取最新靶标信息以更新缓存，或者对于删除消息则删除缓存中对应的虚拟靶标；

所述主动更新包括：基于key订阅机制感知实体靶标信息变动，为实体靶标集合以及每个实体靶标分别创建订阅key，在实体设备控制服务创建、删除或更新实体靶标时更新相应订阅key对应的value值，从而感知实体靶标信息变动，在感知到有信息变动后，进行缓存中对应靶标的信息同步。

2.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述周期性同步包括：根据配置时间周期性全量或分批次获取最新的靶标信息，更新一级缓存和二级缓存。

3.根据权利要求1所述的网络靶场大规模场景中靶标的快速查询方法，其特征在于，所述一级缓存采用Redis，基于内存实现；所述二级缓存采用etcd，同时实现靶标资源的订阅功能。

4.一种网络靶场大规模场景中靶标的快速查询系统，其特征在于，包括：

一级缓存模块，用于缓存靶标的第一类信息，

二级缓存模块，用于缓存靶标的第一类信息和第二类信息；所述第一类信息的查询频次高于第二类信息，在靶标生命周期内的变动频次低于第二类信息；

缓存服务模块，用于建立一级缓存模块和二级缓存模块，接收到靶标查询请求时，从一级缓存模块或二级缓存模块查询靶标信息，以及，用于通过主动更新和周期性同步机制更新一级缓存和二级缓存，保证缓存中靶标信息的实时性和准确性；所述主动更新包括基于rpc notification机制和key订阅机制实时感知靶标信息的变化，以查询最新靶标信息更新到一级缓存和二级缓存；

所述主动更新包括：基于rpc notification机制感知虚拟靶标信息变动，监听虚拟机管理平台组件服务在虚拟靶标创建、删除或信息变动时发出的通知消息，根据通知消息中涉及到的虚拟靶标，通过组件服务接口以单个虚拟靶标为单位获取最新靶标信息以更新缓存，或者对于删除消息则删除缓存中对应的虚拟靶标；

所述主动更新包括：基于key订阅机制感知实体靶标信息变动，为实体靶标集合以及每个实体靶标分别创建订阅key，在实体设备控制服务创建、删除或更新实体靶标时更新相应订阅key对应的value值，从而感知实体靶标信息变动，在感知到有信息变动后，进行缓存中对应靶标的信息同步。

5.根据权利要求4所述的网络靶场大规模场景中靶标的快速查询系统，其特征在于，所述缓存服务模块采用多副本方式提升响应能力。

6.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-3任一项所述的网络靶场大规模场景中靶标的快速查询方法的步骤。

Images