CN111931028A - 一种基于k8s的监控系统及监控方法 - Google Patents

Abstract

本公开提供了一种基于k8s的监控系统及监控方法，其中，监控系统包括管理容器创建数据抓取方案，并将数据抓取方案提供给抓取容器；抓取容器基于数据抓取方案进行数据抓取；管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，其他容器至少包括存储容器和分析容器。本公开基于k8s建立了监控系统，并利用监控系统中的管理容器基于抓取到的数据的数据量大小，实时且动态的调整存储容器和分析容器等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定IOC的问题，能够全面且准确的确定IOC也即待监控数据，同时避免了服务器资源浪费。

Description

一种基于k8s的监控系统及监控方法

技术领域

本公开涉及数据安全技术领域，具体而言，涉及一种基于k8s的监控系统及监控方法。

背景技术

随着网络科技的不断发展，网络用户(包括个人和企业)将越来越多的资料保存在网络上，以便于方便的存取、进行保密等。但随之也产生了许多的网络威胁，也即网络用户的设备、云端或网站存在被恶意攻击，进而导致资料被窃取，甚至导致网络用户的设备直接报废等，这对网络用户的名誉及财产等均造成了影响。

其中，针对不同的安全厂商有不同的攻击手段，因此不同的厂商对应的安全威胁情报(Indicators of Compromise，IOC)也不相同。通常，通过网络爬虫来抓取网络中的数据，并对抓取到的数据进行分析，进而确定抓取到的数据中是否存在IOC。但存储抓取到的数据的空间是在进行数据抓取之前预先设定好的，在抓取到的数据较多时，存在空间不足遗漏抓取的数据的情况，导致无法全面且准确的确定IOC的问题；在抓取到的数据较少时，存在空间闲置浪费服务器资源的问题。

发明内容

有鉴于此，本公开的目的在于提供一种基于k8s的监控系统及监控方法，以解决现有技术中存在的存储抓取到的数据的空间是在进行数据抓取之前预先设定好的，在抓取到的数据较多时，存在空间不足遗漏抓取的数据的情况，导致无法全面且准确的确定IOC的问题；以及在抓取到的数据较少时，存在空间闲置浪费服务器资源的问题。

第一方面，本公开提供了一种基于k8s的监控系统，其中，包括：

管理容器创建数据抓取方案，并将所述数据抓取方案提供给抓取容器；

所述抓取容器基于所述数据抓取方案进行数据抓取；

所述管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，所述其他容器至少包括存储容器和分析容器。

在一种可能的实施方式中，所述监控系统还包括：

所述管理容器还确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；

在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，控制所述抓取容器基于所述数据抓取方案继续进行数据抓取。

在一种可能的实施方式中，所述抓取容器基于所述数据抓取方案，利用网络爬虫进行数据抓取。

在一种可能的实施方式中，所述管理容器根据在预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，并将更新后的爬虫代理IP提供给所述抓取容器，以使所述抓取容器基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。

在一种可能的实施方式中，所述监控系统还包括：

所述抓取容器将所述抓取到的数据存储至所述存储容器；

所述分析容器获取所述存储容器中的所述抓取到的数据，并从所述抓取到的数据中提取待监控数据；查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；若存在，通过报警容器以警报信息的形式进行报警。

在一种可能的实施方式中，所述监控系统还包括：

API控制容器管理所述监控系统的各容器之间的API接口。

第二方面，本公开还提供了一种监控方法，其应用于上述任一所述的监控系统，包括：

创建数据抓取方案；

基于所述数据抓取方案进行数据抓取；

基于抓取到的数据的数据量大小，动态调整容器的大小。

在一种可能的实施方式中，所述监控方法还包括：

确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；

在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，基于所述数据抓取方案继续进行数据抓取。

在一种可能的实施方式中，所述基于所述数据抓取方案进行数据抓取，包括：

基于所述数据抓取方案，利用网络爬虫进行数据抓取。

在一种可能的实施方式中，所述监控方法还包括：

根据预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，以基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。

在一种可能的实施方式中，所述监控方法还包括：

从所述抓取到的数据中提取待监控数据；

查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；

若存在，以警报信息的形式进行报警。

在一种可能的实施方式中，所述监控方法还包括：

管理所述监控系统中各容器之间的API接口。

本公开基于k8s建立了监控系统，并利用监控系统中的管理容器基于抓取到的数据的数据量大小，实时且动态的调整存储容器和分析容器等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定IOC的问题，能够全面且准确的确定IOC也即待监控数据，同时避免了服务器资源浪费。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开所提供的一种监控系统的结构示意图；

图2示出了本公开所提供的一种监控方法的流程图；

图3示出了本公开所提供的另一种监控方法的流程图；

图4示出了本公开所提供的另一种监控方法的流程图。

附图标号：

1-管理容器；2-抓取容器；3-存储容器；4-分析容器；5-报警容器；6-API控制容器。

具体实施方式

为了使得本公开的目的、技术方案和优点更加清楚，下面将结合本公开的附图，对本公开的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了保持本公开的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。

本公开第一方面提供了一种基于k8s的监控系统，其中，Kubernetes又称为k8s，是一种可自动实施Linux容器操作的开源平台。它可以帮助用户省去应用容器化过程的许多手动部署和扩展操作。图1示出了本公开实施例提供的基于k8s的监控系统的结构示意图，该监控系统包括管理容器1和抓取容器2，这里，容器是指包含了完整的运行环境，以供应用程序正常运行的空间，例如其包括应用程序所需的全部依赖、类库、其他二进制文件、配置文件等；并且，容器与容器之间的运行是相互独立的，不会出现相互干扰的情况。

具体地，管理容器1基于用户设定的需求例如用户关注的网站、博客、文章等创建数据抓取方案，并将数据抓取方案提供给抓取容器2。

抓取容器2在接收到管理容器1提供的数据抓取方案之后，基于数据抓取方案进行数据抓取；并且，将抓取到的数据存储至存储容器3。

其中，管理容器1实时或周期性的确定抓取容器2抓取到的数据的数据量大小，在确定抓取容器2抓取到的数据的数据量大小之后，管理容器1便基于抓取到的数据的数据量大小，实时且动态的调整其他容器的大小；其中，其他容器至少包括存储容器3和分析容器4，这里容器的大小为其能够容纳数据的数据量大小。例如，在创建数据抓取方案的同时，基于数据抓取方案预先设定存储容器3和分析容器4的大小，在实际进行数据抓取的过程中，实时将抓取到的数据的数据量大小与存储容器3的大小进行对比，在抓取到的数据的数据量大小与存储容器3的大小之间的差值大于预设阈值的情况下，确定抓取到的数据的数据量大小与存储容器3的大小中较大的，若抓取到的数据的数据量大小大于存储容器3的大小，则将存储容器3进行扩容处理，也即增加存储容器3的大小，避免存储空间不足导致无法容纳抓取到的数据导致数据遗漏等问题；若抓取到的数据的数据量大小小于存储容器3的大小，则将存储容器3进行缩容处理，也即减小存储容器3的大小，避免该存储容器3的闲置造成资源浪费等。同理，分析容器4的大小的调整方法可以参照存储容器3的大小的调整方法，本公开实施例在此便不做过多赘述。

本公开实施例提供的监控系统中，利用管理容器1基于抓取到的数据的数据量大小，实时且动态的调整存储容器3和分析容器4等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定IOC的问题，能够全面且准确的确定IOC，同时避免了服务器资源浪费，进而降低了运行成本。

进一步地，管理容器1还能够实时监测抓取容器2抓取到的数据并确定抓取到的数据是否满足预先创建的数据抓取方案的要求；其中，数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求。并且，在抓取到的数据未否满足数据抓取方案的要求的情况下，控制抓取容器2基于数据抓取方案继续进行数据抓取，以确保抓取到的数据满足数据抓取方案的要求，进而能够准确的确定IOC，以便安全厂商能够及时对IOC进行干预，避免造成损失。其中，IOC至少包括域名，网络之间互连的协议(Internet Protocol，IP)地址，统一资源定位符(Uniform Resource Locator，URL)，木马文件的hash，注册表的键值，木马运行时所用信号量的名称等。

具体地，本公开实施例中的抓取容器2基于数据抓取方案，利用网络爬虫进行数据抓取。考虑到在利用网络爬虫在各个网站中抓取数据的过程中，有些网站为了防止网络爬虫抓取数据，可能会限制每个IP的访问速度或访问次数，进而导致抓取容器2无法及时抓取到数据甚至导致其抓取数据失败；为了解决该问题，本公开实施例中的管理容器1还可以实时监控抓取容器2在预设时间段内抓取到数据的情况，至少包括抓取容器2是否已经抓取到数据以及是否在预设时间段内抓取到数据等，并根据抓取到数据的情况更新网络爬虫的爬虫代理IP；例如，确定在预设时间段内未抓取到数据的情况下，更新网络爬虫的爬虫代理IP；并将更新后的爬虫代理IP提供给抓取容器2，重新启动抓取容器2，并基于数据抓取方案利用更新后的爬虫代理IP进行数据抓取，以确保抓取容器2能够抓取到其想要抓取的数据，也即满足数据抓取方案的数据，进而确保对IOC的监测。当然，管理容器1还可以周期性的更新网络爬虫的爬虫代理IP，能够避免抓取容器2无法及时抓取到数据以及抓取数据失败的情况，相较于确定在预设时间段内未抓取到数据之后再更新网络爬虫的爬虫代理IP，提高了数据抓取的效率，避免了资源浪费。

本公开实施例中的管理容器1能够自动更新网络爬虫的爬虫代理IP，无需人工干预便能完成自动维护，省时省力，提高了维护效率，进而提高了抓取容器2抓取数据的效率，也即提高了监测系统的监测效率等。

在抓取容器2将抓取到的数据存储至存储容器3之后，分析容器4获取存储容器3中的抓取到的数据，并从抓取到的数据中提取待监控数据；其中，该监控数据即为IOC。在提取出待监控数据之后，查找预先设定的关注数据群中是否存在与待监控数据相匹配的关注数据；若存在，也即安全厂商的网络数据或设备被攻击，则通过报警容器5以警报信息的形式进行报警；具体地，可以是分析容器4生成警报信息，将警报信息传输给报警容器5；报警容器5基于警报信息进行报警；当然警报信息也可以是管理容器1生成的，还可以是报警容器5生成的，本公开实施例对此不做具体限定。其中，该报警方式不限于利用报警设备发出报警提示声、向安全厂商发送报警邮件等。

关注数据群中包括安全厂商关注的关注数据，同样包括域名，IP地址，URL，木马文件的hash，注册表的键值，木马运行时所用信号量的名称等。

进一步地，本公开实施例提供的监控系统还包括API控制容器6，该API控制容器6能够动态匹配监控系统的各容器例如管理容器1与抓取容器2、存储容器3、分析容器4、报警容器5之间的API接口，实现管理容器1与抓取容器2、存储容器3、分析容器4、报警容器5之间的通信连接，以便于管理容器1与抓取容器2、存储容器3、分析容器4、报警容器5之间进行数据传输等。

本公开实施例的管理容器能够基于抓取到的数据的数据量大小，实时且动态的调整存储容器和分析容器等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定待监控数据的问题，能够全面且准确的确定待监控数据，同时避免了服务器资源浪费，进而降低了运行成本；其还能够实时的更新网络爬虫的爬虫代理IP，以确保抓取容器能抓取到数据抓取方案对应的数据；进一步地，API控制容器能够动态匹配管理容器与抓取容器、存储容器、分析容器、报警容器之间的API接口，实现管理容器与抓取容器、存储容器、分析容器、报警容器之间能够正常通信连接的目的，确保该监测系统能够正常运行。

本公开实施例的第二方面还提供了一种监控方法，由于该监控方法解决问题的原理与本公开上述监控系统的相似，因此监控方法的实施可以参见系统的实施，重复之处不再赘述。其中，该监控方法的执行主体为上述监控系统。

如图2所示，为本公开实施例提供的监控方法的流程图，其中，具体步骤包括：

S201，创建数据抓取方案；

S202，基于所述数据抓取方案进行数据抓取；

S203，基于抓取到的数据的数据量大小，动态调整容器的大小。

再又一实施例中，图3示出了本公开实施例提供的另一种监控方法的流程图，其中，具体步骤包括：

S301，确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；

S302，在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，基于所述数据抓取方案继续进行数据抓取。

再又一实施例中，本公开实施例提供的监控方法中所述基于所述数据抓取方案进行数据抓取，包括：

基于所述数据抓取方案，利用网络爬虫进行数据抓取。

再又一实施例中，本公开实施例提供的监控方法中还包括：

根据预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，以基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。

再又一实施例中，图4示出了本公开实施例提供的另一种监控方法的流程图，其中，具体步骤包括：

S401，从所述抓取到的数据中提取待监控数据；

S402，查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；

S403，若存在，以警报信息的形式进行报警。

再又一实施例中，本公开实施例提供的监控方法中还包括：

管理所述监控系统中各容器之间的API接口。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围之内。

Claims (12)

1.一种基于k8s的监控系统，其特征在于，包括：

管理容器创建数据抓取方案，并将所述数据抓取方案提供给抓取容器；

所述抓取容器基于所述数据抓取方案进行数据抓取；

所述管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，所述其他容器至少包括存储容器和分析容器。

2.根据权利要求1所述的监控系统，其特征在于，还包括：

所述管理容器还确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；

在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，控制所述抓取容器基于所述数据抓取方案继续进行数据抓取。

3.根据权利要求1所述的监控系统，其特征在于，所述抓取容器基于所述数据抓取方案，利用网络爬虫进行数据抓取。

4.根据权利要求3所述的监控系统，其特征在于，所述管理容器根据在预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，并将更新后的爬虫代理IP提供给所述抓取容器，以使所述抓取容器基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。

5.根据权利要求1所述的监控系统，其特征在于，还包括：

所述抓取容器将所述抓取到的数据存储至所述存储容器；

所述分析容器获取所述存储容器中的所述抓取到的数据，并从所述抓取到的数据中提取待监控数据；查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；若存在，通过报警容器以警报信息的形式进行报警。

6.根据权利要求1所述的监控系统，其特征在于，还包括：

API控制容器管理所述监控系统的各容器之间的API接口。

7.一种监控方法，其特征在于，应用于权利要求1-6中任一所述的监控系统，所述监控方法包括：

创建数据抓取方案；

基于所述数据抓取方案进行数据抓取；

基于抓取到的数据的数据量大小，动态调整容器的大小。

8.根据权利要求7所述的监控方法，其特征在于，还包括：

确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；

在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，基于所述数据抓取方案继续进行数据抓取。

9.根据权利要求1所述的监控方法，其特征在于，所述基于所述数据抓取方案进行数据抓取，包括：

基于所述数据抓取方案，利用网络爬虫进行数据抓取。

10.根据权利要求3所述的监控方法，其特征在于，还包括：

根据预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，以基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。

11.根据权利要求1所述的监控方法，其特征在于，还包括：

从所述抓取到的数据中提取待监控数据；

查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；

若存在，以警报信息的形式进行报警。

12.根据权利要求1所述的监控方法，其特征在于，还包括：

管理所述监控系统中各容器之间的API接口。

Images