CN112688914A - 一种智慧型云平台动态感知方法 - Google Patents

Abstract

一种智慧型云平台动态感知方法，数据采集层包括有Flume‑Agent和Application请求，且连接于数据聚类层；数据聚类层包括有Flume‑Collector动态扩容，且连接于数据存储层；数据存储层设立于Kafka的开源流处理平台上，分布式文件系统HDFS参与安全分析层，Kafka的开源流处理平台连接于服务协网keeper；安全分析层包括有离线安全分析Hadoop和实时安全分析storm。本发明提供针对云主机日志、平台访问日志、业务模块日志、API日志等多渠道的日志统一收集和大数据安全分析能力。通过机器学习算法建立不同业务场景的安全基线模型和人机行为识别引擎，提升物联网云平台安全性。

Description

一种智慧型云平台动态感知方法

技术领域

本发明涉及云计算技术领域，具体地，涉及一种智慧型云平台动态感知方法。

背景技术

现有的计算中心普遍采用云计算技术，主要是虚拟化技术和容器技术对资源。

进行统一调度和弹性分配。虚拟化技术在提高设备利用率及部署灵活性的同时，也引入带来了新的安全性的挑战。虚拟化环境除了要面临常规安全威胁，还会面临虚拟机跳跃攻击、虚拟机逃逸攻击等新的针对虚拟化环境的安全威胁。由于处在同一Hypervisor都是基于共享内存，虚拟交换连接的，虚拟机跳跃攻击者就可以利用Hypervisor的缺陷获取同一Hypervisor上其他虚拟机的访问权限，攻击其他虚拟机或窃取秘密数据。虚拟机逃逸攻击是指攻击者利用Hypervisor的实现缺陷，利用非法参数造成Hypervisor缓冲区溢出从而逃逸出虚拟机，直接控制虚拟机所在的物理机，逃逸出虚拟机后攻击者就可以以物理宿主机作为跳板机对整个数据中心造成威胁，目前针对数据中心的安全方法，常规的做法还是打补丁，但由于目前攻防的不对称性，防守方一直处于被动地位，因此有必要找到一种新的方法来弥补常规安全方法的不足。

针对上述现有技术中的缺陷，本发明要解决的技术问题体现在以下几点：

1)在计算中心物理层，采用不同厂家，不同型号的CPU实现物理层的异构，通过业务的迁移来实现物理层的重构；

2)通过虚拟化异构动态热迁移实现虚拟化Hypervisor的重构，通过容器动态服务技术实现容器的重构；

3)通过在虚拟化镜像中安装相关驱动实现CPU，内存和重要外设的热拔插，通过动态改变容器的CPU和内存，外设的配额来实现容器的热拔插。

4)整个计算环境重构依赖于系统对安全态势的感知，不同的安全态势对应不同的重构频率，通过相关的重构控制器实现了从物理层，控制层，平台层的不同层次的重构从而有效的弥补了常规安全手段的不足。

相关检索结果：

申请(专利)号：201410206795.1，名称：一种异构CPU服务器集群中虚拟机的热迁移方法及装置，本发明公开了一种异构CPU服务器集群中虚拟机的热迁移方法，包括：获取

当前集群中全部CPU的操作指令集；计算出全部所述操作指令集的最大交集以作为当前集群的CPU指令集基线；在所述CPU指令集基线范围内选取一个目标虚拟机操作指令集，指定给各所述虚拟机以启动当前集群中的各虚拟机；当接收到热迁移指令时，控制目标虚拟机迁移至目标服务器中。由此可见，当虚拟机在热迁移时，不需要考虑目标迁移服务器对应的CPU操作指令集，可以直接进行热迁移，避免了由于异构CPU而造成的迁移失败的问题，从而提高集群的稳定性。此外，本发明还公开一种异构CPU服务器集群中虚拟机的热迁移装置，效果如上所述。

发明内容

为了解决上述现有技术中存在的问题，本发明提供一种智慧型云平台动态感知方法。

本发明解决其技术问题所采用的技术方案是：

一种智慧型云平台动态感知方法，其特征在于，包括有数据采集层，数据聚类层，数据存储层和安全分析层；

其中，数据采集层包括有若干个Flume-Agent和Application请求，若干个Flume-Agent和Application请求连接于数据聚类层；数据聚类层包括有若干个Flume-Collector动态扩容，若干个Flume-Collector动态扩容连接于数据存储层；数据存储层设立于Kafka的开源流处理平台上，分布式文件系统HDFS参与安全分析层，Kafka的开源流处理平台连接于服务协网keeper；安全分析层包括有离线安全分析Hadoop和实时安全分析storm；

其中，离线安全分析Hadoop包括有设备行为安全基线、接口行为安全基线和机器学习引擎；实时安全分析storm包括有设备运行时分析、云端流量实时分析、实时数据流和实时数据流；安全分析层的离线安全分析Hadoop连接于安全管理平台，实时安全分析storm连接于企业API，企业API和安全管理平台之间设置有可视化展示。

本发明还具有以下附加技术特征：

作为本发明技术方案进一步具体优化的：Flume-Agent包含Source、Channel和Sink；其中，

Source是从其他生产数据的应用中接受数据的组件；

Channel是用来缓冲Agent以及接受，但尚未写出到另外一个Agent或者存储系统的数据；

Sink连续轮训各自的Channel来读取和删除事件。

作为本发明技术方案进一步具体优化的：数据聚类层的集成方法，包括：生成配电网数据的备选聚类集合；基于分层递进的局部权重算法对所述备选聚类集合进行筛选获得基础聚类集合；通过层次聚类方法对所述基础聚类集合进行集成获得最后的集成聚类。

作为本发明技术方案进一步具体优化的：Kafka的开源流处理平台由Scala和Java编写；Kafka处理消费者在网站中的所有动作流数据，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

作为本发明技术方案进一步具体优化的：Hadoop分布式文件系统能提供高吞吐量的数据访问，来实现流式读取文件系统数据。

作为本发明技术方案进一步具体优化的：安全分析层的安全分析方法包括：

Web应用安全评估：结合应用的开发周期，通过安全扫描、人工检查、渗透测试、代码审计架构分析方法，全面发现Web应用本身的脆弱性及系统架构导致的安全问题；

Web应用安全加固：对应用代码及其中间件、数据库、操作系统进行加固，并改善其应用部署的合理性；从补丁、管理接口、账号权限、文件权限、通信加密、日志审核方面对应用支持环境和应用模块间部署方式划分的安全性进行增强；

对外部威胁的过滤：通过部署Web防火墙、IPS设备，监控并过滤恶意的外部访问，并恶意访问进行统计记录，作为安全工作决策及处置的依据；

Web安全状态检测：持续地检测被保护应用页面的当前状态，判断页面是否被攻击者加入恶意代码；同时通过检测Web访问日志及Web程序的存放目录，检测是否存在文件篡改及是否被加入WebShell一类的网页后门；

事件应急响应：提前做好发生几率较大的安全事件的预案及演练工作，力争以最高效、最合理的方式申报并处置安全事件，并整理总结；

安全知识培训：让开发和运维人员了解并掌握相关知识，在系统的建设阶段和运维阶段同步考虑安全问题，在应用发布前最大程度地减少脆弱点。

本发明和现有技术相比，其优点在于：

优点1：提供针对云主机日志、平台访问日志、业务模块日志、API日志等多渠道的日志统一收集和大数据安全分析能力。

优点2：通过机器学习算法建立不同业务场景的安全基线模型和人机行为识别引擎。

优点3：依据恶意攻击行为规则库，实时检测物联网云平台的所有网络通信行为。

优点4：第一时间发现针对云平台的网络攻击并报警，协助企业客户及时发现并修复隐患。

优点5：进一步提升物联网云平台的整体安全性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例，这些实施例是为了能够更透彻地理解本发明，并且能够将本发明公开的范围完整的传达给本领域的技术人员。虽然附图中显示了本发明公开的示例性实施例，然而应当理解，本发明而不应被这里阐述的实施例所限制。

一种智慧型云平台动态感知方法，包括有数据采集层，数据聚类层，数据存储层和安全分析层，其中，数据采集层包括有若干个Flume-Agent和Application请求，若干个Flume-Agent和Application请求连接于数据聚类层；数据聚类层包括有若干个Flume-Collector动态扩容，若干个Flume-Collector动态扩容连接于数据存储层；数据存储层设立于Kafka的开源流处理平台上，分布式文件系统HDFS参与安全分析层，Kafka的开源流处理平台连接于服务协网keeper；安全分析层包括有离线安全分析Hadoop和实时安全分析storm；其中，离线安全分析Hadoop包括有设备行为安全基线、接口行为安全基线和机器学习引擎；实时安全分析storm包括有设备运行时分析、云端流量实时分析、实时数据流和实时数据流；安全分析层的离线安全分析Hadoop连接于安全管理平台，实时安全分析storm连接于企业API，企业API和安全管理平台之间设置有可视化展示。

Flume-Agent包含Source、Channel和Sink；

Source是从其他生产数据的应用中接受数据的组件；

Channel主要是用来缓冲Agent以及接受，但尚未写出到另外一个Agent或者存储系统的数据；

Sink会连续轮训各自的Channel来读取和删除事件。

Flume-Agent内部原理概述：

Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个抱头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map，其中有字符串key和字符串value。抱头并不是用来传输数据的，只是为了路由和标记事件的优先级。抱头也可以用来给事件增加ID或者UUID。

每个事件本质上必须是一个独立的记录，而不是记录的一部分，这也就要求每个事件要适应Flume-Agent JVM的内存。而如果使用File Channel，应该有足够的硬盘空间来支持，如果数据不能表示为多个记录，那么Flume可能不太适合这种场景。

Flume真正适合做的是实时推送事件，尤其是在数据流是持续的且量级很大的情况，否则没必要采用Flume增加系统的复杂度。

Flume中最简单的部署单元是Flume-Agent，Agent是一个Java应用程序，接受并生产数据并缓存数据，直至最终写入到其他Agent中或者是存储系统中。

Flume-Agent中包含了三个重要的组件，Source，Channel，Sink。

Source是从其他生产数据的应用中接受数据的组件。Source可以监听一个或者多个网络端口，用于接受数据或者从本地文件系统中读取数据，每个Source必须至少连接一个Channel。当然一个Source也可以连接多个Channnel，这取决于系统设计的需要。

Channel主要是用来缓冲Agent以及接受，但尚未写出到另外一个Agent或者存储系统的数据。Channel的行为比较像队列，Source写入到他们，Sink从他们中读取数据。多个Source可以安全的写入到同一Channel中，并且多个Sink可以从同一个Channel中读取数据。可是一个Sink只能从一个Channel读取数据，如果多个Sink从相同的Channel中读取数据，系统可以保证只有一个Sink会从Channel读取一个特定的事件。

Sink会连续轮训各自的Channel来读取和删除事件。Sink将事件推送到下一阶段(RPCSink的情况下)，或者到达最终目的地。一旦在下一阶段或者其目的地中数据是安全的，Sink通过事务提交通知Channel，可以从Channel中删除这一事件。

Flume-Agent执行流程和原理：

Flume本身不限制Agent中Source，Channel，Sink的数量，因此FlumeSource可以接受事件，并可以通过配置将事件复制到多个目的地。这使得Source可以通过Channel处理器、拦截器和Channel选择器，写入到Channel。

每个Source都有自己的Channel处理器，每次将Source取得的事件写入到Channel，都要通过Channel处理器，然后Channel处理器，将这些事件，传送到一个或者多个拦截器中。

拦截器(Interceptor)是简单的插入式组件，设置在Source和Source写入数据的Channel之间，Source接收到的事件在写入到Channel之前，拦截器都可以对时间进行拦截，转换或删除这些事件。拦截器也有很多类型，如正则表达式的拦截器，时间戳拦截器，可以为事件添加抱头，或者移除现有抱头等。某个Source可以配置成使用多个拦截器，这些拦截器按照配置的顺序依次被调用，这就是所谓的责任链模式。一旦拦截器处理完事件，拦截器链返回的事件列表传递到Channel列表，即通过Channel选择器为每个事件选择Channel。

Source可以通过处理器-拦截器-选择器来路由写入多个Channel。Channel选择器是决定每个事件必须写入到Source附带的哪个Channel组件中。因此拦截器可以用来插入或者删除事件中的数据，这样Channel选择器可以应用一些条件在这些事件上，来决定事件必须写入到哪些Channel中，Channel选择器可以对时间应用任意过滤条件，来决定哪个事件必须写入到哪些Channel中，以及哪些Channel是必须或者可选的。

写入到必须的Channel失败将会导致Channel处理器抛出ChannelException异常，表明Source必须重试该事件，而对于可选的Channel写入失败了，会忽略。一旦写出事件，处理器会对Source指示成功状态，会发送AKC确认给发送该事件的系统，并继续接受更多的事件。

Agent中各个组件的交互

Sink运行器运行一个Sink组，一个Sink组中可以含有一个或者多个Sink。如果组中只存在一个Sink，那么没有组将更有效率。Sink运行器仅仅是一个询问Sink组，来处理下一批事件的线程，每个Sink组都有一个Sink处理器，处理器去选择组中的Sink之一去处理下一个事件集合.每个Sink只能从一个Channle中去获取数据。选定的Sink从Channel中接受事件，将事件写入到下一阶段或者最终目的地。

数据聚类层的集成方法，包括：生成配电网数据的备选聚类集合；基于分层递进的局部权重算法对所述备选聚类集合进行筛选获得基础聚类集合；通过层次聚类方法对所述基础聚类集合进行集成获得最后的集成聚类。

Kafka的开源流处理平台由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity-hardware)上的分布式文件系统(Distributed-FileSystem)。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。

HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high-through-put)来访问应用程序的数据，适合那些有着超大数据集(large-dataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming-access)文件系统中的数据。

针对SQL注入手段，最根本的措施是对Web应用的用户输入进行过滤。并针对Web应用的基本特性，安全分析层的安全分析方法包括：

Web应用安全评估：结合应用的开发周期，通过安全扫描、人工检查、渗透测试、代码审计架构分析等方法，全面发现Web应用本身的脆弱性及系统架构导致的安全问题。

Web应用安全加固：对应用代码及其中间件、数据库、操作系统进行加固，并改善其应用部署的合理性。从补丁、管理接口、账号权限、文件权限、通信加密、日志审核等方面对应用支持环境和应用模块间部署方式划分的安全性进行增强。

对外部威胁的过滤：通过部署Web防火墙、IPS等设备，监控并过滤恶意的外部访问，并对恶意访问进行统计记录，作为安全工作决策及处置的依据。

Web安全状态检测：持续地检测被保护应用页面的当前状态，判断页面是否被攻击者加入恶意代码。同时通过检测Web访问日志及Web程序的存放目录，检测是否存在文件篡改及是否被加入Web Shell一类的网页后门。

事件应急响应：提前做好发生几率较大的安全事件的预案及演练工作，力争以最高效、最合理的方式申报并处置安全事件，并整理总结。

安全知识培训：让开发和运维人员了解并掌握相关知识，在系统的建设阶段和运维阶段同步考虑安全问题，在应用发布前最大程度地减少脆弱点。

为使本发明实施例的目的、技术方案和优点更加清楚，上面结合本发明实施例中的附图，对本发明实施例中的技术方案进行了清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以上对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种智慧型云平台动态感知方法，其特征在于，包括有数据采集层，数据聚类层，数据存储层和安全分析层；

其中，数据采集层包括有若干个Flume-Agent和Application请求，若干个Flume-Agent和Application请求连接于数据聚类层；数据聚类层包括有若干个Flume-Collector动态扩容，若干个Flume-Collector动态扩容连接于数据存储层；数据存储层设立于Kafka的开源流处理平台上，分布式文件系统HDFS参与安全分析层，Kafka的开源流处理平台连接于服务协网keeper；安全分析层包括有离线安全分析Hadoop和实时安全分析storm；

其中，离线安全分析Hadoop包括有设备行为安全基线、接口行为安全基线和机器学习引擎；实时安全分析storm包括有设备运行时分析、云端流量实时分析、实时数据流和实时数据流；安全分析层的离线安全分析Hadoop连接于安全管理平台，实时安全分析storm连接于企业APl，企业API和安全管理平台之间设置有可视化展示。

2.根据权利要求1所述的一种智慧型云平台动态感知方法，其特征在于：Flume-Agent包含Source、Channel和Sink；其中，

Source是从其他生产数据的应用中接受数据的组件；

Channel是用来缓冲Agent以及接受，但尚未写出到另外一个Agent或者存储系统的数据；

Sink连续轮训各自的Channel来读取和删除事件。

3.根据权利要求1所述的一种智慧型云平台动态感知方法，其特征在于：数据聚类层的集成方法，包括：生成配电网数据的备选聚类集合；基于分层递进的局部权重算法对所述备选聚类集合进行筛选获得基础聚类集合；通过层次聚类方法对所述基础聚类集合进行集成获得最后的集成聚类。

4.根据权利要求1所述的一种智慧型云平台动态感知方法，其特征在于：Kafka的开源流处理平台由Scala和Java编写；Kafka处理消费者在网站中的所有动作流数据，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

5.根据权利要求1所述的一种智慧型云平台动态感知方法，其特征在于：Hadoop分布式文件系统能提供高吞吐量的数据访问，来实现流式读取文件系统数据。

6.根据权利要求1所述的一种智慧型云平台动态感知方法，其特征在于：安全分析层的安全分析方法包括：

Web应用安全评估：结合应用的开发周期，通过安全扫描、人工检查、渗透测试、代码审计架构分析方法，全面发现Web应用本身的脆弱性及系统架构导致的安全问题；

Web应用安全加固：对应用代码及其中间件、数据库、操作系统进行加固，并改善其应用部署的合理性；从补丁、管理接口、账号权限、文件权限、通信加密、日志审核方面对应用支持环境和应用模块间部署方式划分的安全性进行增强；

对外部威胁的过滤：通过部署Web防火墙、IPS设备，监控并过滤恶意的外部访问，并恶意访问进行统计记录，作为安全工作决策及处置的依据；

Web安全状态检测：持续地检测被保护应用页面的当前状态，判断页面是否被攻击者加入恶意代码；同时通过检测Web访问日志及Web程序的存放目录，检测是否存在文件篡改及是否被加入WebShell一类的网页后门；

事件应急响应：提前做好发生几率较大的安全事件的预案及演练工作，力争以最高效、最合理的方式申报并处置安全事件，并整理总结；

安全知识培训：让开发和运维人员了解并掌握相关知识，在系统的建设阶段和运维阶段同步考虑安全问题，在应用发布前最大程度地减少脆弱点。

Images