CN114978856A - 一种多云计算管理平台及方法 - Google Patents

Abstract

本发明涉及云资源数据管理技术领域，公开了一种多云计算管理平台及方法，包括依次连接的数据采集层、微服务应用层、数据展示交互层，所述数据采集层通过与云平台的SDK连接进行多种数据的交互，所述微服务应用层包括相互连接的数据处理分析模块和服务模块，所述数据处理分析模块与所述数据采集层连接进行数据交互，所述数据处理分析模块用于对不同类型数据进行分析，所述数据展示交互层通过调用微服务应用层中的所述服务模块的相关数据接口获取数据并展示；该系统直观、清晰、快速的展示了用户在各个云平台内的资产、成本、安全性和可靠性，辅助用户及时发现和消除空闲资源，实现各云平台资源的充分利用。

Description

一种多云计算管理平台及方法

技术领域

本发明涉及云资源数据管理技术领域，具体涉及一种多云计算管理平台及方法。

背景技术

云技术技术的发展使得云平台用户不断增多，单个用户同时拥有多个云平台账户，实现不同账户中的资产、成本、安全等方面的管理较为困难，且随着云平台基础设施服务不断改变升级，各个云平台之间提供的服务具有差异化，没有提供直观的方式进行资产、成本、安全性的查看和管理，使得用户对于各个云平台内资源和成本的管控需要花费大量时间和精力，资源利用率低。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种多云计算管理平台及方法。

为了实现上述目的，本发明提供如下技术方案：

一种多云计算管理平台，包括依次连接的数据采集层、微服务应用层、数据展示交互层，所述数据采集层通过与云平台的SDK连接进行多种数据的交互，所述微服务应用层包括相互连接的数据处理分析模块和服务模块，所述数据处理分析模块与所述数据采集层连接进行数据交互，所述数据处理分析模块用于对不同类型数据进行分析，所述数据展示交互层通过调用微服务应用层中的所述服务模块的相关数据接口获取数据并展示。

在本发明中，优选的，所述数据处理分析模块包括云资产扫描模块、云费用分析模块、云安全分析模块、云可靠性分析模块，所述云费用分析模块、云安全分析模块和云可靠性分析模块均包括若干分析子模块。

在本发明中，优选的，所述云资产扫描模块获取EC2、EC2 RI、S3、RDS、RDS RI、DynamoDB、ElasticCache、Opensearch、IAM、VPC相关资产明细数据并整理存储。

在本发明中，优选的，所述云费用分析模块通过获取数据判断得到未使用的弹性IP、空闲的Amazon EC2实例、未使用的Amazon EBS卷、未充分利用的EC2实例、空闲的RDS。

在本发明中，优选的，所述云安全分析模块通过获取数据，判断得到未加密的EBS卷、未活跃的IAM密钥、未加密的S3存储桶、未加密的RDS实例、对公网公开的EC2实例、密码强度。

在本发明中，优选的，云可靠性分析模块通过获取数据，判断DynamoDB是否开启连续备份、RDS是否开启多可用区部署、RDS是否开启时间点恢复、Elasticache是否开启多可用区部署以及EBS卷是否开启备份。

在本发明中，优选的，所述数据采集层包括ElasticSearch采集存储模块，所述ElasticSearch采集存储模块获取资产、费用、安全相关数据并存储，所述ElasticSearch采集存储模块连接所述云资产扫描模块、云费用分析模块、云安全分析模块和云可靠性分析模块，为其分析提供数据源。

在本发明中，优选的，所述服务模块包括云账号管理服务模块、权限服务模块、站点服务模块、消息通知服务模块、文件服务模块、定时服务模块。

在本发明中，优选的，还包括通讯层以及网络层，所述通讯层为系统提供多种与外部系统的通讯方式，网络层用于实现整体系统的网络安全。

一种多云计算管理方法，包括以下步骤：

数据采集层通过调用多个云平台的SDK接口获取云平台内的相关数据，并将数据保存在ElasticSearch采集存储模块中；

依据业务需求数据处理分析模块从ElasticSearch采集存储模块中获取相对应的数据进行不同的数据分析；

数据展示交互层调用微服务应用层提供的数据分析结果进行可视化展示。

与现有技术相比，本发明的有益效果是：

本发明的系统通过与各云平台提供的SDK API接口对接，采集用户在各平台内的数据，用户依据需求通过云资产扫描模块、云费用分析模块、云安全分析模块、云可靠性分析模块提取对应的数据进行数据处理，并通过数据展示交互层将数据进行可视化展示，直观、清楚、快速的展示了用户在各个云平台内的资产、成本、安全性和可靠性，辅助用户发现和消除空闲资源，实现各云平台资源的充分利用。

附图说明

图1为本发明所述的一种多云计算管理平台的结构框图。

图2为本发明所述的一种多云计算管理平台的微服务应用层的功能结构框图。

图3为本发明所述的一种多云计算管理平台的云资产扫描模块的可视化展示示意图。

图4为本发明所述的一种多云计算管理平台的云费用分析模块的可视化展示示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请同时参见图1至图4，本发明一较佳实施方式提供一种多云计算管理平台，通过数据接口与各个云平台数据连接，获取用户在云平台内的数据，并分别对不同的数据进行数据整理和数据分析，以帮助用户发现空闲资源，提高各资源利用率，包括依次连接的数据采集层、微服务应用层、数据展示交互层，所述数据采集层通过与云平台的SDK连接进行多种数据的交互，所述微服务应用层包括相互连接的数据处理分析模块和服务模块，所述数据处理分析模块与所述数据采集层连接进行数据交互，所述数据处理分析模块用于对不同类型数据进行分析，所述数据展示交互层通过调用微服务应用层中的所述服务模块的相关数据接口获取数据并展示。

在本实施方式中，所述数据处理分析模块包括云资产扫描模块、云费用分析模块、云安全分析模块、云可靠性分析模块，所述云费用分析模块、云安全分析模块和云可靠性分析模块均包括若干分析子模块，若干分析子模块分别进行不同的数据分析。

在本实施方式中，所述云资产扫描模块获取EC2、EC2 RI、S3、RDS、RDS RI、DynamoDB、ElasticCache、Opensearch、IAM、VPC相关资产明细数据并整理存储，通过云资产扫描模块用户可快速获取在各个云平台的资产相关数据，并通过数据展示交互层，进行图标等可视化的展示，使得用户能够清楚直观、快速的了解在各个云平台的资产数据。

在本实施方式中，所述云费用分析模块通过获取数据判断得到未使用的弹性IP、空闲的Amazon EC2实例、未使用的Amazon EBS卷、未充分利用的EC2实例、空闲的RDS实例。

具体的，通过获取分配的弹性IP地址(EIP)是否正在运行，以判断是否使用弹性IP，当分配的弹性IP地址(EIP)未运行时，代表未使用弹性IP；通过获取过去7天的CPU的平均利用率的最大值，以及过7天的平均网络I/O，判断分析得到Amazon EC2实例是否处于空闲，当过去7天的CPU的平均值的最大值利用率低于2％，且过去7天的平均网络I/O小于5MB，则Amazon EC2实例处于空闲状态；通过获取AWS账户中的EBS卷，当存在未使用的EBS卷时，得到存在未使用的Amazon EBS卷；通过获取过去14天的CPU的利用率的最大值，分析得到Amazon EC2是否充分利用，当过去14天的CPU利用率最大值低于30％，且过去14天的内存利用率最大值低于30％时，判断得到Amazon EC2未充分利用；通过获取过去7天的平均数据库连接数，判断RDS实例是否空闲，当过去7天的平均数据库连接数为0时，则RDS实例空闲，当过去过去7天CPU平均利用率不到30％，则RDS未充分利用；获取过去30天的CPU平均利用率和随机读写每日平均总数，当过去30天的CPU平均利用率低于60％或过去30天的随机读写每日平均总数不足100时，判断得到AWS Redshift集群未充分利用；获取过去7天的BytesOut To Destination值，当过去7天的的BytesOut To Destination值为0，则判断得到NAT网关未使用；获取关联的目标组或目标实例，判断是否有闲置的Amazon ELB资源，当关联的目标组没有注册EC2目标实例，AWS ELBv2负载均衡器被视为“未使用”，Amazon ELB资源空闲；获取消耗的读/写容量单位即RCU和WCU的数量，当超过指定时间段内设置的预配置读/写容量单位数时，判断得到未充分利用的AWS DynamoDB；通过获取对应的数据依据设定数值判断得到各个资源是否充分利用，辅助用户对多个平台中资产、成本等进行分析和管理，发现和消除空闲资源，提高资源的利用率。

在本实施方式中，所述云安全分析模块通过获取数据，判断得到未加密的EBS卷、未活跃的IAM密钥、未加密的S3存储桶、未加密的RDS实例、对公网公开的EC2实例、密码强度。

具体的，获取Amazon EBS(弹性块存储)加密状态，当Amazon EBS加密状态为“否”，则EBS卷未加密；获取分配MFA状态，当已分配MFA状态为“未分配”时，判断得到未全部启用MFA；获取加密条件，当加密条件为“已禁用”，判断得到S3存储桶未加密；获取上次活动时间或用户的访问秘钥数量，当上次活动时间超过一年或用户的访问秘钥数量大于1时，IAM密钥未活跃；获取过去90天IAM角色是否使用或活动，当过去90天IAM角色未使用或未活动，则RDS实例未加密；获取安全组中对公网公开访问的入站规则，当能够获取到安全组中对公网公开访问的入站规则，判断得到存在对公网公开的EC2实例；密码强度判断依据AM账户密码策略是否符合最佳实践得到；通过云安全分析模块对安全方面数据的分析，辅助用户对各个平台的安全性和可靠性进行监控和管理，发现其中存在隐患的地方，及时进行调整。

在本实施方式中，云可靠性分析模块通过获取数据，判断DynamoDB是否开启连续备份、RDS是否开启多可用区部署、RDS是否开启时间点恢复、Elasticache是否开启多可用区部署以及EBS卷是否开启备份。

具体的，获取DynamoDB备份数据，以判断DynamoDB是否开启连续备份；获取RDS数据库实例，以判断RDS是否开启多可用区部署；获取RDS实例是否开启自动备份以判断RDS是否开启时间点恢复；获取EBS在近期一个月内是否有快照以判断EBS卷是否开启备份；获取Elasticache节点是否开启自动备份以判断Elasticache是否开启多可用区部署；通过云可靠性分析模块对各平台的多个数据可靠性进行分析，辅助用户监控和管理各平台的资源可靠性。

在本实施方式中，所述数据采集层包括ElasticSearch采集存储模块，所述ElasticSearch采集存储模块获取资产、费用、安全相关数据并存储，所述ElasticSearch采集存储模块连接所述云资产扫描模块、云费用分析模块、云安全分析模块和云可靠性分析模块，为其分析提供数据源。

具体的，数据采集层通过各个平台的SDK API接口与各平台进行数据传输，其中ElasticSearch采集存储模块存储采集到的AWS中各服务的数据，并为云资产扫描模块、云费用分析模块、云安全分析模块和云可靠性分析模块提供数据源；数据采集层内还包括有Mysql数据库和Redis数据库，Mysql数据库用于存储用户信息、云账号信息、站点信息等持久性数据，Redis数据库用于存储验证码等缓存数据。

在本实施方式中，所述服务模块包括云账号管理服务模块、权限服务模块、站点服务模块、消息通知服务模块、文件服务模块、定时服务模块，其中云账号管理服务模块用于提供云账号增删查改功能，权限服务模块提供系统注册、登录、权限验证功能，站点服务模块用于提供各站点管理功能，消息通知服务模块实现消息增加、发送、分类管理功能，文件服务模块用于提供数据导出到Excel、从Excel读取数据及Excel文件存储功能，定时服务模块提供周期自动执行数据采集功能。

在本实施方式中，还包括通讯层以及网络层，所述通讯层为系统提供多种与外部系统的通讯方式，例如HTTP、HTTPS、Websocket、API网关，网络层用于实现整体系统的网络安全，负载均衡以及CDN。

本发明另一较佳实施方式提供一种多云计算管理方法，包括以下步骤：

数据采集层通过调用多个云平台的SDK接口获取云平台内的相关数据，并将数据保存在ElasticSearch采集存储模块中；

依据业务需求数据处理分析模块从ElasticSearch采集存储模块中获取相对应的数据进行不同的数据分析；

数据展示交互层调用微服务应用层提供的数据分析结果进行可视化展示。

具体的，云平台包括AWS、Azure、gcp、阿里云、华为云等国内外各大云平台，通过与各云平台提供的SDK API接口对接，采集用户在各平台内的数据，并可通过定时服务模块定周期进行数据采集，采集的数据存储在ElasticSearch采集存储模块中，ElasticSearch采集存储模块基于Lucene的搜索服务器，用户依据需求通过前端的数据处理分析模块提供的云资产扫描模块、云费用分析模块、云安全分析模块、云可靠性分析模块四大业务功能模块进行相关业务数据处理，四大业务功能模块分别从ElasticSearch采集存储模块中提取对应的数据，进行处理后传递至数据展示交互层，数据展示交互层将数据以表格、柱形图、折线图等方式在前端进行可视化展示，使用户可直观、清楚、快速的了解其在各个云平台内的资产、成本、安全性和可靠性，并发现和消除空闲资源，以辅助实现各云平台资源的充分利用。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.一种多云计算管理平台，其特征在于，包括依次连接的数据采集层、微服务应用层、数据展示交互层，所述数据采集层通过与云平台的SDK连接进行多种数据的交互，所述微服务应用层包括相互连接的数据处理分析模块和服务模块，所述数据处理分析模块与所述数据采集层连接进行数据交互，所述数据处理分析模块用于对不同类型数据进行分析，所述数据展示交互层通过调用微服务应用层中的所述服务模块的相关数据接口获取数据并展示。

2.根据权利要求1所述的一种多云计算管理平台，其特征在于，所述数据处理分析模块包括云资产扫描模块、云费用分析模块、云安全分析模块、云可靠性分析模块，所述云费用分析模块、云安全分析模块和云可靠性分析模块均包括若干分析子模块。

3.根据权利要求2所述的一种多云计算管理平台，其特征在于，所述云资产扫描模块获取EC2、EC2 RI、S3、RDS、RDS RI、DynamoDB、ElasticCache、Opensearch、IAM、VPC相关资产明细数据并整理存储。

4.根据权利要求3所述的一种多云计算管理平台，其特征在于，所述云费用分析模块通过获取数据判断得到未使用的弹性IP、空闲的Amazon EC2实例、未使用的Amazon EBS卷、未充分利用的EC2实例、空闲的RDS。

5.根据权利要求4所述的一种多云计算管理平台，其特征在于，所述云安全分析模块通过获取数据，判断得到未加密的EBS卷、未活跃的IAM密钥、未加密的S3存储桶、未加密的RDS实例、对公网公开的EC2实例、密码强度。

6.根据权利要求5所述的一种多云计算管理平台，其特征在于，云可靠性分析模块通过获取数据，判断DynamoDB是否开启连续备份、RDS是否开启多可用区部署、RDS是否开启时间点恢复、Elasticache是否开启多可用区部署以及EBS卷是否开启备份。

7.根据权利要求6所述的一种多云计算管理平台，其特征在于，所述数据采集层包括ElasticSearch采集存储模块，所述ElasticSearch采集存储模块获取资产、费用、安全相关数据并存储，所述ElasticSearch采集存储模块连接所述云资产扫描模块、云费用分析模块、云安全分析模块和云可靠性分析模块，为其分析提供数据源。

8.根据权利要求1所述的一种多云计算管理平台，其特征在于，所述服务模块包括云账号管理服务模块、权限服务模块、站点服务模块、消息通知服务模块、文件服务模块、定时服务模块。

9.根据权利要求1所述的一种多云计算管理平台，其特征在于，还包括通讯层以及网络层，所述通讯层为系统提供多种与外部系统的通讯方式，网络层用于实现整体系统的网络安全。

10.一种多云计算管理方法，基于权利要求1-9任意一项所述的一种多云计算管理平台，其特征在于，包括以下步骤：

数据采集层通过调用多个云平台的SDK接口获取云平台内的相关数据，并将数据保存在ElasticSearch采集存储模块中；

依据业务需求数据处理分析模块从ElasticSearch采集存储模块中获取相对应的数据进行不同的数据分析；

数据展示交互层调用微服务应用层提供的数据分析结果进行可视化展示。

Images