CN111198976B - 云上资产关联分析系统、方法、电子设备及介质 - Google Patents
云上资产关联分析系统、方法、电子设备及介质 Download PDFInfo
- Publication number
- CN111198976B CN111198976B CN201911378598.7A CN201911378598A CN111198976B CN 111198976 B CN111198976 B CN 111198976B CN 201911378598 A CN201911378598 A CN 201911378598A CN 111198976 B CN111198976 B CN 111198976B
- Authority
- CN
- China
- Prior art keywords
- asset
- cloud
- class
- instance
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012098 association analyses Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 206010047289 Ventricular extrasystoles Diseases 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000005129 volume perturbation calorimetry Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000012097 association analysis method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 42
- 238000004364 calculation method Methods 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0645—Rental transactions; Leasing transactions
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种云上资产关联分析系统、方法、电子设备及介质。其中，所述系统包括：资产探测识别模块、数据关联分析模块和可视化展示模块；资产探测识别模块获取当前租户的全部云上资产实例的基本信息，将基本信息发送至数据关联分析模块；数据关联分析模块根据全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将关联数据发送至可视化展示模块；可视化展示模块根据关联数据构建资产分布总图，并进行可视化展示。本方案，自动化地构建了租户云上资产之间的关联关系，并以可视化视图的形式进行展示，使租户对于云上资产的关联关系和调用情况一目了然，以优化网络，节约网络开销。
Description
技术领域
本申请涉及云技术领域，具体涉及一种云上资产关联分析方法及系统、一种电子设备以及一种计算机可读介质。
背景技术
随着云计算的飞速发展，利用云服务搭建业务系统已经成为趋势，云服务提供商为租户提供计算、存储、网络等基础资源，租户可申请这些资源作为其云上资产使用。随着云上资产数量增多，租户的管理难度提高，但云上资产的整体分布呈分散状态、缺乏资产之间关联视图，导致租户对于资产使用情况不了解、网络安全风险难以排查。
现有方法仅是网络拓扑或是函数计算调用关系的简单连接展示,并没有整体对租户云上资产相互之间关联情况的分析。例如仅展示了每个VPC(Virtual Private Cloud，虚拟私有云)网络下所连接的虚拟机资产；或者，仅提供了云上资产的简单罗列，以及函数计算资产调用触发器的关联视图，并未对其它资产之间互相关联情况做展示。因此，目前针对租户的云上资产关联关系的分析方法还不完善。
发明内容
本申请的目的是提供一种云上资产关联分析方法及系统、一种电子设备以及一种计算机可读介质。
本申请第一方面提供一种云上资产关联分析系统，包括：
资产探测识别模块、数据关联分析模块和可视化展示模块；其中，
所述资产探测识别模块，用于获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至所述数据关联分析模块；
所述数据关联分析模块，用于根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至所述可视化展示模块；
所述可视化展示模块，用于根据所述关联数据构建资产关联关系图，并进行可视化展示。
本申请第二方面提供一种云上资产关联分析方法，包括：
资产探测识别模块获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至数据关联分析模块；
所述数据关联分析模块根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至可视化展示模块；
所述可视化展示模块根据所述关联数据构建资产关联关系图，并进行可视化展示。
本申请第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第二方面所述的方法。
本申请第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第二方面所述的方法。
相较于现有技术，本申请提供的云上资产关联分析方法、系统、电子设备及介质，通过资产探测识别模块获取当前租户的全部云上资产实例的基本信息，将基本信息发送至数据关联分析模块；数据关联分析模块根据全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将关联数据发送至可视化展示模块；可视化展示模块根据关联数据构建资产分布总图，并进行可视化展示。本方案，自动化地构建了租户云上资产之间的关联关系，并以可视化视图的形式进行展示，使租户对于云上资产的关联关系和调用情况一目了然，通过对不合理的资产调用关系进行调整，可以优化网络，从而节约网络开销。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请的一些实施方式所提供的一种云上资产关联分析系统的结构图；
图2示出了本申请的一些实施方式所提供的一种资产探测识别模块的架构逻辑示意图；
图3示出了本申请的一些具体实施方式所提供的一种资产分布总图；
图4示出了本申请的一些具体实施方式所提供的一种资产关联关系图；
图5示出了本申请的一些实施方式所提供的一种云上资产关联分析方法的流程图；
图6示出了本申请的一些实施方式所提供的一种电子设备的示意图；
图7示出了本申请的一些实施方式所提供的一种计算机可读介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面是本申请中使用的一些技术术语：
云上资产是云系统的各种资源，是云服务提供商为租户提供的存储、计算、网络、数据库等功能的基础服务。其中，计算类资产主要有云服务器ECS(Elastic CloudServer)、函数计算、容器等；网络类资产主要有虚拟私有云VPC(Virtual Private Cloud)、弹性IP、负载均衡等；数据库类资产主要有云关系型数据库、文档数据库等；存储类资产主要有对象存储、云硬盘、文件存储等。
其中，函数计算是一个事件驱动的无服务器计算服务，通过函数计算，租户无需管理服务器的运行情况，只需编写代码并上传即可。
对象存储是云服务提供的一项海量存储服务，支持存放任意类型的文件，用户可通过访问Web服务的方式来访问对象存储的数据。对象存储的基本组成是桶和对象，其中，对象是数据存储的基本单位，桶是用于存储对象的容器，在下文中出现的所要关联的存储类资产“对象存储”均指的是桶。
API接口(Application Programming Interface,应用程序编程接口)调用技术：云服务提供商提供了公开的API接口，通过编写代码调用已公开的云API接口，可查询云上的计算、存储、网络等资产状态。
另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种云上资产关联分析方法及系统、一种电子设备以及计算机可读介质，该方法和系统所面向的对象是租户的云上资产，通过对云上资产信息进行识别和数据关联分析，自动化地构建租户云上资产的可视化视图，下面结合附图进行说明。
请参考图1，其示出了本申请的一些实施方式所提供的一种云上资产关联分析系统的结构图，如图所示，所述云上资产关联分析系统，包括：资产探测识别模块110、数据关联分析模块120和可视化展示模块130。实际应用中，还可以设置一个资产信息库，将识别和分析出的各种资产数据存储在资产信息库中。
所述资产探测识别模块110，用于获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至所述数据关联分析模块；
具体的，可以通过调用云API接口，采集租户的云上资产实例的基本信息，该基本信息包括但不限于资产类别、配置信息、日志信息、源代码信息，并将采集的数据存储在资产信息库中。
资产类别包括但不限于计算类资产、数据库类资产、网络类资产、存储类资产和中间件类资产。其中，计算类资产包括云服务器、函数计算等；网络类资产包括虚拟私有云VPC、弹性IP、负载均衡等；数据库类资产包括关系型数据库、文档数据库等；存储类资产包括对象存储、云硬盘、文件存储等；中间件类资产包括分布式消息、分布式缓存等。
具体的，图2示出了一种资产探测识别模块的架构逻辑示意图，所述资产探测识别模块110，可以包括：探测识别单元111、配置信息采集单元112、日志信息采集单元113、代码信息采集单元114，与资产信息库连接。其中，
探测识别单元111，用于识别当前租户的各云上资产实例所属的资产类别；
具体的，可以调用云提供的API接口依次获取计算类、数据库类、网络类、存储类和中间件类的云资产列表，添加到“资产分布表”中，表项包括资产类型、资产名称，如下表1所示，并将获取的云资产列表存放在资产信息库中。
表1资产分布表
| 资产类型 | 资产名称 |
| 计算类 | 弹性云服务器ECS |
| 计算类 | 函数计算 |
| 网络类 | 弹性公网IP |
| 网络类 | 虚拟私有云VPC |
| 数据库类 | 云关系型数据库RDS |
| 数据库类 | 文档数据库DDS |
| 中间件类 | 分布式缓存Redis |
| 存储类 | 对象存储 |
| 存储类 | 云硬盘 |
配置信息采集单元112，用于根据所述资产类别对应的配置信息采集规则，采集云上资产实例的配置信息；
(1)采集计算类资产实例的资产名称、实例名称、标识ID、弹性IP、所属虚拟私有云VPC和私有IP。具体的，采集计算类资产信息，至少包括云服务器ECS、函数计算，流程如下：
①查询资产信息库中“资产分布表”的计算类资产名称；
②调用计算类资产云API接口，依次查询并识别出每个计算类资产实例的基本信息，得到“计算类资产信息表”，表项包括资产名称、实例名称、标识ID、弹性IP、所属VPC、私有IP。
③将表单数据存储于资产信息库中。
例如，得到的“资产分布表”中有一个计算类资产弹性云服务器ECS，采集信息包括ECS名称、弹性IP、所属VPC、私有IP。调用相应的API接口获取弹性云服务器ECS列表信息，得到“计算类资产信息表”，如下表2所示。
表2计算类资产信息表
| 资产名称 | 实例名称 | ID | 弹性IP | 所属VPC | 私有IP |
| ECS | ecs-hui ju | 9c71**-**-**f8e7 | 43.**.2.2* | default_vpc | 192.168.0.197 |
| ECS | ecs-9eac-wt | 3762**-**-**60ea | 121.**.55.1* | vpc_bbfa | 192.168.1.27 |
| 函数计算 | testOBS | NULL | NULL | default_vpc | NULL |
(2)采集网络类资产信息，至少包括虚拟私有云VPC、弹性IP等，流程如下：
①查询资产信息库中“资产分布表”的网络类资产名称；
②调用网络类资产云API接口，依次查询并识别出每个网络类资产实例虚拟私有云VPC的基本信息，得到“VPC表”，表项包括资产名称、实例名称、子网名称、子网网段。
③调用网络类资产云API接口，依次查询并识别出每个网络类资产实例弹性IP的基本信息，得到“弹性IP表”，表项包括资产名称、IP地址、已绑定实例名称。
④将表单数据存储于资产信息库中。
例如，网络类资产有虚拟私有云VPC、弹性IP。调用API接口识别虚拟私有云VPC的基本信息，包括资产名称、实例名称、网段。如表3所示。
表3VPC表
| 资产名称 | 实例名称 | 网段 |
| VPC | default_vpc | 192.168.0.0/16 |
调用API接口识别弹性公网IP的基本信息，包括资产名称、IP地址、已绑定实例名称。如表4所示。
表4弹性IP表
| 资产名称 | IP地址 | 已绑定实例名称 |
| 弹性公网IP | 43.***.21.2* | ecs-huiju |
| 弹性公网IP | 49.**.53.2* | rds-mysql |
| 弹性公网IP | 49.**.31.3* | dds-c4e6 |
| 弹性公网IP | 114.**.149.7* | ecs-test-zm |
| 弹性公网IP | 117.**.49.1* | dcs-0pkn |
(3)采集数据库类资产实例的资产名称、实例名称、所属VPC、私有IP、端口号和弹性IP。具体的，采集数据库类资产信息，至少包括关系型数据库、非关系型文档数据库，流程如下：
①查询资产信息库中“资产分布表”的数据库类资产名称；
②调用数据库类资产的云API接口，依次采集每个数据库类资产的基本信息，得到“数据库类资产信息表”，表项包括资产名称、实例名称、所属VPC、私有IP、端口号、弹性IP。
③将表单数据存储于资产信息库中。
例如，数据库类资产有文档数据库DDS、云关系型数据库RDS，调用API接口依次识别数据库资产的基本信息项，包括资产名称、实例名称、所属VPC、私有IP、端口号、弹性IP。如表5所示。
表5数据库类资产信息表
| 资产名称 | 实例名称 | 所属VPC | 私有IP | 弹性IP |
| DDS | dds-c4e6 | default_vpc | 192.168.0.173 | 49.**.31.3* |
| RDS | rds-mysql | default_vpc | 192.168.0.43 | 49.**.53.2* |
(4)采集存储类资产实例的资产名称、实例名称和已绑定实例名称。具体的，采集存储类资产信息，至少包括对象存储、云硬盘等，流程如下：
①查询资产信息库中“资产分布表”的存储类资产名称；
②调用存储库类资产的云API接口，依次采集每个存储类资产的基本信息，得到“存储类资产信息表”，表项包括资产名称、实例名称、已绑定实例名称。
③将表单数据存储于资产信息库中。
例如，存储类资产有对象存储、云硬盘，调用API接口识别资产的基本信息项，包括资产名称、实例名称、已绑定实例名称。如表6所示。
表6存储类资产信息表
| 资产名称 | 实例名称 | 已绑定实例 |
| 对象存储 | testobs | NULL |
| 云硬盘 | ecs-hui ju-volume-0000 | 9c71**-**-**f8e7 |
(5)采集中间件类资产实例的资产名称、实例名称、所属VPC、私有IP和弹性IP。具体的，采集中间件类资产信息，至少包括分布式缓存Redis、分布式消息Kafka等，流程如下：
①查询资产信息库中“资产分布表”的中间件类资产名称；
②调用中间件类资产的云API接口，依次采集每个中间件类资产的基本信息，得到“中间件类资产信息表”，表项包括资产名称、实例名称、所属VPC、私有IP、弹性IP。
③将表单数据存储于资产信息库中。如表7所示。
表7中间件类资产信息表
| 资产名称 | 实例名称 | 所属VPC | 私有IP | 弹性IP |
| Redis | dcs-0pkn | default_vpc | 192.168.0.209 | 117.***.49.1* |
日志信息采集单元113，用于根据所述资产类别对应的日志信息采集规则，采集云上资产实例的日志信息；
具体的，根据日志信息采集规则，采集数据库类资产实例的日志信息和存储类资产种对象存储资产实例的日志信息。也就是说，日志信息采集至少包括对数据库类资产的日志信息采集，以及对对象存储类资产的日志信息采集。
(1)数据库类日志信息采集
①获取数据库资产列表，包括数据库的资产名称和实例名称；
②调用数据库类资产的云API接口，逐一读取每个数据库资产的日志信息；
③以正则匹配的方式分析日志文件中资产信息，获取访问数据库的其他资产的IP来源和访问动作，形成“数据库访问表”，表项至少包括资产名称、实例名称、本地IP、远程连接IP。
④将表单数据存储于资产信息库中。
例如，获取DDS数据库dds-c4e6的日志，并采集日志内容。读取“local”字段内容，可获取访问该数据库的本地IP地址；读取remote字段可获取访问该数据库的远程IP地址。数据库访问表内容如下表8所示：
表8数据库访问表
| 资产名称 | 实例名称 | 本地IP | 远程连接IP |
| DDS | dds-c4e6 | 192.168.1.164 | 192.168.1.27 |
| DDS | dds-c4e6 | 172.16.12.12 | 100.125.1.20 |
(2)对象存储类日志信息采集
①获取对象存储的桶列表，包括对象存储的资产名称和桶名；
②调用对象存储类云API接口，逐一读取每个桶的日志文件；
③提取日志文件内容，获取请求IP、操作名称；
④将所采集信息添加到“对象存储访问表”中，表项至少包括资产名称、桶名、请求IP。
⑤将表单数据存储于资产信息库中。
例如，获取的对象存储列表中有一个桶名为“dvsa-web”，获取该桶的日志文件，分析日志文件内容，添加桶的访问记录如下表9所示：
表9对象存储访问表
| 资产名称 | 桶名 | 请求IP |
| 对象存储 | dvsa-web | 115.238.36.218 |
代码信息采集单元114，用于根据所述资产类别对应的代码信息采集规则，采集云上资产实例的代码信息。
具体的，代码信息采集单元，通过分析函数计算资产的源代码，采集代码中数据库类资产、对象存储类、中间件类资产等相关信息。主要流程如下：
①获取函数计算实例的列表，即函数名称；
②依次遍历函数计算实例的列表，下载函数计算的源代码，并分析源代码内容。
③分析源代码并识别访问数据库、中间件等特征代码片段，识别出函数所要连接的资产的IP地址。若所取得数值为“$*”格式，则说明数值存储在环境变量中，通过API调用并读取函数对应的环境变量参数取值，即为最终所得值。
④将函数计算访问数据库、中间件资产的信息记录到函数访问表中，存储在资产信息库，记录信息至少包括函数名称、访问对象(IP地址)。
例如，以mysql数据库为例，遍历函数计算的实例列表，并依次分析函数代码内容。函数计算的实例列表中包括“testMysql”，分析函数“testMysql”代码，识别到数据库功能相关代码片段，如字符串“mysql:host”为mysql数据库的ip地址，“port”为端口号，“dbname”为数据库名。经分析，这里读取到的host值为“$host”，说明该变量的参数值存储在环境变量中，调用API查询环境变量得到对应的参数值。将得到的信息记录到“函数计算访问表”中，如下表所示。
| 函数名称 | 访问对象 |
| testMysql | 192.168.1.94 |
⑤分析源代码并识别对象存储的上传下载功能相关的代码片段，至少包括上传对象(ObsClient.putObject)、上传文件(ObsClient.putFile)、下载对象(ObsClient.getObject)、删除对象(ObsClient.deleteObject)功能对应的函数。
⑥读取对象存储上传、下载、删除等功能代码片段中桶名，将函数计算访问对象存储的信息记录到“函数计算访问表”中，并存储在资产信息库中。记录信息至少包括函数名称、访问对象(桶名)，如下表所示。
| 函数名称 | 访问对象 |
| testOBS | dvsa_web |
所述数据关联分析模块120，用于根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至所述可视化展示模块。
本实施例中，针对资产进行关联分析，可以将结果存储于资产信息库“资产信息关联表”，并发送至可视化展示模块。“资产信息关联表”至少包括资产名称、实例名称、关联资产名称、关联实例名称。关联分析过程如下：
①查询计算类资产信息表、中间件类资产信息表、数据库类资产信息表的“所属VPC”字段，与VPC表的“实例名称”字段进行比较，若相等，将资产与所属VPC相关联。
| 资产名称 | 实例名称 | 关联资产名称 | 关联实例名称 |
| VPC | default_vpc | ECS | ecs-huiju |
②查询计算类资产信息表、中间件类资产信息表、数据库类资产信息表，与弹性IP表的“IP地址”字段进行比较。若相等，则将资产与弹性IP相关联。
| 资产名称 | 实例名称 | 关联资产名称 | 关联实例名称 |
| 弹性IP | 43.**.2.21.2* | ECS | ecs-huiju |
③检索对象存储访问表“请求IP”字段。若为外网IP地址，则与弹性IP表的“IP地址”做关联，若未找到，则将该外网IP地址记录下来。若为内网地址，则与计算类资产的“私有IP”字段做关联。
| 资产名称 | 实例名称 | 关联资产名称 | 关联实例名称 |
| 对象存储 | dvsa-web | 外网IP | 115.238.36.218 |
④检索函数计算访问表，若“访问对象”字段为桶名，则建立函数计算与对象存储资产的关联关系。
| 资产名称 | 实例名称 | 关联资产名称 | 关联资产实例 |
| 函数计算 | testobs | 对象存储 | dvsa_web |
⑤若函数计算访问表“访问对象”字段为IP地址，则访问对象为数据库、中间件类资产。若为外网IP地址，则与数据库类、中间件类资产信息表“弹性IP”做关联。若为内网IP地址，则与数据库类、中间件类资产信息表“私有IP”做关联，即为函数计算访问数据库类、中间件类资产的关联关系。若未找到关联IP，则将IP记录为外网IP。
| 资产名称 | 实例名称 | 关联资产名称 | 关联资产实例 |
| 函数计算 | testMysql | RDS | rds-mysqltest |
| 函数计算 | testMysql2 | 外网IP | ***.**.**.*** |
⑥检索存储类资产信息表“已绑定实例”字段，若取值不为NULL，则查询计算类资产的“ID”字段，若相等，则建立存储资产与该计算资产的关联关系，即为计算类资产访问存储类资产的关联关系。
| 资产名称 | 实例名称 | 关联资产名称 | 关联资产实例 |
| ECS | ecs-huiju | 云硬盘 | ecs-huiju-volume-0000 |
⑦检索数据库访问表“远程连接IP”字段。若为外网IP地址，则与弹性IP表的“IP地址”对应资产做关联。若为内网地址，则与计算类资产的“私有IP”字段相关联，即为计算类资产访问数据库类资产的关联关系。若未找到关联IP，则将IP记录为外网IP。
| 资产名称 | 实例名称 | 关联资产名称 | 关联资产实例 |
| DDS | dds-c4e6 | ECS | ecs-9eac-wt |
| DDS | dds-c4e6 | 外网IP | 100.125.1.20 |
所述可视化展示模块130，用于根据所述关联数据构建资产分布总图，并进行可视化展示。
举例来说，以VPC作为关联信息，构建“资产分布总图”。以VPC实例名称字段来划分不同的VPC区域视图，将每个VPC对应的资产名称、实例名称显示在其所关联的VPC区域视图中。将不在VPC区域的资产显示在“资产分布总图”的VPC区域之外，如图3所示，其示出了本申请实施方式提供的一种资产分布总图。
以每个VPC为单位，构建每个VPC所属资产的所有关联关系。以“default_vpc”为例，先将弹性IP绑定在其所关联资产上，然后将具有关联关系的资产之间用实线相连接，在资产关联关系图中进行可视化展示。通过关联关系图可直观显示资产之间可能存在不合理的调用关系，比如同一VPC下的资产之间使用外网IP进行连接和访问的情况。如图4所示，其示出了本申请实施方式提供的一种资产关联关系图。
上述云上资产关联分析系统可以通过软件、硬件或软硬结合的方式来实现，在此不做具体限定。
相较于现有技术，本申请实施例提供的上述云上资产关联分析系统，通过API接口调用技术、日志分析技术和代码分析技术相结合的方法，可以对租户云上资产分布情况和关联关系进行自动化识别和分析。通过代码分析技术，构建无IP地址的计算类资产(如函数计算)与对象存储类、数据库类、中间件类资产关联关系。通过日志分析的方法，构建有IP地址的计算类资产(如云服务器)与对象存储类、数据库类资产关联关系。因此，通过本方案可以构建租户全部云上资产之间的关联关系，并以可视化视图的形式进行展示，使租户对于云上资产的关联关系和调用情况一目了然，通过对不合理的资产调用关系进行调整，可以优化网络，从而节约网络开销。
在上述的实施例中，提供了一种云上资产关联分析系统，与之相对应的，本申请还提供一种云上资产关联分析方法。请参考图5，其示出了本申请的一些实施方式所提供的一种云上资产关联分析方法的流程图。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
如图5所示，所述云上资产关联分析方法可以包括以下步骤：
步骤S101：资产探测识别模块获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至数据关联分析模块；
步骤S102：所述数据关联分析模块根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至可视化展示模块；
步骤S103：所述可视化展示模块根据所述关联数据构建资产关联关系图，并进行可视化展示。
在本申请实施例的一些实施方式中，所述基本信息包括资产类别、配置信息、日志信息和源代码信息。
在本申请实施例的一些实施方式中，所述资产探测识别模块包括：探测识别单元、配置信息采集单元、日志信息采集单元、代码信息采集单元。
所述步骤S101，具体包括：
探测识别单元识别当前租户的各云上资产实例所属的资产类别；
配置信息采集单元根据所述资产类别对应的配置信息采集规则，采集云上资产实例的配置信息；
日志信息采集单元根据所述资产类别对应的日志信息采集规则，采集云上资产实例的日志信息；
代码信息采集单元根据所述资产类别对应的代码信息采集规则，采集云上资产实例的代码信息。
在本申请实施例的一些实施方式中，所述资产类别包括计算类资产、数据库类资产、网络类资产、存储类资产和中间件类资产。
在本申请实施例的一些实施方式中，所述配置信息采集单元根据所述资产类别对应的配置信息采集规则，采集云上资产实例的配置信息，包括：
采集计算类资产实例的资产名称、实例名称、标识ID、弹性IP、所属虚拟私有云VPC和私有IP；
采集网络类资产实例的VPC信息和弹性IP信息；所述VPC信息包括资产名称、实例名称、子网名称和子网网段，所述弹性IP信息包括资产名称、IP地址和已绑定实例名称；
采集数据库类资产实例的资产名称、实例名称、所属VPC、私有IP、端口号和弹性IP；
采集存储类资产实例的资产名称、实例名称和已绑定实例名称；
采集中间件类资产实例的资产名称、实例名称、所属VPC、私有IP和弹性IP。
在本申请实施例的一些实施方式中，所述日志信息采集单元根据所述资产类别对应的日志信息采集规则，采集云上资产实例的日志信息，包括：
根据日志信息采集规则，采集数据库类资产实例的日志信息和存储类资产种对象存储资产实例的日志信息。
在本申请实施例的一些实施方式中，所述关联数据包括资产名称、实例名称、关联资产名称和关联实例名称。
本申请实施例提供的云上资产关联分析方法，与本申请前述实施例提供的云上资产关联分析系统出于相同的发明构思，具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的云上资产关联分析方法对应的电子设备，所述电子设备可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述应用程序推荐方法。
请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，所述电子设备20包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的云上资产关联分析方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述云上资产关联分析方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的云上资产关联分析方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的云上资产关联分析方法对应的计算机可读介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的云上资产关联分析方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的云上资产关联分析方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。
Claims (8)
1.一种云上资产关联分析系统，其特征在于，包括：资产探测识别模块、数据关联分析模块和可视化展示模块；其中，
所述资产探测识别模块，用于获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至所述数据关联分析模块；所述基本信息包括资产类别、配置信息、日志信息和源代码信息；
所述数据关联分析模块，用于根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至所述可视化展示模块；
所述可视化展示模块，用于根据所述关联数据构建资产关联关系图，并进行可视化展示；
其中，所述资产探测识别模块，包括：
探测识别单元，用于识别当前租户的各云上资产实例所属的资产类别；
配置信息采集单元，用于根据所述资产类别对应的配置信息采集规则，采集云上资产实例的配置信息；
日志信息采集单元，用于根据所述资产类别对应的日志信息采集规则，采集云上资产实例的日志信息；
代码信息采集单元，用于根据所述资产类别对应的代码信息采集规则，采集云上资产实例的代码信息。
2.根据权利要求1所述的系统，其特征在于，所述资产类别包括计算类资产、数据库类资产、网络类资产、存储类资产和中间件类资产。
3.根据权利要求2所述的系统，其特征在于，所述配置信息采集单元，具体用于：
采集计算类资产实例的资产名称、实例名称、标识ID、弹性IP、所属虚拟私有云VPC和私有IP；
采集网络类资产实例的VPC信息和弹性IP信息；所述VPC信息包括资产名称、实例名称、子网名称和子网网段，所述弹性IP信息包括资产名称、IP地址和已绑定实例名称；
采集数据库类资产实例的资产名称、实例名称、所属VPC、私有IP、端口号和弹性IP；
采集存储类资产实例的资产名称、实例名称和已绑定实例名称；
采集中间件类资产实例的资产名称、实例名称、所属VPC、私有IP和弹性IP。
4.根据权利要求2所述的系统，其特征在于，所述日志信息采集单元，具体用于：
根据日志信息采集规则，采集数据库类资产实例的日志信息和存储类资产中对象存储资产实例的日志信息。
5.根据权利要求3所述的系统，其特征在于，所述关联数据包括资产名称、实例名称、关联资产名称和关联实例名称。
6.一种云上资产关联分析方法，其特征在于，包括：
资产探测识别模块获取当前租户的全部云上资产实例的基本信息，将所述基本信息发送至数据关联分析模块；所述基本信息包括资产类别、配置信息、日志信息和源代码信息；
所述数据关联分析模块根据所述全部云上资产实例的基本信息及预设关联规则，对当前租户的全部云上资产实例进行关联分析，得到关联数据，将所述关联数据发送至可视化展示模块；
所述可视化展示模块根据所述关联数据构建资产关联关系图，并进行可视化展示；
其中，所述资产探测识别模块包括：探测识别单元、配置信息采集单元、日志信息采集单元、代码信息采集单元；所述资产探测识别模块获取当前租户的全部云上资产实例的基本信息，具体包括：
探测识别单元识别当前租户的各云上资产实例所属的资产类别；
配置信息采集单元根据所述资产类别对应的配置信息采集规则，采集云上资产实例的配置信息；
日志信息采集单元根据所述资产类别对应的日志信息采集规则，采集云上资产实例的日志信息；
代码信息采集单元根据所述资产类别对应的代码信息采集规则，采集云上资产实例的代码信息。
7.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求6所述的方法。
8.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求6所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378598.7A CN111198976B (zh) | 2019-12-27 | 2019-12-27 | 云上资产关联分析系统、方法、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378598.7A CN111198976B (zh) | 2019-12-27 | 2019-12-27 | 云上资产关联分析系统、方法、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111198976A CN111198976A (zh) | 2020-05-26 |
| CN111198976B true CN111198976B (zh) | 2023-06-20 |
Family
ID=70745434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911378598.7A Active CN111198976B (zh) | 2019-12-27 | 2019-12-27 | 云上资产关联分析系统、方法、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111198976B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052501A (zh) * | 2021-04-25 | 2021-06-29 | 深圳市位元领航科技有限公司 | 一种基于资产的自动化安全运维方法及终端 |
| CN113721971A (zh) * | 2021-08-26 | 2021-11-30 | 深圳Tcl新技术有限公司 | 信息展示方法、装置、电子设备及计算机可读存储介质 |
| CN114006839B (zh) * | 2021-09-27 | 2023-06-23 | 中盈优创资讯科技有限公司 | 一种基于eBPF的流量采集方法及装置 |
| CN114422175A (zh) * | 2021-12-09 | 2022-04-29 | 国网思极网安科技（北京）有限公司 | 网络安全监督检查行为审计方法及装置 |
| CN116743561A (zh) * | 2022-03-02 | 2023-09-12 | 中兴通讯股份有限公司 | 资产信息采集方法、电子设备、计算机可读存储介质 |
| CN114745280B (zh) * | 2022-04-11 | 2024-05-03 | 北京华顺信安科技有限公司 | 资产信息管理方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016103421A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社日立システムズ | クラウド構成可視化システム、クラウド構成可視化方法及びクラウド構成可視化プログラム |
| CN108475360A (zh) * | 2015-12-31 | 2018-08-31 | 微软技术许可有限责任公司 | 分布式计算依赖管理系统 |
| US10447546B1 (en) * | 2015-06-24 | 2019-10-15 | EMC IP Holding Company LLC | Customized visualizations for data centers |
-
2019
- 2019-12-27 CN CN201911378598.7A patent/CN111198976B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016103421A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社日立システムズ | クラウド構成可視化システム、クラウド構成可視化方法及びクラウド構成可視化プログラム |
| US10447546B1 (en) * | 2015-06-24 | 2019-10-15 | EMC IP Holding Company LLC | Customized visualizations for data centers |
| CN108475360A (zh) * | 2015-12-31 | 2018-08-31 | 微软技术许可有限责任公司 | 分布式计算依赖管理系统 |
Non-Patent Citations (2)
| Title |
|---|
| Wael M. Mohammed, Borja Ramis, J. Lastra.Configuring and visualizing the data resources in a cloud-based data collection framework.ICE/ITMC.2017,全文. * |
| 连城 ; .浅析CMDB在云环境中软件系统的应用方式.科学技术创新.2018,(第19期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111198976A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111198976B (zh) | 云上资产关联分析系统、方法、电子设备及介质 | |
| US9256686B2 (en) | Using a bloom filter in a web analytics application | |
| US9471610B1 (en) | Scale-out of data that supports roll back | |
| CN110515912A (zh) | 日志处理方法、装置、计算机装置及计算机可读存储介质 | |
| CN111046237B (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
| CN109816321A (zh) | 一种服务管理方法、装置、设备和计算机可读存储介质 | |
| CN109388657B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN109167840B (zh) | 一种任务推送方法、节点自治服务器及边缘缓存服务器 | |
| CN112527843B (zh) | 数据查询方法、装置、终端设备和存储介质 | |
| CN111443899B (zh) | 一种元素处理方法、装置、电子设备及存储介质 | |
| CN112491602A (zh) | 行为数据的监控方法、装置、计算机设备及介质 | |
| CN111367870A (zh) | 一种绘本共享方法、装置和系统 | |
| CN105357204A (zh) | 生成终端识别信息的方法及装置 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN116204540A (zh) | 操作日志记录方法、装置、设备及存储介质 | |
| CN108154024A (zh) | 一种数据检索方法、装置及电子设备 | |
| CN108011936B (zh) | 用于推送信息的方法和装置 | |
| CN111767481B (zh) | 访问处理方法、装置、设备和存储介质 | |
| US10664501B2 (en) | Deriving and interpreting users collective data asset use across analytic software systems | |
| CN112261134B (zh) | 网络数据访问审计方法、装置、设备及存储介质 | |
| CN112785315B (zh) | 批量注册识别方法及装置 | |
| CN110119337B (zh) | 一种数据分析方法、装置及服务器 | |
| US10769110B2 (en) | Facilitating queries for interaction data with visitor-indexed data objects | |
| CN114547121A (zh) | 信息检测方法、装置、电子设备和计算机存储介质 | |
| CN112416875A (zh) | 日志管理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200821 Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Weiming Information Technology Co.,Ltd. Applicant after: Institute of Information Technology, Zhejiang Peking University Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Institute of Information Technology, Zhejiang Peking University Applicant before: Hangzhou Weiming Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200526 Assignee: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2023330000927 Denomination of invention: Cloud asset correlation analysis system, methods, electronic devices, and media Granted publication date: 20230620 License type: Common License Record date: 20231219 |
|
| EE01 | Entry into force of recordation of patent licensing contract |