混合资产的分析处理方法、装置、电子设备及存储介质
技术领域
本发明涉及资产管理技术领域,尤其涉及一种混合资产的分析处理方法、装置、电子设备及存储介质。
背景技术
近年来,随着云计算技术的发展和用户需求的多样化,云上资产类型不断增多,如安全组、云平台账号、PAAS\SAAS服务、无服务器、云安全产品都成为云上资产的一部分,同时资产更是分布在多个云环境(公有云、私有云、行业云)和本地数据中心,面对环境复杂、种类繁多、多方承载等问题,传统资产管理平台存在许多难点:
1.资产探测形式单一
当前资产管理大部分采用手工录入和探针探测等单一方式,无法应对环境复杂、种类繁多、多方承载的全资产探测。
2.资产所有者不清楚资产种类和分布情况
传统资产管理系统只针对资产本身进行录入或采集,缺乏多条件汇聚展示,管理者只知道资产的大概情况,不知道资产所属公有云平台还是私有云平台或是某个本地机房?更不知道所有资产中应用资产、工作负载、服务等数量。
3.资产信息展示简单,无关联和分析视图
资产属性的简单展示已经无法满足当前业务和安全需求,管理者无法清晰了解到资产分布情况以及多种资产之间的调用和关联关系。
发明内容
有鉴于此,本发明提供了一种混合资产的分析处理方法、装置、电子设备及存储介质,以解决或部分解决上述技术问题。
根据本发明的一个方面,提供了一种混合资产的分析处理方法,所述方法包括:
进行资产探测,获得混合资产信息;
对所述混合资产信息进行分级分域匹配,获得匹配数据;
对所述匹配数据进行数据格式统一处理,获得格式数据;
对所述格式数据进行关系映射,获得关联数据;
对所述关联数据进行聚合分析,获得资产可视化信息,并将所述资产可视化信息进行展示。
可选地,所述对所述关联数据进行聚合分析,获得资产可视化信息,并将所述资产可视化信息进行展示包括:
对所述关联数据进行多维度实时数据聚合统计,获得资产可视化信息;所述资产可视化信息包括但不限于:资产来源、资产类别和资产属性;
和/或,
对资产的重要程度进行综合加权,根据所述关联数据的关联关系进行计算,获得资产可视化信息,所述资产可视化信息包括但不限于:应用画像、工作负载画像和重点资产画像;
和/或,
根据所述关联数据的关联关系对资产进行分级分域测绘,获得资产可视化信息,所述资产可视化信息包括但不限于:服务器之间流量导向信息和应用之间流量导向信息。
可选地,所述进行资产探测,获得混合资产信息包括:
预定义探测指纹;
结合具体业务环境,进行不同探针部署,通过所述探针进行资产探测,获得混合资产信息;
所述探针携带有所述探测指纹,
所述探针包括API探针、Agent探针、云原生探针、流量探针和情报共享方式的至少一种。
可选地,所述方法还包括:
获得格式数据后,对所述格式数据进行数据去重处理和交叉验证处理;
和/或,
当发现资产不一致信息时,进行告警处理。
根据本发明的另一个方面,提供了一种混合资产的分析处理装置,所述装置包括:
探测模块,用于进行资产探测,获得混合资产信息;
匹配模块,用于对所述混合资产信息进行分级分域匹配,获得匹配数据;
格式模块,用于对所述匹配数据进行数据格式统一处理,获得格式数据;
关联模块,用于对所述格式数据进行关系映射,获得关联数据;
分析展示模块,用于对所述关联数据进行聚合分析,获得资产可视化信息,并将所述资产可视化信息进行展示。
可选地,所述分析展示模块具体用于:
对所述关联数据进行多维度实时数据聚合统计,获得资产可视化信息;所述资产可视化信息包括但不限于:资产来源、资产类别和资产属性;
和/或,
对资产的重要程度进行综合加权,根据所述关联数据的关联关系进行计算,获得资产可视化信息,所述资产可视化信息包括但不限于:应用画像、工作负载画像和重点资产画像;
和/或,
根据所述关联数据的关联关系对资产进行分级分域测绘,获得资产可视化信息,所述资产可视化信息包括但不限于:服务器之间流量导向信息和应用之间流量导向信息。
可选地,所述探测模块具体用于:
预定义探测指纹;
结合具体业务环境,进行不同探针部署,通过所述探针进行资产探测,获得混合资产信息;
所述探针携带有所述探测指纹,
所述探针包括API探针、Agent探针、云原生探针、流量探针和情报共享方式的至少一种。
可选地,所述装置还包括:去重验证模块,用于获得格式数据后,对所述格式数据进行数据去重处理和交叉验证处理;
和/或,
告警模块,用于当发现资产不一致信息时,进行告警处理。
根据本发明的又一个方面,提供了一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述的混合资产的分析处理方法。
根据本发明的又一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述的混合资产的分析处理方法。
本发明进行资产探测,获得混合资产信息;对混合资产信息进行分级分域匹配,获得匹配数据;对匹配数据进行数据格式统一处理,获得格式数据;对格式数据进行关系映射,获得关联数据;对关联数据进行聚合分析,获得资产可视化信息,并将资产可视化信息进行展示。解决了云上资产类型增多、资产分布在多个云环境和本地数据中心难以统一管理的问题,让资产真正成为可视可感可知可查的有效资产,同时提高了运维效率,减少运维难度。
附图说明
图1为本发明实施例提供的一种混合资产的分析处理方法流程图;
图2为本发明实施例提供的另一种混合资产的分析处理方法流程图;
图3为本发明实施例提供的一种混合资产的分析处理装置图;
图4为本发明电子设备一个实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本发明实施例提供的一种混合资产的分析处理方法、装置、电子设备及存储介质的具体实施方式进行说明。
图1为本发明实施例提供的一种混合资产的分析处理方法流程图,如图1所示,该方法包括:
步骤S11:进行资产探测,获得混合资产信息;
采用协同探测对云平台和本地数据中心进行资产探测,在探测时携带探测指纹来确定探测内容和资产来源和分类。
步骤S12:对混合资产信息进行分级分域匹配,获得匹配数据;
探测后的资产信息首先根据资产指纹知识库进行分级分域匹配,其中,分域匹配确定资产来源,分层匹配确定资产分类。
步骤S13:对匹配数据进行数据格式统一处理,获得格式数据;
匹配好后根据数据范式化算法进行实体关联,对数据格式进行统一处理。
步骤S14:对格式数据进行关系映射,获得关联数据;
内关联标识服务器与应用承载关联关系、应用与端口\协议承载关联关系;外关联通过流量特征识别标识各域应用与应用之间、应用与服务器之间、应用与PAAS服务之间、工作负载之间的关联关系;威胁情报关联标识应用版本、协议是否存在对应威胁信息(验证通过的数据是采集后的原始数据,都是单条存储的缺少关联关系)。
步骤S15:对关联数据进行聚合分析,获得资产可视化信息,并将资产可视化信息进行展示。
其中,混合资产包括云上资产和本地资产。
本发明进行资产探测,获得混合资产信息;对混合资产信息进行分级分域匹配,获得匹配数据;对匹配数据进行数据格式统一处理,获得格式数据;对格式数据进行关系映射,获得关联数据;对关联数据进行聚合分析,获得资产可视化信息,并将资产可视化信息进行展示。解决了云上资产类型增多、资产分布在多个云环境和本地数据中心难以统一管理的问题,让资产真正成为可视可感可知可查的有效资产,同时提高了运维效率,减少运维难度。
在本发明的一些具体实施例中,对关联数据进行聚合分析,获得资产可视化信息,并将资产可视化信息进行展示包括:
对关联数据进行多维度实时数据聚合统计,获得资产可视化信息;资产可视化信息包括但不限于:资产来源、资产类别和资产属性;根据资产来源、资产类别、资产属性进行多维度实时聚合统计和可视化展示,可以清晰看到资产的分布情况,如查看阿里云上或全部使用3389端口的资产信息、查看所有云上的PAAS服务等。
在本发明的一些具体实施例中,对资产的重要程度进行综合加权,根据关联数据的关联关系进行计算,获得资产可视化信息,资产可视化信息包括但不限于:应用画像、工作负载画像和重点资产画像。对资产的重要程度进行综合加权,根据关联关系生成应用画像、工作负载画像、重点资产画像,如可以直接展示某个应用工作在哪个服务器上、使用了哪些端口和协议、与哪些应用有调用关系等。
在本发明的一些具体实施例中,根据关联数据的关联关系对资产进行分级分域测绘,获得资产可视化信息,资产可视化信息包括但不限于:服务器之间流量导向信息和应用之间流量导向信息。
在本发明的一些具体实施例中,进行资产探测,获得混合资产信息包括:
预定义探测指纹;结合具体业务环境,进行不同探针部署,通过探针进行资产探测,获得混合资产信息;其中,探针携带有所述探测指纹,探针包括API探针、Agent探针、云原生探针、流量探针和情报共享方式的至少一种。
在本发明的一些具体实施例中,该方法还包括:获得格式数据后,对格式数据进行数据去重处理和交叉验证处理。
在本发明的一些具体实施例中,该方法还包括:当发现资产不一致信息时,进行告警处理。
图2为本发明实施例提供的另一种混合资产的分析处理方法流程图,如图2所示,该方法包括:
步骤S21:预定义探测指纹;
系统预定义探测指纹,主要包括资产来源和资产属性,资产来源包括xxx公有云(阿里云、华为云、腾讯云、AWS、微软云)、xxx行业云、xxx私有云、xxx数据中心等;资产属性包括服务器\容器信息(ip地址、mac地址、cpu、内存、运行进程、系统账号、开放端口、TCP连接数)、应用信息、资产分布、安全组、云平台账号、PAAS\SAAS服务、无服务器、云安全产品、流量信息(五元组)等。
步骤S22:结合具体业务环境,进行不同探针部署,通过探针进行资产探测,获得混合资产信息;
需要先结合客户具体业务环境,进行不同探针部署,主要API探针、Agent探针、云原生探针(云原生探针是通过云原生技术实现的探针技术,为了应对无探针场景,包括hypervisor Agent和特权容器Agent)、流量探针和情报共享方式(人工登记)。针对云平台资产可采用API探针为主,并辅以Agent探针\云原生探针、流量探针和情报共享方式进行协同探测;针对本地数据中心资产可采用Agent探针\云原生探针为主,并辅以流量探针和情报共享方式进行协同探测。
API探针主要采集云上资产,采集资产属性包括服务器\容器信息(ip地址、mac地址、cpu、内存、运行进程、系统账号、开放端口)、资产分布、安全组、云平台账号、PAAS\SAAS服务、无服务器、云安全产品等;
Agent探针\云原生探针主要采集资产属性包括服务器\容器信息(ip地址、mac地址、cpu、内存、运行进程、系统账号、开放端口)、应用信息等;
流量探针主要采集流量信息(五元组)和流量解析;
情报共享主要是人工进行判断和调整。
步骤S23:对混合资产信息进行分级分域匹配,获得匹配数据;
接收部署好的探针发来的指纹数据即混合资产信息后,首先根据资产指纹知识库进行分级分域匹配,指纹知识库主要包括域和级的关联关系,域信息存储资产来源与探测指纹关系,级信息存储资产分类与探测指纹。
步骤S24:对匹配数据进行数据格式统一处理,获得格式数据;
匹配好后将匹配数据根据数据范式化算法进行实体关联,对数据格式进行统一处理;由于各个云平台对API定义不一样,对于API采集的数据需要进行格式统一后再进行入库。
步骤S25:获得格式数据后,对格式数据进行数据去重处理和交叉验证处理;
进行数据去重处理和交叉验证处理,可确保资产信息准确性。系统根据置信度进行数据去重,如发现资产不一致信息则告警通知管理员。置信度先后顺序为API探针-Agent探针\云原生探针-流量探针-情报共享。
举例来说:
1、对于API对接探测指纹以API方式为准,API没有提供的以Agent探针数据为准,Agent探针数据没有的以流量探针数据为准,以此类推。
2、如置信度低的探针采集的数据与置信度高的不一致则进行告警,用户判断是否需要调整。
步骤S26:对格式数据进行关系映射,获得关联数据;
对格式数据进行关系映射,实现内、外关联,获得关联数据及关联数据的关系。
内关联通过数据库统计标识服务器与应用承载关联关系、应用与端口\协议承载关联关系;
外关联通过流量特征识别标识各域应用与应用之间、应用与服务器之间、应用与PAAS服务之间、工作负载之间的关联关系;威胁情报关联标识应用版本、协议是否存在对应威胁信息。
步骤S27:对关联数据进行多维度实时数据聚合统计,获得资产可视化信息;
以关联数据为基础,根据资产来源、资产类别、资产属性进行多维度实时数据聚合统计和报表可视化展示。其中,资产来源视角可以查看资产在每个来源的分布情况,如查看阿里云分布了哪些类型的资产及每类资产的数量;资产类别视角可以查看以类别统计的信息,如查看应用资产分布在哪些平台上;资产属性视角可以查看某个属性的统计信息,如查看所有打开了3389的资产。
步骤S28:对资产的重要程度进行综合加权,根据关联数据的关联关系进行计算,获得资产可视化信息,即,进行离线分析挖掘,获得资产可视化信息,资产可视化信息包括但不限于:应用画像、工作负载画像和重点资产画像。其中,应用画像可以展示应用工作在哪个服务器上、使用了哪些端口和协议、与其他应用的调用关系;工作负载和重点资产画像可以展示工作负载上资源使用情况、使用的端口和协议,与其他工作负载的流量交互关系。
步骤S29:根据关联数据的关联关系对资产进行分级分域测绘,获得资产可视化信息,资产可视化信息包括但不限于:服务器之间流量导向信息和应用之间流量导向信息。
即,根据关联关系对资产进行分级、分域TOPO测绘,并在TOPO图上实时展示资产态势信息,即在TOPO图上展示服务器之间、应用之间流量导向图。
对关联数据进行聚合分析主要通过人工智能、大数据分析、机器学习等算法完成资产的实时计算、离线分析挖掘和资产测绘,让资产真正成为可视可感可知可查的有效资产。
在本发明的一些具体实施例中,在针对资产探测过程中,用户根据资产来源部署相应探针,探针携带探测指纹进行数据采集,探测指纹用来确定探测内容和资产来源和分类。将采集好的数据传给数据处理层,根据资产指纹知识库进行分级分域匹配(分域匹配确定资产来源,分层匹配确定资产分类),匹配好后进行交叉验证以保证资产数据的准确性,最后根据数据范式化算法进行实体关联,对数据格式进行统一处理并入库。系统后台根据定制规则对数据进行分级分域实时聚合和画像的离线分析挖掘功能,并根据关联关系自动进行资产测绘。整个过程均通过后台自动执行,用户可以直接登录系统进行报表查看、聚合数据展示以及处理后的数据检索功能。
图3为本发明实施例提供的一种混合资产的分析处理装置图,如图3所示,该装置包括:
探测模块301,用于进行资产探测,获得混合资产信息;
匹配模块302,用于对混合资产信息进行分级分域匹配,获得匹配数据;
格式模块303,用于对匹配数据进行数据格式统一处理,获得格式数据;
关联模块304,用于对格式数据进行关系映射,获得关联数据;
分析展示模块305,用于对关联数据进行聚合分析,获得资产可视化信息,并将资产可视化信息进行展示。
在本发明的一些具体实施例中,分析展示模块305具体用于:
对关联数据进行多维度实时数据聚合统计,获得资产可视化信息;资产可视化信息包括但不限于:资产来源、资产类别和资产属性。
在本发明的一些具体实施例中,分析展示模块305具体用于:
对资产的重要程度进行综合加权,根据关联数据的关联关系进行计算,获得资产可视化信息,资产可视化信息包括但不限于:应用画像、工作负载画像和重点资产画像。
在本发明的一些具体实施例中,分析展示模块305具体用于:
根据关联数据的关联关系对资产进行分级分域测绘,获得资产可视化信息,资产可视化信息包括但不限于:服务器之间流量导向信息和应用之间流量导向信息。
在本发明的一些具体实施例中,探测模块301具体用于:
预定义探测指纹;结合具体业务环境,进行不同探针部署,通过探针进行资产探测,获得混合资产信息;探针携带有探测指纹,探针包括API探针、Agent探针、云原生探针、流量探针和情报共享方式的至少一种。
在本发明的一些具体实施例中,该装置还包括:去重验证模块,用于获得格式数据后,对格式数据进行数据去重处理和交叉验证处理;
在本发明的一些具体实施例中,该装置还包括:告警模块,用于当发现资产不一致信息时,进行告警处理。
本发明实施例还提供一种电子设备,图4为本发明电子设备一个实施例的结构示意图,可以实现本发明图1-2所示实施例的流程,如图4所示,上述电子设备可以包括:壳体41、处理器42、存储器44、电路板44和电源电路44,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器44设置在电路板44上;电源电路44,用于为上述电子设备的各个电路或器件供电;存储器44用于存储可执行程序代码;处理器42通过读取存储器44中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一实施例所述的混合资产的分析处理方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1-2所示实施例的描述,在此不再赘述。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明的实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述的混合资产的分析处理方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
本发明具有以下技术效果:
1.针对资产探测形式单一,本发明采用的协同探测方案,包括API接口、Agent、流量、云原生、情报共享等方式,以应对云上、云上以及复杂的网络环境。
2.针对资产所有者不清楚资产种类和分布情况,本发明通过探测数据与资产指纹知识库匹配,对资产进行分级分域划分,以标识资产来源和资产分类,并通过内外关联实现资产关联映射。
3.针对资产信息展示简单,无关联和分析视图,本发明设计了一种聚合分析方法,以处理后的数据为基础依托大数据、人工智能、机器学习能力进行实时计算、离线分析挖掘和资产测绘,让资产真正成为可视可感可知可查的有效资产。
总之,本发明基于多种探测技术,可根据资产来源不同和网络环境要求不同,部署不同探针,通过探测指纹进行资产的分级分域和关联关系处理入库,以入库数据为基础依托大数据、人工智能、机器学习能力进行实时计算、离线分析挖掘和资产测绘,实现混合环境下资产的统一管理和聚合展示,让资产真正成为可视可感可知可查的有效资产,同时提高了运维效率,减少运维难度。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。