CN116136801B - 云平台的数据处理方法、装置、电子设备及存储介质 - Google Patents

云平台的数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116136801B
CN116136801B CN202111337212.5A CN202111337212A CN116136801B CN 116136801 B CN116136801 B CN 116136801B CN 202111337212 A CN202111337212 A CN 202111337212A CN 116136801 B CN116136801 B CN 116136801B
Authority
CN
China
Prior art keywords
acquisition
data
task
cloud
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111337212.5A
Other languages
English (en)
Other versions
CN116136801A (zh
Inventor
王维
彭沙婴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202111337212.5A priority Critical patent/CN116136801B/zh
Publication of CN116136801A publication Critical patent/CN116136801A/zh
Application granted granted Critical
Publication of CN116136801B publication Critical patent/CN116136801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供一种云平台的数据处理方法、装置、电子设备及存储介质，该方法包括：获取用户终端设备发送的采集任务指令，根据采集任务指令向云数据中心下发多个采集任务；云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；根据采集任务选择云数据中心对应的采集插件，根据采集插件对应的采集方式调用云数据中心中对应的采集器；利用采集器采集云数据中心中采集任务对应的数据，将数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；将封装后的数据存储至配置管理数据库，将配置管理数据库通过图形化的方式进行展示，以执行与采集任务指令对应的任务处理操作。可以对各类平台进行统一维护，提高处理效率。

Description

云平台的数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及云计算技术技术领域，尤其涉及一种云平台的数据处理方法、装置、电子设备及存储介质。
背景技术
随着云计算技术的不断发展，云平台被广泛应用在越来越多的业务领域中，例如私有云、混合云及公有云等多个领域。由于云平台中功能部件种类众多，数量巨大，并且能够实现的功能较多，因此云平台的运维通常需要大量操作才能完成。
现有技术中，由于各类原因存在各类云平台，例如有ManageOne云平台、Vmware平台，也有基于Openstack的云平台，每一类云平台都有自己独有的接口，若需要使用多个云平台中的数据，则需要分别单独调用所需的云平台。
但是，上述方法中各类平台的维护和使用不统一，对于云平台的运维人员来说，日常的运维比较复杂，而且运维成本高，处理效率低。
发明内容
本申请提供一种云平台的数据处理方法、装置、电子设备及存储介质，可以对各类平台进行统一的维护和使用，对于云平台的运维人员来说，使日常的运维简单化，降低运维成本，提高处理效率。
第一方面，本申请提供一种云平台的数据处理方法，所述方法包括：
获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；
根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式；
利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；
将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作。
可选的，根据所述采集任务指令向云数据中心下发多个采集任务，包括：
根据所述采集任务指令中采集任务对应的类型向相应的云数据中心下发多个采集任务，所述采集任务对应的类型包括：私有云、混合云、公有云和多云，其中，所述多云为至少两个公有云。
可选的，所述采集方式包括以下至少一项：表现层状态转移REST方式、Java管理扩展JMX方式、软件开发工具包SDK方式、安全外壳协议SSH方式和结构化查询语言SQL方式；判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器，包括：
获取所述云数据中心发送的所述采集插件相应的第一消息；所述第一消息用于上报所述采集插件的开启状态；
根据所述第一消息判断所述采集插件是否开启；
若是，则根据所述采集方式调用所述云数据中心中对应的采集器，用于实现统一的采集控制接口；
若否，则向所述云数据中心发送提醒指令，用于提醒开启所述采集插件。
可选的，将封装后的数据存储至配置管理数据库，包括：
将封装后的数据进行过滤处理，得到第一数据，并将所述第一数据存储至配置管理数据库；所述配置管理数据库基于所述第一数据的变化实时更新。
可选的，在将所述配置管理数据库通过图形化的方式进行展示之后，还包括：
接收用户通过操作图形化界面中任意一个组件下发的操作指令；所述图形化界面为所述配置管理数据库中的各个组件通过图形化的方式展示的界面；其中，所述各个组件为可执行操作的功能性组件；
根据所述操作指令调用所述配置管理数据库中的数据进行相应的操作处理。
可选的，所述方法还包括：
向所述配置管理数据库下发脚本指令，所述脚本指令包括多个任务指令，所述多个任务指令分别添加对应的唯一标识；
判断接收到的指令中是否存在带有唯一标识的任务指令，并调用云平台下的监控功能，监控根据带有唯一标识的任务指令执行任务的处理结果；
基于所述处理结果进行故障诊断和故障修复。
可选的，基于所述处理结果进行故障诊断和故障修复，包括：
若所述处理结果为处理任务结束后返回的结果，则证明所述云平台下没有发生异常；
若所述处理结果为处理任务过程发生异常中断及发生异常中断的节点，则将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提醒工作人员进行故障修复；其中，所述机器学习模型为基于神经网络构建的深度学习模型。
可选的，所述方法还包括：
获取训练数据集，所述训练数据集中的每一训练数据包括：异常中断的节点和发生异常中断的原因；
根据所述训练数据集，对机器学习模型进行训练；
相应的，将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提示工作人员进行故障修复，包括：
将所述处理结果中的异常中断的节点输入通过所述训练数据集训练得到的机器学习模型中，检测出发生异常中断的原因，并将所述原因以提示信息的方式发送给终端设备，以提示工作人员对发生异常中断的节点进行故障修复。
可选的，所述方法还包括：
将任一云平台的监控策略的配置过程界面向用户进行展示，以供用户对所述监控策略进行更改；
获取用户输入的更改后的监控策略，所述更改后的监控策略包括监控周期；
基于所述监控周期对所述任一云平台进行监控。
第二方面，本申请还提供了一种云平台的数据处理装置，所述装置包括：
获取模块，用于获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；
选择模块，用于根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式；
处理模块，用于利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；
存储模块，用于将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作。
第三方面，本申请还提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的云平台的数据处理方法。
综上所述，本申请提供一种云平台的数据处理方法、装置、电子设备及存储介质，该方法可以获取用户终端设备发送的采集任务指令，进一步的，根据采集任务指令向云数据中心下发多个采集任务；该云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；进一步的，可以根据采集任务选择云数据中心对应的采集插件，并判断其采集插件是否开启，若是，则根据采集插件对应的采集方式调用云数据中心中对应的采集器，并利用采集器采集云数据中心中采集任务对应的数据，进一步的，将采集到的数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；进一步的，将封装后的数据存储至配置管理数据库中，并将配置管理数据库通过图形化的方式进行展示，以执行与采集任务指令对应的任务处理操作。这样，可以对各类平台进行统一的维护和使用，覆盖各类云平台的领域内各类资源数据的调用，提供集中场景化支撑，对于云平台的运维人员来说，使日常的运维简单化，降低运维成本，提高处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的一种云平台的数据处理方法的流程示意图；
图3为本申请实施例提供的一种采集云数据中心中采集任务对应的数据方法的流程图；
图4为本申请实施例提供的一种云平台运维管控类操作的结构示意图；
图5为本申请实施例提供的一种云平台场景应用的结构示意图；
图6为本申请实施例提供的一种云平台的数据处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一设备和第二设备仅仅是为了区分不同的设备，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
下面结合附图对本申请实施例进行介绍。图1为本申请实施例提供的一种应用场景示意图，本申请提供的一种云平台的数据处理方法可以应用于如图1所示的应用场景中。该应用场景包括：私有云平台101，混合云平台102，公有云平台103，服务器104，终端设备105，用户106。云平台数据量巨大，实现云平台的数据采集的持续性和数据处理的及时性至关重要，因此，在服务器104接收到用户终端设备发送的采集任务指令时，需要调用私有云平台101，混合云平台102和公有云平台103中的一个或多个平台中的数据去处理任务，相应的，服务器104可以将从私有云平台101，混合云平台102和公有云平台103中的一个或多个平台中的调用的数据存储至配置管理数据库中，并将配置管理数据库通过图形化的方式展示到终端设备105上，进一步的，用户106可以通过操作图形化界面中任意一个组件下发操作指令，例如，用户106操作删除组件下发一个删除某条数据的操作指令，相应的，服务器104执行该操作指令对某条数据进行删除。
可以理解的是，配置管理数据库通过图形化的方式展示的组件为可执行操作的功能性组件，例如，删除组件，监控组件，添加组件等等，其数量为多个，本申请实施例对组件的数量和类别不作具体限定。
需要说明的是，终端设备105可以是大屏(或称为智慧屏)、手机、平板电脑、智能手表、智能手环、智能眼镜或其他具备显示屏幕的终端设备等，本申请实施例对此不作具体限定。
现有技术中，由于各类原因存在各类云平台，例如有ManageOne云平台、Vmware平台，也有基于Openstack的云平台，每一类云平台都有自己独有的接口，若需要使用多个云平台中的数据，则需要分别单独调用所需的云平台。
但是，上述方法中各类平台的维护和使用不统一，对于云平台的运维人员来说，日常的运维比较复杂，而且运维成本高，处理效率低。
因此，本申请提供一种云平台的数据处理方法，该方法可以通过获取用户终端设备发送的采集任务指令，进一步的，根据采集任务指令向私有云平台、混合云平台和公有云平台中的一个或多个下发多个采集任务，进一步的，根据采集任务选择上述平台中对应的采集插件，并根据采集插件对应的采集方式调用其对应的采集器；进一步的，利用采集器在各个平台中采集到采集任务对应的数据，并将采集到的数据的格式转换为统一的数据格式，且对转换格式后的数据进行封装并存储至配置管理数据库中，进一步的，还可以将配置管理数据库通过图形化的方式进行展示，展示相关组件的按钮或界面以执行与采集任务指令对应的任务处理操作。这样，可以对各类平台进行统一的维护和使用，覆盖各类云平台的领域内各类资源数据的调用，提供集中场景化支撑，对于云平台的运维人员来说，使日常的运维简单化，降低运维成本，提高处理效率。
示例性的，图2为本申请实施例提供的一种云平台的数据处理方法的流程示意图，如图2所示，本申请实施例的方法包括：
S201、获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台。
本申请实施例中，采集任务指令可以指的是采集多种数据的任务指令，该任务指令可以调用多种类型的云平台，例如，该任务指令可以调用私有云平台，混合云平台和公有云平台中一个或多个平台的数据。
其中，私有云平台用于向用户提供各类私有云计算服务、资源和管理系统，私有云平台还包括私有云服务和私有云管理平台，私有云服务可以指的是以资源和计算能力为主的云服务，包括硬件虚拟化、集中管理、弹性资源调度等，而私有云管理平台负责私有云计算各种服务的运营，用于对各类资源进行集中管理。例如，为某一个客户单独使用而构建的私有云。
公有云平台负责组织协调计算资源，并根据用户的需要提供各种计算服务，通常指第三方提供商为用户提供的能够使用的云平台，例如，阿里云平台。
混合云平台可以指的是融合了公有云和私有云的平台，其提供了许多重要的功能，可以使各种形状和规模的企业受益，使得企业能够利用混合云的方式扩展IT基础架构。
示例性的，在图1的应用场景下，服务器104可以获取用户终端设备发送的采集任务指令，该采集任务指令为采集私有云平台101中的某一个数据和公有云平台103中的某三个数据，进一步的，服务器104根据该采集任务指令向私有云平台101下发采集某一个数据的第一任务和向公有云平台103下发采集某三个数据的第二任务。
S202、根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式。
本申请实施例中，采集插件可以指的是一套可以根据关键词自动采集，无须编写复杂的采集规则的插件，用于将云数据中心与服务器建立通信连接，辅助采集器采集数据，其中，采集器可以指的是实时进行数据采集、处理功能的自动化设备。
需要说明的是，采集方式包括以下至少一项：表现层状态转移REST方式、Java管理扩展JMX方式、软件开发工具包SDK方式、安全外壳协议SSH方式和结构化查询语言SQL方式。
具体的，REST(Representational State Transfer，表现层状态转换)方式可以指的是基于超文本传输协议(HTTP)之上而确定的一组约束和属性，允许客户端发出以统一资源标识符访问和操作网络资源的请求，而与预先定义好的无状态操作集一致化的方式；用于不同软件/程序在网络(例如互联网)中互相传递信息，例如，REST方式可以用于调用各类私有云的采集器。
JMX(Java Management Extensions，Java管理扩展)方式可以指的是通过利用Java管理系统与资源之间的接口调用采集器的方式。
SDK(Software Development Kit，软件开发工具包)方式可以指的是通过利用特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时开发工具的集合调用采集器的方式，用于为某个程序设计语言提供应用程序接口。例如，SDK方式可以用于调用各类公有云的采集器。
SSH(Secure Shell，安全外壳协议)方式可以指的是利用为远程登录会话和其他网络服务提供的安全性协议调用采集器的方式。
SQL(Structured Query Language，结构化查询语言)方式可以指的是利用数据库查询和程序设计语言调用采集器的方式。
可以理解的是，采集插件对应的采集方式并不局限于以上几种，还可以有其他的采集方式调用采集器，本申请实施例对此不作具体限定。
示例性的，在图1的应用场景下，若服务器104确定的采集任务有向私有云平台101采集某一个数据和向公有云平台103采集某三个数据，则服务器104可以根据上述采集任务选择与私有云平台101对应的采集插件和与公有云平台103对应的采集插件，进一步的，可以判断私有云平台101对应的采集插件和公有云平台103对应的采集插件是否处于开启状态，若确定私有云平台101对应的采集插件和公有云平台103对应的采集插件均处于开启状态，可以利用REST方式调用私有云平台101对应的采集器，利用SSH方式调用公有云平台103对应的采集器。
S203、利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装。
本申请实施例中，统一的数据格式可以指的是一致的描述数据保存在文件或记录中的规则，可以是字符形式的文本格式，也可以是二进制数据形式的压缩格式，本申请实施例对统一的数据格式的具体形式不作限定，但是所用的数据格式应该一致。
可以理解的是，统一的数据格式可以是提前预设的数据格式，也可以是云数据中心中某一云平台对应的数据格式，本申请实施例对此不作具体限定。
示例性的，若服务器104确定的采集任务有向私有云平台101采集某一个数据和向公有云平台103采集某三个数据，则在服务器104调用私有云平台101对应的采集器和公有云平台103对应的采集器后，服务器104可以利用私有云平台101对应的采集器采集私有云平台101中的所需的某一个数据，并将采集到的所需的某一个数据转换为预设的数据格式，利用公有云平台103对应的采集器采集公有云平台103中的所需的某三个数据，并将采集到的所需的某三个数据转换为预设的数据格式，进一步的，对上述转化格式后的数据进行封装。
S204、将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作。
本申请实施例中，配置管理数据库(Configuration Management database，CMDB)可以指的是包含一个组织的IT服务使用的信息系统的组件的所有相关信息以及这些组件之间的关系的数据库，一个信息系统的组件可以是任何可以想到的IT组件，包括软件、硬件、文件和人员，以及它们之间的结合体。
图形化的方式可以指的是采用图形方式显示的计算机中信息系统的组件的操作用户界面的方式，例如，该操作用户界面中可以显示有增加组件，删除组件，监控组件等等。
示例性的，在图1的应用场景下，若服务器104在采集完成私有云平台101中某一个数据和公有云平台103中某三个数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装后，服务器104还可以将封装后的数据存储至配置管理数据库中，并将配置管理数据库中组件的通过图形化的方式进行展示，以执行与采集任务指令对应的任务处理操作，例如，可以执行删除私有云平台101中某一个数据的操作。
因此，本申请提供的云平台的数据处理方法，可以对各类平台进行统一的维护和使用，覆盖各类云平台的领域内各类资源数据的调用，对于云平台的运维人员来说，使日常的运维简单化，降低运维成本，提高处理效率。
可选的，根据所述采集任务指令向云数据中心下发多个采集任务，包括：
根据所述采集任务指令中采集任务对应的类型向相应的云数据中心下发多个采集任务，所述采集任务对应的类型包括：私有云、混合云、公有云和多云，其中，所述多云为至少两个公有云。
本申请实施例中，私有云类型指的是云相关资源，被某家企业或组织所私有独享使用，不与他人共享的形式，混合云类型指的是企业混合使用了公有云和私有云，企业的数据和应用一部分在公有云中，一部分在私有云中的形式；公有云类型指的是云相关资源，由第三方云服务提供商所拥有和运维管理，并通过互联网交付给多个租户，共享使用的形式，多云类型指的是企业或组织的数据和应用，横跨部署在多个公有云平台上，或者同时使用到多家公有云平台的资源的形式。
可以理解的是，任意一个私有云类型、混合云类型、公有云类型或多云类型还可以包括更加具体的类型，本申请实施例对此不作具体限定，例如，私有云类型可以包括纯软件私有云，托管型私有云等。
示例性的，在图1的应用场景下，服务器104在确定采集任务指令对应的采集任务为采集私有云平台101中的某一个数据和公有云平台103中的某三个数据后，服务器104可以根据该采集任务指令确定采集私有云平台101中的某一个数据的任务对应的类型为私有云类型，进一步的，利用该私有云类型向私有云平台101下发采集某一个数据的任务，类似的，可以确定采集公有云平台103中的某三个数据的任务对应的类型为公有云类型，则向公有云平台103下发采集某三个数据的任务。
因此，针对采集任务对应的类型可以有针对性的向相应的云平台下发采集任务，提高处理准确性和速率。
可选的，所述采集方式包括以下至少一项：表现层状态转移REST方式、Java管理扩展JMX方式、软件开发工具包SDK方式、安全外壳协议SSH方式和结构化查询语言SQL方式；判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器，包括：
获取所述云数据中心发送的所述采集插件相应的第一消息；所述第一消息用于上报所述采集插件的开启状态；
根据所述第一消息判断所述采集插件是否开启；
若是，则根据所述采集方式调用所述云数据中心中对应的采集器，用于实现统一的采集控制接口；
若否，则向所述云数据中心发送提醒指令，用于提醒开启所述采集插件。
本申请实施例中，第一消息为云数据中心发送的用于指示采集插件的是否开启的代码，服务器可以识别该代码来判断采集插件的开启状态。
统一的采集控制接口可以指的是服务器在调用云数据中心中各个平台的数据时，可以使用本申请提供的方法提供的统一的采集控制接口(即可以根据采集方式调用对应的采集器)，数据可以通过该接口进行统一标准化输出。
需要说明的是，提醒指令可以是以代码的形式发出，用于提醒云数据中心中各个平台开启对应的采集插件，本申请实施例对提醒指令的具体形式不作限定。
示例性的，图3为本申请实施例提供的一种采集云数据中心中采集任务对应的数据方法的流程图，如图3所示，服务器下发采集任务，进一步的，需要判断采集任务对应的采集插件是否开启，具体的，可以获取云数据中心中某一个或多个云平台发送的采集插件相应的用于上报采集插件的开启状态的消息，并根据该消息判断采集插件是否开启；若采集插件是开启状态，则根据采集方式调用云数据中心中某一个或多个云平台对应的采集器，若采集插件是关闭状态，则向云数据中心中某一个或多个云平台发送提醒指令，用于提醒某一个或多个云平台开启采集插件。
进一步的，在根据采集方式调用云数据中心中某一个或多个云平台对应的采集器后，利用对应的采集器采集所需的数据，并将采集的数据格式封装为采集插件数据格式(即统一的数据格式)，进一步的，将封装好的数据发往数据转换过滤中心进行处理。
可以理解的是，采集方式可以有REST方式、JMX方式、SDK方式、SSH方式和SQL方式等，上述采集方式均为动态采集类别，可以用于实现统一的采集控制接口，例如，REST方式可以用于各类公私有云的数据采集，JMX方式可以用于Tomcat等中间件的数据采集，SDK方式可以用于VMware虚拟机的数据采集，SSH方式可以用于远程主机信息的数据采集，SQL方式可以用于编程的方式进行数据采集。
因此，通过采集插件实现统一的采集控制接口，使得数据可以有统一标准化输出，可以对云数据中心中各个云平台进行统一的采集，提升运维效率。
可选的，将封装后的数据存储至配置管理数据库，包括：
将封装后的数据进行过滤处理，得到第一数据，并将所述第一数据存储至配置管理数据库；所述配置管理数据库基于所述第一数据的变化实时更新。
本申请实施例中，过滤处理可以指的是将重复的数据以及模糊的数据进行删除，该过滤处理过程由数据转换过滤中心处理；配置管理数据库基于经过过滤处理后的第一数据的变化实时更新，即配置管理数据库可以判断第一数据是否有更新，若第一数据更新的话，便将新的第一数据存储至配置管理数据库中。
示例性的，服务器可以将封装后的具有统一数据格式的数据中重复的数据以及模糊的数据进行删除，得到第一数据，并可以有将第一数据存储至配置管理数据库。
因此，对数据进行过滤处理，可以避免数据冗余，节省配置管理数据库的空间。
可选的，在将所述配置管理数据库通过图形化的方式进行展示之后，还包括：
接收用户通过操作图形化界面中任意一个组件下发的操作指令；所述图形化界面为所述配置管理数据库中的各个组件通过图形化的方式展示的界面；其中，所述各个组件为可执行操作的功能性组件；
根据所述操作指令调用所述配置管理数据库中的数据进行相应的操作处理。
本申请实施例中，功能性组件可以指的是可以执行某项功能的组件，该功能性组件是以图形化的形式进行展示，可以为按钮的形式，用户触发该按钮后，可以弹出相应的可操作界面，例如，该功能性组件为一个删除按钮，在用户触发该按钮后，弹出可进行删除数据的可操作界面，用户通过在该可操作界面操作对某个数据进行删除。
需要说明的是，本申请实施例对功能性组件图形化展示的形式不作具体限定。
示例性的，在图1的应用场景下，在服务器104将配置管理数据库通过图形化的方式在终端设备105的界面进行展示之后，该界面包括多个可执行操作的功能性组件，例如，增加按钮，删除按钮等，在用户106触发删除按钮后，在终端设备105上弹出可进行删除数据的可操作界面，用户106通过在该可操作界面操作对某个数据进行删除后，服务器104可以接收用户106通过操作该删除按钮下发的删除某条数据的指令；进一步的，可以根据该指令将配置管理数据库中的某条数据进行删除。
可以理解的是，功能性组件的数量和类型可以为多个，本申请实施例对此不作具体限定。
因此，配置管理数据库中的组件可以视图呈现自助化，帮助用户基于视图中的组件进行管理数据的高效处理，提高便利性。
可选的，所述方法还包括：
向所述配置管理数据库下发脚本指令，所述脚本指令包括多个任务指令，所述多个任务指令分别添加对应的唯一标识；
判断接收到的指令中是否存在带有唯一标识的任务指令，并调用云平台下的监控功能，监控根据带有唯一标识的任务指令执行任务的处理结果；
基于所述处理结果进行故障诊断和故障修复。
本申请实施例中，脚本指令可以指的是服务器基于自身下发的执行某种操作的指令，用于监控云平台是否发生故障；例如，该脚本指令为增加配置管理数据库中数据1的任务指令和删除配置管理数据库中数据2的任务指令；唯一标识可以指的是添加的唯一用来识别的记号，可以是身份ID号，或者是标识码，本申请实施例对此不作具体限定。
示例性的，服务器为了判断云平台是否发生故障，可以周期性的向配置管理数据库下发脚本指令，例如，该脚本指令为增加配置管理数据库中数据1的任务指令和删除配置管理数据库中数据2的任务指令，上述两个任务指令分别添加对应的ID号；进一步的，服务器需要确定在接收到的指令中存在带有ID号的任务指令，进一步的，调用云平台下的监控功能，监控根据带有ID号的任务指令执行增加配置管理数据库中数据1的任务和删除配置管理数据库中数据2的任务的处理结果；进一步的，基于该处理结果对云平台进行故障诊断和故障修复。
可以理解的是，服务器接收到的指令包括用户通过操作图形化界面中任意一个组件下发的操作指令和服务器自身下发的任务指令。
因此，本申请可以通过每隔预设周期调用指定的脚本，以实现故障诊断，使得应用更加自动化，减少云平台出错的概率，节省人工成本。
可选的，基于所述处理结果进行故障诊断和故障修复，包括：
若所述处理结果为处理任务结束后返回的结果，则证明所述云平台下没有发生异常；
若所述处理结果为处理任务过程发生异常中断及发生异常中断的节点，则将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提醒工作人员进行故障修复；其中，所述机器学习模型为基于神经网络构建的深度学习模型。
本申请实施例中，神经网络是一门重要的机器学习技术，其网络结构包括输入层，隐含层，输出层，且隐含层的层数是可以设置的。神经网络的训练过程主要是利用反向传播的原理来进行的网络梯度下降寻优以找到最好模型参数，可以用于图像识别、语音识别和文本识别，等。
深度学习模型可以指的是基于一个深度学习算法的体系结构，可以用于迭代训练数据。例如，yolov5模型，SSD模型，Faster-RCNN模型，等。
示例性的，以服务器需要监控增加配置管理数据库中数据1的任务和删除配置管理数据库中数据2的任务的处理结果为例；若该处理结果为完成了增加配置管理数据库中数据1且删除配置管理数据库中数据2的任务的结果，则证明云平台下没有发生异常；若该处理结果为完成了增加配置管理数据库中数据1但是没有完成删除配置管理数据库中数据2的任务，在进行删除配置管理数据库中数据2的任务时中断在节点1处，则将该处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将该原因发送给终端设备以提醒工作人员进行故障修复。
需要说明的是，发生异常中断的节点为服务器中具体的某个进程节点，本申请实施例对节点是什么不作具体限定。
因此，可以通过机器学习模型判断云平台哪里发生故障，提高计算精度，处理效率和准确率，减少人工失误，贴合实际使用要求。
可选的，所述方法还包括：
获取训练数据集，所述训练数据集中的每一训练数据包括：异常中断的节点和发生异常中断的原因；
根据所述训练数据集，对机器学习模型进行训练；
相应的，将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提示工作人员进行故障修复，包括：
将所述处理结果中的异常中断的节点输入通过所述训练数据集训练得到的机器学习模型中，检测出发生异常中断的原因，并将所述原因以提示信息的方式发送给终端设备，以提示工作人员对发生异常中断的节点进行故障修复。
本申请实施例中，提示信息用于指示云平台中的某个节点存在问题，而发送提示信息的方式，本申请实施例不作具体限定，可以为向工作人员的终端设备的上发送一条消息提示，该消息提示为“云平台中的节点1存在问题1”，以提示工作人员及时进行检查进行故障修复，也可以为向用户的终端设备的上发送一条消息提示，该消息提示为“云平台中的节点1存在问题1，请避免使用该节点1并及时反馈问题”，以提示用户目前该节点1对应的功能不能使用，进一步的，用户可以将该问题反映给工作人员进行处理。
本申请实施例中，可以获取人工提供的训练数据集，该训练数据集包括多个训练数据，每一训练数据可以包括发生异常中断的节点及其对应的发生异常中断的原因。
需要说明的是，获取训练数据集对机器学习模型进行训练只需要进行一次，以后可以直接使用训练好的机器学习模型对处理结果进行检测。
示例性的，服务器可以提前对机器学习模型进行训练，即获取训练数据集，可以包括多个训练数据，每一训练数据可以包括发生异常中断的节点及其对应的发生异常中断的原因；进一步的，根据训练数据集，对机器学习模型进行训练。
相应的，服务器将机器学习模型训练好之后，可以将所述处理结果中的异常中断的节点输入到训练好的机器学习模型中，这样，可以检测出发生异常中断的原因，进一步的，可以将该原因以消息提示的方式发送给工作人员的终端设备的上，该消息提示为“云平台中的节点1存在问题1”，以提示工作人员对发生异常中断的节点1进行故障修复。
因此，通过利用预先训练好的机器学习模型检测出发生异常中断的原因，可以提高检测的精度和准确性，且该机器学习模型可以识别多种情形下发生异常中断的节点，应用范围广。
可选的，所述方法还包括：
将任一云平台的监控策略的配置过程界面向用户进行展示，以供用户对所述监控策略进行更改；
获取用户输入的更改后的监控策略，所述更改后的监控策略包括监控周期；
基于所述监控周期对所述任一云平台进行监控。
本申请实施例中，监控周期可以指的是用户设定的每隔预设周期对云平台进行监控的时间，可以为一周，也可以为一个月，本申请实施例对此不作具体限定。
示例性的，在图1的应用场景下，服务器104可以将任一云平台的监控策略的配置过程界面通过在终端设备105上向用户106进行展示，进一步的，用户106可以通过操作终端设备105对监控策略进行更改；进一步的，终端设备105将用户输入的更改后的监控策略发送给服务器104，相应的，服务器104接收更改后的监控策略，并且可以基于更改后的监控策略中的监控周期对云平台进行监控。
因此，还可以人为的配置监控策略，提高灵活性。
可以理解的是，本申请实施例提供的云平台的数据处理方法还可以进行系统的配置监控策略。
示例性的，本申请提供的云平台的数据处理方法，在设计时考虑了用户使用的全过程自助化，可以使用户能够根据自身需要快速有效地进行各类运维管控类操作，图4为本申请实施例提供的一种云平台运维管控类操作的结构示意图，如图4所示，自主化操作包括监控采集自助化操作，监控策略配置自助化操作，监控分析自助化操作和视图呈现自助化操作。
具体的，服务器提供了监控采集脚本自助扩展功能，用户可以基于Python、Shell、Perl和PowerShell等开发语言定制自己所需的监控采集脚本(即监控策略)，并且服务器将监控策略配置过程完全开放给每一个功能用户，用户可以利用服务器提供自助化的数据分析工具，例如通过配置、SQL编程等方式自主地对监控策略进行配置，其中，服务器提供的上述自助配置能力，是基于可视化的图形化界面进行的管理和使用。
可以理解的是，各用户的配置的监控策略彼此隔离、互不影响。
结合上述实施例，本申请提供的方法可以从系统安装、云平台管理到策略生成借助全面自动化的理念帮助用户在多种场景中提升运维效率、降低运维成本，图5为本申请实施例提供的一种云平台场景应用的结构示意图；如图5所示，本申请云平台的数据处理方法可以支持产品安装自动化，即所有组件均支持自动化安装部署，用户通过图形化界面操作即可完成自动化部署过程；还可以支持监控接入自动化，即支持自动检测待监控资源、自动检查部署条件、自动安装监控代理、自动化下发预设监控模板(即监控策略)；还可以支持策略生成自动化，即可以支持根据故障诊断的历史数据，自动判断故障类型，自动生成监控指标的阈值参数，可以理解为，每隔预设周期，自动对云平台进行监控，本申请实施例对阈值参数不作具体限定；还可以支持故障诊断自动化，即当告警发生时，支持通过命令通道调用指定的脚本指令，以实现故障诊断或故障自愈等场景。
在前述实施例中，对本申请实施例提供的云平台的数据处理方法进行了介绍，而为了实现上述本申请实施例提供的方法中的各功能，作为执行主体的电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
例如，图6为本申请实施例提供的一种云平台的数据处理装置的结构示意图，如图6所示，该装置包括：获取模块610，选择模块620，处理模块630和存储模块640。其中，获取模块610，用于获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；
选择模块620，用于根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式；
处理模块630，用于利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；
存储模块640，用于将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作。
可选的，获取模块610，具体用于：
根据所述采集任务指令中采集任务对应的类型向相应的云数据中心下发多个采集任务，所述采集任务对应的类型包括：私有云、混合云、公有云和多云，其中，所述多云为至少两个公有云。
可选的，所述采集方式包括以下至少一项：表现层状态转移REST方式、Java管理扩展JMX方式、软件开发工具包SDK方式、安全外壳协议SSH方式和结构化查询语言SQL方式；选择模块620，具体用于：
获取所述云数据中心发送的所述采集插件相应的第一消息；所述第一消息用于上报所述采集插件的开启状态；
根据所述第一消息判断所述采集插件是否开启；
若是，则根据所述采集方式调用所述云数据中心中对应的采集器，用于实现统一的采集控制接口；
若否，则向所述云数据中心发送提醒指令，用于提醒开启所述采集插件。
可选的，存储模块640，具体用于：
将封装后的数据进行过滤处理，得到第一数据，并将所述第一数据存储至配置管理数据库；所述配置管理数据库基于所述第一数据的变化实时更新。
可选的，所述装置还包括接收模块和调用模块；在将所述配置管理数据库通过图形化的方式进行展示之后，所述接收模块，用于接收用户通过操作图形化界面中任意一个组件下发的操作指令；所述图形化界面为所述配置管理数据库中的各个组件通过图形化的方式展示的界面；其中，所述各个组件为可执行操作的功能性组件；
所述调用模块，用于根据所述操作指令调用所述配置管理数据库中的数据进行相应的操作处理。
可选的，所述装置还包括下发模块，判断模块和诊断模块；
具体的，所述下发模块，用于向所述配置管理数据库下发脚本指令，所述脚本指令包括多个任务指令，所述多个任务指令分别添加对应的唯一标识；
所述判断模块，用于判断接收到的指令中是否存在带有唯一标识的任务指令，并调用云平台下的监控功能，监控根据带有唯一标识的任务指令执行任务的处理结果；
所述诊断模块，用于基于所述处理结果进行故障诊断和故障修复。
可选的，所述诊断模块包括第一处理单元和第二处理单元；
具体的，所述第一处理单元，用于当所述处理结果为处理任务结束后返回的结果时，证明所述云平台下没有发生异常；
所述第二处理单元，用于当所述处理结果为处理任务过程发生异常中断及发生异常中断的节点时，将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提醒工作人员进行故障修复；其中，所述机器学习模型为基于神经网络构建的深度学习模型。
可选的，所述装置还包括训练模块，所述训练模块，用于：
获取训练数据集，所述训练数据集中的每一训练数据包括：异常中断的节点和发生异常中断的原因；
根据所述训练数据集，对机器学习模型进行训练；
相应的，所述第二处理单元，具体用于：
将所述处理结果中的异常中断的节点输入通过所述训练数据集训练得到的机器学习模型中，检测出发生异常中断的原因，并将所述原因以提示信息的方式发送给终端设备，以提示工作人员对发生异常中断的节点进行故障修复。
可选的，所述装置还包括配置模块，所述配置模块，用于：
将任一云平台的监控策略的配置过程界面向用户进行展示，以供用户对所述监控策略进行更改；
获取用户输入的更改后的监控策略，所述更改后的监控策略包括监控周期；
基于所述监控周期对所述任一云平台进行监控。
本申请实施例提供的云平台的数据处理装置的具体实现原理和效果可以参见上述实施例对应的相关描述和效果，此处不做过多赘述。
本申请实施例还提供了一种电子设备的结构示意图，图7为本申请实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器702以及与所述处理器通信连接的存储器701；该存储器701存储计算机程序；该处理器702执行该存储器701存储的计算机程序，使得该处理器702执行上述任一实施例所述的方法。
其中，存储器701和处理器702可以通过总线703连接。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序执行指令，计算机执行指令被处理器执行时用于实现如本申请前述任一实施例中的所述的方法。
本申请实施例还提供了一种运行指令的芯片，该芯片用于执行如本申请前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
本申请实施例还提供了一种计算机程序产品，该程序产品包括计算机程序，该计算机程序被处理器执行时可实现如本申请前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速随机存取存储器(Random Access memory，简称RAM)，也可能还包括非不稳定的存储器(Non-volatile Memory，简称NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种云平台的数据处理方法，其特征在于，包括：
获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；
根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式；
利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；
将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作；
还包括：
向所述配置管理数据库下发脚本指令，所述脚本指令包括多个任务指令，所述多个任务指令分别添加对应的唯一标识；所述脚本指令为增加配置管理数据库中数据的任务指令和删除配置管理数据库中数据的任务指令；
判断接收到的指令中是否存在带有唯一标识的任务指令，并调用云平台下的监控功能，监控根据带有唯一标识的任务指令执行任务的处理结果；
若所述处理结果为处理任务结束后返回的结果，则证明所述云平台下没有发生异常；
若所述处理结果为处理任务过程发生异常中断及发生异常中断的节点，则将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提醒工作人员进行故障修复；其中，所述机器学习模型为基于神经网络构建的深度学习模型。
2.根据权利要求1所述的方法，其特征在于，根据所述采集任务指令向云数据中心下发多个采集任务，包括：
根据所述采集任务指令中采集任务对应的类型向相应的云数据中心下发多个采集任务，所述采集任务对应的类型包括：私有云、混合云、公有云和多云，其中，所述多云为至少两个公有云。
3.根据权利要求1所述的方法，其特征在于，所述采集方式包括以下至少一项：表现层状态转移REST方式、Java管理扩展JMX方式、软件开发工具包SDK方式、安全外壳协议SSH方式和结构化查询语言SQL方式；判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器，包括：
获取所述云数据中心发送的所述采集插件相应的第一消息；所述第一消息用于上报所述采集插件的开启状态；
根据所述第一消息判断所述采集插件是否开启；
若是，则根据所述采集方式调用所述云数据中心中对应的采集器，用于实现统一的采集控制接口；
若否，则向所述云数据中心发送提醒指令，用于提醒开启所述采集插件。
4.根据权利要求1所述的方法，其特征在于，将封装后的数据存储至配置管理数据库，包括：
将封装后的数据进行过滤处理，得到第一数据，并将所述第一数据存储至配置管理数据库；所述配置管理数据库基于所述第一数据的变化实时更新。
5.根据权利要求1所述的方法，其特征在于，在将所述配置管理数据库通过图形化的方式进行展示之后，还包括：
接收用户通过操作图形化界面中任意一个组件下发的操作指令；所述图形化界面为所述配置管理数据库中的各个组件通过图形化的方式展示的界面；其中，所述各个组件为可执行操作的功能性组件；
根据所述操作指令调用所述配置管理数据库中的数据进行相应的操作处理。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取训练数据集，所述训练数据集中的每一训练数据包括：异常中断的节点和发生异常中断的原因；
根据所述训练数据集，对机器学习模型进行训练；
相应的，将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提示工作人员进行故障修复，包括：
将所述处理结果中的异常中断的节点输入通过所述训练数据集训练得到的机器学习模型中，检测出发生异常中断的原因，并将所述原因以提示信息的方式发送给终端设备，以提示工作人员对发生异常中断的节点进行故障修复。
7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
将任一云平台的监控策略的配置过程界面向用户进行展示，以供用户对所述监控策略进行更改；
获取用户输入的更改后的监控策略，所述更改后的监控策略包括监控周期；
基于所述监控周期对所述任一云平台进行监控。
8.一种云平台的数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取用户终端设备发送的采集任务指令，并根据所述采集任务指令向云数据中心下发多个采集任务；所述云数据中心包括下述一项或多项：私有云平台、混合云平台和公有云平台；
选择模块，用于根据所述采集任务选择所述云数据中心对应的采集插件，并判断所述采集插件是否开启，若是，则根据采集方式调用所述云数据中心中对应的采集器；其中，每一采集插件有对应的采集方式；
处理模块，用于利用所述采集器采集所述云数据中心中所述采集任务对应的数据，并将所述数据的格式转换为统一的数据格式且对转换格式后的数据进行封装；
存储模块，用于将封装后的数据存储至配置管理数据库，并将所述配置管理数据库通过图形化的方式进行展示，以执行与所述采集任务指令对应的任务处理操作；
所述装置还包括下发模块，判断模块和诊断模块；
所述下发模块，用于向所述配置管理数据库下发脚本指令，所述脚本指令包括多个任务指令，所述多个任务指令分别添加对应的唯一标识；所述脚本指令为增加配置管理数据库中数据的任务指令和删除配置管理数据库中数据的任务指令；
所述判断模块，用于判断接收到的指令中是否存在带有唯一标识的任务指令，并调用云平台下的监控功能，监控根据带有唯一标识的任务指令执行任务的处理结果；
所述诊断模块，用于基于所述处理结果进行故障诊断和故障修复；
所述诊断模块包括第一处理单元和第二处理单元；
所述第一处理单元，用于当所述处理结果为处理任务结束后返回的结果时，证明所述云平台下没有发生异常；
所述第二处理单元，用于当所述处理结果为处理任务过程发生异常中断及发生异常中断的节点时，将所述处理结果输入预先训练好的机器学习模型中，诊断出发生异常中断的原因，并将所述原因发送给终端设备以提醒工作人员进行故障修复；其中，所述机器学习模型为基于神经网络构建的深度学习模型。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的云平台的数据处理方法。
CN202111337212.5A 2021-11-12 2021-11-12 云平台的数据处理方法、装置、电子设备及存储介质 Active CN116136801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111337212.5A CN116136801B (zh) 2021-11-12 2021-11-12 云平台的数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111337212.5A CN116136801B (zh) 2021-11-12 2021-11-12 云平台的数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116136801A CN116136801A (zh) 2023-05-19
CN116136801B true CN116136801B (zh) 2024-02-23

Family

ID=86332473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111337212.5A Active CN116136801B (zh) 2021-11-12 2021-11-12 云平台的数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116136801B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520815B (zh) * 2023-07-03 2023-10-17 合众新能源汽车股份有限公司 一种远程诊断方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268241A (zh) * 2014-09-29 2015-01-07 北京合力思腾科技股份有限公司 一种配置数据库中属性显示方法
CN106502856A (zh) * 2015-09-07 2017-03-15 中国移动通信集团公司 一种信息处理方法及装置
CN108880943A (zh) * 2018-07-26 2018-11-23 广东浪潮大数据研究有限公司 一种异构云平台的监控系统
CN108897838A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种基于cmdb的web应用系统的配置方法和装置
WO2019130009A1 (fr) * 2017-12-29 2019-07-04 Agarik Sas Plate-forme de nuage hybride orchestre pour environnement multi-nuages
CN109977173A (zh) * 2019-04-02 2019-07-05 山东浪潮云信息技术有限公司 基于云数据中心的分布式、插件式数据监控系统及方法
CN110266787A (zh) * 2019-06-14 2019-09-20 中国电子科技网络信息安全有限公司 一种混合云管理系统及方法
CN112163131A (zh) * 2020-11-10 2021-01-01 平安普惠企业管理有限公司 业务数据查询平台的配置方法、装置、计算机设备及介质
CN112732428A (zh) * 2021-01-14 2021-04-30 北京神州泰岳软件股份有限公司 数据采集方法、装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268241A (zh) * 2014-09-29 2015-01-07 北京合力思腾科技股份有限公司 一种配置数据库中属性显示方法
CN106502856A (zh) * 2015-09-07 2017-03-15 中国移动通信集团公司 一种信息处理方法及装置
WO2019130009A1 (fr) * 2017-12-29 2019-07-04 Agarik Sas Plate-forme de nuage hybride orchestre pour environnement multi-nuages
CN108897838A (zh) * 2018-06-26 2018-11-27 郑州云海信息技术有限公司 一种基于cmdb的web应用系统的配置方法和装置
CN108880943A (zh) * 2018-07-26 2018-11-23 广东浪潮大数据研究有限公司 一种异构云平台的监控系统
CN109977173A (zh) * 2019-04-02 2019-07-05 山东浪潮云信息技术有限公司 基于云数据中心的分布式、插件式数据监控系统及方法
CN110266787A (zh) * 2019-06-14 2019-09-20 中国电子科技网络信息安全有限公司 一种混合云管理系统及方法
CN112163131A (zh) * 2020-11-10 2021-01-01 平安普惠企业管理有限公司 业务数据查询平台的配置方法、装置、计算机设备及介质
CN112732428A (zh) * 2021-01-14 2021-04-30 北京神州泰岳软件股份有限公司 数据采集方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN116136801A (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
US9383900B2 (en) Enabling real-time operational environment conformity to an enterprise model
CN105653425B (zh) 基于复杂事件处理引擎的监控系统
WO2019006654A1 (zh) 金融自助设备维修派单生成方法、手持终端及电子设备
CN109344170B (zh) 流数据处理方法、系统、电子设备及可读存储介质
CN109697153A (zh) 监控方法、监控系统及计算机可读存储介质
CN112311617A (zh) 一种配置化数据监控告警方法及系统
CN113190423B (zh) 业务数据的监控方法、装置及系统
CN109032590B (zh) 一种可视化开发环境的配置方法、装置、终端及存储介质
CN111143167B (zh) 用于多平台的告警归并方法及装置、设备、存储介质
CN111078695B (zh) 计算企业内元数据关联关系的方法及装置
WO2023246347A1 (zh) 数字孪生处理方法及数字孪生系统
US10372572B1 (en) Prediction model testing framework
CN114745295A (zh) 数据采集方法、装置、设备和可读存储介质
CN116136801B (zh) 云平台的数据处理方法、装置、电子设备及存储介质
US10009220B2 (en) In-vehicle information system and information processing method thereof
CN112187933A (zh) 一种多架构云平台中服务的监控方法和系统
CN109634838A (zh) 定位应用程序故障的方法、装置、存储介质和电子设备
CN111651522B (zh) 一种数据同步方法及装置
CN111125263A (zh) 预约请求的管理方法、预约功能实体以及可读存储介质
CN110362294A (zh) 开发任务执行方法、装置、电子设备及存储介质
CN115496470A (zh) 全链路配置化数据处理方法、装置和电子设备
CN115392501A (zh) 数据采集方法、装置、电子设备及存储介质
CN108520063A (zh) 事件日志的处理方法、装置及终端设备
CN110297748A (zh) 一种定位调用出错的方法、装置和计算机可读存储介质
CN110990237B (zh) 一种信息收集系统、方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant