CN116302873A - 一种数据处理方法以及相关设备 - Google Patents

一种数据处理方法以及相关设备 Download PDF

Info

Publication number
CN116302873A
CN116302873A CN202310002545.5A CN202310002545A CN116302873A CN 116302873 A CN116302873 A CN 116302873A CN 202310002545 A CN202310002545 A CN 202310002545A CN 116302873 A CN116302873 A CN 116302873A
Authority
CN
China
Prior art keywords
resource
data
cloud
cloud platform
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310002545.5A
Other languages
English (en)
Inventor
张伟阳
王思珂
张晓磊
王聪维
王昊玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huawei Cloud Computing Technology Co ltd
Original Assignee
Shenzhen Huawei Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huawei Cloud Computing Technology Co ltd filed Critical Shenzhen Huawei Cloud Computing Technology Co ltd
Priority to CN202310002545.5A priority Critical patent/CN116302873A/zh
Publication of CN116302873A publication Critical patent/CN116302873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种数据处理方法,该方法中,可以获取关于至少一个云平台的第一资源数据,任一云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据;根据指定周期内,关于至少一个云平台的至少一组第一资源数据,获得指定周期内,每个云平台的目标云资源的第一资源用量信息。这样,可以基于一个或多个云平台的资源监控数据,确定用户在一个或多个云平台的资源用量情况,从而为用户提供一个方便直观的云资源计量途径,在一些场景中,便于用户及时了解多个云平台的正确的云资源使用情况,从而及时调整云资源的使用策略。

Description

一种数据处理方法以及相关设备
技术领域
本申请涉及云资源技术领域,具体涉及一种数据处理方法以及相关设备。
背景技术
随着云技术的不断发展,越来越多的企业和个人将业务迁移至云端,而在使用云资源时,相关企业或者个人常常需要关注针对云资源的计费。
目前,各个云厂商通常基于各自的计量系统,对客户在各自的云资源的使用情况进行统计并提供给客户。此时,客户在使用一个或多个云厂商提供的云资源时,通常无法知道各个云厂商的统计结果是否准确。
发明内容
本申请提供一种数据处理方法,以解决客户在使用一个或多个云厂商提供的云资源时,通常无法知道各个云厂商的统计结果是否准确的问题。本申请还提供了相应的装置、设备、计算机可读存储介质和计算机程序产品等。
本申请第一方面提供一种数据处理方法,该方法包括:获取关于至少一个云平台的第一资源数据,任一所述云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据;根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息。
在第一方面中,可以基于一个或多个云平台的资源监控数据,确定用户在一个或多个云平台的资源用量情况,从而为用户提供一个方便直观的云资源计量途径,在一些场景中,便于用户及时了解多个云平台的正确的云资源使用情况,从而及时调整云资源的使用策略。
在第一方面的一种可能的实现方式中,资源监控数据对应的目标格式基于资源监控数据的内容而确定。
该种可能的实现方式中,基于资源监控数据的内容而确定资源监控数据对应的目标格式,可以根据实际场景需要,动态选择合适的格式来生成第一资源数据,以使得第一资源数据中可以以合适的标准化格式来记录资源监控数据中的信息,并且便于从第一资源数据中规范化地提取信息,大大方便后续的数据处理和分析。
在第一方面的一种可能的实现方式中,若资源监控数据的内容与资源处理事件相关,则资源监控数据对应的目标格式为第一目标格式;若资源监控数据的内容与监控对象相关,则资源监控数据对应的目标格式为第二目标格式,第一目标格式与第二目标格式不同。
该种可能的实现方式中,资源监控事件可以指监控到的关于相关目标云资源的操作事件。监控对象可以指相关目标云资源的使用情况进行监控时所监控的对象。示例性地,第一目标格式中可以包括以下信息中的一种或多种:事件发生时间、事件类型、资源类型、资源标识、用户标识、资源名称;第二目标格式中可以包括以下信息中的一种或多种:资源类型、资源标识、用户标识、监控对象、监控对象数据、单位、资源监控数据产生的时间点。
在第一方面的一种可能的实现方式中,任一组所述第一资源数据中包含对应的云平台的第一标识信息和/或对应的目标云资源的类型信息,以及对应的目标云资源的第二标识信息;所述根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息,包括:在获取到任一组第一资源数据之后,根据相应第一资源数据对应的目标云资源的计量方式、相应第二标识信息和相应第一资源数据,对对应的目标云资源的资源使用情况进行统计,其中,相应第一资源数据对应的目标云资源的计量方式基于相应第一资源数据中的第一标识信息和/或类型信息而确定;根据所述指定周期内的至少一组所述第一资源数据对应的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
该种可能的实现方式中,可以预先建立云平台的类型和/或云资源的类型与计量方式之间的对应关系,这样,在获取到任一第一资源数据之后,可以根据该对应关系、第一资源数据中的第二标识信息,以及第一资源数据中的第一标识信息和/或类型信息,确定相应第一资源数据对应的目标云资源的计量方式。
在第一方面的一种可能的实现方式中,所述计量方式包括以下方式中的一种或多种:基于时长的计量方式、基于流量的计量方式、基于带宽的计量方式、基于存储资源大小的计量方式、基于次数的计量方式。
在第一方面的一种可能的实现方式中,所述获取关于至少一个云平台的第一资源数据,包括:通过任一云平台对应的采集模块,从相应云平台的数据监控接口接收关于相应云平台的资源监控数据;通过所述采集模块,将相应云平台的资源监控数据转换为对应的目标格式的第一资源数据。
该种可能的实现方式中,每个采集模块可以与一个云平台相匹配。在实际应用过程中,可以预先获取用户在某一云平台的用户账号以及密码,并根据该云平台对应的采集模块,登录该云平台,从而通过该采集模块,从该云平台获取用户关于该云平台的资源监控数据。这样,通过多个云平台中每个云平台对应的采集模块,可以获得多个云平台中每个云平台的资源监控数据。
在第一方面的一种可能的实现方式中,所述根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息,包括:在获取到相应云平台的第一资源数据之后,通过所述采集模块,调用分析模块的应用程序编程接口API,以触发所述分析模块根据所述采集模块对应的云平台的第一资源数据对相应云平台的目标云资源的资源使用情况进行统计;根据所述指定周期内,所述分析模块对相应云平台的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
该种可能的实现方式中,电子设备中可以安装有计量系统,并通过计量系统中的各个采集模块实现对对应的云平台的适配和数据交互,以高效有序地获得各个云平台的资源监控数据。并且,还可以通过计量系统中的分析模块,对各个云平台对应的第一资源信息进行整合和统计,从而获得用户在各个云平台上对目标云资源的用量信息,使得用户可以通过该计量系统,方便地获知对一个或多个云平台的目标云资源的使用情况。
在第一方面的一种可能的实现方式中,该方法还包括:接收任一云平台发送的第二资源用量信息,所述第二资源用量信息为相应云平台提供的信息,且为所述指定周期内关于相应云平台的目标云资源的资源用量信息;输出相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果。
该种可能的实现方式中,可以计算第一资源用量信息与第二资源用量信息之间的比对结果,并输出该比对结果,以使得用户可以知晓云平台的监控的实际资源用量与电子设备的计量系统统计的资源用量情况之间的差异,从而及时验证云平台的计量数据是否出错,减少用户的损失。
在第一方面的一种可能的实现方式中,该方法还包括:若所述比对结果指示相应第一资源用量信息与相应第二资源用量信息之间的误差超过预设阈值,则输出通知信息,所述通知信息基于所述比对结果而生成。
该种可能的实现方式中,若比对结果指示第一资源用量信息与第二资源用量信息之间的误差超过预设阈值,则输出通知信息,以向用户进行告警,使得用户可以及时获知云平台对云资源进行计量时产生的计量问题,从而及时处理,减少用户损失。
本申请第二方面提供一种数据处理装置,该装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块,例如获取模块以及处理模块等。
本申请第三方面提供一种电子设备,该电子设备包括至少一个处理器、存储器以及存储在存储器中并可在处理器上运行的计算机执行指令,当计算机执行指令被处理器执行时,处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第四方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质,当计算机执行指令被处理器执行时,处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第五方面提供一种存储一个或多个计算机执行指令的计算机程序产品,该计算机程序产品包含计算机执行指令,当计算机执行指令被处理器执行时,处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第六方面提供了一种芯片系统,该芯片系统包括处理器,用于支持电子设备实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中,芯片系统还可以包括存储器,存储器用于保存电子设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
其中,第二方面至第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面的相关可能实现方式所带来的技术效果,此处不再赘述。
附图说明
图1是本申请实施例提供的云平台的一示例性示意图;
图2a是本申请实施例提供的系统架构的一示例性示意图;
图2b是本申请实施例提供的系统架构的另一示例性示意图;
图3是本申请实施例提供的数据处理方法的一实施例示意图;
图4是本申请实施例提供的一种信息交互示意图;
图5是本申请实施例提供的为用户呈现云资源使用情况的一种示例性页面示意图;
图6是本申请实施例提供的电子设备与云平台的一种示例性架构示意图;
图7是本申请实施例提供的数据处理装置的一实施例示意图;
图8是本申请实施例提供的电子设备的一结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”或其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
在实际使用过程中,各个云平台的云厂商通常会对用户使用云资源的情况进行计量从而进行收费。
而目前,每个云厂商对云资源进行计量的技术通常不向用户公开,而是在获得计量结果之后通知用户,导致用户无法确定该计量结果是否准确,在云厂商的计量技术出现问题时,可能会给用户或者云厂商带来损失。
此外,许多用户会同时使用多家云厂商的云平台的资源,而每个云平台都有自己的计量规则,在使用多个云平台的云资源时,用户无法直观获取到其在各个云平台上的云资源使用情况。
基于此,本申请实施例的数据处理方法中,可以基于一个或多个云平台的资源监控数据,确定用户在一个或多个云平台的资源用量情况,从而为用户提供一个方便直观的云资源计量途径,在一些场景中,便于用户及时了解多个云平台的正确的云资源使用情况,从而及时调整云资源的使用策略。
下面对本申请实施例的数据处理方法进行介绍。
本申请实施例的数据处理方法可以应用于包括电子设备中,该电子设备的具体类型在此不做限制。示例性地,该电子设备可以为终端设备、单一服务器或者计算设备集群,也可以为虚拟机(virtual machine,VM)或者容器(container)等。
其中,终端设备的类型在此不做限制。
示例性地,该终端设备可以为手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端、增强现实(augmented reality,AR)终端、工业控制(industrial control)中的终端、无人驾驶(self driving)中的终端、远程医疗(remote medical)中的终端、智能电网(smart grid)中的终端、运输安全(transportation safety)中的终端、智慧城市(smart city)中的终端、智慧家庭(smarthome)中的终端、以物联网(internet of things,IoT)中的终端、可穿戴设备等中的一种或多种的结合。
该电子设备可以与一个或多个云平台连接。不同的云平台可以是由不同的云厂商所提供的。
每个云平台可以基于硬件资源和软件资源的服务,提供计算、网络和存储能力。示例性地,云平台可以包括一个或多个数据中心,以通过一个或多个数据中心来为用户提供云资源。
下面结合图1所示的一种架构示意图对数据中心进行介绍。
图1中,该数据中心中,云管理平台通过数据中心内部网络与一个或多个服务器(如图1中的服务器1和服务器2)进行信息交互。服务器包括硬件层和软件层,硬件层包括服务器配置的硬件,其中PCI设备可例如为网卡、图形处理器(graphics processing unit,GPU)、卸载卡等可插置到服务器的周边设备互连标准(peripheral componentinterconnect,PCI)或者周边设备高速连接标准(peripheral component interconnectexpress,PCIe)插槽上的设备,软件层包括安装并运行在服务器上的操作系统(相对虚拟机的操作系统可称为宿主机操作系统),宿主机操作系统中设置有虚拟机管理器(又可称为hypervisor),虚拟机管理器的作用是实现虚拟机的计算虚拟化、网络虚拟化以及存储虚拟化,并负责管理虚拟机。其中,虚拟机(virtual machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。图1所示的系统架构中,一个数据中心中设置有多个服务器,服务器可用于运行虚拟机,各个虚拟机之间的规格可以相同,也可以不同。其中,虚拟机也可称为云服务器(elastic compute service,ECS)、弹性实例等,不同的云服务提供者可能有不同的叫法。
该云平台可以与用户的客户端连接,以使得用户通过客户客户端获取到云资源。
其中,用户的客户端可以登录用户的云平台账号以使用相应云平台的云资源,该客户端可以为终端设备。
本申请实施例的一种示例中,该云平台可以为公有云平台,此时,具有云资源开发能力的个人或者软件开发商等云服务提供者可以为用户提供云服务,用户通过互联网获取云服务,但并不拥有云资源。
而本申请实施例中的电子设备可以是用户的客户端,也可以是与用户的客户端不同的设备。
下面结合图2a-图2b,对本申请实施例中的系统架构进行示例性介绍。
在图2a所示的系统架构中,该电子设备可以为客户端,此时,该电子设备可以与一个或多个云平台连接。例如,如图2a所示的示例中,该电子设备可以通过互联网与三个不同的云平台连接。该电子设备不仅可以使用云平台的云资源,还可以基于与云平台之间的信息交互等操作而实现本申请实施例中的数据处理方法。
在图2b所示的系统架构中,该电子设备可以是与客户端不同的设备。
在该示例中,该电子设备可以基于与一个或多个云平台之间的信息交互等操作而实现本申请实施例中的数据处理方法,从而确定用户对云平台的云资源的资源用量情况,并将该资源用量情况等信息发送给客户端。示例性地,此时,该电子设备可以为服务器或者服务器集群等设备。
如图3所示,基于上述电子设备,本申请实施例中的数据处理方法可以包括步骤301-302。
步骤301,获取关于至少一个云平台的第一资源数据。
任一云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据。
本申请实施例中,电子设备可以获取到关于至少一个云平台的一组或多组第一资源数据。其中,任意一组第一资源数据可以为相应云平台的一组或多组资源监控数据转换为对应的目标格式而得到的。也即是说,任意一组第一资源数据的数据格式为对应的目标格式。其中,一组资源监控数据可以为基于某一发送指令而发送至电子设备中的,或者说,一组资源监控数据可以是一个数据包中的数据。而一组或多组资源监控数据转换为对应的目标格式之后,可以获得一组第一资源数据。第一资源数据与资源监控数据之间的对应关系在此不做限制。示例性地,在一些示例中,可以是一组资源监控数据转换为一组第一资源数据。
其中,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据。任一云平台的目标云资源可以是该用户在相应云平台上购买或者租用的云资源。
资源监控数据为相应云平台所提供的数据,且是对用户使用相应目标云资源的情况进行监控而得到的监控数据。示例性地,资源监控数据中可以包括相应目标云资源的状态信息、相应目标云资源对应的事件信息等信息中的一种或多种。
资源监控数据的产生时机在此不做限制。示例性地,资源监控数据的产生时机受资源类型、监控方式和资源计费方式等因素中的一个或多个的影响。举例来说,用户购买的目标云资源为云服务器,而云服务器对应的监控方式包括对云服务器的中央处理器(central processing unit,CPU)进行监控,那么,此时可以周期性地检测该云服务器的CPU的状态并周期性地生成关于该云服务器的资源监控数据。而在其他示例中,若检测到关于用户购买的目标云资源的某一事件或者操作,也可以触发云平台生成关于该事件或者操作的资源监控数据。
在一些示例中,云平台会提供指定的数据监控接口,以通过该数据监控接口主动提供目标云资源的资源监控数据。或者,也可以是由电子设备或者生成第一资源数据的其他设备向云平台发送请求,从而从云平台获得相关用户的资源监控数据。
任一资源监控数据对应的目标格式的确定方式可以有多种。
示例性地,可以根据该资源监控数据的数据类型、数据结构、具体内容中的一种或多种因素,确定该资源监控数据对应的目标格式。不同的资源监控数据各自对应的目标格式可以相同,也可以存在差异。相应地,在获得多组第一资源数据时,该多组第一资源数据的数据格式可以相同,也可以存在差异。
本申请实施例中,该目标格式可以认为是预先确定的标准化格式。而若目标格式有多种,则可以认为是基于多种场景需要而预先确定了多种标准化格式,以适应多种场景中的不同数据的需要。这样,可以便于电子设备基于该标准化的目标格式,在后续方便地从该第一资源数据中提取信息,以进行后续的数据处理和数据分析等操作。
在一些实施例中,资源监控数据对应的目标格式基于资源监控数据的内容而确定。
本申请实施例中,资源监控数据的内容可以包括资源监控数据所描述的对象。示例性地,某一组资源监控数据中包含某一资源处理事件的相关信息,则可以认为该资源监控数据的内容与该资源处理事件相关。或者,若某一资源监控数据中包含对某一监控对象的监控信息,则可以认为该资源监控数据的内容与该监控对象相关。
其中,资源监控事件可以指监控到的关于相关目标云资源的操作事件。资源监控事件的具体类型在此不做限制。
示例性地,资源监控事件可以包括但不限于以下事件中的一种或多种:
资源创建事件、资源删除事件、资源使用事件、资源更新事件。
监控对象可以指相关目标云资源的使用情况进行监控时所监控的对象。监控对象的具体类型也可以根据实际场景而确定。
示例性地,监控对象可以包括但不限于以下对象中的一种或多种:
中央处理器(central processing unit,CPU)、图形处理器(graphicsprocessing unit,GPU)、内存、数据库存储空间。
在一些实施例中,若资源监控数据的内容与资源处理事件相关,则资源监控数据对应的目标格式为第一目标格式;
若资源监控数据的内容与监控对象相关,则资源监控数据对应的目标格式为第二目标格式。
本申请实施例中,资源监控数据的内容与资源处理事件相关时,对应的目标格式与资源监控数据的内容与监控对象相关时不同。
其中,第一目标格式与第二目标格式不同,可以是第一目标格式中所包含的信息类型与第二目标格式中所包含的信息类型存在差异。
示例性地,第一目标格式中可以包括以下信息中的一种或多种:
事件发生时间、事件类型、资源类型、资源标识、用户标识、资源名称。
举例来说,第一目标格式可以为如下的形式:
{
"timeStamp":"1659342364000",//事件发生时间
"eventName":"Create",//事件类型
"resourceType":"ECS",//资源类型
"resourceId":"xxxx-xxxx-xxx-xxx",//资源标识
"userId":"xxxxxxx",//用户标识
"product":"xxxxx",//资源名称
}
在该示例中,事件类型的字段指示该事件为资源创建事件,资源类型为云服务器(elastic compute service,ECS)。
而在一种示例中,第二目标格式中可以包括以下信息中的一种或多种:
资源类型、资源标识、用户标识、监控对象、监控对象数据、单位、资源监控数据产生的时间点。
举例来说,第二目标格式可以为如下的形式:
{
"resourceType":"ECS",//资源类型
"resourceId":"xxxxxxx",//资源标识
"userId":"xxxxxxx",//用户标识
"type":"CPU",//监控对象
"value":"20",//监控对象数据
"unit":"%",//单位
"timeStamp":"1659342364000",//资源监控数据产生的时间点
}
该示例中,相应资源监控数据的监控对象为CPU,并且基于该资源监控数据转换而得到的第一资源数据指示该CPU的占用率为20%。
本申请实施例中,基于资源监控数据的内容而确定资源监控数据对应的目标格式,可以根据实际场景需要,动态选择合适的格式来生成第一资源数据,以使得第一资源数据中可以以合适的标准化格式来记录资源监控数据中的信息,并且便于从第一资源数据中规范化地提取信息,大大方便后续的数据处理和分析。
其中,电子设备获得第一资源数据的方式在此不做限制。
在一种示例中,可以是由电子设备获取到任一云平台的一组资源监控数据之后,将该资源监控数据转换为对应的目标格式,从而获得相应云平台的一组第一资源数据。
在另一种示例中,也可以是电子设备从其他设备接收到关于至少一个云平台的第一资源数据,此时,可以由其他设备获取到任一云平台的一组资源监控数据之后,将该资源监控数据转换为对应的目标格式,从而获得相应云平台的一组第一资源数据,再将该组第一资源数据发送至该电子设备中。
步骤302,根据指定周期内,关于至少一个云平台的至少一组第一资源数据,获得指定周期内,每个云平台的目标云资源的第一资源用量信息。
本申请实施例中,指定周期的具体时长可以是预先由用户或者云平台等确定的。该指定周期的长度可以为一天、一周或者一个月,或者,也可以是其他时长,在此不做限制。
该指定周期内关于至少一个云平台的至少一组第一资源数据可以指相关内容为关于指定周期内的目标云资源的使用情况的第一资源数据。该至少一组第一资源数据可以是在该指定周期内获取到的;或者,该至少一组第一资源数据中也可以存在一组或多组第一资源数据是在指定周期之外获取到的,但该一组或多组第一资源数据的内容是关于指定周期内的目标云资源的使用情况的内容。
电子设备在接收到关于至少一个云平台的一组或多组第一资源数据之后,可以基于该一组或多组第一资源数据对相应云平台的资源使用情况进行统计,在指定周期内,根据该指定周期相关的至少一组第一资源数据对应的资源使用情况的统计结果,可以获得指定周期内,每个云平台对应的资源用量信息。
其中,当获取到多个云平台各自的第一资源数据时,电子设备可以分别统计各个云平台对应的资源使用情况。可见,通过本申请实施例,可以基于一个或多个云平台的资源监控数据,确定用户在一个或多个云平台的资源用量情况,从而为用户提供一个方便直观的云资源计量途径,在一些场景中,便于用户及时了解多个云平台的正确的云资源使用情况,从而及时调整云资源的使用策略。
本申请实施例中,电子设备中可以包括计量系统,以根据该计量系统来实现数据处理方法的相关步骤。
该计量系统可以为电子设备中自带的程序,也可以是从应用市场等第三方获取到的程序。
下面介绍根据电子设备中的计量系统来实现数据处理方法的具体实施例。
在一种实施例中,计量系统中包括一个或多个采集模块。
其中,每个采集模块与一个云平台相匹配,并且,不同的采集模块可以匹配不同的云平台。任一采集模块可以认为是计量系统中的一个软件模块,每个采集模块在运行时可以通过一个线程等方式来运行。
通过一个或多个采集模块,可以实现上述步骤301。
具体地,在一种实施例中,上述步骤301,包括:
通过任一云平台对应的采集模块,从相应云平台的数据监控接口接收关于相应云平台的资源监控数据;
通过所述采集模块,将相应云平台的资源监控数据转换为对应的目标格式的第一资源数据。
本申请实施例中,每个采集模块可以与一个云平台相匹配。在实际应用过程中,可以预先获取用户在某一云平台的用户账号以及密码,并根据该云平台对应的采集模块,登录该云平台,从而通过该采集模块,从该云平台获取用户关于该云平台的资源监控数据。这样,通过多个云平台中每个云平台对应的采集模块,可以获得多个云平台中每个云平台的资源监控数据。
每个采集模块在获得相应云平台的资源监控数据之后,可以根据该资源监控数据的内容等信息确定该资源监控数据对应的目标格式,从而将该资源监控数据转换为对应的目标格式的第一资源数据。
在一种实施例中,计量系统中还包括分析模块,该分析模块可以与一个或多个采集模块之间进行数据传递。
通过一个或多个采集模块以及分析模块,可以实现上述步骤302。
具体地,在一种实施例中,上述步骤302,包括:
在获取到相应云平台的第一资源数据之后,通过所述采集模块,调用分析模块的应用程序编程接口API,以触发所述分析模块根据所述采集模块对应的云平台的第一资源数据对相应云平台的目标云资源的资源使用情况进行统计;
根据所述指定周期内,所述分析模块对相应云平台的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
本申请实施例中,该分析模块可以从各个采集模块获取各个采集模块所生成的第一资源数据,从而对相应云平台的资源使用情况进行统计,统计过程中,相应资源使用情况的统计结果可以存储于诸如数据库等存储空间中,并可以根据统计操作而进行更新。
其中,采集模块可以调用分析模块的应用程序编程接口(application programinterface,API)以触发采集模块接收第一资源数据,并根据该第一资源数据更新关于相应目标云资源的计量数据。该计量数据中可以记录有该资源创建事件对应的创建时间,并可以基于该计量数据对相关目标云资源的资源使用情况进行统计。
示例性地,分析模块的API被触发之后,可以根据获取到的第一资源数据,生成以下形式的数据:
{
"timeStamp":"1659342364000",//资源监控数据产生的时间
"type":"event",//资源监控数据的内容event(资源处理事件)/metric(监控对象)
"status":"active",//资源状态,Active为资源存活,需要继续累计相关资源用量信息
"demission":"during",//计量方式
"metricName":"xxxxx",//监控对象,event(资源处理事件)对应的该字段为空
"metricValue":"xxxxx",//监控指标值,event(资源处理事件)对应该字段为空
"resourceTpye":"ECS",//资源类型
"resourceId":"xxxx-xxxx-xxx-xxx",//资源标识
"userId":"xxxxxxx",//用户标识
}
这样,分析模块可以根据该形式的数据,对相关目标云资源的资源使用情况进行统计。
以通过时长进行计量的目标云资源为例进行介绍。
参考如图4所示的信息交互示意图,在一种示例中,当一个目标云资源被创建时,相应云平台中会产生该目标云资源的资源创建事件。
此时,可以通过该云平台对应的采集模块,从云平台的数据监控接口获取到对应目标云资源的资源创建事件的信息。然后,该采集模块可以将该资源创建事件的信息转换为对应的目标格式的第一资源数据,并可以主动调用分析模块的应用程序编程接口(application program interface,API)以触发采集模块接收该第一资源数据,并根据该第一资源数据中的资源创建事件的信息创建关于相应目标云资源的计量数据。该计量数据中可以记录有该资源创建事件对应的创建时间,并可以基于该计量数据对相关目标云资源的资源使用情况进行统计。在该资源创建事件之后,当采集到的关于该目标云资源的后续的资源监控数据时,若后续的资源监控数据指示该目标云资源处于使用过程中,则根据该后续的资源监控数据的时间点,对该目标云资源的使用时长进行统计,相应的统计结果可以存储于电子设备的数据库等存储空间中,并可以随着统计操作而更新。
云平台产生该目标云资源的资源创建事件之后,可以基于该目标云资源的类型等,确定该目标云资源对应的一个或多个监控对象,例如,图4所示的示例中,该目标云资源可以为云服务器,该云服务器对应的监控对象包括该云服务器的CPU。
然后,云平台可以周期性地生成对该云服务器的CPU的监控信息以作为资源监控数据,并周期性地通过数据监控接口发送给相应的采集模块。
当采集模块接收到某一资源监控数据,并且该资源监控数据为对该云服务器的CPU进行监控而得到的数据时,可以将该资源监控数据转换为对应的目标格式的第一资源数据并传递给分析模块。此时,该采集模块可以主动调用分析模块的API,以使得分析模块根据该第一资源数据中,CPU的信息而确定该云服务器处于使用过程中,则该分析模块可以计算该第一资源数据对应的时间点与基于上一第一资源数据而更新的时间点之间的时间差,并将该时间差累加到该云服务器对应的使用量上并进行存储。
参考上述方式,对该云服务器的使用时长进行统计,直到到达指定周期,或者直到接收到该云服务器的资源删除事件的信息。这样,可以完成对以时长进行计量的目标云资源的一个统计流程。
参考该示例,还可以实现对其他类型的目标云资源或者基于其他维度进行计量的目标云资源的使用情况的统计操作。
可见,本申请实施例中,电子设备中可以安装有计量系统,并通过计量系统中的各个采集模块实现对对应的云平台的适配和数据交互,以高效有序地获得各个云平台的资源监控数据。并且,还可以通过计量系统中的分析模块,对各个云平台对应的第一资源信息进行整合和统计,从而获得用户在各个云平台上对目标云资源的用量信息,使得用户可以通过该计量系统,方便地获知对一个或多个云平台的目标云资源的使用情况。
此外,在其他一些示例中,该计量系统中也可以包括相比于上述实施例的更多或者更少的软件模块。例如,在一些示例中,上述采集模块也可以安装于其他设备中,此时,该电子设备的计量系统中可以包括分析模块,并且,该电子设备可以通过与该其他设备之间的信息交互操作,从该其他设备获取第一资源数据,并执行后续的其他操作。
此外,本申请实施例中还提供了对相关目标云资源的使用情况进行统计和利用的一些示例性方式。
在一些实施例中,任一组第一资源数据中包含对应的云平台的第一标识信息和/或对应的目标云资源的类型信息,以及对应的目标云资源的第二标识信息;
上述步骤302,包括:
在获取到任一组第一资源数据之后,根据相应第一资源数据对应的目标云资源的计量方式、相应第二标识信息和相应第一资源数据,对对应的目标云资源的资源使用情况进行统计,其中,相应第一资源数据对应的目标云资源的计量方式基于相应第一资源数据中的第一标识信息和/或类型信息而确定;
根据所述指定周期内的至少一组所述第一资源数据对应的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
本申请实施例中,基于第一资源数据中的第一标识信息,可以确定该第一资源数据与哪一云平台相关,基于第一资源数据中的第二标识信息,可以确定该第一资源数据与相应云平台中的哪一目标云资源相关,从而可以对相关的云平台的目标云资源使用情况进行统计。
此外,不同的云平台和/或不同的目标云资源的类型,可能使用不同的计量方式,因此,本申请实施例中,可以根据相应第一资源数据中的第一标识信息和/或类型信息,确定相应第一资源数据对应的目标云资源的计量方式。
其中,当电子设备接收到某一第一资源数据时,若该电子设备的计量系统中,并没有对该第一资源数据对应的目标云资源的资源使用情况进行统计,则可以根据相应第一资源数据中的第一标识信息和/或类型信息,确定相应第一资源数据对应的目标云资源的计量方式。若电子设备的计量系统中,已经根据对应的计量方式,在对该目标云资源的资源使用情况进行统计,则可以根据该目标云资源对应的该计量方式以及该第一资源数据,对该第一资源数据对应的目标云资源的资源使用情况进行统计。
计量方式对应的计量维度可以有多种,在此不做限定。
在一些实施例中,计量方式包括以下方式中的一种或多种:
基于时长的计量方式、基于流量的计量方式、基于带宽的计量方式、基于存储资源大小的计量方式、基于次数的计量方式。
本申请实施例中,可以预先建立云平台的类型和/或云资源的类型与计量方式之间的对应关系,这样,在获取到任一第一资源数据之后,可以根据该对应关系,以及第一资源数据中的第一标识信息和/或类型信息,确定相应第一资源数据对应的目标云资源的计量方式。
举例来说,某一第一资源数据对应的目标云资源为数据库资源,则基于该对应关系,可以确定该数据库资源对应的计量方式为基于存储资源大小的计量方式。而若某一第一资源数据对应的目标云资源为虚拟机,则基于该对应关系,可以确定该虚拟机对应的计量方式为基于时长的计量方式。
在获得指定周期内,每个云平台对应的第一资源用量信息之后,电子设备还可以向用户推送相关的目标云资源用量信息,以使得用户及时了解当前的目标云资源使用情况,并可以判断云平台的目标云资源计费方式是否准确,还可以基于当前的目标云资源使用情况确定后续的目标云资源使用策略等。
在一些实施例中,在上述步骤302之后,该方法还包括:
接收任一云平台发送的第二资源用量信息,所述第二资源用量信息为相应云平台提供的信息,且为所述指定周期内关于相应云平台的目标云资源的资源用量信息;
输出相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果。
云平台通常会输出用户使用相关目标云资源的实际用量信息,该实际用量信息通常是云平台基于云平台本身的计量技术进行统计而得到的,并且,云平台可能会基于该实际用量信息计算用户使用目标云资源的相关费用。该实际用量信息可以认为是相应云平台的第二资源用量信息。
本申请实施例中,可以计算相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果,并输出该比对结果,以使得用户可以知晓云平台的监控的实际资源用量与电子设备的计量系统统计的资源用量情况之间的差异,从而及时验证云平台的计量数据是否出错,减少用户的损失。
其中,输出第一资源用量信息与第二资源用量信息之间的比对结果可以包括显示该比对结果。
显示该比对结果可以是由该电子设备中的显示设备来显示,也可以是该电子设备向其他设备(例如用户的客户端)发送该比对结果,以指示其他设备显示该比对结果。
举例来说,电子设备可以根据指定周期内,关于至少一个云平台的至少一组第一资源数据进行统计,获得以下形式的数据:
[{
"resourceType":"ECS",//资源类型
"resourceName":"虚拟机",//资源名称
"resourceID":"xxxxxxxxxxxxxx",//资源ID
"userId":"xxxxxxxxxxxxxx",//用户ID
"metrics":[{
"metricName":"CPU",//监控对象CPU
"metricNum":1200//在该指定周期获取到的监控对象的信息的个数
},{
"metricName":"MEM",//监控对象内存
"metricNum":1300//在该指定周期获取到的监控对象的信息的个数
}],//监控数据
"events":[{
"eventType":"create",//资源处理事件的类型为资源创建事件
"eventNum":4//在该指定周期里该事件的发生次数
},{
"eventType":"delete",//资源处理事件的类型为资源删除事件
"eventNum":4//在该指定周期获取到的该事件的发生次数
}],//事件数据
"startTime":"20220730",//指定周期的起始时间
"endTime":"20220731",//指定周期的结束时间
"errorRate":"2.42%",//当前的误差率,基于第一资源数据统计到的用量值与云平台侧提供的实际用量值之间的差值除以实际用量值。
"accumulateFactorName":"Duration",//计量方式
"accumulateFactorOrgValue":3600,//云平台侧提供的实际用量值
"accumulateFactorValue":3513,//基于第一资源数据统计到的用量值
}]
这样,电子设备可以根据上述信息中的"errorRate"字段,确定第一资源用量信息与第二资源用量信息之间的比对结果并向用户进行显示。
该比对结果的描述方式在此不做限制。示例性地,可以通过相应误差的百分比来描述该比对结果,或者也可以通过相应误差来描述该比对结果。
相关显示页面中比对结果的显示方式在此也不做限制。示例性地,可以通过列表、文本和/或其他图形结构等方式来显示该比对结果。
此外,还可以通过一个或多个相关联的显示页面来显示上述比对结果,该显示页面的数量在此也不做限制。
示例性地,除比对结果之外,该显示页面中还可以包括以下内容中的一种或多种:
用户关联的云平台的数量、名称和/或编号,每个云平台中用户购买或租用的目标云资源的数量、名称和/或编号,每个云平台对应的资源用量情况的状态、每个目标云资源对应的资源用量情况的状态。
在一些实施例中,该方法还包括:
若所述比对结果指示相应第一资源用量信息与相应第二资源用量信息之间的误差超过预设阈值,则输出通知信息,所述通知信息基于所述比对结果而生成。
本申请实施例中,该通知信息的具体形式在此不做限制。示例性地,该通知信息可以包括文本信息、图像信息、视频信息、语音信息中的一种或多种。
本申请实施例中,不同的计量方式中,不同的数据维度可以对应有不同的预设阈值。例如,基于时长的计量方式中,时长维度可以对应有关于时长的预设阈值;而基于次数的计量方式中,次数维度可以对应有关于次数的预设阈值。
其中,预设阈值可以是用户通过指定页面而输入的,也可以是基于预设经验等由计量系统而设置的默认值。
通知信息的输出方式可以有多种,在此也不做限制。
示例性地,可以是电子设备向诸如用户的客户端等其他设备发送该通知信息,以使得用户通过客户端接收该通知信息,以获知该通知信息的内容;或者,电子设备也可以是用户的客户端本身,此时,也可以是电子设备本身显示该通知信息,以使得用户通过该电子设备查看该通知信息。举例来说,该通知信息可以为短信、邮件、页面弹窗、语音等信息形式中的一种或多种。
本申请实施例中,若比对结果指示第一资源用量信息与第二资源用量信息之间的误差超过预设阈值,则输出通知信息,以向用户进行告警,使得用户可以及时获知云平台对目标云资源进行计量时产生的计量问题,从而及时处理,减少用户损失。
下面举例介绍通过本申请实施例而为用户呈现云资源使用情况的一种示例性实施方式。
如图5所示是为用户呈现云资源使用情况的一种示例性页面示意图。
该页面中,可以对用户关于某一云平台(例如云平台X)的云资源的使用情况进行呈现。其中,可以呈现相关云平台的名称、用户创建该云平台的相关信息的创建时间、用户在该云平台上的云资源等信息。其中,用户在该云平台上的云资源可以作为上述任一实施例中的目标云资源。
此外,该页面中还可以显示用户在该云平台上的各个云资源的使用情况。例如,可以显示各个云资源的名称、类型、对应的计量方式、上次审计时间、误差以及其他操作等。
这样,用户可以直观地查看用户在相关云平台的各个云资源的使用情况,并在出现异常时及时处理。
如图6所示,为电子设备与云平台的一种示例性架构示意图。
在图6所示的示例中,电子设备中的各个采集模块(例如采集模块1、采集模块2以及采集模块3)可以分别从对应的云平台(例如云平台1、云平台2以及云平台3)获取资源监控数据。然后,各个采集模块可以将各自对应的资源监控数据转换为对应的目标格式并传递至分析模块中。分析模块根据各个第一资源数据,可以分别确定各个第一资源数据对应的计量方式,例如,可以基于时长、流量、带宽、次数和/或存储资源大小等进行计量。这样,可以建立各个目标云资源各自对应的计量数据(例如时长计量数据、流量计量数据、带宽计量数据、次数计量数据和/或存储资源大小计量数据等),并基于各个目标云资源对应的计量数据对相应目标云资源的资源使用情况进行统计。
此外,电子设备还可以从相应的云平台,获得相应的云平台提供的第二资源用量信息(例如图6中的第二资源用量信息1、第二资源用量信息2以及第二资源用量信息3)。并且,电子设备可以根据指定周期内相应云平台对应的计量数据,获得指定周期内相应用户对关于相应云平台的目标云资源的第一资源用量信息。这样,可以获得第一资源用量信息与第二资源用量信息之间的比对结果。
当该比对结果指示第一资源用量信息与第二资源用量信息之间的误差超过预设阈值时,电子设备可以输出通知信息,提醒用户相应的目标云资源的资源用量情况出现异常,以提醒用户及时查看。
当然,在其他一些示例中,上述采集模块也可以安装于除电子设备之外的其他设备中,并基于该其他设备与该电子设备之间的信息交互,使得该电子设备从该其他设备获取各个对应的第一资源数据,并执行后续的其他操作。
以上,从多个方面介绍了各个方法实施例,下面结合附图,介绍本申请实施例中的数据处理装置。
如图7所示,本申请实施例提供一种数据处理装置70。
该装置70包括:
获取模块701,用于获取关于至少一个云平台的第一资源数据,任一所述云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据;
处理模块702,用于根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息。
可选地,所述资源监控数据对应的目标格式基于所述资源监控数据的内容而确定。
可选地,若所述资源监控数据的内容与资源处理事件相关,则所述资源监控数据对应的目标格式为第一目标格式;
若所述资源监控数据的内容与监控对象相关,则所述资源监控数据对应的目标格式为第二目标格式,所述第一目标格式与所述第二目标格式不同。
可选地,任一组所述第一资源数据中包含对应的云平台的第一标识信息和/或对应的目标云资源的类型信息,以及对应的目标云资源的第二标识信息;
处理模块702用于:
在获取到任一组第一资源数据之后,根据相应第一资源数据对应的目标云资源的计量方式、相应第二标识信息和相应第一资源数据,对对应的目标云资源的资源使用情况进行统计,其中,相应第一资源数据对应的目标云资源的计量方式基于相应第一资源数据中的第一标识信息和/或类型信息而确定;
根据所述指定周期内的至少一组所述第一资源数据对应的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
可选地,所述计量方式包括以下方式中的一种或多种:
基于时长的计量方式、基于流量的计量方式、基于带宽的计量方式、基于存储资源大小的计量方式、基于次数的计量方式。
可选地,获取模块701用于:
通过任一云平台对应的采集模块,从相应云平台的数据监控接口接收关于相应云平台的资源监控数据;
通过所述采集模块,将相应云平台的资源监控数据转换为对应的目标格式的第一资源数据。
可选地,处理模块702用于:
在获取到相应云平台的第一资源数据之后,通过所述采集模块,调用分析模块的应用程序编程接口API,以触发所述分析模块根据所述采集模块对应的云平台的第一资源数据对相应云平台的目标云资源的资源使用情况进行统计;
根据所述指定周期内,所述分析模块对相应云平台的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
可选地,装置70还包括:
接收模块703,用于接收任一云平台发送的第二资源用量信息,所述第二资源用量信息为相应云平台提供的信息,且为所述指定周期内关于相应云平台的目标云资源的资源用量信息;
输出模块704,用于输出相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果。
可选地,输出模块704还用于:
若所述比对结果指示相应第一资源用量信息与相应第二资源用量信息之间的误差超过预设阈值,则输出通知信息,所述通知信息基于所述比对结果而生成。
图8所示,是本申请实施例提供的电子设备80的一种可能的逻辑结构示意图。该电子设备80用于实现上述任一实施例中所涉及的执行方法实施例的电子设备的功能。该电子设备80包括:存储器801、处理器802、通信接口803以及总线804。其中,存储器801、处理器802、通信接口803通过总线804实现彼此之间的通信连接。
存储器801可以是只读存储器(read only memory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(random access memory,RAM)。存储器801可以存储程序,当存储器801中存储的程序被处理器802执行时,处理器802和通信接口803用于执行上述的各个方法实施例的一个或多个步骤。
处理器802可以采用中央处理器(central processing unit,CPU)、微处理器、应用专用集成电路(application specific integrated circuit,ASIC)、图形处理器(graphics processing unit,GPU)、数字信号处理器(digital signal processing,DSP)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意组合,用于执行相关程序,以实现上述实施例中的数据处理装置中的获取模块以及处理模块等所需执行的功能,或者执行本申请的各个方法实施例的一个或多个步骤。结合本申请实施例所公开的方法的步骤可以由硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801,处理器802读取存储器801中的信息,结合其硬件执行上述的各个方法实施例的一个或多个步骤。
通信接口803使用例如但不限于收发器一类的收发装置,来实现电子设备80与其他设备或通信网络之间的通信。
总线804可实现在电子设备80各个部件(例如,存储器801、处理器802以及通信接口803)之间传送信息的通路。总线804可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请的另一实施例中,还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当设备的处理器执行该计算机执行指令时,设备执行上述图8中的处理器所执行的步骤。
在本申请的另一实施例中,还提供一种计算机程序产品,该计算机程序产品包括计算机执行指令,该计算机执行指令存储在计算机可读存储介质中;当设备的处理器执行该计算机执行指令时,设备执行上述图8中的处理器所执行的步骤。
在本申请的另一实施例中,还提供一种芯片系统,该芯片系统包括处理器,该处理器用于实现上述图8的处理器所执行的步骤。在一种可能的设计中,芯片系统还可以包括存储器,存储器,用于保存电子设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请实施例各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此。

Claims (20)

1.一种数据处理方法,其特征在于,所述方法包括:
获取关于至少一个云平台的第一资源数据,任一所述云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据;
根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息。
2.根据权利要求1所述的方法,其特征在于,所述资源监控数据对应的目标格式基于所述资源监控数据的内容而确定。
3.根据权利要求2所述的方法,其特征在于,若所述资源监控数据的内容与资源处理事件相关,则所述资源监控数据对应的目标格式为第一目标格式;
若所述资源监控数据的内容与监控对象相关,则所述资源监控数据对应的目标格式为第二目标格式,所述第一目标格式与所述第二目标格式不同。
4.根据权利要求1-3任一项所述的方法,其特征在于,任一组所述第一资源数据中包含对应的云平台的第一标识信息和/或对应的目标云资源的类型信息,以及对应的目标云资源的第二标识信息;
所述根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息,包括:
在获取到任一组第一资源数据之后,根据相应第一资源数据对应的目标云资源的计量方式、相应第二标识信息和相应第一资源数据,对对应的目标云资源的资源使用情况进行统计,其中,相应第一资源数据对应的目标云资源的计量方式基于相应第一资源数据中的第一标识信息和/或类型信息而确定;
根据所述指定周期内的至少一组所述第一资源数据对应的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
5.根据权利要求4所述的方法,其特征在于,所述计量方式包括以下方式中的一种或多种:
基于时长的计量方式、基于流量的计量方式、基于带宽的计量方式、基于存储资源大小的计量方式、基于次数的计量方式。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述获取关于至少一个云平台的第一资源数据,包括:
通过任一云平台对应的采集模块,从相应云平台的数据监控接口接收关于相应云平台的资源监控数据;
通过所述采集模块,将相应云平台的资源监控数据转换为对应的目标格式的第一资源数据。
7.根据权利要求6所述的方法,其特征在于,所述根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息,包括:
在获取到相应云平台的第一资源数据之后,通过所述采集模块,调用分析模块的应用程序编程接口API,以触发所述分析模块根据所述采集模块对应的云平台的第一资源数据对相应云平台的目标云资源的资源使用情况进行统计;
根据所述指定周期内,所述分析模块对相应云平台的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
接收任一云平台发送的第二资源用量信息,所述第二资源用量信息为相应云平台提供的信息,且为所述指定周期内关于相应云平台的目标云资源的资源用量信息;
输出相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若所述比对结果指示相应第一资源用量信息与相应第二资源用量信息之间的误差超过预设阈值,则输出通知信息,所述通知信息基于所述比对结果而生成。
10.一种数据处理装置,其特征在于,包括:
获取模块,用于获取关于至少一个云平台的第一资源数据,任一所述云平台的第一资源数据为将相应云平台的资源监控数据转换为对应的目标格式而得到的,每一云平台的资源监控数据为对相应云平台的目标云资源进行监控而得到的数据;
处理模块,用于根据指定周期内,关于所述至少一个云平台的至少一组所述第一资源数据,获得所述指定周期内,每个所述云平台的目标云资源的第一资源用量信息。
11.根据权利要求10所述的装置,其特征在于,所述资源监控数据对应的目标格式基于所述资源监控数据的内容而确定。
12.根据权利要求11所述的装置,其特征在于,若所述资源监控数据的内容与资源处理事件相关,则所述资源监控数据对应的目标格式为第一目标格式;
若所述资源监控数据的内容与监控对象相关,则所述资源监控数据对应的目标格式为第二目标格式,所述第一目标格式与所述第二目标格式不同。
13.根据权利要求10-12任一项所述的装置,其特征在于,任一组所述第一资源数据中包含对应的云平台的第一标识信息和/或对应的目标云资源的类型信息,以及对应的目标云资源的第二标识信息;
所述处理模块用于:
在获取到任一组第一资源数据之后,根据相应第一资源数据对应的目标云资源的计量方式、相应第二标识信息和相应第一资源数据,对对应的目标云资源的资源使用情况进行统计,其中,相应第一资源数据对应的目标云资源的计量方式基于相应第一资源数据中的第一标识信息和/或类型信息而确定;
根据所述指定周期内的至少一组所述第一资源数据对应的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
14.根据权利要求13所述的装置,其特征在于,所述计量方式包括以下方式中的一种或多种:
基于时长的计量方式、基于流量的计量方式、基于带宽的计量方式、基于存储资源大小的计量方式、基于次数的计量方式。
15.根据权利要求10-14任一项所述的装置,其特征在于,
所述获取模块用于:
通过任一云平台对应的采集模块,从相应云平台的数据监控接口接收关于相应云平台的资源监控数据;
通过所述采集模块,将相应云平台的资源监控数据转换为对应的目标格式的第一资源数据。
16.根据权利要求15所述的装置,其特征在于,
所述处理模块用于:
在获取到相应云平台的第一资源数据之后,通过所述采集模块,调用分析模块的应用程序编程接口API,以触发所述分析模块根据所述采集模块对应的云平台的第一资源数据对相应云平台的目标云资源的资源使用情况进行统计;
根据所述指定周期内,所述分析模块对相应云平台的目标云资源的资源使用情况的统计结果,获得所述指定周期内,相应目标云资源的第一资源用量信息。
17.根据权利要求10-16任一项所述的装置,其特征在于,所述装置还包括:
接收模块,用于接收任一云平台发送的第二资源用量信息,所述第二资源用量信息为相应云平台提供的信息,且为所述指定周期内关于相应云平台的目标云资源的资源用量信息;
输出模块,用于输出相应云平台的目标云资源的第一资源用量信息与相应云平台的目标云资源的第二资源用量信息之间的比对结果。
18.根据权利要求17所述的装置,其特征在于,所述输出模块还用于:
若所述比对结果指示相应第一资源用量信息与相应第二资源用量信息之间的误差超过预设阈值,则输出通知信息,所述通知信息基于所述比对结果而生成。
19.一种电子设备,其特征在于,所述电子设备包括至少一个处理器、存储器及存储在所述存储器上并可被所述至少一个处理器执行的指令,所述至少一个处理器执行所述指令,以实现权利要求1-9任一项所述的方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。
CN202310002545.5A 2023-01-03 2023-01-03 一种数据处理方法以及相关设备 Pending CN116302873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310002545.5A CN116302873A (zh) 2023-01-03 2023-01-03 一种数据处理方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310002545.5A CN116302873A (zh) 2023-01-03 2023-01-03 一种数据处理方法以及相关设备

Publications (1)

Publication Number Publication Date
CN116302873A true CN116302873A (zh) 2023-06-23

Family

ID=86778685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310002545.5A Pending CN116302873A (zh) 2023-01-03 2023-01-03 一种数据处理方法以及相关设备

Country Status (1)

Country Link
CN (1) CN116302873A (zh)

Similar Documents

Publication Publication Date Title
CN106548402B (zh) 资源转移监控方法及装置
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN106878064A (zh) 数据监控方法和装置
CN112311617A (zh) 一种配置化数据监控告警方法及系统
WO2017131774A1 (en) Log event summarization for distributed server system
CN107545424B (zh) 一种数据监控处理方法、装置以及系统
CN104253842B (zh) 同步终端镜像的方法、装置、终端及服务器
CN112948224A (zh) 一种数据处理方法、装置、终端及存储介质
CN117061335A (zh) 云平台设备健康管控方法、装置、存储介质和电子设备
CN110673973A (zh) 应用程序编程接口api的异常确定方法和装置
EP3329407A1 (en) Application centric network experience monitoring
CN111130944A (zh) 系统监控方法及系统
CN109561045B (zh) 数据拦截方法及装置、存储介质和电子设备
CN116302873A (zh) 一种数据处理方法以及相关设备
CN115801102B (zh) 一种下行数据的方法、装置及存储介质
CN115776325B (zh) 一种应用于卫星系统的事件调度方法、装置及存储介质
CN114666390B (zh) 应用程序的页面监测方法、装置、电子设备及存储介质
CN111062748A (zh) 一种广告监控方法、装置、电子设备和存储介质
CN109921869A (zh) 监测信息传输通道的质量的方法、装置、存储介质及设备
CN112131267B (zh) 计数处理方法、装置、服务器和计数处理系统
CN106972938A (zh) 基于终端使用行为数据的通信业务资费统计方法及系统
CN114390015A (zh) 一种基于物模型的数据推送系统、方法、设备及存储介质
CN104955015A (zh) 一种通信资源共享的方法及装置
CN113867890A (zh) 一种日志采集方法、装置、介质
CN112764992A (zh) 线程池的监控方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination