CN114265904A - 一种数据处理方法及云计算平台 - Google Patents

一种数据处理方法及云计算平台 Download PDF

Info

Publication number
CN114265904A
CN114265904A CN202111646055.6A CN202111646055A CN114265904A CN 114265904 A CN114265904 A CN 114265904A CN 202111646055 A CN202111646055 A CN 202111646055A CN 114265904 A CN114265904 A CN 114265904A
Authority
CN
China
Prior art keywords
data
target
usage
unit
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111646055.6A
Other languages
English (en)
Inventor
王彦天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202111646055.6A priority Critical patent/CN114265904A/zh
Publication of CN114265904A publication Critical patent/CN114265904A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据处理方法及云计算平台,可以获得目标业务组件在运行过程中产生的至少一条原始用量数据,各原始用量数据均为非结构化数据;分别对各原始用量数据进行结构化处理,获得各条处理后用量数据;按照预定义的信息统计模板,对各处理后用量数据进行聚合统计,获得统计数据;信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;将统计数据写入目标存储空间中进行存储。本发明可以获得用户在云服务过程中的使用资源和数据,并对其进行结构化处理和聚合统计,从而有效实现对于用户在云服务过程中的使用资源和数据的记录和保存。

Description

一种数据处理方法及云计算平台
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法及云计算平台。
背景技术
随着计算机科学与技术的发展,云服务技术不断提高。
其中,云服务可以是运行在底层的基础设施即服务(Infrastructure as aService,IAAS)平台上。IAAS可以是将中央处理器(Central Processing Unit,CPU)、内存等计算和存储网络等的基础设施作为服务进行提供的云计算平台。
具体的,IAAS可以响应用户的请求,向用户提供云服务,而提供云服务过程中不可避免的会消耗资源,并产生某些损耗,如网络带宽的占用、服务器的折旧和供电冷却系统的开销等,而用户需要为此付出成本。为指导用户高效的使用云服务,现有技术可以对用户在云服务过程中的使用资源和数据进行记录,并向用户进行展示。
但是,现有技术无法有效的对用户在云服务过程中的使用资源和数据进行记录。
发明内容
鉴于上述问题,本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及云计算平台,技术方案如下:
一种数据处理方法,应用于云计算平台,包括:
获得目标业务组件在运行过程中产生的至少一条原始用量数据,各所述原始用量数据均为非结构化数据;
分别对各所述原始用量数据进行结构化处理,获得各条处理后用量数据;
按照预定义的信息统计模板,对各所述处理后用量数据进行聚合统计,获得统计数据;所述信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
将所述统计数据写入目标存储空间中进行存储。
可选的,所述方法还包括:
响应于用户端设备发送的用量查询指令,在所述目标存储空间所存储的所述统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,所述用量查询指令用于查询用户在所述目标时段内,对计量项标识为所述目标标识的资源所使用的用量值;
计算所述目标统计数据中的实际用量统计值的和值;
向所述用户端设备返回所述和值。
可选的,用户端设备上设置有相匹配的所述目标业务组件、日志文件和数据采集器,所述目标业务组件将各所述原始用量数据记录在所述日志文件中;所述获得目标业务组件在运行过程中产生的至少一条原始用量数据,包括:
获得由所述数据采集器按照周期时长从所述日志文件中采集并发送的至少一条原始用量数据。
可选的,所述获得目标业务组件在运行过程中产生的至少一条原始用量数据,包括:
将所述目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至所述目标业务组件;
获得所述目标业务组件发送的各所述原始用量数据,各所述原始用量数据是所述目标业务组件基于所述API信息查询获得的。
一种云计算平台,包括:第一获得单元、处理单元、第二获得单元、第一统计单元、第三获得单元和存储单元;其中:
所述第一获得单元,用于获得目标业务组件在运行过程中产生的至少一条原始用量数据,各所述原始用量数据均为非结构化数据;
所述处理单元,用于分别对各所述原始用量数据进行结构化处理;
所述第二获得单元,用于获得各条处理后用量数据;
所述第一统计单元,用于按照预定义的信息统计模板,对各所述处理后用量数据进行聚合统计;所述信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
所述第三获得单元,用于获得统计数据;
所述存储单元,用于将所述统计数据写入目标存储空间中进行存储。
可选的,所述云计算平台还包括:查找单元、计算单元和返回单元;
所述查找单元,用于响应于用户端设备发送的用量查询指令,在所述目标存储空间所存储的所述统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,所述用量查询指令用于查询用户在所述目标时段内,对计量项标识为所述目标标识的资源所使用的用量值;
所述计算单元,用于计算所述目标统计数据中的实际用量统计值的和值;
所述返回单元,用于向所述用户端设备返回所述和值。
可选的,用户端设备上设置有相匹配的所述目标业务组件、日志文件和数据采集器,所述目标业务组件将各所述原始用量数据记录在所述日志文件中;
所述第一获得单元,用于获得由所述数据采集器按照周期时长从所述日志文件中采集并发送的至少一条原始用量数据。
可选的,所述第一获得单元,包括:发送单元和第四获得单元;
所述发送单元,用于将所述目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至所述目标业务组件;
所述第四获得单元,用于获得所述目标业务组件发送的各所述原始用量数据,各所述原始用量数据是所述目标业务组件基于所述API信息查询获得的。
本实施例提出的数据处理方法及云计算平台,可以获得目标业务组件在运行过程中产生的至少一条原始用量数据,各所述原始用量数据均为非结构化数据;分别对各所述原始用量数据进行结构化处理,获得各条处理后用量数据;按照预定义的信息统计模板,对各所述处理后用量数据进行聚合统计,获得统计数据;所述信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;将所述统计数据写入目标存储空间中进行存储。本发明可以获得用户在云服务过程中的使用资源和数据,并对其进行结构化处理和聚合统计,从而有效实现对于用户在云服务过程中的使用资源和数据的记录和保存。
上述说明仅是本发明技术方案的概述,为了能够更清楚地了解本发明的技术手段,可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的第一种数据处理方法的流程图;
图2示出了本发明实施例提供的第二种数据处理方法的流程图;
图3示出了本发明实施例提供的第三种数据处理方法的流程图;
图4示出了本发明实施例提供的第四种数据处理方法的流程图;
图5示出了本发明实施例提供的一种云计算平台的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示,本实施例提出了第一种数据处理方法,该方法可以包括以下步骤:
S101、获得目标业务组件在运行过程中产生的至少一条原始用量数据,各原始用量数据均为非结构化数据;
其中,目标业务组件可以为一个业务组件。业务组件可以是用于执行某种业务的功能模块。
其中,原始用量数据可以是记录目标业务组件消耗某种资源的相关信息,如用户标识、资源标识和时间信息。
可选的,目标业务组件可以设置在用户端设备上。用户端设备可以为手机、平板电脑和台式电脑等。此时,目标业务组件可以在用户端设备上接收用户输入的指令进行启动和运行,请求云计算平台提供资源,对相应的业务进行处理。
可选的,原始用量数据可以是目标业务组件在消耗资源的过程中生成的。
具体的,当目标业务组件设置在用户端设备上时,云计算平台获得的各条原始用量数据,可以是用户端设备发送的;
可选的,如图2所示,在本实施例提出的第二种数据处理方法中,用户端设备上可以设置有相匹配的目标业务组件、日志文件和数据采集器,目标业务组件将各原始用量数据记录在日志文件中。此时,步骤S101可以具体为步骤S1011。其中:
S1011、获得由数据采集器按照周期时长从日志文件中采集并发送的至少一条原始用量数据。
具体的,目标业务组件可以将其生成的每条原始用量数据均写入到日志文件中。数据采集器可以按照预定义的周期时长,循环的将日志文件中的原始用量数据发送至云计算平台中的指定存储空间中。
其中,周期时长可以由技术人员根据实际情况进行制定,本发明对此不作限定。
可选的,目标业务组件也可以是设置在云计算平台上。此时,用户可以在用户端设备上,向云计算平台发起对目标业务组件的调用指令和目标业务组件运行所需要的资源。
S102、分别对各原始用量数据进行结构化处理;
具体的,本发明可以在获得各原始用量数据后,按照预定义的结构化处理方式,分别对各原始用量数据进行结构化处理。
S103、获得各条处理后用量数据;
其中,处理后用量数据即可以为本发明对某条原始用量数据进行结构化处理后获得的用量数据。
S104、按照预定义的信息统计模板,对各处理后用量数据进行聚合统计;信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
可选的,信息统计模板中可以包括指定的需要统计的多个信息项,如code(计量项标识)、type:text(确定字段)、time(计量日志写入时间)total(数据条数)、uid(租户ID)和value(实际用量统计值)。
需要说明的是,信息统计模板中指定统计的信息项可以是由技术人员根据实际情况确定的,本发明对此不作限定。
可以理解的是,本发明可以通过对计量项标识的预定义,确定对不同维度资源和数据的统计,实现对统计维度的细粒话,丰富统计信息,并可以通过对实际用量统计值的统计,确定用户对某种资源的总使用量。
S105、获得统计数据;
其中,统计数据即可以为本发明对各处理后用量数据进行聚合统计所获得的数据。
S106、将统计数据写入目标存储空间中进行存储。
具体的,本发明可以在获得统计数据后,将统计数据保存到目标存储空间,如ElasticSearch集群中,待后续对用户进行展示。
可选的,目标存储空间可以用于对统计数据进行长期保存。
可以理解的是,图1所示方法整体上可以划分为四部分的步骤,分别为数据接入、数据处理和数据存储。其中,数据接入按照日志文件产生方式的不同,可以分为流式日志接入、离线日志接入和运维日志接入等方式。
其中,流式日志接入方式可以适用于目标业务组件的用量数据为实时产生,而目标业务组件本身不对这部分日志进行本地化存储的场景。此种日志接入的方式优势在于计量数据的获取和计算时间延迟较少,租户可以较为实时的在控制台查看到自己的用量数据。但因为大数据云计算业内按量计费的出账周期最短一般为一天。且此种日志接入方式对后续的ETL计算时效性要求非常高,故较少使采用。此种方式主要依赖大数据云的流式采集技术方案实现,流式采集支持分布式、可靠、高可用的海量日志采集、聚合和传输。并将收集到的流式日志数据传送至大数据云平台进行下一步的检核,清洗,计算和分析。
其中,离线日志接入可以适用于目标业务组件将用量信息按照业务计算规则规定的最小时间跨度打印至组件本地日志中的场景。此种日志接入的优势在于支持超大数据量高性能的日志采集和处理;计量明细数据更加全面,计量结果数据计算准确性高;灵活性强,支持手动补数,即使部分日志信息未被采集或推送至系统,后期仍可通过人工补数的方式进行修正,不会存在多算租户用量给租户带来困扰或少算用量给平台带来损失的情况。此种计量方式因为数据为非实时采集和计算,故只能满足今天查看昨天用量的业务场景,因为大数据云按量计费的对账周期为一天,可以满足需求,故此种方式在实际业务中使用最为广泛。此种方式主要依赖大数据云批量采集功能实现,批量采集支持结构化,非结构化,半结构化数据的推送和拉取,具备自动重发机制,支持数据查重,数据格式校验和采集数据分布式存储,租户隔离。
其中,运维日志接入方式与离线日志接入的方式较为相近,适用于日志已接入运维平台filebeat采集工具的业务组件,此种方式优势在于复用运维平台filebeat的日志采集能力,无需再部署专用的采集客户端,且无需维护专门的采集作业。但因为无法对采集作业进行维护,故后期的数据修正难度较大。适合于对数据准确度要求没那么高的业务场景。Filebeat是一款轻量级的日志采集器,可靠性较强,不仅能够保证日志的及时上传,还能支持断点续读,日志Truncated等。
需要说明的是,为适配不同业务组件的特性,做到对组件侵入和干扰最小,本发明设计有批量日志接入模式和运维日志接入模式两种数据接入模式。
具体的,对于批量日志接入模式,本实施例以查询大数据云业务组件数据服务的API调用次数场景来介绍该处理模式。此时,目标业务组件可以将每一条原始用量数据写入到日志文件中,数据采集器agent可以按照定义好的循环任务,将日志文件采集至云内分布式存储中,之后本发明可以将分布式存储中的每一条log按照分隔符进行拆分,对数据进行过滤统计,每过滤到一条租户ID,则可以在value值中加1,之后可以按照作业执行规则将处理完的数据同步写入到ES集群中进行存储,为确保数据格式的正确,ES集群中已提前规定并定义好template模板。
对于运维日志接入模式,本实施例以查询大数据云业务组件智能调度调度作业数场景来介绍该处理模式。需要说明的是,该接入模式与离线日志接入模式较为相近,适用于日志文件已接入运维平台filebeat采集工具的目标业务组件,该种模式优势在于复用运维平台filebeat的日志采集能力,无需再部署专用的采集客户端,且无需维护专门的采集作业,但因为无法对采集作业进行维护,故后期的数据修正难度较大。适合于对数据准确度要求没那么高的业务场景;具体的,目标业务组件每执行一条作业,即可以将作业信息写入日志文件,日志中的关键信息可以包括租户ID、本次作业计数、产品线ID、执行区域、计费项、作业类型、执行开始时间、执行结束时间和记录日志时间;之后,数据采集器filebeat日志采集器可以对日志文件进行采集,按照filebeat的pipline配置将日志存储于运维ES中的特定索引中;之后,本发明可以通过离线计算作业读取ES索引中的原始日志,因为filebeat采集日志并不做加工处理,故读取到的日志还是原始的非结构化形式,此时本发明可以对非结构化数据按照定义好的分隔符进行结构化处理,之后可以按照作业执行规则将处理完的数据同步写入到ES集群中存储,为确保数据格式的正确,ES集群中也已提前规定并定义好template模板。
还需要说明的是,业界常用的现有计量计费系统存在一些缺点,不适合大数据计量这种大数据量、计费项复杂、计费项多为流量,调度作业数这种难以按配置统计的指标。比如部分云厂商的计量计费系统,在大数据云计量方面暂只能做到按固定配置统计用量,甚至只能做到按照固定配额统计用量。作为海量数据存储和处理平台,大数据云的调度作业数,API网关调用数,外部数据源代理数等用量和频度都是非常巨大的,举个例子,按照生产实践,大数据云一天一个租户的数据采集条目数在十万级别,一天的调度作业数能够达到上万级别。传统的计量计费方法是通过组件上报或嵌入业务流程中统计进行运算,难以处理如此大数据量高频次的数据。而本发明可以不嵌入业务处理流程,也无需组件上报,借助大数据云的处理能力,即可以在较短的作业运行周期对海量的日志数据进行结构化和聚合等计算处理逻辑,能够满足大数据云的使用场景。
具体的,本发明可以通过日志分析的方式获取不容易统计的用量数据如运行作业数,离线存储量,共享存储量,日志存储量。相对于现有技术,本发明具有更强的数据处理性能,可以适用于大数据高频次高并发的处理场景。另,本发明可以实时跟踪每个对账周期内计量统计作业的运行情况,如发生异常,可以及时重跑相关的作业,日志数据已经落地不会发生丢失。也可便捷的进行数据修正。
本实施例提出的数据处理方法,可以获得目标业务组件在运行过程中产生的至少一条原始用量数据,各原始用量数据均为非结构化数据;分别对各原始用量数据进行结构化处理,获得各条处理后用量数据;按照预定义的信息统计模板,对各处理后用量数据进行聚合统计,获得统计数据;信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;将统计数据写入目标存储空间中进行存储。本发明可以获得用户在云服务过程中的使用资源和数据,并对其进行结构化处理和聚合统计,从而有效实现对于用户在云服务过程中的使用资源和数据的记录和保存。
基于图1所示步骤,如图3所示,本实施例提出第三种数据处理方法。该方法还可以包括以下步骤:
S201、响应于用户端设备发送的用量查询指令,在目标存储空间所存储的统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,用量查询指令用于查询用户在目标时段内,对计量项标识为目标标识的资源所使用的用量值;
S202、计算目标统计数据中的实际用量统计值的和值;
S203、向用户端设备返回和值。
需要说明的是,本发明可以通过配额管理服务和运营计量服务,对用户所使用的资源和数据进行用量统计和配额回显,以指导用户更有效率的使用云服务产品,提高资源利用率和增加用户粘性。
本实施例提出的数据处理方法,可以提高资源利用率和增加用户粘性。
基于图1所示步骤,如图4所示,本实施例提出第三种数据处理方法。在该方法中,步骤S101可以包括S10121和S10122。其中:
S10121、将目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至目标业务组件;
S10122、获得目标业务组件发送的各原始用量数据,各原始用量数据是目标业务组件基于API信息查询获得的。
需要说明的是,图3所示的数据处理方法可以通过定时查询目标业务组件对外服务的API接口来获取相应的原始用量数据,适用于目标业务组件已经提供相应查询接口,且无法方便获得目标业务组件日志的场景。本发明可以支持非频繁的查询频次,如一天一次,适合于大数据计量计费一天对账周期的业务需求,可以广泛应用于IAAS产品用量查询的业务场景。
为更好的说明步骤S10121和S10122,本实施例结合大数据云业务组件的共享存储用量场景进行说明。在该场景中,本发明可以在不同的地域Region下实现计量计费。本发明在进行计量计费时,可以先行获得相应Region下的计量连接信息如ES连接信息。由于大数据云共享存储实际使用的是IAAS分布式文件存储产品,不同Region下的文件存储参数如API域名,Region参数等都不一样,因此需要从作业配置中获取相应的配置。实际完成调用IAAS产品API查询操作的是目标业务组件,获取到的参数需要通过业务组件的API信息发送给目标业务组件。目标业务组件获得参数即API信息后,可以请求IAAS产品API查询不同的文件存储卷的用量,之后目标业务组件可以获得文件存储卷用量,并通过查询租户ID与CFS卷的映射关系表识别出租户维度的文件存储总量。之后,目标业务组件可以按照信息统计模板对处理完的数据进行聚合统计,将处理完的数据同步写入到目标存储空间中进行存储。此时,计量查询服务可以按照上游组件传递的时间跨度信息在ES集群中进行统计查询,计量查询服务可以将数据上报给配额管理服务和运营计量服务完成用量统计和配额回显。
本实施例提出的数据处理方法,可以增加适用场景的多样化,进一步保障对于用户用量数据的统计功能的实现。
与图1所示步骤相对应,如图5所示,本实施例提出一种云计算平台。该云计算平台可以包括:第一获得单元101、处理单元102、第二获得单元103、第一统计单元104、第三获得单元105和存储单元106;其中:
第一获得单元101,用于获得目标业务组件在运行过程中产生的至少一条原始用量数据,各原始用量数据均为非结构化数据;
处理单元102,用于分别对各原始用量数据进行结构化处理;
第二获得单元103,用于获得各条处理后用量数据;
第一统计单元104,用于按照预定义的信息统计模板,对各处理后用量数据进行聚合统计;信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
第三获得单元105,用于获得统计数据;
存储单元106,用于将统计数据写入目标存储空间中进行存储。
需要说明的是,第一获得单元101、处理单元102、第二获得单元103、第一统计单元104、第三获得单元105和存储单元106的具体处理过程及其带来的技术效果可以分别参照图1中的步骤S101、S102、S103、S104、S105和S106,相关说明不再赘述。
可选的,云计算平台还包括:查找单元、计算单元和返回单元;
查找单元,用于响应于用户端设备发送的用量查询指令,在目标存储空间所存储的统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,用量查询指令用于查询用户在目标时段内,对计量项标识为目标标识的资源所使用的用量值;
计算单元,用于计算目标统计数据中的实际用量统计值的和值;
返回单元,用于向用户端设备返回和值。
可选的,用户端设备上设置有相匹配的目标业务组件、日志文件和数据采集器,目标业务组件将各原始用量数据记录在日志文件中;
第一获得单元101,用于获得由数据采集器按照周期时长从日志文件中采集并发送的至少一条原始用量数据。
可选的,第一获得单元101,包括:发送单元和第四获得单元;
发送单元,用于将目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至目标业务组件;
第四获得单元,用于获得目标业务组件发送的各原始用量数据,各原始用量数据是目标业务组件基于API信息查询获得的。
本实施例提出的云计算平台,可以获得目标业务组件在运行过程中产生的至少一条原始用量数据,各原始用量数据均为非结构化数据;分别对各原始用量数据进行结构化处理,获得各条处理后用量数据;按照预定义的信息统计模板,对各处理后用量数据进行聚合统计,获得统计数据;信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;将统计数据写入目标存储空间中进行存储。本发明可以获得用户在云服务过程中的使用资源和数据,并对其进行结构化处理和聚合统计,从而有效实现对于用户在云服务过程中的使用资源和数据的记录和保存。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种数据处理方法,其特征在于,应用于云计算平台,包括:
获得目标业务组件在运行过程中产生的至少一条原始用量数据,各所述原始用量数据均为非结构化数据;
分别对各所述原始用量数据进行结构化处理,获得各条处理后用量数据;
按照预定义的信息统计模板,对各所述处理后用量数据进行聚合统计,获得统计数据;所述信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
将所述统计数据写入目标存储空间中进行存储。
2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
响应于用户端设备发送的用量查询指令,在所述目标存储空间所存储的所述统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,所述用量查询指令用于查询用户在所述目标时段内,对计量项标识为所述目标标识的资源所使用的用量值;
计算所述目标统计数据中的实际用量统计值的和值;
向所述用户端设备返回所述和值。
3.根据权利要求1所述的数据处理方法,其特征在于,用户端设备上设置有相匹配的所述目标业务组件、日志文件和数据采集器,所述目标业务组件将各所述原始用量数据记录在所述日志文件中;所述获得目标业务组件在运行过程中产生的至少一条原始用量数据,包括:
获得由所述数据采集器按照周期时长从所述日志文件中采集并发送的至少一条原始用量数据。
4.根据权利要求1所述的数据处理方法,其特征在于,所述获得目标业务组件在运行过程中产生的至少一条原始用量数据,包括:
将所述目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至所述目标业务组件;
获得所述目标业务组件发送的各所述原始用量数据,各所述原始用量数据是所述目标业务组件基于所述API信息查询获得的。
5.一种云计算平台,其特征在于,包括:第一获得单元、处理单元、第二获得单元、第一统计单元、第三获得单元和存储单元;其中:
所述第一获得单元,用于获得目标业务组件在运行过程中产生的至少一条原始用量数据,各所述原始用量数据均为非结构化数据;
所述处理单元,用于分别对各所述原始用量数据进行结构化处理;
所述第二获得单元,用于获得各条处理后用量数据;
所述第一统计单元,用于按照预定义的信息统计模板,对各所述处理后用量数据进行聚合统计;所述信息统计模板中包括计量项标识、用量数据记录时间、用量数据条数、用户标识和实际用量统计值;
所述第三获得单元,用于获得统计数据;
所述存储单元,用于将所述统计数据写入目标存储空间中进行存储。
6.根据权利要求5所述的云计算平台,其特征在于,所述云计算平台还包括:查找单元、计算单元和返回单元;
所述查找单元,用于响应于用户端设备发送的用量查询指令,在所述目标存储空间所存储的所述统计数据中,查找出计量项标识为目标标识、用量数据记录时间处于目标时段内的目标统计数据;其中,所述用量查询指令用于查询用户在所述目标时段内,对计量项标识为所述目标标识的资源所使用的用量值;
所述计算单元,用于计算所述目标统计数据中的实际用量统计值的和值;
所述返回单元,用于向所述用户端设备返回所述和值。
7.根据权利要求5所述的云计算平台,其特征在于,用户端设备上设置有相匹配的所述目标业务组件、日志文件和数据采集器,所述目标业务组件将各所述原始用量数据记录在所述日志文件中;
所述第一获得单元,用于获得由所述数据采集器按照周期时长从所述日志文件中采集并发送的至少一条原始用量数据。
8.根据权利要求5所述的云计算平台,其特征在于,所述第一获得单元,包括:发送单元和第四获得单元;
所述发送单元,用于将所述目标业务组件调用基础设施即服务IAAS产品的应用程序接口API信息发送至所述目标业务组件;
所述第四获得单元,用于获得所述目标业务组件发送的各所述原始用量数据,各所述原始用量数据是所述目标业务组件基于所述API信息查询获得的。
CN202111646055.6A 2021-12-29 2021-12-29 一种数据处理方法及云计算平台 Pending CN114265904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111646055.6A CN114265904A (zh) 2021-12-29 2021-12-29 一种数据处理方法及云计算平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111646055.6A CN114265904A (zh) 2021-12-29 2021-12-29 一种数据处理方法及云计算平台

Publications (1)

Publication Number Publication Date
CN114265904A true CN114265904A (zh) 2022-04-01

Family

ID=80831576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111646055.6A Pending CN114265904A (zh) 2021-12-29 2021-12-29 一种数据处理方法及云计算平台

Country Status (1)

Country Link
CN (1) CN114265904A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835893A (zh) * 2021-09-28 2021-12-24 阿波罗智联(北京)科技有限公司 数据处理的方法、装置、设备、存储介质及程序产品
CN118170826A (zh) * 2024-05-11 2024-06-11 中移(苏州)软件技术有限公司 一种用量统计方法、装置及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835893A (zh) * 2021-09-28 2021-12-24 阿波罗智联(北京)科技有限公司 数据处理的方法、装置、设备、存储介质及程序产品
CN118170826A (zh) * 2024-05-11 2024-06-11 中移(苏州)软件技术有限公司 一种用量统计方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN112035415B (zh) 针对用户访问数据的处理系统、方法、设备及存储介质
CN111459944B (zh) 一种mr数据存储方法、装置、服务器及存储介质
CN114265904A (zh) 一种数据处理方法及云计算平台
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN109039817B (zh) 一种用于流量监控的信息处理方法、装置、设备及介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN112559475B (zh) 数据实时捕获和传输方法及系统
CN112231296B (zh) 一种分布式日志处理方法、装置、系统、设备及介质
CN111367760B (zh) 日志采集方法及装置、计算机设备、存储介质
CN109710439B (zh) 故障处理方法和装置
CN111400288A (zh) 数据质量检查方法及系统
CN104104734A (zh) 日志分析方法和装置
CN110737726A (zh) 一种确定待测试接口的测试数据的方法和装置
CN111382182A (zh) 数据处理方法、装置、电子设备及存储介质
CN110262951A (zh) 一种业务秒级监控方法及系统、存储介质及客户端
CN108228432A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN113596078A (zh) 业务问题定位方法及装置
CN108763323A (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN115017159A (zh) 数据处理方法及装置、存储介质及电子设备
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CN114020819A (zh) 一种多系统参数同步方法及装置
CN113297245A (zh) 获取执行信息的方法及装置
Jiadi et al. Research on Data Center Operation and Maintenance Management Based on Big Data
CN112506886B (zh) 一种多源业务操作日志采集方法及系统
CN115022402A (zh) 一种基于一栈式集成技术的agent采集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination