CN111090687A - 数据处理方法及装置、系统、计算机可读存储介质 - Google Patents

数据处理方法及装置、系统、计算机可读存储介质 Download PDF

Info

Publication number
CN111090687A
CN111090687A CN201911344168.3A CN201911344168A CN111090687A CN 111090687 A CN111090687 A CN 111090687A CN 201911344168 A CN201911344168 A CN 201911344168A CN 111090687 A CN111090687 A CN 111090687A
Authority
CN
China
Prior art keywords
target
node
data
storage
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911344168.3A
Other languages
English (en)
Other versions
CN111090687B (zh
Inventor
黄国航
姜国强
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911344168.3A priority Critical patent/CN111090687B/zh
Publication of CN111090687A publication Critical patent/CN111090687A/zh
Application granted granted Critical
Publication of CN111090687B publication Critical patent/CN111090687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据处理方法及装置、系统、计算机可读存储介质，该系统包括：数据节点集群、管理节点和多个代理节点，数据节点集群包括多个存储节点，每个存储节点包括多个存储分片，每个存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象；管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，目标聚合任务携带目标数据对象；目标代理节点用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象；目标存储节点用于根据该聚合请求从目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。本申请有助于提高数据处理效率。

Description

数据处理方法及装置、系统、计算机可读存储介质
技术领域
本申请涉及数据处理领域，特别涉及一种数据处理方法及装置、系统、计算机可读存储介质。
背景技术
时序数据是指按照时间顺序记录的数据，例如，监控系统中按照时间产生的时序数据(例如一天中各个时刻的温度数据)。时序数据具有海量性，其存储成本较高。为了降低时序数据的存储成本，通常对时序数据降精度处理(例如从海量时序数据中提取业务价值较高的时序数据)后进行存储。
相关技术中，可以由Elasticsearch(简称：ES)服务器集群对时序数据进行聚合，以对时序数据进行降精度处理。ES服务器集群包括处理节点和多个存储节点，处理节点可以提供Rollup组件，该Rollup组件可以生成聚合任务，并向多个存储节点发送该聚合任务，该聚合任务携带时序数据的数据对象(例如气温)，存储节点根据该聚合任务对该数据对象对应的时序数据进行单线程聚合(也即是在一部分数据聚合完成后，聚合另一部分数据)，以对该数据对象对应的时序数据降精度处理。
但是，由于在降精度处理的过程中，ES服务器集群中的存储节点对时序数据进行单线程聚合，因此聚合速度较慢，导致数据处理效率较低。
发明内容
本申请实施例提供了一种数据处理方法及装置、系统、计算机可读存储介质，有助于提高聚合速度，数据处理效率较高。所述技术方案如下：
一方面，提供了一种数据处理系统，所述系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，
所述管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标聚合任务携带目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；
所述目标代理节点用于根据所述目标聚合任务向目标存储节点发送所述聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点；
所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据。
可选地，所述管理节点，还用于根据节点路由表和所述目标聚合任务携带的所述目标数据对象，从所述多个代理节点中确定所述至少一个目标代理节点，所述节点路由表记录有数据对象与代理节点的对应关系；
所述目标存储节点，还用于根据存储路由表和所述聚合请求携带的所述目标数据对象，确定所述目标存储节点中的所述目标存储分片，所述存储路由表记录有数据对象与存储分片的对应关系。
可选地，所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，
所述目标代理节点用于通过至少两个线程，并行向所述目标存储节点发送所述至少两个子请求；
所述目标存储节点用于根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据，且并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
可选地，每个所述子请求携带查询条件和聚合条件，
所述目标存储节点用于根据所述至少两个子请求携带的所述查询条件，并行从所述至少两个目标存储分片中获取所述目标数据对象对应的所述目标时序数据，根据所述至少两个子请求携带的所述聚合条件，并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
可选地，所述管理节点用于将所述目标聚合任务拆分成多个子任务，基于负载均衡原则，分批次向所述至少一个目标代理节点发送所述多个子任务。
可选地，所述目标存储节点还用于向所述目标代理节点发送所述聚合时序数据；
所述目标代理节点还用于对所述目标存储节点发送的所述聚合时序数据进行处理，得到最终时序数据，将所述最终时序数据存储至所述数据节点集群中的任一存储节点。
可选地，所述数据节点集群还包括处理节点，
所述处理节点用于生成所述至少一个聚合任务；
所述管理节点用于定时从所述处理节点获取所述至少一个聚合任务。
另一方面，提供了一种数据处理方法，应用于数据处理系统中的管理节点，所述数据处理系统包括：数据节点集群、多个代理节点和所述管理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述方法包括：
获取至少一个聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合；
向至少一个目标代理节点发送目标聚合任务，所述目标聚合任务携带目标数据对象，以便于所述目标代理节点根据所述目标聚合任务向目标存储节点发送聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点。
可选地，在向至少一个目标代理节点发送目标聚合任务之前，所述方法还包括：
根据节点路由表和所述目标聚合任务携带的所述目标数据对象，从所述多个代理节点中确定所述至少一个目标代理节点，所述节点路由表记录有数据对象与代理节点的对应关系。
可选地，所述向至少一个目标代理节点发送目标聚合任务，包括：
将所述目标聚合任务拆分成多个子任务；
基于负载均衡原则，分批次向所述至少一个目标代理节点发送所述多个子任务。
可选地，所述数据节点集群还包括处理节点，所述获取至少一个聚合任务，包括：定时从所述处理节点获取所述至少一个聚合任务。
再一方面，提供了一种数据处理方法，其特征在于，应用于数据处理系统中的目标代理节点，所述数据处理系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述目标代理节点为所述多个代理节点中代理目标数据对象的代理节点，所述方法包括：
接收所述管理节点发送的目标聚合任务，所述目标聚合任务为所述管理节点获取到的任一聚合任务，所述目标聚合任务携带所述目标数据对象；
根据所述目标聚合任务向目标存储节点发送聚合请求，所述聚合请求携带所述目标数据对象，以便于所述目标存储节点根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点。
可选地，所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，
所述根据所述目标聚合任务向目标存储节点发送聚合请求，包括：
根据所述目标聚合任务，通过至少两个线程，并行向所述目标存储节点发送所述至少两个子请求，所述目标存储节点用于根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据，且并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
可选地，在根据所述目标聚合任务向目标存储节点发送聚合请求之后，所述方法还包括：
接收所述目标存储节点发送的所述聚合时序数据；
对所述聚合时序数据进行处理，得到最终时序数据；
将所述最终时序数据存储至所述数据节点集群中的任一存储节点。
又一方面，提供了一种数据处理方法，应用于数据处理系统中的目标存储节点，所述数据处理系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述目标存储节点为所述多个存储节点中存储有目标数据对象对应的目标时序数据的存储节点，所述方法包括：
接收目标代理节点发送的聚合请求，所述聚合请求携带所述目标数据对象，所述聚合请求是所述目标代理节点根据目标聚合任务发送的，所述目标聚合任务携带所述目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；
根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据；
对所述目标时序数据进行聚合得到聚合时序数据。
可选地，在根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据之前，所述方法还包括：
根据存储路由表和所述聚合请求携带的所述目标数据对象，确定所述目标存储节点中的所述目标存储分片，所述存储路由表记录有数据对象与存储分片的对应关系。
可选地，所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，
所述根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，包括：
根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据；
所述对所述目标时序数据进行聚合得到聚合时序数据，包括：
并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
可选地，每个所述子请求携带查询条件和聚合条件，
所述根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据，包括：
根据所述至少两个子请求携带的所述查询条件，并行从所述至少两个目标存储分片中获取所述目标数据对象对应的所述目标时序数据；
所述并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据，包括：
根据所述至少两个子请求携带的所述聚合条件，并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
可选地，在对所述目标时序数据进行聚合得到聚合时序数据之后，所述方法还包括：
向所述目标代理节点发送所述聚合时序数据，以便于所述目标代理节点对所述聚合时序数据进行处理，得到最终时序数据，将所述最终时序数据存储至所述数据节点集群中的任一存储节点。
还一方面，提供了一种数据处理装置，所述装置包括用于执行上述另一方面至又一方面所述的方法的各个模块。
还一方面，提供了一种数据处理装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述另一方面至又一方面所述的数据处理方法。
还一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述另一方面至又一方面所述的数据处理方法。
本申请实施例提供的技术方案带来的有益效果包括：
本申请实施例提供的数据处理方法及装置、系统、计算机可读存储介质，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
附图说明
图1本申请实施例提供的一种数据处理系统的示意图；
图2是本申请实施例提供的一种数据处理方法的方法流程图；
图3是本申请实施例提供的另一种数据处理方法的方法流程图；
图4是本申请实施例提供的再一种数据处理方法的方法流程图；
图5是本申请实施例提供的又一种数据处理方法的方法流程图；
图6是本申请实施例提供的一种管理节点向目标代理节点发送目标聚合任务的方法流程图；
图7是本申请实施例提供的一种目标代理节点向目标存储节点发送聚合请求的示意图；
图8是本申请实施例提供的一种对目标时序数据进行聚合的示意图；
图9是本申请实施例提供的一种数据处理装置的框图；
图10是本申请实施例提供的另一种数据处理装置的框图；
图11是本申请实施例提供的再一种数据处理装置的框图；
图12是本申请实施例提供的一种数据处理装置的结构示意图；
图13是本申请实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
为使本申请的原理、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
时序数据是指按照时间顺序记录的数据，时序数据具有海量性、时效性和趋势性，业务系统每天可以产生拍字节(英文：Petabytes；简称：PB)级别数据，通常需要对时序数据进行定期删除以节省存储资源。通常时序数据应用场景可以为监控软件系统(例如可以包括虚拟机、服务器或应用程序等)、监控物理系统(例如可以包括监控设备、监控机器、环境或房屋等)、资产跟踪系统(例如可以包括汽车、卡车、物理容器或运货托盘(英文：Pallets))、金融交易系统(例如可以包括证券交易系统、数字货币交易系统)、事件应用程序(例如可以包括跟踪用户的交互数据的应用程序)或智能工具(例如可以包括跟踪指标和业务的智能工具)中的至少一种。示例地，以该应用场景为监控软件系统为例进行说明，一个监控软件系统每秒可以产生50万条监控数据，每天可以产生4300万条监控数据，每年将产生近160亿条监控数据，随着时间的累积，监控数据会越来越多，因此，为了节省存储资源，通常在一段时间后删除部分监控数据。由于监控数据的业务价值通常是随时间递减的，对于时间较近的监控数据，可以精确到毫秒粒度级，对于时间较远的监控数据，例如几个月前的监控数据，可以不精确到毫秒粒度级，因此可以对时间较远的监控数据进行聚合，以对该监控数据进行降精度处理。其中，降精度处理是指通过将时序数据进行聚合，从而将该时序数据转换成时间精度较低的聚合时序数据，以便于观察和理解。
请参考图1，其示出了本申请实施例提供的一种数据处理系统的示意图，如图1所示，该数据处理系统可以包括：数据节点集群、管理节点和多个代理节点。如图1所示，本申请实施例以该多个代理节点包括代理节点1～N(也即是代理节点1、代理节点2…代理节点N)为例进行说明。
其中，该数据节点集群可以包括多个存储节点，每个存储节点可以包括多个存储分片，每个存储分片用于存储至少一种时序数据，每种时序数据对应一种数据对象。每个存储节点的不同存储分片可以存储同一种时序数据，不同存储节点中的存储分片可以存储同一种时序数据。其中，时序数据是指按照时间顺序记录的数据(或者是按照时间分布的一系列数据)，数据对象可以是时序数据的属性名称，例如时序数据可以是按照时间顺序记录的温度数据，数据对象可以是气温，或者，时序数据可以是某餐厅不同时刻的吃饭人数，数据对象可以是某餐厅，例如，“早上8点半某餐厅的吃饭人数为50”为一条时序数据。如图1所示，本申请实施例以该数据节点集群包括存储节点1～N(也即是存储节点1、存储节点2…存储节点N)，每个存储节点包括存储分片1～M(也即是存储分片1、存储分片2…存储分片M)为例进行说明。可选地，该数据节点集群还可以包括处理节点，该处理节点用于向存储节点中存储时序数据。
在本申请实施例中，管理节点分别与处理节点和多个代理节点通信连接，代理节点与存储节点通信连接，多个代理节点通信连接，多个存储节点通信连接，且处理节点可以与多个存储节点通信连接。其中，该通信连接可以是无线连接或有线连接，且不同节点之间的通信连接可以相同或不同，例如，管理节点与代理节点之间的通信连接为无线连接，存储节点之间的通信连接为有线连接。在本申请实施例中，该无线连接可以包括但不限于无线保真(英文：Wireless Fidelity，简称：WIFI)连接、数据连接、蓝牙连接或红外连接等，该有线连接可以包括但不限于通用串行总线(英文：Universal Serial Bus，简称：USB)连接。
其中，管理节点、代理节点、存储节点以及处理节点中的每个节点可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，或者数据处理终端。其中，该数据处理终端可以是平板电脑、笔记本电脑或台式电脑等，本申请实施例对此不做限定。可选地，数据节点集群可以是云时序数据库(英文：Cloud Time SeriesDatabase，简称：CTSDB)节点集群，数据节点集群中的每个节点可以是一台服务器。代理节点可以是运行支撑系统(英文：Operation and Support System，简称：OSS)代理(英文：Agent)节点，主要负责数据的采集和汇聚，每个代理节点可以是一台服务器。管理节点可以是运行支撑系统(英文：Operation and Support System，简称：OSS)管理(英文：Master)节点，用于管理代理节点。
在本申请实施例中，该数据处理系统可以生成至少一个聚合任务，根据该至少一个聚合任务对时序数据进行聚合，来对时序数据进行降精度处理，使得时序数据便于保存、分析和理解。在本申请实施例中，任一种时序数据可以是目标时序数据，存储目标时序数据的存储节点可以是目标存储节点，目标存储节点中存储目标时序数据的存储分片可以是目标存储分片，多个代理节点中代理目标数据对象的节点可以是目标代理节点(例如，代理节点与存储节点一一对应，与目标存储节点对应的代理节点为目标代理节点)，该目标数据对象为目标时序数据的数据对象。其中，在该数据处理系统中，管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务。该目标代理节点用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带该目标数据对象。该目标存储节点用于根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。
综上所述，本申请实施例提供的数据处理系统，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
可选地，管理节点还用于根据节点路由表和目标聚合任务携带的目标数据对象，从多个代理节点中确定至少一个目标代理节点，节点路由表记录有数据对象与代理节点的对应关系；目标存储节点还用于根据存储路由表和聚合请求携带的目标数据对象，确定目标存储节点中的目标存储分片，存储路由表记录有数据对象与存储分片的对应关系。这样一来，可以便于管理节点向目标代理节点发送目标聚合任务，以及目标存储节点从目标存储分片中获取目标时序数据。
可选地，聚合请求包括至少两个子请求，该至少两个子请求与至少两个目标存储分片一一对应，目标代理节点用于通过至少两个线程，并行向目标存储节点发送至少两个子请求；目标存储节点用于根据至少两个子请求，并行从至少两个目标存储分片中获取目标数据对象对应的目标时序数据，且并行对从至少两个目标存储分片中获取的目标时序数据进行聚合得到聚合时序数据。这样一来，由于目标代理节点并行向目标存储节点发送子请求，目标存储节点并行获取目标时序数据，以及并行对目标时序数据进行聚合，可以提高聚合效率。
可选地，每个子请求携带查询条件和聚合条件，目标存储节点用于根据至少两个子请求携带的该查询条件，并行从至少两个目标存储分片中获取目标数据对象对应的目标时序数据，根据至少两个子请求携带的该聚合条件，并行对从至少两个目标存储分片中获取的该目标时序数据进行聚合得到聚合时序数据。其中，查询条件可以是查询预设时长内的时序数据，聚合条件可以是对查询得到的时序数据求取平均值、最大值或最小值等。
可选地，管理节点用于将目标聚合任务拆分成多个子任务，基于负载均衡原则，分批次向至少一个目标代理节点发送该多个子任务。其中，管理节点可以评估每个目标代理节点的处理性能(也即是确定目标代理节点的健壮性或鲁棒性)，根据至少一个目标代理节点的处理性能，基于负载均衡原则，分批次向至少一个目标代理节点发送多个子任务。
可选地，目标存储节点还用于向目标代理节点发送聚合时序数据；目标代理节点还用于对该目标存储节点发送的该聚合时序数据进行处理，得到最终时序数据，将该最终时序数据存储至数据节点集群中的任一存储节点。其中，由于目标存储节点是以存储分片为单位对时序数据进行聚合的，因此目标存储节点向目标代理节点发送的聚合时序数据可以是与多个存储分片一一对应的聚合时序数据，目标存储节点向目标代理节点发送聚合时序数据后，目标代理节点可以对该多个聚合时序数据再次聚合得到一条目标数据，将该一条目标数据与目标数据对象归并得到最终时序数据，并将该最终时序数据存储至任一存储节点(例如目标存储节点)。
可选地，如图1所示，该数据节点集群还可以包括处理节点，该处理节点用于生成至少一个聚合任务；管理节点用于定时从该处理节点获取该至少一个聚合任务。
综上所述，本申请实施例提供的数据处理系统，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图2，其示出了本申请实施例提供的一种数据处理方法的方法流程图，该方法可以用于图1所示的数据处理系统中的管理节点10。参见图2，该方法可以包括以下步骤：
步骤101、获取至少一个聚合任务，每个聚合任务携带一种数据对象，每个聚合任务指示对相应的数据对象对应的时序数据进行聚合。
步骤102、向至少一个目标代理节点发送目标聚合任务，该目标聚合任务携带目标数据对象，以便于该目标代理节点根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象，该目标存储节点用于根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。
其中，目标聚合任务为至少一个聚合任务中的任一聚合任务，目标代理节点为多个代理节点中代理目标数据对象的代理节点，目标存储节点为存储有该目标数据对象对应的目标时序数据的存储节点。
综上所述，本申请实施例提供的数据处理方法，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图3，其示出了本申请实施例提供的另一种数据处理方法的方法流程图，该方法可以用于图1所示的数据处理系统中的目标代理节点，该目标代理节点为多个代理节点中代理目标数据对象的代理节点。参见图3，该方法可以包括以下步骤：
步骤201、接收管理节点发送的目标聚合任务，该目标聚合任务为该管理节点获取到的任一聚合任务，该目标聚合任务携带目标数据对象。
步骤202、根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带该目标数据对象，以便于该目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的该目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。
其中，该目标存储节点为存储有目标数据对象对应的目标时序数据的存储节点。
综上所述，本申请实施例提供的数据处理方法，目标代理节点接收携带目标数据对象的目标聚合任务后，根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中并行获取该目标数据对象对应的该目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图4，其示出了本申请实施例提供的再一种数据处理方法的方法流程图，该方法可以用于图1所示的数据处理系统中的目标存储节点，该目标存储节点为数据节点集群中存储目标数据对象对应的目标时序数据的存储节点。参见图4，该方法可以包括以下步骤：
步骤301、接收目标代理节点发送的聚合请求，该聚合请求携带目标数据对象。
其中，聚合请求是该目标代理节点根据目标聚合任务发送的，该目标聚合任务携带该目标数据对象，该目标代理节点为该多个代理节点中代理该目标数据对象的代理节点。
步骤302、根据该聚合请求从目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据。
步骤303、对该目标时序数据进行聚合得到聚合时序数据。
综上所述，本申请实施例提供的数据处理方法，目标存储节点接收携带目标数据对象的聚合请求后，根据该聚合请求从目标存储节点的目标存储分片中并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图5，其示出了本申请实施例提供的又一种数据处理方法的方法流程图，该方法可以用于图1所示的数据处理系统。参见图5，该方法可以包括以下步骤：
步骤401、处理节点生成至少一个聚合任务。
其中，每个聚合任务携带一种数据对象，每个聚合任务指示对相应的数据对象对应的时序数据进行聚合，以对该时序数据进行降精度处理。其中，时序数据是指按照时间顺序记录的数据(或者是按照时间分布的一系列数据)，数据对象可以是时序数据的属性名称，例如时序数据可以是按照时间顺序记录的温度数据，数据对象可以是气温，或者，时序数据可以是某餐厅不同时刻的吃饭人数，数据对象可以是某餐厅，例如，“早上8点半某餐厅的吃饭人数为50”为一条时序数据。
可选地，处理节点可以是一台服务器，用户可以触发业务终端向处理节点发送任务配置请求，该任务配置请求中携带任务配置信息，处理节点可以接收该任务配置请求，根据该任务配置信息生成至少一个聚合任务，并存储该至少一个聚合任务。或者，处理节点可以是处理终端，用户可以在处理终端上配置任务配置信息，处理终端根据用户配置的任务配置信息生成至少一个聚合任务，本申请实施例对此不做限定。
步骤402、管理节点从处理节点获取至少一个聚合任务。
可选地，管理节点可以定时从处理节点获取至少一个聚合任务，例如，管理节点每隔预设时长从处理节点获取至少一个聚合任务。其中，该预设时长可以根据管理节点处理聚合任务的效率确定，例如该预设时长可以为1小时。
步骤403、管理节点从多个代理节点中确定至少一个目标代理节点。
管理节点获取至少一个聚合任务后，可以根据每个聚合任务携带的数据对象，从该多个代理节点中确定出代理该数据对象的代理节点。其中，该至少一个聚合任务中的任一聚合任务可以是目标聚合任务，该目标聚合任务可以携带目标数据对象，因此管理节点可以根据该目标聚合任务携带的目标数据对象，从多个代理节点中确定代理该目标数据对象的至少一个目标代理节点。
可选地，管理节点可以获取节点路由表，该节点路由表记录有数据对象与代理节点的对应关系，管理节点根据该节点路由表和目标聚合任务携带的目标数据对象，从该多个代理节点中确定至少一个目标代理节点。其中，管理节点可以根据目标数据对象查询该节点路由表，将该节点路由表中与该目标数据对象对应的代理节点确定为目标代理节点。
可选地，节点路由表可以由处理节点维护，管理节点可以从处理节点获取该节点路由表；或者，管理节点自身可以维护该节点路由表，管理节点可以从本地获取该节点路由表。在本申请实施例中，可以由处理节点向数据节点集群中的存储节点中存储时序数据，该处理节点向数据节点集群中的存储节点中存储时序数据之后，可以生成该节点路由表，将该节点路由表同步给管理节点。
步骤404、管理节点向该至少一个目标代理节点发送目标聚合任务。
管理节点确定至少一个目标代理节点后，可以向该至少一个目标代理节点发送目标聚合任务。可选地，图6是本申请实施例提供的一种管理节点向目标代理节点发送目标聚合任务的方法流程图，参见图6，该方法可以包括以下步骤：
子步骤4041、将目标聚合任务拆分成多个子任务。
可选地，管理节点可以将目标聚合任务拆分成多个子任务，其中，每个子任务可以携带目标数据对象。示例地，目标数据对象可以为气温，目标聚合任务可以为对2019年12月18日8点至9点的温度数据进行聚合，管理节点可以将该目标聚合任务拆分为3个子任务，该3个子任务可以为：对8点至8点20分的温度数据进行聚合，对8点20分至8点40分的温度数据进行聚合，对8点40分至9点的温度数据进行聚合。
子步骤4042、基于负载均衡原则，分批次向至少一个目标代理节点发送该多个子任务。
可选地，管理节点可以评估每个目标代理节点的处理性能，根据每个目标代理节点的处理性能，基于负载均衡原则，分批次向至少一个目标代理节点发送该多个子任务。
示例地，以管理节点分批次向一个目标代理节点发送该多个子任务为例，则管理节点可以将目标聚合任务拆分为3个子任务，每次向该目标代理节点发送一个子任务，通过3次将目标聚合任务发送至目标代理节点。
步骤405、目标代理节点根据该目标聚合任务从数据节点集群中确定目标存储节点。
对应于管理节点向目标代理节点发送目标聚合任务，目标代理节点可以接收管理节点发送的目标聚合任务，之后，目标代理节点可以根据该目标聚合任务从数据节点集群中确定目标存储节点。其中，目标存储节点为存储有目标数据对象对应的目标时序数据的存储节点。
可选地，在本申请实施例中，代理节点与存储节点可以是一对一的关系(也即是一个代理节点对应一个存储节点)，也可以是一对多的关系(也即是一个代理节点可以对应多个存储节点)，根据代理节点与存储节点的对应关系的不同，目标代理节点从数据节点集群中确定目标存储节点可以包括以下两种可能的实现方式：
第一种实现方式：代理节点与存储节点是一对一的关系。目标代理节点将与该目标代理节点对应的存储节点确定为目标存储节点。
第二种实现方式：代理节点与存储节点是一对多的关系，目标代理节点根据目标聚合任务携带的目标数据对象，从多个存储节点中确定目标存储节点。
可选地，目标代理节点可以获取对象路由表，该对象路由表记录有数据对象和存储节点的对应关系，目标代理节点可以根据该对象路由表和目标聚合任务携带的目标数据对象，从该多个代理节点中确定至少一个目标代理节点。其中，目标代理节点可以根据目标数据对象查询该对象路由表，将该对象路由表中与该目标数据对象对应的存储节点确定为目标存储节点。
可选地，对象路由表可以由处理节点维护，目标代理节点可以从处理节点获取该节点路由表；或者，目标代理节点自身可以维护该对象路由表，目标代理节点可以从本地获取该对象路由表。在本申请实施例中，该对象路由表可以是处理节点向数据节点集群中的存储节点中存储时序数据之后生成的。
步骤406、目标代理节点根据该目标聚合任务生成聚合请求，该聚合请求携带目标数据对象。
目标代理节点接收目标聚合任务后，可以根据该目标聚合任务生成聚合请求，该聚合请求携带目标数据对象，并且该聚合请求还可以携带查询条件和聚合条件。该查询条件用于目标代理节点查询目标时序数据，该聚合条件用于目标代理节点对查询到的目标时序数据进行聚合，示例地，该聚合条件可以是求取平均值、最大值或最小值中的至少一种。示例地，目标数据对象可以为气温，查询条件可以为2019年12月18日8点至9点，聚合条件可以为最大值，目标代理节点可以根据查询条件查询2019年12月18日8点至9点的温度数据(也即是气温对应的时序数据)，根据聚合条件计算2019年12月18日8点至9点的温度数据的最大值，以对2019年12月18日8点至9点的温度数据进行聚合。
可选地，该聚合请求可以包括至少两个子请求，该至少两个子请求与至少两个目标存储分片(也即是存储有目标时序数据的存储分片)一一对应，每个子请求可以携带目标数据对象，并且每个子请求还可以携带查询条件和聚合条件，不同子请求携带的查询条件可以相同，不同子请求携带的聚合条件可以相同，本申请实施例对此不做限定。
步骤407、目标代理节点向目标存储节点发送聚合请求。
可选地，聚合请求可以包括至少两个子请求，目标代理节点可以确定与该至少两个子请求一一对应的至少两个线程，通过该至少两个线程，并行向目标存储节点发送该少两个子请求。其中，目标代理节点并行向目标存储节点发送该至少两个子请求，可以提高聚合请求的发送效率。
示例地，图7是本申请实施例提供的一种目标代理节点向目标存储节点发送聚合请求的示意图，该图7以目标存储节点为存储节点1，目标存储分片为存储分片1和存储分片2，目标数据对象为数据对象B为例进行说明。其中，存储分片1中存储有数据对象A的时序数据A1，A2…，以及数据对象B的时序数据B1，B2…，存储分片2中存储有数据对象B的时序数据B5，B6…，以及数据对象C的时序数据C1，C2…。目标代理节点确定的两个线程为线程1和线程2，目标代理节点可以通过线程1和线程2并行向存储节点1发送子请求1和子请求2，也即是，目标代理节点通过线程1向存储分片1发送子请求1，同时通过线程2向存储分片2发送子请求2。
步骤408、目标存储节点根据该聚合请求确定该目标存储节点中的目标存储分片。
对应于目标代理节点向目标存储节点发送聚合请求，目标存储节点可以接收目标代理节点发送的聚合请求，之后，目标存储节点可以根据该聚合请求携带的目标数据对象，确定该目标存储节点中的目标存储分片，该目标存储分片为目标存储节点中存储目标数据对象对应的目标时序数据的存储分片。
可选地，目标存储节点可以获取存储路由表，该存储路由表记录有数据对象与存储分片的对应关系，目标存储节点可以根据该存储路由表和目标聚合任务携带的目标数据对象，从该多个存储分片中确定至少一个目标存储分片。其中，目标存储节点可以根据目标数据对象查询该存储路由表，将该存储路由表中与该目标数据对象对应的存储分片确定为目标存储分片。
可选地，存储路由表可以由处理节点维护，目标存储节点可以从处理节点获取该存储路由表；或者，存储节点自身可以维护该存储路由表，且不同存储节点维护的存储路由表可以相同，目标存储节点可以从本地获取该存储路由表。其中，该存储路由表可以是处理节点向存储节点中存储时序数据之后生成的，处理节点生成该存储路由表后，可以将该存储路由表同步给存储节点。
步骤409、目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据。
可选地，该聚合请求可以包括至少两个子请求，每个子请求携带查询条件，目标存储节点根据该至少两个子请求携带的查询条件，并行从至少两个目标存储分片中获取目标数据对象对应的目标时序数据。可选地，每个目标存储分片中的目标时序数据是按照时间顺序存储的，目标存储节点可以根据每个子请求携带的目标数据对象和查询条件，通过倒排索引的方式在相应的目标存储分片中查找目标时序数据的起始位置，并从该起始位置开始向后遍历该目标存储分片直至遍历至该目标时序数据的结束位置，将该起始位置与该结束位置之间的时序数据确定为目标数据对象对应的目标时序数据，并获取该目标时序数据。其中，目标存储节点并行从至少两个目标存储分片中获取目标时序数据也即是目标存储节点从至少两个目标存储分片中获取目标时序数据的过程同时执行，这样一来可以提高数据获取效率。
示例地，请继续参考图7，存储分片1中的时序数据B1，B2…按照时间顺序存储，存储分片2中的时序数据为B5，B6…也按照时间顺序存储，目标存储节点可以根据子请求1携带的数据对象B和查询条件，通过倒排索引的方式，在存储分片1中查找数据对象B的起始位置得到时序数据B1，并按照时间顺序依次向后遍历该存储分片1直至遍历至该时序数据的结束位置，将该起始位置与该结束位置之间的时序数据确定为数据对象B对应的目标时序数据，该目标时序数据包括时序数据B1，B2…；同理，目标存储节点可以根据子请求2携带的数据对象B和查询条件，通过倒排索引的方式，在存储分片2中查找数据对象B的起始位置得到时序数据B5，并按照时间顺序依次向后遍历该存储分片2直至遍历至该时序数据的结束位置，将该起始位置与该结束位置之间的时序数据确定为数据对象B对应的目标时序数据，该目标时序数据包括时序数据B5，B6…。
需要说明的是，目标存储节点可以通过流式拉取的方式从目标存储分片中获取目标时序数据，也即是，目标存储节点分步从目标存储分片中获取目标时序数据，例如，目标存储节点先从目标存储分片中获取一部分目标时序数据，再从目标存储分片中获取另一部分目标时序数据，本申请实施例对此不做限定。
步骤410、目标存储节点对该目标时序数据进行聚合得到聚合时序数据。
目标存储节点在获取目标时序数据后，可以对该目标时序数据进行聚合得到聚合时序数据。可选地，目标存储节点可以根据聚合请求携带的聚合条件对该目标时序数据进行聚合，示例地，该聚合条件可以是求取平均值、最大值或最小值中的至少一种。示例地，目标数据对象可以为气温，查询条件可以为2019年12月18日8点至9点，聚合条件可以为求取最大值，经过步骤409目标存储节点可以确定出2019年12月18日8点至9点的温度数据，在此基础上，目标代理节点可以根据该聚合条件计算2019年12月18日8点至9点的温度数据的最大值，以对2019年12月18日8点至9点的温度数据进行聚合。
如前所述，在本申请实施例中，该聚合请求可以包括至少两个子请求，每个该子请求携带聚合条件，目标存储节点可以根据每个子请求携带的聚合条件，并行对从至少两个目标存储分片中获取的目标时序数据进行聚合，得到至少两条聚合时序数据。其中，目标存储节点并行对从至少两个目标存储分片中获取的目标时序数据进行聚合，可以提高聚合效率。
示例地，请继续参考图7，目标存储节点可以根据子请求1携带的聚合条件对时序数据B1，B2…进行聚合得到一条聚合时序数据，根据子请求2携带的聚合条件对时序数据B5，B6…进行聚合得到一条聚合时序数据，且对时序数据B1，B2…进行聚合的过程与对时序数据B5，B6…进行聚合的过程同时执行。
步骤411、目标存储节点向目标代理节点发送该聚合时序数据。
目标存储节点得到至少两条聚合时序数据后，可以通过与目标代理节点之间的通信连接，向目标代理节点发送该至少两条聚合时序数据。可选地，目标存储节点可以并行向目标代理节点发送该至少两条聚合时序数据，本申请实施例对此不做限定。
步骤412、目标代理节点对聚合时序数据进行处理，得到最终时序数据。
对应于目标存储节点向目标代理节点发送聚合时序数据，目标代理节点可以接收目标存储节点发送的聚合时序数据，之后目标代理节点可以对接收到的聚合时序数据进行处理，得到最终时序数据。
根据步骤410的描述容易理解，目标存储节点是以存储分片为单位对目标时序数据进行聚合的，因此目标代理节点可以接收到至少两条聚合时序数据，目标代理节点可以对该至少两条聚合时序数据进行再次聚合得到一条目标数据，将该一条目标数据与目标数据对象归并得到最终时序数据。
步骤413、目标代理节点将最终时序数据存储至数据节点集群中的任一存储节点。
目标代理节点得到最终时序数据后，可以将该最终时序数据存储至数据节点集群中的任一存储节点，例如将该最终时序数据存储至目标存储节点。
示例地，图8是本申请实施例提供的一种对目标时序数据进行聚合的示意图，该图8以目标时序数据为温度数据为例进行说明，参见图8，该目标时序数据为2019年12月18日的温度数据，包括：00:00:00(0点0分0秒)对应的温度10.0℃(摄氏度)、00:01:00(0点1分0秒)对应的温度12.0℃、00:02:00(0点2分0秒)对应的温度11.0℃、00:03:00(0点3分0秒)对应的温度9.0℃”……23:56:00(23点56分0秒)对应的温度15.0℃、23:57:00(23点57分0秒)对应的温度2.0℃、23:58:00(23点58分0秒)对应的温度3.0℃和23:59:00(23点59分0秒)对应的温度4.0℃。为了节省存储资源，可以将2019年12月18日的温度数据进行聚合，聚合条件可以为求取最大值、最小值和平均值，并将该最大值、最小值和平均值作为2019年12月18日的温度数据，如图8所示，2019年12月18日的温度数据的最大值(也即是2019年12月18日的最高温度)为15.0℃，2019年12月18日的温度数据的最小值(也即是2019年12月18日的最低温度)为2.0℃，2019年12月18日的温度数据的平均值(也即是2019年12月18日的平均温度)为8.0℃，则聚合后2019年12月18日的温度数据为：最高温度15.0℃、最低温度2.0℃和平均温度8.0℃。这样一来，对于每天的温度数据，存储节点只需要存储一条温度数据，存储成本降低为原来的1/1440，因此可以节约存储资源，降低存储成本。
综上所述，本申请实施例提供的数据处理方法，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
在本申请实施例中，处理节点在向数据节点集群中的存储节点中存储时序数据时，可以生成节点路由表、存储路由表或对象路由表，容易理解，数据节点集群中的处理节点在生成节点路由表、存储路由表或对象路由表的过程中，会消耗数据节点集群的部分性能，但是，该过程通常消耗数据节点集群的1％的性能，而在数据处理系统对数据节点集群中存储的时序数据聚合后，可以节约该数据库节点集群的90％以上的存储成本，因此本申请实施例提供的数据处理方法可以大大降低时序数据的存储成本。
请参考图9，其示出了本申请实施例提供的一种数据处理装置500的框图，该数据处理装置500可以为图1所示的数据处理系统中的管理节点中的程序组件，该数据处理系统包括数据节点集群、多个代理节点和管理节点，该数据节点集群包括多个存储节点，每个该存储节点包括多个存储分片，每个该存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象。参见图9，该数据处理装置500可以包括：
获取模块501，用于获取至少一个聚合任务，每个聚合任务携带一种数据对象，每个聚合任务指示对相应的数据对象对应的时序数据进行聚合；
发送模块502，用于向至少一个目标代理节点发送目标聚合任务，该目标聚合任务携带目标数据对象，以便于该目标代理节点根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带该目标数据对象，该目标存储节点用于根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据，该目标聚合任务为至少一个聚合任务中的任一聚合任务，该目标代理节点为该多个代理节点中代理该目标数据对象的代理节点，该目标存储节点为存储有该目标数据对象对应的目标时序数据的存储节点。
可选地，请继续参考图9，该数据处理装置500还包括：
确定模块503，用于根据节点路由表和目标聚合任务携带的目标数据对象，从多个代理节点中确定至少一个目标代理节点，该节点路由表记录有数据对象与代理节点的对应关系。
可选地，该发送模块502，用于：
将目标聚合任务拆分成多个子任务；
基于负载均衡原则，分批次向至少一个目标代理节点发送该多个子任务。
可选地，该数据节点集群还包括处理节点，该获取模块501用于定时从该处理节点获取该至少一个聚合任务。
综上所述，本申请实施例提供的数据处理装置，管理节点获取至少一个聚合任务后，向目标代理节点发送携带目标数据对象的目标聚合任务，目标代理节点根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图10，其示出了本申请实施例提供的另一种数据处理装置600的框图，该数据处理装置600可以为图1所示的数据处理系统中的目标代理节点中的程序组件，该数据处理系统包括数据节点集群、多个代理节点和管理节点，该数据节点集群包括多个存储节点，每个该存储节点包括多个存储分片，每个该存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象。参见图10，该数据处理装置600可以包括：
第一接收模块601，用于接收管理节点发送的目标聚合任务，该目标聚合任务为该管理节点获取到的任一聚合任务，该目标聚合任务携带目标数据对象；
发送模块602，用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象，以便于该目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据，该目标存储节点为存储有该目标数据对象对应的目标时序数据的存储节点。
可选地，该聚合请求包括至少两个子请求，该至少两个子请求与至少两个目标存储分片一一对应，该发送模块602，用于：
根据目标聚合任务，通过至少两个线程，并行向该目标存储节点发送该至少两个子请求，该目标存储节点用于根据该至少两个子请求，并行从该至少两个目标存储分片中获取目标数据对象对应的目标时序数据，且并行对从该至少两个目标存储分片中获取的该目标时序数据进行聚合得到聚合时序数据。
可选地，请继续参考图10，该数据处理装置600还包括：
第二接收模块603，用于接收该目标存储节点发送的该聚合时序数据；
处理模块604，用于对该聚合时序数据进行处理，得到最终时序数据；
存储模块605，用于将该最终时序数据存储至该数据节点集群中的任一存储节点。
综上所述，本申请实施例提供的数据处理装置，目标代理节点接收携带目标数据对象的目标聚合任务后，根据该目标聚合任务向目标存储节点发送携带该目标数据对象的聚合请求，目标存储节点根据该聚合请求从该目标存储节点的目标存储分片中并行获取该目标数据对象对应的该目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中，并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
请参考图11，其示出了本申请实施例提供的再一种数据处理装置700的框图，该数据处理装置700可以为图1所示的数据处理系统中的目标存储节点中的程序组件，该数据处理系统包括数据节点集群、多个代理节点和管理节点，该数据节点集群包括多个存储节点，每个该存储节点包括多个存储分片，每个该存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象。参见图11，该数据处理装置700可以包括：
接收模块701，用于接收目标代理节点发送的聚合请求，该聚合请求携带目标数据对象，该聚合请求是该目标代理节点根据目标聚合任务发送的，该目标聚合任务携带该目标数据对象，该目标代理节点为该多个代理节点中代理该目标数据对象的代理节点；
获取模块702，用于根据该聚合请求从该目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据；
聚合模块703，用于对该目标时序数据进行聚合得到聚合时序数据。
可选地，请继续参考图11，该数据处理装置700还包括：
确定模块704，用于根据存储路由表和聚合请求携带的目标数据对象，确定该目标存储节点中的目标存储分片，该存储路由表记录有数据对象与存储分片的对应关系。
可选地，该聚合请求包括至少两个子请求，该至少两个子请求与该至少两个目标存储分片一一对应，该获取模块702，用于根据该至少两个子请求，并行从该至少两个目标存储分片中获取目标数据对象对应的目标时序数据；
该聚合模块703，用于并行对从该至少两个目标存储分片中获取的该目标时序数据进行聚合得到聚合时序数据。
可选地，每个该子请求携带查询条件和聚合条件，
该获取模块702，用于根据该至少两个子请求携带的该查询条件，并行从该至少两个目标存储分片中获取该目标数据对象对应的该目标时序数据；
该聚合模块703，用于根据该至少两个子请求携带的该聚合条件，并行对从该至少两个目标存储分片中获取的该目标时序数据进行聚合得到聚合时序数据。
可选地，请继续参考图11，该数据处理装置700还包括：
发送模块705，用于向目标代理节点发送该聚合时序数据，以便于该目标代理节点对该聚合时序数据进行处理，得到最终时序数据，将该最终时序数据存储至该数据节点集群中的任一存储节点。
综上所述，本申请实施例提供的数据处理装置，目标存储节点接收携带目标数据对象的聚合请求后，根据该聚合请求从目标存储节点的目标存储分片中并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。由于目标存储节点从该目标存储节点的目标存储分片中并行获取目标数据对象对应的目标时序数据，并对该目标时序数据进行聚合得到聚合时序数据，因此聚合速度较快，数据处理效率较高。
图12是本申请实施例提供的一种数据处理装置800的结构示意图。该装置800可以是终端，比如：平板电脑、笔记本电脑或台式电脑。该装置800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，数据处理装置800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请实施例提供的数据处理方法。
在一些实施例中，该装置800还可以包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置装置800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在装置800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在装置800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以为OLED(OrganicLight-Emitting Diode，有机发光二极管)显示屏。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在数据处理装置800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位该装置800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为该装置800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，数据处理装置800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器812、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以该装置800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测该装置800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对该装置800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器812可以设置在该装置800的侧边框和/或触摸显示屏805的下层。当压力传感器812设置在该装置800的侧边框时，可以检测用户对该装置800的握持信号，由处理器801根据压力传感器812采集的握持信号进行左右手识别或快捷操作。当压力传感器812设置在触摸显示屏805的下层时，由处理器801根据用户对触摸显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置该装置800的正面、背面或侧面。当该装置800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制触摸显示屏805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏805的显示亮度；当环境光强度较低时，调低触摸显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在该装置800的前面板。接近传感器816用于采集用户与该装置800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与该装置800的正面之间的距离逐渐变小时，由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与装置800的正面之间的距离逐渐变大时，由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对数据处理装置800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
请参考图13，其示出了本申请实施例提供的另一种数据处理装置900的结构示意图，该数据处理装置900可以为服务器。示例地，如图13所示，该装置900包括中央处理单元901、包括随机存取存储器(英文：Random-Access Memory；简称：RAM)902和只读存储器(英文：Read-Only Memory；简称：ROM)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。装置900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出(英文：Input/Output；简称：I/O)系统906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。大容量存储设备907及其相关联的计算机可读介质为装置900提供非易失性存储。也就是说，大容量存储设备907可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读存储介质可以包括计算机可读存储介质和通信介质。计算机可读存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括RAM、ROM、可擦除可编程只读存储器(英文：Erasable Programmable Read OnlyMemory；简称：EPROM)、带电可擦除可编程只读存储器(英文：Electrically ErasableProgrammable read only memor；简称：EEPROM)、闪存或其他固态存储其技术，紧凑型光盘只读储存器(英文：Compact Disc Read-Only Memory；简称：CD-ROM)、数字通用光盘(英文：Digital Versatile Disc；简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机可读存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例，装置900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即装置900可以通过连接在系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行，以实现本申请实施例提供的方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现图2至图6任一所示的数据处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的计算机可读存储介质可以是只读存储器，磁盘或光盘等。
在本申请实施例中，术语“多个”指两个或两个以上，除非另有明确的限定。术语“至少一个”指一个或一个以上，除非另有明确的限定。术语“至少两个个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理系统，其特征在于，所述系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，
所述管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标聚合任务携带目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；
所述目标代理节点用于根据所述目标聚合任务向目标存储节点发送所述聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点；
所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据。
2.根据权利要求1所述的系统，其特征在于，
所述管理节点，还用于根据节点路由表和所述目标聚合任务携带的所述目标数据对象，从所述多个代理节点中确定所述至少一个目标代理节点，所述节点路由表记录有数据对象与代理节点的对应关系；
所述目标存储节点，还用于根据存储路由表和所述聚合请求携带的所述目标数据对象，确定所述目标存储节点中的所述目标存储分片，所述存储路由表记录有数据对象与存储分片的对应关系。
3.根据权利要求1所述的系统，其特征在于，
所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，
所述目标代理节点用于通过至少两个线程，并行向所述目标存储节点发送所述至少两个子请求；
所述目标存储节点用于根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据，且并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
4.根据权利要求3所述的系统，其特征在于，
每个所述子请求携带查询条件和聚合条件，
所述目标存储节点用于根据所述至少两个子请求携带的所述查询条件，并行从所述至少两个目标存储分片中获取所述目标数据对象对应的所述目标时序数据，根据所述至少两个子请求携带的所述聚合条件，并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。
5.根据权利要求1至4任一所述的系统，其特征在于，
所述管理节点用于将所述目标聚合任务拆分成多个子任务，基于负载均衡原则，分批次向所述至少一个目标代理节点发送所述多个子任务。
6.一种数据处理方法，其特征在于，应用于数据处理系统中的管理节点，所述数据处理系统包括：数据节点集群、多个代理节点和所述控制节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述方法包括：
获取至少一个聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合；
向至少一个目标代理节点发送目标聚合任务，所述目标聚合任务携带目标数据对象，以便于所述目标代理节点根据所述目标聚合任务向目标存储节点发送聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点。
7.一种数据处理方法，其特征在于，应用于数据处理系统中的目标代理节点，所述数据处理系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述目标代理节点为所述多个代理节点中代理目标数据对象的代理节点，所述方法包括：
接收所述管理节点发送的目标聚合任务，所述目标聚合任务为所述管理节点获取到的任一聚合任务，所述目标聚合任务携带所述目标数据对象；
根据所述目标聚合任务向目标存储节点发送聚合请求，所述聚合请求携带所述目标数据对象，以便于所述目标存储节点根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点。
8.一种数据处理方法，其特征在于，应用于数据处理系统中的目标存储节点，所述数据处理系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述目标存储节点为所述多个存储节点中存储有目标数据对象对应的目标时序数据的存储节点，所述方法包括：
接收目标代理节点发送的聚合请求，所述聚合请求携带所述目标数据对象，所述聚合请求是所述目标代理节点根据目标聚合任务发送的，所述目标聚合任务携带所述目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；
根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据；
对所述目标时序数据进行聚合得到聚合时序数据。
9.一种数据处理装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求6至8任一所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求6至8任一所述的数据处理方法。
CN201911344168.3A 2019-12-24 2019-12-24 数据处理方法及装置、系统、计算机可读存储介质 Active CN111090687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911344168.3A CN111090687B (zh) 2019-12-24 2019-12-24 数据处理方法及装置、系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911344168.3A CN111090687B (zh) 2019-12-24 2019-12-24 数据处理方法及装置、系统、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111090687A true CN111090687A (zh) 2020-05-01
CN111090687B CN111090687B (zh) 2023-03-10

Family

ID=70396607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911344168.3A Active CN111090687B (zh) 2019-12-24 2019-12-24 数据处理方法及装置、系统、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111090687B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708842A (zh) * 2020-06-10 2020-09-25 武汉钢铁有限公司 一种热轧板材异构数据的处理方法及装置
CN112800061A (zh) * 2021-01-29 2021-05-14 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN113282604A (zh) * 2021-07-14 2021-08-20 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统
CN113407562A (zh) * 2021-06-04 2021-09-17 北京金山云网络技术有限公司 分布式数据库系统的通信方法及装置
CN113434278A (zh) * 2021-07-08 2021-09-24 上海浦东发展银行股份有限公司 数据聚合系统、方法、电子设备及存储介质
CN114969149A (zh) * 2022-05-06 2022-08-30 北京偶数科技有限公司 数据资源的处理方法、装置以及存储介质
WO2023279801A1 (zh) * 2021-07-08 2023-01-12 华为云计算技术有限公司 时序数据库的分区调整方法、装置、设备及可读存储介质
WO2024045621A1 (zh) * 2022-08-31 2024-03-07 华为云计算技术有限公司 数据处理方法、装置及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020048369A1 (en) * 1995-02-13 2002-04-25 Intertrust Technologies Corp. Systems and methods for secure transaction management and electronic rights protection
CN102104526A (zh) * 2009-12-16 2011-06-22 华为技术有限公司 一种内容发布与获取的方法、装置和系统
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
CN105516367A (zh) * 2016-02-02 2016-04-20 北京百度网讯科技有限公司 分布式数据存储系统、方法和装置
CN105980991A (zh) * 2014-02-17 2016-09-28 斯特拉托斯卡莱有限公司 在多个计算节点之间的存储资源共享
US20160366220A1 (en) * 2015-06-15 2016-12-15 Yossi Gottlieb Methods, systems, and media for providing distributed database access during a network split
CN106462575A (zh) * 2013-12-02 2017-02-22 丘贝斯有限责任公司 群集内存数据库的设计及实现
CN106844399A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 分布式数据库系统及其自适应方法
CN110008257A (zh) * 2019-04-10 2019-07-12 深圳市腾讯计算机系统有限公司 数据处理方法、装置、系统、计算机设备和存储介质
CN110502507A (zh) * 2019-08-29 2019-11-26 上海达梦数据库有限公司 一种分布式数据库的管理系统、方法、设备和存储介质
CN115114316A (zh) * 2021-03-23 2022-09-27 中移(苏州)软件技术有限公司 一种高并发数据的处理方法、装置、集群和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020048369A1 (en) * 1995-02-13 2002-04-25 Intertrust Technologies Corp. Systems and methods for secure transaction management and electronic rights protection
CN102104526A (zh) * 2009-12-16 2011-06-22 华为技术有限公司 一种内容发布与获取的方法、装置和系统
CN106462575A (zh) * 2013-12-02 2017-02-22 丘贝斯有限责任公司 群集内存数据库的设计及实现
CN105980991A (zh) * 2014-02-17 2016-09-28 斯特拉托斯卡莱有限公司 在多个计算节点之间的存储资源共享
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
US20160366220A1 (en) * 2015-06-15 2016-12-15 Yossi Gottlieb Methods, systems, and media for providing distributed database access during a network split
CN106844399A (zh) * 2015-12-07 2017-06-13 中兴通讯股份有限公司 分布式数据库系统及其自适应方法
CN105516367A (zh) * 2016-02-02 2016-04-20 北京百度网讯科技有限公司 分布式数据存储系统、方法和装置
CN110008257A (zh) * 2019-04-10 2019-07-12 深圳市腾讯计算机系统有限公司 数据处理方法、装置、系统、计算机设备和存储介质
CN110502507A (zh) * 2019-08-29 2019-11-26 上海达梦数据库有限公司 一种分布式数据库的管理系统、方法、设备和存储介质
CN115114316A (zh) * 2021-03-23 2022-09-27 中移(苏州)软件技术有限公司 一种高并发数据的处理方法、装置、集群和存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708842A (zh) * 2020-06-10 2020-09-25 武汉钢铁有限公司 一种热轧板材异构数据的处理方法及装置
CN111708842B (zh) * 2020-06-10 2023-05-23 武汉钢铁有限公司 一种热轧板材异构数据的处理方法及装置
CN112800061A (zh) * 2021-01-29 2021-05-14 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN112800061B (zh) * 2021-01-29 2024-05-10 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN113407562A (zh) * 2021-06-04 2021-09-17 北京金山云网络技术有限公司 分布式数据库系统的通信方法及装置
CN113434278A (zh) * 2021-07-08 2021-09-24 上海浦东发展银行股份有限公司 数据聚合系统、方法、电子设备及存储介质
WO2023279801A1 (zh) * 2021-07-08 2023-01-12 华为云计算技术有限公司 时序数据库的分区调整方法、装置、设备及可读存储介质
CN113282604A (zh) * 2021-07-14 2021-08-20 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统
CN113282604B (zh) * 2021-07-14 2021-10-22 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统
CN114969149A (zh) * 2022-05-06 2022-08-30 北京偶数科技有限公司 数据资源的处理方法、装置以及存储介质
CN114969149B (zh) * 2022-05-06 2024-04-30 北京偶数科技有限公司 数据资源的处理方法、装置以及存储介质
WO2024045621A1 (zh) * 2022-08-31 2024-03-07 华为云计算技术有限公司 数据处理方法、装置及系统

Also Published As

Publication number Publication date
CN111090687B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111090687B (zh) 数据处理方法及装置、系统、计算机可读存储介质
CN108924737B (zh) 定位方法、装置、设备及计算机可读存储介质
CN110213153B (zh) 未读消息的显示方法、获取方法、装置、终端及存储介质
CN111614549B (zh) 交互处理方法、装置、计算机设备及存储介质
CN108805560B (zh) 数值整合方法、装置、电子设备及计算机可读存储介质
CN110569220B (zh) 游戏资源文件的展示方法、装置、终端及存储介质
CN110868459A (zh) 数据传输方法、装置、终端及存储介质
CN110147503B (zh) 信息发布方法、装置、计算机设备和存储介质
CN111241115B (zh) 数据同步方法、装置、设备及存储介质
CN110535890B (zh) 文件上传的方法和装置
CN110062199B (zh) 负载均衡方法、装置及计算机可读存储介质
CN110636144A (zh) 数据下载的方法和装置
CN111061550A (zh) 任务处理方法、装置、设备及存储介质
CN113069760A (zh) 资源分配方法、装置、计算设备及计算机可读存储介质
CN111125436A (zh) 数据管理方法、装置及系统
CN110134902B (zh) 资料信息生成方法、装置及存储介质
CN110597840A (zh) 基于区块链的伴侣关系建立方法、装置、设备及存储介质
CN110990728A (zh) 兴趣点信息的管理方法、装置、设备及存储介质
CN112181915A (zh) 执行业务的方法、装置、终端和存储介质
CN112905328B (zh) 任务处理方法、装置及计算机可读存储介质
CN112995587B (zh) 电子设备监控方法、系统、计算机设备及存储介质
CN111522798B (zh) 数据同步方法、装置、设备及可读存储介质
CN114785766A (zh) 智能设备的控制方法、终端及服务器
CN110336881B (zh) 执行业务处理请求的方法和装置
CN113051494A (zh) 信息展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant