CN111506409B - 一种数据处理方法及系统 - Google Patents

一种数据处理方法及系统 Download PDF

Info

Publication number
CN111506409B
CN111506409B CN202010311150.XA CN202010311150A CN111506409B CN 111506409 B CN111506409 B CN 111506409B CN 202010311150 A CN202010311150 A CN 202010311150A CN 111506409 B CN111506409 B CN 111506409B
Authority
CN
China
Prior art keywords
task
request data
task request
data
services
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010311150.XA
Other languages
English (en)
Other versions
CN111506409A (zh
Inventor
白浩
袁智勇
雷金勇
周长城
黄安迪
徐敏
史训涛
徐全
叶琳浩
何锡祺
唐炳南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Original Assignee
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, China Southern Power Grid Co Ltd filed Critical China South Power Grid International Co ltd
Priority to CN202010311150.XA priority Critical patent/CN111506409B/zh
Publication of CN111506409A publication Critical patent/CN111506409A/zh
Application granted granted Critical
Publication of CN111506409B publication Critical patent/CN111506409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理方法及系统，其中数据处理方法包括：建立多个第一服务，每个第一服务包含多个微服务；获取第一任务请求数据，根据第一预设规则对每个第一任务请求数据进行分解得到多个第二任务请求数据；根据第二预设规则对每个第二任务请求数据进行分解得到对应的多个第三任务请求数据；根据第三预设规则对多个第三任务请求数据进行分组，生成多个任务队列；根据第一任务请求数据获取对应的第一服务，利用所述微服务对任务队列进行数据处理。本发明提供的数据处理方法及系统，能够实现接口服务任务的动态分解及并行处理，提高批量接口数据的处理效率，同时，能增强接口服务配置的灵活性，减少额外资源的开销。

Description

一种数据处理方法及系统
技术领域
本发明涉及电网数据处理技术领域，尤其是涉及一种数据处理方法及系统。
背景技术
配电网作为电力系统中直接面向用户的终端环节，占据着十分重要的地位。近年来，随着智能电网的建设，电力系统运营侧通过智能监测终端设备，实现对设备进行运行、监控、管理，如在负荷侧，通过使用智能监测终端，实现电力系统状态参数的实时记录。通过对设备运行状态数据进行分析，能够有效的提升电网精益化管理的水平，如根据配电网的特点，以负荷特性、负荷分布等基本特征为基础，进行配电网设备运行效率的评价，能够提高配电网建设投资效益。
配电网设备运行效率监测分析，需要融合多业务系统数据，包括配网生产系统、营销管理系统、GIS系统、调度自动化系统、计量自动化系统等业务系统，包括配变、主变、高压线路、中压线路、用户等档案数据、运行维护数据、实时的量测数据等。为了满足配电网设备运行效率的监测分析的需求，通过批量的接口服务从不同的业务系统同步设备档案变更信息及设备运维信息(频率：每天)，同步设备的实时运行数据(频率：配变每15分钟一次，主变、中压线路、高压线路，每5分钟一次)。目前，接口服务应用的部署一般采用单体架构，通常将整个接口服务作为一个整体部署在同一个Web容器，程序模块间的耦合性较强，由于存在实时及非实时的数据同步，接口服务访问量较大、资源消耗较大、耗时较长，同时，批量的接口服务程序在Web容器中处理，无法结合各个接口服务的数据传输量、接口运行情况进行动态、智能地接口调用，转换服务器硬件资源等，容易造成占用大量系统资源，接口服务任务的堵塞等问题，接口处理效率低下，影响系统的日常应用。
如何解决现有技术中批量接口数据的处理效率较低、接口服务配置灵活性不够的问题，是当前需要解决的问题。
发明内容
本发明的目的是提供一种数据处理方法及系统，以解决现有技术中批量接口数据的处理效率较低、接口服务配置灵活性不够的问题。
本发明的目的，可以通过如下技术方案实现：
一种数据处理方法，包括：
建立多个第一服务；其中，每个所述第一服务包含多个微服务；
获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
可选地，所述建立多个第一服务之后还包括：对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。
可选地，所述根据第一预设规则对所述第一任务请求数据进行分解进一步包括：根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解。
可选地，所述根据第二预设规则对每个所述第二任务请求数据进行分解进一步包括：根据与所述第二任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第二任务请求数据进行分解。
可选地，所述根据第三预设规则对多个所述第三任务请求数据进行分组进一步包括：根据与所述第三任务请求数据对应的任务量、对应的微服务的空闲资源及对应的预处理时间对多个所述第三任务请求数据进行分组。
本发明还提供了一种数据处理系统，包括：
第一服务建立单元，用于建立多个第一服务；其中，每个所述第一服务包含多个微服务；
第一任务分解单元，用于获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
第二任务分解单元，用于根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
任务队列生成单元，用于根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
任务队列处理单元，用于根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
可选地，还包括：
第二服务建立单元，用于对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。
可选地，所述第一任务分解单元根据第一预设规则对每个所述第一任务请求数据进行分解进一步包括：
所述第一任务分解单元根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解。
可选地，所述第二任务分解单元根据第二预设规则对每个所述第二任务请求数据进行分解进一步包括：
所述第二任务分解单元根据与所述第二任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第二任务请求数据进行分解。
可选地，所述任务队列生成单元用于根据第三预设规则对多个所述第三任务请求数据进行分组进一步包括：
所述任务队列生成单元用于根据与所述第三任务请求数据对应的任务量、对应的微服务的空闲资源及对应的预处理时间对多个所述第三任务请求数据进行分组。
本发明提供了一种数据处理方法及系统，其中数据处理方法包括：建立多个第一服务；其中，每个所述第一服务包含多个微服务；获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。本发明提供的数据处理方法及系统，能够实现接口服务任务的动态分解及并行处理，提高批量接口数据的处理效率；同时，能增强接口服务配置的灵活性，减少额外资源的开销；利用本发明提供的数据处理方法及系统对配电网系统的相关数据进行处理，能提高配电网设备运行效率的监测分析的效率，提高配电网系统的运行效率。
附图说明
图1为本发明提供的一种数据处理方法的程序流程示意图；
图2为本发明提供的一种数据处理系统的逻辑框图。
具体实施方式
本发明实施例提供了一种数据处理方法及系统，以解决现有技术中批量接口数据的处理效率较低、接口服务配置灵活性不够的问题。
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅附图1，本发明实施例提供了一种数据处理方法，包括：
S1：建立多个第一服务；其中，每个所述第一服务包含多个微服务；
具体的，根据业务需求，可以建立多个第一服务为业务需求提供数据处理服务，其中每个第一服务可以包括多个微服务，对应的第一服务对数据的处理过程是通过微服务进行的，每个第一服务的数据处理过程可以通过多个微服务共同处理完成。
S2：获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
在本发明实施例的数据处理过程中，当获取到业务任务请求时，可以对应为第一任务请求数据，对每个第一任务请求数据按照第一预设规则进行分解，获取对应的多个第二任务请求数据。
在所述步骤S2中，根据所述第一预设规则对所述第一任务请求数据进行分解包括：按照所述第一任务请求数据对应的数据获取区域、数据对象、数据类型和/或数据传输速度对所述第一任务请求数据进行分解。具体的，对接收的原始任务请求即第一任务请求数据进行分解的过程，可以采用基于该任务请求数据的数据获取区域、数据对象、数据类型和/或数据传输速度等进行分解，例如，根据不同的数据对象，第一任务请求数据涉及到A、B、C等若干业务的数据，那么将第一任务请求数据分解为分别从获取A业务的的一个第二任务请求数据，获取B业务的一个第二任务请求数据，依次类推，能够获取到第一任务请求数据对应的多个第二任务请求数据。
S3：根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
可选的，所述第二预设规则与所述第一预设规则可以不同，且在所述步骤S3中，根据所述第二预设规则对每个所述第二任务请求数据进行分解包括：按照所述第二任务请求数据对应的数据获取区域、数据对象、数据类型和/或数据传输速度对每个所述第二任务请求数据进行分解。
具体地，对第二任务请求数据进行分解也可以依据对应的数据获取区域、数据对象、数据类型和/或数据传输速度对每个所述第二任务请求数据进行分解，其分解可以第一任务请求数据的分解不同，例如，其可以基于地区对第二任务请求数据进行分解，例如对A业务对应的第二任务请求数据，其对应甲、乙、丙等地区的请求数据，此时可以基于地区进行再次分解获取A业务甲地区对应的第三任务请求数据，A业务乙地区对应的第三任务请求数据，依次类推，能够获取到第二任务请求数据对应的多个第三任务请求数据。在基于数据传输速度进行分解的时候，其可以考虑每次服务请求数据传输数据量不超过上限，以提高传输速率。
对每个第二任务请求数据可以按照第二预设规则进行分解，获取对应的多个第三任务请求数据。还可以理解的是，各个分解过程可以为动态的分解，例如，每次服务请求传输数据量不超过5万行，超过限额，动态的将服务请求分解为满足要求的服务请求。
S4：根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
可选地，在所述步骤S4中，根据所述第三预设规则对所述多个第三任务请求数据进行分组生成多个任务队列，包括：依次获取与所述第三任务请求数据对应的任务量、与所述第三任务请求数据对应的所述微服务的空闲资源、以及与所述第三任务请求数据对应的预处理时间；按照所述任务量、所述空闲资源和/或所述预处理时间动态的生产所述任务队列。
具体地，在对多个第三任务请求数据进行分组形成任务队列时，还可以基于第三任务数据对应的任务量，以及第三任务数据对应的微服务的空闲资源以及第三任务请求数据对应的预处理时间对任务队列进行排队。监控微服务的空闲资源即可以通过监控各个微服务的运行情况，获取当前各个微服务的资源应用情况，快速感知系统流量变化，找出系统瓶颈,并根据该系统瓶颈优化任务队列。
同时，还可以监控接口服务的负载、CPU、内存、磁盘、网络的应用情况以及监控服务请求的实时调用情况，服务响应时间、吞吐率、关键链路分析情况，监控接口运行环境的指标，包括但不限于：堆内存、类加载情况、线程池、连接器的情况等情况来获取微服务的空闲资源。
根据第三预设规则将生成的多个第三任务请求数据进行分组排列，生成多个任务队列。
S5：根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
根据第一任务请求数据获取对应的第一服务，然后根据生成的任务队列获取第一服务对应的微服务，即任务队列中的第三任务请求数据分别获取其对应的微服务进行数据处理，以提高处理效率。
值得说明的是，在所述步骤S5中，通过所述第一服务对应的所述微服务对所述多个任务队列进行数据处理，包括：按照所述任务量、所述空闲资源和/或所述预处理时间动态调用所述任务队列所对应的所述微服务。具体的，对数据处理过程中，其可以基于所述按照所述任务量、所述空闲资源和/或所述预处理时间调用的微服务，进行任务队列的数据处理。其具体处理过程可以为：先分析各分组队列的规模，初步综合估算出各组服务请求需要的资源及当前剩余的微服务的服务节点数量，根据服务监控对服务的动态评估情况，允许多个第三任务请求数据在同一微服务进行处理，或将同一个任务队列的第三任务请求数据拆分成更细的多个微服务请求分配到不同的微服务节点进行处理。对每个任务队列进行汇总，只有当前的第三任务请求数据完成后，才能激活后续第三任务请求数据请求，每个第三任务请求数据处理完成后返回请求处理完成信息，并生成接口调用情况报告和异常信息。在批处理服务请求的过程中，当某个微服务节点等待请求任务队列过长，会影响全部批处理完成时，则根据资源监控中心评估的结果，将在后面排队的任务分配到其他节点进行处理。针对某些第三任务请求数据处理时间过长或服务请求调用异常等异常情况，系统挂起该第三任务请求数据，并根据第三任务请求数据异常日志信息，执行回滚程序，重新对挂起的第三任务请求数据进行调度。
本发明实施例提供的数据处理方法，在不同任务队列中的第三任务请求数据，可以获取不同的微服务，基于微服务的工作状况，进行并行或者串行处理。例如，在第一服务对应的微服务数量资源充足的时候，可以对任务队列中的第三任务请求数据进行并行处理；而在该第一服务对应的微服务资源紧张时，可以对该任务队列中的第三任务请求数据进行串行处理。本发明实施例提供的数据处理方法，通过灵活的数据处理过程设置，能够大大的提高数据处理速度，同时能够提高数据处理的灵活性。
以下为本发明一种数据处理方法的另一个实施例：
S100：建立多个第一服务，对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务；
具体的，在步骤S100中，基于业务需要，在建立第一服务的同时，可以对每个所述第一服务可以建立多个第二服务，每个所述第二服务可以包括多个微服务。
S200：获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
可以理解的是，对每个第一任务请求数据分解得到多个第二任务请求数据，对每个第一服务建立对应的多个第二服务，每个第二任务请求数据都有一个与其一一对应的第二服务，即每个第二服务可以与第一服务请求数据分解得到的第二任务请求数据一一对应。每个第二任务请求数据可以获取与其对应的第二服务。
S300：根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
S400：根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
在所述步骤S400中，所述根据第三预设规则对多个所述第三任务请求数据进行分组生成多个任务队列；可以根据所述第二服务对多个所述第三任务请求数据进行分组，以生成多个所述任务队列。
S500：根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
通过对每个第一服务建立多个第二服务，每个第二服务可以包含多个微服务，利用所述微服务对所述任务队列进行数据处理的具体过程为：首先，第一任务请求数据获取对应的第一服务；然后，根据第一任务请求数据分解得到的每个第二任务请求数据获取与其对应的第二服务，利用该第二服务对根据该第二任务请求数据分解得到的多个第三任务请求数据进行分组，以得到多个任务队列；最后，利用该第二服务包含的多个微服务对多个任务队列分别对应的第三任务请求数据进行数据处理，通过第二服务对应的微服务对任务队列进行并行或者串行处理。
在一获取配电网设备运行效率的数据处理过程的实施例中，其建立基于配电网设备运行效率的多个第一服务。建立第一服务的时候，每个第一服务包括多个微服务，其通过微服务来执行具体的数据处理。例如，其中的微服务可以包括用来执行变压器运行效率计算的变压器运行效率计算微服务、变压器运行效率计算微服务、变压器运行效率计算微服务等；用来执行中压馈线运行效率计算的中压馈线运行效率计算微服务、中压馈线运行效率计算微服务、中压馈线运行效率计算微服务等；用来执行高压线路运行效率计算的高压线路运行效率计算微服务、高压线路运行效率计算微服务、高压线路运行效率计算微服务等，微服务的数量和类型可以根据需要任意配置。
具体地，第一任务请求数据对应其中一个第一服务，例如第一任务请求数据为获取其中某一省配电网设备运行效率，基于该第一任务请求数据涉及的设备类型，将该第一任务请求数据进行分解，例如，分解为获取配网变压器设备运行效率、获取主变变压器设备运行效率、获取中压馈线设备运行效率和获取高压线路运行效率等第二任务请求数据。
对这些第二任务请求数据继续基于地域进行分解，例如，对“获取配网变压器设备运行效率”这个第二任务请求数据进行分解，可以分解为获取A地区的配网变压器设备运行效率、获取B地区的配网变压器设备运行效率、获取C地区的配网变压器设备运行效率等；同理，对获取主变变压器设备运行效率、获取中压馈线设备运行效率和获取高压线路运行效率分别进行相同或相似分解，以获取第三任务请求数据。对第二任务请求数据进行分解，这样可以形成多个第三任务请求数据。通过服务路由对多个第三任务请求数据进行分组生成多个任务对列。
同时，在根据第一任务请求数据获取对应的第一服务时，其可以通过第一服务对应的微服务对形成队列的任务请求数据进行处理，微服务处理过程中其通过建立的公共数据库获取数据。公共的数据数据可以包括用户档案数据、设备运行维护数据、设备实时量测数据、外部经济形势数据等。
本发明实施例提供的数据处理方法，能够实现接口服务任务的动态分解及并行处理，提高批量接口数据的处理效率，同时，能增强接口服务配置的灵活性，减少额外资源的开销。
请参阅附图2，本发明还提供了数据处理系统的一个实施例，包括：
第一服务建立单元，用于建立多个第一服务；其中，每个所述第一服务包含多个微服务；
第一任务分解单元，用于获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
第二任务分解单元，用于根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
任务队列生成单元，用于根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
任务队列处理单元，用于根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
可选地，还包括：第二服务建立单元，用于对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。
所述第一任务分解单元根据第一预设规则对每个所述第一任务请求数据进行分解进一步包括：所述第一任务分解单元根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解。
所述第二任务分解单元根据第二预设规则对每个所述第二任务请求数据进行分解进一步包括：所述第二任务分解单元根据与所述第二任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第二任务请求数据进行分解。
所述任务队列生成单元用于根据第三预设规则对多个所述第三任务请求数据进行分组进一步包括：所述任务队列生成单元用于根据与所述第三任务请求数据对应的任务量、对应的微服务的空闲资源及对应的预处理时间对多个所述第三任务请求数据进行分组。
具体地，这里的一种数据处理系统的各单元之间具体的配合操作过程具体可以参照上述一种数据处理方法，这里不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
建立多个第一服务；其中，每个所述第一服务包含多个微服务；
获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
所述根据第一预设规则对每个所述第一任务请求数据进行分解进一步包括：
根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解；
根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
2.根据权利要求1所述的数据处理方法，其特征在于，所述建立多个第一服务之后还包括：对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据第二预设规则对每个所述第二任务请求数据进行分解进一步包括：根据与所述第二任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第二任务请求数据进行分解。
4.根据权利要求1所述的数据处理方法，其特征在于，所述根据第三预设规则对多个所述第三任务请求数据进行分组进一步包括：根据与所述第三任务请求数据对应的任务量、对应的微服务的空闲资源及对应的预处理时间对多个所述第三任务请求数据进行分组。
5.一种应用了如权利要求1至4任意一项数据处理方法的数据处理系统，其特征在于，包括：
第一服务建立单元，用于建立多个第一服务；其中，每个所述第一服务包含多个微服务；
第一任务分解单元，用于获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；
所述第一任务分解单元根据第一预设规则对每个所述第一任务请求数据进行分解进一步包括：
所述第一任务分解单元根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解；
第二任务分解单元，用于根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；
任务队列生成单元，用于根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；
任务队列处理单元，用于根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。
6.根据权利要求5所述的数据处理系统，其特征在于，还包括：
第二服务建立单元，用于对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。
7.根据权利要求5所述的数据处理系统，其特征在于，所述第二任务分解单元根据第二预设规则对每个所述第二任务请求数据进行分解进一步包括：
所述第二任务分解单元根据与所述第二任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第二任务请求数据进行分解。
8.根据权利要求5所述的数据处理系统，其特征在于，所述任务队列生成单元用于根据第三预设规则对多个所述第三任务请求数据进行分组进一步包括：
所述任务队列生成单元用于根据与所述第三任务请求数据对应的任务量、对应的微服务的空闲资源及对应的预处理时间对多个所述第三任务请求数据进行分组。
CN202010311150.XA 2020-04-20 2020-04-20 一种数据处理方法及系统 Active CN111506409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010311150.XA CN111506409B (zh) 2020-04-20 2020-04-20 一种数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010311150.XA CN111506409B (zh) 2020-04-20 2020-04-20 一种数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN111506409A CN111506409A (zh) 2020-08-07
CN111506409B true CN111506409B (zh) 2023-05-23

Family

ID=71876251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010311150.XA Active CN111506409B (zh) 2020-04-20 2020-04-20 一种数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN111506409B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667673A (zh) * 2021-01-06 2021-04-16 云南电网有限责任公司信息中心 配网运营数据监控方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505186B1 (en) * 1998-04-27 2003-01-07 Hitachi, Ltd. Method of managing feature data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169743A (zh) * 2007-11-27 2008-04-30 南京大学 电力网格中基于多核计算机实现并行潮流计算的方法
CN102763086A (zh) * 2012-01-18 2012-10-31 华为技术有限公司 分布式计算任务处理系统和任务处理方法
CN103701921A (zh) * 2013-12-31 2014-04-02 曙光云计算技术有限公司 云环境下基于接口调用的业务实现方法和装置
CN106888106A (zh) * 2015-12-16 2017-06-23 国家电网公司 智能电网中的it资产大规模侦测系统
CN106777141B (zh) * 2016-12-19 2019-07-12 国网山东省电力公司电力科学研究院 一种融合多源异构电网数据的获取和分布式存储方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6505186B1 (en) * 1998-04-27 2003-01-07 Hitachi, Ltd. Method of managing feature data

Also Published As

Publication number Publication date
CN111506409A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111049705B (zh) 一种监控分布式存储系统的方法及装置
CN109451072A (zh) 一种基于Kafka的消息缓存系统和方法
CN109739919B (zh) 一种用于电力系统的前置机和采集系统
CN107645562A (zh) 数据传输处理方法、装置、设备及系统
CN101820384A (zh) 一种集群服务动态分配方法及装置
CN112148484A (zh) 一种基于耦合度的微服务在线分配方法与系统
CN110430068A (zh) 一种特征工程编排方法及装置
CN108540568A (zh) 计算能力共享方法及智能设备
CN114500543B (zh) 一种基于分布式的弹性边缘采集系统及其应用方法
CN114070707A (zh) 一种互联网性能监控方法及系统
CN116700920A (zh) 云原生混合部署集群资源调度方法及装置
CN111506409B (zh) 一种数据处理方法及系统
CN106484459A (zh) 应用于JavaScript的流程控制方法和装置
CN117271142B (zh) 用于分析概率安全分析模型的负载均衡方法和任务调度器
CN111324644A (zh) 大型微服务架构下的数据库连接风暴的监控方法及装置
CN111539281B (zh) 分布式人脸识别方法及系统
CN112364005A (zh) 数据同步方法、装置、计算机设备及存储介质
CN110868330B (zh) 云平台可划分cpu资源的评估方法、装置及评估系统
CN111010290A (zh) 业务日志的处理方法、装置、电子设备及存储介质
CN113795032B (zh) 室分隐形故障的判断方法、装置、存储介质及设备
CN110119300A (zh) 虚拟单元集群的负载均衡方法和装置
CN112883110A (zh) 一种基于nifi的终端大数据分发方法、存储介质及系统
CN106130797A (zh) 一种基于报文流量的云计算集群服务状态监控方法和系统
CN111913791A (zh) 任务调度方法、装置、设备和计算机可读存储介质
Liu et al. Distributed ale in rfid middleware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant