CN113419863B - 一种基于节点能力的数据分配处理方法及装置 - Google Patents

一种基于节点能力的数据分配处理方法及装置 Download PDF

Info

Publication number
CN113419863B
CN113419863B CN202110752209.3A CN202110752209A CN113419863B CN 113419863 B CN113419863 B CN 113419863B CN 202110752209 A CN202110752209 A CN 202110752209A CN 113419863 B CN113419863 B CN 113419863B
Authority
CN
China
Prior art keywords
processing
node
preselected
data
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110752209.3A
Other languages
English (en)
Other versions
CN113419863A (zh
Inventor
林梓鹏
周亮
杜劲松
赵仕嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Original Assignee
Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Planning and Designing Institute of Telecommunications Co Ltd filed Critical Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Priority to CN202110752209.3A priority Critical patent/CN113419863B/zh
Publication of CN113419863A publication Critical patent/CN113419863A/zh
Application granted granted Critical
Publication of CN113419863B publication Critical patent/CN113419863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种基于节点能力的数据分配处理方法及装置，该方法应用于具有若干处理节点的数据分配处理系统中，该数据分配处理系统包括负载均衡节点，该方法包括：负载均衡节点响应于针对目标数据的第一数据处理请求，根据第一数据处理请求，从所有处理节点中确定出预选处理节点组；确定预选处理节点组中每个预选处理节点的基础能力；根据每个预选处理节点的基础能力，从预选处理节点组中确定出目标处理节点组；分配目标数据至目标处理节点组进行处理。可见，本发明能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，提高数据分配处理效率，有利于提高整个系统的处理性能。

Description

一种基于节点能力的数据分配处理方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种基于节点能力的数据分配处理方法及装置。
背景技术
当前，随着云计算和网络技术的发展，数据分布式处理的规模和需求在急剧上升，用户对数据处理的速度和质量要求也越来越高。
现有技术中，由于分布式服务器集群中每个服务节点的负载情况不同，常用的数据分布式处理方法往往通过两类算法来进行负载均衡处理：1)基于轮询的负载均衡算法，该类算法通过静态或动态地查询所有服务节点，来确定目标服务节点；2)基于最小连接的负载均衡算法，该类算法通过计算服务节点当前的连接数量来确定目标服务节点。其中，第一类算法无法考虑节点的实际使用情况，容易造成负载压力过大，导致处理成本过高的问题；相较于第一类算法而言，第二类算法虽然考虑到了服务节点的实际使用情况，但是连接数并不能完全表征处理节点的负载情况，导致无法充分发挥分布式系统中各个服务节点的性能，调度处理资源效率低下，降低了数据处理的速度和质量。
可见，随着数据规模的增长以及复杂度的提高，现有技术均存在无法充分考虑实际使用情况，分配调度效率低下的问题，已经不能满足数据分布式处理的需求。
发明内容
本发明所要解决的技术问题在于，提供一种基于节点能力的数据分配处理方法及装置，能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，提高数据分配处理效率，有利于提高整个系统的处理性能。
为了解决上述技术问题，本发明第一方面公开了一种基于节点能力的数据分配处理方法，所述方法应用于具有若干处理节点的数据分配处理系统中，所述数据分配处理系统包括负载均衡节点，所述方法包括：
所述负载均衡节点响应于针对目标数据的第一数据处理请求，根据所述第一数据处理请求，从所有所述处理节点中确定出预选处理节点组；所述预选处理节点组包括一个或多个预选处理节点；
确定所述预选处理节点组中每个所述预选处理节点的基础能力，每个所述预选处理节点的基础能力至少包括每个所述预选处理节点对应的处理能力和负载能力；
根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组；其中，所述目标处理节点组包括一个或多个目标处理节点；
分配所述目标数据至所述目标处理节点组进行处理；
所述根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组，包括：
根据每个所述预选处理节点的基础能力的排序情况，维护一个或多个优先级队列，从所述预选处理节点组中选取优先级队列依次取得排序靠前的预选处理节点组成目标处理节点组。
作为一种可选的实施方式，在本发明第一方面中，所述确定所述预选处理节点组中每个所述预选处理节点的基础能力，包括：
确定所述预选处理节点组中每个所述预选处理节点对应的处理能力和负载能力，以及所述处理能力和所述负载能力分别对应的加权权重，并对每个所述预选处理节点对应的所述处理能力和所述负载能力进行加权计算，得到每个所述预选处理节点的基础能力。
作为一种可选的实施方式，在本发明第一方面中，所述确定所述预选处理节点组中每个所述预选处理节点对应的处理能力，包括：
对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点在所述数据分配处理系统中的第一权重系数；
根据该预选处理节点的第一权重系数，计算该预选处理节点对应的处理能力，其中计算公式为：
Figure SMS_1
其中，Xk为该预选处理节点的处理能力，Tk为该预选处理节点当前的任务数，αk该预选处理节点的第一权重系数。
作为一种可选的实施方式，在本发明第一方面中，所述确定该预选处理节点在所述数据分配处理系统中的第一权重系数，包括：
确定所述数据分配处理系统中所有所述处理节点的历史数据；
根据所述历史数据计算该预选处理节点的第一权重系数的计算公式为：
Figure SMS_2
其中，αk为该预选处理节点的第一权重系数；Ckj为该预选处理节点中第j个处理单元处理数据的历史次数，Dkj为该预选处理节点中第j个处理单元的处理能力，m为该预选处理节点中处理单元的总数，n为所述数据分配处理系统中处理节点的总数。
作为一种可选的实施方式，在本发明第一方面中，所述确定所述预选处理节点组中每个所述预选处理节点对应的负载能力，包括：
对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点中每个硬件负载的当前使用率以及每个硬件资源的第二权重系数，并对该预选处理节点在其对应的所述硬件资源的当前使用率进行加权计算，得到该预选处理节点的负载能力。
作为一种可选的实施方式，在本发明第一方面中，所述硬件资源的第二权重系数包括：
CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数；
其中，CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数的总和为1，且所有所述权重系数的大小顺序为：带宽权重系数>CPU权重系数>内存权重系数>硬盘权重系数。
作为一种可选的实施方式，在本发明第一方面中，所述根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组，包括：
根据所有所述预选处理节点的基础能力强弱程度，确定所有所述预选处理节点对应的基础能力排序信息；
确定每个所述预选处理节点的满载处理能力与其当前已占用处理能力的差值，并根据所有所述预选处理节点的所述差值与所述目标处理数据所需处理能力的大小关系，确定所有所述预选处理节点对应的剩余处理能力排序信息；
根据所述基础能力排序信息以及所述剩余处理能力排序信息，从所述预选处理节点组中确定出目标处理节点组。
本发明第二方面公开了一种基于节点能力的数据分配处理装置，所述装置应用在具有若干处理节点的数据分配处理系统中，所述装置包括：
第一筛选模块，用于响应针对目标数据的第一数据处理请求，根据所述第一数据处理请求，从所有所述处理节点中确定出预选处理节点组；所述预选处理节点组包括一个或多个预选处理节点；
确定模块，用于确定所述预选处理节点组中每个所述预选处理节点的基础能力，所述每个所述预选处理节点的基础能力至少包括每个所述预选处理节点对应的处理能力和负载能力；
第二筛选模块，用于根据所述确定模块确定出的每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组；其中，所述目标处理节点组包括一个或多个目标处理节点；
处理模块，用于分配所述目标数据至所述目标处理节点组进行处理；
其中，所述第二筛选模块根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组的具体方式表现为：
根据每个所述预选处理节点的基础能力的排序情况，维护一个或多个优先级队列，从所述预选处理节点组中选取优先级队列依次取得排序靠前的预选处理节点组成目标处理节点组。
作为一种可选的实施方式，在本发明第二方面中，所述确定模块，包括：
第一确定子模块，用于确定所述预选处理节点组中每个所述预选处理节点对应的处理能力以及所述处理能力对应的加权权重；
第二确定子模块，用于确定所述预选处理节点组中每个所述预选处理节点对应的负载能力以及所述负载能力对应的加权权重；
计算模块子模块，用于对每个所述预选处理节点对应的所述处理能力和所述负载能力进行加权计算，得到每个所述预选处理节点的基础能力。
作为一种可选的实施方式，在本发明第二方面中，所述第一确定子模块，包括：
第一权重单元，用于对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点在所述数据分配处理系统中的第一权重系数；
第一计算单元，用于根据该预选处理节点的第一权重系数，计算该预选处理节点对应的处理能力，其中计算公式为：
Figure SMS_3
其中，Xk为该预选处理节点的处理能力，Tk为该预选处理节点当前的任务数，αk该预选处理节点的第一权重系数。
作为一种可选的实施方式，在本发明第二方面中，所述第一权重单元确定该预选处理节点在所述数据分配处理系统中的第一权重系数的具体方式为：
确定所述数据分配处理系统中所有所述处理节点的历史数据；
根据所述历史数据计算该预选处理节点的第一权重系数的计算公式为：
Figure SMS_4
其中，αk为该预选处理节点的第一权重系数；Ckj为该预选处理节点中第j个处理单元处理数据的历史次数，Dkj为该预选处理节点中第j个处理单元的处理能力，m为该预选处理节点中处理单元的总数，n为所述数据分配处理系统中处理节点的总数。
作为一种可选的实施方式，在本发明第二方面中，所述第二确定子模块，包括：
第二权重单元，用于对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点中每个硬件负载的当前使用率以及每个硬件资源的第二权重系数；
第二计算单元，用于对该预选处理节点在其对应的所述硬件资源的当前使用率进行加权计算，得到该预选处理节点的负载能力。
作为一种可选的实施方式，在本发明第二方面中，所述硬件资源的第二权重系数包括：
CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数；
其中，CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数的总和为1，且所有所述权重系数的大小顺序为：带宽权重系数>CPU权重系数>内存权重系数>硬盘权重系数。
作为一种可选的实施方式，在本发明第二方面中，所述第二筛选模块，包括：
第一排序子模块，用于根据所有所述预选处理节点的基础能力强弱程度，确定所有所述预选处理节点对应的基础能力排序信息；
第二排序子模块，用于确定每个所述预选处理节点的满载处理能力与其当前已占用处理能力的差值，并根据所有所述预选处理节点的所述差值与所述目标处理数据所需处理能力的大小关系，确定所有所述预选处理节点对应的剩余处理能力排序信息；
筛选子模块，用于根据所述基础能力排序信息以及所述剩余处理能力排序信息，从所述预选处理节点组中确定出目标处理节点组。
本发明第三方面公开了另一种基于节点能力的数据分配处理装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的一种基于节点能力的数据分配处理方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，所述计算机程序代码被调用时，用于执行本发明第一方面公开的一种基于节点能力的数据分配处理方法中的部分或全部步骤。
与现有技术相比，本发明具有以下有益效果：
本发明应用于具有若干处理节点的数据分配处理系统中，该数据分配处理系统包括负载均衡节点，本发明包括：负载均衡节点响应于针对目标数据的第一数据处理请求，根据第一数据处理请求，从所有处理节点中确定出预选处理节点组；确定预选处理节点组中每个预选处理节点的基础能力；根据每个预选处理节点的基础能力，从预选处理节点组中确定出目标处理节点组；分配目标数据至目标处理节点组进行处理。可见，本发明能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，提高数据分配处理效率，有利于提高整个系统的处理性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于节点能力的数据分配处理方法的流程示意图；
图2是本发明实施例公开的另一种基于节点能力的数据分配处理方法的流程示意图；
图3是本发明实施例公开的一种基于节点能力的数据分配处理装置的结构示意图；
图4是本发明实施例公开的另一种基于节点能力的数据分配处理装置的结构示意图；
图5是本发明实施例公开的又一种基于节点能力的数据分配处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明涉及一种基于节点能力的数据分配处理方法及装置，该基于节点能力的数据分配处理方法及装置能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析。其中，数据分配处理包括对数据的采集、存储、检索、加工、变换和传输等，本发明实施例不做限定。本发明一个或多个实施例可以应用于任意基于节点能力的数据分配处理系统中，包括数据分布式处理系统，也可以应用于多核处理系统中，还可以是多线程/进程处理系统中，本发明实施例亦不做限定。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于节点能力的数据分配处理方法的流程示意图。其中，图1所描述的方法可以应用于基于节点能力的数据分配处理装置中，该基于节点能力的数据分配处理装置可以是一个独立的装置，也可以集成在数据处理设备中，本发明实施例不做限定。如图1所示，该基于节点能力的数据分配处理方法可以包括以下操作：
101、数据分配处理系统的负载均衡节点响应于针对目标数据的第一数据处理请求，根据该第一数据处理请求，从所有处理节点中确定出预选处理节点组。
本发明实施例中，数据分配处理系统中设置有若干处理节点，同时设置有具有处理和存储功能的负载均衡节点或者其他具有服务节点集群管理功能的服务器。需要说明的是，任何处理节点都可以作为负载均衡节点(可以通过软件或/和硬件实现)，本发明实施例并不限定负载均衡节点的数量。其中，负载均衡节点可以与系统中其他节点通信连接，可以发送处理指令至其他处理节点，还可以监测各个处理节点的状态。此外，数据处理请求可以包括所需处理数据的数据类型、所需处理数据的数据量、所需处理数据是否经本数据处理系统处理过、所需处理数据的期望处理完毕的时间、所需处理数据是否可分割等信息，本发明实施例不做限定。
本发明实施例中，当负载均衡节点响应于针对目标数据的数据处理请求时(也即上述的第一数据处理请求)，负载均衡节点能够根据数据处理请求，从所有处理节点中确定出预选处理节点组，其中，预选处理节点组可以是全部的处理节点，也可以是部分处理节点，可以根据实际情况进行确定，本发明实施例不做限定。例如，如果处理的任务是存储一段视频，考虑到视频分解存储以及后续读取完整视频时的合并速度和难度，可以选择部分(视频存储专用)的处理节点组成预处理节点组，同时也便于负载均衡节点可以仅与预处理节点组中的节点建立通信连接，避免不必要的资源浪费。
102、确定该预选处理节点组中每个预选处理节点的基础能力。
本发明实施例中，在确定出预选处理节点组之后，需要确定该预选处理节点组中每个预选处理节点的当前的基础能力，其中，基础能力用于表示每个预选处理节点的处理数据的综合能力，且该基础能力可以是当前实时的基础能力结果，也可以是历史的基础能力结果，本发明实施例不做限定。另外，每个预选处理节点的基础能力至少包括每个预选处理节点对应的处理能力和负载能力，本发明实施例不做限定。
103、根据每个预选处理节点的基础能力，从该预选处理节点组中确定出目标处理节点组；其中，该目标处理节点组包括一个或多个目标处理节点。
本发明实施例中，负载均衡节点通过建立的通信连接，监测并接收每个预选处理节点的基础能力，可以根据基础能力的排序情况，维护一个或多个优先级队列，例如基础能力由强到弱的队列、基础能力由弱到强的队列，还可以是基础能力中某一能力的优先级队列，例如处理能力由强到弱的队列、负载能力由强到弱的队列等，本发明实施例不作限定。进而负载均衡节点可以从优先级队列中依次取得排序靠前的预选处理节点组成目标处理节点组。
104、分配目标数据至目标处理节点组进行处理。
本发明实施例中，负载均衡节点在确定出目标处理节点组之后，将目标数据分发给目标处理节点组进行处理，其中分发处理包括对数据的采集、存储、检索、加工、变换和传输等，本发明实施例不作限定。
可见，本发明实施例所描述的方法能够基于数据的类型和数据量，选择最优的处理节点，提高节点的利用效率，避免处理资源的浪费，同时能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析。
本发明实施例中，进一步可选的，数据处理请求可以是响应于数据分配处理系统之外的数据处理请求，也可以是响应于本数据分配处理系统中节点发送的数据处理请求，本发明实施例不做限定。负载均衡节点可以通过数据处理请求的标识位(所需处理数据是否经本数据处理系统处理过)来识别数据来源，如果目标数据和数据处理请求是来自数据分配处理系统中处理节点的，则可以对数据进行更细致化的处理分析。
可见，本发明实施例所描述的方法不仅能够处理外部来源的数据，还可以为内部来源数据提供一种精细化、便捷、有效的处理方法，有利于拓展数据分配处理方法的通用性，进而更能够提高节点的利用效率，避免处理资源的浪费。
在一个可选的实施例中，确定预选处理节点组中每个预选处理节点的基础能力，可以包括：
能力对应的加权权重，并对每个预选处理节点对应的处理能力和负载能力进行加权计算，得到每个预选处理节点的基础能力。
本发明实施例中，基于各个预选处理节点当前的处理能力和负载能力，则可以得到每个节点的基础能力，同样地，考虑处理能力和负载能力在不同场景中的需求不同，也对二者构成的基础能力中，增加二者相应的权重。具体地，根据处理能力和负载能力计算每个节点的基础能力的公式如下：
Zi＝γ1×Xi+γ2×Yi
其中，Zi为第i个预选处理节点的基础能力，γ1和γ2分别为处理能力和负载能力在第i个预选处理节点中的权重，其中示例性的，γ1+γ2＝1。实际场景中可以根据实际情况进行权重系数以及权重总和的调整，例如，在某些场景中，对预选处理节点处理能力要求更高，可以确定预选处理节点组中每个预选处理节点对应的处理能力和负载能力，同时确定每个预选处理节点处理能力对应的加权权重以及每个预选处理节点负载设置γ1＝0.7等。
可见，本发明实施例所描述的方法能够考虑处理能力和负载能力在不同场景中的需求，调整相应的权重系数，以适用不同的应用场景，极大提高数据分配处理方法的通用性和适用性，有利于提高数据处理的效率。
在该可选的实施例中，进一步可选的，确定预选处理节点组中每个预选处理节点对应的处理能力，可以包括如下操作：
对于预选处理节点组中任一预选处理节点，确定该预选处理节点在数据分配处理系统中的第一权重系数；
根据该预选处理节点的第一权重系数，计算该预选处理节点对应的处理能力，其中计算公式为：
Figure SMS_5
其中，Xk为该预选处理节点的处理能力，Tk为该预选处理节点当前的任务数，αk该预选处理节点的第一权重系数。
本发明实施例中，各个预选处理节点的处理能力即各个节点当前的任务数情况，可以通过每个预选处理节点对应的负载均衡节点获取，因为各个节点在数据分配处理系统中的权重不同，因此，在考虑节点在数据分配处理系统中的权重的情况下，可以通过本实施例的公式进行处理能力的计算。
可见，本发明实施例所描述的方法能够考虑实际处理过程中节点的任务情况，同时结合节点在数据分配处理系统中的权重情况，能够充分考虑数据分布式系统中节点的实际使用情况，进而更合理地对需要处理的数据进行处理分析。
在该可选的实施例中，进一步可选的，确定该预选处理节点在数据分配处理系统中的第一权重系数，可以包括如下操作：
确定数据分配处理系统中所有处理节点的历史数据；
根据历史数据计算该预选处理节点的第一权重系数的计算公式为：
Figure SMS_6
其中，αk为该预选处理节点的第一权重系数；Ckj为该预选处理节点中第j个处理单元处理数据的历史次数，Dkj为该预选处理节点中第j个处理单元的处理能力，m为该预选处理节点中处理单元的总数，n为数据分配处理系统中处理节点的总数。
需要说明的是，上述第一权重的计算公式中，被除数是预选处理节点在历史数据中的处理能力大小，而除数是数据分配处理系统中所有节点处理能力大小的总和，通过该公式可以明显知晓
Figure SMS_7
可见，本发明实施例所描述的方法考虑到数据分配处理系统初始搭建阶段，基于硬件水平设定的第一权重，是固定不便的，不利于实际处理过程中资源的调配的缺陷，因此在系统运行一段时间之后，可以根据历史数据动态调整各个节点的第一权重，从而使得每个节点的处理能力更加合理。
在该可选的实施例中，进一步可选的，确定预选处理节点组中每个预选处理节点对应的负载能力，包括：
对于预选处理节点组中任一预选处理节点，确定该预选处理节点中每个硬件负载的当前使用率以及每个硬件资源的第二权重系数，并对该预选处理节点在其对应的硬件资源的当前使用率进行加权计算，得到该预选处理节点的负载能力。
本发明实施例中，因为不同的负载等级可以对应有不同的数据处理能力，各个预选处理节点的负载能力即其硬件资源的使用情况，本发明主要考虑节点的每个硬件资源的当前使用率以及每个硬件资源对应的权重系数。
可见，本发明实施例所描述的方法能够有助于数据分配处理系统平稳的达到负载上限，避免仅通过节点的当前任务数量，作为判断是否需要进行分配平衡机制的参考指标，避免出现瞬时负载过高冲破数据分配处理系统的保护情况，从而增强了数据分配处理系统的稳定性和安全性。
在该可选的实施例中，进一步可选的，硬件资源的第二权重系数，可以包括：
CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数；
其中，CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数的总和为1，且所有权重系数的大小顺序为：带宽权重系数>CPU权重系数>内存权重系数>硬盘权重系数。
本发明实施例中，主要考虑节点的CPU使用率、内存使用率、带宽使用率以及硬盘使用率，当然，也可以在考虑其他的因素，本发明实施例不做限定，例如硬盘I/O使用率等。
举例说明，各节点当前的负载能力为：
Yi＝β1×Ei1+β2×Ei2+β3×Ei3+β4×Ei4
其中，Yi为第i个节点当前的负载能力，Ei1、Ei2、Ei3、Ei4分别为第i个节点当前的CPU使用率、内存使用率、带宽使用率以及硬盘使用率；β1-β4分别为CPU、内存、带宽和硬盘在节点中的权重，为示区分，称为第二权重系数，β1+β2+β3+β4＝1。需要说明的是，本发明实施例中，考虑CPU和带宽的要求较高，内存次之，因此，示例性地，可以设定β1-β4分别为0.3、0.2、0.4和0.1。
可见，本发明实施例所描述的方法能够充分考虑各个硬件资源的使用情况，可以根据实际情况调配硬件资源的权重系数，有利于精细化计算各个节点的负载能力，能够全面评价节点的负载能力，避免单一硬件构成对负载能力的局限影响，有效提高方法的通用性。
在又一个可选的实施例中，根据每个预选处理节点的基础能力，从预选处理节点组中确定出目标处理节点组，可以包括如下操作：
根据所有预选处理节点的基础能力强弱程度，确定所有预选处理节点对应的基础能力排序信息；
确定每个预选处理节点的满载处理能力与其当前已占用处理能力的差值，并根据所有预选处理节点的差值与目标处理数据所需处理能力的大小关系，确定所有预选处理节点对应的剩余处理能力排序信息；
根据基础能力排序信息以及剩余处理能力排序信息，从预选处理节点组中确定出目标处理节点组。
本发明实施实施例中，需要说明的是，本发明实施例并不限定对预处理节点的基础能力排序以及剩余处理能力排序的先后顺序，可以先对基础能力进行排序之后，再在此基础能力排序基础上，根据剩余处理能力信息，从预选处理节点对应的基础能力排序结果中筛选出目标处理节点组。也可以，先对剩余处理能力进行排序之后，再在此剩余处理能力排序基础上，根据基础能力排序信息，从预选处理节点对应的剩余能力排序结果中筛选出目标处理节点组。
举例说明，假如需要进行处理的任务是视频的存储，可以先获取每个节点的剩余硬盘容量，比对剩余硬盘容量和待存储视频的大小，将剩余硬盘容量大于待存储视频大小的节点构建成剩余能力排序结果；然后在从剩余能力排序结果中选取基础能力最小的节点作为目标节点。此外，还可以根据节点基础能力强弱程度，对节点先进行基础能力的排序，得到基础能力排序结果,再从基础能力排序结果中选出最前的能够满足待存储视频的大小的节点作为目标节点，两种方式在最终获得的结果上是一致的。
可见，本发明实施例所描述的方法能够充分考虑数据分配处理系统中节点的实际使用情况，以及根据各节点的历史数据，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析，提高数据分配处理系统的处理效率和质量，进一步合理利用各节点的处理资源。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于节点能力的数据分配处理方法的流程示意图。其中，图2所描述的方法可以应用于基于节点能力的数据分配处理装置中，该基于节点能力的数据分配处理装置可以是一个独立的装置，也可以集成在数据处理设备中，本发明实施例不做限定。如图2所示，该基于节点能力的数据分配处理方法可以包括以下操作：
201、数据分配处理系统的负载均衡节点响应于针对目标数据的第一数据处理请求。
202、判断第一数据处理请求的数据来源是否来自该数据分配处理系统，当判断出数据来源不是来自该数据分配处理系统时，触发执行步骤203的操作；当判断出第一数据处理请求的数据来源是来自该数据分配处理系统时，触发执行步骤206的操作。
本发明实施例中，负载均衡节点可以通过数据处理请求的标识位(例如所需处理数据是否经本数据处理系统处理过)来识别数据来源，如果目标数据和数据处理请求是来自该数据分配处理系统中处理节点的，则可以依据历史处理过程，直接选定原处理过程中的目标处理节点组作为本次处理的目标处理节点组，触发执行步骤206的分配目标数据至目标处理节点组进行处理的操作；如果目标数据和数据处理请求不是来自该数据分配处理系统中处理节点的，则仍然按照本方法进行常规处理。
203、确定该预选处理节点组中每个预选处理节点的基础能力。
204、根据每个预选处理节点的基础能力，从该预选处理节点组中确定出目标处理节点组；其中，该目标处理节点组包括一个或多个目标处理节点。
205、根据目标处理节点组的基础能力，对目标数据进行切分处理。
本发明实施例中，在步骤206执行分配目标数据至目标处理节点组进行处理的操作之前，负载均衡节点还可以对目标数据进行切分或分割，按照目标节点组中目标节点的数目划分为相对应的份数，同时每份的数据量可以相同也可以不同，也可以根据各个节点的处理能力占总目标处理节点组总基础能力的占比进行调整，本发明实施例不做限定。例如，假如目标处理节点组中有4个目标处理节点，各个目标处理节点的基础能力占比分别是10％、20％、30％、40％，则可以将目标数据按照10％、20％、30％、40％的比例进行切分。
206、分配目标数据至目标处理节点组进行处理。
本发明实施例中，针对步骤201-步骤206的其它描述，请分别对应参照实施例一中针对步骤101-步骤104的详细描述，本发明实施例不再赘述。
可见，本发明实施例所描述的方法能够基于数据的类型和数据来源，选择最优的处理节点，提高节点的利用效率，避免处理资源的浪费，同时能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析，提高数据分配处理系统的处理效率和质量，进一步合理利用各节点的处理资源。
在一个可选的实施例中，在步骤206执行分配目标数据至目标处理节点组进行处理的操作之后，该方法还可以包括：
207、监测针对每个目标处理节点对其对应处理的切分数据的预计处理时长，当判断出该目标处理节点针对其对应处理的切分数据的预计处理时长超过预设阈值时，则触发执行回调处理机制。
本发明实施例中，负载均衡节点监测由每个目标处理节点发送的针对其对应处理的切分数据的预计处理时长，对于任一目标处理节点，当监测到该目标处理节点针对其对应处理的切分数据的预计处理时长超过预设阈值时，则触发执行回调处理机制，并接收由该目标处理节点发送的第二数据处理请求，其中，回调处理机制用于将目标数据进行二次分配处理，第二数据处理请求包括由该目标处理节点确定出的其对应处理的切分数据的未处理数据。
可见，本发明实施例所描述的方法能够动态监测各个节点对其对应处理的数据的预计处理时长，在判断出可能出现不能在预设时间内完成数据处理时，启动回调处理机制，对未处理的数据进行二次分配处理，提高本方法处理过程的适应性调整能力。
实施例三
请参阅图3，图3是本发明实施例公开的一种基于节点能力的数据分配处理装置的结构示意图。需要说明的是，该基于节点能力的数据分配处理装置参照的是实施例一和实施例二所描述的数据分配处理方法中的步骤，详细的描述在本实施例中就不做赘述，如图3所示，该基于节点能力的数据分配处理装置可以包括：
第一筛选模块301，用于响应针对目标数据的第一数据处理请求，根据第一数据处理请求，从所有处理节点中确定出预选处理节点组；预选处理节点组包括一个或多个预选处理节点；
确定模块302，用于确定预选处理节点组中每个预选处理节点的基础能力；
第二筛选模块303，用于根据确定模块确定出的每个预选处理节点的基础能力，从预选处理节点组中确定出目标处理节点组；其中，目标处理节点组包括一个或多个目标处理节点；
处理模块304，用于分配目标数据至目标处理节点组进行处理。
可见，本发明实施例所描述的装置能够基于数据的类型和数据量，选择最优的处理节点，提高节点的利用效率，避免处理资源的浪费，同时能够充分考虑数据分布式系统中节点的实际使用情况，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析。
在该可选的实施例中，第一筛选模块301，还可以用于判断第一数据处理请求的数据来源是否来自该数据分配处理系统，当判断出第一数据处理请求的数据来源是来自该数据分配处理系统时，触发处理模块304执行分配目标数据至目标处理节点组进行处理的操作。
在一个可选的实施例中，如图4所示，确定模块302可以包括：
第一确定子模块3021，用于确定预选处理节点组中每个预选处理节点对应的处理能力以及处理能力对应的加权权重；
第二确定子模块3022，用于确定预选处理节点组中每个预选处理节点对应的负载能力以及负载能力对应的加权权重；
计算模块子模块3023，用于对每个预选处理节点对应的处理能力和负载能力进行加权计算，得到每个预选处理节点的基础能力。
可见，本发明实施例所描述的装置能够考虑处理能力和负载能力在不同场景中的需求，调整相应的权重系数，以适用不同的应用场景，极大提高数据分配处理装置的通用性和适用性，有利于提高数据处理的效率。
在该可选的实施例中，进一步可选的是，第一确定子模块3021，可以包括：
第一权重单元，用于对于预选处理节点组中任一预选处理节点，确定该预选处理节点在数据分配处理系统中的第一权重系数；
第一计算单元，用于根据该预选处理节点的第一权重系数，计算该预选处理节点对应的处理能力，其中计算公式为：
Figure SMS_8
其中，Xk为该预选处理节点的处理能力，Tk为该预选处理节点当前的任务数，αk该预选处理节点的第一权重系数。
可见，本发明实施例所描述的装置能够考虑实际处理过程中节点的任务情况，同时结合节点在数据分配处理系统中的权重情况，能够充分考虑数据分布式系统中节点的实际使用情况，进而更合理地对需要处理的数据进行处理分析。
在该可选的实施例中，进一步可选的是，第一权重单元确定该预选处理节点在数据分配处理系统中的第一权重系数的具体方式为：
确定数据分配处理系统中所有处理节点的历史数据；
根据历史数据计算该预选处理节点的第一权重系数的计算公式为：
Figure SMS_9
其中，αk为该预选处理节点的第一权重系数；Ckj为该预选处理节点中第j个处理单元处理数据的历史次数，Dkj为该预选处理节点中第j个处理单元的处理能力，m为该预选处理节点中处理单元的总数，n为数据分配处理系统中处理节点的总数。
可见，本发明实施例所描述的装置考虑到数据分配处理系统初始搭建阶段，基于硬件水平设定的第一权重，是固定不便的，不利于实际处理过程中资源的调配的缺陷，因此在系统运行一段时间之后，可以根据历史数据动态调整各个节点的第一权重，从而使得每个节点的处理能力更加合理。
在另一个可选的实施例中，第二确定子模块3022，可以包括：
第二权重单元，用于对于预选处理节点组中任一预选处理节点，确定该预选处理节点中每个硬件负载的当前使用率以及每个硬件资源的第二权重系数；
第二计算单元，用于对该预选处理节点在其对应的硬件资源的当前使用率进行加权计算，得到该预选处理节点的负载能力。
可见，本发明实施例所描述的装置能够有助于数据分配处理系统平稳的达到负载上限，避免仅通过节点的当前任务数量，作为判断是否需要进行分配平衡机制的参考指标，避免出现瞬时负载过高冲破数据分配处理系统的保护情况，从而增强了数据分配处理系统的稳定性和安全性。
在该可选的实施例中，进一步可选的是，硬件资源的第二权重系数包括：
CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数；
其中，CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数的总和为1，且所有权重系数的大小顺序为：带宽权重系数>CPU权重系数>内存权重系数>硬盘权重系数。
可见，本发明实施例所描述的装置能够充分考虑各个硬件资源的使用情况，可以根据实际情况调配硬件资源的权重系数，有利于精细化计算各个节点的负载能力，能够全面评价节点的负载能力，避免单一硬件构成对负载能力的局限影响，有效提高方法的通用性。
在一个可选的实施例中，第二筛选模块303，可以包括：
第一排序子模块3031，用于根据所有预选处理节点的基础能力强弱程度，确定所有预选处理节点对应的基础能力排序信息；
第二排序子模块3032，用于确定每个预选处理节点的满载处理能力与其当前已占用处理能力的差值，并根据所有预选处理节点的差值与目标处理数据所需处理能力的大小关系，确定所有预选处理节点对应的剩余处理能力排序信息；
筛选子模块3033，用于根据基础能力排序信息以及剩余处理能力排序信息，从预选处理节点组中确定出目标处理节点组。
可见，本发明实施例所描述的装置能够充分考虑数据分配处理系统中节点的实际使用情况，以及根据各节点的历史数据，动态调整分配处理资源，进而更合理地对需要处理的数据进行处理分析，提高数据分配处理系统的处理效率和质量，进一步合理利用各节点的处理资源。
在另一个可选的实施例中，在第二筛选模块303确定出目标处理节点组之后，处理模块304执行分配目标数据至目标处理节点组进行处理之前，该基于节点能力的数据分配处理装置还可以包括分割模块305，用于根据目标处理节点组的基础能力，对目标数据进行切分处理。
可见，本发明实施例所描述的装置能够根据基础能力，适应地调整对目标数据的切分或分割，动态调整负载均衡策略，以达到整体处理节点的负载均衡优化目的。
在另一个可选的实施例中，在处理模块304执行分配目标数据至目标处理节点组进行处理之后，该基于节点能力的数据分配处理装置还可以包括监测模块306，用于监测针对每个目标处理节点对其对应处理的切分数据的预计处理时长，当判断出该目标处理节点针对其对应处理的切分数据的预计处理时长超过预设阈值时，则触发执行回调处理机制。
可见，本发明实施例所描述的装置能够动态监测各个节点对其对应处理的数据的预计处理时长，在判断出可能出现不能在预设时间内完成数据处理时，启动回调处理机制，对未处理的数据进行二次分配处理，提高本装置处理过程的适应性调整能力。
实施例四
请参阅图5，图5是本发明实施例公开的又一种基于节点能力的数据分配处理装置的结构示意图。如图5所示，该基于节点能力的数据分配处理装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或实施例二公开的基于节点能力的数据分配处理方法中的部分或全部步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或实施例二公开的基于节点能力的数据分配处理方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于节点能力的数据分配处理方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-onlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
需要说明的是本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在计算机(PC、嵌入式智能设备等)上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
最后应说明的是：本发明实施例公开的一种基于节点能力的数据分配处理方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于节点能力的数据分配处理方法，其特征在于，所述方法应用于具有若干处理节点的数据分配处理系统中，所述数据分配处理系统包括负载均衡节点，所述方法包括：
所述负载均衡节点响应于针对目标数据的第一数据处理请求，根据所述第一数据处理请求，从所有所述处理节点中确定出预选处理节点组；所述预选处理节点组包括一个或多个预选处理节点；
确定所述预选处理节点组中每个所述预选处理节点的基础能力，其中，每个所述预选处理节点的基础能力至少包括每个所述预选处理节点对应的处理能力和负载能力；
根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组；其中，所述目标处理节点组包括一个或多个目标处理节点；
分配所述目标数据至所述目标处理节点组进行处理；
所述根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组，包括：
根据每个所述预选处理节点的基础能力的排序情况，维护一个或多个优先级队列，从所述预选处理节点组中选取优先级队列依次取得排序靠前的预选处理节点组成目标处理节点组；
在所述根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组之后，所述方法还包括：
判断所述第一数据处理请求的数据来源是否来自所述数据分配处理系统，当判断出所述数据来源不是来自所述数据分配处理系统时，根据所述目标处理节点组的基础能力，对所述目标数据进行切分处理；
在所述分配所述目标数据至目标处理节点组进行处理之后，所述方法还包括：
监测针对每个目标处理节点对其对应处理的切分数据的预计处理时长，当判断出所述目标处理节点针对其对应处理的切分数据的预计处理时长超过预设阈值时，则触发执行回调处理机制。
2.根据权利要求1所述的基于节点能力的数据分配处理方法，其特征在于，所述确定所述预选处理节点组中每个所述预选处理节点的基础能力，包括：
确定所述预选处理节点组中每个所述预选处理节点对应的处理能力和负载能力，以及所述处理能力和所述负载能力分别对应的加权权重，并对每个所述预选处理节点对应的所述处理能力和所述负载能力进行加权计算，得到每个所述预选处理节点的基础能力。
3.根据权利要求2所述的基于节点能力的数据分配处理方法，其特征在于，所述确定所述预选处理节点组中每个所述预选处理节点对应的处理能力，包括：
对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点在所述数据分配处理系统中的第一权重系数；
根据该预选处理节点的第一权重系数，计算该预选处理节点对应的处理能力，其中计算公式为：
Figure FDA0004058839210000021
其中，Xk为该预选处理节点的处理能力，Tk为该预选处理节点当前的任务数，αk该预选处理节点的第一权重系数。
4.根据权利要求3所述的基于节点能力的数据分配处理方法，其特征在于，所述确定该预选处理节点在所述数据分配处理系统中的第一权重系数，包括：
确定所述数据分配处理系统中所有所述处理节点的历史数据；
根据所述历史数据计算该预选处理节点的第一权重系数的计算公式为：
Figure FDA0004058839210000022
其中，αk为该预选处理节点的第一权重系数；Ckj为该预选处理节点中第j个处理单元处理数据的历史次数，Dkj为该预选处理节点中第j个处理单元的处理能力，m为该预选处理节点中处理单元的总数，n为所述数据分配处理系统中处理节点的总数。
5.根据权利要求2所述的基于节点能力的数据分配处理方法，其特征在于，所述确定所述预选处理节点组中每个所述预选处理节点对应的负载能力，包括：
对于所述预选处理节点组中任一所述预选处理节点，确定该预选处理节点中每个硬件负载的当前使用率以及每个硬件资源的第二权重系数，并对该预选处理节点在其对应的所述硬件资源的当前使用率进行加权计算，得到该预选处理节点的负载能力。
6.根据权利要求5所述的基于节点能力的数据分配处理方法，其特征在于，所述硬件资源的第二权重系数包括：
CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数；
其中，CPU权重系数、内存权重系数、带宽权重系数以及硬盘权重系数的总和为1，且所有所述权重系数的大小顺序为：带宽权重系数>CPU权重系数>内存权重系数>硬盘权重系数。
7.根据权利要求1-6任一所述的基于节点能力的数据分配处理方法，其特征在于，所述根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组，包括：
根据所有所述预选处理节点的基础能力强弱程度，确定所有所述预选处理节点对应的基础能力排序信息；
确定每个所述预选处理节点的满载处理能力与其当前已占用处理能力的差值，并根据所有所述预选处理节点的所述差值与所述目标处理数据所需处理能力的大小关系，确定所有所述预选处理节点对应的剩余处理能力排序信息；
根据所述基础能力排序信息以及所述剩余处理能力排序信息，从所述预选处理节点组中确定出目标处理节点组。
8.一种基于节点能力的数据分配处理装置，其特征在于，所述装置应用在具有若干处理节点的数据分配处理系统中，所述装置包括：
第一筛选模块，用于响应针对目标数据的第一数据处理请求，根据所述第一数据处理请求，从所有所述处理节点中确定出预选处理节点组；所述预选处理节点组包括一个或多个预选处理节点；
确定模块，用于确定所述预选处理节点组中每个所述预选处理节点的基础能力，其中，每个所述预选处理节点的基础能力至少包括每个所述预选处理节点对应的处理能力和负载能力；
第二筛选模块，用于根据所述确定模块确定出的每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组；其中，所述目标处理节点组包括一个或多个目标处理节点；
处理模块，用于分配所述目标数据至所述目标处理节点组进行处理；
其中，所述第二筛选模块根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组的具体方式表现为：
根据每个所述预选处理节点的基础能力的排序情况，维护一个或多个优先级队列，从所述预选处理节点组中选取优先级队列依次取得排序靠前的预选处理节点组成目标处理节点组；
在所述确定模块根据每个所述预选处理节点的基础能力，从所述预选处理节点组中确定出目标处理节点组之后，所述装置还包括：
判断模块，用于判断所述第一数据处理请求的数据来源是否来自所述数据分配处理系统；
切分模块，用于当所述判断模块判断出所述数据来源不是来自所述数据分配处理系统时，根据所述目标处理节点组的基础能力，对所述目标数据进行切分处理；
在所述处理模块分配所述目标数据至目标处理节点组进行处理之后，所述装置还包括：
监测模块，用于监测针对每个目标处理节点对其对应处理的切分数据的预计处理时长，当判断出所述目标处理节点针对其对应处理的切分数据的预计处理时长超过预设阈值时，则触发执行回调处理机制。
9.一种基于节点能力的数据分配处理装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于节点能力的数据分配处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于执行如权利要求1-7任一项所述的基于节点能力的数据分配处理方法。
CN202110752209.3A 2021-07-02 2021-07-02 一种基于节点能力的数据分配处理方法及装置 Active CN113419863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110752209.3A CN113419863B (zh) 2021-07-02 2021-07-02 一种基于节点能力的数据分配处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110752209.3A CN113419863B (zh) 2021-07-02 2021-07-02 一种基于节点能力的数据分配处理方法及装置

Publications (2)

Publication Number Publication Date
CN113419863A CN113419863A (zh) 2021-09-21
CN113419863B true CN113419863B (zh) 2023-07-14

Family

ID=77720226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110752209.3A Active CN113419863B (zh) 2021-07-02 2021-07-02 一种基于节点能力的数据分配处理方法及装置

Country Status (1)

Country Link
CN (1) CN113419863B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902479A (zh) * 2021-10-12 2022-01-07 广东省电信规划设计院有限公司 一种通信工程概预算的处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523157A (zh) * 2018-11-14 2019-03-26 北京中电普华信息技术有限公司 一种业务流程的处理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218233B (zh) * 2013-05-09 2015-11-18 福州大学 Hadoop异构集群中的数据分配策略
CN104731647B (zh) * 2015-03-31 2018-02-09 北京奇艺世纪科技有限公司 任务处理方法及系统
CN107547597A (zh) * 2016-06-27 2018-01-05 中兴通讯股份有限公司 业务处理方法及装置
CN111274035B (zh) * 2020-01-20 2024-03-08 长沙市源本信息科技有限公司 边缘计算环境下的资源调度方法、装置和计算机设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523157A (zh) * 2018-11-14 2019-03-26 北京中电普华信息技术有限公司 一种业务流程的处理方法及系统

Also Published As

Publication number Publication date
CN113419863A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110727512B (zh) 集群资源调度方法、装置、设备及储存介质
US10558498B2 (en) Method for scheduling data flow task and apparatus
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN113342477B (zh) 一种容器组部署方法、装置、设备及存储介质
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
US20240073298A1 (en) Intelligent scheduling apparatus and method
CN114816721B (zh) 一种基于边缘计算的多任务优化调度方法及系统
CN110716796A (zh) 智能任务调度方法及装置、存储介质、电子设备
CN111176840A (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
CN116708451B (zh) 一种边云协同调度方法及系统
CN105824705B (zh) 一种任务分配方法和电子设备
CN113419863B (zh) 一种基于节点能力的数据分配处理方法及装置
CN117675566A (zh) 一种资源配额的分配方法、装置、存储介质及电子设备
CN110891087A (zh) 一种日志传输方法、装置及电子设备和存储介质
CN117407178A (zh) 一种自适应负载分配的加速子卡管理方法及系统
CN107634978B (zh) 一种资源调度方法及装置
CN112463361A (zh) 一种分布式计算的弹性资源分配的方法和设备
Ray et al. Is high performance computing (HPC) ready to handle big data?
CN114860449B (zh) 数据处理方法、装置、设备和存储介质
JPH1027167A (ja) 並列計算機の負荷分散方法
CN116048723A (zh) 基于非支配排序多目标遗传算法的虚拟机调度方法及系统
CN115061730A (zh) 一种线程并发管理方法及装置
CN114253688A (zh) 在云环境下应用负载重调度的方法及应用
CN116848508A (zh) 基于强化学习模型调度任务以供计算机执行
CN113391927A (zh) 一种业务事件的处理方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant