CN107682417B - 一种数据节点的任务分配方法和装置 - Google Patents
一种数据节点的任务分配方法和装置 Download PDFInfo
- Publication number
- CN107682417B CN107682417B CN201710851847.4A CN201710851847A CN107682417B CN 107682417 B CN107682417 B CN 107682417B CN 201710851847 A CN201710851847 A CN 201710851847A CN 107682417 B CN107682417 B CN 107682417B
- Authority
- CN
- China
- Prior art keywords
- data node
- task
- data
- alternative
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种数据节点的任务分配方法和装置,其中方法包括:当存在待传输任务时,计算各数据节点完成当前任务的剩余传输时长,将各数据节点完成当前任务的剩余传输时长由短至长进行排序,选出备选数据节点;根据首位的数据节点的剩余传输时长监测备选数据节点中是否存在空闲的数据节点,如果没有空闲的数据节点,根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点。本发明能够选出多个候选的数据节点,当最短的剩余传输时长到达时,如果没有空闲的数据节点,评估得到备选数据节点中符合预设条件的最优数据节点,各数据节点的利用率,且减少了待传输任务等待传输的时间。
Description
技术领域
本发明涉及数据传输技术领域,尤其涉及一种数据节点的任务分配方法和装置。
背景技术
随着信息需求量的增大,对海量数据传输的要求也越来越高,目前的传输方法是在网络中设置多个节点多个信道进行传输,存在有的数据节点为闲置状态且闲置时间过长的问题,并没有做到合理分配及充分利用,数据节点利用率不高,从而造成资源浪费以及传输效率低的弊端。
发明内容
为解决上述技术问题,本发明提供了一种数据节点的任务分配方法和装置。
第一方面,本发明实施例提供了一种数据节点的任务分配方法,包括如下步骤:
配置多个用于传输数据的数据节点;
实时监测传输栈队中是否存在待传输任务,如果存在待传输任务,则计算各数据节点完成当前任务的剩余传输时长,将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点,其中,n≥2;
根据备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则将所述待传输任务分配至所述空闲的数据节点中,否则,重新计算各所述备选节点完成当前任务的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中。
本发明能够以各数据节点当前传输情况,即当前任务的剩余传输时长来进行分配,选出多个候选的数据节点,当最短的剩余传输时长到达时,将待传输任务分配至空闲的数据节点中,如果没有空闲的数据节点,则重新计算备选节点的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将待传输任务分配至最优数据节点中,最大化的利用各数据节点,且减少了待传输任务等待传输的时间。
进一步的,所述计算各数据节点完成当前任务的剩余传输时长包括:
获取各数据节点的传输速率和各数据节点当前任务剩余的数据量大小;
将各数据节点当前任务剩余的数据量大小除以各数据节点的传输速率计算得到各数据节点完成当前任务的剩余传输时长。
上述进一步技术方案,根据当前任务剩余的数据量大小和数据节点的传输速率来分别求取各数据节点完成当前任务的剩余传输时长,以便查找到最快完成当前任务的数据节点。
进一步的,所述重新计算各备选节点当前的剩余传输时长包括:
获取各备选数据节点的传输速率和各备选数据节点的当前任务剩余的数据量大小;
将各备选数据节点当前任务剩余的数据量大小除以各备选数据节点的传输速率计算得到各备选数据节点完成当前任务的剩余传输时长。
进一步的,将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中时还包括步骤:删除最优数据节点中的待传输任务。
上述进一步技术方案,防止待传输任务中的数据被重复传输。
进一步的,还包括步骤:根据所述报警信息重新计算各数据节点完成当前任务的剩余传输时长,并重新进行备选数据节点的选取。
上述进一步技术方案,根据报警信息选择其他的数据节点进行待传输任务的处理,需要重新对备选数据节点的选取以及最优数据节点的评估,防止出现待传输任务被长时间搁置的情况。
第二方面,本发明提供了一种数据节点的任务分配装置,包括:
节点配置模块,用于配置多个用于传输数据的数据节点;
任务监测模块,用于实时监测传输栈队中是否存在待传输任务,如果存在待传输任务,则发送计算指令至所述计算模块;
计算模块,用于根据所述计算指令计算各数据节点完成当前任务的剩余传输时长;
分配处理模块,用于将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点;
还用于将备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则将所述待传输任务分配至所述空闲的数据节点中,否则,调用所述计算模块重新计算各所述备选节点完成当前任务的剩余传输时长,并根据所述计算模块重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中。
本发明能够以各数据节点当前传输情况,即当前任务的剩余传输时长来进行分配,选出多个候选的数据节点,当最短的剩余传输时长到达时,将待传输任务分配至空闲的数据节点中,如果没有空闲的数据节点,则重新计算备选节点的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将待传输任务分配至最优数据节点中,最大化的利用各数据节点,且减少了待传输任务等待传输的时间。
进一步的,所述分配处理模块具体用于,将重新计算得到的各剩余传输时长由短至长进行排序,得到排序在前的两个备选数据节点,根据预设的时间差值和两个备选数据节点的剩余传输时长评估两个备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中,并根据最优数据节点的剩余传输时长监测最优数据节点是否完成当前任务,如果未完成,则将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中。
上述进一步技术方案,防止最优数据节点无法按时执行待传输任务时,导致待传输任务被搁置的情况,将待传输任务发送至另一个备选数据节点中。
进一步的,所述分配处理模块还具体用于,当将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中时,删除最优数据节点中的待传输任务。
上述进一步技术方案,防止待传输任务中的数据被重复传输。
进一步的,所述计算各数据节点完成当前任务的剩余传输时长包括:
获取各数据节点的传输速率和各数据节点当前任务剩余的数据量大小;
将各数据节点当前任务剩余的数据量大小除以各数据节点的传输速率计算得到各数据节点完成当前任务的剩余传输时长。
上述进一步技术方案,根据当前任务剩余的数据量大小和数据节点的传输速率来分别求取各数据节点完成当前任务的剩余传输时长,以便查找到最快完成当前任务的数据节点。
进一步的,所述重新计算各备选节点当前的剩余传输时长包括:
获取各备选数据节点的传输速率和各备选数据节点的当前任务剩余的数据量大小;
将各备选数据节点当前任务剩余的数据量大小除以各备选数据节点的传输速率计算得到各备选数据节点完成当前任务的剩余传输时长。
进一步的,还包括报警模块;所述分配处理模块还用于,根据已分配待传输任务的备选数据节点的剩余传输时长对该备选数据节点进行监测,如果未完成当前任务,则发出报警指令,并调用所述计算模块重新计算各数据节点完成当前任务的剩余传输时长,当接收到重新计算得到的剩余传输时长时,重新进行备选数据节点的选取;
所述报警模块用于,根据报警指令向指定客户终端发送报警信息。
附图说明
图1为本发明一实施例提供的数据节点的任务分配方法的方法流程图;
图2为本发明另一实施例提供的数据节点的任务分配方法的方法流程图;
图3为本发明另一实施例提供的数据节点的任务分配方法的方法流程图;
图4为本发明一实施例提供的数据节点的任务分配装置的模块框图;
图5为本发明另一实施例提供的数据节点的任务分配装置的模块框图;
图6为本发明另一实施例提供的数据节点的任务分配装置的模块框图。
附图中,各标号所代表的部件列表如下:
01、节点配置模块,02、任务监测模块,03、计算模块,04、分配处理模块,05、获取模块,06、报警模块。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透切理解本发明。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
图1为本发明一实施例提供的数据节点的任务分配方法的方法流程图;
如图1所示,一种数据节点的任务分配方法,包括如下步骤:
步骤S01:配置多个用于传输数据的数据节点;
步骤S02:实时监测传输栈队中是否存在待传输任务;
步骤S03:如果存在待传输任务,则计算各数据节点完成当前任务的剩余传输时长;
步骤S04:将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点,其中,n≥2;
步骤S05:根据备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则执行步骤S06,否则执行步骤S07;
步骤S06:将待传输任务分配至所述空闲的数据节点中;
步骤S07:重新计算各备选节点当前的剩余传输时长;
步骤S08:根据重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中。
具体的,上述实施例中,当存在待传输任务时,如果存在空闲的数据节点则可以直接将待传输任务发送至该空闲的数据节点,本发明针对“没有空闲的数据节点”的情况进行优化处理:
如果没有空闲的数据节点,则需要对各数据节点进行监测,选择出能够以最快速度发送该待传输任务的节点,即计算得到“各数据节点完成当前任务的剩余传输时长”,将“各数据节点完成当前任务的剩余传输时长”进行排序,得到n个排序在前的数据节点,即较早完成当前任务的n个数据节点,例如,n取值4,则排序在前4位的数据节点作为传输所述待传输任务的备选数据节点,能够缩小节点的监测范围,利于快速找到合适传输的数据节点;
接着,对选出的这4个备选数据节点进行监测,因为备选数据节点中排序在首位的目标数据节点的剩余传输时长是最短的,因此利用该剩余传输时长进行监测,即到达该剩余传输时长时,监测是否存在空闲的数据节点,如果存在,则将待传输任务分配至所述空闲的数据节点中,否则,在选择出的这4个备选数据节点中进一步筛选和评估来得到最优数据节点,再将所述待传输任务分配至所述最优数据节点中。
上述实施例中,能够以各数据节点当前传输情况,即当前任务的剩余传输时长来进行分配,选出多个候选的数据节点,当最短的剩余传输时长到达时,将待传输任务分配至空闲的数据节点中,如果没有空闲的数据节点,则重新计算备选节点的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将待传输任务分配至最优数据节点中,最大化的利用各数据节点,且减少了待传输任务等待传输的时间。
具体的,上述实施例中,所述配置多个用于传输数据的数据节点包括:配置各个数据节点的传输速率。
图2为本发明另一实施例提供的数据节点的任务分配方法的方法流程图;
在图1的基础上,具体的,本实施例中,如图2所示,所述计算各数据节点完成当前任务的剩余传输时长包括:
步骤S031:获取各数据节点的传输速率和各数据节点当前任务剩余的数据量大小;
步骤S032:将各数据节点当前任务剩余的数据量大小除以各数据节点的传输速率计算得到各数据节点完成当前任务的剩余传输时长。例如,本实施例中,数据节点01设定的传输速率为1.5M/s,数据节点01当前任务是8200M,已完成2000M数据量大小的传输,则当前任务剩余的数据量大小为6200M,计算得到完成当前任务的剩余传输时长为69min。
下面具体介绍,如何选择最优数据节点:
首先,需要重新计算各备选节点的剩余传输时长:
获取各备选数据节点的传输速率和各备选数据节点的当前任务剩余的数据量大小;
将各备选数据节点当前任务剩余的数据量大小除以各备选数据节点的传输速率计算得到各备选数据节点完成当前任务的剩余传输时长;
接着,如图3所示:
步骤A01:将重新计算得到的各剩余传输时长由短至长进行排序,得到排序在前的两个备选数据节点;
步骤A02:计算所述两个备选数据节点的剩余传输时长的时间差值t;
步骤A03:判断时间差值t是否小于或等于预设的时间差值T,如果满足,执行步骤A04,否则执行步骤A06;
步骤A04:判断所述两个备选数据节点的传输速率是否相同,如果相同,则执行步骤A05;
步骤A05:选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点,如果不相同,则选择两个备选数据节点中传输速率较快的备选数据节点作为最优数据节点;
步骤A06:选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点。
上述实施例中,将备选数据节点缩小到两个节点范围时,根据完成当前任务的剩余传输时长以及两个备选数据节点的传输速率进行比较,选择出最优数据节点;例如,备选数据节01完成当前任务的剩余传输时长t1为10min,备选数据节02完成当前任务的剩余传输时长t2为20min,预设的时间差值T为10min,则|t1-t2|的时间差值t为10min,即满足“小于或等于预设的时间差值T”的条件,此时,比较备选数据节01和备选数据节02的传输速率,备选数据节01的传输速率为1.5M/s,而备选数据节02的传输速率为3M/s,则选择备选数据节02作为最优数据节点;如果备选数据节01和备选数据节02的传输速率相同,则选择剩余传输时长较短的备选数据节点作为最优数据节点,即备选数据节01作为最优数据节点。
上述实施例中,能够根据从两个维度,即完成当前任务的剩余传输时长和传输速率来选择出最优的数据节点,满足快速发送待传输任务的要求。
优选的,当完成任务分配后,本实施例具体介绍对“最优数据节点”进行跟踪处理的方式:
将所述待传输任务分配至所述最优数据节点后还包括步骤:
根据最优数据节点的剩余传输时长监测最优数据节点是否完成当前任务,如果未完成,则将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中。
具体的,根据上述选择条件,已经确定了备选数据节01为最优数据节点,根据备选数据节01的剩余传输时长,例如为20min,则在这20min内监测备选数据节01是否完成当前任务,如果完成,则将所述待传输任务分配至备选数据节01中,由备选数据节01来执行待传输任务,如果未完成,则将所述待传输任务分配至备选数据节02中,此时,备选数据节02作为最优数据节点,由备选数据节02来执行待传输任务;
上述实施例中,能够防止最优数据节点无法按时执行待传输任务,导致待传输任务被搁置的情况,将待传输任务发送至另一个备选数据节点中,具有双保险的效果。
优选的,将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中时还包括步骤:删除最优数据节点中的待传输任务。
上述实施例中,防止待传输任务中的数据被重复传输。
优选的,当完成任务分配后,本实施例具体介绍对另一个“最优数据节点”进行跟踪处理的方式:
将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中后还包括步骤:
根据已分配待传输任务的备选数据节点的剩余传输时长对该备选数据节点进行监测,如果未完成当前任务,则发出报警信息。
具体的,如果备选数据节01在剩余传输时长内未完成当前任务,则取消备选数据节01作为最优数据节点,而将备选数据节02作为另一个“最优数据节点”,继续对备选数据节02进行跟踪监测,根据备选数据节点02的剩余传输时长对该备选数据节点02进行监测,如果备选数据节02在剩余传输时长内未完成当前任务,则发出报警信息,并根据报警信息进行下一步处理。
上述实施例中,能够防止待传输任务不能及时传输的情况,以便根据报警信息选择其他的数据节点进行待传输任务的处理。
优选的,如果两个备选数据节点都出现状况,而导致无法执行待传输任务时,进行如下处理:
还包括步骤:根据所述报警信息重新计算各数据节点完成当前任务的剩余传输时长,并重新进行备选数据节点的选取。
上述实施例中,根据报警信息选择其他的数据节点进行待传输任务的处理,需要重新对备选数据节点的选取以及最优数据节点的评估,防止出现待传输任务被长时间搁置的情况。
图4为本发明一实施例提供的数据节点的任务分配装置的模块框图;
如图4所示,一种数据节点的任务分配装置,包括:
节点配置模块01,用于配置多个用于传输数据的数据节点;
任务监测模块02,用于实时监测传输栈队中是否存在待传输任务,如果存在待传输任务,则发送计算指令至所述计算模块03;
计算模块03,用于根据所述计算指令计算各数据节点完成当前任务的剩余传输时长;
分配处理模块04,用于将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点;
还用于将备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则将待传输任务分配至所述空闲的数据节点中,否则,调用所述计算模块03重新计算各备选节点当前的剩余传输时长,并根据所述计算模块03重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中。
具体的,上述实施例中,当存在待传输任务时,如果存在空闲的数据节点则可以直接将待传输任务发送至该空闲的数据节点,本发明针对“没有空闲的数据节点”的情况进行优化处理:
如果没有空闲的数据节点,则需要对各数据节点进行监测,选择出能够以最快速度发送该待传输任务的节点,即计算得到“各数据节点完成当前任务的剩余传输时长”,将“各数据节点完成当前任务的剩余传输时长”进行排序,得到n个排序在前的数据节点,即较早完成当前任务的n个数据节点,例如,n取值4,则排序在前4为的数据节点作为传输所述待传输任务的备选数据节点,能够缩小节点的监测范围,利于快速找到合适传输的数据节点;
接着,对选出的这4个备选数据节点进行监测,因为备选数据节点中排序在首位的数据节点的剩余传输时长是最短的,因此利用该剩余传输时长进行监测,即到达该剩余传输时长时,监测是否存在空闲的数据节点,如果存在,则将待传输任务分配至所述空闲的数据节点中,否则,在选择出的这4个备选数据节点中进一步筛选和评估来得到最优数据节点,再将所述待传输任务分配至所述最优数据节点中。
上述实施例中,能够以各数据节点当前传输情况,即当前任务的剩余传输时长来进行分配,选出多个候选的数据节点,当最短的剩余传输时长到达时,将待传输任务分配至空闲的数据节点中,如果没有空闲的数据节点,则重新计算备选节点的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将待传输任务分配至最优数据节点中,最大化的利用各数据节点,且减少了待传输任务等待传输的时间。
具体的,所述节点配置模块具体用于,配置各个数据节点的传输速率。
图5为本发明一实施例提供的数据节点的任务分配装置的模块框图;
优选的,在图4的基础上,如图5所示,本实施例还包括获取模块05,
所述获取模块05用于根据分配处理模块04的调用获取各数据节点的传输速率和各数据节点当前任务剩余的数据量大小;
所述计算模块03具体用于,将各数据节点当前任务剩余的数据量大小除以各数据节点的传输速率计算得到各数据节点完成当前任务的剩余传输时长。
例如,本实施例中,数据节点01设定的传输速率为1.5M/s,数据节点01当前任务是8200M,已完成2000M数据量大小的传输,则当前任务剩余的数据量大小为6200M,计算得到完成当前任务的剩余传输时长为69min。
下面具体介绍,如何选择最优数据节点:
首先,所述获取模块05根据分配处理模块04的调用,获取各备选数据节点的传输速率和各备选数据节点的当前任务剩余的数据量大小;
所述计算模块03,将各备选数据节点当前任务剩余的数据量大小除以各备选数据节点的传输速率计算得到各备选数据节点完成当前任务的剩余传输时长。
接着,所述分配处理模块04,将重新计算得到的各剩余传输时长由短至长进行排序,得到排序在前的两个备选数据节点;
并调用所述计算模块03计算所述两个备选数据节点的剩余传输时长的时间差值t,当接收到所述计算模块反馈的所述时间差值t时,判断时间差值t是否小于或等于预设的时间差值T,
如果满足,
则判断所述两个备选数据节点的传输速率是否相同,如果相同,则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点,如果不相同,则选择两个备选数据节点中传输速率较快的备选数据节点作为最优数据节点;
如果不满足,
则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点;
再将所述待传输任务分配至所述最优数据节点中。
上述实施例中,将备选数据节点缩小到两个节点范围时,根据完成当前任务的剩余传输时长以及两个备选数据节点的传输速率进行比较,选择出最优数据节点;例如,备选数据节01完成当前任务的剩余传输时长t1为10min,备选数据节02完成当前任务的剩余传输时长t2为20min,预设的时间差值T为10min,则|t1-t2|的时间差值t为10min,即满足“小于或等于预设的时间差值T”的条件,此时,比较备选数据节01和备选数据节02的传输速率,备选数据节01的传输速率为1.5M/s,而备选数据节02的传输速率为3M/s,则选择备选数据节02作为最优数据节点;如果备选数据节01和备选数据节02的传输速率相同,则选择剩余传输时长较短的备选数据节点作为最优数据节点,即备选数据节01作为最优数据节点。
上述实施例中,能够根据从两个维度,即完成当前任务的剩余传输时长和传输速率来选择出最优的数据节点,满足快速发送待传输任务的要求。
优选的,当完成任务分配后,本实施例具体介绍对“最优数据节点”进行跟踪处理的方式:
所述分配处理模块04还用于,根据最优数据节点的剩余传输时长监测最优数据节点是否完成当前任务,如果未完成,则将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中。
具体的,根据上述选择条件,已经确定了备选数据节01为最优数据节点,根据备选数据节01的剩余传输时长,例如为20min,则在这20min内监测备选数据节01是否完成当前任务,如果完成,则将所述待传输任务分配至备选数据节01中,由备选数据节01来执行待传输任务,如果未完成,则将所述待传输任务分配至备选数据节02中,此时,备选数据节02作为最优数据节点,由备选数据节02来执行待传输任务;
上述实施例中,能够防止最优数据节点无法按时执行待传输任务,导致待传输任务被搁置的情况,将待传输任务发送至另一个备选数据节点中,具有双保险的效果。
优选的,所述分配处理模块04还具体用于,当将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中时,删除最优数据节点中的待传输任务。能够防止待传输任务中的数据被重复传输,造成资源浪费。
图6为本发明一实施例提供的数据节点的任务分配装置的模块框图;
优选的,在图5的基础上,本实施例进行改进,如图6所示,当完成任务分配后,本实施例具体介绍对另一个“最优数据节点”进行跟踪处理的方式:
还包括报警模块06;
所述分配处理模块04还用于,根据已分配待传输任务的备选数据节点的剩余传输时长对该备选数据节点进行监测,如果未完成当前任务,则发出报警指令,并调用所述计算模块重新计算各数据节点完成当前任务的剩余传输时长,当接收到重新计算得到的剩余传输时长时,重新进行备选数据节点的选取;
所述报警模块06用于,根据报警指令向指定客户终端发送报警信息。
具体的,如果备选数据节01在剩余传输时长内未完成当前任务,则取消备选数据节01作为最优数据节点,而将备选数据节02作为另一个“最优数据节点”,继续对备选数据节02进行跟踪监测,根据备选数据节点的剩余传输时长对该备选数据节点进行监测,如果备选数据节02在剩余传输时长内未完成当前任务,则发出报警信息,并根据报警信息进行下一步处理。
上述实施例中,根据报警信息选择其他的数据节点进行待传输任务的处理,需要重新对备选数据节点的选取以及最优数据节点的评估,防止出现待传输任务被长时间搁置的情况。
本发明的主要优点是:
1、能够以各数据节点当前传输情况,即当前任务的剩余传输时长来进行分配,选出多个候选的数据节点,当最短的剩余传输时长到达时,将待传输任务分配至空闲的数据节点中,如果没有空闲的数据节点,则重新计算备选节点的剩余传输时长,并根据预设的时间差值和重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将待传输任务分配至最优数据节点中,最大化的利用各数据节点,且减少了待传输任务等待传输的时间;
2、能够防止出现选择出的数据节点均无法对待传输任务进行传输的问题,需要重新对备选数据节点的选取以及最优数据节点的评估。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种数据节点的任务分配方法,其特征在于,包括如下步骤:
配置多个用于传输数据的数据节点;
实时监测传输栈队中是否存在待传输任务,如果存在待传输任务,则计算各数据节点完成当前任务的剩余传输时长;
将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点,其中,n≥2;
将备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则将所述待传输任务分配至所述空闲的数据节点中,否则,重新计算各所述备选数据节点完成当前任务的剩余传输时长,并根据重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中;
所述根据重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点包括:
将重新计算得到的各备选数据节点的剩余传输时长由短至长进行排序,得到排序在前的两个备选数据节点;
计算所述两个备选数据节点的剩余传输时长的时间差值t,并判断时间差值t是否小于或等于预设的时间差值T,
如果满足,
则判断所述两个备选数据节点的传输速率是否相同,如果相同,则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点,如果不相同,则选择两个备选数据节点中传输速率较快的备选数据节点作为最优数据节点;
如果不满足,
则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点。
2.根据权利要求1所述的数据节点的任务分配方法,其特征在于,将所述待传输任务分配至所述最优数据节点后还包括步骤:
根据最优数据节点的剩余传输时长监测最优数据节点是否完成当前任务,如果未完成,则将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中。
3.根据权利要求2所述的数据节点的任务分配方法,其特征在于,将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中后还包括步骤:
根据已分配待传输任务的备选数据节点的剩余传输时长对该备选数据节点进行监测,如果未完成当前任务,则发出报警信息。
4.根据权利要求1-3任一项所述的数据节点的任务分配方法,其特征在于,所述配置多个用于传输数据的数据节点包括:配置各个数据节点的传输速率。
5.一种数据节点的任务分配装置,其特征在于,包括:
节点配置模块,用于配置多个用于传输数据的数据节点;
任务监测模块,用于实时监测传输栈队中是否存在待传输任务,如果存在待传输任务,则发送计算指令至计算模块;
计算模块,用于根据所述计算指令计算各数据节点完成当前任务的剩余传输时长;
分配处理模块,用于将各数据节点完成当前任务的剩余传输时长由短至长进行排序,根据排序结果将排序在前n位的数据节点作为传输所述待传输任务的备选数据节点;
还用于将备选数据节点中排序在首位的数据节点的剩余传输时长作为监测时长,当所述监测时长到达时,判断所述备选数据节点中是否存在空闲的数据节点,如果存在,则将所述待传输任务分配至所述空闲的数据节点中,否则,调用所述计算模块重新计算各所述备选数据节点完成当前任务的剩余传输时长,并根据所述计算模块重新计算得到的剩余传输时长评估备选数据节点中符合预设条件的最优数据节点,将所述待传输任务分配至所述最优数据节点中;
所述分配处理模块具体用于:
将重新计算得到的各备选数据节点的剩余传输时长由短至长进行排序,得到排序在前的两个备选数据节点;
并调用所述计算模块计算所述两个备选数据节点的剩余传输时长的时间差值t,当接收到所述计算模块反馈的所述时间差值t时,判断时间差值t是否小于或等于预设的时间差值T,
如果满足,
则判断所述两个备选数据节点的传输速率是否相同,如果相同,则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点,如果不相同,则选择两个备选数据节点中传输速率较快的备选数据节点作为最优数据节点;
如果不满足,
则选择两个备选数据节点中剩余传输时长较短的备选数据节点作为最优数据节点。
6.根据权利要求5所述的数据节点的任务分配装置,其特征在于,所述分配处理模块还具体用于,
根据最优数据节点的剩余传输时长监测最优数据节点是否完成当前任务,如果未完成,则将所述待传输任务重新分配至所述两个备选数据节点中另一个备选数据节点中。
7.根据权利要求6所述的数据节点的任务分配装置,其特征在于,所述分配处理模块还具体用于,
根据已分配待传输任务的备选数据节点的剩余传输时长对该备选数据节点进行监测,如果未完成当前任务,则发出报警信息。
8.根据权利要求5-7任一项所述的数据节点的任务分配装置,其特征在于,所述节点配置模块具体用于,配置各个数据节点的传输速率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710851847.4A CN107682417B (zh) | 2017-09-19 | 2017-09-19 | 一种数据节点的任务分配方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710851847.4A CN107682417B (zh) | 2017-09-19 | 2017-09-19 | 一种数据节点的任务分配方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107682417A CN107682417A (zh) | 2018-02-09 |
CN107682417B true CN107682417B (zh) | 2020-09-25 |
Family
ID=61136411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710851847.4A Active CN107682417B (zh) | 2017-09-19 | 2017-09-19 | 一种数据节点的任务分配方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107682417B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109309734B (zh) * | 2018-11-27 | 2020-05-22 | 北京百度网讯科技有限公司 | 用于传输数据的方法及装置 |
CN110278195B (zh) * | 2019-05-23 | 2020-12-11 | 视联动力信息技术股份有限公司 | 一种基于视联网的数据传输方法和装置 |
CN110888745A (zh) * | 2019-11-29 | 2020-03-17 | 中国石油大学(华东) | 一种考虑任务传输到达时间的mec节点选择方法 |
CN112272203B (zh) * | 2020-09-18 | 2022-06-14 | 苏州浪潮智能科技有限公司 | 一种集群业务节点选择方法、系统、终端及存储介质 |
CN113068261B (zh) * | 2021-03-24 | 2023-10-24 | 深圳洲斯移动物联网技术有限公司 | 一种时间通道抢占方法、装置以及计算机存储介质 |
CN114401233B (zh) * | 2021-12-20 | 2024-06-14 | 裕太微电子股份有限公司 | 一种时间感知调度器的报文调度方法及时间感知调度器 |
CN115081944B (zh) * | 2022-07-24 | 2022-11-11 | 国网浙江省电力有限公司湖州供电公司 | 适用于一体化现场移动检测设备的数据同步方法及平台 |
CN115344389B (zh) * | 2022-08-22 | 2024-01-23 | 南方电网科学研究院有限责任公司 | 电磁暂态仿真中计算节点间的通信任务分配方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530182A (zh) * | 2013-10-22 | 2014-01-22 | 海南大学 | 一种作业调度方法和装置 |
CN103986653A (zh) * | 2014-05-29 | 2014-08-13 | 苏州大学 | 一种网络节点及数据传输方法和系统 |
CN105554900A (zh) * | 2015-12-08 | 2016-05-04 | 上海电机学院 | 一种剩余能量排序负载调度方法及系统 |
CN107170286A (zh) * | 2017-06-23 | 2017-09-15 | 深圳市盛路物联通讯技术有限公司 | 一种车位管理方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683422B (zh) * | 2013-12-03 | 2019-01-29 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
-
2017
- 2017-09-19 CN CN201710851847.4A patent/CN107682417B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530182A (zh) * | 2013-10-22 | 2014-01-22 | 海南大学 | 一种作业调度方法和装置 |
CN103986653A (zh) * | 2014-05-29 | 2014-08-13 | 苏州大学 | 一种网络节点及数据传输方法和系统 |
CN105554900A (zh) * | 2015-12-08 | 2016-05-04 | 上海电机学院 | 一种剩余能量排序负载调度方法及系统 |
CN107170286A (zh) * | 2017-06-23 | 2017-09-15 | 深圳市盛路物联通讯技术有限公司 | 一种车位管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107682417A (zh) | 2018-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107682417B (zh) | 一种数据节点的任务分配方法和装置 | |
CN108268372B (zh) | Mock测试处理方法、装置、存储介质和计算机设备 | |
CN105718479B (zh) | 跨idc大数据处理架构下执行策略生成方法、装置 | |
CN112131006A (zh) | 业务请求分配方法、装置、计算机设备和存储介质 | |
JP6881575B2 (ja) | 資源割当システム、管理装置、方法およびプログラム | |
US8572621B2 (en) | Selection of server for relocation of application program based on largest number of algorithms with identical output using selected server resource criteria | |
CN110351375B (zh) | 一种数据处理方法、装置及计算机装置、可读存储介质 | |
CN107656807B (zh) | 一种虚拟资源的自动弹性伸缩方法及装置 | |
US9405588B2 (en) | Cloud resource allocation system and method | |
CN109871328B (zh) | 一种软件测试方法及装置 | |
EP4002115A1 (en) | Resource allocation method and resource offloading method | |
CN109669775B (zh) | 分布式任务调度方法、系统及存储介质 | |
CN113312160B (zh) | 用于任务分配系统中的行为配对的方法和系统 | |
CN107819797B (zh) | 访问请求处理方法和装置 | |
CN110244901B (zh) | 任务分配方法及装置、分布式存储系统 | |
CN110708377A (zh) | 一种数据传输方法、装置和存储介质 | |
CN111176840B (zh) | 分布式任务的分配优化方法和装置、存储介质及电子装置 | |
CN112689007B (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
CN105022668B (zh) | 一种作业调度方法及系统 | |
CN112579263A (zh) | 任务执行方法及装置、存储介质及电子设备 | |
CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
CN109670932B (zh) | 信贷数据核算方法、装置、系统和计算机存储介质 | |
CN113268331A (zh) | 机器人调用方法、机器人调用装置、管理系统和存储介质 | |
CN110750350B (zh) | 一种大资源调度方法、系统、装置及可读存储介质 | |
CN111381948A (zh) | 分布式计算任务处理方法、装备及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |