CN110971627B - 节点控制方法及装置、任务处理系统 - Google Patents

节点控制方法及装置、任务处理系统 Download PDF

Info

Publication number
CN110971627B
CN110971627B CN201811143461.9A CN201811143461A CN110971627B CN 110971627 B CN110971627 B CN 110971627B CN 201811143461 A CN201811143461 A CN 201811143461A CN 110971627 B CN110971627 B CN 110971627B
Authority
CN
China
Prior art keywords
node
nodes
management
management node
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811143461.9A
Other languages
English (en)
Other versions
CN110971627A (zh
Inventor
韩少凡
陈国栋
邓长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811143461.9A priority Critical patent/CN110971627B/zh
Publication of CN110971627A publication Critical patent/CN110971627A/zh
Application granted granted Critical
Publication of CN110971627B publication Critical patent/CN110971627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Abstract

本申请是关于一种节点控制方法及装置、任务处理系统,所述任务处理系统包括:n个节点,n个节点组成m个节点集合,n>m≥2;每个节点集合包括:管理节点和代理节点,任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,主管理节点用于在接收到处理任务的指令时,向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令;每个从管理节点用于在接收到主管理节点发送的指令时,向与每个从管理节点属于同一节点集合的代理节点发送指令;每个代理节点用于在接收到指令时,根据指令处理任务。本申请解决了相关技术中任务处理系统的处理效率较低的问题,本申请用于控制节点。

Description

节点控制方法及装置、任务处理系统
技术领域
本申请涉及计算机技术领域,特别涉及一种节点控制方法及装置、任务处理系统。
背景技术
随着科技的发展,用于处理各种任务(例如运算任务和存储任务)的任务处理系统的应用越来越广泛。
相关技术中,任务处理系统包括一个管理节点和多个代理节点,且管理节点用于在接收到处理任务的指令时,将该指令发送给多个代理节点中的至少一个代理节点,以控制该至少一个代理节点处理任务。每个指令用于指示节点对任务进行处理。
然而,在管理节点接收到的指令较多时,管理节点需要将这些指令分发给多个代理节点,导致管理节点分发指令的压力较大,效率较低,因此,任务处理系统的处理效率较低。
发明内容
本申请提供了一种节点控制方法及装置、任务处理系统,可以解决相关技术中任务处理系统的处理效率较低的问题。所述技术方案如下:
一方面,提供一种任务处理系统,所述任务处理系统包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,所述主管理节点用于在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;每个从管理节点用于在接收到所述主管理节点发送的指令时,向与所述每个从管理节点属于同一节点集合的代理节点发送所述指令;每个代理节点用于在接收到所述指令时,根据所述指令处理所述任务。
可选的,在所述n能被所述m整除时,每个所述节点集合中的节点个数i1满足:
Figure BDA0001816304320000021
在所述n不能被所述m整除时,所述m个节点集合中的第一节点集合中的节点个数i2满足:
Figure BDA0001816304320000022
所述m个节点集合中的第二节点集合中的节点个数i3满足:
Figure BDA0001816304320000023
所述m个节点集合共包括s个所述第一节点集合,以及m-s个所述第二节点集合,s=n%m,n%m表示所述n对所述m取余,
Figure BDA0001816304320000024
表示对
Figure BDA0001816304320000025
进行向下取整。
可选的,所述主管理节点用于基于安全外壳协议ssh,向所述至少一个节点发送所述指令;所述每个从管理节点用于基于所述协议ssh,向与所述每个从管理节点属于同一节点集合的代理节点发送所述指令。
可选的,每个代理节点用于向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;所述每个从管理节点还用于在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
可选的,所述每个代理节点用于基于用户数据报协议UDP,向与所述每个代理节点属于同一节点集合的管理节点发送所述每个代理节点的工作参数;所述每个从管理节点用于基于传输控制协议TCP,向所述主管理节点发送所述工作参数。
可选的,所述工作参数包括:所述代理节点的网络速率、内存使用率以及中央处理器使用率中的至少一种参数。
可选的,所述m为对
Figure BDA0001816304320000026
进行向上取整所得到的数值,p为预设节点个数阈值,p≥1。
可选的,p≤100,n≤10000。
可选的,所述任务处理系统还包括:控制器,所有管理节点与代理节点中任意两个节点之间的数据发送由所述控制器控制。
另一方面,提供一种节点控制方法,用于任务处理系统中的控制器,所述任务处理系统还包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,
所述方法包括:
向所述主管理节点发送第一控制信息,所述第一控制信息用于指示所述主管理节点在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;
向每个从管理节点发送第二控制信息,所述第二控制信息用于指示所述每个从管理节点在接收到所述主管理节点发送的指令时,向与所述主管理节点属于同一节点集合的代理节点发送所述指令;
向每个代理节点发送第三控制信息,所述第三控制信息用于指示所述每个代理节点在接收到所述指令时,根据所述指令处理所述任务。
可选的,在向所述主管理节点发送第一控制信息前,所述方法还包括:
将所述n个节点划分为所述m个节点集合;
将每个所述节点集合中的节点划分为管理节点和代理节点;
将所有管理节点划分为一个主管理节点和多个从管理节点。
可选的,向每个代理节点发送第四控制信息,所述第四控制信息用于指示所述每个代理节点向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;
向所述每个从管理节点发送第五控制信息,所述第五控制信息用于指示所述每个从管理节点在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
又一方面,提供一种节点控制装置,用于任务处理系统中的控制器,所述任务处理系统还包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,所述节点控制装置包括:
第一发送模块,用于向所述主管理节点发送第一控制信息,所述第一控制信息用于指示所述主管理节点在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;
第二发送模块,用于向每个从管理节点发送第二控制信息,所述第二控制信息用于指示所述每个从管理节点在接收到所述主管理节点发送的指令时,向与所述主管理节点属于同一节点集合的代理节点发送所述指令;
第三发送模块,用于向每个代理节点发送第三控制信息,所述第三控制信息用于指示所述每个代理节点在接收到所述指令时,根据所述指令处理所述任务。
可选的,所述节点控制装置还包括:
第一划分模块,用于将所述n个节点划分为所述m个节点集合;
第二划分模块,用于将每个所述节点集合中的节点划分为管理节点和代理节点;
第三划分模块,用于将所有管理节点划分为一个主管理节点和多个从管理节点。
可选的,所述节点控制装置还包括:
第四发送模块,用于向每个代理节点发送第四控制信息,所述第四控制信息用于指示所述每个代理节点向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;
第五发送模块,用于向所述每个从管理节点发送第五控制信息,所述第五控制信息用于指示所述每个从管理节点在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
再一方面,提供一种计算机设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现上述节点控制方法。
再一方面,提供一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述节点控制方法。
本申请提供的技术方案可以包括以下有益效果:在本申请提供的任务处理系统中,n个节点组成为m个节点集合,且每个节点集合中的节点包括管理节点和代理节点,所有管理节点包括一个主管理节点和多个从管理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点可以先将指令分发给数量较少的从管理节点,从管理节点可以将接收到的指令分发给数量较少的代理节点。也即,每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请的实施例,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种任务处理系统的结构示意图;
图2为本发明实施例提供的一种节点控制方法流程图;
图3为本发明实施例提供的另一种节点控制方法流程图;
图4为本发明实施例提供的一种节点控制装置的结构示意图;
图5为本发明实施例提供的另一种节点控制装置的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
随着科技的发展,用于处理各种任务的任务处理系统的应用越来越广泛。相关技术中在管理节点接收到的指令较多时,管理节点需要将这些指令分发给多个代理节点,导致管理节点分发指令的压力较大,任务处理系统的处理效率较低。本发明实施例提供了一种任务处理系统,该任务处理系统能够解决相关技术中任务处理系统的处理效率较低的问题。
图1为本发明实施例提供的一种任务处理系统的结构示意图,如图1所示,该任务处理系统0可以包括:n个节点,该n个节点组成m个节点集合01,n>m≥2。
每个节点集合01可以包括:管理节点和代理节点012,任务处理系统中的所有管理节点包括:一个主管理节点011A和多个从管理节点011B。
主管理节点011A用于在接收到处理任务的指令时,向与主管理节点011A属于同一节点集合01的代理节点012和从管理节点011B中的至少一个节点发送指令;每个从管理节点011B用于在接收到主管理节点011A发送的指令时,向与该从管理节点011B属于同一节点集合01的代理节点012发送该指令;每个代理节点012用于在接收到指令时,根据该指令处理任务。
综上所述,在本发明实施例提供的任务处理系统中,n个节点组成为m个节点集合,且每个节点集合中的节点包括管理节点和代理节点,所有管理节点包括一个主管理节点和多个从管理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点可以先将指令分发给数量较少的从管理节点,从管理节点可以将接收到的指令分发给数量较少的代理节点。也即,每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
需要说明的是,用户可以通过操作主管理节点011A以在主管理节点011A上生成处理任务的指令。示例的,该任务可以为运算任务,该任务还可以为其他任务,如存储任务,本发明实施例对此不作限定。
另外,在每个节点集合01中,管理节点与多个从管理节点012之间建立有通信连接,在所有管理节点中,主管理节点011A与多个从管理节点011B之间建立有通信连接。
可选的,在n能被m整除时,每个节点集合01中的节点个数i1满足:
Figure BDA0001816304320000061
示例的,在n=10000,m=100时,n能被m整除,每个节点集合01中的节点个数
Figure BDA0001816304320000062
可选的,在n不能被m整除时,m个节点集合01中的第一节点集合中的节点个数i2满足:
Figure BDA0001816304320000063
m个节点集合01中的第二节点集合中的节点个数i3满足:
Figure BDA0001816304320000064
其中,m个节点集合01共包括s个第一节点集合,以及m-s个第二节点集合,s=n%m,n%m表示n对m取余,
Figure BDA0001816304320000065
表示对
Figure BDA0001816304320000066
进行向下取整。
示例的,在n=9950,m=100时,n不能被m整除,m个节点集合01中第一节点集合的个数s=9950%100=50,第二节点集合的个数m-s=100-50=50。且第一节点集合中的节点个数
Figure BDA0001816304320000071
第二节点集合中的节点个数
Figure BDA0001816304320000072
可选的,m为对
Figure BDA0001816304320000073
进行向上取整所得到的数值,p为预设节点个数阈值,p≥1。
可选的,p≤100,n≤10000。由于节点集合01中的节点个数在小于或等于100时,该节点集合01中管理节点向代理节点012分发指令效率的较高,因此,将m设置为对
Figure BDA0001816304320000074
进行向上取整所得到的数值,可以保证每个节点集合01中节点的个数均小于或等于p,使得每个节点集合中的节点个数均较小,提高了任务处理系统的处理效率。
可选的,每个节点集合01中可以包括一个管理节点和多个代理节点012,且m≤100。由于在所有管理节点的个数小于或等于100时,主管理节点011A向从管理节点011B分发指令的效率较高,因此,将节点集合01的个数设置在100或100以内,且在每个节点集合01中仅包括一个管理节点时,可以保证所有管理节点的个数设置在100或100以内,使得所有管理节点的个数较小,提高了任务处理系统的处理效率。
可选的,在主管理节点011A接收到处理任务的指令时,为了提高管理节点分发指令的效率,主管理节点011A可以基于安全外壳协议(英文:Secure Shell,简称:ssh)向至少一个节点发送指令,且在每个从管理节点011B接收到处理任务的指令时,为了提高该从管理节点011B分发指令的效率,该从管理节点011B可以基于该ssh,向与该从管理节点001B属于同一节点集合01的代理节点012发送指令。需要说明的是,由于管理节点在基于ssh向其他节点发送指令的过程中,在管理节点获取其他节点认证时,无需向其他节点输入访问密码,因此管理节点获取其他节点的认证所需的时间较少,管理节点分发指令的效率较高。
需要说明的是,本发明实施例中仅以管理节点基于安全外壳协议向其他节点发送指令为例,实际应用中,管理节点还可以基于其他协议(如超文本传输协议)向其他节点发送指令,本发明实施例对此不作限定。
可选的,每个代理节点012用于向与该代理节点012属于同一节点集合01的管理节点,发送该代理节点的工作参数,每个从管理节点011B还用于在接收到该工作参数后,向主管理节点011A发送该工作参数。示例的,每个代理节点012可以用于每隔一段时间向与该代理节点012属于同一节点集合01的管理节点,发送该代理节点的工作参数。且在主管理节点011A获取到某一代理节点012的工作参数时,该主管理节点011A可以向用户反馈该代理节点012的工作参数,以便于用户了解该代理节点012的工作状态。可选的,代理节点的工作参数可以包括代理节点的网络速率、内存使用率以及中央处理器使用率中的至少一种参数。
可选的,在每个代理节点012向与该代理节点012属于同一节点集合01的管理节点发送该代理节点的工作参数,且在每个从管理节点011B在向主管理节点011A发送的工作参数时,为了保证工作参数的完整性,每个代理节点012以及每个从管理节点011B均可以基于传输控制协议(英文:Transmission Control Protocol,简称:TCP),向其他节点发送工作参数。需要说明的是,从管理节点011B在基于TCP协议向主管理节点011A发送工作参数时,该主管理节点011A在接收该工作参数的过程中,需向从管理节点011B反馈该工作参数是否完整到达,且在主管理节点011A反馈的结果为否时该从管理节点011B需重新向主管理节点011A发送工作参数,因此,保证了每个从管理节点011B向主管理节点011A发送的工作参数的完整性。
可选的,在每个代理节点012向与该代理节点012属于同一节点集合01的管理节点发送该代理节点012的工作参数的过程中,为了提高代理节点012向管理节点发送工作参数的效率,每个代理节点012还可以用于基于用户数据报协议(英文:User DatagramProtocol,简称:UDP),向与该代理节点012属于同一节点集合01的管理节点发送该代理节点012的工作参数。需要说明的是,代理节点在基于UDP向管理节点发送工作参数时,管理节点在接受该工作参数的过程中,无需向代理节点反馈该工作参数是否完整到达,避免了管理节点因向代理节点反馈工作参数是否完整到达而耗费较多的时间,因此,提高了代理节点向管理节点发送工作参数的效率。
需要说明的是,本发明实施例中仅以代理节点用于基于用户数据报协议向管理节点发送工作参数,且从管理节点用于基于传输控制协议向主管理节点发送工作参数为例。可选的,代理节点还可以用于基于其他协议(如互联网数据报交换协议)向管理节点发送工作参数,且从管理节点可以用于基于其他协议(如串行通信协议)向主管理节点发送工作参数,本发明实施例对此不作限定。
可选的,该任务处理系统0还可以包括:控制器(图1中未示出),且所有管理节点与代理节点中任意两个节点之间的数据发送由该控制器控制。如控制器可以控制:主管理节点与代理节点之间的数据发送,以及主管理节点与从管理节点之间的数据发送,以及从管理节点与代理节点之间的数据发送。
可选的,该控制器可以与该任务处理系统0中的n个节点相互独立,且与每个节点均连接。或者,该控制器还可以集成在该n个节点中的某一节点(如主管理节点011A)上,本发明实施例对此不作限定。
综上所述,在本发明实施例提供的任务处理系统中,n个节点组成为m个节点集合,且每个节点集合中的节点包括管理节点和代理节点,所有管理节点包括一个主管理节点和多个从管理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点可以先将指令分发给数量较少的从管理节点,从管理节点可以将接收到的指令分发给数量较少的代理节点。也即,每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
图2为本发明实施例提供的一种节点控制方法流程图,该节点控制方法可以用于上述任务处理系统中的控制器。如图2所示,该节点控制方法可以包括:
步骤201、向主管理节点发送第一控制信息。
该第一控制信息用于指示主管理节点在接收到处理任务的指令时,向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令。
步骤202、向每个从管理节点发送第二控制信息。
该第二控制信息用于指示每个从管理节点在接收到主管理节点发送的指令时,向与主管理节点属于同一节点集合的代理节点发送指令。
步骤203、向每个代理节点发送第三控制信息。
该第三控制信息用于指示每个代理节点在接收到指令时,根据指令处理任务。
综上所述,在本发明实施例提供节点控制方法中,控制器可以向主管理节点发送第一控制信息,以使得主管理节点根据该第一控制信息先将接收到的指令分发给从管理节点,控制器还可以向从管理节点发送第二控制信息,以使得该从管理节点可以根据该第二控制信息将接收到的指令分发给代理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点和从管理节点中的每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
图3为本发明实施例提供的另一种节点控制方法流程图,该节点控制方法可以用于上述任务处理系统中的控制器,如图3所示,该节点控制方法可以包括:
步骤301、将n个节点划分为m个节点集合。
示例的,在步骤301中,控制器可以先将获取任务处理系统中的节点总数n,以及预设节点个数阈值p,p≥1。然后,控制器可以对
Figure BDA0001816304320000101
进行向上取整所得到的数值作为m。示例的,在n=9950,p=100时,对
Figure BDA0001816304320000102
进行向上取整所得到的数值为100,此时,m=100。
之后,控制器可以判断n是否能被m整除,在n能被m整除时,可以确定每个节点集合中的节点个数
Figure BDA0001816304320000103
示例的,在n=10000,m=100时,每个节点集合中的节点个数
Figure BDA0001816304320000104
在n不能被m整除时,控制器可以确定m个节点集合共包括s个第一节点集合,以及m-s个第二节点集合,s=n%m,n%m表示n对m取余,
Figure BDA0001816304320000105
表示对
Figure BDA0001816304320000106
进行向下取整;且第一节点集合中的节点个数
Figure BDA0001816304320000107
第二节点集合中的节点个数
Figure BDA0001816304320000108
示例的,在n=9950,m=100时,m个节点集合中第一节点集合的个数s=9950%100=50,第二节点集合的个数m-s=50,且第一节点集合中的节点个数
Figure BDA0001816304320000109
第二节点集合中的节点个数
Figure BDA00018163043200001010
步骤302、将每个节点集合中的节点划分为管理节点和代理节点。
示例的,在步骤302中,控制器可以将每个节点集合中的一个节点确定为管理节点,并将该节点集合中除该一个节点外的其他节点均确定为代理节点。
步骤303、将所有管理节点划分为一个主管理节点和多个从管理节点。
需要说明的是,在步骤301之前,控制器还可以与该n个节点中的每个节点均建立连接。
步骤304、向主管理节点发送第一控制信息。
该第一控制信息用于指示主管理节点在接收到处理任务的指令时,向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令。可选的,该第一控制信息用于指示主管理节点在接受到处理任务的指令时,基于ssh向至少一个节点发送指令。
步骤305、向每个从管理节点发送第二控制信息。
该第二控制信息用于指示每个从管理节点在接收到主管理节点发送的指令时,向与主管理节点属于同一节点集合的代理节点发送指令。可选的,该第二控制信息用于指示每个从管理节点在接收到主管理节点发送的指令时,基于该ssh,向与该从管理节点属于同一节点集合的代理节点发送指令。
步骤306、向每个代理节点发送第三控制信息。
该第三控制信息用于指示每个代理节点在接收到指令时,根据指令处理任务。
步骤307、向每个代理节点发送第四控制信息。
该第四控制信息用于指示每个代理节点向与该代理节点属于同一节点集合的管理节点,发送每个代理节点的工作参数。可选的,该第四控制信息用于指示每个代理节点基于UDP,向与该代理节点属于同一节点集合的管理节点,发送每个代理节点的工作参数。
步骤308、向每个从管理节点发送第五控制信息。
该第五控制信息用于指示每个从管理节点在接收到工作参数后,向主管理节点发送工作参数。可选的,该第五控制信息用于指示每个从管理节点在接受到工作参数后,基于TCP向主管理节点发送工作参数。
综上所述,在本发明实施例提供节点控制方法中,控制器可以向主管理节点发送第一控制信息,以使得主管理节点根据该第一控制信息先将接收到的指令分发给从管理节点,控制器还可以向从管理节点发送第二控制信息,以使得该从管理节点可以根据该第二控制信息将接收到的指令分发给代理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点和从管理节点中的每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
图4为本发明实施例提供的一种节点控制装置的结构示意图,该节点控制装置可以用于上述任务处理系统中的控制器,如图4所示,该节点控制装置40可以包括:
第一发送模块401,用于向主管理节点发送第一控制信息,该第一控制信息用于指示主管理节点在接收到处理任务的指令时,向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令。
第二发送模块402,用于向每个从管理节点发送第二控制信息,该第二控制信息用于指示每个从管理节点在接收到主管理节点发送的指令时,向与主管理节点属于同一节点集合的代理节点发送指令。
第三发送模块403,用于向每个代理节点发送第三控制信息,该第三控制信息用于指示每个代理节点在接收到指令时,根据指令处理任务。
综上所述,在本发明实施例提供节点控制装置中,第一发送模块可以向主管理节点发送第一控制信息,以使得主管理节点根据该第一控制信息先将接收到的指令分发给从管理节点,第二发送模块还可以向从管理节点发送第二控制信息,以使得该从管理节点可以根据该第二控制信息将接收到的指令分发给代理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点和从管理节点中的每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
图5为本发明实施例提供的另一种节点控制装置的结构示意图,如图5所示,在图4的基础上,该节点控制装置还可以包括:
第一划分模块404,用于将n个节点划分为m个节点集合。
第二划分模块405,用于将每个节点集合中的节点划分为管理节点和代理节点。
第三划分模块406,用于将所有管理节点划分为一个主管理节点和多个从管理节点。
第四发送模块407,用于向每个代理节点发送第四控制信息,该第四控制信息用于指示每个代理节点向与该代理节点属于同一节点集合的管理节点,发送该代理节点的工作参数。
第五发送模块408,用于向每个从管理节点发送第五控制信息,该第五控制信息用于指示每个从管理节点在接收到工作参数后,向主管理节点发送工作参数。
综上所述,在本发明实施例提供节点控制装置中,第一发送模块可以向主管理节点发送第一控制信息,以使得主管理节点根据该第一控制信息先将接收到的指令分发给从管理节点,第二发送模块还可以向从管理节点发送第二控制信息,以使得该从管理节点可以根据该第二控制信息将接收到的指令分发给代理节点。这样一来,在主管理节点接收到的指令较多时,主管理节点和从管理节点中的每个管理节点只需将指令分发至较少个数的节点。从而减少了管理节点的分发压力,提升了管理节点分发指令的效率,所以,提高了任务处理系统的处理效率。
本发明实施例还提供了一种计算机设备,该计算机设备可以包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,存储器用于存放计算机程序,处理器用于执行存储器上所存放的程序,以实现上述节点控制方法。
本发明实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述节点控制方法。
需要说明的是,本发明实施例提供的方法实施例能够与相应的装置实施例相互参考,本公开实施例对此不做限定。本发明实施例提供的方法实施例步骤的先后顺序能够进行适当调整,步骤也能够根据情况进行相应增减,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种任务处理系统,其特征在于,所述任务处理系统包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,所述任务处理系统还包括:控制器,所述所有管理节点与所述代理节点中任意两个节点之间的数据发送由所述控制器控制,
所述主管理节点用于在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;
每个从管理节点用于在接收到所述主管理节点发送的指令时,向与所述每个从管理节点属于同一节点集合的代理节点发送所述指令;
每个代理节点用于在接收到所述指令时,根据所述指令处理所述任务。
2.根据权利要求1所述的任务处理系统,其特征在于,
在所述n能被所述m整除时,每个所述节点集合中的节点个数i1满足:
Figure FDA0003586904460000011
在所述n不能被所述m整除时,所述m个节点集合中的第一节点集合中的节点个数i2满足:
Figure FDA0003586904460000012
所述m个节点集合中的第二节点集合中的节点个数i3满足:
Figure FDA0003586904460000013
所述m个节点集合共包括s个所述第一节点集合,以及m-s个所述第二节点集合,s=n%m,n%m表示所述n对所述m取余,
Figure FDA0003586904460000014
表示对
Figure FDA0003586904460000015
进行向下取整。
3.根据权利要求1所述的任务处理系统,其特征在于,
所述主管理节点用于基于安全外壳协议ssh,向所述至少一个节点发送所述指令;
所述每个从管理节点用于基于所述协议ssh,向与所述每个从管理节点属于同一节点集合的代理节点发送所述指令。
4.根据权利要求1所述的任务处理系统,其特征在于,
每个代理节点用于向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;
所述每个从管理节点还用于在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
5.根据权利要求4所述的任务处理系统,其特征在于,
所述每个代理节点用于基于用户数据报协议UDP,向与所述每个代理节点属于同一节点集合的管理节点发送所述每个代理节点的工作参数;
所述每个从管理节点用于基于传输控制协议TCP,向所述主管理节点发送所述工作参数。
6.根据权利要求4所述的任务处理系统,其特征在于,所述工作参数包括:
所述代理节点的网络速率、内存使用率以及中央处理器使用率中的至少一种参数。
7.根据权利要求1所述的任务处理系统,其特征在于,
所述m为对
Figure FDA0003586904460000021
进行向上取整所得到的数值,p为预设节点个数阈值,p≥1。
8.根据权利要求7所述的任务处理系统,其特征在于,p≤100,n≤10000。
9.一种节点控制方法,其特征在于,用于任务处理系统中的控制器,所述任务处理系统还包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,所述所有管理节点与所述代理节点中任意两个节点之间的数据发送由所述控制器控制,
所述方法包括:
向所述主管理节点发送第一控制信息,所述第一控制信息用于指示所述主管理节点在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;
向每个从管理节点发送第二控制信息,所述第二控制信息用于指示所述每个从管理节点在接收到所述主管理节点发送的指令时,向与所述主管理节点属于同一节点集合的代理节点发送所述指令;
向每个代理节点发送第三控制信息,所述第三控制信息用于指示所述每个代理节点在接收到所述指令时,根据所述指令处理所述任务。
10.根据权利要求9所述的方法,其特征在于,在向所述主管理节点发送第一控制信息前,所述方法还包括:
将所述n个节点划分为所述m个节点集合;
将每个所述节点集合中的节点划分为管理节点和代理节点;
将所有管理节点划分为一个主管理节点和多个从管理节点。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
向每个代理节点发送第四控制信息,所述第四控制信息用于指示所述每个代理节点向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;
向所述每个从管理节点发送第五控制信息,所述第五控制信息用于指示所述每个从管理节点在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
12.一种节点控制装置,其特征在于,用于任务处理系统中的控制器,所述任务处理系统还包括:n个节点,所述n个节点组成m个节点集合,n>m≥2;每个所述节点集合包括:管理节点和代理节点,所述任务处理系统中的所有管理节点包括:一个主管理节点和多个从管理节点,所述所有管理节点与所述代理节点中任意两个节点之间的数据发送由所述控制器控制,所述节点控制装置包括:
第一发送模块,用于向所述主管理节点发送第一控制信息,所述第一控制信息用于指示所述主管理节点在接收到处理任务的指令时,向与所述主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送所述指令;
第二发送模块,用于向每个从管理节点发送第二控制信息,所述第二控制信息用于指示所述每个从管理节点在接收到所述主管理节点发送的指令时,向与所述主管理节点属于同一节点集合的代理节点发送所述指令;
第三发送模块,用于向每个代理节点发送第三控制信息,所述第三控制信息用于指示所述每个代理节点在接收到所述指令时,根据所述指令处理所述任务。
13.根据权利要求12所述的节点控制装置,其特征在于,所述节点控制装置还包括:
第一划分模块,用于将所述n个节点划分为所述m个节点集合;
第二划分模块,用于将每个所述节点集合中的节点划分为管理节点和代理节点;
第三划分模块,用于将所有管理节点划分为一个主管理节点和多个从管理节点。
14.根据权利要求12所述的节点控制装置,其特征在于,所述节点控制装置还包括:
第四发送模块,用于向每个代理节点发送第四控制信息,所述第四控制信息用于指示所述每个代理节点向与所述每个代理节点属于同一节点集合的管理节点,发送所述每个代理节点的工作参数;
第五发送模块,用于向所述每个从管理节点发送第五控制信息,所述第五控制信息用于指示所述每个从管理节点在接收到所述工作参数后,向所述主管理节点发送所述工作参数。
15.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求9-11任一所述的节点控制方法。
CN201811143461.9A 2018-09-28 2018-09-28 节点控制方法及装置、任务处理系统 Active CN110971627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811143461.9A CN110971627B (zh) 2018-09-28 2018-09-28 节点控制方法及装置、任务处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811143461.9A CN110971627B (zh) 2018-09-28 2018-09-28 节点控制方法及装置、任务处理系统

Publications (2)

Publication Number Publication Date
CN110971627A CN110971627A (zh) 2020-04-07
CN110971627B true CN110971627B (zh) 2022-08-05

Family

ID=70027359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811143461.9A Active CN110971627B (zh) 2018-09-28 2018-09-28 节点控制方法及装置、任务处理系统

Country Status (1)

Country Link
CN (1) CN110971627B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1671111A (zh) * 2004-03-15 2005-09-21 华为技术有限公司 一种节点寻址方法
CN101594292A (zh) * 2008-05-30 2009-12-02 中兴通讯股份有限公司 内容发布方法、服务重定向方法及系统、节点设备
CN103190123A (zh) * 2010-10-29 2013-07-03 诺基亚公司 用于分发发布的消息的方法和装置
CN104424304A (zh) * 2013-09-05 2015-03-18 李缃珍 一种基于情景感知信息的个性化推荐与导览系统及控制方法
CN105516367A (zh) * 2016-02-02 2016-04-20 北京百度网讯科技有限公司 分布式数据存储系统、方法和装置
CN105721018A (zh) * 2016-01-27 2016-06-29 厦门中天微电子科技有限公司 一种提高电力线载波集抄系统集抄效率的方法
CN105975546A (zh) * 2016-05-03 2016-09-28 叶江鹏 一种新型计算机监管系统
CN106375462A (zh) * 2016-09-13 2017-02-01 北京百度网讯科技有限公司 在分布式消息系统中实现消息持久化的方法及装置
CN107204110A (zh) * 2017-05-23 2017-09-26 北京盛大信通科技有限公司 一种基于宽带网络的表计数据快速抄读的方法
CN107277806A (zh) * 2017-04-24 2017-10-20 南京邮电大学 一种面向WSNs租用环境的隐私保护MAX/MIN查询方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1671111A (zh) * 2004-03-15 2005-09-21 华为技术有限公司 一种节点寻址方法
CN101594292A (zh) * 2008-05-30 2009-12-02 中兴通讯股份有限公司 内容发布方法、服务重定向方法及系统、节点设备
CN103190123A (zh) * 2010-10-29 2013-07-03 诺基亚公司 用于分发发布的消息的方法和装置
CN104424304A (zh) * 2013-09-05 2015-03-18 李缃珍 一种基于情景感知信息的个性化推荐与导览系统及控制方法
CN105721018A (zh) * 2016-01-27 2016-06-29 厦门中天微电子科技有限公司 一种提高电力线载波集抄系统集抄效率的方法
CN105516367A (zh) * 2016-02-02 2016-04-20 北京百度网讯科技有限公司 分布式数据存储系统、方法和装置
CN105975546A (zh) * 2016-05-03 2016-09-28 叶江鹏 一种新型计算机监管系统
CN106375462A (zh) * 2016-09-13 2017-02-01 北京百度网讯科技有限公司 在分布式消息系统中实现消息持久化的方法及装置
CN107277806A (zh) * 2017-04-24 2017-10-20 南京邮电大学 一种面向WSNs租用环境的隐私保护MAX/MIN查询方法
CN107204110A (zh) * 2017-05-23 2017-09-26 北京盛大信通科技有限公司 一种基于宽带网络的表计数据快速抄读的方法

Also Published As

Publication number Publication date
CN110971627A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN107087019B (zh) 一种基于端云协同计算架构的任务调度方法及装置
CN113315700B (zh) 算力资源调度方法、装置和存储介质
CN107241767B (zh) 一种移动协同计算的方法及装置
CN109451072A (zh) 一种基于Kafka的消息缓存系统和方法
CN111880902A (zh) 一种pod创建方法、装置、设备及可读存储介质
EP3739912A1 (en) Default quality of service (qos) control method and device
CN111556516B (zh) 面向时延和能效敏感业务的分布式无线网络任务协同分配方法
CN111260076B (zh) 基于区块链的边缘节点训练方法、区块链及存储介质
CN104901989A (zh) 一种现场服务提供系统及方法
CN109634720B (zh) 一种多虚拟机共享fpga板卡的方法、系统及装置
CN111427551A (zh) 编程平台的用户代码运行方法及平台、设备、存储介质
CN110532060A (zh) 一种混合网络环境数据采集方法及系统
CN110971627B (zh) 节点控制方法及装置、任务处理系统
CN107707424A (zh) 负载状态的控制方法及系统
CN110727511B (zh) 应用程序的控制方法、网络侧设备和计算机可读存储介质
CN112714146B (zh) 一种资源调度方法、装置、设备及计算机可读存储介质
CN109525443B (zh) 分布式前置采集通讯链路的处理方法、装置和计算机设备
CN113949666B (zh) 流量控制方法、装置、设备及系统
CN108737120A (zh) 一种机顶盒的待机方法和机顶盒
CN105519055A (zh) 一种I/O通道QoS动态均衡方法及装置
CN106487694B (zh) 一种数据流处理方法和装置
CN113822485A (zh) 一种配电网调度任务优化方法及系统
CN111193596B (zh) 区块生成系统、方法、服务器以及工作量证明装置
CN103118141B (zh) 一种面向多节点的云部署方法
Xu et al. Probabilistic Client Sampling and Power Allocation for Wireless Federated Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant