CN109413117A - 分布式数据计算方法、装置、服务器及计算机存储介质 - Google Patents

分布式数据计算方法、装置、服务器及计算机存储介质 Download PDF

Info

Publication number
CN109413117A
CN109413117A CN201710697377.0A CN201710697377A CN109413117A CN 109413117 A CN109413117 A CN 109413117A CN 201710697377 A CN201710697377 A CN 201710697377A CN 109413117 A CN109413117 A CN 109413117A
Authority
CN
China
Prior art keywords
distribution node
node server
address
server address
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710697377.0A
Other languages
English (en)
Other versions
CN109413117B (zh
Inventor
范书田
丁柏
朱建勋
刘万慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710697377.0A priority Critical patent/CN109413117B/zh
Priority to EP18846782.3A priority patent/EP3672203A4/en
Priority to PCT/CN2018/100696 priority patent/WO2019034091A1/zh
Publication of CN109413117A publication Critical patent/CN109413117A/zh
Application granted granted Critical
Publication of CN109413117B publication Critical patent/CN109413117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种分布式数据计算方法、装置、服务器及计算机存储介质,通过接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息,根据该分布节点匹配信息选择出能够实现该计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址,按照预设选择原则从分布节点服务器地址中选择出目标分布节点服务器地址发送给前置节点服务器,与现有的方案相比,增加了为计算服务请求分配分布节点服务器的灵活性,对于某一确定的计算服务请求而言,由于筛选出来的可为其提供服务的分布节点服务器存在多个所以对于网络系统的稳定性、扩展性都有一定的提升。

Description

分布式数据计算方法、装置、服务器及计算机存储介质
技术领域
本发明涉及通讯技术领域,尤其涉及一种分布式数据计算方法、装置、服务器及计算机存储介质。
背景技术
通讯系统中往往存在对数据的海量处理问题,为了解决由于过多的数据在一个服务器上进行处理,导致该服务器负载过重无法及时响应相应计算服务请求的问题,现有技术中提出了分布式网络,也即是在一个网络系统中设置多个同层次的服务器,这多个服务器也即是分布节点服务器。例如,在SDN(Software Defined Network,软件定义网络)系统中,为了有效处理海量并发数据,往往会利用分布节点服务器进行计算。然而现有技术中每一计算服务请求对应的分布节点服务器都是固定的,也即一旦用户终端发送的计算服务请求确定,则网络系统中为该计算服务请求分配的分布节点服务器都是固定且唯一的,所以对于某一计算服务请求而言,网络系统能够为其分配的分布节点服务器无法扩展,没有可选择的余地,在有些情况下,与该计算服务请求对应的分布节点服务器的工作状态可能并不是很好,可是由于与该计算服务请求对应的分布节点服务器只有一个,所以网络系统也只能为该计算服务请求分配这个唯一的分布节点服务器,这样就有可能导致该分布节点服务器无法及时成功响应当前的计算服务请求,用户体验较差。
发明内容
本发明实施例提供的分布式数据计算方法、装置、服务器及计算机存储介质,主要解决的技术问题是现有网络系统中为每一计算服务请求分配的分布节点服务器固定且唯一,一旦这个唯一的分布节点服务器出现故障,则相应的计算服务请求就无法被成功响应的问题。
为解决上述技术问题,本发明实施例提供一种分布式数据计算方法,包括:
接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息;
根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址;
按照预设选择原则从所述分布节点服务器地址中选择出目标分布节点服务器地址;
将所述目标分布节点服务器地址发送给所述前置节点服务器。
本发明实施例还提供一种分布式数据计算方法,包括:
接收由客户端发送的计算服务请求;
确定与所述计算服务请求对应的分布节点匹配信息并发送给策略管理服务器;
接收由所述策略管理服务器按照预设选择原则从能够实现所述计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,所述分布节点服务器地址由所述策略管理服务器根据所述分布节点匹配信息选择得到;
根据所述目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
本发明实施例还提供一种分布式数据计算装置,包括:
匹配信息接收模块,用于接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息;
第一地址选择模块,用于根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址;
第二地址选择模块,用于按照预设选择原则从所述分布节点服务器地址中选择出目标分布节点服务器地址;
地址下发模块,用于将所述目标分布节点服务器地址发送给所述前置节点服务器。
本发明实施例还提供了另外一种分布式数据计算装置,包括:
服务请求接收模块,用于接收由客户端发送的计算服务请求;
匹配信息确定模块,用于确定与所述计算服务请求对应的分布节点匹配信息并发送给策略管理服务器;
地址接收模块,用于接收由所述策略管理服务器按照预设选择原则从能够实现所述计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,所述分布节点服务器地址由所述策略管理服务器根据所述分布节点匹配信息选择得到;
计算任务发布模块,用于根据所述目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
本发明实施例还提供一种策略管理服务器,包括第一处理器、第一存储器及第一通信总线;
所述第一通信总线用于实现所述第一处理器和所述第一存储器之间的连接通信;
所述第一处理器用于执行所述第一存储器中存储的一个或者多个程序,以实现如上述分布式数据计算方法的步骤。
本发明实施例还提供一种前置节点服务器,包括第二处理器、第二存储器及第二通信总线;
所述第二通信总线用于实现所述第二处理器和所述第二存储器之间的连接通信;
所述第二处理器用于执行所述第二存储器中存储的一个或者多个程序,以实现如上述分布式数据计算方法的步骤。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质中存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述分布式数据计算方法的步骤。
本发明的有益效果是:
根据本发明实施例提供的分布式数据计算方法、装置、服务器及计算机存储介质,通过接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息,然后根据该分布节点匹配信息选择出能够实现该计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址,也即本方案中筛选出来的可实现当前计算服务请求的分布节点服务器地址有多个,然后按照预设选择原则从分布节点服务器地址中选择出目标分布节点服务器地址,并将该目标分布节点服务器地址发送给前置节点服务器。由于本方案中根据分布节点匹配信息筛选出来的分布节点服务器地址有多个,所以网络系统可以为一确定的计算服务请求灵活地分配分布节点服务器,也即即使这多个分布节点服务器中的某一个出现了故障,网络系统也可以从筛选出来的这多个分布节点服务器地址中选择其他的地址对应的分布节点服务器来响应当前的计算服务请求,与现有的方案相比,增加了为计算服务请求分配分布节点服务器的灵活性,对于某一确定的计算服务请求而言,由于筛选出来的可为其提供服务的分布节点服务器存在多个所以对于网络系统的稳定性、扩展性都有一定的提升。
附图说明
图1为本发明实施例一中分布式数据计算方法的第一基本流程示意图;
图2为本发明实施例一中分布式数据计算方法的第一细化流程示意图;
图3为本发明实施例一中分布式数据计算方法的第二细化流程示意图;
图4为本发明实施例一中分布式数据计算方法的第三细化流程示意图;
图5为本发明实施例一中分布式数据计算方法的第二基本流程示意图;
图6为本发明实施例二中分布式数据计算装置的第一结构示意图;
图7为本发明实施例二中分布式数据计算装置的第二结构示意图;
图8为本发明实施例三中策略管理服务器的结构示意图;
图9为本发明实施例三中前置节点服务器的结构示意图;
图10为本发明实施例三中分布式数据计算系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一:
本发明实施例提供一种应用于策略管理服务器侧的分布式数据计算方法,具体的可以参见图1所示,包括:
S101:接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息。
本实施例中的前置节点服务器是网络系统中对外提供服务接口的服务器,其对外的服务接口可以是面向业务角度进行定义的,例如可以是Web Service(网页服务)、SOAP(简单对象访问协议)或者其它类型的RPC(远程过程调用协议)等等。
可见,本实施例中的前置节点服务器通过服务接口就可以接收由客户端发送的计算服务请求,前置节点服务器在接收到该计算服务请求后可以收集与该计算服务请求对应的分布节点匹配信息。
应当理解的是,本实施例中的服务计算请求可以是由客户端发送的任意请求,例如,可以是接入网络请求、呼叫请求、应用下载请求等等。
本实施例中的分布节点匹配信息中可以包括计算服务类型,或者包括计算服务类型与实现该计算服务类型对应功能的至少两个分布节点服务器地址,具体的在下文进行描述。
S102:根据分布节点匹配信息选择出能够实现该计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址。
在分布节点匹配信息中包括计算服务类型时,前置节点服务器在接收到客户端发送的计算服务请求时,就会对该计算服务请求对应的类型进行定位,从而确定出计算服务类型,应当理解的是,此时前置节点服务器中可以存储用于定位每一计算服务请求对应类型的代码,前置节点服务器在接收到具体的计算服务请求时就可以运行相应的代码确定出计算服务类型,在确定出计算服务类型后就可以将确定出来的结果发送给策略管理服务器。
请参见图2所示,在分布节点匹配信息中包括计算服务类型时,上述步骤S102中就可以包括如下子步骤:
S21:根据接收到的计算服务类型和预设计算服务类型与分布节点服务器地址对应关系表选择出与该计算服务类型对应的分布节点服务器地址;每一计算服务类型至少对应两个分布节点服务器地址。
本实施例中的计算服务类型可以根据计算服务请求所能实现的功能来划分,比如可以分为呼叫计算服务请求、下载计算服务请求等等,此时预设计算服务类型与分布节点服务器地址对应关系表中就包括呼叫计算服务请求与其对应的分布节点服务器地址的对应关系,以及下载计算服务请求与其对应的分布节点服务器地址的对应关系,值得注意的是,无论是呼叫计算服务请求还是下载计算服务请求,其对应的分布节点服务器地址都至少有两个,这样在应用的过程中,就可以根据当前的情况灵活为当前的计算服务请求分配分布节点服务器。应当理解的是,预设计算服务类型与分布节点服务器地址对应关系表表征了每一计算服务类型与能够实现该计算服务类型功能的分布节点服务器的对应关系,例如,若呼叫计算服务请求对应四个分布节点服务器,分别为分布节点服务器A、分布节点服务器B、分布节点服务器C以及分布节点服务器D,则在这四个分布节点服务器中都存储有实现该呼叫计算服务请求对应功能的数据,这样,就可以减少跨界点访问数据,当然为了节约资源内存的占用,在其他的分布节点服务器中可以不存储这些数据。
当然,在一些实施例中每一分布节点服务器中存储的数据可以都相同,则开发人员就可结合实际应用中的各种情况对预设计算服务类型与分布节点服务器地址对应关系表中的对应关系进行设置。
例如,城市中的呼叫计算服务请求的数量可能会比农村地区的呼叫计算服务请求的数量大,所以开发人员就可以将设置在人口集中的城市地区的分布节点服务器作为与呼叫计算服务请求对应的服务器。
S22:将选择出的与该计算服务类型对应的分布节点服务器地址作为能够实现该计算服务请求的分布节点服务器地址。
对于上述示例,在接收到的计算服务请求的类型为呼叫计算服务请求时,就可以筛选四个分布节点服务器地址,并可以将这四个分布节点服务器地址作为能够实现该计算服务请求的分布节点服务器地址。
在分布节点匹配信息中包括计算服务类型以及当前实现该计算服务类型对应功能的至少两个分布节点服务器地址时,前置节点服务器在接收到客户端发送的计算服务请求时,就会对该计算服务请求对应的类型进行定位,从而确定出计算服务类型,同样的,前置节点服务器在接收到客户端发送的计算服务请求后还会对该计算服务请求对应的调用参数进行定位,从而确定出实现该计算服务类型对应功能的至少两个分布节点服务器地址,需要说明的是,对于某一具体的计算服务请求类型,其还可以分为多个不同的子类型,分布节点服务器实现每个子类型的方法都是不一样的。比如,对于下载计算服务请求,其可以包括图片下载计算服务请求、或者音乐下载计算服务请求,对于图片下载计算服务请求和音乐下载计算服务请求,实现其功能的方法不同,也即对应的调用参数不同,因此,在前置节点服务器中可以存储每一计算服务类型调用参数与分布节点服务器地址的对应关系,每一计算服务类型可以对应多种调用参数,每一调用参数对应至少两个分布节点服务器地址,因此,对于一个具体的计算服务类型而言,其对应的分布节点服务器地址相当于是与该计算服务类型关联的所有调用参数对应的分布节点服务器地址的集合。
需要说明的是,每一计算服务类型调用参数与分布节点服务器地址的对应关系也可以存储在上层服务器如集群管理服务器中,本实施例中的集群管理服务器可以对各分布节点服务器进行统一管理以及统一监测,因此前置节点服务器在接收到计算服务请求之后可以将该计算服务请求发送给集群管理服务器,集群管理服务器根据预设的代码可以确定该计算服务请求对应的调用参数,然后将实现该计算服务类型对应功能的至少两个分布节点服务器地址发送给前置节点服务器,当然本实施例中每一计算服务类型调用参数与分布节点服务器地址的对应关系也可以存储在策略管理服务器中,这里不再赘述。
请参见图3所示,在分布节点匹配信息中包括计算服务类型以及当前实现该计算服务类型对应功能的至少两个分布节点服务器地址时,上述步骤S102中就可以包括如下子步骤:
S31:根据该计算服务类型与预设计算服务类型与分布节点服务器地址对应关系表选择出与该计算服务类型对应的分布节点服务器地址。
这里以下载计算服务请求为例来进行说明,由于前置节点服务器中存储了用于定位每一计算服务请求对应类型的代码,所以前置节点服务器在接收到计算服务请求后通过运行该代码就可以确定该计算服务类型为下载计算服务请求。
策略管理服务器在接收到下载计算服务请求后就会确定出与该下载计算服务请求对应的分布节点服务器地址。
S32:对选择出的与该计算服务类型对应的分布节点服务器地址同当前实现该计算服务类型对应功能的分布节点服务器地址求交集。
同时由于前置节点服务器中存储了用于确定每一计算服务类型对应的调用参数的代码,所以在接收到计算服务请求后,可以确定出当前实现该计算服务请求的方法,也即是确定出当前具体的调用参数,然后再根据每一计算服务类型调用参数与分布节点服务器地址的对应关系就可以确定出当前实现该计算服务类型对应功能的分布节点服务器地址。也即可以实时结合当前具体的实现计算服务请求的方法选择相应的分布节点服务器。
应当理解的是,步骤S31相当于是根据计算服务请求的类型进行了第一次分布节点服务器地址的选择,因为对于一个确定的计算服务类型,其对应的具体功能可能不同,因此对应的实现方式也就不同,而调用参数是与服务实现相关的参数,所以一般而言,步骤S31中选择出来的地址范围往往大于当前实现该计算服务类型对应功能的至少两个分布节点服务器地址。
S33:将交集中的地址作为能够实现该计算服务请求的分布节点服务器地址。
若下载计算服务请求对应的分布节点服务器地址包括分布节点服务器地址E、分布节点服务器地址F、分布节点服务器地址G以及分布节点服务器地址H,而音乐下载计算服务请求对应的分布节点服务器地址包括分布节点服务器地址G以及分布节点服务器地址H,则根据步骤S31和步骤S32,得出的交集地址就为分布节点服务器地址G以及分布节点服务器地址H。因此,就会将分布节点服务器地址G以及分布节点服务器地址H作为能够实现该计算服务请求的分布节点服务器地址。
S103:按照预设选择原则从筛选出来的分布节点服务器地址中选择出目标分布节点服务器地址。
请参见图4所示,本实施例中的步骤S103可以包括如下子步骤:
S41:获取筛选出来的分布节点服务器地址对应的分布节点服务器中的资源占用率。
需要说明的是,对于步骤S41而言,策略管理服务器可以从集群管理服务器中获取步骤S102中筛选出来的分布节点服务器地址对应的分布节点服务器中的资源占用率。本实施例中的集群管理服务器可以实时监控所有分布节点服务器的工作状态,并且可以将监控结果实时传送给策略管理服务器,或者也可以由策略管理服务器主动向集群管理服务器发送请求以获取监测结果。
S42:将资源占用率最低的分布节点服务器对应的地址作为目标分布节点服务器地址。
应当理解的是,在一些实施例中,策略管理服务器可以先从集群管理服务器中获取到满足预设条件的分布节点服务器后,再根据接收到的分布节点匹配信息从满足预设条件的分布节点服务器中进行筛选。这个预设条件可以由开发人员任意设置,比如可以设置成资源占用率小于等于预设阈值。
选择资源占用率最低的分布节点服务器作为目标分布节点服务器可以实现各分布节点服务器的负载均衡,并且也能够尽可能的满足当前计算服务的需要。当然,也可以选择网络性能最稳定的分布节点服务器作为目标分布节点服务器,或者也可以选择质量最佳通信信道对应的分布节点服务器作为目标分布节点服务器。
S104:将目标分布节点服务器地址发送给前置节点服务器。
前置节点服务器在接收到由策略管理服务器发送的目标分布节点服务器地址后就可以向相应的分布节点服务器发布计算任务。
本实施例还提供一种应用于前置节点服务器侧的分布式数据计算方法,具体的可以参见图5所示,包括:
S501:接收由客户端发送的计算服务请求。
S502:确定与该计算服务请求对应的分布节点匹配信息并发送给策略管理服务器。
应当理解的是,在步骤S502之前还可以对该计算服务请求进行鉴权,可以在确认发送该计算服务请求的客户端信息满足预设身份条件信息时,再执行步骤S502。
S503:接收由策略管理服务器按照预设选择原则从能够实现该计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,该分布节点服务器地址由策略管理服务器根据分布节点匹配信息选择得到。
S504:根据目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
本实施例还提供一种计算机存储介质,计算机可读存储介质中存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述分布式数据计算方法的步骤。
通过本实施例提供的方法以及计算机存储介质,由于根据分布节点匹配信息筛选出来的分布节点服务器地址有多个,所以网络系统可以为一确定的计算服务请求灵活地分配分布节点服务器,也即即使这多个分布节点服务器中的某一个出现了故障,网络系统也可以从筛选出来的这多个分布节点服务器地址中选择其他的地址对应的分布节点服务器来响应当前的计算服务请求,与现有的方案相比,增加了为计算服务请求分配分布节点服务器的灵活性,对于某一确定的计算服务请求而言,由于筛选出来的可为其提供服务的分布节点服务器存在多个所以对于网络系统的稳定性、扩展性都有一定的提升。
实施例二:
请参见图6所示,本发明实施例提供一种应用于策略管理服务器侧的分布式数据计算装置,包括匹配信息接收模块61、第一地址选择模块62、第二地址选择模块63以及地址下发模块64。
其中,匹配信息接收模块61用于接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息,第一地址选择模块62用于根据该分布节点匹配信息选择出能够实现该计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址,第二地址选择模块63用于按照预设选择原则从筛选出的分布节点服务器地址中选择出目标分布节点服务器地址,地址下发模块64用于将该目标分布节点服务器地址发送给前置节点服务器。
本实施例中的前置节点服务器是网络系统中对外提供服务接口的服务器,其对外的服务接口可以是面向业务角度进行定义的,例如可以是Web Service(网页服务)、SOAP(简单对象访问协议)或者其它类型的RPC(远程过程调用协议)等等。
可见,本实施例中的前置节点服务器通过服务接口就可以接收由客户端发送的计算服务请求,前置节点服务器在接收到该计算服务请求后可以收集与该计算服务请求对应的分布节点匹配信息。
应当理解的是,本实施例中的服务计算请求可以是由客户端发送的任意请求,例如,可以是接入网络请求、呼叫请求、应用下载请求等等。
本实施例中的分布节点匹配信息中可以包括计算服务类型,此时第一地址选择模块62用于根据接收到的计算服务类型和预设计算服务类型与分布节点服务器地址对应关系表选择出与该计算服务类型对应的分布节点服务器地址,将选择出的与该计算服务类型对应的分布节点服务器地址作为能够实现该计算服务请求的分布节点服务器地址;应当理解的是,每一计算服务类型至少对应两个分布节点服务器地址。
本实施例中的分布节点匹配信息中还可以包括计算服务类型以及当前实现该计算服务类型对应功能的至少两个分布节点服务器地址,此时第一地址选择模块62用于根据该计算服务类型与预设计算服务类型与分布节点服务器地址对应关系表选择出与该计算服务类型对应的分布节点服务器地址,对选择出的与该计算服务类型对应的分布节点服务器地址同当前实现该计算服务类型对应功能的分布节点服务器地址求交集,将交集中的地址作为能够实现该计算服务请求的分布节点服务器地址。
本实施例中的第二地址选择模块63用于获取筛选出来的分布节点服务器地址对应的分布节点服务器中的资源占用率,然后将资源占用率最低的分布节点服务器对应的地址作为目标分布节点服务器地址。
本发明实施例还提供一种应用于前置节点服务器侧的分布式数据计算装置,请参见图7所示,包括服务请求接收模块71、匹配信息确定模块72、地址接收模块73以及计算任务发布模块74。
其中,服务请求接收模块71用于接收由客户端发送的计算服务请求,匹配信息确定模块72用于确定与该计算服务请求对应的分布节点匹配信息并发送给策略管理服务器,地址接收模块73用于接收由策略管理服务器按照预设选择原则从能够实现该计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,该分布节点服务器地址由策略管理服务器根据分布节点匹配信息选择得到,计算任务发布模块74用于根据目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
需要说明的是,本实施例中实现上述所有模块功能的代码可以存储在相应的存储器中,并可以由相应服务器内的处理器执行以实现各自模块所对应的功能。
通过本实施例提供的分布式数据计算装置,可以根据分布节点匹配信息筛选出多个分布节点服务器地址,所以网络系统可以为一确定的计算服务请求灵活地分配分布节点服务器,也即即使这多个分布节点服务器中的某一个出现了故障,网络系统也可以从筛选出来的这多个分布节点服务器地址中选择其他的地址对应的分布节点服务器来响应当前的计算服务请求,与现有的方案相比,增加了为计算服务请求分配分布节点服务器的灵活性,对于某一确定的计算服务请求而言,由于筛选出来的可为其提供服务的分布节点服务器存在多个所以对于网络系统的稳定性、扩展性都有一定的提升。
实施例三:
请参见图8所示,本实施例提供一种策略管理服务器80,包括第一处理器801、第一存储器802及第一通信总线803,第一通信总线803用于实现第一处理器801和第一存储器802之间的连接通信;第一处理器801用于执行第一存储器802中存储的一个或者多个程序,以实现如实施例一中的分布式数据计算方法的步骤。
请参见图9所示,本实施还提供一种前置节点服务器81,包括第二处理器811、第二存储器812及第二通信总线813;第二通信总线813用于实现第二处理器811和第二存储器812之间的连接通信;第二处理器811用于执行第二存储器812中存储的一个或者多个程序,以实现如实施例一中的分布式数据计算方法的步骤。
本实施例在图8和图9的基础上还提供一种分布式数据计算系统,请参见图10所示,包括:集群管理服务器82、分布节点服务器83、前置节点服务器80以及策略管理服务器81。
其中,集群管理服务器82可以监测各分布节点服务器83的工作状态,所有的分布节点服务器83在启动之后都可以在集群管理服务器82上进行注册,运行期间分布节点服务器83与集群管理服务器82保持心跳,接收集群管理服务器82的监控。分布节点服务器83在启动完成并且注册成功之后,前置节点服务器81可以接收外部发送的计算服务请求,前置节点服务器81在接收到该计算服务请求之后可以确定该计算服务请求对应的分布节点匹配信息,然后将该分布节点匹配信息发送给策略管理服务器80,策略管理服务器80就可以根据接收到的分布节点匹配信息选择出能够实现该计算服务请求的至少两个分布节点服务器83对应的分布节点服务器83地址,并根据预设选择原则从该分布节点服务器83地址中选择出目标分布节点服务器83地址发送给前置节点服务器81,前置节点服务器81根据接收到的目标分布节点服务器83地址向相应的分布节点服务器83发布计算任务,目标分布节点服务器83接收到稿发布任务后调用自身内部的数据进行相应的计算,并将计算结果通过前置节点服务器81返回给相应的客户端。
需要说明的是,策略管理服务器80与集群管理服务器82之间可以进行通信,比如集群管理服务器82可以将监测到的各节点服务器的工作状态、资源占用情况等等同步给策略管理服务器80,策略管理服务器80可以根据集群管理服务器82同步的与分布节点服务器83相关的信息选择相应的目标分布节点服务器83。
通过本实施例提供的策略管理服务器、前置节点服务器以及分布式数据计算系统增加了网络系统中为计算服务请求分配分布节点服务器的灵活性,对于某一确定的计算服务请求而言,由于筛选出来的可为其提供服务的分布节点服务器存在多个所以对于网络系统的稳定性、扩展性都有一定的提升。
显然,本领域的技术人员应该明白,上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种分布式数据计算方法,包括:
接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息;
根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址;
按照预设选择原则从所述分布节点服务器地址中选择出目标分布节点服务器地址;
将所述目标分布节点服务器地址发送给所述前置节点服务器。
2.如权利要求1所述的分布式数据计算方法,其特征在于,所述分布节点匹配信息包括计算服务类型;
所述根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址包括:
根据所述计算服务类型和预设计算服务类型与分布节点服务器地址对应关系表选择出与所述计算服务类型对应的分布节点服务器地址;每一计算服务类型至少对应两个分布节点服务器地址;
将选择出的与所述计算服务类型对应的分布节点服务器地址作为能够实现所述计算服务请求的分布节点服务器地址。
3.如权利要求1所述的分布式数据计算方法,其特征在于,所述分布节点匹配信息包括计算服务类型以及当前实现所述计算服务类型对应功能的至少两个分布节点服务器地址;
所述根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址包括:
根据所述计算服务类型与预设计算服务类型与分布节点服务器地址对应关系表选择出与所述计算服务类型对应的分布节点服务器地址,
对选择出的与所述计算服务类型对应的分布节点服务器地址同实现所述计算服务类型对应功能的分布节点服务器地址求交集;
将交集中的地址作为能够实现所述计算服务请求的分布节点服务器地址。
4.如权利要求1-3任一项所述的分布式数据计算方法,其特征在于,按照预设选择原则从所述分布节点服务器地址中选择出目标分布节点服务器地址包括:
获取所述分布节点服务器地址对应的分布节点服务器中的资源占用率;
将资源占用率最低的分布节点服务器对应的地址作为目标分布节点服务器地址。
5.一种分布式数据计算方法,包括:
接收由客户端发送的计算服务请求;
确定与所述计算服务请求对应的分布节点匹配信息并发送给策略管理服务器;
接收由所述策略管理服务器按照预设选择原则从能够实现所述计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,所述分布节点服务器地址由所述策略管理服务器根据所述分布节点匹配信息选择得到;
根据所述目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
6.一种分布式数据计算装置,包括:
匹配信息接收模块,用于接收由前置节点服务器发送的与某一计算服务请求对应的分布节点匹配信息;
第一地址选择模块,用于根据所述分布节点匹配信息选择出能够实现所述计算服务请求的至少两个分布节点服务器对应的分布节点服务器地址;
第二地址选择模块,用于按照预设选择原则从所述分布节点服务器地址中选择出目标分布节点服务器地址;
地址下发模块,用于将所述目标分布节点服务器地址发送给所述前置节点服务器。
7.一种分布式数据计算装置,包括:
服务请求接收模块,用于接收由客户端发送的计算服务请求;
匹配信息确定模块,用于确定与所述计算服务请求对应的分布节点匹配信息并发送给策略管理服务器;
地址接收模块,用于接收由所述策略管理服务器按照预设选择原则从能够实现所述计算服务请求的至少两个分布节点服务器对应的地址中选择并发送的目标分布节点服务器地址,所述分布节点服务器地址由所述策略管理服务器根据所述分布节点匹配信息选择得到;
计算任务发布模块,用于根据所述目标分布节点服务器地址向相应的目标分布节点服务器发布计算任务。
8.一种策略管理服务器,包括第一处理器、第一存储器及第一通信总线;
所述第一通信总线用于实现所述第一处理器和所述第一存储器之间的连接通信;
所述第一处理器用于执行所述第一存储器中存储的一个或者多个程序,以实现如权利要求1-4任一项所述的分布式数据计算方法的步骤。
9.一种前置节点服务器,包括第二处理器、第二存储器及第二通信总线;
所述第二通信总线用于实现所述第二处理器和所述第二存储器之间的连接通信;
所述第二处理器用于执行所述第二存储器中存储的一个或者多个程序,以实现如权利要求5所述的分布式数据计算方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-5中任一项所述的分布式数据计算方法的步骤。
CN201710697377.0A 2017-08-15 2017-08-15 分布式数据计算方法、装置、服务器及计算机存储介质 Active CN109413117B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710697377.0A CN109413117B (zh) 2017-08-15 2017-08-15 分布式数据计算方法、装置、服务器及计算机存储介质
EP18846782.3A EP3672203A4 (en) 2017-08-15 2018-08-15 DISTRIBUTION PROCESS FOR THE CALCULATION OF DISTRIBUTED DATA, DEVICE, SERVER AND STORAGE MEDIA
PCT/CN2018/100696 WO2019034091A1 (zh) 2017-08-15 2018-08-15 分布式数据计算的分配方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710697377.0A CN109413117B (zh) 2017-08-15 2017-08-15 分布式数据计算方法、装置、服务器及计算机存储介质

Publications (2)

Publication Number Publication Date
CN109413117A true CN109413117A (zh) 2019-03-01
CN109413117B CN109413117B (zh) 2022-05-06

Family

ID=65362157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710697377.0A Active CN109413117B (zh) 2017-08-15 2017-08-15 分布式数据计算方法、装置、服务器及计算机存储介质

Country Status (3)

Country Link
EP (1) EP3672203A4 (zh)
CN (1) CN109413117B (zh)
WO (1) WO2019034091A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112003907A (zh) * 2020-08-04 2020-11-27 北京大学深圳研究生院 网络资源需求及其中算力需求的确定性转发方法
CN113452767A (zh) * 2021-06-23 2021-09-28 新华三大数据技术有限公司 一种应用于服务集群内的负载均衡方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565917B (zh) * 2020-11-26 2023-04-07 湖南快乐阳光互动娱乐传媒有限公司 一种节点选取方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130007253A1 (en) * 2010-03-30 2013-01-03 Guohuai Li Method, system and corresponding device for load balancing
US20130332584A1 (en) * 2011-02-28 2013-12-12 Hangzhou H3C Technologies, Co., Ltd. Load balancing methods and devices
CN104079630A (zh) * 2014-06-09 2014-10-01 中国建设银行股份有限公司 一种业务服务端负载均衡方法、客户端、服务端以及系统
US20150381453A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Integrated global resource allocation and load balancing
US20160142369A1 (en) * 2014-11-18 2016-05-19 Alibaba Group Holding Limited Service addressing in distributed environment
CN106101232A (zh) * 2016-06-16 2016-11-09 北京思源置地科技有限公司 负载均衡方法及装置
CN106302611A (zh) * 2015-06-09 2017-01-04 深圳市腾讯计算机系统有限公司 业务请求分配系统、方法和装置
CN106790368A (zh) * 2016-11-17 2017-05-31 北京奇艺世纪科技有限公司 一种分布式系统中的资源调度方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930983B2 (en) * 2000-03-15 2005-08-16 Texas Instruments Incorporated Integrated circuits, systems, apparatus, packets and processes utilizing path diversity for media over packet applications
CN102137128A (zh) * 2010-01-27 2011-07-27 腾讯科技(深圳)有限公司 一种集群服务的负载均衡方法和装置
TWI414161B (zh) * 2011-01-28 2013-11-01 Univ Nat Chiao Tung 負載分配方法
CN105024938A (zh) * 2015-06-11 2015-11-04 北京思源置地科技有限公司 一种移动负载均衡方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130007253A1 (en) * 2010-03-30 2013-01-03 Guohuai Li Method, system and corresponding device for load balancing
US20130332584A1 (en) * 2011-02-28 2013-12-12 Hangzhou H3C Technologies, Co., Ltd. Load balancing methods and devices
CN104079630A (zh) * 2014-06-09 2014-10-01 中国建设银行股份有限公司 一种业务服务端负载均衡方法、客户端、服务端以及系统
US20150381453A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Integrated global resource allocation and load balancing
US20160142369A1 (en) * 2014-11-18 2016-05-19 Alibaba Group Holding Limited Service addressing in distributed environment
CN106302611A (zh) * 2015-06-09 2017-01-04 深圳市腾讯计算机系统有限公司 业务请求分配系统、方法和装置
CN106101232A (zh) * 2016-06-16 2016-11-09 北京思源置地科技有限公司 负载均衡方法及装置
CN106790368A (zh) * 2016-11-17 2017-05-31 北京奇艺世纪科技有限公司 一种分布式系统中的资源调度方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王曦等: "云计算数据优化存储系统设计", 《电脑知识与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112003907A (zh) * 2020-08-04 2020-11-27 北京大学深圳研究生院 网络资源需求及其中算力需求的确定性转发方法
CN113452767A (zh) * 2021-06-23 2021-09-28 新华三大数据技术有限公司 一种应用于服务集群内的负载均衡方法及装置

Also Published As

Publication number Publication date
EP3672203A1 (en) 2020-06-24
EP3672203A4 (en) 2021-03-31
CN109413117B (zh) 2022-05-06
WO2019034091A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
US20240015112A1 (en) Load adaptation architecture framework for orchestrating and managing services in a cloud computing system
CN108206852B (zh) 一种微服务框架下的基于会话的服务实例管理方法及设备
WO2018133306A1 (zh) 内容分发网络中的调度方法和设备
CN110602254B (zh) 一种实现负载均衡的方法、装置及系统
KR101102674B1 (ko) 원격통신 장치, 컴퓨터 판독가능 저장 매체, 원격통신 네트워크 운영 방법
US8103769B1 (en) Dynamic isolation of shared resources
TWI225990B (en) Autonomic provisioning of network-accessible service behaviors within a federated grid infrastructure
CN109547517B (zh) 一种带宽资源调度方法和装置
EP2410427A1 (en) Techniques for dynamic cloud-based edge service computing
CN112714029B (zh) 一种内容分发网络带宽调度的方法、装置及设备
WO2016074759A1 (en) Method and system for real-time resource consumption control in a distributed computing environment
CN103986748A (zh) 实现服务化的方法和装置
CN109413117A (zh) 分布式数据计算方法、装置、服务器及计算机存储介质
US20150312364A1 (en) Intelligent Global Services Bus and System for Mobile Applications
CN113810443A (zh) 资源管理方法、系统、代理服务器及存储介质
CN111949404B (zh) 调整服务器负载的方法、装置和相关设备
US9270528B2 (en) Systems and methods of provisioning data storage and runtime configuration in telecommunications systems and devices
CN110944067A (zh) 一种负载均衡方法和服务器
CN110868323A (zh) 一种带宽控制方法、装置、设备及介质
CN108958933B (zh) 任务执行器的配置参数更新方法、装置及设备
CN110727511B (zh) 应用程序的控制方法、网络侧设备和计算机可读存储介质
CN110955504B (zh) 智能分配渲染任务的方法、服务器、系统及存储介质
CN106254103B (zh) 一种rtmp集群系统可动态配置方法及装置
CN111522664A (zh) 基于分布式服务的服务资源管控方法及装置
CN110995802A (zh) 任务的处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant