CN104660689B - 分布式计算系统 - Google Patents

分布式计算系统 Download PDF

Info

Publication number
CN104660689B
CN104660689B CN201510059050.1A CN201510059050A CN104660689B CN 104660689 B CN104660689 B CN 104660689B CN 201510059050 A CN201510059050 A CN 201510059050A CN 104660689 B CN104660689 B CN 104660689B
Authority
CN
China
Prior art keywords
distributed
configuration information
client
coordination server
computational nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510059050.1A
Other languages
English (en)
Other versions
CN104660689A (zh
Inventor
陈丰
詹卫许
董灿
钱正浩
黄龙茂
邢璐
陈军
龙震岳
余凯
尹书伟
聂斌
刘刚
杨刚
赵传征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YANTAI HAIYI SOFTWARE CO Ltd
China Southern Power Grid Co Ltd
Original Assignee
YANTAI HAIYI SOFTWARE CO Ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YANTAI HAIYI SOFTWARE CO Ltd, China Southern Power Grid Co Ltd filed Critical YANTAI HAIYI SOFTWARE CO Ltd
Priority to CN201510059050.1A priority Critical patent/CN104660689B/zh
Publication of CN104660689A publication Critical patent/CN104660689A/zh
Application granted granted Critical
Publication of CN104660689B publication Critical patent/CN104660689B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种分布式计算系统，包括：客户端、分布式协调服务器、分布式计算节点；所述分布式协调服务器用于记录配置信息，当配置信息发生变化时，通知所述分布式计算节点加载新的配置信息；所述分布式计算节点用于接收所述客户端发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述客户端；在接收到所述分布式协调服务器的通知后读取所述分布式协调服务器记录的新的配置信息并更新为新的配置信息。上述系统，通过分布式协调服务器记录配置信息，当配置信息发生变化时，通过分布式协调服务器通知分布式计算节点加载新的配置信息，从而可以在配置信息修改时不重启系统即可更新配置信息，不影响整个系统的运行效率。

Description

分布式计算系统
技术领域
本发明涉及计算机技术领域，特别是涉及一种分布式计算系统。
背景技术
分布式计算一般针对单一的业务计算内容进行设计，以计算服务系统的方式呈现，以分布式方式部署执行具体计算的服务。整个服务系统需要管理两方面：一是各个计算服务所在的节点(服务部署的计算机)；二是各个节点上的服务进程,这些信息组成了系统的配置信息。配置信息的修改，表示计算服务的部署结构有变动，因此一般采取的措施是将系统关闭，修改配置后，重新启动系统，系统便会根据最新的配置管理协调各个服务节点以及节点上的进程，继续实现计算任务。而这种措施由于分布式计算部署的计算机一般多于一个，一旦配置修改，则重启系统的过程中整个系统就无法执行计算任务，影响整个系统的运行效率。
发明内容
基于此，有必要针对在修改配置后，重新启动系统导致的整个系统就无法执行计算任务，影响整个系统的运行效率的问题，提供一种分布式计算系统。
一种分布式计算系统，包括：
客户端、分布式协调服务器、分布式计算节点；
所述客户端用于获取分布式协调服务器记录的分布式计算节点地址，根据所述分布式计算节点地址向对应的分布式计算节点发送请求参数，并接收所述分布式计算节点返回的计算结果；
所述分布式协调服务器用于记录配置信息，当配置信息发生变化时，通知所述分布式计算节点加载新的配置信息；其中，所述配置信息包括所述分布式计算节点地址和分布式计算节点的服务进程信息；
所述分布式计算节点用于接收所述客户端发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述客户端；在接收到所述分布式协调服务器的通知后读取所述分布式协调服务器记录的新的配置信息并更新为新的配置信息。
上述分布式计算系统，通过分布式协调服务器记录配置信息，配置信息包括分布式计算节点地址和分布式计算节点的服务进程信息，当配置信息发生变化时，通过分布式协调服务器通知分布式计算节点加载新的配置信息，从而可以在配置信息修改时不重启系统即可更新配置信息，不影响整个系统的运行效率。
附图说明
图1为一实施例分布式计算系统的结构示意图；
图2为一实施例分布式计算系统的架构示意图。
具体实施方式
下面结合附图对本发明的分布式计算系统的具体实施方式作详细描述。
请参阅图1，图1为一实施例分布式计算系统的结构示意图。
一种分布式计算系统，包括：
客户端10、分布式协调服务器30、分布式计算节点50；
所述客户端10用于获取分布式协调服务器30记录的分布式计算节点地址，根据所述分布式计算节点地址向对应的分布式计算节点50发送请求参数，并接收所述分布式计算节点50返回的计算结果；
所述分布式协调服务器30用于记录配置信息，当配置信息发生变化时，通知所述分布式计算节点50加载新的配置信息；其中，所述配置信息包括所述分布式计算节点50地址和分布式计算节点50的服务进程信息；
所述分布式计算节点50用于接收所述客户端10发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述客户端10；在接收到所述分布式协调服务器30的通知后读取所述分布式协调服务器30记录的新的配置信息并更新为新的配置信息。
上述分布式计算系统，通过分布式协调服务器30记录配置信息，配置信息包括分布式计算节点50地址和分布式计算节点50的服务进程信息，当配置信息发生变化时，通过分布式协调服务器30通知分布式计算节点50加载新的配置信息，从而可以在配置信息修改时不重启系统即可更新配置信息，不影响整个系统的运行效率。
在一实施例中，所述分布式计算节点50可以包括接收模块和服务加载器；
所述接收模块用于接收所述客户端10发送的所述请求参数，按设定的顺序将所述请求参数发送给对应的服务加载器进行计算，并接收服务加载器返回的计算结果，将所述计算结果发送给所述客户端10；
所述服务加载器用于接收所述接收模块发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述接收模块。
设定的顺序可以是按照各个请求参数接收的时间顺序分给队列中空闲的服务加载器，可以是按照请求参数大小将请求参数分给队列中空闲的服务加载器等，可以在不同的状况下都可以更好的分发请求参数，从而可以更效率的进行计算服务。
进一步的，在一实施例中，本实施例分布式计算系统还可以包括：根据接收各个请求参数的时间先后顺序确定所述设定的顺序。
在一实施例中，所述分布式协调服务器30可以包括控制单元和多个跟随单元；
所述控制单元用于协调所有跟随单元的一致性；
所述跟随单元用于记录配置信息，当配置信息发生变化时，通过所述跟随单元通知所述分布式计算节点50加载新的配置信息；接收所述客户端10的请求并根据所述请求返回客户端10结果。
通过控制单元和跟随单元分工合作，可以使得整个分布式计算过程更有效率。
在一实施例中，所述客户端10可以通过基于TCP/IP协议的SOCKET接口与所述分布式协调服务器30进行通讯。
TCP/IP协议指的是TCP(Transmission Control Protocol，传输控制协议)/IP(Internet Protocol，网协)协议，通过SOCKET接口可以更方便的使用TCP/IP协议栈。
在一实施例中，所述分布式协调服务器30可以通过异步IO的通讯机制与所述分布式计算节点50进行通讯。
通过异步IO的通讯机制可以使得整个分布式计算系统达到高并发和高吞吐的效果。
为了更进一步的详细说明本发明的分布式计算系统，下面将结合具体应用实例进行说明。
请参阅图2，图2为另一实施例分布式计算系统的结构示意图。
系统平台底层采用基于TCP/IP协议的SOCKET(套接字)接口，为了达到高并发和高吞吐的目标，分布式协调服务器与分布式计算节点的通讯机制采用了异步IO机制。为了提高分布式平台的稳定性和可用性，提供分布式协调服务器。系统整体结构如图2所示，图2中Leader即控制单元，Follower即跟随单元。
图2中演示了客户端服务请求的9个步骤，分别标号为S1至S9。
步骤S1：所有的分布式计算节点到分布式协调服务器集群注册；
步骤S2：客户端向分布式协调服务器请求分布式计算节点地址列表；
步骤S3：分布式协调服务向客户端返回所有的可用分布式计算节点地址列表；
步骤S4：客户端根据分布式计算节点地址列表随机选择一个分布式计算节点地址，并向对应的分布式计算节点发起连接请求；
步骤S5：连接建立；
步骤S6：在连接建立后，客户端向对应的分布式计算节点接收模块发送请求参数，请求参数进入接收模块的队列，排队等待计算服务；
步骤S7：空闲的服务加载器从排队的队列中获取请求参数，进行对应的计算；
步骤S8：服务加载器将计算结果返回接收模块的通讯进程；
步骤S9：接收模块将通讯进程的计算结果返回给客户端。
计算平台可以加载各种计算服务形成计算服务系统，系统所有的配置信息存储在分布式协调服务器集群上，所有的分布式计算节点都可以来读取这些配置信息，一旦配置信息发生变化，分布式协调服务器会通知所有的分布式计算节点。同时，分布式计算节点在读取配置信息的时候也可以留置观察者，成功留置观察者以后，一旦配置信息发生变化，分布式协调服务器会通知所有的分布式计算节点，然后分布式计算节点重新加载配置并重新留置观察者。在此过程中，所有分布式计算节点都可以正常运行，无需重启系统。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种分布式计算系统，其特征在于，包括：
客户端、分布式协调服务器、分布式计算节点；
所述客户端用于获取分布式协调服务器记录的分布式计算节点地址，根据所述分布式计算节点地址向对应的分布式计算节点发送请求参数，并接收所述分布式计算节点返回的计算结果；
所述分布式协调服务器用于记录配置信息，当配置信息发生变化时，通知所述分布式计算节点加载新的配置信息；其中，所述配置信息包括所述分布式计算节点地址和分布式计算节点的服务进程信息；
所述分布式计算节点用于接收所述客户端发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述客户端；在接收到所述分布式协调服务器的通知后读取所述分布式协调服务器记录的新的配置信息并更新为新的配置信息。
2.根据权利要求1所述的分布式计算系统，其特征在于，所述分布式计算节点包括接收模块和服务加载器；
所述接收模块用于接收所述客户端发送的所述请求参数，按设定的顺序将所述请求参数发送给对应的服务加载器进行计算，并接收服务加载器返回的计算结果，将所述计算结果发送给所述客户端；
所述服务加载器用于接收所述接收模块发送的请求参数，根据所述请求参数进行计算，并将计算结果返回给所述接收模块。
3.根据权利要求2所述的分布式计算系统，其特征在于，还包括：根据接收各个请求参数的时间先后顺序确定所述设定的顺序。
4.根据权利要求1所述的分布式计算系统，其特征在于，所述分布式协调服务器包括控制单元和多个跟随单元；
所述控制单元用于协调所有跟随单元的一致性；
所述跟随单元用于记录配置信息，当配置信息发生变化时，通过所述跟随单元通知所述分布式计算节点加载新的配置信息；接收所述客户端的请求并根据所述请求返回客户端结果。
5.根据权利要求1所述的分布式计算系统，其特征在于，所述客户端通过基于TCP/IP协议的SOCKET接口与所述分布式协调服务器进行通讯。
6.根据权利要求1所述的分布式计算系统，其特征在于，所述分布式协调服务器通过异步IO的通讯机制与所述分布式计算节点进行通讯。
CN201510059050.1A 2015-02-04 2015-02-04 分布式计算系统 Expired - Fee Related CN104660689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510059050.1A CN104660689B (zh) 2015-02-04 2015-02-04 分布式计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510059050.1A CN104660689B (zh) 2015-02-04 2015-02-04 分布式计算系统

Publications (2)

Publication Number Publication Date
CN104660689A CN104660689A (zh) 2015-05-27
CN104660689B true CN104660689B (zh) 2018-04-27

Family

ID=53251376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510059050.1A Expired - Fee Related CN104660689B (zh) 2015-02-04 2015-02-04 分布式计算系统

Country Status (1)

Country Link
CN (1) CN104660689B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105515872B (zh) * 2015-12-23 2019-05-28 北京奇虎科技有限公司 配置信息的更新方法、装置及系统
CN105959390A (zh) * 2016-06-13 2016-09-21 乐视控股（北京）有限公司 微服务的统一管理系统及方法
CN107589951B (zh) * 2016-07-05 2021-01-22 北京金山云网络技术有限公司 一种集群升级方法及装置
CN110417636B (zh) * 2018-04-28 2022-06-21 黄楚媛 一种去中心化的自组织即时通信系统及其方法
CN110601868B (zh) * 2018-06-13 2022-06-21 阿里巴巴集团控股有限公司 实时分发配置信息的分布式系统、方法和电子设备
CN110955460B (zh) * 2019-11-15 2023-10-03 北京金山云网络技术有限公司 一种服务进程启动方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033777A (zh) * 2010-09-17 2011-04-27 中国资源卫星应用中心 基于ice的分布式作业调度引擎
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台系统
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理系统
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071631B2 (en) * 2012-08-09 2015-06-30 International Business Machines Corporation Service management roles of processor nodes in distributed node service management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033777A (zh) * 2010-09-17 2011-04-27 中国资源卫星应用中心 基于ice的分布式作业调度引擎
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台系统
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理系统
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法

Also Published As

Publication number Publication date
CN104660689A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
CN104660689B (zh) 分布式计算系统
US10878355B2 (en) Systems and methods for incident queue assignment and prioritization
WO2020253347A1 (zh) 一种容器集群管理方法、装置及系统
CN115328663B (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
US9910708B2 (en) Promotion of calculations to cloud-based computation resources
US10904303B2 (en) Control message from streaming source to facilitate scaling
EP3182678A1 (en) Method for upgrading network function virtualization application, and method and device for forwarding service
EP3745678B1 (en) Storage system, and method and apparatus for allocating storage resources
US9852220B1 (en) Distributed workflow management system
US10944655B2 (en) Data verification based upgrades in time series system
CN108279921A (zh) 一种基于容器平台的自动灰度发布方法、系统及装置
US20160170792A1 (en) Management system and method for controlling management system
CN110083651B (zh) 一种数据加载的方法和装置
US20240095082A1 (en) Method and system for multiple services to share same gpu, and device and medium
US9736235B2 (en) Computer system, computer, and load balancing method
CN103795569A (zh) 一种基于连接池的服务器连接方法和装置
IL278825A (en) Methods and system for data transfer
CN112631680B (zh) 微服务容器调度系统、方法、装置和计算机设备
WO2016173280A1 (zh) 监控管理方法及装置
US8935570B2 (en) Automating infrastructure workflows as atomic transactions
CN111177160B (zh) 服务更新方法、装置、服务器及介质
CN117492944A (zh) 任务调度方法、装置、电子设备及可读存储介质
CN114968286A (zh) 微服务发布方法、装置、存储介质及电子设备
CN110517061A (zh) 一种优惠券的生成方法、装置及服务器
CN111835797A (zh) 一种数据处理方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180427

Termination date: 20210204

CF01 Termination of patent right due to non-payment of annual fee