CN109995878A - 资源库共享方法及分布式集群系统 - Google Patents

Abstract

本发明提供了一种资源库共享方法及分布式集群系统，系统包括通信连接的部署终端、服务主机及多个节点主机，方法包括：部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据。部署终端将携带配置数据的配置请求发送给节点主机，以使节点主机根据配置请求进行资源库挂载操作，从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为节点主机安装用于执行服务主机分发的任务的节点服务，以实现分布式集群系统的并发执行任务的能力。

Description

资源库共享方法及分布式集群系统

技术领域

本发明涉及资源共享领域，具体而言，涉及一种资源库共享方法及分布式集群系统。

背景技术

平台服务的资源库以文件形式存储在主机的本地磁盘中，以至于该文件无法跨主机访问，因此平台服务不具备集群分布式能力、并发任务执行能力，效率低下。

发明内容

为了解决上述问题，本发明实施例提供一种资源库共享方法及分布式集群系统。

第一方面，本发明实施例提供一种资源库共享方法，应用于分布式集群系统，所述系统包括通信连接的部署终端、服务主机及多个节点主机，所述方法包括：

所述部署终端响应用户的配置操作生成配置数据，其中，所述配置数据包括服务主机IP地址、各个节点主机IP地址及所述资源库在所述服务主机中的资源库路径；

所述部署终端将携带所述配置数据的配置请求发送给所述节点主机；

所述节点主机根据接收到的所述配置请求进行资源库挂载操作，以使所述节点主机能够通过所述资源库路径访问存储在所述服务主机的资源库；

所述部署终端为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为所述节点主机安装用于执行服务主机分发的任务的节点服务。

可选地，在本实施例中，所述部署终端包括前端界面及后端服务，所述部署终端响应用户的配置操作生成配置数据，包括：

所述前端界面响应用户对于服务主机、节点主机及资源库路径的配置操作，并根据所述配置操作生成配置数据。

可选地，在本实施例中，所述部署终端将携带所述配置数据的配置请求发送给所述节点主机，包括：

所述前端界面将所述配置数据转换为配置请求并发送至后端服务，且所述后端服务将所述配置请求转发至节点主机，以使所述节点主机根据所述配置请求完成资源库挂载操作。

可选地，在本实施例中，所述部署终端为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为所述节点主机安装用于执行服务主机分发的任务节点服务，包括：

所述后端服务接收到所述前端界面发送的配置请求后，安装主服务至指定的服务主机；

当节点主机完成资源库挂载操作后，所述后端服务为所述节点主机安装节点服务。

可选地，在本实施例中，所述方法还包括：

所述后端服务将所述主服务、节点服务的安装结果反馈至前端界面；

所述前端界面对安装结果进行显示。

第二方面，本发明实施例还提供一种分布式集群系统，所述系统包括部署终端、服务主机及多个节点主机，所述部署终端、服务主机及多个节点主机通信连接；

所述部署终端用于响应用户的配置操作生成配置数据，其中，所述配置数据包括服务主机IP地址、各个节点主机IP地址及所述资源库在所述服务主机中的资源库路径；

所述部署终端还用于将携带所述配置数据的配置请求发送给所述节点主机；

所述节点主机用于根据接收到的所述配置请求进行资源库挂载操作，以使所述节点主机能够通过所述资源库路径访问存储在所述服务主机的资源库；

所述部署终端还用于为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，为所述节点主机安装用于执行服务主机分发的任务的节点服务。

可选地，在本实施例中，所述部署终端包括前端界面及后端服务；

所述前端界面用于响应用户对于服务主机、节点主机及资源库路径的配置操作，并根据所述配置操作生成配置数据。

可选地，在本实施例中，所述前端界面还用于将所述配置数据转换为配置请求并发送至后端服务，所述后端服务用于将所述配置请求转发至节点主机，以使所述节点主机根据所述配置请求完成资源库挂载操作。

可选地，在本实施例中，所述后端服务用于在接收到所述前端界面发送的配置请求后，安装主服务至指定的服务主机；

当节点主机完成资源库挂载操作后，所述后端服务还用于为所述节点主机安装节点服务。

可选地，在本实施例中，所述后端服务还用于将所述主服务、节点服务的安装结果反馈至前端界面，以使所述前端界面根据反馈结果对安装结果进行显示。

相对于现有技术，本发明实施例具有以下有益效果：

本发明提供了一种资源库共享方法及分布式集群系统，系统包括通信连接的部署终端、服务主机及多个节点主机，方法包括：部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据，部署终端将携带配置数据的配置请求发送给节点主机，以使节点主机根据配置请求进行资源库挂载操作，从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为节点主机安装用于执行服务主机分发的任务的节点服务，以实现分布式集群系统的并发执行任务的能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的分布式集群系统的架构图；

图2为本申请实施例提供的资源库共享方法的流程图；

图3为本申请实施例提供的通过资源库共享方式分布式执行任务的流程图；

图4为本申请实施例提供的通过资源库共享方式对资源库进行备份和恢复的流程图。

图标：10-分布式集群系统；100-部署终端；200-服务主机；300-节点主机；201-资源库。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1为本申请实施例提供的分布式集群系统的架构图，分布式集群系统10包括部署终端100、服务主机200及多个节点主机300，部署终端100与服务主机200及多个节点主机300通信连接，资源库201设置在服务主机200上。通过部署终端100能够实现服务主机200与各个节点主机300进行资源库共享，使各个节点主机300也能访问位于服务主机200上的资源库201。

请参照图2，图2为本申请实施例提供的资源库共享方法的流程图，在本实施例中，所述方法包括以下步骤：

步骤S210，部署终端100响应用户的配置操作生成配置数据。其中，所述配置数据包括服务主机IP地址、各个节点主机IP地址及所述资源库在所述服务主机中的资源库路径。

在本步骤中，部署终端100包括前端界面及后端服务，前端界面用于输入用户的配置数据，例如，用户可以在前端界面中输入服务主机200的IP地址、各个节点主机300的IP地址、以及资源库在服务主机200中的路径等。

具体的，在本步骤中，用户在前端页面中对服务主机200、节点主机300的IP地址进行指定，并输入资源库路径后，所述前端界面响应用户对于服务主机200、节点主机300及资源库路径的配置操作，并根据所述配置操作生成配置数据。

步骤S220，部署终端100将携带配置数据的配置请求发送给节点主机300。

在本步骤中，部署终端100根据步骤S210中的配置数据生成相应的配置请求，并将配置请求发送至节点主机300。

具体的，在本步骤中，部署终端100的前端界面将配置请求发送至后端服务，所述后端服务将配置请求发送至各个节点主机300，以使所述节点主机根据所述配置请求完成资源库挂载操作。

步骤S230，节点主机300根据接收到的配置请求进行资源库挂载操作。通过资源库挂载操作使300节点主机能够通过所述资源库路径访问存储在服务主机200的资源库。

在本步骤中，节点主机300在接收到配置请求后，根据配置请求中携带的配置数据进行资源库挂载操作。

所述挂载操作是指将服务主机200上的资源库201目录映射到其他节点主机300上，以使节点主机300能够像访问本地文件一样访问该资源库201，从而实现资源库的共享。

步骤S240，部署终端100为服务主机200安装主服务，并为节点主机300安装节点服务。其中，所述主服务用于创建任务并将创建的该任务分发至节点主机，所述节点服务用于执行服务主机分发的任务。

在本步骤中，部署终端100为服务主机200安装用于创建任务并将创建的该任务分发至节点的主服务，并为节点主机300安装用于执行服务主机分发的任务的节点服务。

值得说明的是，本实施例中描述的主服务及节点服务并不特指用于创建任务或执行任务，所述主服务还可用于恢复资源库或具有其他功能，例如备份等功能，在此对主服务及节点服务的功能不作具体限定。

具体的，在本步骤中，后端服务接收到前端界面发送的配置请求后，为服务主机200安装主服务；当节点主机300完成资源库挂载操作后，为节点主机300安装节点服务。

请继续参照图2，在本实施例中，所述方法还包括：

步骤S250，后端服务将主服务、节点服务的安装结果反馈至前端界面，前端界面对安装结果进行显示。

在本步骤中，前端界面根据后端服务发送的安装结果进行显示，例如安装成功、安装失败或安装出错等内容。

通过上述基于分布式系统资源库共享方法，实现了服务平台能够通过资源库共享的方式将用户创建的任务分发到不同节点上执行，提升了平台的集群分布能力、任务并发执行的能力。请参照图3，图3为本申请实施例提供的通过资源库共享方式分布式执行任务的流程图，所述分布式执行任务方法应用于服务主机200和与服务主机200通信连接的节点主机300，节点主机300能够访问位于服务主机200中的资源库201。所述流程图包括以下步骤：

步骤S310，服务主机200响应用户根据不同需求场景创建的任务。

在本步骤中，用户根据自己的需求在服务主机200的页面上创建任务，对任务进行设计和建模，其中，用户创建的任务包括任务执行策略，具体包括：服务主机200需要执行的任务、各个节点主机300需要执行的任务。

步骤S320，服务主机200将创建的任务保存至资源库201中。

在本步骤中，用户根据需求完成任务设计及建模后，服务主机200将创建的任务以文件的形式保存在资源库201中，其中，资源库201位于服务主机中。

步骤S330，服务主机200根据任务执行策略将任务分发至对应的节点主机300。

在本步骤中，服务主机200包括调度器，所述调度器根据任务执行策略将需要执行的任务按照需求分发至不同的节点主机300，以便节点主机300进行后续操作。

步骤S340，节点主机300接收任务，从资源库201中获取任务数据，并执行任务。

在本步骤中，当节点主机300接收到所述调度器发送的任务后，各个节点主机300从资源库201中获取相应的任务数据，并根据任务数据执行该任务，以完成任务的并行执行。

用户的建模数据使用文件存储相对于数据库方式避免了多主机进程同时访问同一数据库表造成的锁表问题；因建模数据为图形化数据，数据量需要分表存放，当用户加载时则需要读取多张表并将数据合并之后才能加载，使用文件资源库便可一次性加载建模的图形数据，资源库共享之后便可解决平台集群部署使用的能力。

通过本申请实施例提供的基于分布式系统资源库共享方法，服务平台具有一定的冗余能力，能够在资源库或资源库中的文件被误删后及时恢复，在一定程度上防止了用户误删带来的损失。请参照图4，图4为本申请实施例提供的通过资源库共享方式对资源库进行备份和恢复的流程图，包括以下步骤：

步骤S410，服务主机200读取资源库中的备份策略，并启动备份机制。

在本步骤中，资源库中201预存有备份策略，当资源库201中有内容更改时，服务主机200读取该备份策略，并启动相应的备份机制，服务主机200在备份时压缩资源库并保存，保存后将原有备份删除，使得服务主机200中有且仅有一份最新的备份后的副本，副本能够根据备份策略保存在服务主机200的任意路径中。

步骤S420，当服务主机200无法找到资源库时，服务主机200根据副本自行恢复资源库。

步骤S430，当节点主机300检测到资源库201不存在时，节点主机300发送恢复资源库请求至服务主机200，服务主机200接收到请求后恢复资源库201。

在上述步骤中，当服务主机200需要访问资源库201时，通过资源库路径去访问资源库201，若检测到资源库201不存在时，即被误删时，服务主机200能够根据备份的副本自行恢复资源库201及资源库中的文件。当节点主机300需要从资源库201中获取数据时，若资源库201被误删，则节点主机300无法检测到资源库201，节点主机300向服务主机200发送恢复资源库201的请求，当服务主机200接收到请求时，根据保存的副本对资源库进行恢复，降低了由于用户误删资源库带来的损失。

在本实施例的其他实施方式中，用户可通过手动恢复的方式根据副本对资源库进行恢复，恢复过程中无需停止服务主机200和节点主机300当前的服务，但在恢复过程中不能执行任何的操作，恢复完成后无需重启主服务及节点服务。

结合参照图1，本申请实施例还提供一种分布式集群系统，所述分布式集群系统10包括部署终端100、服务主机200及多个节点主机300，所述部署终端100、服务主机200及多个节点主机300通信连接。

所述部署终端100用于响应用户的配置操作生成配置数据，其中，所述配置数据包括服务主机200的IP地址、各个节点主机300的IP地址及所述资源库201在所述服务主机中的资源库路径。

所述部署终端100还用于将携带所述配置数据的配置请求发送给所述节点主机300。

所述节点主机300用于根据接收到的所述配置请求进行资源库201挂载操作，以使所述节点主机300能够通过所述资源库路径访问存储在所述服务主机200的资源库201。

所述部署终端100还用于为所述服务主机200安装用于创建任务并将创建的该任务分发至节点主机300的主服务，为所述节点主机300安装用于执行服务主机200分发的任务的节点服务。

可选地，在本实施例中，所述部署终端100包括前端界面及后端服务；所述前端界面用于响应用户对于服务主机200、节点主机300及资源库路径的配置操作，并根据所述配置操作生成配置数据。

可选地，在本实施例中，所述前端界面还用于将所述配置数据转换为配置请求并发送至后端服务，所述后端服务用于将所述配置请求转发至节点主机300，以使所述节点主机300根据所述配置请求完成资源库挂载操作。

可选地，在本实施例中，所述后端服务用于在接收到所述前端界面发送的配置请求后，安装主服务至指定的服务主机200；当节点主机300完成资源库挂载操作后，所述后端服务还用于为所述节点主机300安装节点服务。

可选地，在本实施例中，所述后端服务还用于将所述主服务、节点服务的安装结果反馈至前端界面，以使所述前端界面根据反馈结果对安装结果进行显示。

综上所述，本发明提供了一种资源库共享方法及分布式集群系统，系统包括通信连接的部署终端、服务主机及多个节点主机，方法包括：部署终端响应用户的配置操作生成包括服务主机IP地址、各个节点主机IP地址及资源库路径的配置数据，部署终端将携带配置数据的配置请求发送给节点主机，以使节点主机根据配置请求进行资源库挂载操作，从而使各个节点主机能够访问存储在服务主机的资源库。部署终端为服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为节点主机安装用于执行服务主机分发的任务的节点服务，以实现分布式集群系统的并发执行任务的能力。除此之外，通过资源库共享的方式还能完成资源库的备份与恢复，减少由于误删资源库造成的损失。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种资源库共享方法，其特征在于，应用于分布式集群系统，所述系统包括通信连接的部署终端、服务主机及多个节点主机，所述方法包括：

所述部署终端响应用户的配置操作生成配置数据，其中，所述配置数据包括服务主机IP地址、各个节点主机IP地址及所述资源库在所述服务主机中的资源库路径；

所述部署终端将携带所述配置数据的配置请求发送给所述节点主机；

所述节点主机根据接收到的所述配置请求进行资源库挂载操作，以使所述节点主机能够通过所述资源库路径访问存储在所述服务主机的资源库；

所述部署终端为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为所述节点主机安装用于执行服务主机分发的任务的节点服务。

2.根据权利要求1所述的方法，其特征在于，所述部署终端包括前端界面及后端服务，所述部署终端响应用户的配置操作生成配置数据，包括：

所述前端界面响应用户对于服务主机、节点主机及资源库路径的配置操作，并根据所述配置操作生成配置数据。

3.根据权利要求2所述的方法，其特征在于，所述部署终端将携带所述配置数据的配置请求发送给所述节点主机，包括：

所述前端界面将所述配置数据转换为配置请求并发送至后端服务，且所述后端服务将所述配置请求转发至节点主机，以使所述节点主机根据所述配置请求完成资源库挂载操作。

4.根据权利要求3所述的方法，其特征在于，所述部署终端为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，并为所述节点主机安装用于执行服务主机分发的任务节点服务，包括：

所述后端服务接收到所述前端界面发送的配置请求后，安装主服务至指定的服务主机；

当节点主机完成资源库挂载操作后，所述后端服务为所述节点主机安装节点服务。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述后端服务将所述主服务、节点服务的安装结果反馈至前端界面；

所述前端界面对安装结果进行显示。

6.一种分布式集群系统，其特征在于，所述系统包括部署终端、服务主机及多个节点主机，所述部署终端、服务主机及多个节点主机通信连接；

所述部署终端用于响应用户的配置操作生成配置数据，其中，所述配置数据包括服务主机IP地址、各个节点主机IP地址及资源库在所述服务主机中的资源库路径；

所述部署终端还用于将携带所述配置数据的配置请求发送给所述节点主机；

所述节点主机用于根据接收到的所述配置请求进行资源库挂载操作，以使所述节点主机能够通过所述资源库路径访问存储在所述服务主机的资源库；

所述部署终端还用于为所述服务主机安装用于创建任务并将创建的该任务分发至节点主机的主服务，为所述节点主机安装用于执行服务主机分发的任务的节点服务。

7.根据权利要求6所述的系统，其特征在于，所述部署终端包括前端界面及后端服务；

所述前端界面用于响应用户对于服务主机、节点主机及资源库路径的配置操作，并根据所述配置操作生成配置数据。

8.根据权利要求7所述的系统，其特征在于，所述前端界面还用于将所述配置数据转换为配置请求并发送至后端服务，所述后端服务用于将所述配置请求转发至节点主机，以使所述节点主机根据所述配置请求完成资源库挂载操作。

9.根据权利要求8所述的系统，其特征在于，所述后端服务用于在接收到所述前端界面发送的配置请求后，安装主服务至指定的服务主机；

当节点主机完成资源库挂载操作后，所述后端服务还用于为所述节点主机安装节点服务。

10.根据权利要求9所述的系统，其特征在于，所述后端服务还用于将所述主服务、节点服务的安装结果反馈至前端界面，以使所述前端界面根据反馈结果对安装结果进行显示。