CN103347059B - 实现用户配置参数传递的方法、客户端和系统 - Google Patents

Abstract

本发明公开了一种实现用户配置参数传递的方法、客户端和系统。所述方法包括：根据本发明的这种读取指定任务的用户配置文件中的配置参数，向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。本发明的技术方案简化了用户的操作，避免了资源浪费，通过约定参数传递配置参数，不需要指定存放配置文件的位置，且用户没有访问云计算集群中的节点的权限时，也能将配置参数传递过去。

Description

实现用户配置参数传递的方法、客户端和系统

技术领域

本发明涉及网络通信技术领域，具体涉及一种实现用户配置参数传递的方法、客户端和系统。

背景技术

云计算是一种通过互联网以服务的方式提供动态可伸缩的虚拟化的资源的计算模式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。大量计算机构成的资源池称为云计算集群。

Torque是一个用于复杂和高性能计算环境的工作负载和资源管理器，可用其搭建云计算集群，负责任务调度和资源管理。基于Torque的云计算集群是使用Torque作为集群的资源管理器，并由Torque负责任务调度。使用Torque可以简化作业提交、跨多个平台集群分布工作负载，以及扩展到数千甚至数万个处理器。

Torque主要有如下特征：1）易用性：为所有的资源提供统一的接口，易于配置以满足不同系统的需求，灵活的作业调度器允许不同系统采用自己的调度策略。2）移植性：符合POSIX1003.2标准，可以用于shell和批处理等各种环境。3）适配性：可以适配与各种管理策略，并提供可扩展的认证和安全模型。支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚拟组织。4）灵活性：支持交互和批处理作业。

用户在使用云计算服务时，往往需要将自己的计算任务的特定配置参数传递给云计算集群，从而使自己的计算任务按照配置参数的指示完成符合期望的计算。在以Torque作为集群资源管理器的云计算集群中，由于Torque并没有对传递用户配置参数功能提供较好的支持，因此现有的Torque中的传递用户配置参数的方法如下：用户把配置参数写入一个文件中；提交计算前，用户把这个配置文件事先手动拷贝到云计算集群的每个计算节点的约定位置；计算时，用户程序从约定位置寻找这个位置文件；找到文件后，用户程序读取文件内容，从而获得用于计算的配置参数。

这种传递用户配置参数的方法存在如下缺点：

1.用户需要在计算前事先手动将配置文件拷贝到云计算集群的所有节点，操作繁琐、不人性化。

2.由于云计算集群的特点是用户的计算一般只会在部分节点运行，且哪些节点参与计算是事先不知道的，因此用户需要把配置文件拷贝到所有节点，以防万一，这样会浪费集群存储资源。

3.用户需要在每个计算节点上指定一个存放配置文件的位置，同时用户程序运行时需要从这个位置寻找配置文件。这些步骤违背了易用性原则。

4.较为严重的问题是，对外提供服务的云计算集群，为了保证服务安全和稳定，都会禁止用户登录到集群内部的节点进行操作。即在成熟的云计算服务中，用户没有访问云计算集群中的计算节点的权限，从而无法将配置文件拷贝到计算节点，也就无法完成期望的计算。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实现用户配置参数传递的方法、客户端和系统。

依据本发明的一个方面，提供了一种实现用户配置参数传递的方法，适用于基于Torque的云计算集群中，该方法包括：

读取指定任务的用户配置文件中的配置参数；

向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

可选地，所述读取指定任务的用户配置文件中的配置参数包括：读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串；

所述向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque包括：向Torque提交所述指定任务时，将所述字符串作为“-l”参数的“other”域的值传递给Torque。

可选地，所述读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串包括：

按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串；

其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。

可选地，所述指定字符为字符“+”。

可选地，所述各个节点的用户程序解析该值所表示的配置参数包括：

所述各个节点上的用户程序以所述指定字符为分隔符，将该值分解为各个配置项。

依据本发明的一个方面，提供了一种实现用户配置参数传递的客户端，该客户端是在基于Torque的云计算集群中向Torque提交任务的客户端，该客户端包括：用户配置读取单元和任务提交单元；

所述用户配置读取单元，适于读取指定任务的用户配置文件中的配置参数；

所述任务提交单元，适于向Torque提交所述指定任务时，将所述用户配置读取单元所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

可选地，所述用户配置读取单元，适于读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串；

所述任务提交单元，适于向Torque提交所述指定任务时，将所述用户配置读取单元编码成的所述字符串作为“-l”参数的“other”域的值传递给Torque，使得Torque在收到“-l”参数的“other”域的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，进而使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

可选地，所述用户配置读取单元，适于按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串；

其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。

可选地，所述用户配置读取单元，适于按行读取所述用户配置文件，在行与行之间使用字符“+”作为分隔符，将所有行拼接成一个字符串。

依据本发明的一个方面，提供了一种实现用户配置参数传递的系统，该系统包括Torque以及如上述任一项所述的客户端；

Torque适于在收到客户端传递的所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

根据本发明的这种读取指定任务的用户配置文件中的配置参数，向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务的技术方案简化了用户的操作，避免了资源浪费，通过约定参数传递配置参数，不需要指定存放配置文件的位置，且用户没有访问云计算集群中的节点的权限时，也能将配置参数传递过去。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种实现用户配置参数传递的方法的流程图；

图2示出了根据本发明一个实施例的一种实现用户配置参数传递的客户端的结构图；

图3示出了根据本发明一个实施例的一种实现用户配置参数传递的系统的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种实现用户配置参数传递的方法的流程图。该实现用户配置参数传递的方法适用于基于Torque的云计算集群中，如图1所示该方法包括：

步骤S110，读取指定任务的用户配置文件中的配置参数。

用户需要将指定任务的配置参数写入用户配置文件中，以供读取。

步骤S120，向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

Torque具有将某些特定参数分发到云计算集群中的运行所述指定任务的各个节点上的特性，因此所述的约定参数即为这些Torque或将其分发到云计算集群中的运行所述指定任务的各个节点上的特定参数。

通过图1所示的方法，能够通过Torque自动将配置参数传递的云计算集群中的运行所述指定任务的各个节点上，而其他节点不会获得该配置参数，简化了用户的操作，避免了资源浪费，通过约定参数传递配置参数，不需要指定存放配置文件的位置，且用户没有访问云计算集群中的节点的权限时，也能将配置参数传递过去。

在本发明的一个具体实施例中，将Torque的提交任务客户端程序用脚本进行封装，这里称为封装脚本，由该封装脚本执行图1所示的方法，即该封装脚本利用Torque的特性来实现用户配置参数自动传送到对应的计算节点的功能。

在本发明的一个实施例中，利用Torque客户端程序的“-l”这个参数，此参数有个“other”域可以向参与本次计算任务的所有节点传递任意一个字符串（且只能传递一个），作为计算参数提供给用户程序读取。因此本实施例中使用此域。具体来说包括如下步骤：

步骤A1，用户编写指定计算任务的用户配置文件。

步骤A2，用户使用封装脚本向基于Torque的云计算集群提交所述指定计算任务。

步骤A3，封装脚本读取所述指定计算任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串。

步骤A4，封装脚本使用原本的Torque客户端程序向Torque服务器端程序提交所述指定计算任务时，将所述编码成的字符串作为“-l”参数的“other”域的值传递给Torque。

步骤A5，Torque服务器端程序收到“-l”参数的“other”域的配置参数后，将其传递到运行所述指定任务的各个节点上。这是Torque本省的机制，由Torque自动完成。

步骤A6，运行所述指定任务的各个节点的用户程序解析该配置参数，根据解析出的配置参数完成计算任务。

在本发明的一个实施例中，所述读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串具体为：按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串。其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。即该指定字符中专用于组成字符串时区分行用的，所以用户在写配置文件时不能使用该指定字符，以免造成混淆。

则所述各个节点的用户程序解析该值所表示的配置参数包括：所述各个节点上的用户程序以所述指定字符为分隔符，将该值分解为各个配置项。

在本发明的一个实施例中，作为分隔符的指定字符为“+”。这样，在读取配置文件时，在行与行之间使用“+”作为分隔符，将所有行拼接成一个字符串。用户在写配置文件时，以换行符为分割，且不能出现“+”这个字符。计算节点上的用户程序读取到该字符串后，以“+”作为配置的分隔符，将所述字符串解码为各项配置，然后根据这些配置完成所述指定计算任务。

本发明的上述方案有如下有点：

1.用户无需在计算前事先手动将配置文件拷贝到云计算集群的所有节点。本发明使用Torque的特性将配置编码成字符串，并自动分发到负责该任务的所有计算节点，中间过程无需文件拷贝。实现了自动化传递配置。

2.本方案的用户配置只会传递到与该计算任务有关的节点。其他节点不会获得用户配置。这是Torque的特性保证的，避免了集群资源的浪费。

3.由于用户配置传递的中间过程不需要文件，因此也解决了原有方法的第3个缺点，增强了云计算服务的易用性。

4.本方案的用户配置传递是由Torque客户端程序和Torque服务器端程序代为完成的，因此用户自己不需要访问云计算集群内部的节点。所以既保证了云计算集群的安全和稳定性，又解决了原有方法的用户访问权限问题。

图2示出了根据本发明一个实施例的一种实现用户配置参数传递的客户端的结构图。该实现用户配置参数传递的客户端200是在基于Torque的云计算集群中向Torque提交任务的客户端，该实现用户配置参数传递的客户端200包括：用户配置读取单元201和任务提交单元202。

用户配置读取单元201，适于读取指定任务的用户配置文件中的配置参数。

任务提交单元202，适于向Torque提交所述指定任务时，将所述用户配置读取单元所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

图2所示的装置，能够通过Torque自动将配置参数传递的云计算集群中的运行所述指定任务的各个节点上，而其他节点不会获得该配置参数，简化了用户的操作，避免了资源浪费，通过约定参数传递配置参数，不需要指定存放配置文件的位置，且用户没有访问云计算集群中的节点的权限时，也能将配置参数传递过去。

在本发明的一个实施例中，用户配置读取单元201，适于读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串；

任务提交单元202，适于向Torque提交所述指定任务时，将所述用户配置读取单元编码成的所述字符串作为“-l”参数的“other”域的值传递给Torque，使得Torque在收到“-l”参数的“other”域的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，进而使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

这是因为Torque客户端程序的“-l”这个参数的“other”域可以向参与本次计算任务的所有节点传递任意一个字符串（且只能传递一个），作为计算参数提供给用户程序读取。因此本实施例中使用此域。

在本发明的一个实施例中，用户配置读取单元201，适于按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串。其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。

在本发明的一个实施例中，用户配置读取单元201，适于按行读取所述用户配置文件，在行与行之间使用字符“+”作为分隔符，将所有行拼接成一个字符串。

图3示出了根据本发明一个实施例的一种实现用户配置参数传递的系统的框图。如图3所示，该系统包括Torque300以及多个如图2所示的实现用户配置参数传递的客户端200。

Torque300，适于在收到实现用户配置参数传递的客户端200传递的所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

综上所述，本发明提出了一种将原有的手动传递参数的方法改为自动传递参数的方案，使得在基于Torque的云计算集群上提交计算任务更加便捷智能，增强了它的易用性。此外，还解决了用户访问权限问题,保证了云计算集群的安全和稳定性。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的实现用户配置参数传递的装置和系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种实现用户配置参数传递的方法，适用于基于Torque的云计算集群中，该方法包括：

读取指定任务的用户配置文件中的配置参数；

向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务；

其中，

所述读取指定任务的用户配置文件中的配置参数包括：读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串；

所述向Torque提交所述指定任务时，将所读取的配置参数作为约定参数的值传递给Torque包括：向Torque提交所述指定任务时，将所述字符串作为“-l”参数的“other”域的值传递给Torque。

2.如权利要求1所述的方法，其中，所述读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串包括：

按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串；

其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。

3.如权利要求2所述的方法，其中，

所述指定字符为字符“+”。

4.如权利要求2所述的方法，其中，所述各个节点的用户程序解析该值所表示的配置参数包括：

所述各个节点上的用户程序以所述指定字符为分隔符，将该值分解为各个配置项。

5.一种实现用户配置参数传递的客户端，该客户端是在基于Torque的云计算集群中向Torque提交任务的客户端，该客户端包括：用户配置读取单元和任务提交单元；

所述用户配置读取单元，适于读取指定任务的用户配置文件中的配置参数；

所述任务提交单元，适于向Torque提交所述指定任务时，将所述用户配置读取单元所读取的配置参数作为约定参数的值传递给Torque，以使Torque在收到所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务；

其中，

所述用户配置读取单元，适于读取指定任务的用户配置文件，将用户配置文件中的所有配置参数编码成一个字符串；

所述任务提交单元，适于向Torque提交所述指定任务时，将所述用户配置读取单元编码成的所述字符串作为“-l”参数的“other”域的值传递给Torque，使得Torque在收到“-l”参数的“other”域的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，进而使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。

6.如权利要求5所述的客户端，其中，

所述用户配置读取单元，适于按行读取所述用户配置文件，在行与行之间使用指定字符作为分隔符，将所有行拼接成一个字符串；

其中，所述用户配置文件中每一行为一个配置项，一个配置项包括一个或多个配置参数，所述指定字符是预先指定的，且所述用户配置文件中不存在该指定字符。

7.如权利要求6所述的客户端，其中，

所述用户配置读取单元，适于按行读取所述用户配置文件，在行与行之间使用字符“+”作为分隔符，将所有行拼接成一个字符串。

8.一种实现用户配置参数传递的系统，该系统包括Torque以及如权利要求5至7中任一项所述的客户端；

Torque适于在收到客户端传递的所述约定参数的值时，将该值分发到云计算集群中的运行所述指定任务的各个节点上，使得所述各个节点的用户程序解析该值所表示的配置参数，根据解析出的配置参数完成计算任务。