CN103440136A - 分布式编译的方法及系统 - Google Patents

Abstract

本发明公开了一种分布式编译的方法及系统，涉及信息处理领域，用于解决软件代码编译效率低导致编译时间长的问题。本发明提供的方法具体包括：采用各从服务机独立确定需要编译的待编译代码片段的方式，将分配任务的耗时平均分担到了各个从服务机，从而提高了软件编译的效率，缩短编译时间。本发明实施例主要用于软件开发的过程中。

Description

分布式编译的方法及系统

技术领域

本发明涉及信息处理领域，尤其涉及一种分布式编译的方法及系统。

背景技术

在软件设计过程中，可将单个软件按功能等特征划分为不同的子模块；在对软件的开发和编译过程中，单个软件的编译可被称为一个母工程，而单个子模块则对应为一个子工程；传统的编译方式是在一台计算机上串行的将所有子工程编译完成后再将所有编译结果组合，生成最终可供用户使用的软件产品；随着产品功能不断增加和完善，软件模块在不断的增加，软件规模也在不断的增大，一次全编译的时间可能多达数小时，这严重制约了产品的开发效率。

针对上述问题，现有技术中提出了分布式编译的方法，具体包括：

服务器将源码发送到各客户机，并为每个客户机分配编译任务，然后每个客户机根据分配好的编译任务进行编译，并将编译结果反馈给服务器，最后服务器对各个客户机反馈的编译结果进行整理。在实现上述分布式编译的过程中，发明人发现现有技术中至少存在如下问题：

所有编译任务需要由服务器统一进行分配，服务器负担重，影响编译效率。

发明内容

本发明的实施例提供一种分布式编译的方法及系统，用于提高软件编译的效率，缩短编译时间。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明实施例提供了一种分布式编译的方法，包括：

主编译机获取待编译代码，并将所述待编译代码存储至存储器；

至少两个从编译机根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段；

所述至少两个从编译机从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息；

所述主编译机对所述至少两个从编译机的编译信息进行汇总。

本发明实施例还提供了一种分布式编译的系统，包括：

服务器以及能够与所述服务器直接通信的电子终端，所述电子终端包括主编译机、至少两个从编译机以及存储器，所述主编译机能够单独与所述存储器进行通信，每个从编译机能够单独与存储器进行通信；

其中，所述主编译机用于获取待编译代码，并将所述待编译代码存储至存储器；以及对所述至少两个从编译机的编译信息进行汇总；

所述至少两个从编译机，用于根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段；以及从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息；

所述存储器，用于存储所述待编译代码。

本发明实施例提供的一种分布式编译的方法及系统，采用了各从服务机独立确定需要编译的待编译代码片段的方式，将分配任务的耗时平均分担到了各个从服务机，相比由服务器统一分配任务的方式，减轻了服务器的负荷，极大的缩短了任务分配的耗时，从而提高了软件编译的效率，缩短编译时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式编译的流程交互图；

图2为本发明实施例提供的一种分布式编译的局部方法流程的示意图；

图3为本发明实施例提供的另一种分布式编译的流程交互图；

图4为本发明实施例提供的一种分布式编译的系统的组成框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种分布式编译方法，具体可应用于本发明提供的一种分布式编译系统，该系统包括服务器以及能够与所述服务器直接通信的电子终端，所述电子终端包括主编译机、至少两个从编译机以及存储器，所述主编译机可单独与所述存储器进行通信，每个从编译机可单独与所述存储器进行通信。

在此系统中，服务器可优选使用web服务器，电子终端可优选使用计算机，主编译机和从编译机可优选电子终端通过虚拟构建的方式得到，存储器优选使用计算机内置物理硬盘即可。

在此需要说明的是，存储器若使用主编译机及从编译机所在的计算机内置物理硬盘，则在执行下述方法流程之前，需要将所述主编译机和所述至少两个从编译机分别与存储器建立共享连接。

基于上述系统，本发明实施例提供的分布式编译方法，其交互流程如图1所示，具体包括：

101、主编译机获取待编译代码，并将所述待编译代码存储至存储器。

在本实施例中，所述待编译代码指的是在软件开发过程中需要各个编译机进行编译的软件产品代码。

102、至少两个从编译机根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段。

在本实施例中所描述的从编译机的标识可以通过数字序号、字母序号等类似的标识来实现。

在本实施例中所描述的编译所述待编译代码的从编译机总数指的是当前被服务器分配去编译待编译代码的所有从编译机的总数量。

另外，需要说明的是，如图1所示的交互流程中仅提供了从编译机1和从编译机2与其它设备的交互流程，并未示出其它从编译机参与的交互流程，其目的在于提供简洁明了的交互流程示意图，但图1所示内容不作为对从编译机数量的限定。其它从编译机与主编译机的交互流程与从编译机1和2的相类似，本发明所属技术领域的技术人员可以直接做出推断，故本实施例对此不再赘述。

103、所述至少两个从编译机从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息。

本实施例使用的具体编译方法可参照业内常用的编译工具和相应的编译方法，本实施例对此不再赘述。

104、所述主编译机对所述至少两个从编译机的编译信息进行汇总。

本实施例在此描述的汇总流程中使用的编译信息具体为所有从编译机编译得到的工程对象文件、相应的编译告警信息以及编译错误信息。

在本实施方式中，通过采用各个从服务机独立确定需要编译的待编译代码片段的方式，将分配任务的耗时平均分担到了各个从服务机，相比由服务器统一分配任务的方式，极大的缩短了任务分配的耗时，从而提高了软件编译的效率，缩短编译时间。

进一步为了提高编译效率，缩短编译时间，本发明实施例的一种实现方式提供了如下设置，具体为：

每个从编译机需要编译的待编译代码片段为待编译代码的一部分，并且每个从编译机需要编译的待编译代码片段大小相同。

其中，每个从编译机需要编译的待编译代码片段大小相同指的是每个从编译机需要编译的待编译代码片段的文件数量相同，或者是每个从编译机需要编译的待编译代码片段的字节总数相同等。

基于此设置，如图2所示，在本实现方式中针对步骤102提供了具体的实现流程，包括：

1021、所述至少两个从编译机根据所述编译所述待编译代码的从编译机总数，对所述待编译代码进行平均分割，并对平均分割得到的待编译代码片段依次进行编号。

其中分割的基础可以是待编译代码的总文件数或者是总字节数。相应的，平均分割得到的待编译代码片段就是多个连续文件组成的文件组或者是多个连续字节组成的字节段。

对这些待编译代码片段分配编号时，一般需要使用每个从编译机的标识作为编号。

1022、所述至少两个从编译机根据各自的标识，确定与标识匹配的编号，然后根据确定的编号确定各自需要编译的待编译代码片段。

在本实施例中，标识与编号的匹配关系可以设置为至少以下几种规则：

第一种规则：标识与编号完全相同，例如，标识为1，则与标识1匹配的编号就是1；标识为2，则与标识2匹配的编号就是2。

第二种规则：标识与编号相差一个固定差值，例如，标识为1，则与标识1匹配的编号就是3；标识为2，则与标识2匹配的编号就是4。其中，固定差值为2。

第三种规则：标识与编号符合特定的对应关系，例如，标识为1，则与标识1匹配的编号就是a；标识为2，则与标识2匹配的编号就是b；标识为3则与标识3匹配的编号就是c。

以上三种规则只是提供优选的实现方式，标识与编号之间的对应关系可根据实际需要自行设置，本发明对此不进行限制。

在实施方式中，通过对待编译代码进行片段划分，并要求每个待编译代码片段的大小相同，以使得每个从编译机需要编译的工程量相同，继而让每个从编译机的编译负担相同，避免了因编译任务划分不平衡而出现水桶短板的现象出现，有效地提高了编译效率，缩短了编译时间。

为了方便对编译工程的统一管理和用户调用，因此需要将待编译代码以及编译结果等信息放置在服务器中，基于此设置，本发明实施例的另一实现方式，具体流程如图3所示，包括：

301、主编译机从服务器上下载所述待编译代码，并将所述待编译代码存储至存储器。

在本实施方式中，主编译机从服务器下载待编译代码一般需要服务器进行脚本调用来启动，具体的脚本调用方式可以使用telnet技术的相关实现方式，本发明在此不多做描述。

而在服务器启动主编译机下载功能之前，若同时存在多个编译任务需要进行处理，则需要服务器根据自身情况或者编译任务本身的优先处理要求等因素，对该多个编译任务设置待处理队列，并依照队列顺序依次触发主编译机下载待编译代码。

302、至少两个从编译机根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段。

与步骤301类似，步骤302也需要服务器使用telnet技术来触发从编译机启动此流程。

303、所述至少两个从编译机从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息。

304、所述至少两个从编译机将各自的编译信息发送至所述服务器。

305、所述主编译机从所述服务器下载所述至少两个从编译机的编译信息，并对下载到的编译信息进行汇总。

与步骤301类似，步骤305也需要服务器使用telnet技术来触发主编译机启动此流程。

在本实施方式中，通过将待编译代码、编译结果等信息放置在服务器中，能够方便用户进行统一管理和调用，有利于系统配置和维护。

本发明另一实施例提供了一种分布式编译的系统，可用于实现前述如图1至图3任意一幅所示的方法流程，该系统可如图4所示，具体包括服务器41以及能够与所述服务器41直接通信的电子终端42，所述电子终端包括主编译机43、至少两个从编译机44以及存储器45，所述主编译机43可单独与所述存储器45进行通信，每个从编译机44可单独与所述存储器45进行通信。需要说明的是，在图4中，仅标示了两个个从编译机，其目的在于提供简洁明了的装置示意图，但图4所示数量不作为对从编译机数量的限定。

其中，所述主编译机43用于获取待编译代码，并将所述待编译代码存储至存储器；以及对所述至少两个从编译机44的编译信息进行汇总。

所述至少两个从编译机44，用于根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段；以及从所述存储器45读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息。

所述存储器45，用于存储所述待编译代码。

可选的是，所述存储器45为所述电子终端42共享访问的物理存储器。

可选的是，所述存储器45分别与所述主编译机和所述至少两个从编译机建立共享连接。

可选的是，所述至少两个从编译机44还具体用于根据所述编译所述待编译代码的从编译机总数，对所述待编译代码进行平均分割，并对平均分割得到的待编译代码片段依次进行编号；根据各自的标识，确定与标识匹配的编号，然后根据确定的编号确定各自需要编译的待编译代码片段。

可选的是，所述至少两个从编译机44，还用于将各自的编译信息发送至所述服务器41。

所述主编译机43还用于从所述服务器41上下载所述待编译代码；以及用于从所述服务器41下载所述至少两个从编译机44的编译信息，并对下载到的编译信息进行汇总。

在上述实施方式中，通过采用各个从服务机独立确定需要编译的待编译代码片段的方式，将分配任务的耗时平均分担到了各个从服务机，相比由服务器统一分配任务的方式，极大的缩短了任务分配的耗时，从而提高了软件编译的效率，缩短编译时间。

并且，本发明实施例还通过虚拟构建的方式将一台电子终端构建成一个主编译机和至少两个从编译机，将待编译代码存放在电子终端的同一个物理存储器中，避免了各个从编译机重新下载待编译代码的步骤，从而有效提高了编译效率，缩短了编译时间。

并且，本发明实施例还通过对待编译代码进行片段划分，并要求每个待编译代码片段的大小相同，以使得每个从编译机需要编译的工程量相同，继而让每个从编译机的编译负担相同，避免了因编译任务划分不平衡而出现水桶短板的现象出现，有效地提高了编译效率，缩短了编译时间

并且，本发明实施例还通过将待编译代码、编译结果等信息放置在服务器中，能够方便用户进行统一管理和调用，有利于系统配置和维护。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式编译的方法，其特征在于，包括：

主编译机获取待编译代码，并将所述待编译代码存储至存储器；

至少两个从编译机根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段；

所述至少两个从编译机从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息；

所述主编译机对所述至少两个从编译机的编译信息进行汇总。

2.根据权利要求1所述的方法，其特征在于，所述待编译代码片段为所述待编译代码的一部分，并且每个从编译机需要编译的待编译代码片段大小相同。

3.根据权利要求2所述的方法，其特征在于，所述至少两个从编译机根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段包括：

所述至少两个从编译机根据所述编译所述待编译代码的从编译机总数，对所述待编译代码进行平均分割，并对平均分割得到的待编译代码片段依次进行编号；

所述至少两个从编译机根据各自的标识，确定与标识匹配的编号，然后根据确定的编号确定各自需要编译的待编译代码片段。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述主编译机获取待编译代码包括：

所述主编译机从服务器下载所述待编译代码；

则在所述至少两个从编译机从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息之后，还包括：

所述至少两个从编译机将各自的编译信息发送至所述服务器；

则所述主编译机对所述至少两个从编译机的编译信息进行汇总包括：

所述主编译机从所述服务器下载所述至少两个从编译机的编译信息，并对下载到的编译信息进行汇总。

5.根据权利要求4所述的方法，其特征在于，在所述主编译机获取待编译代码，并将所述待编译代码存储至存储器之前，还包括：

将所述主编译机和所述至少两个从编译机分别与存储器建立共享连接。

6.一种分布式编译的系统，其特征在于，包括服务器以及与所述服务器直接通信的电子终端，所述电子终端包括主编译机、至少两个从编译机以及存储器，所述主编译机能够单独与所述存储器进行通信，每个从编译机能够单独与存储器进行通信；

其中，所述主编译机用于获取待编译代码，并将所述待编译代码存储至存储器；以及对所述至少两个从编译机的编译信息进行汇总；

所述至少两个从编译机，用于根据各自的标识以及编译所述待编译代码的从编译机总数，确定各自需要编译的待编译代码片段；以及从所述存储器读取各自需要编译的待编译代码片段并进行编译，得到各自的编译信息；

所述存储器，用于存储所述待编译代码。

7.根据权利要求6所述的系统，其特征在于，所述存储器为所述电子终端共享访问的物理存储器。

8.根据权利要求6所述的系统，其特征在于，所述存储器分别与所述主编译机和所述至少两个从编译机建立共享连接。

9.根据权利要求6所述的系统，其特征在于，所述至少两个从编译机还具体用于根据所述编译所述待编译代码的从编译机总数，对所述待编译代码进行平均分割，并对平均分割得到的待编译代码片段依次进行编号；根据各自的标识，确定与标识匹配的编号，然后根据确定的编号确定各自需要编译的待编译代码片段。

10.根据权利要求6至10任意一项所述的系统，其特征在于，所述至少两个从编译机，还用于将各自的编译信息发送至所述服务器；

所述主编译机还用于从所述服务器上下载所述待编译代码；以及用于从所述服务器下载所述至少两个从编译机的编译信息，并对下载到的编译信息进行汇总。

Images