CN114327880A

CN114327880A - 一种轻代码异构分布式系统的计算方法

Info

Publication number: CN114327880A
Application number: CN202111589412.XA
Authority: CN
Inventors: 林晓东; 陈伟钦; 李洋; 黄奕; 郑沐兴; 彭柏林
Original assignee: Guangzhou Yidian Bangke Intelligent Network Technology Co ltd
Current assignee: Guangzhou Yidian Bangke Intelligent Network Technology Co ltd
Priority date: 2021-12-23
Filing date: 2021-12-23
Publication date: 2022-04-12

Abstract

本发明涉及云计算领域，更具体地，涉及一种轻代码异构分布式系统的计算方法，包括以下步骤：S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；S2，对计算请求任务检索的结果进行工作数据集映射；S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；S4，将不同的计算阶段按资源特性分配到不同的计算平台中同时进行计算；S5，对不同的计算平台计算的中间数据进行精减；S6,存储并输出计算平台计算的结果，本发明公开的轻代码异构分布式系统的计算方法，能高程度减少计算过程产生的碳排，减少了资源的损耗，此外，通过统一资源访问的方式，能实现不同计算机语言的计算支持，并可以同时执行多个任务。

Description

一种轻代码异构分布式系统的计算方法

技术领域

本发明涉及云计算领域，更具体地，涉及一种轻代码异构分布式系统。

背景技术

当前，分布式系统主要将系统的吞吐量提高一个数量级，并在此之下，可以有很高效的横向扩展性，因此，分布式系统已经得到了广泛的应用。

在此之下，暂时未出现一个通用型的分布式系统，也就是说，任何一个分布式系统都是为了解决了专有性的问题，例如作数据处理的分布式系统去做流式计算就非常不合适，例如专做并行大数据量计算的任务就不适合在具有事务能力的分布式系统上执行。

但无论是任何种类的分布式系统，都是基于通用计算机作为硬作支撑，通用型计算机是一个全能型的的计算机，具有很高的兼容性与通用性，但是经过多年的发展，制作晶体管的工艺已经及大地受到了物理定律的约束，摩尔定律基本已经失效，单单工艺上得升性能的方法已经行不通。

在这个情况下，通用型的计算机硬件体系和处理方法已经不再适用于当前分布式系统高吞时下量的需求，需要更换新型硬件体系的方式，在这个情况下，需要改变现有分布式系统的底层的运算模式，便于对更强的异构式分布系统进行计算。

目前，分布式系统的工作都用于IO层面的控制，性能方便也是更多地受到IO性能的约速，整个计算过程可以看成木桶原理，最终性能取决于性能最差的环节。

在大吞吐量的情况下，现有服务器的CPU的性能远远大于需要处理的数据量，而更多CPU时间都是在等待IO设备的数据输入输出，而通用的计算机是不会考虑成本的情况下，去使用低计算性能的CPU，反而CPU 厂商往往会考虑市场的原因，设计更多的全能全高，用于有较好的评测分数。

从软件上来看，软件为了工程问题，往往不会考虑太过复杂的分布式系统。或是考虑异构式的系统，因为在近十年来看，暂时未有异构系统的硬件生态来支撑。但是在计算能力停步不前的今天，专有异构的系统是一个必然前进的方向，在软件层面实现兼容性，更好地利用专用计算机硬件来提供性能。

因此，提出一种解决上述问题的轻代码异构分布式系统实为必要。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种轻代码异构分布式系统的计算方法。

为解决上述技术问题，本发明的技术方案如下：一种轻代码异构分布式系统的计算方法，包括以下步骤：

S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；

S2，对计算请求任务检索的结果进行工作数据集映射；

S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；

S4，将不同的计算阶段按资源特性分配到不同的计算平台中进行计算；

S5，对不同的计算平台计算的中间数据进行精减；

S6,存储并输出计算平台计算的结果。

进一步的，所述步骤S1中，包括以下步骤：

S11，通过串行通讯接口或者以太网对计算请求任务进行传输；

S12，对计算请求任务进行检索。

更进一步的，所述步骤S2中，包括以下步骤：

S21，对检索的数据进行快速计算，对快速计算的中间数据进行临时数据存储；

S22，对步骤S21中临时存储的数据进行工作数据集映射。

进一步的，所述步骤S3中，不同的计算阶段均由各计算阶段的主节点执行。

更进一步的，所述步骤S4中，所述资源特性为CPU特性或内存特性或存储特性或高带宽特性的一种或多种。

进一步的，所述步骤S4中，不同的计算平台中，计算过程流水并行。

更进一步的，所述步骤S5中，计算平台计算的中间数据分次进行精减。

进一步的，所述步骤S6中，还包括以下步骤：

S61，系统对计算平台计算的结果的大小进行控制；

S62，系统对计算平台计算的结果封装成文件系统。

与现有技术相比，本发明技术方案的有益效果是：

本发明公开的轻代码异构分布式系统的计算方法，通过将计算请求任务分隔成不同的计算阶段，让系统明确计算需要的性能点，增加了分布式计算设备的扩展能力，从而减少了分布式计算设备的运维难度，和降低了智能设备管理与开发的难度，让更多开发人员可以参与，为万物互联提供高性能低成本的解决方案，能高程度减少计算过程产生的碳排，减少了资源的损耗，此外，通过统一资源访问的方式，能实现不同计算机语言的计算支持，并可以同时执行多个任务。

附图说明

图1是现有技术中分布式系统的计算方法。

图2是本发明中轻代码异构分布式系统的计算方法。

图3是本发明中轻代码异构分布式系统的计算方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，在传统的计算方法中，当需要执行计算请求任务时，每一台计算机只对对应的步骤分别进行检索、工作数据集映射、并行计算、精减和存储的其中一步进行操作，并将最后的结果输出，这种计算的方式，由于多个计算过程只能流水并行，不能同时并行进行计算，因此，计算速度受影响，且浪费了能耗。

如图2-3所示，本发明一种轻代码异构分布式系统的计算方法，包括以下步骤：

S2，对计算请求任务检索的结果进行工作数据集映射；

S5，对不同的计算平台计算的中间数据进行精减；

S6，存储并输出计算平台计算的结果。

其中，在步骤S1中，包括以下步骤：

S12，对计算请求任务进行检索。

更进一步的，所述步骤S2中，包括以下步骤：

S22，对步骤S21中临时存储的数据进行工作数据集映射。

在步骤S3中，不同的计算阶段均由各计算阶段的主节点执行。

在步骤S4中，所述资源特性为CPU特性或内存特性或存储特性或高带宽特性。

在步骤S4中，不同的计算平台中，计算过程流水并行。

在步骤S5中，计算平台计算的中间数据分次进行精减。

在步骤S6中，还包括以下步骤：

S61，对计算平台计算的结果的大小进行控制；

S62，对计算平台计算的结果封装成文件系统。

本发明相对于现有的计算方式，可以执行任意计算机语言的运行环境，通过采用串行通讯和以太网络两种通讯的方式，将计算任务分发到各计算节点之中。

由于系统分为子节点与主节点，主节点用于管理与收集子节点的计算结果数据，并在主节点对数据进行重新分发，分发到对应性能的计算节点中，在本发明中，在实现任务计算前期，任务开发者需要分隔不同的计算阶段，不同的计算阶段定义由主节点来执行，其中，系统明确定认“检索”，“工作数据集映射”，“并行计算”，“精减”，“存储”这五个过程，所有任务都会有以上5个过程，这5个过程都会提前在分布式系统中定义不同的计算硬件来执行。每个过程都是异步执行，不同过程会提供不同类型的方法与数据。

所有的业务场景下，只需要设计五个计算过程，与按不同特性来分划计算任务，则系统会分发到不同的计算机硬件之中，也就是说，系统的各节点都是由不同类型的计算机与不同的底层操作系统来执行，计算环境会通过容器设备进行资源控制与隔离，其计算的语言可以支持多种，但是实现资源调用的方式都是使用统一的资源调用方式，此方式为数据流与虚拟文件系统。

除此之外，本发明还可以在任意平台上实施，并且不限于计算机语言，通过利用容器中间件管理资源，实现快带分发，运行环境隔离与资源约束，实现“检索”，“工作数据集映射”，“并行计算”，“精减”，“存储”各过程的执行，调用相应的计算资源，当计算完毕后，通过将内存都抽象成文件，并实现夸节点，实现虚拟文件系统，将不同资源抽象成文件输出，此外，在使用分布式系统时，还可以提供相应的监控接口，便于监控资源调用情况。

图中，描述位置关系仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种轻代码异构分布式系统的计算方法，其特征在于：包括以下步骤：

S2，对计算请求任务检索的结果进行工作数据集映射；

S5，对不同的计算平台计算的中间数据进行精减；

S6，存储并输出计算平台计算的结果。

2.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S1中，包括以下步骤：

S12，对计算请求任务进行检索。

3.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S2中，包括以下步骤：

S22，对步骤S21中临时存储的数据进行工作数据集映射。

4.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S3中，不同的计算阶段均由各计算阶段的主节点执行。

5.根据权利要求1所述的轻代码异构分布式系统的计算方法，其特征在于：所述步骤S4中，所述资源特性为CPU特性或内存特性或存储特性或高带宽特性的一种或多种。

6.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S4中，不同的计算平台中，计算过程流水并行。

7.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S5中，计算平台计算的中间数据分次进行精减。

8.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S6中，还包括以下步骤：

S61，系统对计算平台计算的结果的大小进行控制；

S62，系统对计算平台计算的结果封装成文件系统。