CN110262901A - 一种数据处理方法及数据处理系统 - Google Patents

Abstract

本发明公开了一种数据处理方法及数据处理系统，涉及计算机技术领域。所述方法包括：调度集群中的目标调度节点在获得调用API接口的数据处理请求后，按照预设调度规则，根据该数据处理请求中所请求处理的目标数据的元数据确定目标执行节点，并将该数据处理请求调度给确定出的目标执行节点，标执行节点在接收该数据处理请求后，则根据该数据处理请求对目标数据进行处理，以获得数据处理结果，并将获得的数据处理结果返回给调度集群。这样，对于所有针对同一数据的数据处理请求(例如计算请求和存储请求)，均采用同一套调度规则，这样可以绝对的保证计算和存储的“本地化”，从而可以尽量的减少数据的调度，提高计算效率。

Description

一种数据处理方法及数据处理系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及数据处理系统。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融行业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。金融行业(比如银行)一般会涉及对大量金融数据的处理，所以金融行业内对使用的分布式基础架构的要求更高。

目前，较常使用的分布式基础架构有Apache Hadoop MapReduce、Apache Spark、Apache Flink等，这些分布式基础架构平台通过软件技术，通过结合硬件的方式将分离开的计算力聚合在一起，实现计算力的提升，但是这些基础架构都有各自的应用场景，一般认为，MapReduce适用于大数据量的批处理场景；Spark则是“下一代的MapReduce”，不仅使用内存加速计算，还与Scala深度结合，使得大数据计算更加方便直接；Spark Streaming以微批的方式支持流式计算，使得Spark的应用场景变得更广；Apache Flink则是以一种事件驱动的方式支持流计算，逐渐成为流式计算的主流选择。

然而，在人工智能(Artificial Intelligence，AI)的场景中，由于人工智能是通过研究人类大脑的思考、学习和工作方式，然后将研究结果作为开发智能软件和系统的基础，其中涉及到训练模型构建和迭代计算，所以存在大量的数据调度。而上述列举的通用的基础架构是将计算、存储、通信分别作为一些功能组件单独考虑，并没有把它们作为一个整体考虑，计算力并没有完全发挥，而对于人工智能的应用场景也并没有进行相应的优化，从而使得计算成本高昂、效率低下。

因此，如何设计一套新的适用于人工智能场景的分布式基础架构，以使得计算、通信、存储一体化是一个需要思考的问题。

发明内容

本申请实施例提供了一种数据处理方法及数据处理系统，用于解决现有的数据架构的计算效率较低的问题。

第一方面，提供一种数据处理方法，应用于分布式系统，所述分布式系统包括调度集群和执行集群，所述调度集群包括至少一个调度节点，所述执行集群包括至少一个执行节点，所述方法包括：

所述调度集群中的目标调度节点获得调用API发起的数据处理请求，其中，所述数据处理请求中包括所述数据处理请求所请求处理的目标数据的元数据，所述数据处理请求包括计算请求或存储请求；

所述目标调度节点按照预设调度规则，根据所述元数据从所述执行集群中，确定处理所述目标数据的目标执行节点；

所述目标调度节点将所述数据处理请求调度给所述目标执行节点；

所述目标执行节点在获得所述数据处理请求之后，根据所述数据处理请求对所述目标数据进行处理，以获得数据处理结果，并将所述数据处理结果发送给所述调度集群。

另一方面，提供一种数据处理系统，所述系统包括调度集群和执行集群，其中：

所述调度集群，包括至少一个调度节点，所述至少一个调度节点中的目标调度节点用于：获得调用API发起的数据处理请求，其中，所述数据处理请求中包括所述数据处理请求所请求处理的目标数据的元数据，所述数据处理请求包括计算请求或存储请求；并按照预设调度规则，根据所述元数据从执行集群中，确定处理所述目标数据的目标执行节点；以及将所述数据处理请求调度给所述目标执行节点；

所述执行集群，包括至少一个执行节点，所述至少一个执行节点中的所述目标执行节点用于：获得所述数据处理请求；并根据所述数据处理请求对所述目标数据进行处理，以获得数据处理结果；以及将所述数据处理结果发送给所述调度集群。

在本申请实施例中，无论是获得什么类型的数据处理请求，例如无论是计算请求还是存储请求，均是采用同一套规则来根据数据处理请求所请求的数据本身来进行执行节点的调度，换言之，计算的调度和数据的存储是采用同一套规则，将计算和存储作为一体化考虑，这样可以绝对的保证计算和存储的“本地化”，即可以充分确保针对数据的计算是在该数据存储的节点自身内执行的，从而在计算时无需来回移动数据，而是直接将计算调度到该数据的存储本地，这种新的计算方式可以尽量的减少数据的调度，从而提高计算效率，同时也可以避免了因调度待处理数据造成的存储负担，节约了分布式系统的存储空间。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种数据处理方法的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

以下对本文中涉及的部分用语进行说明，以便于本领域技术人员理解。

(1)Key-value：关键码值，其中，key代表关键字，value代表值，每个关键字都会对应一个唯一的值，所以可以根据关键字取值，其主要特点是具有极高的并发读写性能。

(2)哈希函数：也称为是散列函数，是Hash表的映射函数，它可以把任意长度的输入变换成固定长度的输出，该输出就是哈希值。哈希函数能使对一个数据序列的访问过程变得更加迅速有效，通过哈希函数数据元素能够被很快的进行定位。

(3)API：是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

(4)序列化：对象序列化的最主要的用处就是在传递和保存对象的时候，保证对象的完整性和可传递性。序列化是把对象转换成有序字节流，以便在网络上传输或者保存在本地文件中。序列化机制的核心作用就是对象状态的保存与重建。

(5)反序列化：可以理解为是对第(4)点中的“序列化”进行反向处理，通过反序列化可以重建对象。

(6)元数据(Metadata)：又称中介数据或中继数据，为描述数据的数据(dataabout data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

元数据还可以理解为是元信息，而元信息是关于信息的信息，用于描述信息的结构、语义、用途和用法等。

(7)嵌入式神经网络处理器(neural-network process units，NPU)：采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。

图形处理器(Graphics Processing Unit，GPU)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。

中央处理器(Central Processing Unit，CPU)是一块超大规模的集成电路，是一台计算机的运算核心(Core)和控制核心(Control Unit)。它的功能主要是解释计算机指令以及处理计算机软件中的数据。

专用集成电路(Application Specific Integrated Circuit，ASIC)，在集成电路界被认为是一种为专门目的而设计的集成电路。

现场可编程门阵列(Field-Programmable Gate Array，FPGA)，是作为ASIC领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

下面对本申请实施例提供的技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

请参见图1所示的一种应用场景示意图，图1包括客户端集群和分布式系统两大部分，其中，客户端集群包括例如客户端1、客户端2、客户端3在内的多个客户端，用户可以通过客户端集群向分布式系统发起数据处理请求，具体来说是可以调用分布式系统的API来发起数据处理请求，而该数据处理请求例如可以至少包括针对数据的计算请求和存储请求。

图1中所示的分布式系统是一种相对于现有的分布式架构来说的一种新的基础架构，如图1所示，该新的分布式系统包括调度集群101、元服务集群102和执行集群103，其中调度集群101、元服务集群102和执行集群103分别为多个服务器组成的服务器集群，每个服务器之间可以通过网络进行通信。

调度集群101中包括多个调度节点，每个调度节点可以对应调度集群101中的一台服务器或者多台服务器，调度节点可以接收用户发送的处理数据的用户请求(即数据处理请求)，该数据处理请求中包括该数据处理请求所请求处理的数据(例如称作目标数据)的元数据，从而调度节点可以访问元服务集群102，以确定出与该数据处理请求中包括的元数据所针对的目标数据。进一步地，可以按照预设调度规则，从执行集群103中确定出以该目标数据对应的一个或多个执行节点，为了便于描述，本申请实施例中将与目标数据对应的一个或多个执行节点均称作目标执行节点，即，本申请实施例中的目标执行节点包括一个或多个执行节点。

元服务集群102中存储有分布式计算系统的各项数据的元数据，包括但不限于数据的命名空间、表名、存储类型、分片数量、分片方式、存储的执行节点等等，从而调度节点可以根据获得的数据处理请求从元服务集群102中，确定出存储该数据处理请求中携带的目标数据的元数据，进而根据该元数据，确定目标执行节点。

执行集群103中包含多个执行节点，每个执行节点可以对应执行集群103中的一台服务器或者多台服务器，为了区分各个执行节点，可以为每个执行节点设置对应的节点标识(例如序号)，从而调度节点可以根据执行节点的序号来确定与每个用户请求匹配的执行节点，从而通过匹配的执行节点来存储数据或者进行逻辑计算，即执行调度节点根据用户请求分配的任务。

因此，可以将调度节点理解为是数据处理过程的具有调度功能的主节点，以及将执行节点理解为是数据处理过程中具体进行数据处理的从节点，而数据处理例如可以包括数据存储、数据读取以及数据计算，等等。在本申请实施例中，例如可以将调度集群101称为Roll层，而每个调度节点可以称为Roll节点。以及可以将执行集群103称为Egg层，而每个执行节点称为Egg节点，对应的，可以将图1中所示的分布式系统称作EggRoll系统或者EggRoll架构，即，可以将本申请实施例中的EggRoll系统(或者称作EggRoll架构)理解为是一套基于分布式的基础架构与编程框架。

在本申请实施例中，无论数据处理请求是计算请求还是存储请求，均是采用预设调度规则来进行调度，即均是采用同一套规则来根据数据处理请求所请求的数据本身来进行执行节点的调度，换言之，计算的调度和数据的存储是采用同一套规则，将计算和存储作为一体化考虑，这样可以绝对的保证计算和存储的“本地化”，即可以充分确保针对数据的计算是在该数据存储的节点自身内执行的，从而在计算时无需来回移动数据，而是直接将计算调度到该数据的存储本地，这种新的计算方式可以尽量的减少数据的调度，从而提高计算效率。同时也可以避免了因调度待处理数据造成的存储负担，节约了分布式系统的存储空间。

尤其是对于AI场景中的模型构建和模型训练过程中的多轮迭代中的数据的频繁调度的情况，可以充分减少数据调度的次数，以移动计算逻辑的方式来实现快速的数据处理，从而可以提高计算效率，相当于是，本申请的分布式系统以及对应的数据处理算法，是根据AI场景中的数据处理特点进行了一定程度的优化处理，使得本申请中的技术方案可以更适配于目前应用广泛的AI领域，以尽量的提高计算效率。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

请参考图2，本申请实施例基于图1所示的分布式系统还提供一种数据处理方法，在理解该数据处理方法时，可以结合前述的分布式系统进行相应理解，本申请实施例中的数据处理方法的流程描述如下。

步骤201：客户端向调度集群发送数据处理请求。

如前所述的，例如客户端可以通过调用分布式系统的API接口来向调度集群发起数据处理请求，该数据处理请求可以为计算请求或者存储请求。

在本申请实施例中，如前文所述，调度集群中包括有多个调度节点，当调度集群收到用户发送的处理数据请求时，可以按照负载均衡的机制从多个调度节点中，确定出当前能够处理该数据处理请求的优选的调度节点，为了便于描述，例如可以选择出的该优选的调度节点称作目标调度节点。也就是说，可以根据调度集群中各个调度节点的运行状态，合理的将用户的请求分配到合适的调度节点，以便能够及时处理用户的请求，确保处理效率。

其中，数据处理请求中携带有该数据处理请求所请求处理的数据(例如称作目标数据)的元数据。

用户发起的数据处理请求中还可以包括有用户向基于分布式基础架构搭建的用户系统中提交的用户逻辑，该用户逻辑可以从用户调用的单个的API中获得的，也可以是从用户编写的程序中获得的，并且，这些用户逻辑主要是由用户系统中用户存储或计算的API组成。

步骤202：目标调度节点按照预设调度规则，从执行集群中确定一个或多个目标执行节点。

在本申请实施例中，当目标调度节点中接收到数据处理请求后，会对该数据处理请求中携带的用户逻辑进行优化处理，这个优化处理包括结果复用、逻辑优化、优先级调度等多种情况。

其中，结果复用表示可以将保存的历史用户逻辑的处理结果直接作为输出结果输出。具体的，若用户逻辑为计算逻辑，则可以将计算逻辑对目标数据的计算结果直接作为输出结果输出，例如，可以是在收到算法逻辑后，判断之前是否收到过相同的计算逻辑，以及确定基于分布式基础架构搭建的用户系统中是否保存有该计算逻辑的计算结果，若用户系统之前收到过相同的计算逻辑，并且保存有该计算逻辑的计算结果直接输出，从而可以较快的输出对目标数据的计算结果，避免重复调度计算逻辑浪费用户系统中的资源。

优先级调度是指当用户请求中包括的用户逻辑为多个计算逻辑时，可以根据计算逻辑的优先级关系，确定先调度哪一个计算逻辑来处理目标数据，例如，用户请求中携带有“加”和“乘”这两个计算逻辑，其中，“乘”的优先级高于“加”，所以可以确定优先调度“乘”这一计算逻辑，再调度“加”这一计算逻辑，从而确保当用户请求中携带多个计算逻辑时，确保计算逻辑执行的有序性，以及对目标数据计算结果的准确性。

在本申请实施例中，无论数据处理请求是计算请求还是存储请求，均是采用预设调度规则来进行调度，即均是采用同一套规则来根据数据处理请求所请求的数据本身来进行执行节点的调度，换言之，计算的调度和数据的存储是采用同一套规则，将计算和存储作为一体化考虑，这样可以绝对的保证计算和存储的“本地化”，即可以充分确保针对数据的计算是在该数据存储的节点自身内执行的，从而在计算时无需来回移动数据，而是直接将计算调度到该数据的存储本地，这种新的计算方式可以尽量的减少数据的调度，从而提高计算效率。

在本申请实施例中，当调度节点接收到用户请求后，可以根据目标数据的数据结构，确定对目标数据的调度方式。也就是说，首先，本申请实施例中，对于同一数据，该数据的存储和计算的调度采用的相同的调度规则，其次，对于不同类型的数据结构，还可以根据数据结构的特性，采用对应不同的调度方式。例如，目标调度节点确定数据处理请求所请求处理的目标数据结构之后，可以按照预设的数据结构与调度规则之间的对应关系，确定与该目标数据结构对应的目标调度规则，进而再根据目标调度规则和用于描述该目标数据的元数据来确定目标执行节点。其中，数据的数据结构可以是基于key-value的数据结构，或者可以基于张量计算的数据结构，等等。

例如，若目标数据的数据结构为key-value结构，那么可以利用哈希算法对目标数据中每个数据的key值进行哈希运算，从而确定出每个数据对应的目标执行节点，若用户请求为存储请求，该目标执行节则为存储目标数据的节点，若用户请求时计算请求，该目标执行节点则为计算目标数据的节点。

本申请实施例中，分布式系统在提供给用户的API中，能够支持丰富的数据结构，并且在处理不同数据结构的数据时，可以根据不同的数据结构域计算类型，采用对应的差异化的调度规则来调度给执行节点，即，针对不同数据结构的数据可以采用不同的调度决策，从而提高数据处理的灵活性。

进一步地，本申请实施例中用户请求主要包括存储请求和计算请求这两类请求，但对同一数据结构的目标数据来说，即使不同的用户请求采取的确定目标数据对应的目标执行节点的方式也是相同的，因为针对同一数据的数据存储规则和计算调度规则是同一套规则，所以在对同一目标数据进行存储或计算时确定出的目标执行节点也是相同的，这样，就可以确保数据计算与数据存储的绝对本地化，以减少数据的调度，提高计算效率。

例如，假设用户请求为存储请求，目标数据的数据结构为key-value结构，那么在确定存储该目标数据的目标执行节点时，调度节点可以从元服务集群102中确定出目标数据的key值，并利用哈希函数对目标数据的key值进行哈希运算，对key值进行哈希运算后得到的哈希值，进而可以根据哈希值与执行节点之间的序号之间的映射关系，确定出与该哈希值对应的执行节点，而对应确定出的执行节点即可以称作目标执行节点。

再如，假设用户请求为计算请求，目标数据即为上例中存储数据，那么调度节点在确定计算上例中目标数据时的目标执行节点时，也可以从元服务集群102中确定出目标数据key值，并利用哈希函数对目标数据的key值进行哈希运算，对key值进行哈希运算后得到的值，即为存储有该目标数据且用于完成计算请求的目标执行节点的序号。由于哈希函数可以使对一个数据序列的访问过程变得更加迅速有效，所以，通过哈希函数可以很快的定位出目标执行节点，提高了确定目标执行节点的效率。

也就是说，在确定计算逻辑所调度的目标执行节点时，确定目标执行节点的采用的方式与目标数据存储的方式相关，例如，若目标数据在存储到目标执行节点时，采用的是对目标数据的key值进行哈希运算，那么在调度计算逻辑处理该目标计算逻辑时，则可以采用相同的方式确定出存储目标数据的目标执行节点，从而将计算逻辑调度到该目标执行节点，所以在目标数据的存储和计算中都采用了相同的规则确定目标数据对应的目标执行节点，并且可以不移动目标数据，通过调度计算逻辑到目标执行节点的方式计算目标数据，确保数据完全本地化，从而避免数据移动增加的存储负担，节约存储资源。

在本申请实施例中，当确定出处理目标数据的目标执行节点后，则可以根据用户请求的类型做出不同的调度决策，具体的，若用户请求为存储请求，则可以将目标数据调度到该目标执行节点进行存储，若用户请求时计算请求，则可以将用户逻辑调度到该目标执行节点，以便于利用该用户逻辑计算目标数据。

在本发明实施例中，当目标数据的数据量较小时，根据目标数据的结构确定出的目标执行节点可以是一个，那么当用户请求为存储请求时，可以将目标数据全部存储到该一个目标执行节点中，那么当用户请求为计算请求时，可以将与计算逻辑发送到该一个目标执行节点。当目标数据的量较大时，根据目标数据的数据结构确定出了多个目标执行节点，那么，当用户请求为存储请求时，可以将目标数据分片存储在这个多个目标执行节点中，当用户请求计算请求时，可以将计算逻辑分别调度计算逻辑到者多个目标执行节点中，所以可以在多个目标执行节点中处理待处理数据，提高数据处理的效率。

步骤203：若按照前述的预设调度规则所确定出的目标执行节点有两个，则，目标调度节点则可以将该数据处理请求同时调度给这两个目标执行节点。

如图2所示的，目标调度节点将数据处理请求分别调度给了目标执行节点1和目标执行节点2。当数据处理请求中包括有序列化的计算逻辑时，这里所说的调度数据处理请求可以理解为将序列化的计算逻辑发送给目标执行节点1和目标执行节点2。其中，需要说明的是，由于一般只有计算请求才涉及到计算逻辑，所以本申请实施例中的序列化的计算逻辑是针对计算请求而言的。

若数据处理请求是存储请求，在接收到该存储请求之后，目标执行节点1和目标执行节点2可以分别执行该存储请求，以完成对数据的存储。

步骤204：若数据处理请求是计算请求，在接收到该计算请求之后，目标执行节点1执行该计算请求，例如对前述的序列化的计算逻辑进行反序列化处理，以得到相应的逻辑函数，进而根据得到的逻辑函数进行计算，以得到第一计算结果。

步骤205：在得到第一计算结果之后，目标执行节点1将该第一计算结果返回给调度集群，例如直接返回给调度集群中的目标调度节点。

步骤206：若数据处理请求是计算请求，在接收到该计算请求之后，目标执行节点2执行该计算请求，例如对前述的序列化的计算逻辑进行反序列化处理，以得到相应的逻辑函数，进而根据得到的逻辑函数进行计算，以得到第二计算结果。

步骤207：在得到第二计算结果之后，目标执行节点2将该第二计算结果返回给调度集群，例如直接返回给调度集群中的目标调度节点。

步骤208：在接收到所有目标执行节点返回的计算结果之后，即在接收到第一计算结果和第二计算结果之后，目标调度节点可以判断是否需要对这些计算结果进行聚合处理。

在具体实施过程中，例如可以根据用户调用的API接口来判断是否需要进行聚合处理，换言之，是否需要进行聚合与发起计算请求所调用的API接口相关，因为API的使用本身就是带有操作的语义，例如，若计算请求对应的API接口是map接口，则没有聚合需求，不需要进行聚合处理，若计算请求对应的API接口是reduce接口，则需要对计算结果进行聚合处理。从而可以根据计算请求一次性完成对目标数据的逻辑处理和聚合处理，提高了对数据计算效率，节约数据处理时间。

步骤209：在需要进行聚合时，目标调度节点则对第一计算结果和第二计算结果进行聚合处理，进而得到聚合结果。

其中，聚合处理的方式包括多种，如对所有计算结果进行加法运算，或者乘法运算等。例如，若处理的目标数据以分片的方式分别存储在A、B、C这三个目标执行节点中，这三个目标执行节点接收到的计算逻辑为“+”，计算逻辑对应的聚合方式为“+”，其中，A目标执行节点中包括目标数据1、2，B目标执行节点包括目标数据、4、5，C目标执行节点中包括目标数据9、8，那么可以先分别对A、B、C这三个目标执行节点中的数据进行求和处理，得到A目标执行节点的计算结果为3，B目标执行节点的计算结果为9，C目标执行节点的计算结果为17，进而将3、9、17这三个计算结果发送给调度节点，进而目标调度节点对3、9、17相加得到聚合结果为29。

步骤210：在得到聚合结果之后，目标调度节点将得到聚合结果返回给发起请求的客户端。

在本申请实施例中，若用户请求为计算请求，在将计算请求调度到目标执行节点之后，可以根据目标数据的数据类型与该目标执行节点中硬件的计算特性，对目标执行节点中能够处理该数据类型的硬件按照计算性能由高到低的进行排序，例如计算性能越高的优先级越高，进而可以调用其中优先级最高的硬件来处理该目标数据，也就是说，目标执行节点可以优先选择其计算性能最高的硬件来计算目标数据，因此，可以充分利用各种硬件的硬件性能，通过对硬件的适配灵活选择方式，可以提高对目标数据的计算效率。

例如，若目标数据的数据类型为向量，则对目标数据的计算为向量计算，而该目标执行节点存在NPU、GPU、CPU，则会优先选择NPU，其次GPU，最坏情况会回退到CPU。再如，若目标数据为图像数据，则优先选择GPU来计算该目标数据。

在本申请实施例中，若用户请求为计算请求，由于计算逻辑是经序列化处理的计算，所以在将计算目标数据所需的计算逻辑调度到目标执行节点后，目标执行需要对序列化的计算逻辑进行反序列化处理，将接收到的计算逻辑的序字节流格式，重建该算法逻辑，从而得到能够直接用于计算目标数据的计算逻辑的函数，以便调用该函数对目标数据进行处理。因此不需要调度目标数据，即可以不改变目标数据存储位置，通过调度计算逻辑即可实现对目标数据的处理，避免了调度目标数据造成的存储负担，节约了用户系统中的存储空间。并且由于计算逻辑占用的存储空间小，可以实现高效移动，所以还可以提高数据计算效率。

作为一种可选的实施方式，在本申请实施例中，目标数据可以是目标执行节点中存储的部分数据，也可以是目标执行节点中存储的全部数据，若目标数据是目标执行节点中的部分数据，则调度节点中获取的计算请求中可以包括从目标执行节点中确定目标数据的预设条件，并将该预设条件随计算逻辑一起发送给目标执行节点，进而目标执行节点可以从其存储的所有数据中确定出目标数据进行计算；

或者，也可以将确定目标数据的预设条件表示成一种计算逻辑，那么目标执行节点则可以根据调度的计算逻辑直接从目标执行节点中存储的所有数据中确定出目标数据。由于在目标数据为目标执行节点中的部分数据时，目标执行节点可以更加灵活的确定目标数据，并对目标数据进行处理，所以不需要将目标数据调度到其他节点上进行处理，避免了调度目标数据造成的存储负担。

例如，若假设调度节点获得的计算请求为求所有目标数据之和，计算逻辑为“+”，确定的目标执行节点为一个，目标执行节点中包括1、2、3、4、5、6、7、8、9这九个数据，那么在目标执行节点对接收的计算逻辑反序列化后，得到“+”这一计算逻辑，若目标数据为目标执行节点中的所有数据，则对这九个数进行求和，得到计算结果为45。若目标数据为目标执行节点中小于5的数，则先确定出小于5的数包括1、2、3、4这四个数，对这个四个数求和10。

在本申请实施例中的分布式系统中，任意两个节点之间可以采用最优的通信机制进行通信，其中最优通信机制为该意两节点之间能采用的通信机制中通信效率最高的通信机制，以使用最高效的通信方式进行计算，提高聚合计算的效率。也就是说，在本申请实施例的任意过程中，所有通信方式可以根据硬件而改变，例如，若两节点之间支持的通信机制包括远程直接数据读取(Remote Direct Memory Access，RDMA)、dpdk和socket这三种，而其中RDMA的通信效率最高，所以这两个节点则可以优先采用RDMA的通信机制进行通信，这样，通过通信效率最高的通信机制，可以提高通信效率。其中的任意两个节点可以是两个调度节点，或者是指两个执行节点，或者可以是指一个调度节点和一个执行节点，也就是说，本申请实施例中所说的两个节点之间的通信，不仅包括调度集群和执行集群之间的通信，还包括调度集群内部的通信以及执行集群内部的通信。

作为一种可选的实施方式，对于用户请求为计算请求的情况，各个目标执行节点在根据计算请求得到对应的计算结果之后，还可以根据预设存储策略来判断是否将本节点的计算结果进行保存，例如默认的均需要对计算结果进行保存，或者目标执行节点可以提前告知是否需要进行保存，等等。

在不需要保存时，各个目标执行节点直接将本节点的计算结果返回给调度集群即可。

在需要保存时，按照前述的预设存储策略，各个目标执行节点还可以分别确定本节点的计算结果的存储介质，进而将计算结果对应存储到所确定出的存储介质中。其中，存储介质包括暂时性存储介质和持久性存储介质，暂时性存储介质是对数据进行临时性存储，如内存，而持久性存储介质是对数据进行长时间的存储，如磁盘等存储介质。也就是说，在确定需要保存计算结果时，还可以进一步的确定需要对该计算结果存储的大概时长，进而可以根据实际情况来实现对计算结果的灵活存储。并且，在将计算结果存储之后，在后续的计算过程中可以直接复用相同计算逻辑的计算结果，这样可以减少重复计算，提高系统效率。

基于上述介绍的对计算结果的存储机制，在本申请实施例中，在目标调度节点根据接收到计算请求确定出序列化的计算逻辑之后，可以先判断该序列化的计算逻辑是否是首次调用，若是首次调用，则表明之前未计算过，所以可以按照前述介绍的调度方式调度给相应的执行节点进行计算。若确定是非首次调度，则可以判断执行集群中是够保存有与该序列化的计算逻辑对应的计算结果，若保存有，则可以直接向执行集群请求对应的计算结果，而无需再重复计算，以尽量的减少重复计算，提高对请求的响应效率。

基于同一发明构思，本申请实施例还提供一种数据处理系统，该数据处理系统可以是如图1中的分布式系统，结合图1的说明，本申请实施例中的数据处理系统包括调度集群和执行集群，而调度集群和执行集群的相应实施例可以参见前述图1-图2的实施例描述部分，这里就不再重复说明了。

本申请实施例中的数据处理方法和数据处理系统，无论数据处理请求是计算请求还是存储请求，均是采用预设调度规则来进行调度，即均是采用同一套规则来根据数据处理请求所请求的数据本身来进行执行节点的调度，换言之，计算的调度和数据的存储是采用同一套规则，将计算和存储作为一体化考虑，这样可以绝对的保证计算和存储的“本地化”，即可以充分确保针对数据的计算是在该数据存储的节点自身内执行的，从而在计算时无需来回移动数据，而是直接将计算调度到该数据的存储本地，这种新的计算方式可以尽量的减少数据的调度，从而提高计算效率。

尤其是对于AI场景中的模型构建和模型训练过程中的多轮迭代中的数据的频繁调度的情况，可以充分减少数据调度的次数，以移动计算逻辑的方式来实现快速的数据处理，从而可以提高计算效率，相当于是，本申请的分布式系统以及对应的数据处理算法，是根据AI场景中的数据处理特点进行了一定程度的优化处理，使得本申请中的技术方案可以更适配于目前应用广泛的AI领域，以尽量的提高计算效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于分布式系统，所述分布式系统包括调度集群和执行集群，所述调度集群包括至少一个调度节点，所述执行集群包括至少一个执行节点，所述方法包括：

所述调度集群中的目标调度节点获得调用应用程序编程接口API发起的数据处理请求，其中，所述数据处理请求中包括所述数据处理请求所请求处理的目标数据的元数据，所述数据处理请求包括计算请求或存储请求；

所述目标调度节点按照预设调度规则，根据所述元数据从所述执行集群中，确定处理所述目标数据的目标执行节点；

所述目标调度节点将所述数据处理请求调度给所述目标执行节点；

所述目标执行节点在获得所述数据处理请求之后，根据所述数据处理请求对所述目标数据进行处理，以获得数据处理结果，并将所述数据处理结果发送给所述调度集群。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述目标执行节点确定所述目标数据的目标数据类型；

所述目标执行节点根据数据类型与硬件的计算特性，对所述目标执行节点中能够处理所述目标数据类型的数据的硬件按照计算性能由高到低进行排序；

所述目标执行节点调用计算性能最高的硬件处理所述目标数据。

3.如权利要求1所述的方法，其特征在于，在所述分布式系统中，任意两节点之间采用最优通信机制进行通信，其中，所述最优通信机制为所述任意两节点之间能够采用的通信机制中通信效率最高的通信机制。

4.如权利要求1所述的方法，其特征在于，所述目标调度节点按照预设调度规则，根据所述元数据从所述执行集群中，确定处理所述目标数据的目标执行节点，包括：

所述目标调度节点确定所述目标数据的目标数据结构；

所述目标调度节点按照预设的数据结构与调度规则之间的对应关系，确定与所述目标数据结构对应的目标调度规则；

所述目标调度节点根据所述目标调度规则和所述元数据，从所述执行集群中确定所述目标执行节点。

5.如权利要求1-4任一所述的方法，其特征在于，在所述数据处理请求为计算请求时，所述数据处理请求还包括序列化的计算逻辑；

所述目标调度节点将所述数据处理请求调度给所述目标执行节点，包括：

所述目标调度节点将所述序列化的计算逻辑调度给所述目标执行节点；

所述目标执行节点根据所述数据处理请求对所述目标数据进行处理，以获得数据处理结果，包括：

所述目标执行节点对所序列化的计算逻辑进行反序列化处理，以获得与所述序列化的计算逻辑对应的逻辑函数；

所述目标执行节点利用确定出的逻辑函数对所述目标数据进行处理，以获得计算结果。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

在包括多个目标执行节点时，每个目标执行节点在获得本节点的计算结果之后，分别将本节点的计算结果发送给所述调度集群；

所述调度集群在获得各个目标执行节点发送的多个计算结果后，确定是否需要对所述多个计算结果进行聚合处理；

若确定需要对所述多个计算结果进行聚合处理，则按照预设聚合处理方式对所述多个计算结果进行聚合处理，以获得聚合结果，并将所述聚合结果发送给所述数据处理请求的发送端。

7.如权利要求6所述的方法，其特征在于，所述调度集群确定是否需要对所述多个计算结果进行聚合处理，包括：

根据所述API的类型确定是否需要对所述多个计算结果进行聚合处理。

8.如权利要求5所述的方法，其特征在于，所述方法还包括

各个目标节点根据预设存储策略，确定本节点的计算结果是否需要保存；

若确定需要保存，各个目标节点分别确定本节点的计算结果的存储介质，其中，所述存储介质包括暂时性存储介质和持续性存储介质；

各个目标节点将本节点的计算结果对应存储到确定出的存储介质中。

9.如权利要求5所述的方法，其特征在于，在所述目标调度节点将所述序列化的计算逻辑调度给所述目标执行节点之前，所述方法还包括：

在所述序列化的计算逻辑是非首次调度时，所述目标调度节点确定所述执行集群中是否保存有与所述序列化的计算逻辑对应的计算结果；

若保存有，则向所述执行集群请求与所述序列化的计算逻辑对应的计算结果，以获得与所述序列化的计算逻辑对应的计算结果。

10.一种数据处理系统，其特征在于，所述系统包括调度集群和执行集群，其中：

所述调度集群，包括至少一个调度节点，所述至少一个调度节点中的目标调度节点用于：获得调用应用程序编程接口API发起的数据处理请求，其中，所述数据处理请求中包括所述数据处理请求所请求处理的目标数据的元数据，所述数据处理请求包括计算请求或存储请求；并按照预设调度规则，根据所述元数据从执行集群中，确定处理所述目标数据的目标执行节点；以及将所述数据处理请求调度给所述目标执行节点；

所述执行集群，包括至少一个执行节点，所述至少一个执行节点中的所述目标执行节点用于：获得所述数据处理请求；并根据所述数据处理请求对所述目标数据进行处理，以获得数据处理结果；以及将所述数据处理结果发送给所述调度集群。