CN114168341A - 数据处理方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种用于数据处理系统的数据处理方法、装置、设备、介质和程序产品。该方法包括：接收数据处理请求，其中，所述数据处理请求包括对待处理数据的读取指令或写入指令；基于所述数据处理请求向调度中心发送处理策略请求；接收所述调度中心发送的所述数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。本公开还提供了一种用于调度中心的数据处理方法、装置、设备、介质和程序产品。

Description

数据处理方法、装置、设备、介质和程序产品

技术领域

本公开涉及数据处理领域，更具体地涉及一种数据处理方法、装置、设备、介质和程序产品。

背景技术

随着科技的发展，人们在工作生活中产生的数据量日益显著增长。为满足对数据处理的需求，目前可以选择数据计算应用对数据进行加工处理。而随着用户的数据处理需求不同，则会对应不同的数据处理量，例如对于数据量较大的待处理数据，数据计算应用会相应增加算力以满足用户需求。

相关技术中待处理数据的读取或写入存在访问瓶颈，随着数据计算应用的算力增加到一定程度，由于访问瓶颈的限制，并不会提高读取或写入速度，导致数据处理效率并未提高，而无法满足用户需求。

发明内容

鉴于上述问题，本公开提供了一种能够基于数据处理请求动态调度资源，提高数据处理效率的数据处理方法、装置、设备、介质和程序产品。

本公开实施例的一个方面，提供了一种用于数据处理系统的数据处理方法，包括：接收数据处理请求，其中，所述数据处理请求包括对待处理数据的读取指令或写入指令；基于所述数据处理请求向调度中心发送处理策略请求，其中，所述调度中心被配置为响应于所述处理策略请求，获得所述数据处理系统的数据处理信息，基于所述数据处理信息生成数据处理策略；接收所述调度中心发送的所述数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

根据本公开的实施例，在所述待处理数据由云端存储系统进行存储的情况下，包括：创建所述云端存储系统的本地存储仓库；其中，所述执行对所述待处理数据的读取指令或写入指令包括：向所述本地存储仓库中写入所述待处理数据；或从所述本地存储仓库读取所述待处理数据，其中，所述待处理数据基于所述云端存储系统的云端存储路径获取。

根据本公开的实施例，所述数据处理系统包括主节点和所述主节点对应的N个从节点，所述基于所述资源调度信息，调用对应的资源包括：基于所述资源调度信息，通过所述主节点调用所述N个从节点中的M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N。

根据本公开的实施例，所述数据处理系统还包括客户端，所述通过所述主节点调用所述N个从节点中的M个从节点包括：所述客户端向所述主节点发送所述资源调度信息，其中，所述客户端用于接收所述数据处理策略，所述资源调度信息包括所述M个从节点的指向信息；所述主节点将所述M个从节点的可用状态发送给所述客户端，其中，所述主节点基于所述M个从节点的指向信息确定对应的可用状态；所述客户端基于所述M个从节点的可用状态，调用所述M个从节点。

根据本公开的实施例，所述数据处理系统还包括客户端，所述通过所述主节点调用所述N个从节点中的M个从节点包括：所述主节点将所述M个从节点的指向信息发送给所述客户端，其中，所述主节点用于接收所述数据处理策略，所述资源调度信息包括所述M个从节点的指向信息；所述客户端基于所述M个从节点的指向信息，调用所述M个从节点。

本公开实施例的另一个方面，提供了一种用于调度中心的数据处理方法，包括：接收数据处理系统发送的处理策略请求，其中，所述数据处理系统被配置为响应于接收到的数据处理请求发送所述处理策略请求，所述数据处理请求包括对待处理数据的读取指令或写入指令；响应于所述处理策略请求，获得所述数据处理系统的数据处理信息；基于所述数据处理信息生成数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；将所述数据处理策略发送至所述数据处理系统，以使所述数据处理系统基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

根据本公开的实施例，在响应于所述处理策略请求，获得所述数据处理系统的数据处理信息之前，还包括：在所述数据处理系统中设置信息监控工具，其中，所述信息监控工具用于监控所述数据处理系统处理数据的资源使用信息；所述响应于所述处理策略请求，获得所述数据处理系统的数据处理信息包括：接收所述信息监控工具发送的所述资源使用信息。

根据本公开的实施例，所述信息监控工具包括第一监控工具，所述数据处理系统包括主节点和所述主节点对应的N个从节点，所述在所述数据处理系统中设置信息监控工具包括：在所述N个从节点设置所述第一监控工具；其中，所述接收所述信息监控工具发送的所述资源使用信息包括：接收所述第一监控工具发送的N个从节点的资源使用信息。

根据本公开的实施例，所述基于所述数据处理信息生成数据处理策略包括：基于所述N个从节点中至少一个从节点的资源使用信息，确定出M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N；基于所述M个从节点的指向信息生成所述数据处理策略。

根据本公开的实施例，所述信息监控工具包括第二监控工具，所述方法包括：在所述主节点设置所述第二监控工具；接收所述第二监控工具发送的所述主节点的资源使用信息；基于所述主节点的资源使用信息，调整所述主节点的资源配置。

根据本公开的实施例，所述数据处理系统还包括客户端，所述信息监控工具包括第三监控工具，所述方法包括：在所述客户端设置所述第三监控工具；接收所述第三监控工具发送的所述客户端的资源使用信息；基于所述客户端的资源使用信息，调整所述客户端的资源配置。

本公开实施例的另一方面提供了一种用于数据处理系统的数据处理装置，包括：第一接收模块，用于接收数据处理请求，其中，所述数据处理请求包括对待处理数据的读取指令或写入指令；第一发送模块，用于基于所述数据处理请求向调度中心发送处理策略请求，其中，所述调度中心被配置为响应于所述处理策略请求，获得所述数据处理系统的数据处理信息，基于所述数据处理信息生成数据处理策略；第二接收模块，用于接收所述调度中心发送的所述数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；资源调度模块，用于基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

本公开实施例的另一方面提供了一种用于调度中心的数据处理装置，包括：第三接收模块，用于接收数据处理系统发送的处理策略请求，其中，所述数据处理系统被配置为响应于接收到的数据处理请求发送所述处理策略请求，所述数据处理请求包括对待处理数据的读取指令或写入指令；信息获得模块，用于响应于所述处理策略请求，获得所述数据处理系统的数据处理信息；策略生成模块，用于基于所述数据处理信息生成数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；第二发送模块，用于将所述数据处理策略发送至所述数据处理系统，以使所述数据处理系统基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。

上述一个或多个实施例具有如下有益效果：通过引入调度中心，在将接收到的数据处理请求发送给调度中心后，调度中心可以根据数据处理请求中的待处理数据的信息，以及具体的读取或写入指令，结合获取到的数据处理信息，生成数据处理策略。能够令数据处理系统以数据处理策略中的资源调度信息作为依据，实现资源的动态调度以适配于数据处理请求，避免了相关技术中待处理数据的读取或写入存在访问瓶颈，而无法满足用户需求的情况发生。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的适于实现数据处理方法的应用场景图；

图2示意性示出了根据本公开实施例的适于实现数据处理方法的架构图；

图3示意性示出了根据本公开实施例用于数据处理系统的数据处理方法的流程图；

图4示意性示出了根据本公开实施例的调用M个从节点的流程图；

图5示意性示出了根据本公开的另一实施例的调用M个从节点的流程图；

图6示意性示出了根据本公开实施例的用于调度中心的数据处理方法的流程图；

图7示意性示出了根据本公开实施例的生成数据处理策略的流程图；

图8示意性示出了根据本公开实施例的调整主节点的资源配置的流程图；

图9示意性示出了根据本公开实施例的调整客户端的资源配置的流程图；

图10示意性示出了根据本公开实施例的用于数据处理系统的数据处理装置的结构框图；

图11示意性示出了根据本公开实施例的用于调度中心的数据处理装置的结构框图；

图12示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本公开的技术方案中，对数据的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

图1示意性示出了根据本公开实施例的适于实现数据处理方法的应用场景图。图2示意性示出了根据本公开实施例的适于实现数据处理方法的架构图。

如图1所示，根据该实施例的应用场景100可以包括应用层、计算层、访问层和存储层。应用层用于面向用户，提供功能使用，可以包括终端设备111、112、113，网络114。计算层用于提供数据计算应用的运行支撑，可以包括第一服务器120。访问层用于在计算层和存储层之间提供访问加速服务，可以包括第二服务器131、第三服务器132、N个第四服务器1331～133N、第五服务器134。存储层可以包括本地数据库141和云端存储系统151。

网络114用以在终端设备111、112、113和第一服务器120之间提供通信链路的介质。网络114可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。应知的是，在应用层、计算层、访问层和存储层之间，或每层的设备或服务器之间，也可以设置网络114。

用户可以使用终端设备111、112、113通过网络114与服务器105交互，以接收或发送消息等。终端设备111、112、113上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备111、112、113可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

第一服务器120、第二服务器131、第三服务器132、N个第四服务器1331～133N、第五服务器134可以是提供各种服务的服务器或服务器集群。以第一服务器120为例，例如对用户利用终端设备111、112、113所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

参照图1和图2，第一服务器120中可以部署有数据计算应用，如Spark分布式应用、Hive分布式应用或Flink分布式应用等。第二服务器131、第三服务器132、N个第四服务器1331～133N可以用于实现数据处理系统，其中，第二服务器131可以用于部署客户端，第三服务器132可作为主节点，N个第四服务器1331～133N可作为N个从节点。第五服务器134中可以部署调度中心。

N个从节点可分别在服务器本地创建云端存储系统的本地存储仓库1～N，其中，本地存储仓库和本地数据库141的底层数据可以存储在从节点管理的本地内存或磁盘中。云端存储系统151可以通过云服务器实现，或跨云服务器实现。还可以是基于分布式存储网络实现的云端分布式存储系统，例如星际文件系统(InterPlanetary File System，IPFS)，IPFS可以将某台计算机设备作为存储节点，用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希。云端分布式存储系统还可以是BitTorrent系统、Arweave系统或Stoyj系统等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图9对本公开实施例的数据处理方法进行详细描述。

图3示意性示出了根据本公开实施例用于数据处理系统的数据处理方法的流程图。

如图3所示，该实施例的数据处理方法包括操作S310～操作S340。

在操作S310，接收数据处理请求，其中，数据处理请求包括对待处理数据的读取指令或写入指令。

参照图1和图2，用户在具有数据处理需求时，可以通过终端设备111、112、113操作数据计算应用(如Spark)的前端界面，创建数据处理任务。然后，第一服务器120中数据计算应用基于创建的数据处理任务，向访问层的数据处理系统发送数据处理请求。

例如银行用户具有对当天贷款流水的数据进行统计的需求时，数据处理请求中包括对当天贷款流水数据的读取指令。数据计算应用在拿到当天贷款流水数据后进行统计分析。数据计算应用在获得统计结果后，再次发送数据处理请求，可以包括将统计分析数据写入的指令。

在操作S320，基于数据处理请求向调度中心发送处理策略请求，其中，调度中心被配置为响应于处理策略请求，获得数据处理系统的数据处理信息，基于数据处理信息生成数据处理策略。

处理策略请求的作用在于数据处理系统向调度中心请求具体的资源调度策略，来执行本次接收到的数据处理请求。处理策略请求中可以包括数据处理请求中待处理数据的数据量大小、数据类型、读取指令或是写入指令等。

在操作S330，接收调度中心发送的数据处理策略，其中，数据处理策略包括执行数据处理请求的资源调度信息。

数据处理策略可以包括上述资源调度信息，还可以包括数据存储分布、网络路由、执行工具等信息。资源调度信息可以包括执行本次数据处理请求所需的资源、资源属性、资源位置、资源状态。参照图2，上述资源可以指客户端、主节点或从节点的运行服务器的数量、性能等。

在操作S340，基于资源调度信息，调用对应的资源来执行对待处理数据的读取指令或写入指令。

若不借助调度中心，数据处理系统可以根据本身的算法进行资源调度，但是其本身算法的资源调度结果是固定不变的，并且存在访问瓶颈问题。通过引入调度中心，在将接收到的数据处理请求发送给调度中心后，调度中心可以根据数据处理请求中的待处理数据的信息，以及具体的读取或写入指令，结合获取到的数据处理信息，生成数据处理策略。能够令数据处理系统以数据处理策略中的资源调度信息作为依据，实现资源的动态调度，避免了相关技术中待处理数据的读取或写入存在访问瓶颈，而无法满足用户需求的情况发生。

根据本公开的实施例，在待处理数据由云端存储系统进行存储的情况下，创建云端存储系统的本地存储仓库。操作S340中执行对待处理数据的读取指令或写入指令包括：向本地存储仓库中写入待处理数据。或从本地存储仓库读取待处理数据，其中，待处理数据基于云端存储系统的云端存储路径获取。

为了更好发挥数据的价值，如Spark、Hive、Tensorfiow等的计算依赖于底层存储的支持，它们访问不同的存储系统都需要做相对应用的配置。通过引入数据处理系统，可以在数据计算应用和存储系统之间进行衔接，无需手动切换本地存储系统或云端存储系统，也可以省对应配置的流程。

参照图1，应用层、计算层和访问层可以设置在统一的数据中心，执行数据处理任务。而存储层中的云端存储系统151可以是分布式存储网络，例如在边缘侧产生数据后，即存储在边缘侧，并上传到云端存储系统。其中，边缘侧是指产生数据的一侧，数据中心是指处理数据的一侧。

其中，边缘侧将数据上传到云端存储系统，可以是在本地创建云端存储系统的本地存储仓库，以此作为云端存储系统的节点。边缘侧可以直接在本地防问数据，数据处理系统也可以远程防问该节点的数据。

目前云端存储系统仅支持冷数据存储，缺少对数据(尤其是热数据)实时网络传输的支持。相关技术中，随着边缘侧数据量暴涨，而算力又集中在数据中心，存在远距离的数据传送。若待处理数据由边缘侧存储在云端，而用户对云端数据具有频繁处理的需求时，要在计算过程中频繁向云端存取数据，而远距离的数据传送导致访问速度变慢。

针对例如5G或物联网等场景，大量算力集中在数据中心，大量碎片化的数据存储在边缘侧，因此存在算力和数据的协同问题。数据处理系统创建云端存储系统的本地存储仓库作用在于，将频繁向云端存取的数据缓存在本地，即先存储在本地存储仓库中，从而可提升访问速度、降低带宽成本。而本地存储仓库也可以作为云端存储系统的节点，可以接收数据处理系统的本地访问，也可以接收远程访问。

以云端存储系统是IPFS为例，参照图2，从节点1～N皆可以创建本地存储仓库，作为IPFS的N个节点。例如使用从节点1执行写入指令时，向本地存储仓库1内写入待处理数据。该数据会以文件的形式添加到本地存储仓库1。IPFS会根据文件的内容生成哈希值，从节点1～N皆可以使用该哈希值来访问本地存储仓库1中的文件。另外，向本地存储仓库1内写入待处理数据时，如果未找到存储空间，可以继续向调度中心请求存储策略，由调度中心确定访问频次较低的数据，释放掉该些数据，写入待处理数据。

例如通过从节点1执行读取指令时，可以先查询从节点1本地是否有待处理数据，若没有，从节点1基于IPFS中该数据的哈希值(即云端存储路径)获取待处理数据，并缓存到本地存储仓库。最后，从本地存储仓库读取待处理数据。

根据本公开的实施例，根据云端存储系统的特性，封装了云端存储系统在本地的存储仓库，按照存算分离的架构实现读、写等加速操作，将云端存储系统的冷数据转变为热数据，提高了数据访问效率，实现中心算力和边缘侧数据的加速计算。其中，冷数据例如指读取或写入频率较低的数据，热数据例如指读取或写入频率较高的数据。

可见，云端存储系统和数据处理系统类似“物流仓储”和“快递公司”的关系，前者负责物流仓储，后者可以对应不同类型的快递公司。针对上层的计算场景，可以构建不同场景(即不同数据计算应用)下的“数据加速服务”。

根据本公开的实施例，数据处理系统包括主节点和主节点对应的N个从节点，操作S340中基于资源调度信息，调用对应的资源包括：基于资源调度信息，通过主节点调用N个从节点中的M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N。

主节点用于管理全局的元数据，元数据可以包括管理数据库的存储系统的元数据(如文件系统节点树)、数据块元数据(如数据块位置)、以及从节点的容量数据(如空闲或已使用空间)。

从节点用于管理本地存储资源，如内存、SSD、HDD等。采用块存储结构形式进行在内存中管理数据。同时所有从节点会通过配置文件指定的间隔时间与主节点同步心跳。主节点可以管理与数据处理请求相关的事件，提高数据访问稳定性。因此，在接收到资源调度信息后，可以基于主节点的管理信息，实现对M个从节点的调用。

参照图1和图2，当计算层的算力增加，能够向该次数据处理请求提供更优的访问的I/O，更多的从节点，解决数据访问瓶颈问题。当计算层的算力减少，减少缓存节点的数量，降低IO开销。下面参照图4和图5说明通过主节点调用M个从节点两种可选实施方式。

图4示意性示出了根据本公开实施例的调用M个从节点的流程图。

如图4所示，通过主节点调用N个从节点中的M个从节点可以包括操作S410～操作S430。

在操作S410，客户端向主节点发送资源调度信息，其中，客户端用于接收数据处理策略，资源调度信息包括M个从节点的指向信息。

客户端用于与主节点进行通讯来执行待处理数据的读取或写入指令。

参照图2，在执行操作S410之前，一种可选的实施方式是，可以由客户端接收数据处理请求，由客户端向调度中心发送处理策略请求，并接收数据处理策略。另一种可选的方式是，由客户端接收数据处理请求，然后发送给主节点，由主节点向调度中心发送处理策略请求，最后，由客户端接收数据处理策略。

在操作S420，主节点将M个从节点的可用状态发送给客户端，其中，主节点基于M个从节点的指向信息确定对应的可用状态。

可用状态可包括空闲、非空间的状态，分别用于表征能否执行本次数据处理请求。主节点可以基于本地的关联信息获得M个从节点的存储数据类型、应用场景、空闲空间、执行任务信息等因素，来确定可用状态，也可以向从节点发送验证请求，解析从节点的返回结果来确认状态。指向信息例如包括可以确定M个从节点的信息，如各个从节点的标识、名称、IP地址等。

在操作S430，客户端基于M个从节点的可用状态，调用M个从节点。若M个从节点中部分节点可用，部分节点不可用，那么客户端可以调用可用的节点。

在客户端接收到数据处理策略后，可以获取其中的资源调取信息，从而确定M个从节点的指向信息。在一些实施例中，客户端可以直接基于M个从节点的指向信息进行调用。执行操作S410～操作S430的作用在于，可以通过事先确定可用状态，而提高调用的成功率。例如若直接调用，在某个从节点不可用的情况下，会调用失败。为了完成数据处理请求，可能还会重复发出调用指令，从而造成了时间和资源的浪费。

图5示意性示出了根据本公开的另一实施例的调用M个从节点的流程图。

如图5所示，通过主节点调用N个从节点中的M个从节点可以包括操作S510～操作S520。

在操作S510，主节点将M个从节点的指向信息发送给客户端，其中，主节点用于接收数据处理策略，资源调度信息包括M个从节点的指向信息。

在执行操作S510之前，主节点接收到数据处理策略后，可以基于M个从节点的指向信息确定各个节点的可用状态。在各个节点可用的情况下，将指向信息返回给客户端。

在操作S520，客户端基于M个从节点的指向信息，调用M个从节点。

调用M个从节点例如是指利用M个从节点执行读取指令或写入指令。具体而言，在读取待处理数据时，M个从节点可以由云端存储系统或本地数据库获得待处理数据。客户端去M个从节点中读取到待处理数据，并交由数据计算应用。

操作S510～操作S520中主节点接收数据处理策略，与操作S410～操作S430中客户端接收数据处理策略相比，减少了客户端与调度中心的一次交互，而由主节点承担了接收策略的数据交互过程，即相应的减小了客户端的运行压力。需要说明的是，可以按照实际情况选择主节点接收或是客户端数据处理策略，本公开不进行具体限定。

图6示意性示出了根据本公开实施例的用于调度中心的数据处理方法的流程图。

如图6所示，该实施例的数据处理方法包括操作S610～操作S640。

在操作S610，接收数据处理系统发送的处理策略请求，其中，数据处理系统被配置为响应于接收到的数据处理请求发送处理策略请求，数据处理请求包括对待处理数据的读取指令或写入指令。

在操作S620，响应于处理策略请求，获得数据处理系统的数据处理信息。

在操作S630，基于数据处理信息生成数据处理策略，其中，数据处理策略包括执行数据处理请求的资源调度信息。

在操作S640，将数据处理策略发送至数据处理系统，以使数据处理系统基于资源调度信息，调用对应的资源来执行对待处理数据的读取指令或写入指令。

参照图2，调度中心可以通过获取客户端、主节点、N个从节点的任务、IO负载、数据分布、网络路由等数据，通过数据分析、基线模型和智能策略等操作，向数据处理系统返回最优调度的策略指令(即数据处理策略)。

例如Spark应用向客户端发送数据处理请求，包括多个数据处理任务，例如包括5个SQL语句。处理策略请求中可以包括该5个SQL语句的相关信息，如任务数量5，类型为读取，每个SQL语句读取的数据量大小。调度中心可以结合预设模型分析处理该5个SQL语句调用的从节点数量，并可以结合数据处理信息，确定由哪些从节点执行对应的数据处理任务。其中，Spark应用的算力增加即可以同时执行更多的数据处理任务，如执行更多的SQL语句，或更大的待处理数据量。由调度中心进行动态调度以适配于数据处理请求，避免了相关技术中待处理数据的读取或写入存在访问瓶颈，而无法满足用户需求的情况发生。

根据本公开的实施例，在执行操作S620响应于处理策略请求，获得数据处理系统的数据处理信息之前，还包括：在数据处理系统中设置信息监控工具，其中，信息监控工具用于监控数据处理系统处理数据的资源使用信息。响应于处理策略请求，获得数据处理系统的数据处理信息包括：接收信息监控工具发送的资源使用信息。

信息监控工具可以利用代码侵入式埋点、字节码增强式埋点、切面技术或互联数据等技术实现。参照图2，客户端、主节点和N个从节点中的信息监控工具为Agent探针埋点工具，具体可以通过软件开发工具包SDK的形式安装到各个服务器上，实现信息监控。

根据本公开的实施例，信息监控工具包括第一监控工具，在数据处理系统中设置信息监控工具包括：在N个从节点设置第一监控工具。其中，接收信息监控工具发送的资源使用信息包括：接收第一监控工具发送的N个从节点的资源使用信息。

第一监控工具包括适配于从节点的SDK，利用Agent探针埋点的方式实现从节点的信息监控。从节点的资源使用信息可以包括当前执行的任务、当前可用状态、IO负载、本地数据库空闲情况、本地存储仓库情况、硬件CPU运转性能、空间使用率、数据访问次数等信息。调度中心可以基于每个从节点的资源使用信息，结合数据处理请求，确定出调用的M个从节点。

图7示意性示出了根据本公开实施例的操作S630中生成数据处理策略的流程图。

如图7所示，操作S630中基于数据处理信息生成数据处理策略包括操作S710～操作S720。

在操作S710，基于N个从节点中至少一个从节点的资源使用信息，确定出M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N。

在操作S720，基于M个从节点的指向信息生成数据处理策略。

参照图2，例如数据处理请求用于处理当天贷款数据，调度中心获得待处理数据的类型为贷款数据，首先，从主节点获得管理信息，确定用于存取贷款数据的从节点，例如从节点1～5。然后，获取从节点1～5的资源使用信息。接着，可以根据从节点1～5的当前可用状态，确定从节点1～3是可用的。接着，确定可以分配两个从节点处理当天贷款数据。接着，继续根据从节点1～3的空间使用率进行排序，确定出空间使用率较低的从节点1和2。最后，基于从节点1和2的指向信息生成数据处理策略，例如将指向信息封装为资源调度信息。其中，资源调度信息还可以包括从节点1和2的调用接口、调用指令、服务器型号等信息。

需要说明的是，上述调度中心生成数据处理策略的处理过程和顺序仅为示例，本公开并不限定于此。

图8示意性示出了根据本公开实施例的调整主节点的资源配置的流程图。

如图8所示，该实施例的调整主节点的资源配置流程可以包括操作S810～操作S830。其中，上述在数据处理系统中设置信息监控工具包括操作S810。上述接收信息监控工具发送的资源使用信息包括操作S820。

在操作S810，在主节点设置第二监控工具。

第二监控工具包括适配于主节点的SDK，利用Agent探针埋点的方式实现主节点的信息监控。

在操作S820，接收第二监控工具发送的主节点的资源使用信息。

主节点的资源使用信息可以包括管理信息，以及主节点当前运行性能状态。其中，当前运行性能状态可以通过服务器的CPU使用率来体现，如果使用率过高则说明为性能紧张状态。

在操作S830，基于主节点的资源使用信息，调整主节点的资源配置。

资源配置可以是支撑主节点的服务器配置。例如正常处理数据时，可以通过一个服务器集群中的6台服务器支撑主节点运行。而在数据计算应用的算力增加时，若依然是一个服务器集群，则当前运行性能较为紧张，所以可以增加到三个服务器集群(仅为示例)以实现主节点的资源配置调整。通过动态调整主节点的资源配置，实现主节点的横向资源扩展，能够令主节点具有更弹性的运行性能。

图9示意性示出了根据本公开实施例的调整客户端的资源配置的流程图。

如图9所示，该实施例的调整客户端的资源配置的流程可以包括操作S910～操作S930。其中，上述在数据处理系统中设置信息监控工具包括操作S910。上述接收信息监控工具发送的资源使用信息包括操作S920。

在操作S910，在客户端设置第三监控工具。

第三监控工具包括适配于客户端的SDK，利用Agent探针埋点的方式实现客户端的信息监控。

在操作S920，接收第三监控工具发送的客户端的资源使用信息。

在操作S930，基于客户端的资源使用信息，调整客户端的资源配置。

客户端的资源使用信息可以包括客户端的当前运行性能状态。例如在客户端同时接收较多的数据处理请求，超出正常阈值时，正常情况下的一个服务器集群运行可能会使当前运行性能较为紧张，因此可以增加到三个服务器集群(仅为示例)以实现主节点的资源配置调整。通过动态调整客户端的资源配置，实现客户端的横向资源扩展，能够令主节点具有更弹性的运行性能。

基于上述数据处理方法，本公开提供了一种用于数据处理系统的数据处理装置，一种用于调度中心的数据处理装置。以下将结合图10和图11对该装置进行详细描述。

图10示意性示出了根据本公开实施例的用于数据处理系统的数据处理装置的结构框图。

如图10所示，该实施例的数据处理装置1000包括第一接收模块1010、第一发送模块1020、第二接收模块1030和资源调度模块1040。

第一接收模块1010可以执行操作S310，用于接收数据处理请求，其中，数据处理请求包括对待处理数据的读取指令或写入指令。

第一发送模块1020可以执行操作S320，用于基于数据处理请求向调度中心发送处理策略请求，其中，调度中心被配置为响应于处理策略请求，获得数据处理系统的数据处理信息，基于数据处理信息生成数据处理策略。

第二接收模块1030可以执行操作S330，用于接收调度中心发送的数据处理策略，其中，数据处理策略包括执行数据处理请求的资源调度信息。

资源调度模块1040可以执行操作S340，用于基于资源调度信息，调用对应的资源来执行对待处理数据的读取指令或写入指令。

图11示意性示出了根据本公开实施例的用于调度中心的数据处理装置的结构框图。

如图11所示，该实施例的数据处理装置1100包括第三接收模块1110、信息获得模块1120、策略生成模块1130和第二发送模块1140。

第三接收模块1110可以执行操作S610，用于接收数据处理系统发送的处理策略请求，其中，数据处理系统被配置为响应于接收到的数据处理请求发送处理策略请求，数据处理请求包括对待处理数据的读取指令或写入指令。

信息获得模块1120可以执行操作S620，用于响应于处理策略请求，获得数据处理系统的数据处理信息。

策略生成模块1130可以执行操作S630，用于基于数据处理信息生成数据处理策略，其中，数据处理策略包括执行数据处理请求的资源调度信息。

第二发送模块1140可以执行操作S640，用于将数据处理策略发送至数据处理系统，以使数据处理系统基于资源调度信息，调用对应的资源来执行对待处理数据的读取指令或写入指令。

根据本公开的实施例，数据处理装置1000或数据处理装置1100中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。

根据本公开的实施例，数据处理装置1000或数据处理装置1100中的至少一个模块可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据处理装置1000或数据处理装置1100中的至少一个可以模块至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图12示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的方框图。

如图12所示，根据本公开实施例的电子设备1200包括处理器1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1203中，存储有电子设备1200操作所需的各种程序和数据。处理器1201、ROM 1202以及RAM 1203通过总线1204彼此相连。处理器1201通过执行ROM 1202和/或RAM1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1202和RAM 1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1200还可以包括输入/输出(I/O)接口1205，输入/输出(I/O)接口1205也连接至总线1204。电子设备1200还可以包括连接至I/O接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206。包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207。包括硬盘等的存储部分1208。以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的。也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1202和/或RAM 1203和/或ROM 1202和RAM 1203以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器1201执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1209被下载和安装，和/或从可拆卸介质1211被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种数据处理方法，用于数据处理系统，包括：

接收数据处理请求，其中，所述数据处理请求包括对待处理数据的读取指令或写入指令；

基于所述数据处理请求向调度中心发送处理策略请求，其中，所述调度中心被配置为响应于所述处理策略请求，获得所述数据处理系统的数据处理信息，基于所述数据处理信息生成数据处理策略；

接收所述调度中心发送的所述数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；

基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

2.根据权利要求1所述的方法，其中，在所述待处理数据由云端存储系统进行存储的情况下，包括：

创建所述云端存储系统的本地存储仓库；

其中，所述执行对所述待处理数据的读取指令或写入指令包括：

向所述本地存储仓库中写入所述待处理数据；或

从所述本地存储仓库读取所述待处理数据，其中，所述待处理数据基于所述云端存储系统的云端存储路径获取。

3.根据权利要求1所述的方法，其中，所述数据处理系统包括主节点和所述主节点对应的N个从节点，所述基于所述资源调度信息，调用对应的资源包括：

基于所述资源调度信息，通过所述主节点调用所述N个从节点中的M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N。

4.根据权利要求3所述的方法，其中，所述数据处理系统还包括客户端，所述通过所述主节点调用所述N个从节点中的M个从节点包括：

所述客户端向所述主节点发送所述资源调度信息，其中，所述客户端用于接收所述数据处理策略，所述资源调度信息包括所述M个从节点的指向信息；

所述主节点将所述M个从节点的可用状态发送给所述客户端，其中，所述主节点基于所述M个从节点的指向信息确定对应的可用状态；

所述客户端基于所述M个从节点的可用状态，调用所述M个从节点。

5.根据权利要求3所述的方法，其中，所述数据处理系统还包括客户端，所述通过所述主节点调用所述N个从节点中的M个从节点包括：

所述主节点将所述M个从节点的指向信息发送给所述客户端，其中，所述主节点用于接收所述数据处理策略，所述资源调度信息包括所述M个从节点的指向信息；

所述客户端基于所述M个从节点的指向信息，调用所述M个从节点。

6.一种数据处理方法，用于调度中心，包括：

接收数据处理系统发送的处理策略请求，其中，所述数据处理系统被配置为响应于接收到的数据处理请求发送所述处理策略请求，所述数据处理请求包括对待处理数据的读取指令或写入指令；

响应于所述处理策略请求，获得所述数据处理系统的数据处理信息；

基于所述数据处理信息生成数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；

将所述数据处理策略发送至所述数据处理系统，以使所述数据处理系统基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

7.根据权利要求6所述的方法，其中，在响应于所述处理策略请求，获得所述数据处理系统的数据处理信息之前，还包括：

在所述数据处理系统中设置信息监控工具，其中，所述信息监控工具用于监控所述数据处理系统处理数据的资源使用信息；

所述响应于所述处理策略请求，获得所述数据处理系统的数据处理信息包括：

接收所述信息监控工具发送的所述资源使用信息。

8.根据权利要求7所述的方法，其中，所述信息监控工具包括第一监控工具，所述数据处理系统包括主节点和所述主节点对应的N个从节点，所述在所述数据处理系统中设置信息监控工具包括：

在所述N个从节点设置所述第一监控工具；

其中，所述接收所述信息监控工具发送的所述资源使用信息包括：

接收所述第一监控工具发送的N个从节点的资源使用信息。

9.根据权利要求8所述的方法，其中，所述基于所述数据处理信息生成数据处理策略包括：

基于所述N个从节点中至少一个从节点的资源使用信息，确定出M个从节点，其中，N、M分别为大于或等于1的整数，M小于或等于N；

基于所述M个从节点的指向信息生成所述数据处理策略。

10.根据权利要求8所述的方法，其中，所述信息监控工具包括第二监控工具，所述方法包括：

在所述主节点设置所述第二监控工具；

接收所述第二监控工具发送的所述主节点的资源使用信息；

基于所述主节点的资源使用信息，调整所述主节点的资源配置。

11.根据权利要求8所述的方法，其中，所述数据处理系统还包括客户端，所述信息监控工具包括第三监控工具，所述方法包括：

在所述客户端设置所述第三监控工具；

接收所述第三监控工具发送的所述客户端的资源使用信息；

基于所述客户端的资源使用信息，调整所述客户端的资源配置。

12.一种数据处理装置，用于数据处理系统，包括：

第一接收模块，用于接收数据处理请求，其中，所述数据处理请求包括对待处理数据的读取指令或写入指令；

第一发送模块，用于基于所述数据处理请求向调度中心发送处理策略请求，其中，所述调度中心被配置为响应于所述处理策略请求，获得所述数据处理系统的数据处理信息，基于所述数据处理信息生成数据处理策略；

第二接收模块，用于接收所述调度中心发送的所述数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；

资源调度模块，用于基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

13.一种数据处理装置，用于调度中心，包括：

第三接收模块，用于接收数据处理系统发送的处理策略请求，其中，所述数据处理系统被配置为响应于接收到的数据处理请求发送所述处理策略请求，所述数据处理请求包括对待处理数据的读取指令或写入指令；

信息获得模块，用于响应于所述处理策略请求，获得所述数据处理系统的数据处理信息；

策略生成模块，用于基于所述数据处理信息生成数据处理策略，其中，所述数据处理策略包括执行所述数据处理请求的资源调度信息；

第二发送模块，用于将所述数据处理策略发送至所述数据处理系统，以使所述数据处理系统基于所述资源调度信息，调用对应的资源来执行对所述待处理数据的读取指令或写入指令。

14.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～11中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～11中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～11中任一项所述的方法。

Images