CN113067842B - 数据处理方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置、设备及计算机存储介质，该方法包括：数据分析节点获取数据处理请求；数据分析节点根据数据处理请求向注册节点发送通知信息，使注册节点根据通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；数据分析节点通过文件代理节点获取与数据处理请求相对应的本地处理数据；数据分析节点根据数据处理请求对本地处理数据进行处理。本实施例的技术方案可实现对数据无服务化的处理过程，有效地降低了数据处理的复杂度、学习成本以及数据处理成本。

Description

数据处理方法、装置、设备及计算机存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。

背景技术

数据湖分析(Data Lake Analytics，简称DLA)是无服务化的交互式联邦查询服务，无需数据仓库技术(Extract-Transform-Load，简称ETL)，使用标准结构化查询语言(Structured Query Language，简称SQL)即可分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL等)、非关系型数据库 NoSQL(TableStore等)数据源的数据。目前云上的DLA过程，基本上都是面向用户在云服务上的各种数据源来进行关联分析，这些数据源中的数据都是通过各种软件开发工具包(Software Development Kit，简称SDK)或者云服务直接或间接的提交进去。

举例来说：在物理机或者弹性计算服务(Elastic Compute Service，简称 ECS)上存储有很多的日志或者运行数据，此时，若要对日志或者运行数据进行数据库分析时，则需要先通过云上的日志通道或者基于各种数据源的SDK相关的程序来上传数据，然后再对数据进行数据湖分析。然而，对于物理机或者ECS 上的各种本地化的数据而言，为了能够上传本地化数据，则需要熟悉、开通和配置各种采集服务、存储服务，数据需要经过多次转移或者发送，才能实现对数据的分析处理，这样的数据处理过程复杂度和学习成本高。

发明内容

本发明实施例提供一种数据处理方法、装置、设备及计算机存储介质，可以实现无服务化的数据处理过程，并且还可以降低数据处理过程的复杂度、用户的学习成本、数据处理成本。

第一方面，本发明实施例提供一种数据处理方法，包括：

数据分析节点获取数据处理请求；

所述数据分析节点根据所述数据处理请求向注册节点发送通知信息，使所述注册节点根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

所述数据分析节点通过所述文件代理节点获取与所述数据处理请求相对应的本地处理数据；

所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理。

第二方面，本发明实施例提供一种数据处理装置，包括：

第一获取模块，用于获取数据处理请求；

第一发送模块，用于根据所述数据处理请求向注册节点发送通知信息，使所述注册节点根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

所述第一获取模块，还用于通过所述文件代理节点获取本地处理数据；

第一处理模块，用于根据所述数据处理请求对所述本地处理数据进行处理。

第三方面，本发明实施例提供一种电子节点，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种数据处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的一种数据处理方法。

通过获取数据处理请求，根据数据处理请求向注册节点发送通知信息，并通过与所述注册节点相对应的文件代理节点获取与数据处理请求相对应的本地处理数据，最后根据数据处理请求对本地处理数据进行处理，以上过程实现了无服务化的数据处理过程，具体的，数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

第五方面，本发明实施例提供一种数据处理方法，包括：

注册节点接收数据分析节点所发送的通知信息；

所述注册节点根据所述通知信息向文件代理节点发送通信连接指令，以使所述文件代理节点根据所述通信连接指令与所述数据分析节点建立通信通道。

第六方面，本发明实施例提供一种数据处理装置，包括：

第二获取模块，用于接收数据分析节点所发送的通知信息；

第二处理模块，用于根据所述通知信息向文件代理节点发送通信连接指令，以使所述文件代理节点根据所述通信连接指令与所述数据分析节点建立通信通道。

第七方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的一种数据处理方法。

第八方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第五方面中的一种数据处理方法。

通过接收数据分析节点所发送的通知信息，根据通知信息向文件代理节点发送通信连接指令，以使文件代理节点根据通信连接指令与数据分析节点建立通信通道，从而使得文件代理节点可以通过所建立的通信通道向数据分析节点发送数据，实现了无服务化的数据传输过程，使得数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

第九方面，本发明实施例提供一种数据处理方法，包括：

文件代理节点接收注册节点所发送的通信连接指令；

所述文件代理节点根据所述通信连接指令向数据分析节点发送通信连接请求，以使得所述数据分析节点根据所述通信连接请求与文件代理节点建立通信通道；

所述文件代理节点基于所述通信通道与所述数据分析节点进行数据传输。

第十方面，本发明实施例提供一种数据处理装置，包括：

第三获取模块，用于接收注册节点所发送的通信连接指令；

通信模块，用于根据所述通信连接指令向数据分析节点发送通信连接请求，以使得所述数据分析节点根据所述通信连接请求与文件代理节点建立通信通道；

第三处理模块，用于基于所述通信通道与所述数据分析节点进行数据传输。

第十一方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的一种数据处理方法。

第十二方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第九方面中的一种数据处理方法。

通过接收注册节点所发送的通信连接指令，根据通信连接指令向数据分析节点发送通信连接请求，以使得数据分析节点根据通信连接请求与文件代理节点建立通信通道，基于通信通道与数据分析节点进行数据传输，实现了无服务化的数据传输过程，使得数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

第十三方面，本发明实施例提供一种数据配置方法，包括：

获取数据下载请求；

在显示界面上，显示与所述数据下载请求相对应的文件代理节点的配置信息；

根据所述数据下载请求将所述文件代理节点的配置信息存储在预设区域，并基于所述文件代理节点的配置信息对所述文件代理节点进行配置。

第十四方面，本发明实施例提供一种数据配置装置，包括：

第四获取模块，用于获取数据下载请求；

第四显示模块，用于在显示界面上，显示与所述数据下载请求相对应的文件代理节点的配置信息；

第四配置模块，用于根据所述数据下载请求将所述文件代理节点的配置信息存储在预设区域，并基于所述文件代理节点的配置信息对所述文件代理节点进行配置。

第十五方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的一种数据配置方法。

第十六方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第十三方面中的一种数据配置方法。

第十七方面，本发明实施例提供了一种数据处理系统，包括：

数据分析节点，用于获取数据处理请求，并根据所述数据处理请求向注册节点发送通知信息；

注册节点，与所述数据分析节点通信连接，用于获取所述通知信息，并根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

文件代理节点，与所述注册节点通信连接，用于接收所述通信连接指令，并根据通信连接指令与所述数据分析节点建立通信连接；

所述数据分析节点，还用于通过所述文件代理节点获取与所述数据处理请求相对应的本地处理数据，并根据所述数据处理请求对所述本地处理数据进行处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程图一；

图2为本发明实施例提供的通过所述文件代理节点获取与所述数据处理请求相对应的本地处理数据的流程图；

图3为本发明实施例提供的根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据的流程图一；

图4为本发明实施例提供的根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据的流程图二；

图5为本发明实施例提供的一种数据处理方法的流程图二；

图6为本发明实施例提供的一种数据处理方法的流程图三；

图7为本发明实施例提供的一种数据处理方法的流程图四；

图8为本发明实施例提供的一种数据处理方法的流程图五；

图9为本发明实施例提供的另一种数据处理方法的流程图一；

图10为本发明实施例提供的另一种数据处理方法的流程图二；

图11为本发明实施例提供的又一种数据处理方法的流程图一；

图12为本发明实施例提供的基于所述通信通道与所述数据分析节点进行数据传输的流程图；

图13为本发明应用实施例提供的一种数据处理系统的结构示意图；

图14为本发明应用实施例提供的一种数据处理方法的流程图；

图15为本发明应用实施例提供的一种数据处理方法的信令图；

图16为本发明实施例提供的一种数据处理装置的结构示意图；

图17为与图16所示实施例提供的数据处理装置对应的电子设备的结构示意图；

图18为本发明实施例提供的另一种数据处理装置的结构示意图；

图19为与图18所示实施例提供的数据处理装置对应的电子设备的结构示意图；

图20为本发明实施例提供的又一种数据处理装置的结构示意图；

图21为与图20所示实施例提供的数据处理装置对应的电子设备的结构示意图；

图22为本发明实施例提供的一种数据配置装置的结构示意图；

图23为与图22所示实施例提供的数据配置装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者设备中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

为了便于理解本申请的技术方案，下面对现有技术进行简要说明：数据湖是一个集中式存储库，允许用户以任意规模存储所有结构化和非结构化数据。目前云上的数据湖分析过程，基本上都是面向用户在云服务上的各种数据源来进行关联分析，这些数据源中的数据都是通过各种软件开发工具包(Software Development Kit，简称SDK)或者云服务直接或间接的提交进去。比如,用户在自己的物理机或弹性计算服务(Elastic ComputeService，简称ECS)上有很多的日志或者运行数据等，上述日志信息或者运行数据可以通过云上的日志通道或者基于各种数据源的SDK相关的程序来进行上传，然后再对数据进行数据湖分析。

由于在云服务上，ECS是最主要的服务，用户及设备部署着各种各样的应用程序，因此会产生大量的数据和各种各样的分析需求。然而，针对用户在ECS 或物理机或Docker容器上等各种本地化的数据，若要实现对本地化数据进行处理，会存在以下几个问题：1)复杂性较高，如果要上传本地化数据，则需要熟悉、开通和配置各种采集服务、存储服务，数据需要经过多次转移或者发送，最后才能对本地化数据进行分析处理，学习成本高。2)成本较高，需要开通各种采集服务、存储服务，过程中数据还可能有数据冗余，很多数据都没有分析需求，也就没有存储需求，从而会增加存储资源和分析需求资源的浪费，对于点对点ad-hoc类的分析更是如此。3)延时长，整个数据上传的链路偏长，中间有各种数据转移的过程，因此，绝大部分时候也只能分析固定延时前的数据，无法对即时发生或者产生的数据进行分析。

图1为本发明实施例提供的一种数据处理方法的流程图一；参考附图1所示，为了克服上述缺陷，本实施例提供了一种数据处理方法，该数据处理方法的执行主体为数据分析节点，该数据分析节点可以为数据湖分析节点，并且，该数据湖分析节点可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：

S101：数据分析节点获取数据处理请求。

其中，数据处理请求可以是客户端发送至数据湖分析节点的，对于客户端而言，客户端可以检测到用户输入的执行操作，并基于执行操作生成数据处理请求，该数据处理请求用于实现对数据进行处理操作，处理操作可以包括查询操作、计算操作、存储操作等等。在客户端获取到用户输入的数据处理请求之后,可以将数据处理请求发送至数据湖分析节点，从而使得数据湖分析节点可以获得数据请求。具体的，客户端上可以设置有与数据湖分析节点相对应的应用程序或者应用网址，用户通过应用程序或者应用网址可以实现将所输入的数据处理请求发送至数据湖分析节点，从而保证了数据湖分析节点可以稳定地获取数据处理请求。

S102：数据分析节点根据数据处理请求向注册节点发送通知信息，使注册节点根据通知信息向与注册节点相对应的文件代理节点发送通信连接指令。

在获取到数据处理请求之后，数据湖分析节点可以根据数据处理请求向注册节点发送通知信息，该注册节点用于实现文件代理节点与数据湖分析节点之间的通信连接。在注册节点接收到通知信息之后，注册节点可以根据通知信息向与注册节点相对应的文件代理节点发送通信连接指令，以使得通过注册节点可以实现数据湖分析节点与文件代理节点之间的通信连接。需要注意的是，文件代理节点的个数可以为一个或多个，而一个文件代理节点可以对应有一个或多个注册节点。具体的，在注册节点向与注册节点相对应的文件代理节点发送通信连接指令之后，文件代理节点可以通过通信连接指令与数据湖分析节点进行通信连接，其中，文件代理节点可以是预先部署在用户的ECS或者容器Docker 等运行环境下，负责读取ECS或Docker上的相关文件内容的节点，该相关文件内容可以为用户的ECS或者容器上的本地处理数据。

S103：数据分析节点通过文件代理节点获取与数据处理请求相对应的本地处理数据。

在文件代理节点与数据湖分析节点建立通信连接之后，文件代理节点可以向数据湖分析节点发送与数据处理请求相对应的本地处理数据。具体的，文件代理节点可以获取到数据处理请求，根据数据处理请求可以获取到相对应的本地处理数据，在获取到本地处理数据之后，可以将本地处理数据发送至数据湖分析节点，从而实现了数据湖分析节点通过文件代理节点获取与数据处理请求相对应的本地处理数据，并且有效地降低了数据传输过程的复杂度。

S104：数据分析节点根据数据处理请求对本地处理数据进行处理。

具体的，数据分析节点根据数据处理请求对本地处理数据进行处理可以包括：

S1041：数据分析节点根据数据处理请求对本地处理数据进行处理，获得数据处理结果；

S1042：数据分析节点对数据处理结果进行过滤，获得数据过滤结果；

S1043：数据分析节点将数据过滤结果进行排序，并对排序后的数据过滤结果进行筛选，确定与数据处理请求相对应的目标处理结果。

在获取到本地处理数据之后，可以根据数据处理请求对本地处理数据进行处理，具体的，可以根据数据处理请求对本地处理数据进行文件扫描处理，获得数据处理结果，而后对经过文件扫描处理后的数据处理结果进行过滤处理，获得与本地处理数据相对应的数据过滤结果，而后，基于预设的过滤限制条件对数据过滤结果进行排序，并根据过滤限制条件对排序后的数据过滤结果进行筛选，确定与数据处理请求相对应的目标处理结果。

当然的，本领域技术人员还可以采用其他的处理策略对本地处理数据进行处理，只要能够满足用户的数据处理需求即可，在此不再赘述。

本实施例中的数据处理方法，通过获取数据处理请求，根据数据处理请求向注册节点发送通知信息，并通过与注册节点相对应的文件代理节点获取与数据处理请求相对应的本地处理数据，最后根据数据处理请求对本地处理数据进行处理，以上过程实现了无服务化的数据处理过程，具体的，数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

图2为本发明实施例提供的通过文件代理节点获取与数据处理请求相对应的本地处理数据的流程图；图3为本发明实施例提供的根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据的流程图一；在上述实施例的基础上，参考附图2-3所示，本实施例对于通过文件代理节点获取与数据处理请求相对应的本地处理数据的具体实现方式不做限定，本领域技术人员可以根据具体的设计需求进行任意设置，较为优选的，本实施例中的通过文件代理节点获取与数据处理请求相对应的本地处理数据可以包括：

S1031：数据分析节点接收文件代理节点发送的通信连接请求，根据通信连接请求与文件代理节点建立通信通道。

其中，在文件代理节点接收到通信连接指令之后，文件代理节点可以通过通信连接指令向数据湖分析节点发送通信连接请求，在数据湖分析节点接收到通信连接请求之后，可以根据通信连接请求与文件代理节点建立通信通道，文件代理节点与数据湖分析节点之间可以通过通信通道进行数据传输。

S1032：数据分析节点根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据。

在数据湖分析节点根据通信连接请求与文件代理节点建立通信通道之后，文件代理节点可以通过通信通道向数据湖分析节点发送与数据处理请求相对应的本地处理数据，从而使得数据湖分析节点可以获取到本地处理数据，具体的，根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据可以包括：

S10321：数据分析节点根据通信通道向文件代理节点发送文件列表标识和文件过滤条件。

S10322：数据分析节点接收文件代理节点根据文件列表标识和文件过滤条件所发送的本地处理数据。

具体的，为了提高数据传输的质量和效率，在数据湖分析节点与文件代理节点建立通信通道之后，数据湖分析节点可以通过通信通道向文件代理节点发送文件列表标识和文件过滤条件。

举例来说：文件代理节点中包括数据1、数据2、数据3和数据4，数据湖分析节点可以通过通信通道向文件代理节点发送文件列表标识a和文件过滤条件b，在文件代理节点接收到文件列表标识a和文件过滤条件b之后，可以根据文件列表标识a和文件过滤条件b在多个数据中确定至少一个目标数据，例如，根据文件列表标识a可以确定数据1、数据3和数据4，而后在数据1、数据3 和数据4中，确定满足文件过滤条件b的数据包括数据1和数据4，此时，可以将数据1和数据4确定为目标数据，此时的数据1和数据4即为文件代理节点根据文件列表标识和文件过滤条件所确定的本地处理数据，在获取到本地处理数据之后，可以通过通信通道将本地处理数据依次发送至数据湖分析节点，从而使得数据湖分析节点可以获取到符合文件列表标识和文件过滤条件要求的本地处理数据，这样有效地提高了本地处理数据获取的质量和效率，进一步提高了对数据进行处理的稳定可靠性。

在另一些实例中，参考附图4所示，本实施例中的数据分析节点根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据可以包括：

S10323：数据分析节点根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据的元信息。

S10324：数据分析节点通过元信息和元数据管理节点，获得与数据处理请求相对应的本地处理数据，其中，元数据管理节点中包括本地处理数据、元信息与本地处理数据之间的映射关系。

具体的，为了提高数据传输的质量和效率，在数据湖分析节点与文件代理节点建立通信通道之后，文件代理节点可以通过通信通道向数据湖分析节点发送本地处理数据的元信息，其中，本地处理数据的元信息包括以下至少之一：本地处理数据的结构信息、本地处理数据的语义信息、本地处理数据的用途信息、本地处理数据的用法信息、本地处理数据的属性信息；而后，数据湖分析节点可以通过本地处理数据的元信息在元数据管理节点中获取到相对应的本地处理数据，其中，元数据管理节点中包括本地处理数据、元信息与本地处理数据之间的映射关系。

举例来说：文件代理节点中包括元信息1、元信息2、元信息3和元信息4，此时，文件代理节点可以通过通信通道向数据湖分析节点发送元信息1、元信息 2、元信息3和元信息4，而后，数据湖分析节点可以通过所接收到的元信息和元数据管理节点确定相对应的本地处理数据，其中，元数据管理节点中存储有本地处理数据、元信息与本地处理数据之间的映射关系；例如：元数据管理节点中存储有数据1与元信息1的对应关系、数据2与元信息2的对应关系、数据3与元信息3的对应关系和数据4与元信息4的对应关系，因此，可以根据上述的元信息确定本地处理数据包括：数据1、数据2、数据3和数据4，从而使得数据湖分析节点可以快速、准确地获取到本地处理数据，这样有效地提高了本地处理数据获取的质量和效率，进一步提高了对数据进行处理的稳定可靠性。

在另一些实例中，本实施例中的通过文件代理节点获取与数据处理请求相对应的本地处理数据可以包括加密后的本地处理数据。

具体的，在数据湖分析节点根据通信连接请求与文件代理节点建立通信通道之后，为了提高数据传输的安全可靠性，文件代理节点可以预设的加密算法对本地处理数据进行加密处理，获得加密后的本地处理数据，而后再将加密后的本地处理数据发送至数据湖分析节点，从而使得数据湖分析节点可以获取到加密后的本地处理数据。

此时，由于数据湖分析节点获取到的是加密后的本地处理数据，因此，在数据分析节点根据数据处理请求对本地处理数据进行处理之前，本实施例中的方法还可以包括：

S1040a：数据分析节点获取与加密后的本地处理数据相对应的解密私钥。

S1040b：数据分析节点利用解密私钥对加密后的本地处理数据进行解密处理，获得解密后的本地处理数据。

具体的，在数据湖分析节点获取到加密后的本地处理数据之后，可以通过文件代理节点的加密算法获取到与加密后的本地处理数据相对应的解密私钥，而后可以利用解密私钥对加密后的本地处理数据进行解密处理，从而可以获得解密后的本地处理数据。

可以想到的是，在数据分析节点根据数据处理请求获取文件代理节点中存储的本地处理数据之后，本实施例中的方法还可以包括：

S1033：断开数据分析节点与文件代理节点的通信连接。

在一些实例中，参考附图5所示，在断开数据分析节点与文件代理节点的通信连接之后，本实施例中的方法还可以包括：

S1034：数据分析节点获取数据分析节点所释放的网络资源。

S1035：数据分析节点将网络资源存储至预设资源库中，以供数据分析节点利用预设资源库中的网络资源与其他文件代理节点建立通信通道。

具体的，在数据湖分析节点通过通信通道接收到文件代理节点所传输的本地处理数据，并且，在文件代理节点将与数据处理请求相对应的本地处理数据均发送至数据湖分析节点，数据湖分析节点稳定地接收到本地处理数据之后，对于数据湖分析节点与文件代理节点而言，数据传输任务执行完毕，此时，为了减少通信资源的浪费，可以断开数据湖分析节点与文件代理节点之间的通信连接，即释放了用于建立该数据湖分析节点与文件代理节点之间通信通道的网络资源，此时，数据分析节点可以获取数据分析节点所释放的网络资源，并将所获取到的网络资源存储在预设资源库中，以供数据分析节点利用预设资源库中的网络资源与其他文件代理节点建立通信通道，这样可以有效地提高数据处理的质量和效率。

图6为本发明实施例提供的一种数据处理方法的流程图三，在上述任意一个实施例的基础上，继续参考附图6所示，为了提高该方法的实用性，在数据分析节点获取数据处理请求之后，本实施例中的方法还可以包括：

S201：数据分析节点通过预设的存储节点获得与数据处理请求相对应的服务端数据。

其中，存储节点为预先设置的，该存储节点是用于存储服务端数据的数据源，该存储节点具体可以为预设的异构数据源，具体的，该存储节点可以包括以下至少之一：对象存储(Object Storage Service,简称OSS)数据源、表格存储Table Store数据源、关系型数据库服务(Relational Database Service，简称RDS)、弹性计算服务(Elastic ComputeService，简称ECS)。可以理解的是，存储节点的具体表现形式并不限于上述举例说明，本领域技术人员还可以根据具体的设计需求和应用需求设置其他形式，在此不再赘述。

在数据湖分析节点接收到数据处理请求之后，可以根据数据处理请求获取到与数据处理请求相对应的待处理数据，此时的待处理数据可以包括服务端数据和本地处理数据，其中，可以按照上述实施例中的方式来获取到与数据处理请求相对应的本地处理数据，对于服务端数据而言，数据湖分析节点可以通过存储节点获取到与数据处理请求相对应的服务端数据，具体的，可以直接通过数据处理请求读取存储节点中存储的与数据处理请求相对应的至少一个服务端数据处理。

S202：数据分析节点根据数据处理请求对本地处理数据和服务端数据进行处理。

在获取到本地处理数据和服务端数据之后，可以根据数据处理请求对本地处理数据和服务端数据进行处理，并可以获得与数据处理请求相对应的处理结果。

另外，本实施例对于根据数据处理请求对本地处理数据和服务端数据进行处理的具体过程不做限定，本领域技术人员可以根据具体的设计需求和应用需求来设置不同的处理策略，较为优选的，本实施例中的数据分析节点根据数据处理请求对本地处理数据和服务端数据进行处理可以包括：

S2021：数据分析节点根据数据处理请求对本地处理数据进行处理，获得第一处理结果。

S2022：数据分析节点根据数据处理请求对服务端数据进行处理，获得第二处理结果。

具体的，在获取到本地处理数据和服务端数据之后，数据分析节点根据数据处理请求对本地处理数据进行处理，获得第一处理结果，并根据数据处理请求对服务端数据进行处理，获得第二处理结果，需要注意的是，数据分析节点对本地处理数据进行处理的处理方式与对服务端数据进行处理的方式可以相同或不同，例如：可以根据数据处理请求对本地处理数据和服务端数据进行文件扫描处理，从而可以分别获取到第一处理结果和第二处理结果。

S2023：数据分析节点对第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果。

在获取到第一处理结果和第二处理结果之后，可以对第一处理结果和第二处理结果进行分析处理，以获取到拼接处理结果，具体的，数据分析节点对第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果可以包括：

S20231：数据分析节点在预设的第一维度上，对第一处理结果进行过滤，获得第一过滤结果。

S20232：数据分析节点在预设的第二维度上，对第二处理结果进行过滤，获得第二过滤结果，其中，第一维度与第二维度不同。

S20233：数据分析节点对第一过滤结果和第二过滤结果进行拼接处理，获得拼接处理结果。

具体的，预先设置有多个数据维度，在获取到第一处理结果和第二处理结果之后，可以在预设的第一维度上对第一处理结果进行过滤，获得第一过滤结果；而后可以在预设的第二维度上对第二处理结果进行过滤，获得第二过滤结果，需要注意的是，上述的第一维度和第二维度是不同的数据维度，在获取到第一过滤结果和第二过滤结果之后，可以对第一过滤结果和第二过滤结果进行拼接处理，从而可以获取到拼接处理结果。

举例来说，假设现在要获取到的数据为7号到8号之间销售量最多的商户信息，此时，第一维度可以为所有的商户信息，第二维度可以为7号到8号所有的订单信息。在获取到第一处理结果和第二处理结果之后，可以分别在第一维度上对第一处理结果进行过滤，从而可以获取到第一过滤结果，该第一过滤结果用于标识所有的商户信息；而后在第二维度上对第二处理结果进行过滤，从而可以获取到第二过滤结果，该第二过滤结果用于标识7号到8号所有的订单信息。在获取到第一过滤结果和第二过滤结果之后，可以对第一过滤结果和第二过滤结果进行拼接处理，从而可以获取到拼接处理结果，该拼接处理结果用于标识7号到8号之间销售量最多的商户信息。从而实现了可以将一个大的数据处理任务切分为若干个小的数据处理任务，并可以通过多个数据湖分析节点来分别执行小的数据处理任务，这样有效地提高了数据处理的质量和效率。

S2024：数据分析节点对拼接处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

在获取到拼接处理结果之后，可以对拼接处理结果进行分析处理，以获得与数据处理请求相对应的目标处理结果。具体的，数据分析节点对拼接处理结果进行筛选，确定与数据处理请求相对应的目标处理结果可以包括：

S20241：数据分析节点对拼接处理结果进行聚合处理，获得聚合处理结果。

S20242：数据分析节点将聚合处理结果进行排序，并对排序后的聚合处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

具体的，在获取到拼接处理结果之后，可以利用预设的聚合运算符对拼接处理结果进行聚合处理，获得聚合处理结果；基于预设的过滤限制条件对聚合处理结果进行排序，并根据过滤限制条件对排序后的聚合处理结果进行筛选，从而可以获取到满足数据处理请求的目标处理结果。

当然的，本领域技术人员还可以采用其他的处理策略对本地处理数据和服务端数据进行处理，只要能够满足用户的数据处理需求即可，在此不再赘述。

本实施例中，通过预设的存储节点获得与数据处理请求相对应的服务端数据，根据数据处理请求对本地处理数据和服务端数据进行处理，实现了对与数据处理请求相对应的本地处理数据和服务端数据进行统一的分析处理，有效地提高了数据处理的质量和效率。

图7为本发明实施例提供的一种数据处理方法的流程图四；在上述实施例的基础上，继续参考附图7所示，本实施例中的方法还可以包括：

S301：数据分析节点获取数据下载请求；

S302：数据分析节点在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息；

S303：数据分析节点根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

其中，文件代理节点的配置信息可以发布在公共网络上，此时，用户可以针对文件代理节点的配置信息输入数据下载请求，在获取到数据下载请求之后，在显示界面上，可以显示与数据下载请求相对应的文件代理节点的配置信息，并可以根据数据下载请求将文件代理节点的配置信息存储在预设区域，而后，用户可以基于文件代理节点的配置信息对文件代理节点进行配置。例如：用于可以基于文件代理节点的配置信息对文件代理节点进行部署配置、升级配置、读写文件的权限配置以及进程的启动账号的配置操作等等，具体的，在用户可以基于文件代理节点的配置信息对文件代理节点进行自义定的配置操作，从而实现了不会发生非法访问数据的情况，进一步保证了数据访问的安全可靠性。

图8为本发明实施例提供的一种数据处理方法的流程图五；在上述实施例的基础上，继续参考附图8所示，在基于文件代理节点的配置信息对文件代理节点进行配置之后，本实施例中的方法还可以包括：

S401：确定与文件代理节点相对应的注册节点。

S402：对文件代理节点与注册节点之间的关联关系进行配置。

其中，在对文件代理节点进行配置之后，由于一个文件代理节点可以对应有一个注册节点，而一个注册节点可以对应有多个文件代理节点，为了能够实现数据分析节点、注册节点和文件代理节点之间可以进行通信连接，可以确定与文件代理节点相对应的注册节点，而后对文件代理节点与注册节点之间的关联关系进行配置，具体的，文件代理节点与注册节点之间的关联关系可以包括多对一的映射关系。

本实施例中，在基于文件代理节点的配置信息对文件代理节点进行配置之后，通过确定与文件代理节点相对应的注册节点，并对文件代理节点与注册节点之间的关联关系进行配置，有效地实现了数据分析节点、注册节点和文件代理节点之间可以进行通信连接，进而提高了该数据处理方法使用的稳定可靠性。

图9为本发明实施例提供的另一种数据处理方法的流程图一；参考附图9 所示，为了克服上述缺陷，本实施例提供了另一种数据处理方法，该数据处理方法的执行主体为注册节点，即该方法可以应用于注册节点，并且，该注册节点可以实现为软件、或者软件和硬件的组合；注册节点与数据分析节点和文件代理节点通信连接，数据分析节点用于：获取数据处理请求，并根据数据处理请求和注册节点与文件代理节点建立通信连接。具体的，该方法可以包括：

S501：注册节点接收数据分析节点所发送的通知信息。

在数据分析节点接收到用户发送的数据处理请求之后，可以根据数据处理请求向注册节点发送通知信息，从而使注册节点可以接收到数据分析节点所发送的通知信息，该通知信息用于实现文件代理节点与数据分析节点之间的通信连接。

S502：注册节点根据通知信息向文件代理节点发送通信连接指令，以使文件代理节点根据通信连接指令与数据分析节点建立通信通道。

在注册节点接收到通知信息之后，可以根据通知信息向文件代理节点发送通信连接指令，实现了通过注册节点可以使得数据分析节点与文件代理节点之间建立通信连接。具体的，在注册节点向文件代理节点发送通信连接指令之后，文件代理节点可以通过通信连接指令与数据分析节点进行通信连接，其中，文件代理节点可以是预先部署在用户的ECS或者容器Docker等运行环境下，负责读取ECS或Docker上的相关文件内容的节点，该相关文件内容可以为用户的ECS 或者容器上的本地处理数据。

本实施例中的数据处理方法，通过接收数据分析节点所发送的通知信息，根据通知信息向文件代理节点发送通信连接指令，以使文件代理节点根据通信连接指令与数据分析节点建立通信通道，从而使得文件代理节点可以通过所建立的通信通道向数据分析节点发送数据，实现了无服务化的数据传输过程，使得数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

图10为本发明实施例提供的另一种数据处理方法的流程图二；在上述实施例的基础上，参考附图10所示，为了提高该方法使用的安全可靠性，在注册节点接收数据分析节点所发送的通知信息之前，本实施例中的方法还可以包括：

S601：注册节点获取文件代理节点发送的注册登记信息。

S602：注册节点根据注册登记信息对文件代理节点进行登记注册。

为了保证数据传输的安全可靠性，在对文件代理节点与数据分析节点建立通信通道之前，注册节点可以对文件代理节点进行登记注册，具体的，文件代理节点可以向注册节点发送注册登记信息，注册登记信息中至少包括注册节点的身份标识信息；在注册节点接收到文件代理节点所发送的注册登记信息之后，可以根据注册登记信息对文件代理节点进行登记注册，从而保证了文件代理节点进行数据传输的合法性，进一步提高了该方法使用的安全可靠性。

图11为本发明实施例提供的又一种数据处理方法的流程图一；图12为本发明实施例提供的基于通信通道与数据分析节点进行数据传输的流程图；参考附图11-12所示，为了克服上述缺陷，本实施例提供了又一种数据处理方法，该数据处理方法的执行主体为文件代理节点，即该方法可以应用于文件代理节点，并且，该文件代理节点可以实现为软件、或者软件和硬件的组合。其中，文件代理节点用于通过注册节点与数据分析节点进行通信连接，数据分析节点用于：获取数据处理请求，通过文件代理节点获取与数据处理请求相对应的本地处理数据，并根据数据处理请求对本地处理数据进行处理。具体的，该方法可以包括：

S701：文件代理节点接收注册节点所发送的通信连接指令。

在注册节点接收到通知信息之后，可以根据通知信息向文件代理节点发送通信连接指令，从而使得文件代理节点可以接收到注册节点所发送的通信连接指令，该通信连接指令用于实现文件代理节点与数据分析节点之间建立通信连接。

S702：文件代理节点根据通信连接指令向数据分析节点发送通信连接请求，以使得数据分析节点根据通信连接请求与文件代理节点建立通信通道。

在获取到通信连接指令之后，可以根据通信连接指令向数据分析节点发送通信连接请求，在数据分析节点接收到通信连接请求之后，可以基于通信连接请求与文件代理节点建立通信通道，从而实现了数据分析节点与文件代理节点之间建立通信连接的过程。

S703：文件代理节点基于通信通道与数据分析节点进行数据传输。

在数据分析节点与文件代理节点之间建立通信通道之后，文件代理节点可以基于通信通道与数据分析节点之间进行数据传输，具体的，基于通信通道与数据分析节点进行数据传输可以包括：

S7031：文件代理节点基于通信通道获取数据分析节点发送的文件过滤条件和文件列表标识。

S7032：文件代理节点确定与文件过滤条件和文件列表标识相对应的本地处理数据。

S7033：文件代理节点将本地处理数据发送至数据分析节点。

其中，对于文件代理节点而言，基于数据分析节点所获取的数据处理请求可以确定多个待处理数据，而对于所确定的多个待处理数据而言，可能并不需要对所有的待处理数据进行处理，此时，为了提高数据处理的质量和效率，数据分析节点可以基于通信通道向文件代理节点发送文件过滤条件和文件列表标识，在文件代理节点接收到文件过滤条件和文件列表标识之后，可以基于数据处理请求、文件过滤条件和文件列表标识确定目标处理数据，具体的，可以先基于数据处理请求确定相对应的多个待处理数据，在多个待处理数据中确定与文件过滤条件和文件列表标识相对应的本地处理数据，该本地处理数据即为目标处理数据，在获取到本地处理数据之后，可以将本地处理数据发送至数据分析节点，以使得数据分析节点可以对本地处理数据进行分析处理，从而可以获得与数据处理请求相对应的处理结果。

可以想到的是，待处理数据中除了包括上述的本地处理数据外，还可以包括服务端数据，对于服务端数据而言，也可以采用与上述相类似的方式来获取，即：通过预设的文件过滤条件和文件列表标识在预设的存储节点上获得相对应的服务端数据。

在一些实例中，将本地处理数据发送至数据分析节点，可以包括：

S70331：文件代理节点利用预设的加密公钥对本地处理数据进行加密，获得加密后的本地处理数据。

S70332：文件代理节点将加密后的本地处理数据通过通信通道发送至数据分析节点。

具体的，为了保证对本地处理数据进行传输的安全可靠性，在文件代理节点获取到本地处理数据之后，可以利用预设的数据加密算法的加密公钥对本地处理数据进行加密，从而可以获得加密后的本地处理数据，而后可以将加密后的本地处理数据通过通信通道发送至数据分析节点，从而实现了通过通信通道和加密密钥进行数据的安全传递，而数据分析节点获取到加密后的本地处理数据之后，可以利用解密私钥来进行解密，从而获得解密后的本地处理数据，这样有效地提高了数据传输的安全可靠性。

本实施例中的数据处理方法，通过接收注册节点所发送的通信连接指令，根据通信连接指令向数据分析节点发送通信连接请求，以使得数据分析节点根据通信连接请求与文件代理节点建立通信通道，基于通信通道与数据分析节点进行数据传输，实现了无服务化的数据传输过程，使得数据无需经过多次转移或者发送，即可实现对数据的分析处理，有效地降低了数据处理过程的复杂度，降低了学习成本、数据处理成本，从而有效地提高了数据处理方法的实用性，有利于市场的推广与应用。

此外，本实施例的另一方面提供了一种数据配置方法，该数据配置方法用于实现对文件代理节点的配置操作，具体的，该方法可以包括：

S801：获取数据下载请求。

S802：在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息。

S803：根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

在一些实例中，在基于文件代理节点的配置信息对文件代理节点进行配置之后，本实施例中的方法还可以包括：

S901：确定与文件代理节点相对应的注册节点；

S902：对文件代理节点与注册节点之间的关联关系进行配置。

进一步的，文件代理节点与注册节点之间的关联关系包括多对一的映射关系。

其中，文件代理节点的配置信息可以发布在公共网络上，此时，用户可以针对文件代理节点的配置信息输入数据下载请求，在获取到数据下载请求之后，在显示界面上，可以显示与数据下载请求相对应的文件代理节点的配置信息，并可以根据数据下载请求将文件代理节点的配置信息存储在预设区域，而后，用户可以基于文件代理节点的配置信息对文件代理节点进行配置。例如：用于可以基于文件代理节点的配置信息对文件代理节点进行部署配置、升级配置、读写文件的权限配置以及进程的启动账号的配置操作等等，具体的，在用户可以基于文件代理节点的配置信息对文件代理节点进行自义定的配置操作，从而实现了不会发生非法访问数据的情况，进一步保证了数据访问的安全可靠性。

图13为本发明应用实施例提供的一种数据处理系统的结构示意图；参考附图13所示，本实施例提供了一种数据处理系统，该数据处理系统用于执行上述实施例中的数据处理方法，具体的，该系统包括：

数据分析节点，用于获取数据处理请求，并根据数据处理请求向注册节点发送通知信息；

注册节点，与数据分析节点通信连接，用于获取通知信息，并根据通知信息向与注册节点相对应的文件代理节点发送通信连接指令；

文件代理节点，与注册节点通信连接，用于接收通信连接指令，并根据通信连接指令与数据分析节点建立通信连接；

数据分析节点，还用于通过文件代理节点获取与数据处理请求相对应的本地处理数据，并根据数据处理请求对本地处理数据进行处理。

在一些实例中，文件代理节点，用于在接收通信连接指令之前，向注册节点发送注册登记信息；

注册节点，还用于根据注册登记信息对文件代理节点进行登记注册。

在一些实例中，文件代理节点，还用于根据通信连接指令向数据分析节点发送通信连接请求；

数据分析节点，还用于接收文件代理节点发送的通信连接请求，根据通信连接请求与文件代理节点建立通信通道，并根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据。

在一些实例中，数据分析节点，还用于根据通信通道向文件代理节点发送文件列表标识和文件过滤条件，接收文件代理节点根据文件列表标识和文件过滤条件所发送的本地处理数据；

文件代理节点，用于获取数据分析节点发送的文件过滤条件和文件列表标识，确定与文件过滤条件和文件列表标识相对应的本地处理数据，将本地处理数据发送至数据分析节点。

在一些实例中，文件代理节点，用于获取与数据处理请求相对应的本地处理数据的元信息，并将元信息通过通信通道发送至数据分析节点；

数据分析节点，用于接收本地处理数据的元信息，并根据元信息和元数据管理节点确定本地处理数据，其中，元数据管理节点中包括本地处理数据、元信息与本地处理数据之间的映射关系。

在一些实例中，数据分析节点，还用于在根据数据处理请求获取文件代理节点中存储的本地处理数据之后，断开数据分析节点与文件代理节点的通信连接。

在一些实例中，数据分析节点，还用于：获取数据分析节点所释放的网络资源；将网络资源存储至预设资源库中，以供数据分析节点利用预设资源库中的网络资源与其他文件代理节点建立通信通道。

在一些实例中，数据分析节点，还用于：在获取数据处理请求之后，通过预设的存储节点获得与数据处理请求相对应的服务端数据；根据数据处理请求对本地处理数据和服务端数据进行处理。

在一些实例中，数据分析节点，还用于：根据数据处理请求对本地处理数据进行处理，获得第一处理结果；根据数据处理请求对服务端数据进行处理，获得第二处理结果；对第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果；对拼接处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

在一些实例中，数据分析节点，还用于：在预设的第一维度上，对第一处理结果进行过滤，获得第一过滤结果；在预设的第二维度上，对第二处理结果进行过滤，获得第二过滤结果，其中，第一维度与第二维度不同；对第一过滤结果和第二过滤结果进行拼接处理，获得拼接处理结果。

在一些实例中，数据分析节点，还用于：对拼接处理结果进行聚合处理，获得聚合处理结果；将聚合处理结果进行排序，并对排序后的聚合处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

在一些实例中，数据分析节点，还用于：根据数据处理请求对本地处理数据进行处理，获得数据处理结果；对数据处理结果进行过滤，获得数据过滤结果；将数据过滤结果进行排序，并对排序后的数据过滤结果进行筛选，确定与数据处理请求相对应的目标处理结果。

在一些实例中，数据分析节点，还用于：获取数据下载请求；在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息；根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

在一些实例中，在基于文件代理节点的配置信息对文件代理节点进行配置之后，数据分析节点，还用于：确定与文件代理节点相对应的注册节点；对文件代理节点与注册节点之间的关联关系进行配置。

在一些实例中，文件代理节点与注册节点之间的关联关系包括多对一的映射关系。

图13所示系统可以执行图1-图12所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图12所示实施例中的描述，在此不再赘述。

具体应用时，本应用实施例提供了一种数据处理方法，该数据处理方法的执行主体为数据处理系统，参考附图14所示，数据处理系统可以包括：客户端 (前端)、数据湖分析节点DLA、注册节点和文件代理节点。在具体应用时，为了使得数据处理系统可以稳定地实现并执行数据处理过程，可以在软件层面上定义新的建库和建表语句。例如，建库时，指定目标ECS的位置，包括但不限于网络VPC信息、交换机信息、ECS的ip列表等等信息，从而可以再后续建立通信时使用；建表时，则可以为当前逻辑表定义相关的文件路径，从而可以去搜索文件数据并上传，同时建表时还可以把一些预定义的上下文变量(比如当前ECS的ip、当前文件的path、当前文件的修改时间等等)作为表的元信息列而一并定义和使用。

具体的，客户端、数据湖分析节点、注册节点与文件代理节点之间的连接关系参见附图13所示：

客户端(前端)：可以包括个人计算机PC端、终端设备、在线浏览器、终端浏览器、应用程序等等，用于获取用户输入的执行操作，并根据执行操作生成数据处理请求，并可以将数据处理请求通过负载均衡节点发送至数据湖分析节点DLA。

数据湖分析节点：包括多个前端节点FN和多个计算节点CN，前端节点FN 和计算节点CN均是抽象出来的计算节点，实际应用中，其可以是位于不同位置的数据处理器。具体的，前端节点用于接收客户端所接收到的数据处理请求，计算节点用于接收前端节点所分配的处理任务。其中，多个FN可以挂载在负载均衡节点SLB上，负载均衡节点SLB用于均衡数据处理请求与数据湖分析节点之间的关系，具体应用时，数据湖分析节点中的多个前端节点FN可以构成前端节点池，多个计算节点CN可以构成计算节点池。可以理解的是，客户端可以获取多个数据处理请求，当客户端向数据湖分析节点发送多个数据处理请求时，负载均衡节点可以将多个不同的数据处理请求发送/分发至不同的前端节点处，从而实现均衡数据处理请求任务的效果，提高了数据处理的质量和效果。

举例来说，负载均衡节点可以接收到用户A通过应用程序APP发送的分析查询请求、用户B通过APP发送数据写入请求以及用户C通过APP发送数据更新请求，而后，负载均衡节点可以将所接收到三个不同请求分发到三个不同的 FN节点上，将分析查询请求分发到第一FN节点上，将数据写入请求分发到第二 FN节点上，将数据更新请求发布到第三FN节点上，从而使得FN节点的数据处理负载均衡，保证了数据处理的质量和效率。

相类似，在FN节点接收到数据处理请求之后，FN节点可以对数据处理请求进行解析、执行计划生成与优化操作，也即，将数据处理请求划分为与数据处理请求相对应的多个数据处理任务，并可以将多个数据处理任务下发至不同的 CN处，从而使得CN可以针对所接收到的数据处理任务进行数据处理操作，从而提高数据处理的质量和效率。

举例来说：所获取到的一个数据处理请求为查找7号到8号之间，交易量最多的卖家信息；那么，在FN节点接收到上述这个数据请求之后，可以对上述数据处理请求进行分析处理，并将数据处理请求划分为相对应的多个数据处理任务，多个数据处理任务可以包括：查找到所有的卖家信息、查找到7号到8 号之间所有的交易信息；而后可以将上述两个数据处理任务分发至不同的CN节点处，CN节点可以根据格子不同的数据处理任务获取到相对应的子处理数据，而后将CN节点所获取的子处理数据发送至FN节点处，FN节点可以对CN节点所对应的子处理数据进行关联分析，即将卖家信息与订单信息进行关联匹配，而后可以确定与数据处理请求相对应的数据处理结果，即查找到7号到8号之间，交易量最多的卖家信息。

其中，对于CN节点而言，在接收到所对应的数据处理任务之后，一方面，可以通过预设的数据源(例如：OSS、table store、RDS等等)获取与数据处理任务相对应的服务端数据；另一方面，可以通过元信息管理节点和注册节点获取文件代理节点中的本地处理数据。

需要注意的是，CN节点可以与各个数据源连接，不同的数据源用于满足数据的不同存储方式，存储方式包括：文档表格存储、消息存储等等方式；通过 CN节点与各个数据源进行连接，可以实现DLA存储计算分离的整体架构，即用于存储数据的各个数据源与对数据进行分析处理的DLA之间相互分离，从而可以提高数据处理的质量和效率。

元信息管理节点，用于存储元信息，元信息就是关于数据信息的信息，该元信息用于描述数据信息的结构、语义、用途和用法等；例如：元信息可以包括一些数据表或者数据库的位置信息。该元信息管理节点与FN节点、CN节点或者注册节点进行通信连接，可以使得FN节点、CN节点或者注册节点可以通过元信息管理节点获取到相对应的数据信息。

注册节点：对于维护和管理各个文件代理节点的注册信息，实现文件代理节点的注册服务。该注册节点可以与各个文件代理节点保持长连接通信，从而便于管理和下推相关的命令，驱动文件代理节点与数据湖分析节点之间执行读取文件、过滤数据、上传数据等工作。例如：注册节点可以向文件代理节点发送通知信息，文件代理节点根据通知信息与数据湖分析节点建立通信连接。

可以理解的是，注册节点就是一个桥梁作用，可以完成数据湖分析节点与文件代理节点之间的前置握手通信，从而最终帮助数据湖分析节点与文件代理节点之间完成真正的条件下推和数据上传的过程。

文件代理节点：可以部署在用户的ECS或者Docker等运行环境上，负责读取ECS或Docker上相关文件内容，该相关文件内容可以包括与数据处理请求相对应的本地处理数据。具体应用时，文件代理节点可以接收到注册节点发送的通知信息，根据通知信息向数据湖分析节点发送通信请求，以使数据湖分析节点根据通信请求与文件代理节点建立通信连接，此时，文件代理节点可以向数据湖分析节点主动推送相关的元信息，使得数据湖分析节点可以根据元信息获取到相对应的处理数据。

基于上述架构，参考附图14-15所示，在数据库引擎中，通常经过语言分析器sqlparser之后，可以得到一棵抽象语法树(abstract syntax tree，简称AST)，之后对于整个数据湖分析节点DLA而言，其会按照抽象语法树的逻辑节点和执行计划来真正执行数据处理请求。本应用实施例中，假设线上业务中的注册用户信息存储在云RDS上的users表中，而业务对应的实际客户的访问日志则产生于ECS上的相关日志目录中。具体的，本应用实施例提供的数据处理方法包括以下步骤：

step1：文件代理节点向注册节点发送注册登记信息，注册节点根据注册登记信息对文件代理节点进行登记注册，使得文件代理节点与注册节点之间可以保持连接。

step2：在数据湖分析节点接收到数据处理请求之后，数据湖分析节点可以向注册节点发送通知信息，注册节点根据数据湖分析节点DLA发送的通知信息可以向文件代理节点发送通信连接指令。

step3：文件代理节点根据通信连接指令与DLA建立通信连接。

step4：DLA向文件代理节点发送文件过滤条件和文件列表标识，根据文件过滤条件和文件列表标识通过文件代理节点获取到与数据处理请求相对应的本地处理数据。

step5：在DLA获取到本地处理数据之后，可以对本地处理数据进行分析处理，获得分析处理结果，并且将分析处理结果返回给用户。

在DLA与文件代理节点完成交互之后，即从握手到数据通信、传输的过程，由于DLA中的文件扫描Table Scan算子是一个临时性的计算过程，因此，必须每次有真正的访问需求时才与文件代理节点之间建立通信，从而节省网络连接等，因此，在DLA与文件代理节点之间完成交互之后，DLA可以与文件代理节点之间断开连接，从而可以保证数据处理的安全可靠性。

在获取到本地处理数据之后，DLA也可以通过预设的数据源(例如：RDS) 获取到与数据处理请求相对应的服务端数据，在获取到本地处理数据和服务端数据之后，可以对本地处理数据和服务端数据进行分析处理，具体的分析处理过程可以包括如下步骤：

step51：数据扫描TableScan算子可以分别对本地处理数据和服务端数据进行扫描处理，可以获得与本地处理数据相对应的本地扫描结果和与服务端数据相对应的云扫描结果。

step52：利用预设的第一过滤算子对本地扫描结果和云扫描结果进行过滤处理，获得与本地扫描结果相对应的本地过滤结果和云扫描结果相对应的云过滤结果。

step53：利用预设的第二过滤算子对本地过滤结果和云扫描结果进行过滤处理，获得与本地过滤结果相对应的目标本地结果和云扫描结果相对应的目标云结果。

可以理解的是，第二过滤算子与第一过滤算子的过滤维度不同，举例来说，第一过滤算子用于在第一维度对数据进行过滤，第二过滤算子用于在第二维度对数据进行过滤。

step54：利用预设的拼接算子对目标本地结果和目标云结果进行拼接处理，获得拼接结果。

step55：利用预设的聚合运算算子对拼接结果聚合处理，获得聚合结果。

step56：按照预设的排序算子对聚合结果进行排序。

step57：按照预设的极限算子对排序后的聚合结果进行选择，获得目标结果数据，其中，预设的极限算子中可以包括限制个数、限制要求等等信息。

step58：利用输出算子对目标结果数据进行输出。

本应用实施例提供的数据处理方法，还可以实现如下功能操作：

(1)网络安全性较高。用户的ECS以及DLA的集群都可以部署在云上各自的私有云(Virtual Private Cloud，简称VPC)内，在用户需要DLA访问其ECS 数据时，可以进一步允许DLA创建一条加密隧道到用户的VPC，从而可以实现数据安全传递；且在握手时可以下发一个RSA加密算法的公钥来加密数据，而在 DLA侧通过RSA的私钥来解密数据，从而实现数据的安全；另外，可以保证用户的数据隐私，可以使得文件代理节点的代码信息发布在公网上，由用户自行下载、部署、升级，读写文件的权限以及进程的启动账号，也都由用户自己定义，因此，不会发生越权访问数据的问题。

(2)延时及性能较好。用户刚刚产生的数据立即可见可查询，整体的只有一次网络请求的延时而已，极大提高了用户热数据的可分析性；大量简单的条件过滤和列投影等逻辑，都可以直接下推到ECS上，从而过滤不必要的数据，大大减少了网络开销；其他优化手段如结果集压缩、编码等，都可以进行标准化执行。

(3)成本较低。该方法中的数据处理操作(例如：数据过滤、数据投影等逻辑)都在用户的ECS上执行，无需额外开销；很多数据都在ECS上过滤掉，大量减少DLA计算的流量成本；从ECS直接到DLA，无需中间的存储和转移过程，无需开通大量服务，大大减少了数据传输的整体成本。

(4)易用性。用户对应库、表结构等操作过程，与DLA的其他建库建表过程无差异；用户启动文件代理节点来实现该数据处理方法时，与其他普通的程序启动过程无差异；没有中间各种服务开通、配置等过程，特别简单；兼容各种文件格式、压缩格式等。

需要说明的是，本应用实施例提供的数据方法还可以分析用户其他形态的独立运行节点，比如Docker容器、物理机等，从而大大适应于各种场景，使得数据湖分析技术可以真正深入到用户在云上的各种数据源、各种存储系统内。通过DLA这种可直接连接用户ECS、Docker等本地化数据的数据湖分析架构，帮助用户节省掉各种数据处理的中间过程，让数据更直接的参与到分析中来，从易用性、低成本、热数据即时分析等方面提高用户的数据湖分析体验、降低了数据分析的门槛，进一步提高了该方法的实用性。

图16为本发明实施例提供的一种数据处理装置的结构示意图；参考附图16 所示，本实施例提供了一种数据处理装置，该处理装置可以执行上述图1所对应的数据处理方法。具体的，该处理装置可以包括：

第一获取模块11，用于获取数据处理请求；

第一发送模块12，用于根据数据处理请求向注册节点发送通知信息，使注册节点根据通知信息向与注册节点相对应的文件代理节点发送通信连接指令；

第一获取模块11，还用于通过文件代理节点获取与数据处理请求相对应的本地处理数据；

第一处理模块13，用于根据数据处理请求对本地处理数据进行处理。

可选地，在第一获取模块11通过文件代理节点获取与数据处理请求相对应的本地处理数据时，该第一获取模块11用于执行：接收文件代理节点发送的通信连接请求，根据通信连接请求与文件代理节点建立通信通道；根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据。

可选地，在第一获取模块11根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据时，该第一获取模块11用于执行：根据通信通道向文件代理节点发送文件列表标识和文件过滤条件；接收文件代理节点根据文件列表标识和文件过滤条件所发送的本地处理数据。

可选地，在第一获取模块11根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据时，该第一获取模块11用于执行：根据通信通道获取文件代理节点中存储的与数据处理请求相对应的本地处理数据的元信息；通过元信息和元数据管理节点，获得与数据处理请求相对应的本地处理数据，其中，元数据管理节点中包括本地处理数据、元信息与本地处理数据之间的映射关系。

可选地，在根据数据处理请求获取文件代理节点中存储的本地处理数据之后，本实施例中的第一处理模块13可以用于执行：断开数据分析节点与文件代理节点的通信连接。

可选地，在断开数据分析节点与文件代理节点的通信连接之后，本实施例中的第一获取模块11和第一处理模块13还可以用于执行以下步骤：

第一获取模块11，用于获取数据分析节点所释放的网络资源；

第一处理模块13，用于将网络资源存储至预设资源库中，以供数据分析节点利用预设资源库中的网络资源与其他文件代理节点建立通信通道。

可选地，在获取数据处理请求之后，本实施例中的第一获取模块11和第一处理模块13还可以用于执行以下步骤：

第一获取模块11，用于通过预设的存储节点获得与数据处理请求相对应的服务端数据；

第一处理模块13，用于根据数据处理请求对本地处理数据和服务端数据进行处理。

可选地，与数据处理请求相对应的本地处理数据包括加密后的本地处理数据。

可选地，在根据数据处理请求对本地处理数据进行处理之前，本实施例中的第一获取模块11和第一处理模块13，还用于执行以下步骤：

第一获取模块11，用于获取与加密后的本地处理数据相对应的解密私钥；

第一处理模块13，用于利用解密私钥对加密后的本地处理数据进行解密处理，获得解密后的本地处理数据。

可选地，在第一处理模块13根据数据处理请求对本地处理数据和服务端数据进行处理时，第一处理模块13可以用于执行：根据数据处理请求对本地处理数据进行处理，获得第一处理结果；根据数据处理请求对服务端数据进行处理，获得第二处理结果；对第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果；对拼接处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

可选地，在第一处理模块13对第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果时，第一处理模块13可以用于执行：在预设的第一维度上，对第一处理结果进行过滤，获得第一过滤结果；在预设的第二维度上，对第二处理结果进行过滤，获得第二过滤结果，其中，第一维度与第二维度不同；对第一过滤结果和第二过滤结果进行拼接处理，获得拼接处理结果。

可选地，在第一处理模块13对拼接处理结果进行筛选，确定与数据处理请求相对应的目标处理结果时，第一处理模块13可以用于执行：对拼接处理结果进行聚合处理，获得聚合处理结果；将聚合处理结果进行排序，并对排序后的聚合处理结果进行筛选，确定与数据处理请求相对应的目标处理结果。

可选地，在第一处理模块13根据数据处理请求对本地处理数据进行处理时，第一处理模块13可以用于执行：根据数据处理请求对本地处理数据进行处理，获得数据处理结果；对数据处理结果进行过滤，获得数据过滤结果；将数据过滤结果进行排序，并对排序后的数据过滤结果进行筛选，确定与数据处理请求相对应的目标处理结果。

可选地，本实施例中的第一获取模块11和第一处理模块13，还用于执行以下步骤：

第一获取模块11，用于获取数据下载请求；

第一处理模块13，用于在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息；根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

可选地，在基于文件代理节点的配置信息对文件代理节点进行配置之后，本实施例中的第一处理模块13，还用于：确定与文件代理节点相对应的注册节点；对文件代理节点与注册节点之间的关联关系进行配置。

可选地，文件代理节点与注册节点之间的关联关系包括多对一的映射关系。

图16所示装置可以执行图1-图8所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图8所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图16所示数据处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图17所示，该电子设备可以包括：第一处理器21和第一存储器22。其中，第一存储器22用于存储支持电子设备执行上述图1-图8所示实施例中提供的数据处理方法的程序，第一处理器21被配置为用于执行第一存储器22中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器21执行时能够实现如下步骤：

获取数据处理请求；

根据数据处理请求向注册节点发送通知信息，使注册节点根据通知信息向与注册节点相对应的文件代理节点发送通信连接指令；

通过文件代理节点获取与数据处理请求相对应的本地处理数据；

根据数据处理请求对本地处理数据进行处理。

可选地，第一处理器21还用于执行前述图1-图8所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第一通信接口23，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图1-图8所示方法实施例中数据处理方法所涉及的程序。

图18为本发明实施例提供的另一种数据处理装置的结构示意图；参考附图 18所示，本实施例提供了另一种数据处理装置，该装置可以应用于注册节点，注册节点与数据分析节点和文件代理节点通信连接，数据分析节点用于：获取数据处理请求，并根据数据处理请求和注册节点与文件代理节点建立通信连接。并且，该处理装置可以执行上述图9所对应的数据处理方法。具体的，该处理装置可以包括：

第二获取模块31，用于接收数据分析节点所发送的通知信息；

第二处理模块32，用于根据通知信息向文件代理节点发送通信连接指令，以使文件代理节点根据通信连接指令与数据分析节点建立通信通道。

可选地，在接收数据分析节点所发送的通知信息之前，本实施例中的第二获取模块31和第二处理模块32还可以用于执行以下步骤：

第二获取模块31，用于获取文件代理节点发送的注册登记信息；

第二处理模块32，用于根据注册登记信息对文件代理节点进行登记注册。

图18所示装置可以执行图9-图10所示实施例的全部或者部分方法，本实施例未详细描述的部分，可参考对图9-图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9-图10所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图18所示数据处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图19所示，该电子设备可以包括：第二处理器41和第二存储器42。其中，第二存储器42用于存储支持电子设备执行上述图9-图10所示实施例中提供的数据处理方法的程序，第二处理器41被配置为用于执行第二存储器42中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第二处理器41执行时能够实现如下步骤：

接收数据分析节点所发送的通知信息；

根据通知信息向文件代理节点发送通信连接指令，以使文件代理节点根据通信连接指令与数据分析节点建立通信通道。

可选地，第二处理器41还用于执行前述图9-图10所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第二通信接口43，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图9-图10所示方法实施例中数据处理方法所涉及的程序。

图20为本发明实施例提供的又一种数据处理装置的结构示意图；参考附图 20所示，本实施例提供了另一种数据处理装置，该装置可以应用于文件代理节点，文件代理节点用于通过注册节点与数据分析节点进行通信连接，数据分析节点用于：获取数据处理请求，通过文件代理节点获取与数据处理请求相对应的本地处理数据，并根据数据处理请求对本地处理数据进行处理；并且，该处理装置可以执行上述图11所对应的数据处理方法。具体的，该处理装置可以包括：

第三获取模块51，用于接收注册节点所发送的通信连接指令；

通信模块52，用于根据通信连接指令向数据分析节点发送通信连接请求，以使得数据分析节点根据通信连接请求与文件代理节点建立通信通道；

第三处理模块53，用于基于通信通道与数据分析节点进行数据传输。

可选地，在第三处理模块53基于通信通道与数据分析节点进行数据传输时，该第三处理模块53可以用于执行：基于通信通道获取数据分析节点发送的文件过滤条件和文件列表标识；确定与文件过滤条件和文件列表标识相对应的本地处理数据；将本地处理数据发送至数据分析节点。

可选地，在第三处理模块53将本地处理数据发送至数据分析节点时，该第三处理模块53可以用于执行：利用预设的加密公钥对本地处理数据进行加密，获得加密后的本地处理数据；将加密后的本地处理数据通过通信通道发送至数据分析节点。

可选地，在第三处理模块53基于通信通道与数据分析节点进行数据传输时，该第三处理模块53可以用于执行：基于通信通道向数据分析节点发送本地处理数据的元信息，以使得数据分析节点根据元信息和元数据管理节点确定本地处理数据，其中，元数据管理节点中包括本地处理数据、元信息与本地处理数据之间的映射关系。

图20所示装置可以执行图11-图12所示实施例的全部或者部分方法，本实施例未详细描述的部分，可参考对图11-图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图11-图12所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图20所示数据处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图21所示，该电子设备可以包括：第三处理器61和第三存储器62。其中，第三存储器62用于存储支持电子设备执行上述图11-图12所示实施例中提供的数据处理方法的程序，第三处理器61被配置为用于执行第三存储器62中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第三处理器61执行时能够实现如下步骤：

接收注册节点所发送的通信连接指令；

根据通信连接指令向数据分析节点发送通信连接请求，以使得数据分析节点根据通信连接请求与文件代理节点建立通信通道；

基于通信通道与数据分析节点进行数据传输。

可选地，第三处理器61还用于执行前述图11-图12所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第三通信接口63，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图11-图12所示方法实施例中数据处理方法所涉及的程序。

图22为本发明实施例提供的一种数据配置装置的结构示意图；参考附图22 所示，本实施例提供了一种数据配置装置，该数据配置装置用于执行上述的数据配置方法，具体的，该数据配置装置可以包括：

第四获取模块71，用于获取数据下载请求；

第四显示模块72，用于在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息；

第四配置模块73，用于根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

可选地，在基于文件代理节点的配置信息对文件代理节点进行配置之后，本实施例中的第四配置模块73还用于：确定与文件代理节点相对应的注册节点，对文件代理节点与注册节点之间的关联关系进行配置。

可选地，文件代理节点与注册节点之间的关联关系包括多对一的映射关系。

图22所示装置可以执行实施例中的数据配置方法，本实施例未详细描述的部分，可参考对上述实施例的相关说明。该技术方案的执行过程和技术效果参见上述实施例中的描述，在此不再赘述。

在一个可能的设计中，图22所示数据配置装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图23所示，该电子设备可以包括：第四处理器81和第四存储器82。其中，第四存储器82用于存储支持电子设备执行上述实施例中提供的数据配置方法的程序，第四处理器81 被配置为用于执行第四存储器82中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第四处理器81执行时能够实现如下步骤：

获取数据下载请求；

在显示界面上，显示与数据下载请求相对应的文件代理节点的配置信息；

根据数据下载请求将文件代理节点的配置信息存储在预设区域，并基于文件代理节点的配置信息对文件代理节点进行配置。

其中，电子设备的结构中还可以包括第四通信接口83，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述实施例中的数据配置方法所涉及的程序。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (36)

1.一种数据处理方法，其特征在于，包括：

数据分析节点获取数据处理请求；

所述数据分析节点根据所述数据处理请求向注册节点发送通知信息，使所述注册节点根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

所述数据分析节点接收所述文件代理节点发送的通信连接请求，根据所述通信连接请求与所述文件代理节点建立通信通道；

所述数据分析节点根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据；

所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理；所述数据分析节点根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据，包括：

所述数据分析节点根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据的元信息；

所述数据分析节点通过所述元信息和元数据管理节点，获得与所述数据处理请求相对应的本地处理数据，其中，所述元数据管理节点中包括本地处理数据、元信息与所述本地处理数据之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述数据分析节点根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据，包括：

所述数据分析节点根据所述通信通道向所述文件代理节点发送文件列表标识和文件过滤条件；

所述数据分析节点接收所述文件代理节点根据所述文件列表标识和文件过滤条件所发送的本地处理数据。

3.根据权利要求1-2中任意一项所述的方法，其特征在于，在所述数据分析节点根据所述数据处理请求获取所述文件代理节点中存储的本地处理数据之后，所述方法还包括：

断开所述数据分析节点与所述文件代理节点的通信连接。

4.根据权利要求3所述的方法，其特征在于，在断开所述数据分析节点与所述文件代理节点的通信连接之后，所述方法还包括：

所述数据分析节点获取所述数据分析节点所释放的网络资源；

所述数据分析节点将所述网络资源存储至预设资源库中，以供所述数据分析节点利用所述预设资源库中的网络资源与其他文件代理节点建立通信通道。

5.根据权利要求1所述的方法，其特征在于，与所述数据处理请求相对应的本地处理数据包括加密后的本地处理数据。

6.根据权利要求5所述的方法，其特征在于，在所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理之前，所述方法还包括：

所述数据分析节点获取与所述加密后的本地处理数据相对应的解密私钥；

所述数据分析节点利用所述解密私钥对所述加密后的本地处理数据进行解密处理，获得解密后的本地处理数据。

7.根据权利要求1-2中任意一项所述的方法，其特征在于，在数据分析节点获取数据处理请求之后，所述方法还包括：

所述数据分析节点通过预设的存储节点获得与所述数据处理请求相对应的服务端数据；

所述数据分析节点根据所述数据处理请求对所述本地处理数据和所述服务端数据进行处理。

8.根据权利要求7所述的方法，其特征在于，所述数据分析节点根据所述数据处理请求对所述本地处理数据和所述服务端数据进行处理，包括：

所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理，获得第一处理结果；

所述数据分析节点根据所述数据处理请求对所述服务端数据进行处理，获得第二处理结果；

所述数据分析节点对所述第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果；

所述数据分析节点对所述拼接处理结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

9.根据权利要求8所述的方法，其特征在于，所述数据分析节点对所述第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果，包括：

所述数据分析节点在预设的第一维度上，对所述第一处理结果进行过滤，获得第一过滤结果；

所述数据分析节点在预设的第二维度上，对所述第二处理结果进行过滤，获得第二过滤结果，其中，所述第一维度与所述第二维度不同；

所述数据分析节点对所述第一过滤结果和第二过滤结果进行拼接处理，获得所述拼接处理结果。

10.根据权利要求8所述的方法，其特征在于，所述数据分析节点对所述拼接处理结果进行筛选，确定与所述数据处理请求相对应的目标处理结果，包括：

所述数据分析节点对所述拼接处理结果进行聚合处理，获得聚合处理结果；

所述数据分析节点将所述聚合处理结果进行排序，并对排序后的聚合处理结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

11.根据权利要求1-2中任意一项所述的方法，其特征在于，所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理，包括：

所述数据分析节点根据所述数据处理请求对所述本地处理数据进行处理，获得数据处理结果；

所述数据分析节点对所述数据处理结果进行过滤，获得数据过滤结果；

所述数据分析节点将所述数据过滤结果进行排序，并对排序后的数据过滤结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

12.根据权利要求1-2中任意一项所述的方法，其特征在于，所述方法还包括：

所述数据分析节点获取数据下载请求；

所述数据分析节点在显示界面上，显示与所述数据下载请求相对应的文件代理节点的配置信息；

所述数据分析节点根据所述数据下载请求将所述文件代理节点的配置信息存储在预设区域，并基于所述文件代理节点的配置信息对所述文件代理节点进行配置。

13.根据权利要求12所述的方法，其特征在于，在基于所述文件代理节点的配置信息对所述文件代理节点进行配置之后，所述方法还包括：

确定与所述文件代理节点相对应的注册节点；

对所述文件代理节点与所述注册节点之间的关联关系进行配置。

14.根据权利要求13所述的方法，其特征在于，所述文件代理节点与所述注册节点之间的关联关系包括多对一的映射关系。

15.一种数据处理方法，其特征在于，包括：

文件代理节点接收注册节点发送的通信连接指令；

所述文件代理节点根据所述通信连接指令向数据分析节点发送通信连接请求，以使得所述数据分析节点根据所述通信连接请求与文件代理节点建立通信通道；

所述文件代理节点基于所述通信通道与所述数据分析节点进行数据传输；

所述文件代理节点基于所述通信通道与所述数据分析节点进行数据传输，包括：

所述文件代理节点基于所述通信通道向所述数据分析节点发送本地处理数据的元信息，以使得所述数据分析节点根据所述元信息和元数据管理节点确定所述本地处理数据，其中，所述元数据管理节点中包括本地处理数据、元信息与所述本地处理数据之间的映射关系。

16.根据权利要求15所述的方法，其特征在于，所述文件代理节点基于所述通信通道与所述数据分析节点进行数据传输，包括：

所述文件代理节点基于所述通信通道获取所述数据分析节点发送的文件过滤条件和文件列表标识；

所述文件代理节点确定与所述文件过滤条件和文件列表标识相对应的本地处理数据；

所述文件代理节点将所述本地处理数据发送至所述数据分析节点。

17.根据权利要求16所述的方法，其特征在于，所述文件代理节点将所述本地处理数据发送至所述数据分析节点，包括：

所述文件代理节点利用预设的加密公钥对所述本地处理数据进行加密，获得加密后的本地处理数据；

所述文件代理节点将所述加密后的本地处理数据通过所述通信通道发送至所述数据分析节点。

18.一种数据处理系统，其特征在于，包括：

数据分析节点，用于获取数据处理请求，并根据所述数据处理请求向注册节点发送通知信息；

注册节点，与所述数据分析节点通信连接，用于获取所述通知信息，并根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

文件代理节点，与所述注册节点通信连接，用于接收所述通信连接指令，并根据通信连接指令与所述数据分析节点建立通信连接；

所述数据分析节点，还用于通过所述文件代理节点获取与所述数据处理请求相对应的本地处理数据，并根据所述数据处理请求对所述本地处理数据进行处理；

所述文件代理节点，还用于根据所述通信连接指令向所述数据分析节点发送通信连接请求；

所述数据分析节点，还用于接收所述文件代理节点发送的通信连接请求，根据所述通信连接请求与所述文件代理节点建立通信通道，并根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据；

所述文件代理节点，用于获取与所述数据处理请求相对应的所述本地处理数据的元信息，并将所述元信息通过所述通信通道发送至数据分析节点；

所述数据分析节点，用于接收所述本地处理数据的元信息，并根据所述元信息和元数据管理节点确定所述本地处理数据，其中，所述元数据管理节点中包括本地处理数据、元信息与所述本地处理数据之间的映射关系。

19.根据权利要求18所述的系统，其特征在于，

所述文件代理节点，用于在接收所述通信连接指令之前，向所述注册节点发送注册登记信息；

所述注册节点，还用于根据所述注册登记信息对所述文件代理节点进行登记注册。

20.根据权利要求18所述的系统，其特征在于，

所述数据分析节点，还用于根据所述通信通道向所述文件代理节点发送文件列表标识和文件过滤条件，接收所述文件代理节点根据所述文件列表标识和文件过滤条件所发送的本地处理数据；

所述文件代理节点，用于获取所述数据分析节点发送的文件过滤条件和文件列表标识，确定与所述文件过滤条件和文件列表标识相对应的本地处理数据，将所述本地处理数据发送至所述数据分析节点。

21.根据权利要求18-20中任意一项所述的系统，其特征在于，

所述数据分析节点，还用于在根据所述数据处理请求获取所述文件代理节点中存储的本地处理数据之后，断开所述数据分析节点与所述文件代理节点的通信连接。

22.根据权利要求21所述的系统，其特征在于，所述数据分析节点，还用于：

获取所述数据分析节点所释放的网络资源；

将所述网络资源存储至预设资源库中，以供所述数据分析节点利用所述预设资源库中的网络资源与其他文件代理节点建立通信通道。

23.根据权利要求18-20中任意一项所述的系统，其特征在于，

所述数据分析节点，还用于：在获取数据处理请求之后，通过预设的存储节点获得与所述数据处理请求相对应的服务端数据；根据所述数据处理请求对所述本地处理数据和所述服务端数据进行处理。

24.根据权利要求23所述的系统，其特征在于，所述数据分析节点，还用于：

根据所述数据处理请求对所述本地处理数据进行处理，获得第一处理结果；

根据所述数据处理请求对所述服务端数据进行处理，获得第二处理结果；

对所述第一处理结果和第二处理结果进行拼接处理，获得拼接处理结果；

对所述拼接处理结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

25.根据权利要求24所述的系统，其特征在于，所述数据分析节点，还用于：

在预设的第一维度上，对所述第一处理结果进行过滤，获得第一过滤结果；

在预设的第二维度上，对所述第二处理结果进行过滤，获得第二过滤结果，其中，所述第一维度与所述第二维度不同；

对所述第一过滤结果和第二过滤结果进行拼接处理，获得所述拼接处理结果。

26.根据权利要求24所述的系统，其特征在于，所述数据分析节点，还用于：

对所述拼接处理结果进行聚合处理，获得聚合处理结果；

将所述聚合处理结果进行排序，并对排序后的聚合处理结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

27.根据权利要求18-20中任意一项所述的系统，其特征在于，所述数据分析节点，还用于：

根据所述数据处理请求对所述本地处理数据进行处理，获得数据处理结果；

对所述数据处理结果进行过滤，获得数据过滤结果；

将所述数据过滤结果进行排序，并对排序后的数据过滤结果进行筛选，确定与所述数据处理请求相对应的目标处理结果。

28.根据权利要求18-20中任意一项所述的系统，其特征在于，所述数据分析节点，还用于：

获取数据下载请求；

在显示界面上，显示与所述数据下载请求相对应的文件代理节点的配置信息；

根据所述数据下载请求将所述文件代理节点的配置信息存储在预设区域，并基于所述文件代理节点的配置信息对所述文件代理节点进行配置。

29.根据权利要求28所述的系统，其特征在于，在基于所述文件代理节点的配置信息对所述文件代理节点进行配置之后，所述数据分析节点，还用于：

确定与所述文件代理节点相对应的注册节点；

对所述文件代理节点与所述注册节点之间的关联关系进行配置。

30.根据权利要求29所述的系统，其特征在于，所述文件代理节点与所述注册节点之间的关联关系包括多对一的映射关系。

31.一种数据处理装置，其特征在于，包括：

第一获取模块，用于获取数据处理请求；

第一发送模块，用于根据所述数据处理请求向注册节点发送通知信息，使所述注册节点根据所述通知信息向与所述注册节点相对应的文件代理节点发送通信连接指令；

所述第一获取模块，用于接收所述文件代理节点发送的通信连接请求，根据所述通信连接请求与所述文件代理节点建立通信通道；根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据；

第一处理模块，用于根据所述数据处理请求对所述本地处理数据进行处理；

所述第一获取模块，用于根据所述通信通道获取所述文件代理节点中存储的与所述数据处理请求相对应的本地处理数据的元信息；通过所述元信息和元数据管理节点，获得与所述数据处理请求相对应的本地处理数据，其中，所述元数据管理节点中包括本地处理数据、元信息与所述本地处理数据之间的映射关系。

32.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-14中任一项所述的数据处理方法。

33.一种计算机存储介质，其特征在于，该计算机存储介质用于储存计算机程序，所述计算机程序使计算机执行时实现权利要求1-14中任意一项所述的数据处理方法。

34.一种数据处理装置，其特征在于，包括：

第三获取模块，用于接收注册节点发送的通信连接指令；

通信模块，用于根据所述通信连接指令向数据分析节点发送通信连接请求，以使得所述数据分析节点根据所述通信连接请求与文件代理节点建立通信通道；

第三处理模块，用于基于所述通信通道与所述数据分析节点进行数据传输；

所述第三处理模块，用于基于所述通信通道向所述数据分析节点发送本地处理数据的元信息，以使得所述数据分析节点根据所述元信息和元数据管理节点确定所述本地处理数据，其中，所述元数据管理节点中包括本地处理数据、元信息与所述本地处理数据之间的映射关系。

35.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求15-17中任一项所述的数据处理方法。

36.一种计算机存储介质，其特征在于，该计算机存储介质用于储存计算机程序，所述计算机程序使计算机执行时实现权利要求15-17中任意一项所述的数据处理方法。

Images