CN117743432A - 数据处理的方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理的方法、装置及电子设备。其中，该方法包括：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置。本申请解决了相关技术中通过专业开发工具进行数据交换任务的开发和管理较为复杂，导致数据交换开发的效率低的技术问题。

Description

数据处理的方法、装置及电子设备

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理的方法、装置及电子设备。

背景技术

企业内部每个事业部都有各自数据，事业部之间的数据往往都各自存储，各自定义。每个事业部的数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。

目前已有企业通过搭建中央化数据平台的方案来应对数据孤岛问题，但现有技术仍存在以下缺点：中央化的数据交换平台及的开发工具种类多且比较专业，如IBM CDC、OracleGoldenGate等，学习操作的门槛较高，不利于非专业的开发人员使用，从而一定程度上导致数据交换任务的开发和管理过于依赖特定的团队，需求旺盛时，数据交换开发的效率容易达到瓶颈。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理的方法、装置及电子设备，以至少解决相关技术中通过专业开发工具进行数据交换任务的开发和管理较为复杂，导致数据交换开发的效率低的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理的方法，包括：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置。

可选地，接收客户端发送的第一请求信息之前，方法还包括：在数据交换平台中不存在数据节点的情况下，接收客户端发送的第二请求信息，其中，第二请求信息用于请求生成数据节点；依据第二请求信息，在数据交换平台中生成数据节点。

可选地，依据第二请求信息，在数据交换平台中生成数据节点，包括：依据第二请求信息，将目标节点集群中的主节点的IP返回给客户端；接收客户端发送的连接信息，其中，连接信息包括主节点的IP，以及主节点与数据节点进行连接的参数信息；向数据节点发送连接请求，其中，连接请求用于确定主节点与数据节点之间的连接性；在主节点与数据节点之间连接成功的情况下，确定数据节点成功生成。

可选地，确定数据节点成功生成之后，方法还包括：向数据节点发送第一校验请求，其中，第一校验请求用于校验发送第二请求信息的客户端的权限信息是否满足预设条件；接收数据节点返回的第一校验结果，并将第一校验结果返回给客户端。

可选地，获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息之前，方法还包括：接收客户端发送的第二校验请求，其中，第二校验请求用于请求确认源数据节点和目标数据节点之间的连通性，以及请求确认源数据节点和目标数据节点的权限；将第二校验请求发送给源数据节点和目标数据节点；接收源数据节点和目标数据节点返回的第二校验结果，并将第二校验结果返回给客户端。

可选地，获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，包括：在第二校验结果为校验通过的情况下，接收客户端发送的数据请求，其中，数据请求用于请求获取第一元数据信息和第二元数据信息；将数据请求发送给源数据节点和目标数据节点，并获取源数据节点返回的第一元数据信息，以及获取目标数据节点返回的第二元数据信息。

可选地，生成与目标任务对应的任务配置之后，方法还包括：接收客户端发送的检测请求，其中，检测请求用于检测节点集群中的节点和数据节点的状态信息；将状态信息发送给客户端进行显示，并在状态信息指示节点集群中的节点或数据节点发生异常的情况下，将异常提示信息发送给客户端。

根据本申请实施例的另一方面，还提供了一种数据处理的装置，包括：接收模块，用于在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取模块，用于获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；第一生成模块，用于在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；第二生成模块，用于依据目标任务，生成与目标任务对应的任务配置。

根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行上述数据处理的方法。

在本申请实施例中，在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置，达到了根据客户端发送的请求自动创建任务的目的，从而实现了提高数据交换任务的效率的技术效果，进而解决了相关技术中通过专业开发工具进行数据交换任务的开发和管理较为复杂，导致数据交换开发的效率低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现数据处理的方法的计算机终端的硬件结构框图；

图2是根据本申请实施例的一种数据处理的方法的流程图；

图3是根据本申请实施例的一种创建数据节点的流程图；

图4是根据本申请实施例的一种创建单个任务的流程图；

图5是根据本申请实施例的一种创建批量任务的流程图；

图6是根据本申请实施例的一种任务检测的流程图；

图7是根据本申请实施例的一种数据处理的装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中，由于不同部门的数据之间无法进行连接互动，从而每个部门的数据成为了数据孤岛，数据孤岛带来的业务影响如下：1、不完整的客户视图：不同业务系统维护不同的客户信息，各处的更新不能被及时同步；2、影响决策：不同业务系统数据在进行数据同步时存在时间差；3、开发慢，效率低：不同业务系统的数据库类型不一，数据质量参差，业务需求频繁更新。

为了连接各业务系统的信息孤岛，将各业务单元中自有的数据共享出来，供其他业务单元使用，从而将业务系统的能力进行整合，为企业新的管理模式和业务模式提供灵活、可靠的数据支撑。目前已有的实现方案主要有以下几种：1、点对点：点对点进行数据交换，通常采用ETL、定制API开发、应用双写等方式；2、消息中间件：通过各种消息中间件进行数据交换，通常采用ESB(集中服务总线)、消息中心(MQ/Kafka)等方式；3、中央化数据平台：通过数据仓库、数据中台、大数据平台等方式统一提供数据交换、数据分析方面。

目前已有企业通过搭建中央化数据平台的方案来应对数据孤岛问题，但现有技术仍存在以下缺点：中央化的数据交换平台及的开发工具种类多且比较专业，如IBM CDC、OracleGoldenGate等，学习操作的门槛较高，不利于非专业的开发人员使用，从而一定程度上导致数据交换任务的开发和管理过于依赖特定的团队，需求旺盛时，数据交换开发的效率容易达到瓶颈。

为了解决上述问题，本申请实施例提供了一种数据交换平台化解决方案，面向不同使用目的的数据提供方、数据使用方、交换管理方，通过赋予不同的角色、权限、开发资源等，提供全方位的Web化数据交换开发、运维、管理功能的一站式应用环境。实现数据“定制式交换”向“配置式交换”拓展，减少或降低非专业人员为实现数据共享和交换而对专业技术力量的依赖，缩短研发交付时间，快速响应各类数据交换需求，以下详细说明。

本申请实施例所提供的数据处理的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理的方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机终端可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机终端中的部件的类型。

在上述运行环境下，本申请实施例提供了一种数据处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的一种数据处理的方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互。

在上述步骤S202中，在数据交换平台中存在数据节点的情况下，通过第一请求信息获取节点集群中的可用交换资源组，该可用交换资源组的确定决定了交换任务或数据交互的任务会进行在哪个节点集群中，每个节点集群例如可以为多个交换节点组成的节点集群，当第一请求信息获取了具有多个可用交换资源组的情况下，会随机选取一个可用交换资源组，将选取的可用交换资源组对应的节点集群确定为目标节点集群，将目标节点集群返回给客户端，并通过目标节点集群中的交换节点与客户端进行交互。

步骤S204，获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息。

步骤S206，在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；

在上述步骤S204至步骤S206中，第一请求信息中还包括用户选择的进行任务所需的源数据节点和目标数据节点，在获取了上述目标节点集群后，根据第一请求信息从数据节点中获取所需的信息，具体包括源数据节点提供的第一元数据信息和目标数据节点提供的第二元数据信息，进而可根据获取第一元数据信息和第二元数据信息生成相应的任务，元数据信息例如可以为表、主题等信息。

步骤S208，依据目标任务，生成与目标任务对应的任务配置。

在上述步骤S208中，目标任务生成之后，需要获取目标任务的参数信息，例如任务生成时间、任务的发起者等，根据这些参数信息对目标任务进行任务配置。

在本申请实施例中，在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置，达到了根据客户端发送的请求自动创建任务的目的，从而实现了提高数据交换任务的效率的技术效果，进而解决了相关技术中通过专业开发工具进行数据交换任务的开发和管理较为复杂，导致数据交换开发的效率低的技术问题。

在上述数据处理的方法中，数据交换平台可以包括如下几个模块：

配置管理模块11：负责接收用户请求，包含可视化开发、元数据管理、监控管理、权限管理、版本部署、调度配置等功能。

数据采集模块12：负责从源数据节点将数据采集到交换平台，包含源数据节点管理、实时批量采集任务搭建等功能。

数据处理模块13：负责对采集的数据进行处理，包括数据清洗、拆分过滤、数据转码、格式转换、标准化、数据脱敏等功能。

数据下发模块14：负责对处理的数据进行下发，包括目标数据节点管理、文件推送、消息队列、文件共享等功能

系统资源管理模块15：负责对交换任务的所需的资源进行管理，包括节点控制、节点监控、采集组件管理等功能。

节点集群可以包括如下几个部分：

AgentCtrl 21：负责与交换平台交互，接收指令，上传统计信息，对22～24的交换相关组件进行管理。

OGG 22：全称Oracle GoldenGate，负责数据库类型为Oracle、DB2的实时数据同步。

Canal 23：负责数据库类型为MySQL、GoldenDB的实时数据同步。

DataX 24：负责数据库类型为Oracle、DB2、MySQL、GoldenDB的批量数据同步。

Kafka 25：负责存储实时采集的数据。

NAS26：负责存储批量采集的文件。

在上述数据处理的方法中的步骤S202中，接收客户端发送的第一请求信息之前，方法还包括如下步骤：在数据交换平台中不存在数据节点的情况下，接收客户端发送的第二请求信息，其中，第二请求信息用于请求生成数据节点；依据第二请求信息，在数据交换平台中生成数据节点。

在上述步骤中，依据第二请求信息，在数据交换平台中生成数据节点，具体包括如下步骤：依据第二请求信息，将目标节点集群中的主节点的IP返回给客户端；接收客户端发送的连接信息，其中，连接信息包括主节点的IP，以及主节点与数据节点进行连接的参数信息；向数据节点发送连接请求，其中，连接请求用于确定主节点与数据节点之间的连接性；在主节点与数据节点之间连接成功的情况下，确定数据节点成功生成。

在本申请实施例中，若数据交换平台中不存在数据节点的情况下，客户端的用户可以发起创建数据节点的流程，进而用户可以根据创建的数据节点建立相应的任务，具体流程如图3所示：

S301，客户端向(目标)节点集群发送第二请求信息，该第二请求信息用于获取目标节点集群的主节点的IP，即master IP，需要说明的是，请求信息只会发送到主节点(即master节点)上，由主节点负责处理客户端的创建请求。

S302，目标节点集群返回master IP给客户端。

S303，客户端向目标节点集群的master IP发送连接信息：连接信息包括主节点与数据节点进行连接的必要参数信息，例如数据库IP、端口、用于连接的用户名和密码等。

S304，目标节点集群中的主节点向需要进行连接的数据节点发送连接请求，并需要对连接性进行校验。

S305，数据节点将连接结果返回给目标节点集群，其中，连接结果表示连接是否成功。

S306，目标节点集群中的主节点向数据节点发送校验请求，该校验请求的内容包括：如果S305数据节点返回的连接结果为连接成功，则主节点继续向数据节点发送用户权限、数据库权限等是否满足交换条件的校验请求。

S307，数据节点将校验结果返回给目标节点集群中的主节点。

S308，目标节点集群中的主节点将校验结果返回给客户端，客户端接收到校验结果，展示给用户。

需要说明的是，S301～S308均为http请求实现。

在上述步骤中，确定数据节点成功生成之后，方法还包括如下步骤：向数据节点发送第一校验请求，其中，第一校验请求用于校验发送第二请求信息的客户端的权限信息是否满足预设条件；接收数据节点返回的第一校验结果，并将第一校验结果返回给客户端。

在上述数据处理的方法中的步骤S204中，获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息之前，方法还包括如下步骤：接收客户端发送的第二校验请求，其中，第二校验请求用于请求确认源数据节点和目标数据节点之间的连通性，以及请求确认源数据节点和目标数据节点的权限；将第二校验请求发送给源数据节点和目标数据节点；接收源数据节点和目标数据节点返回的第二校验结果，并将第二校验结果返回给客户端。

在上述数据处理的方法中的步骤S204中，获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，具体包括如下步骤：在第二校验结果为校验通过的情况下，接收客户端发送的数据请求，其中，数据请求用于请求获取第一元数据信息和第二元数据信息；将数据请求发送给源数据节点和目标数据节点，并获取源数据节点返回的第一元数据信息，以及获取目标数据节点返回的第二元数据信息。

在本申请实施例中，在目标任务为单个任务的情况下，该单个任务可以为实时任务，对应的目标任务在数据交换平台的生成流程如图4所示。

用户选择源数据节点和目标数据节点之后，可发起创建实时任务的流程，包括：

S401，客户端向节点集群发送第一请求信息，获取可用交换资源组，可用交换资源组决定了交换任务会运行在哪个交换节点集群上。

S402，节点集群将可用交换资源组返回给客户端，如该用户没有可用交换资源组的信息，则终止于此步骤。

S403，客户端向节点集群发送第二校验请求，第二校验请求用于对源数据节点、目标数据节点进行校验，用户向可用交换资源组所在的节点集群(即上述目标节点集群)发起对源数据节点、目标数据节点的校验请求，确认交换任务的源数据节点和目标数据节点是否可连通。

S404，节点集群向数据节点发送第二检验请求，找到第二校验请求中需要进行连接的源数据节点、目标数据节点，并发起校验请求，该校验请求例如可以为连接和权限的校验请求。

S405，数据节点将源数据节点、目标数据节点的第二校验结果返回给节点集群，第二校验结果包括连接和权限的校验结果。

S406，节点集群将第二校验结果返回给客户端，如该目标任务选择的源数据节点和目标数据节点不符合连通和校验权限的要求，则终止于此步骤。

S407，客户端向节点集群发送数据请求，该数据请求用于获取源数据节点、目标数据节点的元数据信息，客户端需要根据数据节点的元数据信息让用户选择交换任务涉及的表、主题等信息。

S408，节点集群将数据请求发送给数据节点，请求获取源数据节点、目标数据节点的元数据信息。

S409，数据节点将源数据节点、目标数据节点的元数据信息返回给节点集群，其中，源数据节点返回的元数据信息为第一元数据信息，目标数据节点返回的元数据信息为第二元数据信息，第一元数据信息和第二元数据信息包括表、主题等。

S410，节点集群将第一元数据信息和第二元数据信息返回给客户端，也即将第一元数据信息和第二元数据信息中的表、主题等发给客户端，让用户选择。

S411，客户端向节点集群发送单个任务(或实时任务)的创建请求，具体地，用户选择好后向节点集群发起完整的任务创建请求，传入包括源数据节点、目标数据节点、映射关系(由第一元数据信息和第二元数据信息构成)在内的任务参数。

S412，节点集群根据创建请求生成单个任务(或实时任务)的任务配置，下发到OGG或Canal中。具体地，在节点集群内部，根据单个任务(或实时任务)的任务参数生成不同的任务配置，到对应的采集工具中下发该配置。

S413，节点集群将创建结果返回给客户端。

在另一种可选的实施例中，在目标任务为批量任务的情况下，对应的目标任务在数据交换平台的生成流程如图5所示。

用户选择源数据节点和目标数据节点之后，还可以发起创建批量任务的任务流程，包括：

S501，客户端向节点集群发送第一请求信息，获取可用交换资源组，可用交换资源组决定了交换任务会运行在哪个交换节点集群上。

S502，节点集群将可用交换资源组返回给客户端，如该用户没有可用交换资源组的信息，则终止于此步骤。

S503，客户端向节点集群发送第二校验请求，第二校验请求用于对源数据节点、目标数据节点进行校验，用户向可用交换资源组所在的节点集群(即上述目标节点集群)发起对源数据节点、目标数据节点的校验请求，确认交换任务的源数据节点和目标数据节点是否可连通。

S504，节点集群向数据节点发送第二检验请求，找到第二校验请求中需要进行连接的源数据节点、目标数据节点，并发起校验请求，该校验请求例如可以为连接和权限的校验请求。

S505，数据节点将源数据节点、目标数据节点的第二校验结果返回给节点集群，第二校验结果包括连接和权限的校验结果。

S506，节点集群将第二校验结果返回给客户端，如该目标任务选择的源数据节点和目标数据节点不符合连通和校验权限的要求，则终止于此步骤。

S507，客户端向节点集群发送数据请求，该数据请求用于获取源数据节点、目标数据节点的元数据信息，客户端需要根据数据节点的元数据信息让用户选择交换任务涉及的表、主题等信息。

S508，节点集群将数据请求发送给数据节点，请求获取源数据节点、目标数据节点的元数据信息。

S509，数据节点将源数据节点、目标数据节点的元数据信息返回给节点集群，其中，源数据节点返回的元数据信息为第一元数据信息，目标数据节点返回的元数据信息为第二元数据信息，第一元数据信息和第二元数据信息包括表、主题等。

S510，节点集群将第一元数据信息和第二元数据信息返回给客户端，也即将第一元数据信息和第二元数据信息中的表、主题等发给客户端，让用户选择。

S511，客户端向节点集群发送批量任务的创建请求，具体地，用户选择好后向节点集群发起完整的任务创建请求，传入包括源数据节点、目标数据节点、映射关系(由第一元数据信息和第二元数据信息构成)在内的任务参数。

S512，节点集群根据创建请求生成批量任务的任务配置，下发到DataX或SFTP中。具体地，在节点集群内部，根据批量任务的任务参数生成不同的任务配置，到对应的采集工具中下发该配置。

S513，节点集群将创建结果返回给客户端。

在上述数据处理的方法中的步骤S208中，生成与目标任务对应的任务配置之后，方法还包括如下步骤：接收客户端发送的检测请求，其中，检测请求用于检测节点集群中的节点和数据节点的状态信息；将状态信息发送给客户端进行显示，并在状态信息指示节点集群中的节点或数据节点发生异常的情况下，将异常提示信息发送给客户端。

在本申请实施例中，用户在数据交换平台中建立目标任务之后，还可发起任务的检测请求，具体地，对任务进行检测的流程如图6所示。

S601，客户端向节点集群发送检测请求，该检测请求用于检测节点集群中的节点和数据节点的状态信息，具体地，状态信息如节点集群中的采集节点对应的组件状态等，还可以包括数据节点的状态信息。

S602，节点集群将检测请求发送给数据节点，用于获取数据节点的状态信息。

S603，数据节点根据检测请求将自身的状态信息返回给节点集群。

S604，节点集群将数据节点返回的状态信息和节点集群中的节点的状态信息返回给客户端，客户端获取状态信息后通过页面展示给用户。

本申请实施例提供的数据处理的方法，不仅可以节省人力资源，减少了运维管理的工作量，而且提高了开发管理的效率。

图7是根据本申请实施例的一种数据处理的装置的结构图，如图7所示，该装置包括：

接收模块72，用于在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；

获取模块74，用于获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；

第一生成模块76，用于在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；

第二生成模块78，用于依据目标任务，生成与目标任务对应的任务配置。

在上述数据处理的装置中的接收模块中，该接收模块还用于在数据交换平台中不存在数据节点的情况下，接收客户端发送的第二请求信息，其中，第二请求信息用于请求生成数据节点；依据第二请求信息，在数据交换平台中生成数据节点。

在上述数据处理的装置中的接收模块中，该接收模块还用于依据第二请求信息，将目标节点集群中的主节点的IP返回给客户端；接收客户端发送的连接信息，其中，连接信息包括主节点的IP，以及主节点与数据节点进行连接的参数信息；向数据节点发送连接请求，其中，连接请求用于确定主节点与数据节点之间的连接性；在主节点与数据节点之间连接成功的情况下，确定数据节点成功生成。

在上述数据处理的装置中的接收模块中，该接收模块还用于向数据节点发送第一校验请求，其中，第一校验请求用于校验发送第二请求信息的客户端的权限信息是否满足预设条件；接收数据节点返回的第一校验结果，并将第一校验结果返回给客户端。

在上述数据处理的装置中的获取模块中，该获取模块还用于接收客户端发送的第二校验请求，其中，第二校验请求用于请求确认源数据节点和目标数据节点之间的连通性，以及请求确认源数据节点和目标数据节点的权限；将第二校验请求发送给源数据节点和目标数据节点；接收源数据节点和目标数据节点返回的第二校验结果，并将第二校验结果返回给客户端。

在上述数据处理的装置中的获取模块中，该获取模块还用于在第二校验结果为校验通过的情况下，接收客户端发送的数据请求，其中，数据请求用于请求获取第一元数据信息和第二元数据信息；将数据请求发送给源数据节点和目标数据节点，并获取源数据节点返回的第一元数据信息，以及获取目标数据节点返回的第二元数据信息。

在上述数据处理的装置中的第二生成模块中，该第二生成模块还用于接收客户端发送的检测请求，其中，检测请求用于检测节点集群中的节点和数据节点的状态信息；将状态信息发送给客户端进行显示，并在状态信息指示节点集群中的节点或数据节点发生异常的情况下，将异常提示信息发送给客户端。

需要说明的是，图7所示的数据处理的装置用于执行图2所示的数据处理的方法，因此上述数据处理的方法中的相关解释说明也适用于该数据处理的装置，此处不再赘述。

本申请实施例还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置。

需要说明的是，上述电子设备用于执行图2所示的数据处理的方法，因此上述数据处理的方法中的相关解释说明也适用于该电子设备，此处不再赘述。

本申请实施例还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行以下数据处理的方法：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，多个节点集群在数据交换平台中，数据节点通过目标节点集群中的交换节点与客户端进行交互；获取数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，第一元数据信息和第二元数据信息为与生成的任务相关的数据信息；在目标节点集群中，依据第一元数据信息和第二元数据信息生成目标任务，其中，目标任务包括单个任务或批量任务；依据目标任务，生成与目标任务对应的任务配置。

需要说明的是，上述非易失性存储介质用于执行图2所示的数据处理的方法，因此上述数据处理的方法中的相关解释说明也适用于该非易失性存储介质，此处不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：

在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，所述第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，所述多个节点集群在所述数据交换平台中，所述数据节点通过所述目标节点集群中的交换节点与所述客户端进行交互；

获取所述数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，所述第一元数据信息和所述第二元数据信息为与生成的任务相关的数据信息；

在所述目标节点集群中，依据所述第一元数据信息和所述第二元数据信息生成目标任务，其中，所述目标任务包括单个任务或批量任务；

依据所述目标任务，生成与所述目标任务对应的任务配置。

2.根据权利要求1所述的方法，其特征在于，接收客户端发送的第一请求信息之前，所述方法还包括：

在所述数据交换平台中不存在所述数据节点的情况下，接收所述客户端发送的第二请求信息，其中，所述第二请求信息用于请求生成所述数据节点；

依据所述第二请求信息，在所述数据交换平台中生成数据节点。

3.根据权利要求2所述的方法，其特征在于，依据所述第二请求信息，在所述数据交换平台中生成数据节点，包括：

依据所述第二请求信息，将所述目标节点集群中的主节点的IP返回给所述客户端；

接收所述客户端发送的连接信息，其中，所述连接信息包括所述主节点的IP，以及所述主节点与所述数据节点进行连接的参数信息；

向所述数据节点发送连接请求，其中，所述连接请求用于确定所述主节点与所述数据节点之间的连接性；

在所述主节点与所述数据节点之间连接成功的情况下，确定所述数据节点成功生成。

4.根据权利要求3所述的方法，其特征在于，确定所述数据节点成功生成之后，所述方法还包括：

向所述数据节点发送第一校验请求，其中，所述第一校验请求用于校验发送所述第二请求信息的所述客户端的权限信息是否满足预设条件；

接收所述数据节点返回的第一校验结果，并将所述第一校验结果返回给所述客户端。

5.根据权利要求1所述的方法，其特征在于，获取所述数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息之前，所述方法还包括：

接收所述客户端发送的第二校验请求，其中，所述第二校验请求用于请求确认所述源数据节点和所述目标数据节点之间的连通性，以及请求确认所述源数据节点和所述目标数据节点的权限；

将所述第二校验请求发送给所述源数据节点和所述目标数据节点；

接收所述源数据节点和所述目标数据节点返回的第二校验结果，并将所述第二校验结果返回给所述客户端。

6.根据权利要求5所述的方法，其特征在于，获取所述数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，包括：

在所述第二校验结果为校验通过的情况下，接收所述客户端发送的数据请求，其中，所述数据请求用于请求获取所述第一元数据信息和所述第二元数据信息；

将所述数据请求发送给所述源数据节点和所述目标数据节点，并获取所述源数据节点返回的所述第一元数据信息，以及获取所述目标数据节点返回的所述第二元数据信息。

7.根据权利要求1所述的方法，其特征在于，生成与所述目标任务对应的任务配置之后，所述方法还包括：

接收所述客户端发送的检测请求，其中，所述检测请求用于检测所述节点集群中的节点和所述数据节点的状态信息；

将所述状态信息发送给所述客户端进行显示，并在所述状态信息指示所述节点集群中的节点或所述数据节点发生异常的情况下，将异常提示信息发送给所述客户端。

8.一种数据处理的装置，其特征在于，包括：

接收模块，用于在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，所述第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，所述多个节点集群在所述数据交换平台中，所述数据节点通过所述目标节点集群中的交换节点与所述客户端进行交互；

获取模块，用于获取所述数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，所述第一元数据信息和所述第二元数据信息为与生成的任务相关的数据信息；

第一生成模块，用于在所述目标节点集群中，依据所述第一元数据信息和所述第二元数据信息生成目标任务，其中，所述目标任务包括单个任务或批量任务；

第二生成模块，用于依据所述目标任务，生成与所述目标任务对应的任务配置。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，与所述存储器连接，用于执行实现以下功能的程序指令：在数据交换平台中存在数据节点的情况下，接收客户端发送的第一请求信息，其中，所述第一请求信息用于获取多个节点集群中具有可用交换资源组的目标节点集群，所述多个节点集群在所述数据交换平台中，所述数据节点通过所述目标节点集群中的交换节点与所述客户端进行交互；获取所述数据节点中的源数据节点和目标数据节点分别提供的第一元数据信息和第二元数据信息，其中，所述第一元数据信息和所述第二元数据信息为与生成的任务相关的数据信息；在所述目标节点集群中，依据所述第一元数据信息和所述第二元数据信息生成目标任务，其中，所述目标任务包括单个任务或批量任务；依据所述目标任务，生成与所述目标任务对应的任务配置。

10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至7中任意一项所述的数据处理的方法。