CN113923258A - 数据处理方法及数据处理系统 - Google Patents

Abstract

本发明提供了一种数据处理方法及数据处理系统，该方法应用于数据处理系统，数据处理系统包括至少两个工作节点，该方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将输出数据格式与响应数据格式进行匹配，确定目标数据格式；基于目标数据格式传输数据。本发明实施例中，数据处理系统中的各个工作节点在进行数据传输之前，先基于本发明提供的通讯机制确定工作节点之间的支持的数据格式，从而确定出相邻工作节点均支持的目标数据格式，如此一来，在进行数据传输时，将数据转换为目标数据格式进行传输，从而在一定程度上减少因各个工作节点数据格式不匹配造成的数据处理失败，进而提高了数据处理的效率。

Description

数据处理方法及数据处理系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法及数据处理系统。

背景技术

在数据处理技术领域， 数据处理系统的各个工作节点所支持的数据格式可能是不同的，这导致对预测数据进行数据分析之前，需要通过较为繁琐的操作，确定各个工作节点支持的数据格式，并将预测数据对应的数据格式转换为各个工作节点所共同支持的数据格式，这降低了数据处理的效率。

发明内容

本发明实施例的目的在于提供一种数据处理方法及数据处理系统，解决现有的数据处理的效率较低的技术问题。

为了解决上述技术问题，本发明实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括至少两个工作节点，所述方法包括：

获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

基于所述目标数据格式传输数据。

可选地，所述将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式包括：

确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

可选地，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述方法包括：

响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

可选地，所述方法包括：

所述数据处理系统还包括中间节点，所述基于所述目标数据格式传输数据之前，所述方法还包括：

将所述第二工作节点的响应数据格式发送至所述中间节点；

将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

将所述中间节点的响应数据格式发送至所述第一工作节点；

将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

可选地，所述基于所述目标数据格式传输数据包括：

将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

可选地，所述将所述输出数据格式与所述响应数据格式进行匹配之后，所述方法还包括：

在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

可选地，所述方法还包括：

获取当前工作节点兼容的数据格式；

根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

根据所述转换方式，更新所述当前工作节点。

可选地，所述方法还包括：

在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

本发明实施例还提供了一种数据处理系统，所述数据处理系统包括至少两个工作节点，所述系统包括：

第一获取模块，用于获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

第一匹配模块，用于将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

传输模块，用于基于所述目标数据格式传输数据。

可选地，所述第一匹配模块，具体用于：

确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述第一匹配模块，还具体用于：

获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

可选地，所述第一匹配模块，还具体用于：

根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述数据处理系统，还包括：

响应模块，用于响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

第一确定模块，用于将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

可选地，所述数据处理系统还包括中间节点，所述数据处理系统还包括：

第一发送模块，用于将所述第二工作节点的响应数据格式发送至所述中间节点；

第二确定模块，用于将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

第二发送模块，用于将所述中间节点的响应数据格式发送至所述第一工作节点；

第三确定模块，用于将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

可选地，所述传输模块，具体用于：

将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

可选地，所述数据处理系统还包括：

第三发送模块，用于在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

可选地，所述数据处理系统还包括：

第二获取模块，用于获取当前工作节点兼容的数据格式；

第四确定模块，用于根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

更新模块，用于根据所述转换方式，更新所述当前工作节点。

可选地，所述数据处理系统还包括：

第五确定模块，用于在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

第六确定模块，用于将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如上所述的数据处理方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上所述的数据处理方法。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的数据处理方法。

本发明实施例中的数据处理方法，应用于数据处理系统，数据处理系统包括至少两个工作节点，该方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将输出数据格式与响应数据格式进行匹配，确定目标数据格式；基于目标数据格式传输数据。本发明实施例中，数据处理系统中的各个工作节点在进行数据传输之前，先基于本发明提供的通讯机制确定工作节点之间的支持的数据格式，从而确定出相邻工作节点均支持的目标数据格式，如此一来，在进行数据传输时，将数据转换为目标数据格式进行传输，从而在一定程度上减少因各个工作节点数据格式不匹配造成的数据处理失败，进而提高了数据处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例中数据处理方法的流程示意图；

图2为本发明实施例中数据处理方法的应用场景图；

图3为本发明实施例中数据处理系统的结构示意图；

图4为本发明实施例中一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

本发明实施例提供的数据格式的确定方法应用于数据处理系统，该数据处理系统与外部的客户端通信，该数据处理系统至少包括第一工作节点和第二工作节点这两个工作节点，其中，第一工作节点又称为控制节点或控制中心。应理解，一个异构模型只有一个控制中心。在异构模型包括两个以上的工作节点的情况下，可以将第一工作节点视为控制中心，将除第二工作节点之外的其他工作节点理解为中间节点，中间节点和第二工作节点均可以理解为数据处理系统中的一个主机或服务器，一个中间节点或第二工作节点用于加载一个或多个子模型；上述子模型为异构模型在数据处理过程中的一个子单元。

本发明实施例中的数据处理系统中的各个工作节点之间通过远程调用接口通信，作为工作节点接收端的远程调用接口可以接收多种数据格式的数据，作为工作节点发送端的远程调用接口只发送一种数据格式的数据。

在使用数据处理系统对预测数据进行数据分析处理的过程中，数据处理系统的各个工作节点所支持的处理数据可能是不同的，也就是说，数据处理系统可能存在数据异构现象。数据异构包括数据格式的异构和数据结构的异构，数据格式的异构是指各个工作节点支持的数据格式不同，数据格式包括CSV、Parquet、Pickle、HDF5、JSON等；数据结构的异构是指各个工作节点支持的数据结构不同，数据结构包括Tensor、Tabular等。

为了解决上述数据处理系统存在的数据异构问题，请请参阅图1，图1为本发明实施例中数据处理方法的流程示意图。本发明实施例提供的数据处理方法包括：

S101，获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式。

本步骤中，一种可选地实施场景为，在外部客户端向数据处理系统发送服务请求的情况下，获取第一工作节点的响应数据格式以及第二工作节点的输出数据格式。其中，上述服务请求包括预测数据、该预测数据对应的数据格式以及该外部客户端支持的响应数据格式。

本步骤中，上述第一工作节点的响应数据格式是指第一工作节点在接收数据时支持的数据格式，上述第二工作节点的输出数据格式是指第二工作节点在发送数据时支持的数据格式。

本发明实施例可选的是，数据处理系统接收到服务请求后，将服务请求中的预测数据和该预测数据对应的数据格式存储至第一工作节点。第一工作节点在接收到预测数据对应的数据格式后，基于该数据格式生成一个数据唯一标识，该数据唯一标识可以是利用随机算法生成的一串随机数，或者是与该预测数据相关的哈希值，在此不做具体限定。其中预测数据对应的数据格式与第一工作节点的响应数据格式相同。

S102，将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式。

本步骤中，在得到输出数据格式和响应数据格式后，对输出数据格式与响应数据格式进行匹配，确定目标数据格式，具体的匹配过程请参阅后续实施例，在此不做详细阐述。

S103，基于所述目标数据格式传输数据。

本步骤中，在确定目标数据格式后，第二工作节点向第一工作节点输出数据格式为目标数据格式的预测数据，实现对预测数据的处理。本发明实施例中的数据处理方法，应用于数据处理系统，数据处理系统包括至少两个工作节点，该方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将输出数据格式与响应数据格式进行匹配，确定目标数据格式；基于目标数据格式传输数据。本发明实施例中，数据处理系统中的各个工作节点在进行数据传输之前，先基于本发明提供的通讯机制确定工作节点之间的支持的数据格式，从而确定出相邻工作节点均支持的目标数据格式，如此一来，在进行数据传输时，将数据转换为目标数据格式进行传输，从而在一定程度上减少因各个工作节点数据格式不匹配造成的数据处理失败，进而以此提高了数据处理的效率。

可选地，所述将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式包括：

确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

本实施例中，上述输出数据格式可以包括多个数据格式，上述响应数据格式也可以包括多个数据格式，将输出数据格式中与响应数据格式相同的数据格式，确定为与响应数据格式相匹配的输出数据格式。

例如，输出数据格式包括：pickle、CSV和H5，响应数据格式包括pickle、CSV和parquet，这种情况下，可以将pickle和CSV确定为与响应数据格式相匹配的输出数据格式。

进一步的，从与响应数据格式相匹配的输出数据格式中筛选出一个数据格式，将该数据格式确定为目标数据格式。具体的技术方案，请参阅如下实施例。

在其他实施例中，若存在多个与响应数据格式相匹配的输出数据格式，则将任意一个输出数据格式确定为目标数据格式。

可选地，若存在多个与响应数据格式相匹配的输出数据格式，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

本实施例中，该显示数据配置至少包括数据格式要求，该显示数据配置可以是客户端默认配置，即显示数据配置中的数据格式要求可以该客户端默认的可显示的数据格式；或该显示数据配置还可以是用户基于业务需求配置的，即该显示数据配置中包含业务指定的显示的数据格式。

例如，相匹配的输出数据格式包括pickle、CSV和H5，而预先设置的显示数据配置中包含数据格式为H5，这种情况下，将H5确定为目标数据格式。

本实施例中，将显示数据配置中包含数据格式确定为目标数据格式，以此满足用户的需求。

可选地，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

本实施例中，若存在多个相匹配的输出数据格式，则可以根据待处理数据量和/或响应时间配置，确定将数据处理性能最高的输出数据格式，确定为目标数据格式。应理解，每个输出数据格式对应的数据处理性能是预先设置的。

例如，第一工作节点支持的数据格式包括pickle、CSV、H5、parquet，第二工作节点支持的数据节点包括pickle、CSV、H5，则确定第一工作节点与第二工作节点相匹配的数据格式包括pickle、CSV和H5，由于pickle格式对应的数据处理性能最高，支持传输较大数据量的数据，因此可以将pickle确定为目标数据格式。

本实施例中，基于待处理数据量和/或响应时间配置，确定将待处理数据转换成所述第一工作节点与第二工作节点均支持的候选数据格式的所需要时间，从而将用时最少的转换方式对应的候选数据格式确定为目标数据格式，或者，将满足该响应时间配置的转换方式对应的候选数据格式确定为目标数据格式，如此以来，在一定程度上提高预测数据的处理效率，减少用户等待时间。

在其他实施例中，可以将数据可读性能最高的输出数据格式确定为目标数据格式。

例如，输出数据格式包括pickle和CSV，由于CSV格式具备较高的数据可读性能，因此可以将CSV确定为目标数据格式。

可选地，所述方法包括：

响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

本实施例中，第一工作节点接收外部服务端发送的服务请求，如上所述，服务请求包括预测数据、该预测数据对应的数据格式以及该外部客户端支持的响应数据格式，其中，预测数据可以理解为待处理数据，外部客户端支持的响应数据格式可以理解为要求反馈的数据格式，且外部客户端支持的响应数据格式包括该预测数据对应的数据格式。

具体的，数据处理系统中的工作流包括至少两个工作节点，第一工作节点用于与外部服务端交互，接收服务请求以及反馈最终的数据处理结果，第二工作节点为工作流的最后处理节点，用于生成最终的数据处理结果。本发明提供的方法具体为：响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；将要求反馈的数据格式发送给第二工作节点；将第二工作节点兼容的输出数据格式与要求反馈的数据格式进行匹配，若匹配，则该要求反馈的数据格式为第一目标数据格式，将第二工作节点兼容的响应数据格式（输入数据格式）发送给第一工作节点，将第一工作节点兼容的数据格式与第二工作节点兼容的响应数据格式进行匹配，得到匹配的数据格式为第二目标数据格式；然后，第一工作节点将待处理数据处理成第二目标数据格式，并传输给第二工作节点，从而第二工作节点将第二目标数据格式的数据处理为第一目标数据格式，并发送给第一工作节点，以便第一工作节点反馈给服务端。

需要说明的是，本发明实施例中，数据处理系统中的各个工作节点在进行数据传输之前，先通过逆向传输方式（即与待处理数据传输方向相反的方式）确定各个工作节点可传输的目标数据格式，然后基于各个目标数据格式进行数据传输，进而保证工作流正常运行，并且保证工作流运行得到的最终数据处理结果可以被服务端识别。可选地，所述数据处理系统还包括中间节点，所述基于所述目标数据格式传输数据之前，所述方法还包括：

将所述第二工作节点的响应数据格式发送至所述中间节点；

将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

将所述中间节点的响应数据格式发送至所述第一工作节点；

将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

本实施例中，数据处理系统还包括中间节点，应理解，上述中间节点的数量可以为1，也可以大于1，以下出于详尽阐述技术方案的目的，以中间节点的数量为1为例，在此并不具体限定中间节点的数量。

本实施例中，在将第二工作节点的响应数据格式发送至中间节点后，将中间节点对应的输出数据格式与第二工作节点的响应数据格式进行匹配，进一步的，将上述输出数据格式中与第二工作节点的响应数据格式相同的数据格式，确定为第一中间数据格式，上述第一中间数据格式即中间节点向第二工作节点输出数据的数据格式。

在确定第一中间数据格式之后，将中间节点的响应数据格式发送至第一工作节点，并对第一工作节点的输出数据格式与中间节点的响应数据格式进行匹配，将第一工作节点的输出数据格式中与中间节点的响应数据格式相同的数据格式，确定为第二中间数据格式，上述第二中间数据格式即第一工作节点向中间节点输出数据的数据格式。

在存在多个中间节点其他实施场景中，确定相邻的中间节点之间进行通信的数据格式的方式，与上述确定第一中间数格式和确定第二中间数据格式的方式一致，在此不做重复阐述。

可选地，所述基于所述目标数据格式传输数据包括：

将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

本实施例中，上述待处理数据即预测数据，在数据处理系统内部传输预测数据的流程为，第一工作节点将从外部客户端接收到的预测数据转换为第二中间数据格式，并将预测数据传输至中间节点；中间节点将预测数据转换为第一中间数据格式，并将预测数据传输至第二工作节点；第二工作节点将预测数据转换为目标数据格式，并将预测数据传输至第一工作节点，以此数据处理系统实现对预测数据的处理。

应理解，在数据处理系统存在多个中间节点的情况下，预测数据在中间节点之间的传输方式，与预测数据在中间节点与第二工作节点之间传输的方式一致，这里不做重复阐述。

为便于理解整体技术方案，请参阅图2，图2为本发明实施例中数据处理方法的应用场景图。如图2所示，数据处理系统包括一个控制中心和2个工作节点，分别为节点1和节点2，其中，图2中的节点1可以理解为中间节点，节点2可以理解为第二工作节点，控制中心可以理解为第一工作节点。数据处理系统中的控制中心还与外部的客户端通信连接，其中，图2中的虚线表示确定目标数据格式的流程的路径，图2中的实线表示传输预测数据的路径。

在图2示出的场景中，控制中心通过路径1接收客户端发送的服务请求，该服务请求包括预测数据、预测数据对应的数据格式和外部客户端支持的响应数据格式，控制中心基于该预测数据生成一个数据唯一标识，并通过路径2调用节点2的远程调用接口发送该数据唯一标识和控制中心的响应数据格式。

节点2在接收到响应数据格式后，将对应的输出数据格式与该响应数据格式进行匹配，若匹配成功，则通过路径3调用节点1的远程调用接口发送数据唯一标识和节点2对应的响应数据格式；若匹配失败，则向控制中心发送报错信息。

节点1在接收到节点2对应的响应数据格式后，将对应的输出数据格式与节点2对应的响应数据格式进行匹配，若匹配成功，则通过路径4调用控制中心的远程调用接口发送数据唯一标识和节点1对应的响应数据格式；若匹配失败，则向节点2发送报错信息，进一步的，节点1将报错信息发送至控制中心。

控制中心在接收到节点1对应的响应数据格式后，将预测数据支持的数据格式与节点1对应的响应数据格式进行匹配，若匹配成功，则将预测数据的数据格式设置为节点1对应的响应数据格式。

控制中心通过路径5向节点1发送预测数据，节点1对预测数据进行解析，调用自身的子模块对解析后的预测数据进行数据处理，将处理后的预测数据的数据格式设置为节点2对应的响应数据格式，并通过路径6将处理后的预测数据发送至节点2。

节点2在接收到节点1发送的预测数据后，对预测数据进行解析，调用自身的子模块对解析后的预测数据进行数据处理，将处理后的预测数据的数据格式设置为目标数据格式，并将处理后的预测数据发送通过路径7至控制中心。控制中心接收到的预测数据作为预测结果通过路径8发送至客户端，以此完成一次数据处理的过程。

应理解，上述对预测数据进行数据处理的过程支持流式预测，即分批次对预测数据进行数据处理，这样，客户端可以在发送预测数据的同时，接收到控制中心发送的上一批次预测数据对应的预测结果。

可选地，所述将所述输出数据格式与所述响应数据格式进行匹配之后，所述方法还包括：

在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

如上所述，输出数据格式与响应数据格式的匹配过程为，确定是否存在与响应数据格式相同的输出数据格式，若不存在与响应数据格式相同的输出数据格式，则确定输出数据格式与响应数据格式不匹配，第一工作节点和第二工作节点之间无法相互传输数据。

应理解，在输出数据格式与响应数据格式不匹配的情况下，控制第一工作节点发送报错信息或者数据处理系统对外报错，以便通知相关人员对数据处理系统进行重新配置。

本申请实施例提供的数据处理方法，还可以通过以下方式扩展数据处理系统支持的数据格式：

可选地，所述方法还包括：

获取当前工作节点兼容的数据格式；

根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

根据所述转换方式，更新所述当前工作节点。

上述当前工作节点即进行数据格式扩展的工作节点，上述待扩展数据格式为用户输入的需要扩展的数据格式，其中，上述待扩展数据格式可以是输入数据格式，或输出数据格式。在待扩展数据格式为输入数据格式的情况下，扩展当前工作节点兼容的输入数据格式，在待扩展数据格式为输出数据格式的情况下，扩展当前工作节点兼容的输出数据格式。

本实施例中，获取当前工作节点兼容的数据格式，并根据当前工作节点兼容的数据格式和待扩展数据格式，确定待扩展数据格式与当前工作节点兼容的数据格式的转换方式，上述转换方式是当前工作节点对待扩展数据进行序列化的过程。这样，当前工作节点依据该转换方式对待扩展数据格式进行序列化处理，以更新当前工作节点，使得更新后的当前工作节点支持待扩展数据格式。

例如：当前工作节点兼容的数据格式为H5和CSV，待扩展数据格式为dir，这种情况下，当前工作节点对待扩展数据格式进行序列化处理，生成与H5和CSV这两个数据格式对应的序列化方式，使得当前工作节点可以处理数据格式为dir的数据。

本实施例中，根据当前工作节点兼容的数据格式以及待扩展数据格式，确定待扩展数据格式对应的转换方式，并依据该转换方式更新当前工作节点，以扩展当前工作节点兼容的数据格式，以此扩展了数据处理系统支持的数据格式。

可选地，所述方法还包括：

在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

本实施例中，在数据处理系统新增了工作节点的情况下，可以将与该新增工作节点相邻，且位于该新增工作节点之前的工作节点确定为上游工作节点；将与该新增工作节点相邻，且位于该新增工作节点之后的工作节点确定为下游工作节点。

进一步的，将上游工作节点对应的输出数据格式，确定为该新增工作节点的响应数据格式，即新增工作节点在接收数据时支持的数据格式；将下游工作节点对应的响应数据格式，确定为该新增工作节点的输出数据格式。

例如，需要在数据处理系统中新增dir这一种数据格式，若上游工作节点对应的输出数据格式为pickle、CSV和parque，下游工作节点对应的响应数据格式为H5和parque，那么，可以设置新增工作节点的支持的数据格式为dir、pickle、CSV和H5，以此实现在数据处理系统中新增数据格式的目的。

本实施例中，根据上述上游节点对应的输入数据格式和下游节点对应的响应数据格式，自动设置新增工作节点所支持的数据格式，以此扩展了数据处理系统支持的数据格式。

如图3所示，本发明实施例还提供了一种数据处理系统200，所述数据处理系统200包括至少两个工作节点，所述数据处理系统200包括：

第一获取模块201，用于获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

第一匹配模块202，用于将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

传输模块203，用于基于所述目标数据格式传输数据。

可选地，所述第一匹配模块202，具体用于：

确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述第一匹配模块202，还具体用于：

获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

可选地，所述第一匹配模块202，还具体用于：

根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述数据处理系统200还包括：

响应模块，用于响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

第一确定模块，用于将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

可选地，所述数据处理系统200还包括中间节点，所述数据处理系统200还包括：

第一发送模块，用于将所述第二工作节点的响应数据格式发送至所述中间节点；

第二确定模块，用于将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

第二发送模块，用于将所述中间节点的响应数据格式发送至所述第一工作节点；

第三确定模块，用于将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

可选地，所述传输模块203，具体用于：

将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

可选地，所述数据处理系统200还包括：

第三发送模块，用于在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

可选地，所述数据处理系统200还包括：

第二获取模块，用于获取当前工作节点兼容的数据格式；

第四确定模块，用于根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

更新模块，用于根据所述转换方式，更新所述当前工作节点。

可选地，所述数据处理系统200还包括：

第五确定模块，用于在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

第六确定模块，用于将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

本发明实施例还提供了一种电子设备，如图4所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，所述计算机程序被所述处理器301执行时，用于获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

基于所述目标数据格式传输数据。

可选地，所述计算机程序被所述处理器301执行时，还用于确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述计算机程序被所述处理器301执行时，还用于获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

可选地，所述计算机程序被所述处理器301执行时，还用于根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

可选地，所述计算机程序被所述处理器301执行时，还用于响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

可选地，所述计算机程序被所述处理器301执行时，还用于将所述第二工作节点的响应数据格式发送至所述中间节点；

将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

将所述中间节点的响应数据格式发送至所述第一工作节点；

将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

可选地，所述计算机程序被所述处理器301执行时，还用于将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

可选地，所述计算机程序被所述处理器301执行时，还用于在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

可选地，所述计算机程序被所述处理器301执行时，还用于获取当前工作节点兼容的数据格式；

根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

根据所述转换方式，更新所述当前工作节点。

可选地，所述计算机程序被所述处理器301执行时，还用于在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一实施例所述的数据处理方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一实施例所述的数据处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括至少两个工作节点，所述方法包括：

获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

基于所述目标数据格式传输数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式包括：

确定与所述响应数据格式相匹配的输出数据格式；

从所述相匹配的输出数据格式中确定所述目标数据格式。

3.根据权利要求2所述的方法，其特征在于，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

获取显示数据配置；

从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。

4.根据权利要求2所述的方法，其特征在于，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：

根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法包括：

响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；

将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。

6.根据权利要求5所述的方法，其特征在于，所述数据处理系统还包括中间节点，所述基于所述目标数据格式传输数据之前，所述方法还包括：

将所述第二工作节点的响应数据格式发送至所述中间节点；

将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；

将所述中间节点的响应数据格式发送至所述第一工作节点；

将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标数据格式传输数据包括：

将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；

控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；

控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。

8.根据权利要求1所述的方法，其特征在于，所述将所述输出数据格式与所述响应数据格式进行匹配之后，所述方法还包括：

在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取当前工作节点兼容的数据格式；

根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；

根据所述转换方式，更新所述当前工作节点。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；

将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。

11.一种数据处理系统，其特征在于，所述数据处理系统包括至少两个工作节点，所述系统包括：

第一获取模块，用于获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；

第一匹配模块，用于将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；

传输模块，用于基于所述目标数据格式传输数据。

Images