CN114285784B - 数据传输和管道搭建方法、装置、计算设备和存储介质 - Google Patents

Abstract

本申请提供数据传输方法及装置、数据管道搭建方法及装置，其中数据传输方法包括：获取待传输数据流，然后通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，该目标数据管道为基于有向无环图和预设配置模板预先搭建，之后通过目标数据管道传输待传输数据流。如此，通过有向无环图和预设配置模板可以自动、快速地搭建起数据管道，大大提高了数据管道的搭建效率，从而大大提高了数据传输效率。

Description

数据传输和管道搭建方法、装置、计算设备和存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种数据传输方法。本申请同时涉及一种数据传输装置，一种数据管道搭建方法，一种数据管道搭建装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着计算机和互联网技术的快速发展，互联网技术已经和人们的工作生活息息相关，为满足人们的工作生活所需，常常会涉及到大量的数据传输。现有技术中，在需要进行数据传输时，往往是针对传输过程涉及到的每个组件单独配置参数和资源，各个组件配置完成后拉起对应的数据管道，进行数据传输。然而，上述数据传输过程中使用的数据管道，针对各个组件均需要一一单独手动配置参数和资源，不仅无法均衡各个组件之间的参数配置和资源分配，导致组件的配置冗余度较高，且还导致了拉起数据管道的速度较慢、效率较低，进而影响了数据传输效率。

发明内容

有鉴于此，本申请实施例提供了一种数据传输方法。本申请同时涉及一种数据传输装置，一种数据管道搭建方法，一种数据管道搭建装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的数据传输效率较低的技术问题。

根据本申请实施例的第一方面，提供了一种数据传输方法，包括：

获取待传输数据流；

通过路由层中的预设路由策略，确定所述待传输数据流对应的目标数据管道，所述目标数据管道为基于有向无环图和预设配置模板预先搭建；

通过所述目标数据管道传输所述待传输数据流。

根据本申请实施例的第二方面，提供了一种数据管道搭建方法，包括：

确定待传输数据的数据传输链路；

生成所述数据传输链路对应的有向无环图；

根据所述有向无环图和预设配置模板，搭建所述数据传输链路对应的数据管道。

根据本申请实施例的第三方面，提供了一种数据传输装置，包括：

获取模块，被配置为获取待传输数据流；

第一确定模块，被配置为通过路由层中的预设路由策略，确定所述待传输数据流对应的目标数据管道，所述目标数据管道为基于有向无环图和预设配置模板预先搭建；

传输模块，被配置为通过所述目标数据管道传输所述待传输数据流。

根据本申请实施例的第四方面，提供了一种数据管道搭建装置，包括：

第二确定模块，被配置为确定待传输数据的数据传输链路；

生成模块，被配置为生成所述数据传输链路对应的有向无环图；

第一搭建模块，被配置为根据所述有向无环图和预设配置模板，搭建所述数据传输链路对应的数据管道。

根据本申请实施例的第五方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现任意上述数据传输方法或者数据管道搭建方法的操作步骤。

根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意上述数据传输方法或者数据管道搭建方法的操作步骤。

本申请提供的数据传输方法，可以获取待传输数据流，然后通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，该目标数据管道为基于有向无环图和预设配置模板预先搭建，之后通过目标数据管道传输待传输数据流。这种情况下，基于有向无环图和预设配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，通过有向无环图和预设配置模板可以自动、快速地搭建起数据管道，大大提高了数据管道的搭建效率，在需要传输数据流时，可以通过路由层确定对应的目标数据管道，并快速拉起搭建好的目标数据管道，进行数据传输，从而大大提高了数据传输效率。

附图说明

图1是本申请一实施例提供的一种数据传输方法的流程图；

图2是本申请一实施例提供的一种目标数据管道的确定过程示意图；

图3是本申请一实施例提供的一种有向无环图的示意图；

图4是本申请一实施例提供的另一种有向无环图的示意图；

图5是本申请一实施例提供的一种数据管道搭建平台的界面示意图；

图6是本申请一实施例提供的一种数据管道搭建方法的流程图；

图7是本申请一实施例提供的一种数据传输装置的结构示意图；

图8是本申请一实施例提供的一种数据管道搭建装置的结构示意图；

图9是本申请一实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本申请一个或多个实施例涉及的名词术语进行解释。

数据传输(data transmission)：就是依照适当的规程，经过一条或多条链路，在数据源和数据宿之间传送数据的过程，分为并行传输、串行传输、异步传输、同步传输、单工传输。数据传输也可以叫做数据集成，可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而提供全面的数据共享。

数据流：是一个业务或者一个应用产生的数据，隶属于一个数据流的数据通常使用相同的标识进行标识，并且共享相同的元信息。

元信息：是关于信息的信息，元信息允许服务器提供所发送数据的信息，如HTTP可以提高所发的对象语言和对象，也可以用元信息来实现有条件请求以及报告事务完成。收到数据的浏览器可以根据元信息确定服务器发来的是什么内容，预料有什么数据，确知是否接收完整的数据，以及过程中是否出错，这样客户就可以知道传输对象的类型。元信息是关于信息的信息，用于描述信息的结构、语义、用途和用法等。

数据管道：基于给定的资源和配置，制备的一条完整的数据传输链路，通常包括接收、缓冲、转换、分发等环节，并且实现环节之间的高效数据迁移过程。也即，数据管道可以提供在数据库内部、数据库之间、不同数据库管理系统之间，快速复制数据的简便途径。

DAG：有向无环图，如果一个有向图无法从某个顶点出发经过若干条边回到该点，则这个图是一个有向无环图。

路由(英语：Routing)是通过互联的网络把信息从源地址传输到目的地址的活动。数据路由：根据数据流的元信息，将数据流分发到不同数据管道的过程。

在本申请中，提供了一种数据传输方法，本申请同时涉及一种数据传输装置，一种数据管道搭建方法，一种数据管道搭建装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本申请一实施例提供的一种数据传输方法的流程图，具体包括以下步骤：

步骤102：获取待传输数据流。

具体的，待传输数据流可以是指等待进行数据传输的数据流，也即等待从数据源传输至数据宿的数据流。其中，数据流是一个业务或者一个应用产生的数据，隶属于一个数据流的数据通常使用相同的标识进行标识，并且共享相同的元信息。

实际应用中，待传输数据流可以来源于不同的设备，在获取待传输数据流时，可以从需要进行数据传输的设备获取相应的数据流，获取到的数据流即为待传输数据流。另外，获取到的待传输数据流的个数可以为一个、两个或多个，获取到的各个待传输数据流可以为不同来源、不同格式、不同特点性质的数据流。

需要说明的是，在进行数据传输时，说明存在某个或某些数据流需要从数据源传输至数据宿，此时可以获取到待传输数据流，便于后续根据待传输数据流的元信息，确定通过哪个数据管道进行数据传输，获取到的待传输数据流是后续进行数据传输的基础，从而可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而提供全面的数据共享。

步骤104：通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，该目标数据管道为基于有向无环图和预设配置模板预先搭建。

具体的，获取到待传输数据流的基础上，进一步地，可以通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道。其中，路由层为可以通过互联的网络把信息从源地址传输到目的地址的层，该路由层设置在各个数据管道之前，且该路由层中包括预设路由策略，该预设路由策略为用户预先自定义的路由策略，预设路由策略用于指示传输数据流可以使用的数据管道。

需要说明的是，路由层中存储有用户预先自定义的路由策略，获取到待传输数据流后，待传输数据流会进入路由层，通过路由层中的预测路由策略可以确定出传输待传输数据流所使用的目标数据管道，然后可以通过路由层将该待传输数据流路由到对应的目标数据管道，后续通过目标数据管道完成数据传输。

一种可能的实现方式中，预设路由策略可以是指数据流和数据管道之间的对应关系，某个待传输数据流传入路由层后，可以通过路由层中预先设置的数据流和数据管道之间的对应关系，确定出该待传输数据流对应的目标数据管道，后续使用该目标数据管道传输该待传输数据流。本实施例一个可选的实施方式中，通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，具体实现过程可以如下：

获取所述待传输数据流的元信息；

在所述预设路由策略中查找所述元信息对应的数据管道；

将查找到的数据管道作为所述待传输数据流对应的目标数据管道。

具体的，元信息是关于信息的信息，用于描述信息的结构、语义、用途和用法等，不同的待传输数据流可以有携带不同的元信息，不同元信息可以对应有不同的数据管道，因而可以通过待传输数据流的元信息，将待传输数据流路由到对应的目标数据管道。

实际应用中，路由层中预先存储的预设路由策略可以为元信息和数据管道之间的对应关系，因而在获取到待传输数据流后，可以确定待传输数据流的元信息，然后在预设路由策略中查找该元信息对应的数据管道，查找到的数据管道即为传输该待传输数据流所要使用的目标数据管道。

示例的，图2是本申请一实施例提供的一种目标数据管道的确定过程示意图，假设待传输数据流为数据流1和数据流2，路由层中的预设路由策略为：数据流1对应的数据管道为管道A，数据流2对应的数据管道为管道C。如图2所示，数据流1进入路由层后，可以通过路由层中的预设路由策略确定出对应的目标数据管道为管道A，此时可以通过路由层将数据流1路由到管道A；数据流2进入路由层后，可以通过路由层中的预设路由策略确定出对应的目标数据管道为管道C，此时可以通过路由层将数据流2路由到管道C。

另一种可能的实现方式中，预设路由策略还可以是指传输任务均衡规则，也即，将多个数据流的传输任务平衡分摊到多个数据管道执行，从而避免某些数据管道频繁执行数据传输任务，导致数据管道传输压力过大，造成拥堵或崩溃。具体的，某个待传输数据流传入路由层后，可以通过路由层确定各个数据管道已分配的数据流个数，将各个数据管道中已分配的数据流个数最小的数据管道作为该待传输数据流的目标数据管道，若各个数据管道中已分配的数据流个数相同，则可以随机选择一个数据管道作为该待传输数据流的目标数据管道。

另外，除了上述基于各个数据管道中已分配的数据流个数平衡分配传输任务外，还可以基于各个数据传输管道当前是否正在执行数据传输任务来平衡分配当前待的传输数据流，将当前的待传输数据流分配给当前未执行传输任务的数据管道。当然，实际应用中，还可以通过其他方式将多个数据流的传输任务平衡分摊到多个数据管道执行，本申请对此不进行限制。

本申请中可以通过路由层中预先自定义的预设路由策略，将不同的待传输数据流路由到对应的数据传输管道，从而可以基于路由层进行多维度的流量调度，提高数据传输效率。

本实施例一个可选的实施方式中，各个数据管道为基于有向无环图和预设配置模板预先搭建的，使得通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道之后，可以直接拉起预先搭建的目标数据管道。也即，在数据传输过程中使用的数据管道可以预先基于有向无环图和配置模板预先搭建，即目标数据管道可以通过如下方法搭建得到：

确定所述待传输数据流的数据传输链路；

生成所述数据传输链路对应的有向无环图；

根据所述有向无环图和预设配置模板，搭建所述目标数据管道。

具体的，数据传输链路可以是指将待传输数据流从数据源传输至数据宿所需要经过的各个环节所组成的链路，也即数据传输链路可以是指数据传输的完整流程。另外，预设配置模板可以是指预先设置的模板，该预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置，即数据传输链路中的各个环节涉及到的组件的配置规则，如各个不同类型组件的组件参数配置和资源分配信息，由于基于数据传输链路中的各个环节生成了对应的有向无环图，因而预设配置模板也即是指快速配置有向无环图中各个节点的节点参数的模板，如预设配置模板可以为各个不同类型节点的节点参数配置和资源分配信息。

需要说明的是，可以先生成数据传输链路对应的有向无环图，然后再基于预设配置模板，统一快速配置该有向无环图中的各个节点，从而均衡各个节点之间的参数配置和资源分配，避免各个节点的配置冗余，通过有向无环图和预设配置模板可以自动、快速地搭建数据管道，从而大大提高了数据管道的搭建效率。

一种可能的实现方式中，生成数据传输链路对应的有向无环图，具体实现过程可以如下：

确定数据传输链路包括的传输环节；

按照所述传输环节的传输顺序，将各个传输环节作为有向无环图中的节点，生成所述数据传输链路对应的有向无环图。

需要说明的是，数据传输链路可以表示待传输数据流从数据源传输至数据宿的完整传输流程，因而可以确定出数据传输链路包括的各个传输环节，每个传输环节对应有向无环图中的一个节点。

另外，每个传输环节在整个数据传输过程中的先后顺序是不同的，即各个传输环节按照数据传输的先后顺序可以组成完整的数据传输链路，因而可以确定每个传输环节在整个数据传输过程中的传输顺序，然后按照该传输顺序排列对应的节点，即可生成该数据传输链路对应的有向无环图。

示例的，图3是本申请一实施例提供的一种有向无环图的示意图，假设数据传输链路包括数据接收环节、中间传输环节1、中间传输环节2、中间传输环节3、中间传输环节4和数据输出环节，假设完整的数据传输过程中，上述传输环节依次按序串联排列，此时可以生成如图3所示的有向无环图，该有向无环图包括数据接收节点、中间传输节点1、中间传输节点2、中间传输节点3、中间传输节点4和数据输出节点。

示例的，图4是本申请一实施例提供的另一种有向无环图的示意图，假设数据传输链路包括数据接收环节、中间传输环节1、中间传输环节2、中间传输环节3、中间传输环节4、中间传输环节5和数据输出环节，假设完整的数据传输过程中，中间传输环节1、中间传输环节2、中间传输环节3、中间传输环节4和中间传输环节5并列，且位于数据接收环节之后、输出环节之前，此时可以生成如图4所示的有向无环图，该有向无环图包括数据接收节点、中间传输节点1、中间传输节点2、中间传输节点3、中间传输节点4、中间传输节点5和数据输出节点。

本申请中可以先确定数据传输链路包括的传输环节，将每个传输环节作为有向无环图中的一个节点，构造得到对应的有向无环图，将有向无环图应用到数据管道的搭建过程，便于后续可以基于该有向无环图自动、快速搭建所需的数据管道，从而大大提高数据管道的搭建效率。

本实施例一个可选的实施方式中，还可以预先对数据传输链路的配置进行抽象化，得到预设配置模板，也即根据所述有向无环图和预设配置模板，搭建所述目标数据管道之前，还可以包括：

对所述数据传输链路的参数配置进行模板抽象，获得所述数据传输链路对应的数据管道的预设配置模板，所述预设配置模板包括所述数据管道的公共配置和自定义配置。

需要说明的是，数据传输链路中包括的各个传输环节所涉及到的组件均需要配置相应的参数、分配对应的资源等，不同传输环节需要配置的参数中可能包括相同的配置参数和不同的配置参数，因而可以对数据传输链路的参数配置进行模板抽象，获得数据传输链路对应的数据管道的预设配置模板，获得的预设配置模板即为统一配置数据传输链路中各个环节的模板，也即统一配置数据管道中各个节点的模板。

实际应用中，该预设配置模板可以包括数据管道的公共配置和自定义配置，其中，公共配置可以是指所有数据管道共享的配置，即各个数据管道中包括的各个节点共享的配置，对所有管道可见。自定义配置可以是指针对某个数据管道独立的配置，即该数据管道中相应节点与其他数据管道中对应的节点不同的配置，自定义配置只对某个数据管道可见。

示例的，假设公共配置为端口1、功能X，数据管道A包括数据接收节点、中间传输节点1、中间传输节点2、中间传输节点3、中间传输节点4和数据输出节点，数据管道A具备自定义配置：接收节点--端口2、功能Y，输出节点--端口3、功能Z，其他数据管道无自定义配置。也即，此时预设配置模板为公共配置：端口1、功能X，以及数据管道A的自定义配置：接收节点--端口2、功能Y，输出节点--端口3、功能Z。

本申请中可以预先对数据传输链路的配置进行抽象化，得到对应的数据管道的预设配置模板，通过该预设配置模板，可以综合考虑数据管道中的各个节点，均衡分配资源，并且对于相同的配置仅需通过公共配置进行一次配置即可，无需针对各个节点一一割裂配置参数和资源，从而可以均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余。

本实施例一个可选的实施方式中，根据所述有向无环图和预设配置模板，搭建所述目标数据管道，具体实现过程可以如下：

确定所述预设配置模板中包括的公共配置和自定义配置；

根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，并调用所述节点对应的系统接口，获得搭建完成的目标数据管道。

需要说明的是，在搭建目标数据管道时，需要先获取预设配置模板中的公共配置，并且确定预设配置模板中是否存在目标数据管道的自定义配置，从而从预设配置模板中确定目标数据管道对应的目标配置参数。然后，可以根据确定出的目标配置参数对生成的有向无环图中包括的节点进行配置，之后调用各个节点对应的系统接口，即可快速搭建起对应的目标数据管道。

本实施例一个可选的实施方式中，根据预设配置模板中包括的公共配置和自定义配置，配置有向无环图中包括的节点，具体实现过程可以如下：

确定所述预设配置模板中包括的自定义配置是否存在所述目标数据管道对应的目标自定义配置；

若不存在对应的目标自定义配置，则根据所述公共配置，配置有向无环图中包括的节点；

若存在对应的目标自定义配置，则确定所述目标自定义配置包括的目标节点，并根据所述目标自定义配置，对有向无环图中的目标节点进行配置，根据公共配置对有向无环图中除目标节点之外的节点进行配置。

需要说明的是，公共配置和自定义配置包括的配置参数可以相同，公共配置可以为默认的配置，在各个数据管道均没有自定义配置的情况下，各个数据管道中的各个节点均默认采用公共配置中的配置参数，在某个数据管道有自定义配置的情况下，该数据管道中相应的节点可以采用自定义配置中的自定义配置参数，该数据管道中其他没有自定义配置的节点以及其他数据管道可以均采用公共配置，即每个数据管道的拉起时加载的配置是依赖于公共配置和自定义配置的合并后的值，并且自定义配置的优先级高于公共配置。

实际应用中，对于目标数据管道，可以先确定预设配置模板中是否包括目标数据管道对应的目标自定义配置，若包括目标自定义配置，则说明针对目标数据管道中的目标节点有不同于公共配置的自定义配置，因而此时可以确定目标自定义配置包括的目标节点，并根据目标自定义配置，对目标数据管道中的目标数据节点进行配置，对于目标数据管道中除目标数据节点之外的节点，由于不存在额外的配置，因而可以直接基于公共配置进行配置。若不包括目标自定义配置，则说明针对目标数据管道不存在不同于公共配置的自定义配置，因而此时可以直接根据公共配置，对目标数据管道中包括的各个节点进行配置。

沿用上例，假设目标数据管道为管道A，那么预设配置模板中包括管道A对应的自定义配置，因而此时可以将管道A中的接收节点的端口配置为端口2、功能配置为功能Y，将管道A中的输出节点的端口配置为端口3、功能配置为功能Z，并且将管道A中的中间传输节点1、中间传输节点2、中间传输节点3和中间传输节点4的端口配置为端口1、功能配置为功能X。或者，假设目标数据管道为管道B，由于预设配置模板中不包括管道B对应的自定义配置，因而可以将管道B中的各个节点的端口均配置为端口1、功能均配置为功能X。

作为一种示例，图5是本申请一实施例提供的一种数据管道搭建平台的界面示意图，如图5所示，可以在数据管道搭建平台中通过编写代码，定义待传输数据流的数据传输链路，在数据管道搭建平台中生成对应的有向无环图，从而搭建对应的数据管道，假设针对管道A搭建的有向无环图包括数据接收节点、中间传输节点1、中间传输节点2、中间传输节点3、中间传输节点4和数据输出节点；除了管道A之外，还设置了管道B和管道C，如图5所示。

另外，如图5所示，还可以通过数据管道搭建平台中的“配置模板化”控件，设置各个数据管道(管道A、管道B和管道C)的公共配置和自定义配置，以得到预设配置模板，从而针对数据管道中包括的节点进行统一配置，在进行配置模板化之后，可以通过“快速拉起”，拉起对应的数据管道。再者，还可以在各个数据管道(管道A、管道B和管道C)之前设置路由层，如此数据流进入路由层后，可以基于路由层中预先自自定义的预设路由策略，将数据流路由到对应的数据管道。

本申请中可以先确定数据传输链路包括的传输环节，将每个传输环节作为有向无环图中的一个节点，构造得到对应的有向无环图，然后基于有向无环图和配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，如此通过有向无环图和预设配置模板可以自动、快速地拉起数据管道，大大提高数据管道的搭建效率。

步骤106：通过目标数据管道传输待传输数据流。

具体的，在通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道的基础上，进一步地，将通过目标数据管道传输待传输数据流。需要说明的是，在确定出目标数据管道之后，即可通过目标数据管道将待传输数据流传输至对应的数据宿中，以完成数据传输过程。

本申请提供的数据传输方法，可以获取待传输数据流，然后通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，该目标数据管道为基于有向无环图和预设配置模板预先搭建，之后通过目标数据管道传输待传输数据流。这种情况下，基于有向无环图和预设配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，通过有向无环图和预设配置模板可以自动、快速地搭建起数据管道，大大提高了数据管道的搭建效率，从而大大提高了数据传输效率。

图6示出了根据本申请一实施例提供的一种数据管道搭建方法的流程图，具体包括以下步骤：

步骤602：确定待传输数据的数据传输链路。

需要说明的是，数据传输链路可以是指将待传输数据流从数据源传输至数据宿所需要经过的各个环节所组成的链路，也即数据传输链路可以是指数据传输的完整流程。

步骤604：生成数据传输链路对应的有向无环图。

一种可能的实现方式中，生成数据传输链路对应的有向无环图，具体实现过程可以如下：

确定数据传输链路包括的传输环节；

按照所述传输环节的传输顺序，将各个传输环节作为有向无环图中的节点，生成所述数据传输链路对应的有向无环图。

需要说明的是，数据传输链路可以表示待传输数据流从数据源传输至数据宿的完整传输流程，因而可以确定出数据传输链路包括的各个传输环节，每个传输环节对应有向无环图中的一个节点。

另外，每个传输环节在整个数据传输过程中的先后顺序是不同的，即各个传输环节按照数据传输的先后顺序可以组成完整的数据传输链路，因而可以确定每个传输环节在整个数据传输过程中的传输顺序，然后按照该传输顺序排列对应的节点，即可生成该数据传输链路对应的有向无环图。

本申请中可以先确定数据传输链路包括的传输环节，将每个传输环节作为有向无环图中的一个节点，构造得到对应的有向无环图，将有向无环图应用到数据管道的搭建过程，便于后续可以基于该有向无环图自动、快速搭建所需的数据管道，从而大大提高数据管道的搭建效率。

步骤606：根据有向无环图和预设配置模板，搭建数据传输链路对应的数据管道。

需要说明的是，预设配置模板可以是指预先设置的模板，该预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置。

本实施例一个可选的实施方式中，在搭建数据传输链路对应的数据管道之前，还可以预先对数据传输链路的配置进行抽象化，得到预设配置模板，也即根据所述有向无环图和预设配置模板，搭建所述目标数据管道之前，还可以包括：

对所述数据传输链路的参数配置进行模板抽象，获得所述数据传输链路对应的数据管道的预设配置模板，所述预设配置模板包括所述数据管道的公共配置和自定义配置。

需要说明的是，数据传输链路中包括的各个传输环节所涉及到的组件均需要配置相应的参数、分配对应的资源等，不同传输环节需要配置的参数中可能包括相同的配置参数和不同的配置参数，因而可以对数据传输链路的参数配置进行模板抽象，获得数据传输链路对应的数据管道的预设配置模板，获得的预设配置模板即为统一配置数据传输链路中各个环节的模板，也即统一配置数据管道中各个节点的模板。

实际应用中，该预设配置模板可以包括数据管道的公共配置和自定义配置，其中，公共配置可以是指所有数据管道共享的配置，即各个数据管道中包括的各个节点共享的配置，对所有管道可见。自定义配置可以是指针对某个数据管道独立的配置，即该数据管道中相应节点与其他数据管道中对应的节点不同的配置，自定义配置只对某个数据管道可见。

本申请中可以预先对数据传输链路的配置进行抽象化，得到对应的数据管道的预设配置模板，通过该预设配置模板，可以综合考虑数据管道中的各个节点，均衡分配资源，并且对于相同的配置仅需通过公共配置进行一次配置即可，无需针对各个节点一一割裂配置参数和资源，从而可以均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余。

本实施例一个可选的实施方式中，根据所述有向无环图和预设配置模板，搭建所述目标数据管道，具体实现过程可以如下：

确定所述预设配置模板中包括的公共配置和自定义配置；

根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，并调用所述节点对应的系统接口，获得搭建完成的目标数据管道。

需要说明的是，在搭建目标数据管道时，需要先获取预设配置模板中的公共配置，并且确定预设配置模板中是否存在目标数据管道的自定义配置，从而从预设配置模板中确定目标数据管道对应的目标配置参数。然后，可以根据确定出的目标配置参数对生成的有向无环图中包括的节点进行配置，之后调用各个节点对应的系统接口，即可快速搭建起对应的目标数据管道。

本实施例一个可选的实施方式中，根据预设配置模板中包括的公共配置和自定义配置，配置有向无环图中包括的节点，具体实现过程可以如下：

确定所述预设配置模板中包括的自定义配置是否存在所述目标数据管道对应的目标自定义配置；

若不存在对应的目标自定义配置，则根据所述公共配置，配置有向无环图中包括的节点；

若存在对应的目标自定义配置，则确定所述目标自定义配置包括的目标节点，并根据所述目标自定义配置，对有向无环图中的目标节点进行配置，根据公共配置对有向无环图中除目标节点之外的节点进行配置。

需要说明的是，公共配置和自定义配置包括的配置参数可以相同，公共配置可以为默认的配置，在各个数据管道均没有自定义配置的情况下，各个数据管道中的各个节点均默认采用公共配置中的配置参数，在某个数据管道有自定义配置的情况下，该数据管道中相应的节点可以采用自定义配置中的自定义配置参数，该数据管道中其他没有自定义配置的节点以及其他数据管道可以均采用公共配置，即每个数据管道的拉起时加载的配置是依赖于公共配置和自定义配置的合并后的值，并且自定义配置的优先级高于公共配置。

实际应用中，对于目标数据管道，可以先确定预设配置模板中是否包括目标数据管道对应的目标自定义配置，若包括目标自定义配置，则说明针对目标数据管道中的目标节点有不同于公共配置的自定义配置，因而此时可以确定目标自定义配置包括的目标节点，并根据目标自定义配置，对目标数据管道中的目标数据节点进行配置，对于目标数据管道中除目标数据节点之外的节点，由于不存在额外的配置，因而可以直接基于公共配置进行配置。若不包括目标自定义配置，则说明针对目标数据管道不存在不同于公共配置的自定义配置，因而此时可以直接根据公共配置，对目标数据管道中包括的各个节点进行配置。

本申请提供的数据管道搭建方法，可以先确定数据传输链路包括的传输环节，将每个传输环节作为有向无环图中的一个节点，构造得到对应的有向无环图，然后基于有向无环图和预设配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，如此通过有向无环图和预设配置模板可以自动、快速地拉起数据管道，大大提高了数据管道的搭建效率。

与上述方法实施例相对应，本申请还提供了数据传输装置实施例，图7示出了本申请一实施例提供的一种数据传输装置的结构示意图。如图7所示，该装置包括：

获取模块702，被配置为获取待传输数据流；

第一确定模块704，被配置为通过路由层中的预设路由策略，确定所述待传输数据流对应的目标数据管道，所述目标数据管道为基于有向无环图和预设配置模板预先搭建；

传输模块706，被配置为通过所述目标数据管道传输所述待传输数据流。

可选地，该装置还包括第二搭建模块，被配置为：

确定所述待传输数据流的数据传输链路；

生成所述数据传输链路对应的有向无环图；

根据所述有向无环图和预设配置模板，搭建所述目标数据管道。

可选地，第二搭建模块进一步被配置为：

确定所述数据传输链路包括的传输环节；

按照所述传输环节的传输顺序，将各个传输环节作为有向无环图中的节点，生成所述数据传输链路对应的有向无环图。

可选地，第二搭建模块进一步被配置为：

对所述数据传输链路的参数配置进行模板抽象，获得所述数据传输链路对应的数据管道的预设配置模板，所述预设配置模板包括所述数据管道的公共配置和自定义配置。

可选地，第二搭建模块进一步被配置为：

确定所述预设配置模板中包括的公共配置和自定义配置；

根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，并调用所述节点对应的系统接口，获得搭建完成的目标数据管道。

可选地，第二搭建模块进一步被配置为：

确定所述预设配置模板中包括的自定义配置是否存在所述目标数据管道对应的目标自定义配置；

若不存在对应的目标自定义配置，则根据所述公共配置，配置所述有向无环图中包括的节点；

若存在对应的目标自定义配置，则确定所述目标自定义配置包括的目标节点，并根据所述目标自定义配置，对所述有向无环图中的目标节点进行配置，根据所述公共配置对所述有向无环图中除所述目标节点之外的节点进行配置。

可选地，第一确定模块704进一步被配置为：

获取所述待传输数据流的元信息；

在所述预设路由策略中查找所述元信息对应的数据管道；

将查找到的数据管道作为所述待传输数据流对应的目标数据管道。

本申请提供的数据传输装置，可以获取待传输数据流，然后通过路由层中的预设路由策略，确定待传输数据流对应的目标数据管道，该目标数据管道为基于有向无环图和预设配置模板预先搭建，之后通过目标数据管道传输待传输数据流。这种情况下，基于有向无环图和预设配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，通过有向无环图和预设配置模板可以自动、快速地搭建起数据管道，大大提高了数据管道的搭建效率，从而大大提高了数据传输效率。

上述为本实施例的一种数据传输装置的示意性方案。需要说明的是，该数据传输装置的技术方案与上述的数据传输方法的技术方案属于同一构思，数据传输装置的技术方案未详细描述的细节内容，均可以参见上述数据传输方法的技术方案的描述。

与上述方法实施例相对应，本申请还提供了数据管道搭建装置实施例，图8示出了本申请一实施例提供的一种数据管道搭建装置的结构示意图。如图8所示，该装置包括：

第二确定模块802，被配置为确定待传输数据的数据传输链路；

生成模块804，被配置为生成所述数据传输链路对应的有向无环图；

第一搭建模块806，被配置为根据所述有向无环图和预设配置模板，搭建所述数据传输链路对应的数据管道。

可选地，生成模块804进一步被配置为：

确定所述数据传输链路包括的传输环节；

按照所述传输环节的传输顺序，将各个传输环节作为有向无环图中的节点，生成所述数据传输链路对应的有向无环图。

可选地，该装置还包括获得模块，被配置为：

对所述数据传输链路的参数配置进行模板抽象，获得所述数据传输链路对应的数据管道的预设配置模板，所述预设配置模板包括所述数据管道的公共配置和自定义配置。

可选地，第一搭建模块806进一步被配置为：

确定所述预设配置模板中包括的公共配置和自定义配置；

根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，并调用所述节点对应的系统接口，获得搭建完成的目标数据管道。

可选地，第一搭建模块806进一步被配置为：

确定所述预设配置模板中包括的自定义配置是否存在所述目标数据管道对应的目标自定义配置；

若不存在对应的目标自定义配置，则根据所述公共配置，配置所述有向无环图中包括的节点；

若存在对应的目标自定义配置，则确定所述目标自定义配置包括的目标节点，并根据所述目标自定义配置，对所述有向无环图中的目标节点进行配置，根据所述公共配置对所述有向无环图中除所述目标节点之外的节点进行配置。

本申请提供的数据管道搭建装置，可以先确定数据传输链路包括的传输环节，将每个传输环节作为有向无环图中的一个节点，构造得到对应的有向无环图，然后基于有向无环图和预设配置模板可以针对数据管道中的各个节点统一快速进行配置，从而均衡各个节点之间的参数配置和资源分配，避免各个节点之间的配置冗余，如此通过有向无环图和预设配置模板可以自动、快速地拉起数据管道，大大提高了数据管道的搭建效率。

上述为本实施例的一种数据管道搭建装置的示意性方案。需要说明的是，该数据管道搭建装置的技术方案与上述的数据管道搭建方法的技术方案属于同一构思，数据管道搭建装置的技术方案未详细描述的细节内容，均可以参见上述数据管道搭建方法的技术方案的描述。

图9示出了根据本申请一实施例提供的一种计算设备的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。

计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本申请的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备900还可以是移动式或静止式的服务器。

其中，处理器920用于执行如下计算机可执行指令，以实现任意上述数据传输方法或者数据管道搭建方法的操作步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据传输方法或者数据管道搭建方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据传输方法或者数据管道搭建方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时以用于实现任意上述数据传输方法或者数据管道搭建方法的操作步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据传输方法或者数据管道搭建方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据传输方法或者数据管道搭建方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (11)

1.一种数据传输方法，其特征在于，包括：

获取待传输数据流，其中，所述待传输数据流中包含元信息，所述元信息指所述待传输数据流中的数据的信息，包括：数据的结构、语义、用途和用法；

通过路由层中的预设路由策略，确定所述待传输数据流的元信息对应的目标数据管道，其中，所述预设路由策略是元信息和数据管道之间的对应关系；

通过所述目标数据管道传输所述待传输数据流；

其中，所述目标数据管道搭建方法如下：

确定所述待传输数据流的数据传输链路，其中，所述数据传输链路是指数据传输的完整流程；

生成所述数据传输链路对应的有向无环图；

根据所述有向无环图和预设配置模板，搭建所述目标数据管道，所述预设配置模板为抽象所述数据传输链路的参数配置获得，且所述预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置。

2.根据权利要求1所述的数据传输方法，其特征在于，所述生成所述数据传输链路对应的有向无环图，包括：

确定所述数据传输链路包括的传输环节；

按照所述传输环节的传输顺序，将各个传输环节作为有向无环图中的节点，生成所述数据传输链路对应的有向无环图。

3.根据权利要求1或2所述的数据传输方法，其特征在于，所述根据所述有向无环图和预设配置模板，搭建所述目标数据管道之前，还包括：

对所述数据传输链路的参数配置进行模板抽象，获得所述数据传输链路对应的数据管道的预设配置模板，所述预设配置模板包括所述数据管道的公共配置和自定义配置。

4.根据权利要求3所述的数据传输方法，其特征在于，所述根据所述有向无环图和预设配置模板，搭建所述目标数据管道，包括：

确定所述预设配置模板中包括的公共配置和自定义配置；

根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，并调用所述节点对应的系统接口，获得搭建完成的目标数据管道。

5.根据权利要求4所述的数据传输方法，其特征在于，所述根据所述预设配置模板中包括的公共配置和自定义配置，配置所述有向无环图中包括的节点，包括：

确定所述预设配置模板中包括的自定义配置是否存在所述目标数据管道对应的目标自定义配置；

若不存在对应的目标自定义配置，则根据所述公共配置，配置所述有向无环图中包括的节点；

若存在对应的目标自定义配置，则确定所述目标自定义配置包括的目标节点，并根据所述目标自定义配置，对所述有向无环图中的目标节点进行配置，根据所述公共配置对所述有向无环图中除所述目标节点之外的节点进行配置。

6.根据权利要求1-2任一项所述的数据传输方法，其特征在于，所述通过路由层中的预设路由策略，确定所述待传输数据流对应的目标数据管道，包括：

获取所述待传输数据流的元信息；

在所述预设路由策略中查找所述元信息对应的数据管道；

将查找到的数据管道作为所述待传输数据流对应的目标数据管道。

7.一种数据管道搭建方法，其特征在于，包括：

确定待传输数据的数据传输链路，其中，所述数据传输链路指待传输数据流数据传输的完整流程，所述待传输数据流包含元信息，所述元信息指所述待传输数据流中的数据的信息，包括：数据的结构、语义、用途和用法；

生成所述数据传输链路对应的有向无环图；

根据所述有向无环图和预设配置模板，搭建所述数据传输链路对应的数据管道，其中，所述数据管道与所述待传输数据流的元信息对应，所述预设配置模板为抽象所述数据传输链路的参数配置获得，且所述预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置。

8.一种数据传输装置，其特征在于，包括：

获取模块，被配置为获取待传输数据流，其中，所述待传输数据流中包含元信息，所述元信息指所述待传输数据流中的数据的信息，包括：数据的结构、语义、用途和用法；

第一确定模块，被配置为通过路由层中的预设路由策略，确定所述待传输数据流的元信息对应的目标数据管道，其中，所述预设路由策略是元信息和数据管道之间的对应关系；

传输模块，被配置为通过所述目标数据管道传输所述待传输数据流；

第二搭建模块，被配置为确定所述待传输数据流的数据传输链路；生成所述数据传输链路对应的有向无环图；根据所述有向无环图和预设配置模板，搭建所述目标数据管道，所述预设配置模板为抽象所述数据传输链路的参数配置获得，且所述预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置。

9.一种数据管道搭建装置，其特征在于，包括：

第二确定模块，被配置为确定待传输数据的数据传输链路，其中，所述数据传输链路指待传输数据流数据传输的完整流程，所述待传输数据流包含元信息，所述元信息指所述待传输数据流中的数据的信息，包括：数据的结构、语义、用途和用法；

生成模块，被配置为生成所述数据传输链路对应的有向无环图；

第一搭建模块，被配置为根据所述有向无环图和预设配置模板，搭建所述数据传输链路对应的数据管道，其中，所述数据管道与元信息对应，所述预设配置模板为抽象所述数据传输链路的参数配置获得，且所述预设配置模板用于指示对数据传输链路中的各个环节涉及到的组件进行统一配置。

10.一种计算设备，其特征在于，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现上述权利要求1-6任一项所述数据传输方法或者权利要求7所述数据管道搭建方法的操作步骤。

11.一种计算机可读存储介质，其特征在于，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述权利要求1-6任一项所述数据传输方法或者权利要求7所述数据管道搭建方法的操作步骤。