CN114895893A - 多源数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种多源数据处理方法、装置、设备及存储介质，属于云数据技术领域。该方法包括：基于组件添加操作，在组件编辑界面中添加组件对应的功能控件；响应于对功能控件的编辑操作，确定组件编辑界面中功能控件的排列架构和数据处理参数；响应于编排结束操作，基于排列架构以及各个组件的数据处理参数，生成配置文件；基于配置文件生成数据处理程序。将多源异构数据处理流程所涉及到的逻辑事件封装为独立的组件，提供了一种可视化的流程编排交互平台，无需用户进行定制化开发程序，能够降低学习成本和开发成本，且可以发挥组件的可复用性完成不同场景之间的重复性工作，节约计算资源和存储资源。

Description

多源数据处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及云数据技术领域，特别涉及一种多源数据处理方法、装置、设备及存储介质。

背景技术

随着信息化的推进，数据的采集、存储、处理和传播的数量与日俱增。企业之间数据共享，可以使更多用户充分地使用已有数据资源，减少资料收集、数据采集等重复劳动。而不同数据源的数据在内容、格式和获取方式上千差万别，阻碍了数据在各系统中的流动与共享，因此如何对数据进行有效的集成管理成为急需解决的问题。

相关技术中，用户通常针对每种使用场景定制开发程序，完成不同源之间的数据对接。数据对接主要分为三个阶段：主动或被动的数据获取，需要根据不同源数据支持的获取方式进行编码；数据加工，基于源数据的数据格式以及目标平台的数据格式，通过编码完成格式转换；数据上送，即将转换后的数据发送至终端。

然而，采用定制化开发程序需要针对每种使用场景单独进行开发，程序的复用性较低且开发过程需要耗费大量人力物力，并且不同的场景之间可能存在重叠的部分，导致存在一些重复性的工作。

发明内容

本申请实施例提供了一种多源数据处理方法、装置、设备及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种多源数据处理方法，所述方法包括：

基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，所述组件是对数据处理事件对应的计算机程序的封装；

响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，所述排列架构用于指示数据处理流程，所述数据处理参数用于指示数据处理方式，所述数据处理流程是将不同数据源的数据进行合并处理的流程；

响应于编排结束操作，基于所述排列架构以及各个组件的数据处理参数，生成配置文件，所述配置文件中包含用于执行所述数据处理流程的指令；

基于所述配置文件生成数据处理程序，所述数据处理程序用于运行以按照所述数据处理流程和所述数据处理参数进行数据处理。

另一方面，本申请实施例提供了一种多源数据处理装置，所述装置包括：

控件添加模块，用于基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，所述组件是对数据处理事件对应的计算机程序的封装；

确定模块，用于响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，所述排列架构用于指示数据处理流程，所述数据处理参数用于指示数据处理方式，所述数据处理流程是将不同数据源的数据进行合并处理的流程；

第一生成模块，用于响应于编排结束操作，基于所述排列架构以及各个组件的数据处理参数，生成配置文件，所述配置文件中包含用于执行所述数据处理流程的指令；

第二生成模块，用于基于所述配置文件生成数据处理程序，所述数据处理程序用于运行以按照所述数据处理流程和所述数据处理参数进行数据处理。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的多源数据处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的多源数据处理方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的多源数据处理方法。

本申请实施例提供的技术方案至少包括以下有益效果：

本申请实施例中，将多源异构数据处理流程所涉及到的逻辑事件封装为独立的组件，提供了一种可视化的流程编排交互平台，用户通过该平台可以添加数据处理流程中所需的功能组件，并通过调整组件对应的界面控件调整流程执行逻辑，以及通过触发控件设置组件对应的参数等，实现组件功能，设置完成后自动生成数据处理程序，用以运行并按照编排流程进行多源异构数据处理，无需用户进行定制化开发程序，相比于相关技术中针对每个应用场景开发完整数据处理程序的方式，能够降低学习成本和开发成本，且可以发挥组件的可复用性完成不同场景之间的重复性工作，节约计算资源和存储资源。

附图说明

图1是本申请一个示例性实施例提供的多源数据处理方法的流程图；

图2是本申请一个示例性实施例提供的组件编辑界面的示意图；

图3是本申请另一个示例性实施例提供的多源数据处理方法的流程图；

图4是本申请一个示例性实施例提供的参数设置界面的示意图；

图5是本申请一个示例性实施例提供的组件编排流程的示意图；

图6是本申请一个示例性实施例提供的生成数据处理程序的流程的示意图；

图7是本申请一个示例性实施例提供的多源数据处理装置的结构框图；

图8是本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

相关技术中，针对不同数据源的数据共享，用户通常针对每种使用场景定制开发程序，完成不同源之间的数据对接。数据对接主要分为三个阶段：主动或被动的数据获取，需要根据不同源数据支持的获取方式进行编码；数据加工(过滤/转换)，基于源数据的数据格式以及目标平台的数据格式，通过编码完成格式转换；数据上送，即将转换后的数据发送至终端。然而，采用定制化开发程序需要针对每种使用场景单独进行开发，程序的复用性较低且开发过程需要耗费大量人力物力，并且不同的场景之间可能存在重叠的部分，导致存在一些重复性的工作，且这种重复性的工作不能很好地沉淀和复用。

为了解决上述技术问题，本申请实施例提供了一种多源数据处理方法，将多源异构数据处理流程所涉及到的逻辑事件封装为独立的组件，上传至可视化的流程编排交互平台，用户通过该平台可以添加数据处理流程中所需的功能组件，并通过调整组件对应的界面控件调整流程执行逻辑，以及通过触发控件设置组件对应的参数等，实现组件功能，设置完成后自动生成数据处理程序，用以运行并按照编排流程进行多源异构数据处理。整个服务编排过程中无需用户进行定制化开发程序，相比于相关技术中针对每个应用场景开发完整数据处理程序的方式，能够降低学习成本和开发成本，且可以发挥组件的可复用性完成不同场景之间的重复性工作，节约计算资源和存储资源。

图1示出了本申请一个示例性实施例提供的多源数据处理方法的流程图。本实施例以该方法应用于具有云数据处理能力的计算机设备为例进行说明，该方法包括如下步骤。

步骤101，基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，组件是对数据处理事件对应的计算机程序的封装。

开发人员预先基于多源数据处理的各种应用场景需要设置的逻辑事件(例如数据拉取事件、数据上传事件、格式转换事件等)进行程序开发，将各个逻辑事件对应的计算机程序封装为独立的组件，例如数据拉取组件、数据上传组件、格式转换组件等，并在可视化流程编排平台中上传组件，用户可以通过该可视化平台，使用需要的组件进行流程编排。

计算机设备接收到组件添加操作后，将该操作所指示的目标组件对应的功能控件添加显示在组件编辑界面中的画布内(组件编辑区域内)，以便在画布中数据处理流程的编排和设置。可选的，组件添加操作的操作类型可以为点击操作、长按操作、拖拽操作等，本申请实施例对此不作限定。在一种可能的实施方式中，组件编辑界面中显示有各个组件对应的选择控件，当接收到对目标组件对应的选择控件的拖拽操作时，计算机设备基于拖拽操作的结束位置，显示目标组件对应的功能控件，即选择控件用于触发选择组件、显示组件对应的功能控件，功能控件用于触发流程排布和功能参数设置。

示意性的，图2示出了一种可视化流程编排平台的组件编辑界面的示意图。组件编辑界面左侧为组件选择列表201，该组件选择列表201中显示有各个组件对应的选择控件，当接收到对流程触发组件对应的选择控件“时间”的拖拽操作时，基于拖拽操作的结束位置，在右侧画布中显示流程触发控件202。

步骤102，响应于对功能控件的编辑操作，确定组件编辑界面中功能控件的排列架构和数据处理参数。

其中，排列架构用于指示数据处理流程，数据处理参数用于指示数据处理方式，数据处理流程是对多源异构数据进行合并处理的流程。

组件编辑界面中显示的功能控件共同组成多源数据处理场景的完整架构，其中组件之间的连接关系决定了数据处理的逻辑顺序，用户可以根据场景对应的数据处理逻辑调整组件编辑界面中组件的排列架构，例如，数据拉取组件之后连接格式转换组件，则指示在拉取某一数据源中的数据之后对拉取到的数据进行格式转换。功能控件对应的数据处理参数决定了计算机设备在执行组件对应的事件流程时对数据的处理方式，例如对数据拉取组件设置拉取起始时间和拉取周期，则计算机设备将在拉取起始时间开始拉取数据，并每隔拉取周期执行一次拉取流程。

组件编辑界面中的功能控件能够接收编辑操作，该编辑操作包括流程编排操作和参数设置操作，计算机设备基于接收到的编辑操作，更新功能控件的排列架构和数据处理参数。

步骤103，响应于编排结束操作，基于排列架构以及各个组件的数据处理参数，生成配置文件，配置文件中包含用于执行数据处理流程的指令。

当接收到编排结束操作时，计算机设备按照组件编辑界面中功能组件当下的排列架构和数据处理参数生成配置文件，该配置文件中包含用于执行数据处理流程的指令，该指令指示计算机设备如何调用组件以及在调用组件时按照何种方式进行数据处理。

步骤104，基于配置文件生成数据处理程序，数据处理程序用于运行以按照数据处理流程和数据处理参数进行数据处理。

在一种可能的实施方式中，为了实现用户所编排的流程，并提高实用性，计算机设备基于配置文件以及流程所涉及到的组件，打包生成一个独立化应用，即数据处理程序，计算机设备可以在本地运行该数据处理程序，进行多源异构数据处理，或者，也可以将该数据处理程序发送至其它设备，本申请实施例对此不作限定。

综上所述，本申请实施例中，将多源异构数据处理流程所涉及到的逻辑事件封装为独立的组件，提供了一种可视化的流程编排交互平台，用户通过该平台可以添加数据处理流程中所需的功能组件，并通过调整组件对应的界面控件调整流程执行逻辑，以及通过触发控件设置组件对应的参数等，实现组件功能，设置完成后自动生成数据处理程序，用以运行并按照编排流程进行多源异构数据处理，无需用户进行定制化开发程序，相比于相关技术中针对每个应用场景开发完整数据处理程序的方式，能够降低学习成本和开发成本，且可以发挥组件的可复用性完成不同场景之间的重复性工作，节约计算资源和存储资源。

图3示出了本申请另一个示例性实施例提供的多源数据处理方法的流程图。本实施例以该方法应用于具有云数据处理能力的计算机设备为例进行说明，该方法包括如下步骤。

步骤301，基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，组件是对数据处理事件对应的计算机程序的封装。

步骤301的具体实施方式可以参考上述步骤101，本申请实施例在此不再赘述。

步骤302，响应于对目标功能控件的移动操作，基于移动操作所指示的控件显示位置以及与其它功能控件的连接关系，更新排列架构。

其中，连接关系包括串联和并联。对于串联的功能控件，计算机设备将按照连接顺序依次调用对应的组件进行数据处理，对于并联的功能控件，计算机设备将同步调用其对应的组件进行数据处理。如图2所示，流程触发控件202连接并指向数据获取控件203，其连接关系为串联。

在一种可能的实施方式中，计算机设备在接收到组件添加操作时，基于组件添加操作的结束位置确定功能控件的显示位置，并更新控件组合的排列架构，当接收到对组件编辑界面中功能组件的移动操作时，还可以基于移动操作的结束位置更新功能控件的显示位置以及与其它控件的连接方式，即用户可以对界面中已添加的控件进行位置和连接关系的调整。

可选的，计算机设备基于功能控件之间的位置关系自动确定控件之间的连接方式并进行连接，通过连接标记(例如带有箭头指向的连接线)展示当前的排列架构，用户可以手动更改控件的位置和连接关系，例如，功能控件A在功能控件B上方，且功能控件A指向功能控件B，当接收到对功能控件A的移动操作，将功能控件A移动至功能控件B下方时，计算机设备自动将连接关系由A-B改为B-A；或者，计算机设备不自动调整连接关系，用户需要手动添加或更改。

步骤303，响应于对目标功能控件的触发操作，显示目标功能控件对应组件的参数设置界面。

在一种可能的实施方式中，计算机设备接收到对目标功能控件的触发操作后，显示目标功能控件对应的参数设置界面，该参数设置界面用于设置目标功能控件对应的组件的运行参数，该参数用于指示计算机设备进行数据处理的方式。用户可以通过触发显示功能控件对应的参数设置界面，对功能控件对应的组件进行参数设置。不同组件对应的参数设置界面的设置内容不同，例如，流程触发组件对应的设置内容中包含触发时间、数据获取组件对应的设置内容中包含数据源等。

步骤304，基于参数设置界面中的参数设置操作，获取目标功能控件对应的数据处理参数。

用户通过参数设置界面设置组件对应参数，计算机设备基于参数设置界面中的参数设置操作，获取各个组件对应的数据处理参数，用于后续生成配置文件以及打包生成独立化的应用程序。

在一种可能的实施方式中，功能控件包括流程触发组件对应的流程触发控件，流程触发组件用于实现数据拉取功能，步骤303包括如下步骤：

步骤303a，响应于对流程触发控件的触发操作，显示流程触发组件的参数设置界面。

流程触发组件是用于按照数据处理参数所指示的时间，触发启动完整流程的组件。当接收到对组件编辑界面中流程触发控件的触发操作时，计算机设备通过组件编辑界面显示流程触发组件的参数设置界面，用户可以通过该参数设置界面设置流程触发时间。

步骤304包括如下步骤：

步骤304a，响应于参数设置界面中的时间输入操作，确定数据处理流程的起始时间。

通常，数据的处理是多次、定时触发的流程，因此配置文件需要指示计算机设备何时进行数据处理，用户可以通过流程触发组件的参数设置界面进行设置。可选的，对于数据处理流程的起始时间，应用程序运行时立即启动流程，或者，在特定的时刻启动流程。

可选的，用户可以手动输入起始时间，或者，从起始时间一栏的下拉列表中选择起始时间等。图4示出了一种流程触发控件401对应的参数设置界面402的示意图。

在另一种可能的实施方式中，若用户只需进行一次数据处理，则无需在流程中添加流程触发组件，在需要数据处理时运行一次独立的应用程序即可。

步骤304b，响应于参数设置界面中的间隔输入操作，确定数据处理流程的触发间隔。

当计算机设备需要多次执行数据处理流程时，还可以通过流程触发组件的参数设置界面设置触发间隔，以使应用程序运行时，计算机设备能够按照配置文件所指示的起始时间开始数据处理流程，并按照触发间隔定时触发数据处理流程。

可选的，除了上述按照参数指示的时间定时触发类型的流程触发组件之外，交互平台中还提供有其它类型的流程触发组件，例如用于按照特定的流程触发指令(比如数据获取方的数据订阅指令)进行流程触发的组件，开发人员可以预先开发并提供多种流程触发组件，以满足用户不同的数据获取需求，本申请实施例对此不作限定。

示意性的，如图4所示，其示出了一种组件编辑界面中流程触发控件401对应的参数设置界面402。

在一种可能的实施方式中，功能控件包括数据获取组件对应的数据获取控件，数据获取组件用于实现从一个或多个数据源中获取数据的功能，步骤303包括如下步骤：

步骤303b，响应于对数据获取控件的触发操作，显示数据获取组件的参数设置界面。

数据获取组件是用于从数据源中拉取数据，或者接收数据源主动发送的数据的组件。

步骤304包括如下步骤：

步骤304c，响应于参数设置界面中的数据源输入操作，确定数据获取地址。

步骤304d，响应于参数设置界面中的方法输入操作，确定数据请求方法，数据请求方法用于指示从数据源中读取数据的方式。

在一种可能的实施方式中，用户从控件选择列表中拖拽出一个或多个数据获取组件，并在其对应的参数设置界面中国设置数据请求方法(例如post或get)、数据请求地址，例如数据源的资源定位符(Uniform Resource Locator，URL)。计算机设备在运行应用程序时，按照流程触发组件所指示的时间，通过调用数据获取组件，完成数据拉取功能。

在一种可能的实施方式中，功能控件包括格式转换组件对应的格式转换控件，格式转换组件用于实现数据格式转换功能，步骤303包括如下步骤：

步骤303c，响应于对格式转换控件的触发操作，显示格式转换组件的参数设置界面。

由于不同数据源存储数据的格式不同，例如，数据属性、属性的先后顺序、数据标识的格式等不同，因此在进行多源数据处理时，需要对获取到的数据进行统一的格式转化，将其转化为一致的数据格式。

当接收到对格式转换组件的触发操作时，计算机设备显示格式转换组件对应的参数设置界面，由于不同数据源的数据存储格式和数据内容千差万别，且网络中存在大量的数据源，因此难以提供对所有数据源中数据的所有转化方式，且数据转化命令的编写较为简单，因此格式转化组件对应的参数设置界面中显示有提供用户编写脚本文件的区域，用于可根据格式转化需求自行编写脚本文件。

步骤304包括如下步骤：

步骤304e，响应于参数设置界面中的脚本输入操作，获取脚本文件，脚本文件中包含格式转换信息，格式转换信息用于指示数据源中的数据存储格式、目标存储位置的数据存储格式以及格式转换方式。

示意性的，用户需要将数据源A中的云数据上传至数据源B，实现数据共享，而数据源A中的数据存储格式为“名称(name)，存储时间(time)，状态(state)，电压(voltage)”，数据源B中的数据存储格式为“标识(assetID)，存储时间(time)，测量点(measurepoints)，状态(INV.State)”，则用户需要在该参数设置界面中编写脚本文件，将从数据源A处获取到的数据从第一种格式转化为第二种格式。

在一种可能的实施方式中，功能控件包括数据上传组件对应的数据上传控件，数据上传组件用于实现将数据上传至其它数据存储平台的功能，步骤303包括如下步骤：

步骤303d，响应于对数据上传控件的触发操作，显示数据上传组件的参数设置界面。

步骤304包括如下步骤：

步骤304f，响应于参数设置界面中的地址输入操作，确定数据存储地址，数据上传组件用于将拉取到的数据上传至数据存储地址。

如图3所示，步骤302与步骤303至304之间属于并列关系，在执行次序上并无严格的先后顺序，用户可以在调整组件连接关系之后设置参数，也可以在设置参数之后调整连接关系。

示意性的，图5示出了一种将数据源A中的数据上传至数据源B的组件编排流程。首先是流程触发组件trigger，其次是数据获取组件httppull，该组件用于拉取数据源A(cloudA)的数据，然后是格式转换组件dataconvert，该组件用于将拉取到的数据从cloudA的数据格式转换为cloudB的数据格式，最后接数据上传组件datasend，该组件用于将格式转换后的数据上传至cloudB，至此完成了不同源之间的数据共享。

步骤305，解析组件编辑界面中的功能控件，确定数据处理流程对应的组件，以及基于排列架构以及各个组件的数据处理参数生成配置文件。

在一种可能的实施方式中，当接收到编排结束操作(例如对组件编辑界面中导出控件的触发操作)时，计算机设备通过服务组件(service)解析编排流程，基于编排流程中各个功能控件对应的组件、控件之间的连接方式(即组件调用的逻辑顺序)以及对应的数据处理参数生成配置文件。

步骤306，基于解析得到的组件，从组件库中读取组件对应的软件包文件，软件包文件中封装有组件对应的执行文件。

在一种可能的实施方式中，交互平台对应有组件库，组件库中包含该交互平台所支持的组件的软件包文件(jar包)。计算机设备按照编排流程中涉及到的组件，从组件库中读取对应的jar包，以便后续生成数据处理程序。

步骤307，对配置文件、软件包文件以及执行引擎进行打包处理，生成数据处理程序。

计算机设备将生成的配置文件、读取到的jar包以及执行引擎打包处理，生成数据处理程序，其中执行引擎用于基于配置文件调用软件包文件，实现上述编排流程，进行多源异构数据处理。

上述实施例示出了将不同数据源的数据进行合并存储，即将一个(或多个)数据源的数据发送至其它数据存储空间的流程编排过程。在一种可能的实施方式中，可视化交互平台中还提供有其它组件，用于组合完成各种场景的数据处理过程，例如，对多个数据源的数据进行合并存储、对多个数据源的数据进行运算等。图7示出了多源异构数据处理的完整过程。首先基于组件编辑界面中接收到的用户操作(组件添加操作、组件编辑操作)，获取编排流程，其中编排流程主要由三类组件构成，包括触发组件(input/trigger)、逻辑组件(logic)和行为组件(action)；获取到完整的编排流程后，基于编排流程进行解析，生成数据处理的配置文件，并获取各个组件对应的jar包；将配置文件和组件jar包发送至执行引擎，并打包，生成独立化应用。整个数据处理服务编排过程中，用户只需根据数据处理逻辑选择需要的组件并组合生成完整架构，以及设置相关的参数即可，无需进行完整的程序开发，学习成本较低且应用广泛。

图7是本申请一个示例性实施例提供的多源数据处理装置的结构框图，该装置包括：

控件添加模块701，用于基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，所述组件是对数据处理事件对应的计算机程序的封装；

确定模块702，用于响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，所述排列架构用于指示数据处理流程，所述数据处理参数用于指示数据处理方式，所述数据处理流程是对多源异构数据进行合并处理的流程；

第一生成模块703，用于响应于编排结束操作，基于所述排列架构以及各个组件的数据处理参数，生成配置文件，所述配置文件中包含用于执行所述数据处理流程的指令；

第二生成模块704，用于基于所述配置文件生成数据处理程序，所述数据处理程序用于运行以按照所述数据处理流程和所述数据处理参数进行数据处理。

可选的，所述确定模块702，包括：

第一确定单元，用于响应于对目标功能控件的移动操作，基于所述移动操作所指示的控件显示位置以及与其它功能控件的连接关系，更新所述排列架构，所述连接关系包括串联和并联；

第二确定单元，用于响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应组件的参数设置界面；基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数。

可选的，所述功能控件包括数据获取组件对应的数据获取控件，所述第一确定单元，还用于：

响应于对所述数据获取控件的触发操作，显示所述数据获取组件的参数设置界面；

所述第二确定单元，还用于：

响应于所述参数设置界面中的数据源输入操作，确定数据获取地址；

响应于所述参数设置界面中的方法输入操作，确定数据请求方法，所述数据请求方法用于指示从所述数据源中读取数据的方式。

可选的，所述功能控件包括格式转换组件对应的格式转换控件，所述第一确定单元，还用于：

响应于对所述格式转换控件的触发操作，显示所述格式转换组件的参数设置界面；

所述第二确定单元，还用于：

响应于所述参数设置界面中的脚本输入操作，获取脚本文件，所述脚本文件中包含格式转换信息，所述格式转换信息用于指示数据源中的数据存储格式、目标存储位置的数据存储格式以及格式转换方式。

可选的，所述功能控件包括数据上传组件对应的数据上传控件，所述第一确定单元，还用于：

响应于对所述数据上传控件的触发操作，显示所述数据上传组件的参数设置界面；

所述第二确定单元，还用于：

响应于所述参数设置界面中的地址输入操作，确定数据存储地址，所述数据上传组件用于将拉取到的数据上传至所述数据存储地址。

可选的，所述功能控件还包括流程触发组件对应的流程触发控件，所述第一确定单元，还用于：

响应于对所述流程触发控件的触发操作，显示所述流程触发组件的参数设置界面；

所述第二确定单元，还用于：

响应于所述参数设置界面中的时间输入操作，确定所述数据处理流程的起始时间；

响应于所述参数设置界面中的间隔输入操作，确定所述数据处理流程的触发间隔。

可选的，所述第一生成模块703，包括：

第一生成单元，用于解析所述组件编辑界面中的功能控件，确定所述数据处理流程对应的组件，以及基于所述排列架构以及各个组件的数据处理参数生成所述配置文件；

所述第二生成模块704，包括：

读取单元，用于基于解析得到的组件，从组件库中读取组件对应的软件包文件，所述软件包文件中封装有组件对应的执行文件；

第二生成单元，用于对所述配置文件、所述软件包文件以及执行引擎进行打包处理，生成所述数据处理程序。

综上所述，本申请实施例中，将多源异构数据处理流程所涉及到的逻辑事件封装为独立的组件，提供了一种可视化的流程编排交互平台，用户通过该平台可以添加数据处理流程中所需的功能组件，并通过调整组件对应的界面控件调整流程执行逻辑，以及通过触发控件设置组件对应的参数等，实现组件功能，设置完成后自动生成数据处理程序，用以运行并按照编排流程进行多源异构数据处理，无需用户进行定制化开发程序，相比于相关技术中针对每个应用场景开发完整数据处理程序的方式，能够降低学习成本和开发成本，且可以发挥组件的可复用性完成不同场景之间的重复性工作，节约计算资源和存储资源。

请参考图8，其示出了本申请一个实施例提供的计算机设备的结构示意图。具体来讲：

所述计算机设备800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出(Input/Output，I/O)控制器806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存或其他固态存储其技术，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本申请的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述多源数据处理方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上各个实施例所述的多源数据处理方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的多源数据处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种多源数据处理方法，其特征在于，所述方法包括：

基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，所述组件是对数据处理事件对应的计算机程序的封装；

响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，所述排列架构用于指示数据处理流程，所述数据处理参数用于指示数据处理方式，所述数据处理流程是对多源异构数据进行合并处理的流程；

响应于编排结束操作，基于所述排列架构以及各个组件的数据处理参数，生成配置文件，所述配置文件中包含用于执行所述数据处理流程的指令；

基于所述配置文件生成数据处理程序，所述数据处理程序用于运行以按照所述数据处理流程和所述数据处理参数进行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，包括：

响应于对目标功能控件的移动操作，基于所述移动操作所指示的控件显示位置以及与其它功能控件的连接关系，更新所述排列架构，所述连接关系包括串联和并联；

响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应组件的参数设置界面；基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数。

3.根据权利要求2所述的方法，其特征在于，所述功能控件包括数据获取组件对应的数据获取控件，所述响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应的参数设置界面，包括：

响应于对所述数据获取控件的触发操作，显示所述数据获取组件的参数设置界面；

所述基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数，包括：

响应于所述参数设置界面中的数据源输入操作，确定数据获取地址；

响应于所述参数设置界面中的方法输入操作，确定数据请求方法，所述数据请求方法用于指示从所述数据源中读取数据的方式。

4.根据权利要求2所述的方法，其特征在于，所述功能控件包括格式转换组件对应的格式转换控件，所述响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应的参数设置界面，包括：

响应于对所述格式转换控件的触发操作，显示所述格式转换组件的参数设置界面；

所述基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数，包括：

响应于所述参数设置界面中的脚本输入操作，获取脚本文件，所述脚本文件中包含格式转换信息，所述格式转换信息用于指示数据源中的数据存储格式、目标存储位置的数据存储格式以及格式转换方式。

5.根据权利要求2所述的方法，其特征在于，所述功能控件包括数据上传组件对应的数据上传控件，所述响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应的参数设置界面，包括：

响应于对所述数据上传控件的触发操作，显示所述数据上传组件的参数设置界面；

所述基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数，包括：

响应于所述参数设置界面中的地址输入操作，确定数据存储地址，所述数据上传组件用于将拉取到的数据上传至所述数据存储地址。

6.根据权利要求2所述的方法，其特征在于，所述功能控件还包括流程触发组件对应的流程触发控件，所述响应于对所述目标功能控件的触发操作，显示所述目标功能控件对应的参数设置界面，包括：

响应于对所述流程触发控件的触发操作，显示所述流程触发组件的参数设置界面；

所述基于所述参数设置界面中的参数设置操作，获取所述目标功能控件对应的所述数据处理参数，包括：

响应于所述参数设置界面中的时间输入操作，确定所述数据处理流程的起始时间；

响应于所述参数设置界面中的间隔输入操作，确定所述数据处理流程的触发间隔。

7.根据权利要求1至6任一所述的方法，其特征在于，所述基于所述排列架构以及各个组件的数据处理参数，生成配置文件，包括：

解析所述组件编辑界面中的功能控件，确定所述数据处理流程对应的组件，以及基于所述排列架构以及各个组件的数据处理参数生成所述配置文件；

所述基于所述配置文件生成数据处理程序，包括：

基于解析得到的组件，从组件库中读取组件对应的软件包文件，所述软件包文件中封装有组件对应的执行文件；

对所述配置文件、所述软件包文件以及执行引擎进行打包处理，生成所述数据处理程序。

8.一种多源数据处理装置，其特征在于，所述装置包括：

控件添加模块，用于基于组件添加操作，在组件编辑界面中添加组件对应的功能控件，所述组件是对数据处理事件对应的计算机程序的封装；

确定模块，用于响应于对所述功能控件的编辑操作，确定所述组件编辑界面中功能控件的排列架构和数据处理参数，所述排列架构用于指示数据处理流程，所述数据处理参数用于指示数据处理方式，所述数据处理流程是对多源异构数据进行合并处理的流程；

第一生成模块，用于响应于编排结束操作，基于所述排列架构以及各个组件的数据处理参数，生成配置文件，所述配置文件中包含用于执行所述数据处理流程的指令；

第二生成模块，用于基于所述配置文件生成数据处理程序，所述数据处理程序用于运行以按照所述数据处理流程和所述数据处理参数进行数据处理。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的多源数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的多源数据处理方法。

11.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，服务器的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述服务器执行如权利要求1至7任一所述的多源数据处理方法。

Images