CN110457378A - 一种数据处理的方法和设备 - Google Patents

Abstract

本申请实施例提供了一种数据处理的方法和设备，应用于第一设备，该方法包括获取用户输入的待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；根据输出配置信息生成逻辑执行文件，逻辑执行文件包含伪代码，伪代码表示对所述多个来源数据模型执行所述运算操作，并根据对应关系输出待输出数据模型的数据实体；将逻辑执行文件提供给第二设备，以使第二设备根据所述逻辑执行文件输出待输出数据模型的数据实体。简化了数据处理的流程，实现了并行开发，进而降低了开发后系统升级的困难程度。

Description

一种数据处理的方法和设备

技术领域

本申请涉及数据开发领域，尤其涉及一种数据处理的方法和设备。

背景技术

数据处理(data processing)是对数据进行采集、存储、检索、加工、变换和传输的过程。数据处理的目的就是从大量的、杂乱无章的、难以区分的数据中提取并处理出有价值、有意义的数据。常用的数据处理流程采用抽取-转换-加载(extract-transform-load，ETL)流程，ETL流程是将从来源端获取的数据，经过抽取、转换、加载至目的端的过程，具体如图1所示，由数据源层进行ETL操作，依次得到抽取层、归档层、汇总层，然后针对上层应用所需的不同数据构建不同的数据仓库。

目前，ETL流程的开发工具通常采用图元拖拽的方式来实现，一般分为控制流和数据流两个层次进行开发，控制流负责总体逻辑处理，如图2所示，从来源端抽取数据，然后进行数据转换；数据流负责控制流单一节点的具体实现，如图3所示的数据流示意图，数据流控制一个节点(例如H001:tb_ns_cm_alu_lacat_update_h)，需要经过节点(H003：连接1，H004：连接2，H006：连接3和H007：连接4)才能到H008：转换1，再进行后续(H015：联合1到H016：转换3，再到H017：管理加载1)的操作，实现数据处理的过程。

这些开发工具需要流程开发者很清楚每个数据节点在数据流中的工作步骤，按照工作步骤对数据节点进行开发，开发过程中，只能串行开发，即在完成一个数据节点的开发后才能进行下一数据节点的开发，导致开发效率低。且因为数据节点在数据流中存在依赖关系，无法实现并行开发，进一步降低了开发效率。如果一个数据流中的数据节点比较多时，这种开发效率的降低会更显著。

发明内容

本申请提供了一种数据处理的方法和设备，解决了ETL流程开发效率低的问题。

第一方面，提供了一种数据处理的方法，该方法可以包括：

获取用户输入的待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；

根据输出配置信息生成逻辑执行文件，逻辑执行文件包含语法树，语法树包含伪代码，伪代码表示对多个来源数据模型执行运算操作，并根据对应关系输出待输出数据模型的数据实体；

将逻辑执行文件提供给第二设备，以使第二设备根据逻辑执行文件输出待输出数据模型的数据实体。

采用该数据处理方法，根据用户输入的输出数据模型的配置信息可以自动生成逻辑执行文件，即无需开发者人工对数据流的开发，提高了开发效率。

结合第一方面，在第一方面的第一种可能实现的方式中，来源数据模型对应的数据实体为数据库表或者文本文件。

结合第一方面，在第一方面的第二种可能实现的方式中，多个来源数据模型之间的运算操作包含关联运算或者集合运算；关联运算包含内连接运算、左外连接运算、右外连接运算或全连接运算,集合运算包括交集运算、并集运算或差集运算。

结合第一方面，在第一方面的第三种可能实现的方式中，对应关系为：

待输出数据模型中的一个属性对应多个来源数据模型中的一个属性。

结合第一方面的第三种可能实现的方式，在第一方面的第四种可能实现的方式中，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性，或者，待输出数据模型中的一个属性对应多个来源数据模型中一个属性的部分属性值，或者，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性经计算后得到的值。

结合第一方面，在第一方面的第五种可能实现的方式中，对应关系为：

待输出数据模型的一个属性对应多个来源数据模型中的多个属性，或者，待输出数据模型的一个属性由多个来源数据模型中的多个属性中的部分属性值组成，或者，待输出数据模型的一个属性等于多个来源数据模型中的多个属性经计算后得到的值。

结合第一方面，在第一方面的第六种可能实现的方式中，当待输出数据模型包含多个属性时，根据输出配置信息生成逻辑执行文件，包括：

在多个来源数据模型中去除重复的来源数据模型和相应的运算操作。

结合第一方面或者第一方面的上述任意可能实现的方式，在第一方面的第七种可能实现的方式中，获取用户输入的待输出数据模型的输出配置信息，包括：

显示候选数据模型界面、数据模型间运算关系配置界面和输出数据模型的属性配置界面；

在候选数据模型界面中显示候选数据模型列表并接收第一选择事件，根据第一选择事件在数据模型间运算关系配置界面显示由第一选择事件触发选中的来源数据模型；

在数据模型间运算关系配置界面上显示运算操作列表并接收第二选择事件，根据第二选择事件显示由第二选择事件触发选中的运算关系；

在输出数据模型的属性配置界面上接收用户输入，输入包括待输出数据模型的属性与来源数据模型的属性之间的对应关系。

第二方面，提供了一种数据处理的方法，该方法可以包括：

从第一设备获取逻辑执行文件，逻辑执行文件包含语法树，语法树包含伪代码，伪代码表示对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体，其中，属性对应关系是待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；

将逻辑执行文件转化为物理执行文件，物理执行文件包含可执行代码，可执行代码经执行后可对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体；

执行物理执行文件，以对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体。

采用该数据处理方法，根据从第一设备获取的逻辑执行文件，将其转化为适用于不同应用语法结构的物理执行文件，提高了开发效率，简化了数据处理的流程。

在一个可能的实现中，在将逻辑执行文件转化为物理执行文件之前，方法还包括：

接收用户输入的物理介质信息，物理介质信息包括数据实体类型。

在一个可能的实现中，当数据实体类型为数据库表时，物理执行文件为数据库对应的数据库脚本。

在一个可能的实现中当数据实体类型为文本文件时，物理执行文件为编程语言代码，编程语言代码包括java语言代码，C语言代码，C++语言代码，或者C#语言代码。

第三方面，提供了一种数据处理的设备，数据处理设备包括处理器和存储器，其中，

存储器，用于存储程序指令；

处理器，用于执行存储器中存储的程序指令，以使设备执行第一方面或者第一方面的任一可能实现的方式，或第二方面或者第二方面的任一种可能实现的方式。

第四方面，提供一种计算机存储介质，计算机存储介质用于存储程序，程序执行时实现第一方面或者第一方面的任一可能实现的方式，或第二方面或者第二方面的任一种可能实现的方式。

基于提供的数据处理方法和设备，通过获取用户输入的待输出数据模型的输出配置信息，根据用户输入的待输出数据模型的输出配置信息自动生成逻辑执行文件，根据逻辑执行文件就可以得到待输出数据模型的数据实体，提高了开发效率，提升了数据处理的效率。相比现有技术中ETL数据处理的流程，开发人员无需关心数据模型在数据流中的工作步骤，可针对每个数据模型的属性进行单独开发，实现了并行开发，也使并行开发后的流程能够正常兼容，也降低了系统升级的困难程度。

附图说明

图1为数据处理的流程示意图；

图2为控制流的示意图；

图3为数据流的示意图；

图4为一种数据流的示意图；

图5为本申请实施例提供的一种属性级别结构示意图；

图6为数据处理过程的示意图；

图7为本申请实施例提供的一种信息示意图；

图8为本申请实施例提供的一种设备示意图；

图9为本申请实施例提供的一种数据处理的方法流程图；

图10为本申请实施例提供的一种IDE界面示意图；

图11为本申请实施例提供的一种运算操作的示意图；

图12本申请实施例提供的另一种数据处理的方法流程图；

图13为本申请实施例提供的一种设备的结构示意图。

具体实施方式

本申请实施例提供了一种数据处理的方法和设备，根据用户输入的待输出数据模型的输出配置信息自动生成逻辑执行文件，根据逻辑执行文件就可以得到待输出数据模型的数据实体，提高了开发效率，进一步提升了数据处理的效率。相比现有技术中ETL数据处理的流程，开发人员无需关心数据模型在数据流中的工作步骤，可针对每个数据模型的属性进行单独开发，实现了并行开发，也使并行开发后的流程能够正常兼容，也降低了系统升级的困难程度。

现有技术的ETL数据处理过程，如图4所示，图4为一种数据流的示意图。图4所示的数据流只是举例说明，在大数据库的数据处理过程中，还可能会使用更复杂的数据流。

如图4所示，该数据流中可以包括多个类型的节点。例如以H001:tb_su_user_d,H002:ti_te_user_imeiinfo_d,H005:tb_te_sper_d,H008:tb_bi_audio_d,H030:tb_ne_cell_info_d,H031:tb_ne_bs_info_d,H012:tb_bi_data_d,H022:tb_su_user_prod_d,H020:tb_pr_product_d,H026:ti_ba_user_3g_info_d命名的节点，这类节点中H001，H002，H005，H008，H030，H031，H012，H022和H020作为数据的来源端(输入端)，H026作为数据的目的端，即输出端。图4中还示出来源端与目的端中间的节点，例如以Join命名的H003，H009，H015，H039，H032和H035，用于将来自不同的来源端的数据进行合并。以转换(convert)命名的H004，H025，H010，H013，H036和H025，用于将与之相连接的Join节点处理后的数据进行转换等操作。以lookup命名的H028和H038，以Groupby命名的H011，H014和H037，以及以Filter命名的H027。图4所示节点的命名可以根据用户的需要由用户设定。

在图4的数据流中，若需要数据来源端H001:tb_su_user_d,数据来源端H002:ti_te_user_imeiinfo_d和数据来源端H005:tb_te_sper_d的数据处理后的输出数据，则需要经过节点包括H003:Join1。H004:Convert1，H028:Lookup1，H009:Join3，H015:Join4，H039:Join5，H025:Convert7，H027:Filter1，才能达到输出端H026:ti_ba_user_3g_info_d得到处理后的输出数据。在对该数据流进行开发过程中，要对整个从数据来源端H001:tb_su_user_d,H002:ti_te_user_imeiinfo_d和H005:tb_te_sper_d到数据输出端H026:ti_ba_user_3g_info_d中间过程的所有节点进行开发。数据处理和开发过程中各节点之间的依赖性比较大，开发过程中，要整个数据流中的节点整体停止工作或者整体启动才能被编辑，操作起来比较复杂。换句话讲，就是数据处理或者开发的最小粒度为数据流级别，因此，若开发者对整个数据流进行并行开发，则开发后的数据流的兼容性就比较差，例如使用者A和B同时在某个数据流1(flow1)基础上进行数据流开发，在使用时，经常会遇到A和B开发出来的流程不兼容，无法同时实现A和B开发的数据流，即多版本数据流的融合性比较差。同时，也造成开发后升级困难的问题。

为了实现数据流开发操作简单，实现并行开发以及开发后系统升级方便，本申请实施例将数据流的多个节点按照属性级别进行划分，如图5所示。在本申请实施例中，数据流中的每个节点，都可以称为一个数据模型。数据模型是数据特征在逻辑上的一种抽象，具体请参见图6所示，图6为数据处理过程的示意图。数据模型经过指定物理介质的物理化结果称为数据实体。数据实体可以为数据库表或者文本文件等。

如图5所示，将数据流中的节点分为不同的属性级别，

如图5所示，将数据处理过程中可能涉及到的多个数据模型划分为N+1个级别，N为大于等于1的正整数。如图6所示，0级模型可以作为数据的来源端，N级模型可以作为数据的目的端。例如，待输出数据模型的输出数据实体要从0级数据模型到N级数据模型最终得到待输出数据模型的输出数据实体，那么从0级数据模型到N级数据模型经过的所有数据模型都可以称为输出数据模型的中间来源数据模型。在本申请实施例中，多个数据模型被划分的等级命名可以从0级到N级，也可以从1级到N+1级，关于级别的命名可以由用户根据需要设定，在本申请实施例中对此不作限制。

在本申请实施例中，开发者可以基于数据模型的属性级别，针对每个属性级别的数据模型进行单独开发或者设置，可实现了并行开发，且在数据流合并开发时能够正常兼容。而不是现有技术中以数据模型或者数据流级别进行开发，这里说的数据流级别为如图4所示，数据从H001到H026，即经过H001—H003—H004—H028—H009—H039—H025—H02716—H026整个数据流链路；也不是采用现有技术中的网元拖拽的方式进行开发。在本申请实施例中是通过待输出数据模型的输出数据实体的多个来源数据模型，多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系自动生成逻辑执行文件。其中，逻辑执行文件包含语法树，语法树是包括一个句型的所有可能的推到过程。语法树包括伪代码，伪代码是用于告诉汇编程序如何进行汇编的指令；它既不控制机器的操作也不被汇编成机器代码，只能为汇编程序所识别并指导汇编如何进行。在本申请实施例中，伪代码表示对待输出模型的输出数据实体的多个来源数据模型执行运算操作，并根据输出数据模型中的属性与多个来源数据模型中属性的对应关系输出待输出数据模型的数据实体。根据逻辑执行文件输出待输出数据模型的数据实体。

在本申请实施例中，根据逻辑执行文件输出待输出数据模型的数据实体可以具体为将逻辑执行文件转化为物理执行文件，执行物理执行文件以对多个来源数据模型执行运算操作并根据所述对应关系输出待输出数据模型的数据实体。

对于整个数据处理流程，如图5所示，输出数据实体可以来源于0级数据模型，中间可以经过多个属性级别的数据模型到达N级数据模型输出。输出的数据实体可以包括至少一个个输出字段，每个字段均为待输出数据模型中属性的属性值。简单讲，例如待输出数据模型为一个表，表中的内容为该待输出数据模型的属性，表中某行某列对应的具体的内容为该待输出数据模型的属性值。每个输出字段可能来自不同属性级别的数据模型。

0级数据模型到N级数据模型之间，各数据模型间运算操作可以包括关联运算和/或集合运算。关联运算可以包括内连接运算、左外连接运算、右外连接运算或者全连接运算。集合运算可以包括交集运算、并集运算或差集运算。

各属性级别中的每个数据模型在数据库中的具体形式可以为“表”，每个“表”中可以包括多列数据，多列数据为数据库中存储的数据信息。例如数据模型1对应表A，数据模型2对应表B，下面结合表A和表B对数据模型间的关联运算：内连接运算、左外连接运算、右外连接运算和全连接运算进行说明。

表A

	A标识	A名称
			1	1	A1
2	2	A2
			3	3	A3
4	4	A4
			5	5	A5
6	6	A6
			7	7	A7
8	8	A8
			9	9	A9

表B

表A中的A标识与表B中的B标识为表A和表B的连接字段。表A和表B的信息如图7所示。其中，内连接运算就是将表A中A标识和表B中B标识相同的行信息留下(图7中的表A和表B的共有信息C)，删除表A和表B中其余的行信息(图7中的信息Aa+信息Bb)，如表C所示。

表C

	A标识	A名称	B名称	B标识
					1	2	A2	B50	2
2	4	A4	B51	4
					3	5	A5	B52	5
4	7	A7	B53	7
					5	6	A6	B54	6
6	8	A8	B55	8
					7	2	A2	B56	2
8	7	A7	B58	7

外连接运算分为左外连接运算和右外连接运算。如图7所示，左外连接是信息Aa与信息C的信息集合；右外连接是信息Bb与信息C的信息集合。全连接是信息A与信息B的集合。

如图7所示，交集运算表示A信息和B信息的共有信息的集合C；并集运算表示A信息和B信息的所有的信息的集合；差集运算是A信息中除与B信息的共有信息C之外的信息集合Aa，或者差集为B信息中除与A信息的共有信息C之外的信息集合Bb。

在本申请实施例中，图5所示的各属性级别的数据模型可以通过一个或者两个设备来完成数据的处理，该设备具有控制图5所示的各属性级别的数据模型进行数据处理的能力。该设备可以为服务器或者具有控制各属性级别的数据模型进行数据处理的能力的设备。如图8所示，该设备可以包括处理器，存储器，输入/输出接口和通信接口，处理器，存储器，输入/输出接口和通信接口通过总线连接。处理器用于执行图9和/或图12的方法。在本申请实施例中，该设备执行图9或图12的方法可以通过安装在该设备上的应用来实现，也可以通过命令行来实现。该设备还可以包括存储器，用于存储图9所示方法中描述的逻辑执行文件，或图12中的物理执行文件，运行物理执行文件输出待输出数据模型的数据实体。

输入/输出接口用于转发用户通过输入输出设备(例如键盘、触摸屏)输入的命令或者数据。在本申请实施例中，输入设备用于用户通过该输入设备输入待输出数据模型的输出配置信息。在一个实施例中，输出配置信息可以为用户根据结果表输入的输出字段，输出字段的来源数据模型，以及来源数据模型之间的运算操作。在另一个实施例中，为了方便用户操作，输出配置信息也可以为用户编写的逻辑执行文件的内容。在本申请实施例中，例如该设备为电脑，那么输入设备可以为键盘。

显示设备用于显示各种信息给用户。在本申请实施例中，显示设备可以为显示器，用于向用户显示所输入的输出配置信息或者用于显示最终输出的数据实体等信息。

在本申请实施例中，在该设备中预先配置可能用到的所有属性级别数据模型，数据模型之间的运算操作：包括关联运算(包括内连接运算、左外连接运算、右外连接运算和全连接运算)，以及集合运算(包括交集运算、并集运算、差集运算)等，并将这些信息存储在存储器中。

在本申请实施例中，处理器通过运行或执行存储在存储器内的软件程序和/或指令，以及调用存储在存储器内的数据，执行设备的各种功能和处理数据。处理器可以是中央处理器(central processing unit，CPU)、通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。处理器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。可选的，处理器可包括一个或多个处理器单元。可选的，处理器还可集成应用处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。

存储器可用于存储软件程序以及指令，处理器通过运行存储在存储器的软件程序以及指令，从而执行设备的各种功能应用以及数据处理。存储器可以包括易失性存储器，例如非挥发性动态随机存取内存(Nonvolatile Random Access Memory，NVRAM)、相变化随机存取内存(Phase Change RAM，PRAM)、磁阻式随机存取内存(Magetoresistive RAM，MRAM)等；存储器还可以包括非易失性存储器，例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、闪存器件，例如反或闪存(NOR flash memory)或是反与闪存(NAND flash memory)、半导体器件，例如固态硬盘(Solid State Disk，SSD)等。所述存储器还可以包括上述种类的存储器的组合。

通信接口用于将本设备与其它设备、服务器、网络进行连接。例如，通信接口可以通过有线或无线连接到网络以连接到外部其它的设备或服务器。

总线除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。

下面结合图9至图12对本申请的技术方案进行描述。以下提到的“第一设备”和“第二设备”仅仅是为了区分设备，对设备本身不作任何限定。

图9为本申请实施例提供的一种数据处理的方法流程图。该方法的执行主体为第一设备，在图9中，该第一设备可以简称为设备。如图9所示，该方法可以包括以下步骤：

S101，获取用户输入的待输出模型的输出配置信息。

输出配置信息包括多个来源数据模型，多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系。

可选地，在本申请的一个实施例中，设备可以通过命令行的方式获取用户输入的待输出数据模型的输出配置信息。

在本申请的另一实施例中，设备可以通过该设备上的候选数据模型界面、数据模型间预案算关系配置界面和输出数据模型的属性配置界面获取待输出模型的输出配置信息。获取用户输入的待输出数据模型的输出配置信息，可以包括：

显示候选数据模型界面、数据模型间运算关系配置界面和输出数据模型的属性配置界面；在候选数据模型界面中显示候选数据模型列表并接收第一选择事件，根据第一选择事件在数据模型间运算关系配置界面显示由第一选择事件触发选中的来源数据模型；在数据模型间运算关系配置界面上显示运算操作列表并接收第二选择事件，根据第二选择事件显示由第二选择事件触发选中的运算关系；在输出数据模型的属性配置界面上接收用户输入，该输入包括待输出数据模型的属性与来源数据模型的属性之间的所述对应关系。

该候选数据模型界面，数据模型间运算关系配置界面和输出数据模型的属性配置界面可以为该设备上安装的一个应用的操作界面，例如该操作界面为集成开发环境(integrated development environment，IDE)的界面，如图10所示。

用户预先得到的结果表，结果表为将要存储于数据库中的数据表；结果表中可以包括多个来源数据模型，待输出数据模型中的属性与多个来源数据模型中的属性的对应关系。待输出数据模型的属性可以称为输出字段，待输出数据模型中的属性与多个来源数据模型中的属性的对应关系可以称为输出字段的血缘关系，或者称为输出字段的生成公式。

在图10中，用户可以根据结果表在IDE界面的左侧来源数据模型目录下选择来源实体模型，例如选择Gb/luPS路由更新事件v2、基站小区日表、基站信息日表、基站小区日表_目的地和基线信息日表_目的地5个来源数据模型，选择后以拖拽的方式拖拽到IDE界面的中央位置，呈现如图10所示的5个数据模型对应的数据模型。图10中数据模型的呈现形式以矩形为例，但在本申请实施例中数据模型的呈现形状或者形式不作限定。

用户通过点击IDE界面所呈现的5个数据模型连线间的运算操作按钮“小圆圈”，IDE界面显示运算操作界面，如图11所示。用户可以选择运算操作中的关联运算和/或集合运算中的运算方式，例如选择关联运算中的全连接运算，集合运算中选择交集运算。

在一个实施例中，运算操作的呈现形式可以为如图11所示，点击数据模型之间连线上的运算操作按钮就出现所有运算操作的选项目录栏，用户运算操作目录栏中选择所需的运算操作。

在另一个实施例中，运算操作中的关联运算和集合运算可以通过数据模型之间连线上的不同运算操作按钮来实现。例如数据模型Gb/luPS路由更新事件v2和数据模型基站小区日表之间的连线上设置两个运算操作按钮，分别为关联运算操作按钮和集合运算操作按钮，用户通过分别点击这两个按钮，从相应的运算操作目录栏中选择相应的运算操作。

需要说明的是，在图10和图11中运算操作按钮以“小圆圈”的形态呈现，但还可以由其他形态呈现，例如，椭圆形，正方形，三角形等在本申请实施例中对此不作限制。

用户还可以通过IDE界面右侧的输出字段栏中的“新增”按钮，在输出字段栏内输入输出字段的名称和相应的生成输出字段的计算公式，即待输出数据模型的属性，以及待输出数据模型的属性与多个来源数据模型中的属性的对应关系。其中，IDE界面右侧靠近中央位置的第一列用于输入待输出数据模型的属性，第二列用于输入待输出数据模型的属性与多个来源数据模型中的属性的对应关系。

其中，待输出数据模型的属性与多个来源数据模型中的属性的对应关系为待输出数据模型中的一个属性对应多个来源数据模型中的一个属性。待输出数据模型中的一个属性等于多个来源数据模型中的一个属性，例如stat_hour，对应基站信息日表中的stat_hour；或者，待输出数据模型中的一个属性对应所述多个来源数据模型中一个属性的部分属性值，例如updata_time对应Substr(Gb/luPS路由更新事件v2updata_time0，6)，即updata_time对应Gb/luPS路由更新事件v2中的updata_time中的0至6个字符；或者，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性经计算后得到的值。

或者，待输出数据模型的一个属性对应多个来源数据模型中的多个属性，或者，待输出数据模型的一个属性由多个来源数据模型中的多个属性中的部分属性值组成，或者，待输出数据模型的一个属性等于多个来源数据模型中的多个属性经计算后得到的值。例如dst_cnt，对应(基站小区日表中的dst_cnt和基站小区日表_目的表dst_cnt)/60。

可选地，在本申请实施例中，输出字段栏内可以预留多个输入待输出数据的属性，以及对应的多个来源数据模型中属性的对应关系的输入框。当要输入的信息超过预留的输入框时，可以通过新增按钮增加输入栏的数量，以增加待输出数据的属性，以及待输出数据的属性对应的多个来源数据模型中属性的对应关系的输入。

经过用户在IDE界面的输入设备可以获取到用户输入的待数据数据模型的输出配置信息。

S102，根据输出配置信息生成逻辑执行文件。

逻辑执行文件包括语法树，语法树包括伪代码。伪代码表示对多个来源数据模型执行运算操作并根据所述对应关系输出待输出数据模型的数据实体。其中，数据实体可以为数据库表或者文本文件。

在本申请中，如图10所示，用户在IDE界面输入输出配置信息完成后，可以点击IDE界面的语法树，生成逻辑执行文件。在本申请实施例中，逻辑执行文件可以为逻辑脚本，或者称为数据库脚本，为纯逻辑上的表述文件，如sql任务或者spark任务。其中，sql形式，具体如下：

采用本申请实施例的数据处理方法，可以直接根据用户输入的待输出数据模型的输出配置信息，自动生成逻辑执行文件，简化了数据处理的流程，提升了数据处理的效率。同时，实现了并行开发，以及降低了开发后系统升级的困难程度。同时也降低了开发成本。

S103，将逻辑执行文件提供给第二设备，以使第二设备根据逻辑执行文件输出待输出数据模型的数据实体。

采用本申请实施例提供的数据处理方法，根据用户输入的待输出模型的输出配置信息自动生成逻辑执行文件，无需开发人员人工开发，提升了开发效率。且开发过程中，开发人员无需关心每个数据模型在数据流中的工作步骤，可针对每个数据模型的属性进行单独开发，实现了并行开发，开发后数据流能够正常的兼容，降低了系统升级的困难程度。

可选地，在一个实施例中，第二设备直接运行逻辑执行文件，以输出待输出数据模型的数据实体。

在另一个实施例中，第二设备将逻辑执行文件转化为物理执行文件，并运行物理执行文件以得到输出数据模型的数据实体。

在一个实施例中，第二设备将逻辑执行文件转化为物理执行文件可以有以下方式：

方式一：第二设备根据默认的数据实体类型将逻辑执行文件转化为模型数据实体类型对应的物理执行文件；

方式二：第二设备在将逻辑执行文件转化为物理执行文件之前，接收用户输入的物理介质信息，物理介质信息包括数据实体类型，第二设备根据接收到的数据实体类型将转化逻辑执行文件得到物理执行文件。

其中，物理执行文件包含可执行代码，可执行代码包经执行后可对多个来源数据模型执行运算操作并根据所述属性对应关系输出待输出数据模型的数据实体。

在本申请实施例中，第一设备与第二设备可以部署在同一个物理设备上，也可以分开部署在两个不同的物理设备上。可选地，在本申请的一个实施例中，当待输出数据模型包含多个属性时，根据输出配置信息生成逻辑执行文件，包括：在多个来源数据模型中取出重复的来源数据模型和相应的运算操作。

采用本申请实施例提供的数据处理方法，可以同时输出待输出数据模型的多个属性。

可选地，在本申请的一个实施例中，设备还可以直接通过输入设备输入逻辑执行文件的内容，该输入过程可以采用其他的输入界面显示输入的内容，输入完成后，用户可以通过点击页面的保存按钮，保存并运行该逻辑执行文件的内容，以输出待输出数据模型的数据实体。采用该操作方式，可以提高数据处理的方式，例如，当设备无法自动生成逻辑执行文件的时候，可以通过人工在输入栏中输入逻辑执行文件的内容，进而完成数据的处理。

图12为本申请实施例提供的另一种数据处理方法的流程图。该方法的执行主体为第二设备，如图12所示，该方法可以包括以下步骤：

S201，从第一设备获取逻辑执行文件。

逻辑执行文件包含语法树，语法树包含伪代码，伪代码表示对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体，其中，属性对应关系是待输出数据模型中的属性与多个来源数据模型中的属性的对应关系。该逻辑执行文件为图9中的逻辑执行文件。

S202，将所逻辑执行文件转化为物理执行文件。

可选地，在本申请实施例中，第二设备将逻辑执行文件转化为物理执行文件可以通过以下方式实现：

第二设备根据默认的数据实体类型将逻辑执行文件转化为模型数据实体类型对应的物理执行文件；或者，第二设备在将逻辑执行文件转化为物理执行文件之前，接收用户输入的物理介质信息，物理介质信息包括数据实体类型，第二设备根据接收到的数据实体类型将转化逻辑执行文件得到物理执行文件。

其中，物理执行文件包含可执行代码，可执行代码经执行后可对多个来源数据模型执行运算操作并根据所述属性对应关系输出待输出数据模型的数据实体。

S203，执行物理执行文件，以对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体。

采用本申请实施例的数据处理方法，将逻辑执行文件转化为物理执行文件，扩大了数据实体类型的使用，简化了数据处理的流程，提升了数据处理的效率。

可选地，在将逻辑执行文件转化为物理执行文件之前，该方法还可以包括：

接收用户输入的物理介质信息，物理介质信息包括数据实体类型。

可选地，当数据实体类型为数据库表时，物理执行文件为数据库对应的数据库脚本。

可选地，当数据实体类型为文本文件时，物理执行文件为编程语言代码，编程语言代码包括java语言代码，C语言代码，C++语言代码，或者C#语言代码等。

图13为本申请实施例提供的一种设备示意图，如图13所示，该设备可以包括IDE输入单元301、实体关系解析单元302、实体物理化单元303和执行单元304。

IDE输入单元301用于用户输入待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系。实体关系解析单元302用于根据输出配置信息生成逻辑执行文件，逻辑执行文件包含语法树，语法树包含伪代码，伪代码表示对多个来源数据模型执行运算操作，并根据对应关系输出待输出数据模型的数据实体。实体物理化单元303用于将逻辑执行文件转化为不同应用所需要的语法格式的物理执行文件；执行单元304用于执行不执行物理执行文件，以对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体。

采用该设备，相对现有技术中，无需了解每个数据模型在数据流中的工作步骤，可根据用户数据输入的待输出数据模型的输出配置信息自动生成逻辑执行文件，提升了开发效率。同时可针对每个数据模型的属性进行单独开发实现了并行开发，且并行开发后数据流可正常兼容，也降低了开发后系统升级的困难程度。

可选地，在本申请的一个实施例中，来源数据模型对应的数据实体为数据库表或者文本文件。

可选地，在本申请的一个实施例中，多个来源数据模型之间的运算操作包含关联运算或者集合运算；关联运算包含内连接运算、左外连接运算、右外连接运算或全连接运算,集合运算包括交集运算、并集运算或差集运算。

可选地，在本申请的一个实施例中，所述对应关系为：待输出数据模型中的一个属性对应多个来源数据模型中的一个属性。

待输出数据模型中的一个属性等于多个来源数据模型中的所述一个属性，或者，待输出数据模型中的一个属性对应多个来源数据模型中一个属性的部分属性值，或者，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性经计算后得到的值。

可选地，在本申请的一个实施例中，所述对应关系为：待输出数据模型的一个属性对应多个来源数据模型中的多个属性，或者，待输出数据模型的一个属性由多个来源数据模型中的多个属性中的部分属性值组成，或者，待输出数据模型的一个属性等于多个来源数据模型中的多个属性经计算后得到的值。

可选地，在本申请的一个实施例中，当待输出数据模型包含多个属性时，根据输出配置信息生成逻辑执行文件，包括：在多个来源数据模型中去除重复的来源数据模型和相应的运算操作。例如，根据待输出数据模型的多个来源数据模型之间的运算操作，以及待输出数据模型中的多个属性与多个来源数据模型中的属性的对应关系得到多个来源数据模型的属性的集合，然后对多个来源属性模型的属性中重复的属性进行去除，并将相应的重复的运算操作进行去除，以得到逻辑生成文件，运行逻辑执行文件输出待输出数据模型的数据实体。

在本申请实施例中，设备将根据名称遍历待输出数据模型的多个来源数据模型的运算操作，以及待输出数据模型的多个属性与多个来源数据模型中的属性的对应关系得到多个来数据模型的属性的集合，如待输出数据模型的属性为标识2和标识4，来源数据模型均为表A和表B，表A和表B的之间的运算操作均为内连接，待输出模型的属性标识2与来源数据模型表A和来源数据模型表B的属性关系为标识2对应表A的标识2+表B的标识2，待输出模型的属性标识4与来源数据模型表A和来源数据模型表B的属性关系为标识4对应表A的标识4+表B的标识4；换句话讲，就是待输出数据模型的属性为标识2，来源数据模型为表A和表B，表A和表B的之间的运算操作均为内连接；待输出模型的属性标识2与来源数据模型表A和来源数据模型表B的属性关系为标识2对应表A的标识2+表B的标识2；待输出数据模型的另一个属性为标识4，来源数据模型也为表A和表B，表A和表B的之间的运算操作也均为内连接，待输出模型的属性标识4与来源数据模型表A和来源数据模型表B的属性关系为标识4对应表A的标识4+表B的标识4，那么对多个来源属性模型的属性中重复的属性进行去除，并将相应的重复的运算操作进行去除为：待输出数据模型的属性为标识2和标识4，来源数据模型均为表A和表B，表A和表B的之间的运算操作均为内连接，待输出模型的属性标识2/4与来源数据模型表A和来源数据模型表B的属性关系为标识2、4对应表A的标识2/4+表B的标识2/4；最终生成逻辑执行文件。

可选地，当数据实体类型为数据库表时，物理执行文件为数据库对应的数据库脚本。

可选地，当所述数据实体类型为文本文件时，物理执行文件为编程语言代码，编程语言代码包括java语言代码，C语言代码，C++语言代码，或者C#语言代码。

图13所示的设备可以实现图9和图12中的方法/步骤，达到与其相同的技术效果，为简洁描述，在此不再赘述。

本申请实施例还提供了一种数据处理的设备，如图8所示，该数据处理设备包括处理器和存储器，其中，

存储器，用于存储程序指令；

处理器，用于执行存储器中存储的程序指令，以使设备执行图9所示的方法。其具体过程为：

处理器获取用户输入的待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；根据输出配置信息生成逻辑执行文件，逻辑执行文件包含伪代码，伪代码表示对多个来源数据模型执行运算操作，并根据对应关系输出待输出数据模型的数据实体；将逻辑执行文件提供给第二设备，以使第二设备根据逻辑执行文件输出待输出数据模型的数据实体。

在一个实施例中，来源数据模型对应的数据实体为数据库表或者文本文件。

在一个实施例中，多个来源数据模型之间的运算操作包含关联运算或者集合运算；关联运算包含内连接运算、左外连接运算、右外连接运算或全连接运算,集合运算包括交集运算、并集运算或差集运算。

在一个实施例中，对应关系为：待输出数据模型中的一个属性对应多个来源数据模型中的一个属性。

在一个实施例中，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性，或者，待输出数据模型中的一个属性对应多个来源数据模型中一个属性的部分属性值，或者，待输出数据模型中的一个属性等于多个来源数据模型中的一个属性经计算后得到的值。

在一个实施例中，对应关系为：待输出数据模型的一个属性对应多个来源数据模型中的多个属性，或者，待输出数据模型的一个属性由多个来源数据模型中的多个属性中的部分属性值组成，或者，待输出数据模型的一个属性等于多个来源数据模型中的多个属性经计算后得到的值。

在一个实施例中，当待输出数据模型包含多个属性时，处理器根据输出配置信息生成逻辑执行文件，包括：

在多个来源数据模型中去除重复的来源数据模型和相应的运算操作。

在一个实施例中，处理器获取用户输入的待输出数据模型的输出配置信息，包括：

显示候选数据模型界面、数据模型间运算关系配置界面和输出数据模型的属性配置界面；

在候选数据模型界面中显示候选数据模型列表并接收第一选择事件，根据第一选择事件在数据模型间运算关系配置界面显示由第一选择事件触发选中的来源数据模型；

在数据模型间运算关系配置界面上显示运算操作列表并接收第二选择事件，根据第二选择事件显示由第二选择事件触发选中的运算关系；

在输出数据模型的属性配置界面上接收用户输入，输入包括待输出数据模型的属性与来源数据模型的属性之间的对应关系。

基于提供的数据处理设备，通过获取用户输入的待输出数据模型的输出配置信息，根据用户输入的待输出数据模型的输出配置信息自动生成逻辑执行文件，根据逻辑执行文件就可以得到待输出数据模型的数据实体，提高了开发效率，提升了数据处理的效率。相比现有技术中ETL数据处理的流程，开发人员无需关心数据模型在数据流中的工作步骤，可针对每个数据模型的属性进行单独开发，实现了并行开发，也使并行开发后的流程能够正常兼容，也降低了系统升级的困难程度。

如图8所示，该数据处理设备还可以执行图12所示的方法。其具体过程为：

处理器从第一设备获取逻辑执行文件，逻辑执行文件包含伪代码，伪代码表示对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体，其中，属性对应关系是待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；

将逻辑执行文件转化为物理执行文件，物理执行文件包含可执行代码，可执行代码经执行后可对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体；

执行物理执行文件，以对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体。

在一个实施例中，在将逻辑执行文件转化为物理执行文件之前，方法还包括：

接收用户输入的物理介质信息，物理介质信息包括数据实体类型。

在一个实施例中，当数据实体类型为数据库表时，物理执行文件为数据库对应的数据库脚本。

在一个实施例中，当数据实体类型为文本文件时，物理执行文件为编程语言代码，编程语言代码包括java语言代码、C语言代码、C++语言代码、或者C#语言代码。

基于提供的数据处理方法和设备，通过获取用户输入的待输出数据模型的输出配置信息，根据用户输入的待输出数据模型的输出配置信息自动生成逻辑执行文件，根据逻辑执行文件就可以得到待输出数据模型的数据实体，提高了开发效率，提升了数据处理的效率。相比现有技术中ETL数据处理的流程，开发人员无需关心数据模型在数据流中的工作步骤，可针对每个数据模型的属性进行单独开发，实现了并行开发，也使并行开发后的流程能够正常兼容，也降低了系统升级的困难程度。

本申请实施例还提供了一种计算机存储介质，计算机存储介质用于存储程序，程序执行时实现图9和图12所示的方法。

在上述各个本申请实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读介质向另一个计算机可读介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种数据处理的方法，应用于第一设备，其特征在于，所述方法包括：

获取用户输入的待输出数据模型的输出配置信息，所述输出配置信息包含多个来源数据模型、所述多个来源数据模型之间的运算操作以及所述待输出数据模型中的属性与所述多个来源数据模型中的属性的对应关系；

根据所述输出配置信息生成逻辑执行文件，所述逻辑执行文件包含伪代码，所述伪代码表示对所述多个来源数据模型执行所述运算操作，并根据所述对应关系输出所述待输出数据模型的数据实体；

将所述逻辑执行文件提供给第二设备，以使所述第二设备根据所述逻辑执行文件输出所述待输出数据模型的数据实体。

2.根据权利要求1所述的方法，其特征在于，所述来源数据模型对应的数据实体为数据库表或者文本文件。

3.根据权利要求1所述的方法，其特征在于，所述多个来源数据模型之间的运算操作包含关联运算或者集合运算；所述关联运算包含内连接运算、左外连接运算、右外连接运算或全连接运算,所述集合运算包括交集运算、并集运算或差集运算。

4.根据权利要求1所述的方法，其特征在于，所述对应关系为：

所述待输出数据模型中的一个属性对应所述多个来源数据模型中的一个属性。

5.根据权利要求4所述的方法，其特征在于，所述待输出数据模型中的所述一个属性等于所述多个来源数据模型中的所述一个属性，或者，所述待输出数据模型中的所述一个属性对应所述多个来源数据模型中所述一个属性的部分属性值，或者，所述待输出数据模型中的所述一个属性等于所述多个来源数据模型中的所述一个属性经计算后得到的值。

6.根据权利要求1所述的方法，其特征在于，所述对应关系为：

所述待输出数据模型的一个属性对应所述多个来源数据模型中的多个属性，或者，所述待输出数据模型的一个属性由所述多个来源数据模型中的多个属性中的部分属性值组成，或者，所述待输出数据模型的一个属性等于所述多个来源数据模型中的多个属性经计算后得到的值。

7.根据权利要求1所述的方法，其特征在于，当所述待输出数据模型包含多个属性时，所述根据所述输出配置信息生成所述逻辑执行文件，包括：

在所述多个来源数据模型中去除重复的来源数据模型和相应的运算操作。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述获取用户输入的待输出数据模型的输出配置信息，包括：

显示候选数据模型界面、数据模型间运算关系配置界面和输出数据模型的属性配置界面；

在所述候选数据模型界面中显示候选数据模型列表并接收第一选择事件，根据所述第一选择事件在所述数据模型间运算关系配置界面显示由所述第一选择事件触发选中的所述来源数据模型；

在所述数据模型间运算关系配置界面上显示运算操作列表并接收第二选择事件，根据所述第二选择事件显示由所述第二选择事件触发选中的所述运算关系；

在所述输出数据模型的属性配置界面上接收用户输入，所述输入包括所述待输出数据模型的属性与所述来源数据模型的属性之间的所述对应关系。

9.一种数据处理的方法，应用于第二设备，其特征在于，所述方法包括：

从第一设备获取逻辑执行文件，所述逻辑执行文件包含伪代码，所述伪代码表示对多个来源数据模型执行运算操作并根据属性对应关系输出待输出数据模型的数据实体，其中，所述属性对应关系是所述待输出数据模型中的属性与所述多个来源数据模型中的属性的对应关系；

将所述逻辑执行文件转化为物理执行文件，所述物理执行文件包含可执行代码，所述可执行代码经执行后可对所述多个来源数据模型执行所述运算操作并根据所述属性对应关系输出所述待输出数据模型的数据实体；

执行所述物理执行文件，以对所述多个来源数据模型执行所述运算操作并根据所述属性对应关系输出所述待输出数据模型的数据实体。

10.根据权利要求9所述的方法，其特征在于，在将逻辑执行文件转化为物理执行文件之前，所述方法还包括：

接收用户输入的物理介质信息，所述物理介质信息包括数据实体类型。

11.根据权利要求10所述的方法，其特征在于，当所述数据实体类型为数据库表时，所述物理执行文件为所述数据库对应的数据库脚本。

12.根据权利要求10所述的方法，其特征在于，当所述数据实体类型为文本文件时，所述物理执行文件为编程语言代码，所述编程语言代码包括java语言代码、C语言代码、C++语言代码、或者C#语言代码。

13.一种数据处理的设备，其特征在于，所述数据处理设备包括处理器和存储器，其中，

所述存储器，用于存储程序指令；

所述处理器，用于执行所述存储器中所述存储的程序指令，以使所述设备执行权利要求1至12任一项所述的方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，所述程序执行时实现权利要求1至12任一项所述的方法。