CN109753536A - 一种数据对接装置和方法 - Google Patents

Abstract

本发明涉及一种数据对接装置和方法，所述数据对接装置包括：数据采集模块，配置用于获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；字段映射模块，配置用于根据所述映射关系和转化规则生成相对应的配置文件，并转发所述配置文件至对接代码生成模块；所述对接代码生成模块，配置用于接收所述配置文件并基于所述配置文件生成对接代码，以及转发所述对接代码至数据转化模块；所述数据转化模块，配置用于接收所述对接代码，根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据，能够有利于实现不同系统间数据的快速对接。

Description

一种数据对接装置和方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据对接装置和方法。

背景技术

近年来，随着移动互联网和信息技术的深入发展和普及应用，计算机应用行业的规模不断增大和业务全面拓展，行业内诞生了大量的互联网公司，同时，这些公司根据不同的业务需求开发了海量的业务系统。对顺丰而言，已经开发、维护、正在开发的系统数已达数百个，而且数量在不断增长，目前，大多数公司内部没有一个系统完备的系统与数据对接方法、工具，因此，有效的系统间数据对接方法与工具已经成为公司之间、公司部门之间进行对接的迫切需求。

目前解决各个系统之间数据转化的主要方式有：系统之间的负责人直接线下沟通、邮件或其他即时通讯软件沟通等。每对接一个新的系统都要做重复的工作，该过程造成大量不必要的时间和人力成本，且容易出错，综上，现有数据对接方法实现复杂场景下的冗杂库表对接时，存在以下问题：

1、多系统对接时，相关人员多、业务复杂；

2、多团队工作节奏有差异，效率不同，沟通成本高；

3、系统对接、数据对接往往只能是技术人员对接，范围窄。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种数据对接装置和方法。

根据本发明的一个方面，提供了一种数据对接装置，包括：

数据采集模块，配置用于获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；

字段映射模块，配置用于根据所述映射关系和转化规则生成相对应的配置文件，并转发所述配置文件至对接代码生成模块；

所述对接代码生成模块，配置用于接收所述配置文件并基于所述配置文件生成对接代码，以及转发所述对接代码至数据转化模块；

所述数据转化模块，配置用于接收所述对接代码，根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。

进一步的，所述对接数据包括一种或多种类型的对接字段，所述目标数据包括与对接字段相映射的目标字段。

进一步的，所述映射关系包括以下至少一种：一个对接字段映射一个目标字段、多个对接字段映射一个目标字段、一个对接字段映射多个目标字段。

进一步的，所述对接代码生成模块，包括

前后缀添加单元，配置用于向对接数据添加前后缀；

http查询添加单元，配置用于向对接数据添加http查询；

SQL查询添加单元，配置用于向对接数据添加SQL查询。

进一步的，所述对接数据、目标数据为XML格式或json格式，且对接数据、目标数据格式相同。

根据本发明的另一个方面，提供了一种数据对接方法，包括：

获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；

根据所述映射关系和转化规则生成相对应的配置文件；

基于所述配置文件生成对接代码；

根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。

进一步的，所述对接数据包括一种或多种类型的对接字段，所述目标数据包括与对接字段相映射的目标字段。

进一步的，所述映射关系包括以下至少一种：一个对接字段映射一个目标字段、多个对接字段映射一个目标字段、一个对接字段映射多个目标字段。

进一步的，所述转化规则包括以下至少一种：添加前后缀、添加http查询、添加SQL查询。

进一步的，所述对接数据、目标数据为XML格式或json格式，且对接数据、目标数据格式相同。

根据本发明的另一个方面，提供一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。

根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明示例的一种数据对接装置，通过建立映射关系和转化规则生成对接代码，能够有利于实现不同业务系统间数据的快速对接，降低了数据对接难度，减少不同业务系统间对接时对接人员的数量，同时提高了数据对接效率。

2、本发明示例的一种数据对接方法，通过建立映射关系和转化规则，实现不同系统间数据的快速对接，对接代码可以将一个业务系统的数据快速与另一个业务系统需要的数据进行对接，提高数据对接效率，同时降低了数据对接难度，降低数据对接时团队间关于数据对接的沟通成本。

附图说明

图1为本发明对接方法的流程图。

图2为本发明的结构框图。

图3位本发明可视化界面示意图。

图4为本发明的计算机系统的结构示意图。

具体实施方式

为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。

实施例1：

一种数据对接装置，包括：

数据采集模块，配置用于获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；所述对接数据、目标数据为XML格式或json格式；所述对接数据包括一种或多种类型的对接字段，所述目标数据包括与对接字段相映射的目标字段，所述映射关系包括以下至少一种：一个对接字段映射一个目标字段、多个对接字段映射一个目标字段、一个对接字段映射多个目标字段。所述转化规则包括以下至少一种：添加前后缀、添加http查询、添加SQL查询；如图3所示，数据存储在数据库，库是数据库、表是数据库中创建的表，每个表都包含一种或多种类型的字段，作为可选方案，还包括数据可视化模块，在生成对接代码时通过计算机设备构建前端运行环境，配置生成可视化界面，方便用户确定并选择各类型对接字段及其对应的目标字段之间的映射关系、转化规则。

字段映射模块，配置用于根据所述映射关系和转化规则生成相对应的配置文件，配置文件指的是需要进行转化的各对接字段、目标字段对应关系，各对接字段、目标字段对应关系的对应关系以json格式保存，整个配置文件是以json构成的array数组或者list集合，转化规则、映射关系被存储在json格式的文件中，并转发所述配置文件至对接代码生成模块。

所述对接代码生成模块，配置用于接收所述配置文件并基于所述配置文件生成对接代码，以及转发所述对接代码至数据转化模块，对接程序启动后，输入配置文件的全路径，路径就是文件所在的目录，对接程序即可生成，所述对接代码生成模块，包括：前后缀添加单元，配置用于向对接数据添加前后缀；http查询添加单元，配置用于向对接数据添加http查询；SQL查询添加单元，配置用于向对接数据添加SQL查询，对接代码将对接数据各类型的对接字段与目标数据中的目标字段的映射关系、转化规则翻译成为可被识别的计算机语言。

所述数据转化模块，配置用于接收所述对接代码，根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。每个业务系统都是有数据的，各个系统之间数据需要对接时，通过建立映射关系和转化规则生成对接代码，实际应用中可以将自有系统的数据与需要对接的系统数据通过对接代码进行转化，实现不同系统间数据的快速对接，降低了数据对接难度，减少不同系统间对接时对接人员的数量，同时提高了数据对接效率。

如图1、2所示，本实施例的数据对接装置对应的对接方法，包括：

S1：获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；对接是一个业务系统需要另一业务系统的数据，对接后是业务系统把数据传输过去，不同业务系统数据对接时，往往通过json或者XML数据格式进行，XML数据的适用范围更广，不用人工一一填写了，人工选择不同的库表，进行对接字段，所述对接数据、目标数据为XML格式或json格式，且对接数据、目标数据格式相同。

所所述映射关系包括以下至少一种：

1)一个对接字段映射一个目标字段，如对接数据中使用年龄，而目标数据中使用age，则对接数据年龄映射一个目标数据age；

2)多个对接字段映射一个目标字段，如对接数据中使用年龄，而目标数据中分别列出具体年龄age1、age2……agen，则对接数据年龄映射多个目标数据具体年龄；

3)一个对接字段映射多个目标字段；

所述转化规则包括以下至少一种：添加前后缀、添加http查询、添加SQL查询。

S2：构建前端运行环境，配置生成可视化界面，方便用户确定并选择各类型对接字段及其对应的目标字段之间的映射关系、转化规则。

S3：根据所述映射关系和转化规则生成相对应的配置文件；配置文件指的是需要进行转化的各对接字段、目标字段对应关系，各对接字段、目标字段对应关系以json格式保存，整个配置文件是以json构成的array数组或者list集合，转化规则、映射关系被存储在json格式的文件中。

S4：基于所述配置文件生成对接代码，所述配置文件生成对接代码时首先总结映射关系和转化规则的类型，提取映射关系和转化规则的公共类型、抽象公共类型，并进行实现、写出代码生成工具的代码，打包生成软件，这个软件的输入是配置文件的存在路径，输出是处理厂对应关系的代码，如ERP系统(企业管理系统)对接WMS系统(仓储管理系统)，ERP系统的MoClass字段需要对接WMS系统的ErpOrderType，首先生成转化规则的配置文件，根据实际情况需要，满足一一对应的关系，并且不对需转化的内容进行其他任何的处理，即生成了样例中的配置规则。

S5：根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。

本实施例数据对接方法可以将目标数据直接导入与目标数据具有相同数据格式的其他系统，避免重复开发；通过对接代码降低了不同系统间的数据对接难度，数据对接人员不限于研发人员，还可以由产品经理、业务、运营等其他成员。

本发明中示例的设备，通过处理器执行上述数据对接方法，能够降低数据对接难度，减少不同系统间对接时对接人员的数量。

本发明中示例的可读存储介质，储存有被处理器执行时实现的所述数据对接方法，便于数据对接装置的使用及推广。进一步介绍如下：

计算机系统包括中央处理单元(CPU)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储部分加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM103中，还存储有系统操作所需的各种程序和数据。CPU 101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口105。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。

特别地，根据本发明的实施例，上文参考流程图4描述的过程可以被实现为计算机软件程序。例如，本发明的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)101执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例1的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种数据对接装置，包括数据采集模块、字段映射模块、对接代码生成模块、数据转化模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据采集模块还可以被描述为“用于获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则的数据采集模块。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的数据对接方法。

例如，所述电子设备可以实现如图4中所示的：步骤S1：获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；步骤S2：根据所述映射关系和转化规则生成相对应的配置文件；步骤S3：基于所述配置文件生成对接代码；步骤S4：根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。

Claims (10)

1.一种数据对接装置，其特征在于，包括：

数据采集模块，配置用于获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；

字段映射模块，配置用于根据所述映射关系和转化规则生成相对应的配置文件，并转发所述配置文件至对接代码生成模块；

所述对接代码生成模块，配置用于接收所述配置文件并基于所述配置文件生成对接代码，以及转发所述对接代码至数据转化模块；

所述数据转化模块，配置用于接收所述对接代码，根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。

2.根据权利要求1所述的数据处理装置，其特征在于，所述对接数据包括一种或多种类型的对接字段，所述目标数据包括与对接字段相映射的目标字段。

3.根据权利要求2所述的数据处理装置，其特征在于，所述映射关系包括以下至少一种：一个对接字段映射一个目标字段、多个对接字段映射一个目标字段、一个对接字段映射多个目标字段。

4.根据权利要求1所述的数据处理装置，其特征在于，所述对接代码生成模块，包括

前后缀添加单元，配置用于向对接数据添加前后缀；

http查询添加单元，配置用于向对接数据添加http查询；

SQL查询添加单元，配置用于向对接数据添加SQL查询。

5.根据权利要求1-4任意一项所述的数据处理装置，其特征在于，所述对接数据、目标数据为XML格式或json格式，且对接数据、目标数据格式相同。

6.一种数据对接方法，其特征在于，包括：

获取对接数据，以供用户确定对接数据与目标数据的映射关系并基于所述映射关系确定对接数据、目标数据的转化规则；

根据所述映射关系和转化规则生成相对应的配置文件；

基于所述配置文件生成对接代码；

根据所述对接代码将所述对接数据基于所述映射关系转化为目标数据。

7.根据权利要求6所述的数据对接方法，其特征在于，所述对接数据包括一种或多种类型的对接字段，所述目标数据包括与对接字段相映射的目标字段。

8.根据权利要求7所述的数据对接方法，其特征在于，所述映射关系包括以下至少一种：一个对接字段映射一个目标字段、多个对接字段映射一个目标字段、一个对接字段映射多个目标字段。

9.根据权利要求6所述的数据对接方法，其特征在于，所述转化规则包括以下至少一种：添加前后缀、添加http查询、添加SQL查询。

10.根据权利要求6-9所述的数据对接方法，其特征在于，所述对接数据、目标数据为XML格式或json格式，且对接数据、目标数据格式相同。