CN114979251B - 一种跨系统协同服务异构数据交换系统 - Google Patents

Abstract

本发明公开了一种跨系统协同服务异构数据交换工具,包括多个模块，其中数据模型管理模块用于定义目标系统数据模型，数据映射管理模块用于定义目标系统数据模型与工具模型之间的数据映射，数据通道管理模块用于定义目标系统与本工具之间的数据通道，数据推送服务管理模块用于定义包括作为输出源的目标系统信息的推送信息，数据采集服务管理模块用于定义包括作为采集源的目标系统信息的采集信息，数据协同服务管理模块用于定义数据推送服务和数据采集服务。本方案提供一种数据交换工具，专业开发人员仅需开发最底层的源代码，没有固定的数据转换场景，也没有系统的限定，能够被用于各种数据交换场景。

Description

一种跨系统协同服务异构数据交换系统

技术领域

本发明属于多源异构数据处理领域，尤其是涉及一种跨系统协同服务异构数据交换系统。

背景技术

随着互联网技术的快速发展，政府、金融机构、各种社会组织团体、企业从自身数据采集的需求出发，需要采集各种不同数据源的实时数据。例如在电子信息产业领域，采集企业生产加工、元器件采购、销售订单、仓储入出库单、财务数据；在产业服务领域，采集物流订单、物流进度数据、仓储订单、仓储状态数据，在金融领域，采集企业工商、征信、经营管理数据，通过采集各个生产经营服务环节的数据并推送至业务系统供分析使用。但是，现有技术中通过综合数据处理和分析的系统进行数据调取、采集时，因为对接的数据源比较多，数据源的区分辨别技术比较低，因此采集数据多需要人工识别辅助，导致数据采集费时费力，成本居高不下，而且数据采集的准确性和全面性无法达到预期目标。

为了解决上述技术问题，也有方案提出了基于数据映射的数据交换中间件，例如中国专利公开的一种FlexE数据交换方法及交换设备[公开号：CN106850465B]，但是现有技术的数据交换中间件仍然存在一些问题，例如目前的数据交换工具都是由开发人员以代码的形式直接进行开发，便利性和直观性不足，需要依赖开发人员的专业水平，并且在开发人员开发以后就固定了该交换工具的数据转换场景，若后续因业务需要、系统更新等原因更新数据格式或新增系统及其数据格式就无法适用，需要开发人员重新开发数据交换工具或投入较大的精力进行修改。

发明内容

本发明的目的是针对上述问题，提供一种跨系统协同服务异构数据交换系统。

为达到上述目的，本发明采用了下列技术方案：

一种跨系统协同服务异构数据交换系统，包括数据协同服务管理模块、数据采集服务管理模块、数据推送服务管理模块、数据通道管理模块、数据映射管理模块和数据模型管理模块，所述的数据模型管理模块用于定义目标系统数据模型，所述的数据映射管理模块用于定义目标系统数据模型与工具模型之间的数据映射，所述的数据通道管理模块用于定义目标系统与本工具之间的数据通道，所述的数据推送服务管理模块用于定义包括作为输出源的目标系统信息的推送信息，所述的数据采集服务管理模块用于定义包括作为采集源的目标系统信息的采集信息，且目标系统信息均包括相应的数据映射和数据通道，所述的数据协同服务管理模块用于定义数据推送服务和数据采集服务。

在上述的跨系统协同服务异构数据交换系统中，所述的数据推送服务管理模块还用于定义推送服务编号、推送服务名称、推送服务分组和推送服务描述；

所述的数据协同服务管理模块用于通过指定推送服务信息定义数据推送服务。

在上述的跨系统协同服务异构数据交换系统中，所述的数据采集服务管理模块还用于定义采集服务编号、采集服务名称、采集服务分组和采集服务描述；

所述的数据协同服务管理模块用于通过指定采集服务信息定义数据采集服务。

在上述的跨系统协同服务异构数据交换系统中，所述的数据映射管理模块用于定义包括映射编号、映射名称、映射分组、输入模型、输出模型、映射描述和映射规则的数据映射信息；当目标系统数据模型为输入模型时，工具模型为输出模型，当目标系统数据模型为输出模型时，工具模型为输入模型；当目标系统为采集源时，相应的目标系统数据模型为输入模型，当目标系统为推送源时，相应的目标系统数据模型为输出模型；

所述的数据推送服务管理模块/数据采集服务管理模块用于通过指定数据映射的映射名称和/或映射编号定义相应的数据映射。

在上述的跨系统协同服务异构数据交换系统中，所述的数据数据通道管理模块用于定义包括通道编号、通道名称、通道分组、请求方式、返回格式、通道URL、通道描述以及通道参数的的数据通道信息；

所述的数据推送服务管理模块/数据采集服务管理模块通过指定数据通道的通道名称和/或通道编号选定相应的数据通道。

在上述的跨系统协同服务异构数据交换系统中，所述的数据模型管理模块用于定义包括模型编号、模型分组、模型名称、模型编码类型、模型描述和字段信息的模型信息；

所述的数据映射管理模块通过指定模型名称和/或模型编号选定相应的目标系统数据模型作为输出模型或输入模型。

在上述的跨系统协同服务异构数据交换系统中，所述的数据协同服务还用于定义协同服务编号、协同服务名称、协同服务分组、协同服务描述和协同服务信息，当接入本工具的系统请求与另一系统的信息交互时，根据信息交互类型和交互对象启动交换工具的相应协同服务，并由协同服务驱动采集服务和推送服务。

在上述的跨系统协同服务异构数据交换系统中，本工具还包括存储有工具字段信息的存储模块，工具模型由用户在映射管理模块中定义数据映射时通过选择存储器中的工具字段信息自由组合而成。

在上述的跨系统协同服务异构数据交换系统中，还包括工具模型字段管理模块，用于供用户新增、删除、修改用于组合成工具模型的字段信息。

在上述的跨系统协同服务异构数据交换系统中，所述的工具模型字段管理模块还用于供用户为字段信息进行分组以将每个字段信息分组至一个或多个组别，当用户在映射管理模块中定义数据映射时根据映射分组提供字段选项。

本发明的优点在于：

1、提供一种数据交换工具，专业开发人员仅需开发最底层的源代码，没有固定的数据转换场景，也没有系统的限定，能够被用于各种数据交换场景；

2、针对新增的或者修改的系统新的数据格式只需要进入各相应的模块进行简单的操作即可完成添加，并且操作界面显示直观清晰，由本工具普通的平台管理人员操作即可，更新、扩展成本低，无需投入过多的精力进行代码层面的数据修改；

3、数据通道、数据映射、数据模型分别进行定义，通用性强，针对一个系统，只需定义一次数据模型和数据通道，一次或两次数据映射，大大减轻后续工作压力，提高数据交换服务平台的服务效率，降低服务成本。

4、数据采集和数据推送分别定义，并采用数据协同服务定义方式将数据采集方和数据推送方关联起来，能够自由组合需要实现数据交互的非同源系统双方；

5、该工具中各系统之间的通信关系通过协同服务实现一对多、多对一、多对多的信息快速交互，通过协同服务时能够同时提供多个系统之间点对点数据交换服务，在交互过程中能够快速启动协同服务中相关系统的映射关系、通道信息等信息，从而实现快速高效的数据交换服务。

附图说明

图1为本发明跨系统协同服务异构数据交换系统的结构框图；

图2为本发明跨系统协同服务异构数据交换系统数据模型管理模块定义以目标系统为输入模型的部分定义界面图；

图3为本发明跨系统协同服务异构数据交换系统数据映射管理模块的部分定义界面图；

图4为本发明跨系统协同服务异构数据交换系统数据通道管理模块的部分定义界面图；

图5为本发明跨系统协同服务异构数据交换系统数据采集服务管理模块的部分定义界面图；

图6为本发明跨系统协同服务异构数据交换系统数据推送服务管理模块的部分定义界面图；

图7为本发明跨系统协同服务异构数据交换系统数据协同服务管理模块的部分定义界面图；

图8为基于本发明跨系统协同服务异构数据交换系统设定的同时以A系统、B系统作为采集源，C系统作为推送源的数据交换流程图。

附图标记：数据协同服务管理模块1；数据采集服务管理模块2；数据推送服务管理模块3；数据通道管理模块4；数据映射管理模块5；数据模型管理模块6。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1所示，本实施例公开了一种跨系统协同服务异构数据交换系统，包括数据协同服务管理模块1、数据采集服务管理模块2、数据推送服务管理模块3、数据通道管理模块4、数据映射管理模块5和数据模型管理模块6。其中，数据模型管理模块6用于定义目标系统数据模型，数据映射管理模块5用于定义目标系统数据模型与工具模型之间的数据映射，数据通道管理模块4用于定义目标系统与本工具之间的数据通道，数据推送服务管理模块3用于定义包括作为输出源的目标系统信息的推送信息，数据采集服务管理模块2用于定义包括作为采集源的目标系统信息的采集信息，且目标系统信息均包括相应的数据映射和数据通道，数据协同服务管理模块1用于定义一个协同服务的至少一个数据推送服务和至少一个数据采集服务。

本实施例主要以物流订单为例展开说明，如图2所示，数据模型管理模块6用于定义包括模型编号、模型分组、模型名称、模型编码类型、模型描述和字段信息的模型信息，其中模型名称又包括中文名称和英文名称。字段信息根据具体的数据类型进行填写/选择，如物流订单的字段名称由订单编号、订单状态、寄件人等字段名，对应于各字段名还有字段英文名、字段类型、字段描述等字段信息，具体不在此赘述。数据模型管理模块6定义的目标系统数据模型根据需要在数据映射管理模块5中可以被定义为输入模型或输出模型。在一个协同服务中，涉及到采集源和推送源，在采集源与本工具的映射关系中，采集源的系统数据模型为输入模型，工具模型为输出模型，在推送源与本工具之间的映射关系中，推送源的系统数据模型为输出源，本工具模型为输入模型。

如图3所示，数据映射管理模块5用于定义包括映射编号、映射名称、映射分组、输入模型、输出模型、映射描述和映射规则的数据映射信息。当目标系统数据模型为输入模型时，工具模型为输出模型，当目标系统数据模型为输出模型时，工具模型为输入模型；当目标系统为采集源时，相应的目标系统数据模型为输入模型，当目标系统为推送源时，相应的目标系统数据模型为输出模型。数据映射管理模块5通过指定模型英文名称选定相应的目标系统数据模型作为输出模型或输入模型。映射名称包括英文名称和中文名称，数据推送服务管理模块3/数据采集服务管理模块2用于通过指定数据映射的英文映射名称定义相应的数据映射。

当用户指定目标系统作为输入模型时，映射规则包括规则序号、输出字段名称（中文）、输出字段名称（英文）、映射值和映射描述等，此时，直接调用目标系统的数据模型，如图3中直接调用模型m_Order_SF，自动填充映射值、映射描述和规则序号，映射描述主要是数据模型的字段描述，映射值是数据模型的字段英文名称，用户只需要编辑对应的输出字段名称即可。当用户指定目标系统作为输出模型时，映射规则包括规则序号、输入字段名称（中文）、输入字段名称（英文）、映射值和映射描述等，此时，直接调用目标系统的数据模型，自动填充映射值、映射描述和规则序号，映射描述主要是数据模型的字段描述，映射值是数据模型的字段英文名称，同样地，用户只需要编辑对应的输入字段名称即可。

如图4所示，数据数据通道管理模块4用于定义包括通道编号、通道名称、通道分组、请求方式、返回格式、通道URL、通道描述以及通道参数的数据通道信息。可通过通道参数的参数中文名称、参数英文名称、参数类型、是否必要、服务描述来定义一个通道参数，多参数自由组合定义实现数据源的通道参数自定义。通道名称包括英文名称和中文名称，数据推送服务管理模块3/数据采集服务管理模块2通过指定数据通道的英文名称选定相应的数据通道。

如图5-图6所示，数据采集服务管理模块2还用于定义采集服务编号、采集服务名称、采集服务分组和采集服务描述；数据推送服务管理模块3还用于定义推送服务编号、推送服务名称、推送服务分组和推送服务描述。数据协同服务管理模块1用于通过指定采集服务信息定义数据采集服务，通过指定推送服务信息定义数据推送服务。具体如图7所示，数据协同服务还用于定义协同服务编号、协同服务名称、协同服务分组、协同服务描述和协同服务信息，协同服务信息即指定的采集服务信息和推送服务信息，如图7中指定了一个采集源和一个推送源，则具有两条协同服务信息，每条协同服务信息包括采集/推送服务编号、采集/推送服务中文名称、采集/推送服务英文名称，以及服务类型、服务分组和服务描述等信息。当接入本工具的两个或多个系统之间信息交互时，根据信息交互类型和交互参与方启动交换工具的相应协同服务，并由协同服务驱动采集服务和推送服务。

图7为一个协同服务被定义为包含一个采集源和一个推送源的场景。在实际投入时，一个协同服务可以被定义为多个采集源对应一个推送源，或多个推送源对应一个采集源，或多个采集源对应多个推送源。例如图8所示为基于本发明跨系统协同服务异构数据交换系统设定的同时以A系统、B系统作为采集源，C系统作为推送源的数据交换流程图，此时协同定义管理中，同时定义有两个数据采集服务，一个数据推送服务并发布服务。在投入使用时，可以基于推送源C的设定定时启动前述数据协同服务，也可以在采集源A或B有信息更新时实时启动数据协同服务。数据协同服务的启动驱动相应采集服务和推送服务，并由推送服务/采集服务启动相应的数据通道和数据映射。采集源A、采集源B与推送源C之间进行数据交互时，启动前述数据协同服务，采集源A的数据通过该协同服务对应的数据通道A送入本工具，并通过相应的数据映射规则AX由采集源A的数据模型A映射至本工具模型X，同样地，采集源B的数据通过该协同服务对应的数据通道B送入本工具，并通过相应的数据映射规则由采集源B的数据模型B映射至本工具模型X，再通过相应的数据映射规则XC分别将采集源A和采集源B的数据由工具模型X映射至推送源C的数据模型C，最后通过相应的数据通道C推送给推送源C完成A、B、C之间的数据协同服务。且优选地，当用户输入协同服务编号时，启动协同服务搜索，当搜索到已存在该协同服务时提示用户是否填充该协同服务内容以便用户能够对已存在的协同服务进行快速调用、更改和增减该协同服务的参与系统。

具体地，本工具还包括存储有工具字段信息的存储模块，工具模型由用户在映射管理模块中定义数据映射时通过选择存储器中的工具字段信息自由组合而成。

进一步地，本工具还包括工具模型字段管理模块，用于供用户新增、删除、修改用于组合成工具模型的字段信息，工具模型字段管理模块通过系统信息设置进入。且优选地，工具模型字段管理模块还用于供用户为字段信息进行分组以将每个字段信息分组至一个或多个组别，当用户在映射管理模块中定义数据映射时根据映射分组提供字段选项，如映射分组为“物流订单采集映射”，则提供“物流”组下的字段。

需要说明的是，一个协同服务的定义均包含数据模型管理、数据映射管理、数据通道管理、数据采集服务管理和数据推送服务管理等。用户需要按顺序分别进入相应的模块进行定义管理，如先对一个协同服务中涉及的两个或多个系统的数据模型进行模型定义、数据映射定义、数据通道定义，然后基于前面定义的数据模型、数据映射和数据通道定义推送服务、采集服务，然后基于前面定义的采集服务、推送服务定义协同服务，最后发布协同服务可实现两个或多个系统之间的多源异构数据交互。当一个系统的数据模型此前已被定义过时，无需重复定义，直接在数据映射定义中引用即可，当数据映射、数据通道此前已被定义过时，无需重复定义，直接在数据推送服务、数据采集服务中引用映射、通道即可，当相应系统相关的数据推送服务、数据采集服务已被定义过时，无需重复定义，直接在协同服务定义中引用即可。

此外，数据协同服务管理模块1、数据采集服务管理模块2、数据推送服务管理模块3、数据通道管理模块4、数据映射管理模块5和数据模型管理模块6等模块中定义保存的内容均被分别存储至各自相应的存储块中，这里分别称为协同存储块、采集服务存储块、推送服务存储块、通道存储块、映射存储块和模型存储块。且各模块均连接至所有存储块以便链接到定义中指定的内容，如数据推送服务管理模块3连接于映射管理模块对应的映射存储块，当用户在数据推送服务管理模块3的数据映射中输入/选择某个数据映射时，便链接到映射存储块的相应内容，以在相应协同服务启动时调用相应的数据映射。

且优选数据采集服务管理模块2/数据推送服务管理模块3中的“数据映射”，“数据通道”均为跳转按钮，当用户点击“数据映射”/“数据通道”时，在映射存储块、通道存储块中分别搜索“数据映射”/“数据通道”对应的空格中用户输入/选择的数据映射/数据通道，若能搜索到则跳转显示相应内容；优选数据映射管理模块5中的“输入模型”“输出模型”均为跳转按钮，当用户点击“输入模型”/“输出模型”时，在模型存储块中搜索“输入模型”“输出模型”对应的空格中用户输入的模型，若能搜索到则跳转显示相应内容。可用于在用户制作定义相应服务时验证/核对用户是否输入/选择了正确的模型、数据映射和数据通道。同样地，优选数据协同服务管理模块1中“服务信息”的“服务编号”为跳转按钮，当用户点击“服务编号”时，在推送服务存储块、采集服务存储块中分别搜索用户输入/选择的服务编号，若能搜索到则跳转显示相应内容。且优选在用户定义协同服务时，若检测到用户输入/选择采集/推送服务编号，则自动搜索相应的采集/推送服务，若能够搜索到，则自动填充服务名称（中文）、服务名称（英文）、服务分组等信息。

本方案提供的工具提供数据协同服务管理模块1、数据采集服务管理模块2、数据推送服务管理模块3、数据通道管理模块4、数据映射管理模块5、数据模型管理模块6，专业开发人员只需开发最底层的源代码，没有固定的数据转换场景，也没有系统的限定，针对新增的或者修改的系统新的数据格式只需要进入各相应的模块进行简单的操作即可完成添加，并且操作界面显示直观清晰，由本工具普通的平台管理人员操作即可。基于本工具，用户只需要根据需要分别进入相应的模块编辑就能够完成新增模型、新增映射、新增通道以及进行协同服务的管理，为协同服务提供方便快捷且易的数据交换基础。而且，该工具中各系统之间的通信关系通过协同服务实现一对多、多对一、多对多的信息快速交互，在交互过程中能够快速启动协同服务中相关系统的映射关系、通道信息等信息从而实现快速的数据交换服务。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了数据协同服务管理模块1；数据采集服务管理模块2；数据推送服务管理模块3；数据通道管理模块4；数据映射管理模块5；数据模型管理模块6等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (7)

1.一种跨系统协同服务异构数据交换系统，其特征在于，包括数据协同服务管理模块（1）、数据采集服务管理模块（2）、数据推送服务管理模块（3）、数据通道管理模块（4）、数据映射管理模块（5）和数据模型管理模块（6），供用户按顺序分别进入相应的模块进行定义管理；

所述的数据模型管理模块（6）用于定义目标系统数据模型，所述的数据映射管理模块（5）用于定义目标系统数据模型与工具模型之间的数据映射，所述的数据通道管理模块（4）用于定义目标系统与本工具之间的数据通道，所述的数据推送服务管理模块（3）用于定义包括作为输出源的目标系统信息的推送信息，所述的数据采集服务管理模块（2）用于定义包括作为采集源的目标系统信息的采集信息，且目标系统信息均包括相应的数据映射和数据通道，所述的数据协同服务管理模块（1）用于定义数据推送服务和数据采集服务；

所述的数据推送服务管理模块（3）还用于定义推送服务编号、推送服务名称、推送服务分组和推送服务描述；

所述的数据协同服务管理模块（1）用于通过指定推送服务信息定义数据推送服务；

所述的数据采集服务管理模块（2）还用于定义采集服务编号、采集服务名称、采集服务分组和采集服务描述；

所述的数据协同服务管理模块（1）用于通过指定采集服务信息定义数据采集服务；

所述的数据映射管理模块（5）用于定义包括映射编号、映射名称、映射分组、输入模型、输出模型、映射描述和映射规则的数据映射信息；当目标系统数据模型为输入模型时，工具模型为输出模型，当目标系统数据模型为输出模型时，工具模型为输入模型；当目标系统为采集源时，相应的目标系统数据模型为输入模型，当目标系统为推送源时，相应的目标系统数据模型为输出模型；

所述的数据推送服务管理模块（3）/数据采集服务管理模块（2）用于通过指定数据映射的映射名称和/或映射编号定义相应的数据映射。

2.根据权利要求1所述的跨系统协同服务异构数据交换系统，其特征在于，所述的数据数据通道管理模块（4）用于定义包括通道编号、通道名称、通道分组、请求方式、返回格式、通道URL、通道描述以及通道参数的数据通道信息；

所述的数据推送服务管理模块（3）/数据采集服务管理模块（2）通过指定数据通道的通道名称和/或通道编号选定相应的数据通道。

3.根据权利要求2所述的跨系统协同服务异构数据交换系统，其特征在于，所述的数据模型管理模块（6）用于定义包括模型编号、模型分组、模型名称、模型编码类型、模型描述和字段信息的模型信息；

所述的数据映射管理模块（5）通过指定模型名称和/或模型编号选定相应的目标系统数据模型作为输出模型或输入模型。

4.根据权利要求3所述的跨系统协同服务异构数据交换系统，其特征在于，所述的数据协同服务管理模块（1）还用于定义协同服务编号、协同服务名称、协同服务分组、协同服务描述和协同服务信息，当接入本工具的系统请求与另一系统的信息交互时，根据信息交互类型和交互对象启动交换工具的相应协同服务，并由协同服务驱动采集服务和推送服务。

5.根据权利要求1-4任意一项所述的跨系统协同服务异构数据交换系统，其特征在于，本工具还包括存储有工具字段信息的存储模块，工具模型由用户在映射管理模块中定义数据映射时通过选择存储器中的工具字段信息自由组合而成。

6.根据权利要求5所述的跨系统协同服务异构数据交换系统，其特征在于，还包括工具模型字段管理模块，用于供用户新增、删除、修改用于组合成工具模型的字段信息。

7.根据权利要求6所述的跨系统协同服务异构数据交换系统，其特征在于，所述的工具模型字段管理模块还用于供用户为字段信息进行分组以将每个字段信息分组至一个或多个组别，当用户在映射管理模块中定义数据映射时根据映射分组提供字段选项。