CN112966045A - 数据同步方法及系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，特别涉及一种数据同步方法及系统，用于系统对接时的数据同步处理，在数据源系统和目标系统之间设置与两者分别连接用于存储两者匹配映射关系的中间系统；中间系统分别与接入的数据源系统和目标系统进行身份认证；中间系统通过与数据源系统连接的数据接口加载数据源系统待同步数据信息；依据映射关系将待同步数据信息转换为目标数据信息，并通过与目标系统连接的数据接口将目标数据信息同步至目标系统。本发明能够为数据源系统和目的系统之间的数据提供统一处理的方式，减少目标系统的数据对接压力，提高数据同步的效率，具有较好的应用前景。

Description

数据同步方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据同步方法及系统。

背景技术

随着信息时代的快速发展，存在大量的数据信息，尤其在新老版本切换、不同厂家对接或者一个新数据系统在对接另一个数据系统数据信息时，通常会进行数据同步的操作，以及在数据发生变动时能够及时有效地进行数据同步处理，避免数据丢失或者延迟同步更新造成数据信息的不准确。

目前，传统的数据同步技术一般采用Web service、消息队列等方式对数据库表进行操作，数据源系统和目的系统之间需要进行不断的多次交互，目的系统需要对同步的数据信息进行对接处理等操作，且不同系统之间还会存在数据字段不统一等问题，这些都会导致数据同步的效率降低。因此如何设计一种数据同步方法，能够为数据源系统和目的系统之间的数据提供统一处理的方式，减少目标系统的数据对接压力，提高数据同步的效率是目前急需解决的问题。

发明内容

为此，本发明提供一种数据同步方法及系统，能够为数据源系统和目的系统之间的数据提供统一处理的方式，减少目标系统的数据对接压力，提高数据同步的效率。

按照本发明所提供的设计方案，提供一种数据同步方法，用于系统对接时的数据同步处理，该方法包含：

在数据源系统和目标系统之间设置与两者分别连接用于存储两者匹配映射关系的中间系统；

中间系统分别与接入的数据源系统和目标系统进行身份认证；

完成身份认证后，中间系统通过与数据源系统连接的数据接口加载数据源系统待同步数据信息；依据映射关系将待同步数据信息转换为目标数据信息，并通过与目标系统连接的数据接口将目标数据信息同步至目标系统。

作为本发明数据同步方法，进一步地，依据预设的数据源系统和目标系统之间的配置和接口字段进行匹配映射。

作为本发明数据同步方法，进一步地，中间系统中存储有数据源系统和目标系统的地址、授权账号及数据接口信息，并依据数据源系统和目标系统两者的数据接口字段进行匹配映射。

作为本发明数据同步方法，进一步地，数据源系统或目标系统依据中间系统发送的认证请求信息生成带有授权数据的认证凭证，中间系统在于数据源系统和目标系统进行数据交互时依据该认证凭证进行身份认证。

作为本发明数据同步方法，进一步地，中间系统依据数据源系统反馈的待同步基础数据变动消息来加载数据源系统待同步数据信息。

作为本发明数据同步方法，进一步地，中间系统依据预设定时周期来加载数据源系统待同步数据信息。

作为本发明数据同步方法，进一步地，数据源系统和/或目标系统为多个时，中间系统通过建立数据源系统和目标系统之间的映射关系表来进行数据同步操作。

作为本发明数据同步方法，进一步地，中间系统在每次数据同步时同时存储同步过程中的数据、网络请求及响应。

作为本发明数据同步方法，进一步地，中间系统中建立有与数据源系统数据交互的第一安全通道和与目标系统数据交互的第二安全通道；数据源系统对待同步数据进行加密处理，中间系统通过第一安全通道拉取加密数据进行解密并依据匹配映射关系通过第二安全通道将解密数据同步至目标系统。

进一步地，基于上述的方法，本发明还提供一种数据同步系统，用于系统对接时的数据同步处理，包含：数据源系统、目标系统和分别与两者连接的中间系统，其中，

数据源系统，用于通过数据接口与中间系统连接，向中间系统提供待同步数据；

中间系统，用于存储数据源系统和目标系统两者之间匹配映射关系，依据网络请求完成与数据源系统和目标系统之间的身份认证，并将数据源系统待同步数据依据匹配映射关系通过数据接口同步至目标系统。

本发明的有益效果：

本发明利用中间系统能够实现对数据源系统和目标系统之间的数据同步处理，在进行数据同步时，数据源系统仅提供数据同步接口，目标系统仅提供数据管理接口，数据同步的逻辑操作、配置管理、字段映射关系均交由中间系统完成，减少目标系统的对接压力，能够有效提升数据同步效率；另外，当数据源系统的接口字段或目标系统的接口字段变动时，仅由数据转换模块修改字段映射关系，无需其他改动；通过各系统的授权模块实现中间系统与数据源系统、目的系统之间的身份认证，防止身份不合法而造成数据的非法同步；并可在各系统中建立系统之间的安全通道，并对同步的数据信息进行加解密处理，能够有效保证数据同步的安全性，防止数据被窃取、篡改；进一步通过中间系统的日志记录数据同步的情况，在出现问题时能够方便追溯，具有较好的应用前景。

附图说明：

图1为实施例中数据同步流程示意；

图2为实施例中数据同步方法流程示意；

图3为实施例中数据同步系统原理示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种数据同步方法，用于系统对接时的数据同步处理，该方法包含：

S101、在数据源系统和目标系统之间设置与两者分别连接用于存储两者匹配映射关系的中间系统；

S102、中间系统分别与接入的数据源系统和目标系统进行身份认证；

S103、完成身份认证后，中间系统通过与数据源系统连接的数据接口加载数据源系统待同步数据信息；依据映射关系将待同步数据信息转换为目标数据信息，并通过与目标系统连接的数据接口将目标数据信息同步至目标系统。

利用中间系统能够实现对数据源系统和目标系统之间的数据同步处理，在进行数据同步时，数据源系统仅提供数据同步接口，目标系统仅提供数据管理接口，数据同步的逻辑操作、配置管理、字段映射关系均交由中间系统完成，减少目标系统的对接压力，能够有效提升数据同步效率。

中间系统中存储有数据源系统和目标系统的地址、授权账号及数据接口信息，并依据数据源系统和目标系统两者的数据接口字段进行匹配映射。进一步地，数据源系统或目标系统依据中间系统发送的认证请求信息生成带有授权数据的认证凭证，中间系统在于数据源系统和目标系统进行数据交互时依据该认证凭证进行身份认证。进一步地，中间系统依据数据源系统反馈的待同步基础数据变动消息来加载数据源系统待同步数据信息。中间系统还可依据预设定时周期来加载数据源系统待同步数据信息。

参见图2所示，中间系统存储数据源系统和目标系统的配置信息、接口字段的映射关系；当所述中间系统接收到所述数据源系统提供的基础数据变动消息，或所述中间系统接收到所述目标系统提供的拉取基础数据同步消息，或所述中间系统定时从所述数据源系统中拉取同步的基础数据时；所述中间系统分别与所述数据源系统、所述目标系统进行身份认证；所述中间系统调用数据同步接口从所述数据源系统中拉取同步的数据信息，并依据配置信息和接口字段的映射关系转换为所述目标系统的数据信息后，再调用数据管理接口将数据信息同步至所述目标系统。

作为本发明实施例中数据同步方法，进一步地，数据源系统和/或目标系统为多个时，中间系统通过建立数据源系统和目标系统之间的映射关系表来进行数据同步操作。进一步地，中间系统在每次数据同步时同时存储同步过程中的数据、网络请求及响应。进一步地，中间系统中建立有与数据源系统数据交互的第一安全通道和与目标系统数据交互的第二安全通道；数据源系统对待同步数据进行加密处理，中间系统通过第一安全通道拉取加密数据进行解密并依据匹配映射关系通过第二安全通道将解密数据同步至目标系统。

进一步地，基于上述的方法，本发明实施例还提供一种数据同步系统，用于系统对接时的数据同步处理，包含：数据源系统、目标系统和分别与两者连接的中间系统，其中，

数据源系统，用于通过数据接口与中间系统连接，向中间系统提供待同步数据；

中间系统，用于存储数据源系统和目标系统两者之间匹配映射关系，依据网络请求完成与数据源系统和目标系统之间的身份认证，并将数据源系统待同步数据依据匹配映射关系通过数据接口同步至目标系统。

本案实施例中通过中间系统与数据源系统和目标系统进行身份认证，并通过调用数据管理接口将数据信息同步至所述目标系统，实现对数据源系统和目标系统之间的数据同步处理，在进行数据同步时，数据源系统仅提供数据同步接口，目标系统仅提供数据管理接口，数据同步的逻辑操作、配置管理、字段映射关系均交由中间系统完成，减少目标系统的对接压力，能够有效提升数据同步效率，防止身份不合法而造成数据的非法同步；另外，当数据源系统的接口字段或目标系统的接口字段变动时，仅由数据转换模块修改字段映射关系，无需其他改动。

参见图3所示，所述数据源系统、所述中间系统和所述目标系统中均设置有相应的授权模块；数据源系统通过其授权模块向中间系统的授权模块分发登录信息；所述中间系统在调用所述数据源系统的同步接口时，通过其授权模块将携带有登录信息的请求信息发送至所述数据源系统；所述数据源系统认证该请求信息后，向所述中间系统发送认证凭证；所述中间系统后续向所述数据源系统发送相关请求信息时，均携带有该认证凭证，由所述数据源系统进行认证后完成系统间的身份认证；以及目标系统采用与所述数据源系统相同的流程实现和所述中间系统间的身份认证。通过各系统的授权模块实现中间系统与数据源系统、目的系统之间的身份认证，防止身份不合法而造成数据的非法同步。

具体的，所述中间系统还可设置有配置模块和数据转换模块；其中，配置模块中可至少存储有所述数据源系统的地址信息、授权账号信息、数据同步接口信息和所述目标系统的地址信息、授权账号信息、数据管理接口信息；数据转换模块中存储有数据源系统的接口字段和目标系统的接口字段的映射关系。

具体的，所述数据源系统中还可设置有同步模块，所述中间系统中还设置有消息模块、数据拉取模块和数据推送模块，所述目标系统中还设置有公开模块。中间系统通过数据拉取模块调用所述同步模块提供的数据同步接口，从同步模块中拉取同步的数据信息，并通过配置模块获取相关的目标系统地址和数据管理接口信息、通过所述数据转换模块中的接口字段的映射关系进行字段转后，再通过所述数据推送模块调用所述公开模块提供的数据管理接口将数据信息同步至所述目标系统；其中，进行数据信息的同步之前，所述中间系统通过消息模块接收到所述数据源系统的同步模块提供的基础数据变动消息；或所述中间系统通过消息模块接收到所述目标系统的公开模块提供的拉取基础数据同步消息；或所述中间系统定时从所述数据源系统中拉取同步的基础数据。

本发明通过中间系统能够实现对数据源系统和目标系统之间的数据同步处理，在进行数据同步时，数据源系统仅提供数据同步接口，目标系统仅提供数据管理接口，数据同步的逻辑操作、配置管理、字段映射关系均交由中间系统完成，减少目标系统的对接压力，能够有效提升数据同步效率；另外，当数据源系统的接口字段或目标系统的接口字段变动时，仅由数据转换模块修改字段映射关系，无需其他改动。

具体的，所述数据源系统和所述目标系统的数量至少为一个，当所述数据源系统和/或所述目的系统为多个时，所述中间系统的数据拉取模块建立多个数据源系统、多个目标系统的接口字段的映射关系表。

需要说明的是，在目标系统的数量为多个时，一个数据源系统的数据信息需要同步到多个目标系统的情况下，还可依据不同目标系统的业务进行数据的分类同步，使得不同业务的目标系统仅同步相关的数据信息。

具体的，所述中间系统还可设置有日志模块，在每次进行数据同步时，将同步的数据信息和网络请求、响应信息进行存储；所述数据源系统、中间系统和所述目标系统中还可设置有相应的安全模块，所述中间系统，分别与所述数据源系统、所述目标系统通过各自的安全模块建立第一安全通道、第二安全通道；所述数据源系统，通过其安全模块对同步的数据信息进行加密处理；所述中间系统，通过其安全模块采用第一安全通道拉取加密处理后的数据信息后进行解密处理，再采用第二安全通道将同步的数据信息同步至所述目的系统。

需要说明的是，在进行数据同步时可有三种情况：1)数据源系统主动通知中间系统；2)目标系统主动拉取中间系统；3)中间系统定时向数据源系统拉取。

通过中间系统的日志模块记录数据同步的情况，在出现问题时能够方便追溯。通过各系统的安全模块建立系统之间的安全通道，并对同步的数据信息进行加解密处理，能够有效保证数据同步的安全性，防止数据被窃取、篡改。

在实际的应用中，数据源系统通过其安全模块还可以对同步的数据信息进行签名和哈希值运算；目的系统通过其安全模块还可以对签名的数据信息进行验签处理，并计算新的哈希值与获取的哈希值进行比对验证，防止数据被篡改。同样可以采用安全模块中预置的相关系统数字证书进行身份认证，防止系统身份不合法。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据同步方法，用于系统对接时的数据同步处理，其特征在于，该方法包含：

在数据源系统和目标系统之间设置与两者分别连接用于存储两者匹配映射关系的中间系统；

中间系统分别与接入的数据源系统和目标系统进行身份认证；

完成身份认证后，中间系统通过与数据源系统连接的数据接口加载数据源系统待同步数据信息；依据映射关系将待同步数据信息转换为目标数据信息，并通过与目标系统连接的数据接口将目标数据信息同步至目标系统。

2.根据权利要求1所述的数据同步方法，其特征在于，依据预设的数据源系统和目标系统之间的配置和接口字段进行匹配映射。

3.根据权利要求1所述的数据同步方法，其特征在于，中间系统中存储有数据源系统和目标系统的地址、授权账号及数据接口信息，并依据数据源系统和目标系统两者的数据接口字段进行匹配映射。

4.根据权利要求1所述的数据同步方法，其特征在于，数据源系统或目标系统依据中间系统发送的认证请求信息生成带有授权数据的认证凭证，中间系统在于数据源系统和目标系统进行数据交互时依据该认证凭证进行身份认证。

5.根据权利要求1所述的数据同步方法，其特征在于，中间系统依据数据源系统反馈的待同步基础数据变动消息来加载数据源系统待同步数据信息。

6.根据权利要求1或5所述的数据同步方法，其特征在于，中间系统依据预设定时周期来加载数据源系统待同步数据信息。

7.根据权利要求1所述的数据同步方法，其特征在于，数据源系统和/或目标系统为多个时，中间系统通过建立数据源系统和目标系统之间的映射关系表来进行数据同步操作。

8.根据权利要求1所述的数据同步方法，其特征在于，中间系统在每次数据同步时同时存储同步过程中的数据、网络请求及响应。

9.根据权利要求1所述的数据同步方法，其特征在于，中间系统中建立有与数据源系统数据交互的第一安全通道和与目标系统数据交互的第二安全通道；数据源系统对待同步数据进行加密处理，中间系统通过第一安全通道拉取加密数据进行解密并依据匹配映射关系通过第二安全通道将解密数据同步至目标系统。

10.一种数据同步系统，用于系统对接时的数据同步处理，其特征在于，包含：数据源系统、目标系统和分别与两者连接的中间系统，其中，

数据源系统，用于通过数据接口与中间系统连接，向中间系统提供待同步数据；

中间系统，用于存储数据源系统和目标系统两者之间匹配映射关系，依据网络请求完成与数据源系统和目标系统之间的身份认证，并将数据源系统待同步数据依据匹配映射关系通过数据接口同步至目标系统。

Images