CN107679058A

CN107679058A - 数据同步方法、装置及计算机可读存储介质

Info

Publication number: CN107679058A
Application number: CN201710497442.5A
Authority: CN
Inventors: 李尚儒
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2017-06-26
Filing date: 2017-06-26
Publication date: 2018-02-09
Anticipated expiration: 2037-06-26
Also published as: CN107679058B; WO2019000801A1

Abstract

本发明公开了一种数据同步方法，该方法包括：在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本发明还公开了一种数据同步装置和一种计算机可读存储介质。本发明能够提高数据同步的准确性和安全性。

Description

数据同步方法、装置及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及数据同步方法、装置及计算机可读存储介质。

背景技术

目前，随着金融机构业务种类和数量的增多，支撑这些业务运行的后台系统规模也越来越庞大，由于业务需要，多个系统之间往往要进行数据同步，比如保单数据的同步、基金数据的同步等。这些数据如果采用人工采集的方式进行同步，不仅操作繁琐，而且极易出现漏数据和数据匹配错误的情况；而如果使用第三方同步工具(如GG同步)同步数据，批量同步数据的时候假如某一条数据插入数据库失败(原因多样，如网络连接波动)，那么则无法保证同步失败的数据可以重新精准同步，另外，如果同步的数据具有高度保密性质，那么第三方同步工具也将带来一定的信息泄露风险。

发明内容

本发明的主要目的在于提出一种数据同步方法、装置及计算机可读存储介质，旨在提高数据同步的准确性和安全性。

为实现上述目的，本发明提供一种数据同步方法，所述数据同步方法包括如下步骤：

在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；

在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；

将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；

通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。

可选地，所述在本次同步任务启动时，根据所述待同步数据类型获取待同步数据的步骤包括：

在本次同步任务启动时，若检测到所述待同步数据类型存在更新，则获取更新的所述待同步数据类型下的数据，并将所述更新的所述待同步数据类型下的数据作为待同步数据。

可选地，所述在本次同步任务启动时，若检测到所述待同步数据类型存在更新，则获取更新的所述待同步数据类型下的数据，并将所述更新的所述待同步数据类型下的数据作为待同步数据的步骤之前，还包括：

在所述业务系统接收到新增业务类型指令时，根据所述新增业务类型指令在所述数据同步控制表中插入与所述新增业务类型对应的待同步数据类型。

在本次同步任务启动时，若检测到所述待同步数据类型下的数据存在更新，则获取所述待同步数据类型下的更新数据，并将所述更新数据作为待同步数据。

可选地，所述数据同步方法还包括：

获取所述异步任务基于同一数据类型下的数据连续同步失败的次数；

在所述连续同步失败的次数达到预设值时，发出告警信息。

此外，为实现上述目的，本发明还提供一种数据同步装置，所述数据同步装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如下步骤：

可选地，所述数据同步程序被所述处理器执行时还实现如下步骤：

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。

本发明在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本发明通过业务系统的同步机制进行数据同步，避免了人工采集数据导致的漏数据和数据匹配错误的情况，且异步任务能够保证同步失败的数据能够重新精准同步，从而提高了数据同步的准确性；此外，将数据同步机制写入到业务系统本身，避免了使用第三方同步工具进行数据同步的信息泄露风险，从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明数据同步方法第一实施例的流程示意图；

图3为本发明数据同步方法第二实施例的流程示意图；

图4为本发明数据同步方法第三实施例的流程示意图；

图5为本发明数据同步方法第四实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。

现有技术中，多个系统如果采用人工采集的方式进行同步，不仅操作繁琐，而且极易出现漏数据和数据匹配错误的情况；而如果使用第三方同步工具(如GG同步)同步数据，批量同步数据的时候假如某一条数据插入数据库失败(原因多样，如网络连接波动)，那么则无法保证同步失败的数据可以重新精准同步，另外，如果同步的数据具有高度保密性质，那么第三方同步工具也将带来一定的信息泄露风险。

本发明通过业务系统的同步机制进行数据同步，避免了人工采集数据导致的漏数据和数据匹配错误的情况，且异步任务能够保证同步失败的数据能够重新精准同步，从而提高了数据同步的准确性；此外，将数据同步机制写入到业务系统本身，避免了使用第三方同步工具进行数据同步的信息泄露风险，从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。

本发明提供一种数据同步方法。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据同步程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据同步程序，并执行以下操作：

进一步地，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：

在本次同步任务启动时，检测所述待同步数据类型是否存在更新；

若是，则获取更新的所述待同步数据类型下的数据，并将所述更新的所述待同步数据类型下的数据作为待同步数据。

侦测所述业务系统是否接收到新增业务类型指令；

若是，则根据所述新增业务类型指令在所述数据同步控制表中插入与所述新增业务类型对应的待同步数据类型。

在本次同步任务启动时，检测所述待同步数据类型下的数据是否存在更新；

若是，则获取所述待同步数据类型下的更新数据，并将所述更新数据作为待同步数据。

在所述连续同步失败的次数达到预设值时，发出告警信息。

基于上述硬件结构，提出本发明数据同步方法各个实施例。

参照图2，图2为本发明数据同步方法第一实施例的流程示意图，所述方法包括：

步骤S10，在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；

在本实施例中，业务系统主要为用户提供产品的在线交易服务，根据业务需要，业务系统还关联多个服务系统，以保险业务为例，业务系统在前端为用户展示各个渠道的产品信息，同时后台关联多个渠道系统，如寿险渠道系统、养老险渠道系统、产险渠道系统等。用户可以通过业务系统对应的客户端浏览相关产品，并进行相应的个人信息修改或在线购买产品等操作，业务系统捕获用户的在线操作数据，然后将捕获的数据同步至对应的服务系统，以使服务系统获取到最新的交易信息。

首先，业务系统可以根据管理人员的设置指令创建数据同步控制表，该数据同步控制表包括待同步数据类型，数据同步控制表除包括待同步数据类型外，还可以包括与待同步数据类型对应的数据同步状态(如未同步、正在同步、完成同步等)和历史同步记录(如最近一次同步成功的时间)等信息，以便于管理人员随时对每种类型的待同步数据进行状态监控和历史同步记录查询。具体地，作为一种实施方式，待同步数据类型可以根据用户身份信息进行划分，其中，用户身份信息包括用户名、ID号、手机号等，每个用户身份类别下包括与该用户相关的数据，包括个人信息数据、交易数据等；作为另一种实施方式，待用户数据类型还可以根据业务类型进行划分，比如保险业务、基金业务等，具体的划分粒度可根据产品的类型进行灵活设置，比如保险业务又可以划分为寿险业务、养老险业务、产险业务，基金业务又可以划分为股票基金业务、债券基金业务、货币市场基金业务等，每个业务类别下包括与该业务相关的数据，包括购买该业务产品的用户以及购买信息。当然，数据同步控制表中的待同步数据类型可以按照其他方式划分，比如业务操作状态(待操作，操作完成等)或业务重要程度等，具体实施中可进行灵活设置。

步骤S20，在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；

业务系统可以每个预设时长启动同步任务，如1小时、1天，也可以设定在某个时间点启动同步任务，如在每天的零点启动同步任务，此外，还可以检测业务系统更新的数据量，若更新的数据量达到预设值，则启动同步任务，否则不启动同步任务。

在本次同步任务启动时，业务系统根据待同步数据类型获取待同步数据。具体地，业务系统至少包括一个用于存储业务信息的数据库，在同步任务启动时，业务系统根据待同步数据类型从数据库中进行查找，从而获取到待同步数据。比如，当待同步数据类型为保险业务时，获取到的待同步数据可以为保单信息，具体包括险种、保单状态、保费数额、保单有效时间、保险人和被保险人等；当待同步数据类型为某一用户身份时，获取到的待同步数据可以为该用户身份下的用户信息，具体包括用户名、ID号、手机号及其他个人信息。

步骤S30，将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；

该步骤中，业务系统将获取到的待同步数据同步至业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型。

比如，当待同步数据类型为保险业务时，需要将保险业务类型下的待同步数据同步至相应的寿险渠道系统、养老险渠道系统或产险渠道系统，当待同步数据类型为基金业务时，需要将基金业务类型下的待同步数据同步至相应的股票基金业务系统、债券基金业务系统或货币市场基金业务系统。需要说明的是，业务系统的目标同步系统可以是渠道方系统，也可以是公司内部系统，当目标同步系统为公司内部系统时，管理人员根据该系统提供的数据进行业务分析、业务拓展等。

由于网络连接波动或系统负载较大等原因，上述数据同步过程中可能出现某一条数据同步失败的情况，业务系统记录本次数据同步过程中同步失败的数据类型，并通过日志进行保存。

步骤S40，通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。

在本实施例中，异步任务是指独立于数据同步任务的主线程之外的任务，业务系统在数据同步任务的主线程之外，启动异步任务，该异步任务获取本次数据同步过程中同步失败的数据类型，并重新进行同步，具体地，异步任务根据获取到的数据类型从业务系统数据库中获取待同步的数据，并将获取到的待同步数据重新同步至相应的目标同步系统，如此，在数据同步失败时，无需人工干预即可实现数据的再次同步，且异步任务独立执行，不会对数据同步任务的主线程产生影响，从而保证了同步效率，提高了数据同步的准确性。

在本实施例中，在业务系统中创建数据同步控制表，所述数据同步控制表包括待同步数据类型；在本次同步任务启动时，根据所述待同步数据类型获取待同步数据；将获取到的所述待同步数据同步至所述业务系统的目标同步系统，同时记录本次数据同步过程中同步失败的数据类型；通过异步任务将记录的所述同步失败的数据类型下的数据重新进行同步。本实施例通过业务系统的同步机制进行数据同步，避免了人工采集数据导致的漏数据和数据匹配错误的情况，且异步任务能够保证同步失败的数据能够重新精准同步，从而提高了数据同步的准确性；此外，将数据同步机制写入到业务系统本身，避免了使用第三方同步工具进行数据同步的信息泄露风险，从而提高了数据同步的安全性。本发明能够提高数据同步的准确性和安全性。

进一步地，参照图3，图3为本发明数据同步方法第二实施例的流程示意图。基于上述图2所示的实施例，步骤S20可以包括：

步骤S21，在本次同步任务启动时，若检测到所述待同步数据类型存在更新，则获取更新的所述待同步数据类型下的数据，并将所述更新的所述待同步数据类型下的数据作为待同步数据。

在本实施例中，业务系统在本次同步任务启动时，若检测到所述待同步数据类型存在更新，则获取更新的待同步数据类型下的数据，并将其作为待同步数据。

具体地，检测待同步数据类型是否存在更新的方式可以为：业务系统在每次数据同步任务完成后，记录同步完成的时间点和每种待同步数据的完成状态；当本次同步任务启动时，业务系统获取本次同步任务的前一次同步任务中同步成功的数据类型，将其与本次获取到的待同步数据类型进行对比，若两者不同，则判定待同步数据类型存在更新，并获取不同的待同步数据类型下的数据作为本次同步任务的待同步数据。如此，本次数据同步在前一次同步任务的基础上进行，业务系统只需将和前一次同步任务不相同的数据同步至目标同步系统，而不必将所有数据都同步至目标同步系统，实现了数据的增量同步，提高了同步效率。

进一步地，在步骤S21之前，还可以包括：

步骤S22，在所述业务系统接收到新增业务类型指令时，根据所述新增业务类型指令在所述数据同步控制表中插入与所述新增业务类型对应的待同步数据类型。

当业务系统对接一个新的渠道方系统时，往往需要新增与渠道方对应的业务类型，在本次同步任务启动之前，侦测业务系统是否接收到新增业务类型指令，若是，则在数据同步控制表中插入与新增业务类型对应的待同步数据类型。

具体地，业务系统根据管理人员的新增业务类型指令将新的业务类型对应的待同步数据类型插入至数据同步控制表中，比如，当新增业务类型为保险业务时，插入数据同步控制表中的待同步数据类型可以包括寿险业务、养老险业务、产险业务等，当新增业务类型为基金业务时，插入数据同步控制表中的待同步数据类型可以包括股票基金业务、债券基金业务、货币市场基金业务等。

在本实施例中，业务系统将更新的待同步数据类型下的数据同步至目标同步系统，而不必将所有数据都同步至目标同步系统，实现了数据的增量同步，提高了同步效率；通过数据同步，目标同步系统能够及时获取到新增业务类型信息，保证了新增业务的顺利进行。

进一步地，参照图4，图4为本发明数据同步方法第三实施例的流程示意图。基于上述图2所示的实施例，步骤S20可以包括：

步骤S23，在本次同步任务启动时，若检测到所述待同步数据类型下的数据存在更新，则获取所述待同步数据类型下的更新数据，并将所述更新数据作为待同步数据。

在本实施例中，业务系统在本次同步任务启动时，若检测到待同步数据类型下的数据存在更新，则获取所述待同步数据类型下的更新数据，并将更新数据作为待同步数据。

比如，当用户通过客户端修改个人信息时，客户端会将修改的内容发送给业务系统，以使业务系统更新该用户ID下的个人信息，在后续进行数据同步时，业务系统只需将更新的个人信息同步至目标同步系统，而不必将所有个人信息都同步至目标同步系统。

本实施例通过将待同步数据类型下的更新数据同步至目标同步系统，实现了数据的增量同步，提高了同步效率。

进一步地，参照图5，图5为本发明数据同步方法第四实施例的流程示意图。基于上述的实施例，所述方法还可以包括：

步骤S50，获取所述异步任务基于同一数据类型下的数据连续同步失败的次数；

步骤S60，在所述连续同步失败的次数达到预设值时，发出告警信息。

由于异步任务仍有数据同步失败的可能，因此，业务系统可以获取异步任务基于同一数据类型下的数据连续同步失败的次数，当该次数达到预设值，比如3次时，发出告警信息，以提示管理人员该数据同步失败。

本实施例通过在异步任务同步数据失败次数达到预设值时发出告警信息，使得管理人员可以及时进行故障诊断，并在必要时通过其他方式进行数据同步，从而保证业务的正常运行。

本发明还提供一种数据同步装置。

本发明数据同步装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如下步骤：

进一步地，所述数据同步程序被所述处理器执行时还实现如下步骤：

其中，在所述处理器上运行的数据同步程序被执行时所实现的方法可参照本发明数据同步方法各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据同步方法，其特征在于，所述数据同步方法包括如下步骤：

2.如权利要求1所述的数据同步方法，其特征在于，所述在本次同步任务启动时，根据所述待同步数据类型获取待同步数据的步骤包括：

3.如权利要求2所述的数据同步方法，其特征在于，所述在本次同步任务启动时，若检测到所述待同步数据类型存在更新，则获取更新的所述待同步数据类型下的数据，并将所述更新的所述待同步数据类型下的数据作为待同步数据的步骤之前，还包括：

4.如权利要求1所述的数据同步方法，其特征在于，所述在本次同步任务启动时，根据所述待同步数据类型获取待同步数据的步骤包括：

5.如权利要求1至4中任一项所述的数据同步方法，其特征在于，所述数据同步方法还包括：

在所述连续同步失败的次数达到预设值时，发出告警信息。

6.一种数据同步装置，其特征在于，所述数据同步装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如下步骤：

7.如权利要求6所述的数据同步装置，其特征在于，所述数据同步程序被所述处理器执行时还实现如下步骤：

8.如权利要求7所述的数据同步装置，其特征在于，所述数据同步程序被所述处理器执行时还实现如下步骤：

9.如权利要求6所述的数据同步装置，其特征在于，所述数据同步程序被所述处理器执行时还实现如下步骤：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如权利要求1至5中任一项所述的数据同步方法的步骤。