CN115510166A

CN115510166A - 数据同步服务的方法、装置、远程平台和电子设备

Info

Publication number: CN115510166A
Application number: CN202211472092.4A
Authority: CN
Inventors: 李晨阳
Original assignee: Accumulus Technologies Tianjin Co Ltd
Current assignee: Accumulus Technologies Tianjin Co Ltd
Priority date: 2022-11-23
Filing date: 2022-11-23
Publication date: 2022-12-23

Abstract

本发明提供一种数据同步服务的方法、装置、远程平台和电子设备，该方法包括：获取接口数据信息，所述接口数据信息中包括：数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位；若所述标识位为需要数据同步，则向远程平台发送数据变更消息；所述数据变更消息包括：所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；接收所述远程平台发送的获取数据同步接口请求，并通过对应的数据同步接口向所述远程平台发送需要数据同步的所述接口数据信息。本发明中，配置需要进行数据同步的字段，降低了数据源的复杂度，简化了同步数据实现的复杂度。

Description

数据同步服务的方法、装置、远程平台和电子设备

技术领域

本发明实施例涉及数据同步技术领域，尤其涉及一种数据同步服务的方法、装置、远程平台和电子设备。

背景技术

现有技术的数据同步服务主要有两种：一种方案是直接查询数据源的数据库，需要配置数据源的数据库地址，并且保证可以访问数据库；但一般都只能是内网访问，外网的业务无法直接通过数据库连接，并且若下游服务使用不当，会导致数据源的数据库宕机，从而影响数据源服务。

另一种是利用消息队列，当数据源产生一条数据，或者对数据进行修改删除时都发送一条消息到指定的topic中，然后下游业务方消费这条消息，进行数据处理，但该方法需要数据源和下游业务方都使用消息队列，导致业务处理复杂度增加，并且消息队列会有消息丢失的情况发生，导致数据不一致。

发明内容

本发明实施例提供一种数据同步服务的方法、装置、远程平台和电子设备，以解决现有的无法准确高效的进行数据同步服务的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据同步服务的方法，应用于终端，包括：

获取数据信息，所述数据信息中包括：数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位；

若所述数据字段是否需要同步的标识位为需要数据同步，则向远程平台发送数据变更消息；所述数据变更消息包括：所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

接收所述远程平台发送的获取数据同步接口请求，并通过对应的数据同步接口向所述远程平台发送需要数据同步的所述数据信息。

可选的，获取数据信息之前，还包括：

配置数据同步接口允许同步的字段。

可选的，获取数据信息之前，还包括：

获取数据源，所述数据源包括：数据字段和所述数据字段的位置；

将所述数据源存储在位图文件中，并对所述数据字段设置是否需要同步的标识位；

将所述数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位配置为数据信息。

第二方面，本发明实施例提供了一种数据同步服务的方法，应用于远程平台，包括：

接收终端发送的数据变更消息，所述数据变更消息中需要变更的数据为带有需要同步的标识位的数据，所述数据变更消息包括：数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据；

若所述数据字段是否为需要同步的数据，则向终端发送获取数据同步接口请求；

通过对应的数据同步接口接收所述数据字段。

可选的，所述根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据，包括：

判断所述数据字段的哈希值与需要同步的数据字段的哈希值是否一致；

若所述数据字段的哈希值与需要同步的数据字段的哈希值不一致，则判断所述数据字段的变更时间是否在上次数据同步之后；

若所述数据字段的变更时间在上次数据同步之后，则所述数据字段为需要同步的数据。

可选的，还包括：

定时向所述终端发送获取数据同步接口请求。

第三方面，本发明实施例提供了一种数据同步服务的装置，包括：

获取模块，用于获取数据信息，所述数据信息中包括：数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位；

第一发送模块，用于若所述数据字段是否需要同步的标识位为需要数据同步，则向远程平台发送数据变更消息；所述数据变更消息包括：所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

第一处理模块，用于接收所述远程平台发送的获取数据同步接口请求，并通过对应的数据同步接口向所述远程平台发送需要数据同步的所述数据信息。

第四方面，本发明实施例提供了一种远程平台，包括：

第一接收模块，用于接收终端发送的数据变更消息，所述数据变更消息中需要变更的数据为带有需要同步的标识位的数据，所述数据变更消息包括：数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

判断模块，用于根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据；

第二发送模块，用于若所述数据字段是否为需要同步的数据，则向终端发送获取数据同步接口请求；

第二接收模块，用于通过对应的数据同步接口接收所述数据字段。

第五方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的数据同步服务的方法中的步骤，或实现如第二方面中任一项所述的数据同步服务的方法中的步骤。

第六方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的数据同步服务的方法中的步骤，或实现如第二方面中任一项所述的数据同步服务的方法中的步骤。

在本发明中，通过配置需要进行数据同步的字段，降低了数据源的复杂度，解决了现有技术中外网的业务无法直接通过数据库连接，并且操作复杂的问题，实现了简化同步数据的复杂度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种数据同步服务的方法应用于终端的流程图；

图2是本发明实施例提供的一种数据同步服务的方法应用与远程平台的流程图；

图3是本发明实施例提供的另一种数据同步服务的方法的总体流程图；

图4是本发明实施例提供的一种数据同步服务的装置的结构示意图；

图5是本发明实施例提供的一种远程平台的结构示意图；

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供了一种数据同步服务的方法，应用于终端，包括：

步骤11：获取数据信息，所述数据信息中包括：数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位；

本发明实施例中，可选的，获取数据信息之前，还包括：获取数据源，所述数据源包括：数据字段和所述数据字段的位置；将所述数据源存储在位图文件中，并对所述数据字段设置是否需要同步的标识位；将所述数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位配置为数据信息。

本发明实施例中，所述数据信息为商务外出台账信息，所述数据源为商务外出台账系统，对所述商务外出台账系统采用配置服务配置需要同步的商务外出台账的数据字段，其中，配置服务采用http server，数据配置服务中存储了数据源拥有的字段和每个字段对应的位置，配置服务启动后，将数据字段的配置加载到内存中，简化了数据源；在配置服务中，选择可以同步的数据字段，配置数据同步接口允许同步的字段，并可以对所述数据字段做一些简单的规则设置；若检验所述数据字段在map设置合理的；则数据源把数据存储到bit map中，所述数据字段的bit位为1代表该字段需要同步。

步骤12：若所述数据字段是否需要同步的标识位为需要数据同步，则向远程平台发送数据变更消息；所述数据变更消息包括：所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

本发明实施例中，当数据字段发生变动时，会给关注相应字段的下游服务远程平台发送数据变更消息，数据变更消息中带有对应数据字段的位置、数据字段的变更时间和所述数据字段最新的字段哈希值。

步骤13：接收所述远程平台发送的获取数据同步接口请求，并通过对应的数据同步接口向所述远程平台发送需要数据同步的所述数据信息。

本发明实施例中，通过配置需要进行数据同步的字段，降低了数据源的复杂度，解决了现有技术中外网的业务无法直接通过数据库连接，并且操作复杂的问题，实现了简化同步数据的复杂度

请参考图2，本发明实施例提供了一种数据同步服务的方法，应用于远程平台，包括：

步骤21：接收终端发送的数据变更消息，所述数据变更消息中需要变更的数据为带有需要同步的标识位的数据，所述数据变更消息包括：数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

本发明实施例中，远程平台为CRM系统（Customer Relationship Management，客户关系管理），远程平台启动同步服务，也会先请求配置服务，并加载配置到内存map中。

步骤22：根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据；

本发明实施例中，判断所述数据字段是否为需要同步的数据，包括：

步骤23：若所述数据字段是否为需要同步的数据，则向终端发送获取数据同步接口请求；

本发明实施例中，除获取到数据变更消息之后向终端发送获取数据同步接口请求，也可以定时向所述终端发送获取数据同步接口请求，获取数据，并校验数据源返回的数据字段是否正确，确保在漏掉数据变更消息时，也能同步到最新数据。

步骤24：通过对应的数据同步接口接收所述数据字段。

本发明实施例中，采用在数据源配置同步字段，并且数据源提供http服务接口，下游CRM远程平台定时或以数据变更消息请求http接口，获取数据并进行数据处理，规避了直接访问数据源数据库产生的安全问题，也降低同步数据的复杂度，并提高了下游系统的数据处理方便性。

请参考图3，在数据配置阶段，配置服务获取用户存储的数据字段及其对应的位置，即获取数据源，所述数据源包括：数据字段和所述数据字段的位置；配置CRM服务需要同步的字段，即选择可以同步的数据字段，配置数据同步接口允许同步的字段；配置完成后动态加载数据配置，并校验以及保存所述配置。

在同步数据阶段，数据源服务请求数据配置，CRM服务也可以请求数据配置；

CRM服务定时或根据数据变更消息向数据源服务请求http接口，并获取数据，即向终端发送获取数据同步接口请求，并通过对应的数据同步接口接收所述数据字段。

CRM服务定时向所述终端发送获取数据同步接口请求，获取数据时，校验数据源返回的数据字段是否正确，确保在漏掉数据变更消息时，也能同步到最新数据。

请参考图4，本发明实施例提供了一种数据同步服务的装置，包括：

获取模块41，用于获取数据信息，所述数据信息中包括：数据字段、所述数据字段的位置及所述数据字段是否需要同步的标识位；

第一发送模块42，用于若所述数据字段是否需要同步的标识位为需要数据同步，则向远程平台发送数据变更消息；所述数据变更消息包括：所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

第一处理模块43，用于接收所述远程平台发送的获取数据同步接口请求，并通过对应的数据同步接口向所述远程平台发送需要数据同步的所述数据信息。

本发明实施例提供的数据同步服务的的装置能够实现图1的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

请参考图5，本发明实施例提供了一种远程平台，包括：

第一接收模块51，用于接收终端发送的数据变更消息，所述数据变更消息中需要变更的数据为带有需要同步的标识位的数据，所述数据变更消息包括：数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间；

判断模块52，用于根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据；

第二发送模块53，用于若所述数据字段是否为需要同步的数据，则向终端发送获取数据同步接口请求；

第二接收模块54，用于通过对应的数据同步接口接收所述数据字段。

本发明实施例提供的远程平台能够实现图2的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供了一种电子设备60，参见图6所示，图6为本发明实施例电子设备60的原理框图，包括处理器61，存储器62及存储在存储器62上并可在处理器61上运行的程序或指令，程序或指令被处理器执行时实现本发明的任一项数据同步服务的方法中的步骤。

本发明实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述任一项的数据同步服务的方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台服务分类设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种数据同步服务的方法，其特征在于，应用于终端，包括：

2.根据权利要求1所述的数据同步服务的方法，其特征在于，获取数据信息之前，还包括：

配置数据同步接口允许同步的数据字段。

3.根据权利要求1所述的数据同步服务的方法，其特征在于，获取数据信息之前，还包括：

4.一种数据同步服务的方法，其特征在于，应用于远程平台，包括：

通过对应的数据同步接口接收所述数据字段。

5.根据权利要求4所述的数据同步服务的方法，其特征在于，所述根据所述数据字段的位置、所述数据字段的哈希值和所述数据字段的变更时间判断所述数据字段是否为需要同步的数据，包括：

6.根据权利要求4所述的数据同步服务的方法，其特征在于，还包括：

定时向所述终端发送获取数据同步接口请求。

7.一种数据同步服务的装置，其特征在于，包括：

8.一种远程平台，其特征在于，包括：

9.一种电子设备，其特征在于：包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至3中任一项所述的数据同步服务的方法中的步骤，或实现如权利要求4至6中任一项所述的数据同步服务的方法中的步骤。

10.一种可读存储介质，其特征在于：所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至3中任一项所述的数据同步服务的方法中的步骤，或实现如权利要求4至6中任一项所述的数据同步服务的方法中的步骤。