CN111400408A - 数据同步方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及数据同步技术领域，公开了一种数据同步方法、装置、设备及存储介质，用于解决现有读写操作一体的数据库在面对大量业务数据时，造成系统不稳定和业务查询效率低的问题。数据同步方法包括：获取多个源端数据库中的待同步源数据；根据预置的追踪字段的配置规则，从待同步源数据中筛选出对应的数据字段信息，并将数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；利用异步线程的控制方式，根据所述跟踪信息列表从源端数据库中读取对应的待同步源数据，并存储至写入队列；根据写入队列，将待同步源数据写入到至少一个目标数据库中，实现数据库读写分离，系统可稳定处理大量数据时及提高业务查询效率。

Description

数据同步方法、装置、设备及存储介质

技术领域

本发明涉及数据同步技术领域，尤其涉及一种数据同步方法、装置、设备及存储介质。

背景技术

当今世界是一个充满着数据的互联网时代，互联网世界即数据世界。面对如此庞大的数据体量，我们对装载数据的容器需求也是日益剧增，故数据库的重要性在当前世界的重要性不言而喻。数据库是存放数据的仓库，仓库越大则其管理规则越重要，一个好的数据库管理规则能让其利用效率大大增加，发挥出大于其本身容量的使用效果，通过数据库管理规则来提升数据库的运行能力已然是当前互联网领域的一大热门研究方向，对数据库的读写操作模式也是其中重要的一支。

而现有技术基于数据库的读写操作都是一体的，通常是根据雪花算法定义主键，对大量数据进行分库分表处理，然后再根据雪花算法在该多表多库中计算数据的存储位置，对数据库中数据的读取与写入都在同一个数据库中执行，而且如果在表格中没有主键的情况下，输入检索字段将同时获取多张表格的数据，再做数据剔除以得到所需的目标数据。这样一种数据库读写操作一体的运行模式，一方面在面对大量业务数据的处理时，往往对数据库系统造成很大的压力，容易导致整个系统的卡顿和崩溃，另一方面在进行数据库中数据的查询时，查询效率低，浪费网络资源和数据资源。

发明内容

本发明的主要目的在于解决现有读写操作一体的数据库在面对大量业务数据时，造成系统不稳定和业务查询效率低的问题。

本发明第一方面提供了一种数据同步方法，包括：

获取多个源端数据库中的待同步源数据；

根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

可选的，在本发明第一方面的第一种实现方式中，所述所述根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表包括：

当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表。

可选的，在本发明第一方面的第二种实现方式中，若所述追踪字段还包括源端数据库的标识信息时，所述根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表还包括：

解析所述待同步源数据，得到对应的源端数据库；

读取所述源端数据库中的标识信息；

将所述标识信息嵌入到所述时间字段中。

可选的，在本发明第一方面的第三种实现方式中，所述利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列包括：

基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

根据所述更新时间对读取到的所有待同步数据进行排序；

将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中。

可选的，在本发明第一方面的第四种实现方式中，若所述源端数据库和所述目标数据库的数据存储格式不相同时，所述利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列还包括：

判断所述源端数据库与所述目标数据库的存储格式是否相同；

若所述源端数据库与所述目标数据库的存储格式不相同，则获取所述目标数据库中所存储的数据的存储格式；

将所述待同步源数据转化为所述目标数据库对应的存储格式。

可选的，在本发明第一方面的第五种实现方式中，所述数据同步方法还包括：

接收用户客户端上传的数据读取请求；

解析所述数据读取请求，得到对应的追踪字段；

查询所述目标数据库中是否存储有携带所述数据读取请求对应追踪字段的源数据；

若是，则将所述源数据输出给所述用户客户端；

若否，则根据所述追踪字段从所述源端数据库中查询对应的源数据，输出给所述用户客户端。

可选的，在本发明第一方面的第六种实现方式中，所述数据同步方法还包括：

每隔预设周期，从所述多个源端数据库中的待同步源数据筛选对应的追踪字段，得到初始追踪信息列表；

对比旧初始追踪信息列表与所述初始追踪信息列表，筛除重复的追踪字段，得到新的追踪信息列表。

本发明第二方面提供了一种数据同步装置，包括：

数据获取模块，用于获取多个源端数据库中的待同步源数据；

配置模块，用于根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

数据缓存模块，用于利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

数据同步模块，用于根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

可选的，在本发明第二方面的第一种实现方式中，所述配置模块还用于：

当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表。

可选的，在本发明第二方面的第二种实现方式中，所述配置模块还用于：

解析所述待同步源数据，得到对应的源端数据库；

读取所述源端数据库中的标识信息；

将所述标识信息嵌入到所述时间字段中。

可选的，在本发明第二方面的第三种实现方式中，所述数据缓存模块还用于：

基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

根据所述更新时间对读取到的所有待同步数据进行排序；

将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中。

可选的，在本发明第二方面的第四种实现方式中，所述数据缓存模块还用于：

判断所述源端数据库与所述目标数据库的存储格式是否相同；

若所述源端数据库与所述目标数据库的存储格式不相同，则获取所述目标数据库中所存储的数据的存储格式；

将所述待同步源数据转化为所述目标数据库对应的存储格式。

可选的，在本发明第二方面的第五种实现方式中，所述数据同步装置还包括：

数据读取模块，用于接收用户客户端上传的数据读取请求；解析所述数据读取请求，得到对应的追踪字段；查询所述目标数据库中是否存储有携带所述数据读取请求对应追踪字段的源数据；若是，则将所述源数据输出给所述用户客户端；若否，则根据所述追踪字段从所述源端数据库中查询对应的源数据，输出给所述用户客户端。

可选的，在本发明第二方面的第六种实现方式中，所述数据同步装置还包括：

追踪信息列表更新模块，用于每隔预设周期，从所述多个源端数据库中的待同步源数据筛选对应的追踪字段，得到初始追踪信息列表；对比旧初始追踪信息列表与所述初始追踪信息列表，筛除重复的追踪字段，得到新的追踪信息列表。

本发明第三方面提供了一种数据同步设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据同步设备执行上述的数据同步方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据同步方法。

本发明提供的技术方案中，获取多个源端数据库中的待同步源数据；根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。本发明实施例中，通过为源端数据库配置追踪字段，并生成相应的追踪消息列表中，通过追踪消息列表即可查询未更新的待同步源数据；对于未更新的待同步源数据，利用异步线程先根据目标数据库的存储规则缓存至写入队列中，再由写进目标数据库中，以达到数据库读写分离的目的，数据库在同时处理大量业务数据时增加其稳定性，亦提升数据库内数据的查询效率。

附图说明

图1为本发明实施例中数据同步方法的第一个实施例示意图；

图2为本发明实施例中数据同步方法的第二个实施例示意图；

图3为本发明实施例中数据同步方法的第三个实施例示意图；

图4为本发明实施例中数据同步方法的第四个实施例示意图；

图5为本发明实施例中数据同步方法的第五个实施例示意图；

图6为本发明实施例中数据同步方法的第六个实施例示意图；

图7为本发明实施例中数据同步方法的第七个实施例示意图；

图8为本发明实施例中数据同步装置的一个实施例示意图；

图9为本发明实施例中数据同步装置的另一个实施例示意图；

图10为本发明实施例中数据同步设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据同步方法、装置、设备及存储介质，本发明实施例中，通过为源端数据库配置追踪字段，并生成相应的追踪消息列表中，通过追踪消息列表即可查询未更新的待同步源数据；对于未更新的待同步源数据，利用异步线程先根据目标数据库的存储规则缓存至写入队列中，再由写进目标数据库中，以达到数据库读写分离的目的，数据库在同时处理大量业务数据时增加其稳定性，亦提升数据库内数据的查询效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据同步方法的第一个实施例包括：

101、获取多个源端数据库中的待同步源数据；

可以理解的是，本发明的执行主体可以为数据同步装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

本实施例中，本系统支持多管道数据收集，一个管道负责一个数据源，可同时从多个源端数据库中批量备份数据库到一个或多个目标数据库中。根据业务需求，通过可视化控制中台调节需要进行更新及备份的源端数据库，则本系统根据需求设置从选择的源端数据库中获取待更新的待同步源数据。

102、根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

本实施例中，在执行数据同步之前，一方面为了追踪数据更新情况，精准获取未更新的数据，另一方面为了在将待同步源数据备份到目标数据库后实现数据的可读性能与检索性能，需为待同步源数据自定义追踪字段，其中，配置的追踪字段为待同步源数据本身携带的数据字段信息，包括源端数据库中唯一标识每一条数据记录的主键、可追踪更新数据顺序的字段，如时间戳、数据写入源端数据库时自定义的检索号。上述可作为追踪字段的数据字段信息都具有共同的特征，即在每一条待同步源数据中都带同一个唯一属性，故可通过数据字段信息的属性，从待同步源数据中筛选对应的追踪字段。比如配置时间字段为待同步源数据的追踪字段，由于时间自动生成的属性格式在每一数据库的待同步源数据中具有唯一性，通过固定的时间提取命令即可定向提取时间字段。

103、利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

本实施例中，异步线程控制待同步源数据更新过程包括：数据处理和数据缓存两个过程，其中数据处理包括数据获取、数据过滤、数据输出三个步骤，数据过滤执行包括时间格式化、数据识别、数据解码、数据编码中一个或多个功能。根据源端数据库与目标数据库的存储格式，执行数据过滤中对应的步骤，其中，时间格式化、数据识别是通用执行流程，而比如当源端数据库与目标数据库的存储格式不同时，数据过滤步骤需执行数据解码、数据编码，将待同步源数据存储格式转化为适配目标数据库的数据存储格式，而若源端数据库与目标数据库存储格式相同时，则无需进行数据解码与数据编码。

本实施例中，在待同步源数据处理完成后，依据追踪字段对待同步源数据编排顺序，并将排序后的待同步源数据存储到写入队列中，目标数据库的初步部署则在写入队列中体现出来，故将待同步源数据在将待同步源数据缓存到写入队列中时，需对其存储规则做出限定，达到初步整理数据存储逻辑的作用。写入队列包括RocketMQ、RabbitMQ、ActiveMQ、Redis、Kafka，比如利用Kafka写入队列作为数据缓存区，利用其数据订阅及消费的特性，写入队列分别存储指定类型的待同步源数据，以对不同类型的待同步源数据做初步整理，而后将分类后的待同步源数据输出至对应目标数据库的存储空间中，在此先对待同步源数据做一个分流。

104、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

本实施例中，在写入队列中，对待同步源数据做了初步的整理，而将待同步源数据从写入队列中写入到目标数据库中是对整理后待同步源数据的消费，可通过订阅模式进行消费，一个或多个目标数据库通过数据存储需求及规则，向写入队列订阅对应的一条或多条写入队列，对待同步源数据进行有序消费，获取对应的待同步源数据并存储至自身目标数据库中。比如在写入队列中，写入队列A存储a类待同步源数据，写入队列B存储b类待同步源数据，写入队列C存储c类待同步源数据；目标数据库A订阅写入队列A，订阅写入队列A和B，目标数据库C订阅写入队列A、B、C，则a类待同步源数据顺序发送到目标数据库A、目标数据库B、目标数据库C；b类待同步源数据顺序发送到目标数据库B、目标数据库C；c类待同步源数据顺序发送到目标数据库C，完成不同待同步源数据类型的分配。

本发明实施例中，通过为源端数据库配置追踪字段，以此生成相应的追踪消息列表，通过追踪消息列表即可查询未更新的待同步源数据；对于未更新的待同步源数据，利用异步线程先根据目标数据库的存储规则缓存至写入队列中，再存储至目标数据库中，以达到数据库读写分离的目的，数据库在同时处理大量业务数据时增加其稳定性，亦提升数据库内数据的查询效率。

请参阅图2，本发明实施例中数据同步方法的第二个实施例包括：

201、获取多个源端数据库中的待同步源数据；

202、当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

本实施例中，若定义时间字段为追踪字段，则将待同步源数据解析为多个数据字段，并根据时间字段的查询提取规则，从待同步源数据解析的多个数据字段信息中筛选出时间字段。比如字段名query_datetime为查询时间戳(毫秒)，具体示例为一段纯数字，response_datetime为反应时间，具体示例为年-月-日时：分：秒。

203、识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

本实施例中，不同类型的数据字段具有不同的存储格式属性，遍历数据库中每个数据字段信息的属性标签，若该属性标签为时间属性标签则进行标注，否则不做任何操作，这里我们只需要对时间属性标签的格式做一个限定即可，通过其存储格式做为时间属性标签的排查准则，从多个属性标签中筛选出时间属性标签。而现有的技术中获取时间字段的方式也有很多，具体的，可以使用grok插件过滤日志，然后使用％{DATESTAMP:date}或自定义模式去匹配待同步源数据中的时间，然后再过滤器date中定义match＝>{"date","yyyy-MM-dd HH:mm:ss:SSS"}，由此识别时间字段所携带的属性标签，即可得到对应的时间字段。

204、若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表；

本实施例中，按时间字段的存储格式查询及提取得到对应的时间字段后，将时间字段写进时间追踪列表中，时间追踪列表的作用在于记录需要进行备份的源字段对应的索引标签，根据表格逐一对追踪列表内的源字段同步到目标数据库中，需要注意的是，时间追踪列表内的时间字段每隔预设周期更新一次，目的在于实时获取最新的时间字段，确认哪些时间字段对应的待同步源数据已更新，哪些时间字段对应的待同步源数据未更新，将已更新的待同步源数据筛除。具体的，若旧时间追踪列表内时间字段对应的值在时间区间(A-B)之间，下次更新得到新时间追踪列表内时间字段对应的值则在时间区间(B-C)之间，并且时间区间(A-B)内的数据已经同步至目标数据库，则无需再更新，只需要同步时间字段对应的值在时间区间(B-C)之间所对应的待同步源数据即可。

205、利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

206、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

本发明实施例中，配置时间字段为追踪字段查询源端数据库中未更新的待同步源数据，不需要对整个源端数据库进行数据全量处理，只需将源端数据库内的更新数据增量同步到目标数据库即可，增加了同步效率，减少了资源浪费。

请参阅图3，本发明实施例中数据同步方法的第三个实施例包括：

301、获取多个源端数据库中的待同步源数据；

302、当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

本实施例中，对于源端数据库中的待同步源数据，可选择时间字段作为其追踪字段，以标识每一条唯一的待同步源数据，并追踪源端数据库中的源数据的更新状况。

303、识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

304、若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表；

本实施例中，若所需同步的待同步源数据来自同一个源端数据库，则只需筛选得到单个源端数据库中待同步源数据的时间字段作为其追踪字段；若所需同步的待同步源数据来自多个源端数据库，则时间字段无法唯一标识每一条源数据，这时需要在时间字段前嵌入所属源端数据库的标识信息，建立两级索引标签方可唯一标识多个数据库中的每一条源数据。

305、解析所述待同步源数据，得到对应的源端数据库；

本实施例中，通过多管道获取源数据库的源数据，每条管道连接不同的数据库，并且独立工作，通过与源数据库的连接管道可以筛选得到对应的源数据。比如连接管道A负责对接源数据库A，连接管道B负责对接源数据库B，则通过连接管道A获取源数据库A中的源数据，通过连接管道B获取源数据库B中的源数据，以达到筛选不同源数据库中的源数据的目的，故通过解析源数据即可得到对应的源端数据库。

306、读取所述源端数据库中的标识信息；

本实施例中，不同源数据库携带不同的数据库标识信息，存在不同源数据库存储有相同源数据，或者不同数据库中的源数据带有相同的追踪字段时，为区分每条唯一的源数据，需结合该追踪字段与数据库标识信息唯一标识每一条源数据。具体的，数据库标识信息包括数据库名称、自定义数据库编号。

307、将所述标识信息嵌入到所述时间字段中；

本实施例中，追踪字段唯一标识每一条源数据，从不同源数据库获取的源数据，为其定义追踪字段时，以其源数据库对应的标识信息为一级索引标签，以源数据对应在该源数据库中的追踪字段为二级索引标签，两者进行拼接，得到最终的追踪字段，从多个源数据库中获取的源数据中，唯一标识每一条源数据。具体的，如源数据库1的标识信息为AAA，从源数据库1中筛选得到的源数据X对应的时间字段为aaa，源数据库2的标识标识信息为BBB，从源数据库2中筛选得到的源数据Y对应的时间字段亦为aaa，则源数据X最终的追踪字段为AAA_aaa，源数据Y最终的追踪字段为BBB_aaa，源数据X与源数据Y同时备份到目标数据库中，亦可通过追踪字段AAA_aaa与BBB_aaa区分源数据X与源数据Y。

308、利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

309、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

本发明实施例中，源数据获取途径来自多个源数据库，可能存在从不同数据库中获取的源数据携带相同的时间字段，故将源端数据库对应的标识信息嵌入时间字段中，即可将源数据从不同源数据库同步到目标数据库时，通过追踪字段亦可唯一查询到每一条源数据，增加查询效率。

请参阅图4，本发明实施例中数据同步方法的第四个实施例包括：

401、获取多个源端数据库中的待同步源数据；

402、根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

403、基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

本实施例中，通过数据的更新时间前后顺序，对源端数据库的待备份数据进行同步，而时间字段对应的值代表更新时间，即从源端数据库中获取待同步数据时，通过时间字段对应的值，记录对应待同步源数据的更新时间。

405、根据所述更新时间对读取到的所有待同步数据进行排序；

本实施例中，写入队列根据数据更新时间顺序，将待同步源数据写入目标数据库中，而写入队列的消费顺序亦根据消息的写入顺序决定，故待同步源数据需根据待同步源数据的更新时间逐一读取到从写入队列中。

406、将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中；

本实施例中，将待同步数据更加更新时间前后顺序存储至写入队列中，具体的，若待同步源数据A的更新时间为时间a，待同步源数据B的更新时间为时间a，待同步源数据C的更新时间为时间c，且时间由远及近分别为a、b、c，则待同步源数据存储至写入队列的顺序为待同步源数据A，待同步源数据B，待同步源数据C。

407、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中；

本发明实施例中，通过时间字段对应的值得到对应待同步源数据的更新时间，再根据待同步源数据的更新时间由远及近逐一写入写入队列中，按数据层叠部署从源端数据库备份到目标数据库中，保证后续数据查询及读取的实时性和数据之间的关联性。

请参阅图5，本发明实施例中数据同步方法的第五个实施例包括：

501、获取多个源端数据库中的待同步源数据；

本实施例中，源端数据库的数据存储格式与目标数据库的数据存储格式有两种情况：相同和不同，故在获取得到待同步源数据后，需对源端数据库的数据存储格式与目标数据库的数据存储格式进行比较，以后续对源数据做不同的处理。

502、根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

503、基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

504、判断所述源端数据库与所述目标数据库的存储格式是否相同；

本实施例中，源端数据库与目标数据库数据存储格式是否相同，决定了在数据中转空间中是否需要增加对待同步源数据进行重新编码，将待同步源数据在源端数据库的存储格式转化为目标数据库的存储格式，以及是否需要进行数据格式转化，这些都影响待同步源数据的同步效率。故需先判断源端数据库与目标端数据库数据的存储格式是否相同，以接入不同的处理流程。

505、若所述源端数据库与所述目标数据库的存储格式不相同，则获取所述目标数据库中所存储的数据的存储格式；

本实施例中，当源端数据库与目标数据库的数据存储格式不同，需对待同步源数据进行解码并重新编码，以对待同步源数据的存储格式进行转换，比如，源端数据库数据存储类型为文本文档文件，目标端数据存储类型为逗号分隔值文件格式(Comma-SeparatedValues，CSV)，则需要将文本文档文件存储格式转换为CSV存储格式。

506、将所述待同步源数据转化为所述目标数据库对应的存储格式；

本实施例中，先将待同步源数据的存储格式转化为基础数据存储类型，然后再进行重新编码，得到适配目标数据库的存储格式。具体的，可通过canal数据收集引擎从目标数据库中获取文本文档文件，然后将文本文档文件进行解码统一转化为直译式脚本语言对象简谱(Java Script Object Notation，JSON)，然后再对JSON数据格式的待同步源数据进行重新编码，进而转化为适配目标数据库的CSV存储格式。

507、根据所述更新时间对转化后的所有待同步数据进行排序；

508、将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中；

509、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

本发明实施例中，当源端数据库与目标数据库数据存储类型不同时，在数据中转空间中，需对待同步源数据重新编码，以将待同步源数据的数据存储格式转化为适配目标数据库的数据存储格式，也即本实施例实现了在不同物理存储空间中亦可进行数据的同步。

请参阅图6，本发明实施例中数据读取方法的第六个实施例包括：

601、接收用户客户端上传的数据读取请求；

本实施例中，在完成待同步源数据从源端数据库到目标数据的同步之后，对客户端的读取操作与写入操作实现分离，数据读取操作为从目标数据库中获取数据，数据写入操作则由源端数据库处理。当接收到读用户客户端上传的数据读取请求时，利用目标数据库来处理读取操作。

602、解析所述数据读取请求，得到对应的追踪字段；

本实施例中，数据读取请求中带有预读取待同步源数据的追踪字段，通过追踪字段确定该数据读取请求对应的请求数据。

603、查询所述目标数据库中是否存储有携带所述数据读取请求对应追踪字段的源数据；

本实施例中，通过追踪字段查询目标数据库中是否存储有用户预查询的数据，再根据判断结果，决定从目标数据库或者从源端数据库中获取相关的内容。

604、若是，则将所述源数据输出给所述用户客户端；

本实施例中，当查询到目标数据库中存储有用户客户端数据读取请求对应的待同步源数据，则直接从目标客户端中获取相应的数据并返回给用户客户端，整个过程只占用目标客户端的读取操作运行，而不影响源端数据库的写入操作运行，分别处理用户的数据读取与数据写入功能。

605、若否，则根据所述追踪字段从所述源端数据库中查询对应的源数据，输出给所述用户客户端。

本实施例中，若目标数据库中未存储有携带所述数据读取请求对应追踪字段的源数据，则表示用户查询的内容未同步至目标数据库中，比如系统故障时出现的待同步源数据同步出错，导致无法查询到相应更新待同步源数据、更新周期长导致无法及时在目标数据库中查询到已写入源端数据库的待同步源数据等情况。具体的，如博客网站A采用的数据库系统中，数据同步功能在时间区间(A-B)发生故障，而时间区间(A-B)内的时间区间(A-C)写入n条待同步源数据，则该n条待同步源数据只存储在源端数据库中，而未同步至目标数据库中，故用户在时间区间(C-B)中无法查询到该n条待同步源数据。

本发明实施例中，在用户客户端数据处理请求时，只需从目标数据库中查询及获取相应的数据即可，独立完成数据读取操作，减少数据写入操作带来的响应延迟问题，也不占用源端数据库的数据写入操作的运行资源，同时提升数据读写效率。

请参阅图7，本发明实施例中数据同步方法的第七个实施例包括：

701、获取多个源端数据库中的待同步源数据；

702、根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

本实施例中，通过从待同步源数据中筛选出跟踪字段以追踪源端数据中的数据更新状况，并写入失踪信息列表中。每隔预设周期，都需参照追踪信息列表中记录的追踪字段，从源端数据库中同步源数据到目标数据库中。故追踪信息列表相当于源数据同步的索引列表。

703、利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

本实施例中，根据追踪信息列表，先从源端数据库中缓存源数据至写入队列中，在写入队列中做初步的源数据类别整理，再同步到目标数据库中。

704、根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中；

705、每隔预设周期，从所述多个源端数据库中的待同步源数据筛选对应的追踪字段，得到初始追踪信息列表；

本实施例中，定时更新源端数据库中的待同步源数据至目标数据库，首先从源端数据库中筛选追踪字段，初步排除非目标的待同步源数据。

706、对比旧初始追踪信息列表与所述初始追踪信息列表，筛除重复的追踪字段，得到新的追踪信息列表。

本实施例中，通过上一周期生成的初始追踪信息列表，确定已备份至目标数据库的待同步源数据，并以此从新生成的初始追踪信息列表中筛除掉已备份待同步源数据对应的追踪字段，即可得到新的追踪列表，其中，新追踪列表中的追踪字段对应的待同步源数据即为未备份的待同步源数据。比如旧初始追踪信息列表中包含追踪字段A、追踪字段B、追踪字段C，新初始追踪信息列表中包含追踪字段A、追踪字段B、追踪字段C、追踪字段D、追踪字段E、追踪字段F，对比旧初始追踪信息列表与新初始追踪信息列表即可得到追踪字段A、追踪字段B、追踪字段C对应的待同步源数据已从源端数据库备份至目标数据库，通过追踪字段D、追踪字段E、追踪字段F生成新的追踪信息列表，即表示追踪字段D、追踪字段E、追踪字段F对应的待同步源数据未备份至目标数据库。

本发明实施例中，通过追踪字段定时对源端数据库做一遍筛查，通过获取源端数据库中的追踪字段，并筛除已备份源数据的追踪字段，得到待同步源数据对应的追踪字段，以此生成新的追踪信息列表，对待同步源数据进行更新，不用每次都对源端数据库中的数据全量备份，而只需要进行待同步源数据的增量即可，减少了资源浪费，增加了同步效率。

上面对本发明实施例中数据同步方法进行了描述，下面对本发明实施例中数据同步装置进行描述，请参阅图8，本发明实施例中数据同步装置一个实施例包括：

数据获取模块801，用于获取多个源端数据库中的待同步源数据；

配置模块802，用于根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

数据缓存模块803，用于利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

数据同步模块804，用于根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

本发明实施例中，通过为源端数据库配置追踪字段，并生成相应的追踪消息列表中，通过追踪消息列表即可查询未更新的待同步源数据；对于未更新的待同步源数据，利用异步线程先根据目标数据库的存储规则缓存至写入队列中，再由写进目标数据库中，以达到数据库读写分离的目的，数据库在同时处理大量业务数据时增加其稳定性，亦提升数据库内数据的查询效率。

请参阅图9，本发明实施例中数据同步装置的另一个实施例包括：

数据获取模块901，用于获取多个源端数据库中的待同步源数据；

配置模块902，用于根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

数据缓存模块903，用于利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

数据同步模块904，用于根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

具体的，所述配置模块902还包括：

数据解析单元9021，用于当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

属性识别单元9022，用于识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

追踪字段生成单元9023，用于若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表。

具体的，所述配置模块902还包括标识信息嵌入单元9024，其用于：

解析所述待同步源数据，得到对应的源端数据库；

读取所述源端数据库中的标识信息；

将所述标识信息嵌入到所述时间字段中。

具体的，所述数据缓存模块903还包括：

数据异步获取单元9031，用于基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

数据排序单元9032，用于根据所述更新时间对读取到的所有待同步数据进行排序；

数据异步存储单元9033，用于将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中。

具体的，所述数据缓存模块903还包括：

存储格式判断单元9034，用于判断所述源端数据库与所述目标数据库的存储格式是否相同；

存储格式获取单元9035，用于若所述源端数据库与所述目标数据库的存储格式不相同，则获取所述目标数据库中所存储的数据的存储格式；

数据格式转换单元9036，用于将所述待同步源数据转化为所述目标数据库对应的存储格式。

具体的，所述数据同步装置还包括读取操作模块905，其用于：

接收用户客户端上传的数据读取请求；

解析所述数据读取请求，得到对应的追踪字段；

查询所述目标数据库中是否存储有携带所述数据读取请求对应追踪字段的源数据；

若是，则将所述源数据输出给所述用户客户端；

若否，则根据所述追踪字段从所述源端数据库中查询对应的源数据，输出给所述用户客户端。

具体的，所述数据同步装置还包括追踪信息列表更新模块906，其用于：

每隔预设周期，从所述多个源端数据库中的待同步源数据筛选对应的追踪字段，得到初始追踪信息列表；

对比旧初始追踪信息列表与所述初始追踪信息列表，筛除重复的追踪字段，得到新的追踪信息列表。

本发明实施例中，首先为源端数据库中的数据库配置追踪字段，生成追踪信息列表，当待同步源数据来自多个源端数据库时，则需要同时将待同步源数据对应源端数据库的标识信息嵌入追踪字段中，其中，追踪字段可以为时间字段；然后应用追踪信息列表从源端数据库中筛选待同步源数据并同步至目标数据库中，其中，当源端数据库与目标数据库的存储格式不同时，则需要对待同步源数据的存储格式进行转换；而后每个预设周期对追踪信息列表进行更新，保证待备份数据准实时进行同步，以此达到数据库数据读写分离的目的，对数据读取操作从目标数据库中获取对应数据，若对应数据未备份再从源端数据库中获取，而数据写入操作只在源端数据库中执行，一方面提升系统的数据读取操作的承载量，另一方面增加数据写入与数据读取的效率。

上面图8和图9从模块化功能实体的角度对本发明实施例中的数据同步装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据同步设备进行详细描述。

图10是本发明实施例提供的一种数据同步设备的结构示意图，该数据同步设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)1010(例如，一个或一个以上处理器)和存储器1020，一个或一个以上存储应用程序1033或数据1032的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1020和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据同步设备1000中的一系列指令操作。更进一步地，处理器1010可以设置为与存储介质1030通信，在数据同步设备1000上执行存储介质1030中的一系列指令操作。

数据同步设备1000还可以包括一个或一个以上电源1040，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1060，和/或，一个或一个以上操作系统1031，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图10示出的数据同步设备结构并不构成对数据同步设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据同步方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置或单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据同步方法，其特征在于，所述数据同步方法包括：

获取多个源端数据库中的待同步源数据；

根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表包括：

当所述追踪字段为时间字段时，解析所述待同步源数据，得到至少一个数据字段信息；

识别所述数据字段信息携带的属性标签，并判断所述属性标签是否为时间属性标签；

若所述属性标签为时间属性标签，则确定所述时间属性标签对应的数据字段信息为时间字段，并生成对应的时间追踪列表。

3.根据权利要求2所述的数据同步方法，其特征在于，若所述追踪字段还包括源端数据库的标识信息时，所述根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表还包括：

解析所述待同步源数据，得到对应的源端数据库；

读取所述源端数据库中的标识信息；

将所述标识信息嵌入到所述时间字段中。

4.根据权利要求2所述的数据同步方法，其特征在于，所述利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列包括：

基于所述时间字段对应的值，依次从所述源端数据库中读取对应的待同步源数据，并记录所述待同步数据在所述源端数据库中的更新时间；

根据所述更新时间对读取到的所有待同步数据进行排序；

将排序后的待同步数据，按照时间字段由远至近的顺序存储至所述写入队列中。

5.根据权利要求4所述的数据同步方法，其特征在于，若所述源端数据库和所述目标数据库的数据存储格式不相同时，所述利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列还包括：

判断所述源端数据库与所述目标数据库的存储格式是否相同；

若所述源端数据库与所述目标数据库的存储格式不相同，则获取所述目标数据库中所存储的数据的存储格式；

将所述待同步源数据转化为所述目标数据库对应的存储格式。

6.根据权利要求1-5任一项所述的数据同步方法，其特征在于，所述数据同步方法还包括：

接收用户客户端上传的数据读取请求；

解析所述数据读取请求，得到对应的追踪字段；

查询所述目标数据库中是否存储有携带所述数据读取请求对应追踪字段的源数据；

若是，则将所述源数据输出给所述用户客户端；

若否，则根据所述追踪字段从所述源端数据库中查询对应的源数据，输出给所述用户客户端。

7.根据权利要求1所述的数据同步方法，其特征在于，所述数据同步方法还包括：

每隔预设周期，从所述多个源端数据库中的待同步源数据筛选对应的追踪字段，得到初始追踪信息列表；

对比旧初始追踪信息列表与所述初始追踪信息列表，筛除重复的追踪字段，得到新的追踪信息列表。

8.一种数据同步装置，其特征在于，所述数据同步装置包括：

数据获取模块，用于获取多个源端数据库中的待同步源数据；

配置模块，用于根据预置的追踪字段的配置规则，从所述待同步源数据中筛选出对应的数据字段信息，并将所述数据字段信息设置为对应的待同步源数据的跟踪字段，得到追踪信息列表；

数据缓存模块，用于利用异步线程的控制方式，根据所述跟踪信息列表从所述源端数据库中读取对应的待同步源数据，并存储至写入队列；

数据同步模块，用于根据所述写入队列，将所述待同步源数据写入到至少一个目标数据库中。

9.一种数据同步设备，其特征在于，所述数据同步设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据同步设备执行如权利要求1-7中任一项所述的数据同步方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据同步方法。

Images