CN111309742A - 数据同步方法、装置、计算机设备及存储介质 - Google Patents

数据同步方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111309742A
CN111309742A CN202010066094.8A CN202010066094A CN111309742A CN 111309742 A CN111309742 A CN 111309742A CN 202010066094 A CN202010066094 A CN 202010066094A CN 111309742 A CN111309742 A CN 111309742A
Authority
CN
China
Prior art keywords
synchronization
data
data synchronization
directory
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010066094.8A
Other languages
English (en)
Inventor
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010066094.8A priority Critical patent/CN111309742A/zh
Priority to PCT/CN2020/087130 priority patent/WO2021147197A1/zh
Publication of CN111309742A publication Critical patent/CN111309742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据同步方法、装置、计算机设备及存储介质。方法包括:到达预设同步时间点,判断数据同步日志中是否包含新增同步记录,若包含新增同步记录,将初始数据库中的数据信息同步存储至待同步数据库的空闲目录中并记录同步起始时间,到达与同步起始时间间隔预置时限的时间,根据新增同步记录判断空闲目录是否完成数据同步得到第一判断结果,若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。本发明基于数据同步技术,可提高进行数据信息同步时数据库使用的可靠性,提高进行数据信息同步时数据库的可维护性,大幅缩减了数据库的维护成本。

Description

数据同步方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据同步方法、装置、计算机设备及存储介质。
背景技术
大型企业中经常涉及对海量数据信息的存储及使用,如大型企业中用户数据信息的数据量可达亿级。企业通常将海量数据信息存储至数据库中,并定期对数据库中的数据信息进行同步,传统数据库在存储海量数据信息后对全量数据信息进行同步需耗费较长时间,同步过程会对该数据库的连接使用造成影响,因此还需投入大量人力对同步过程进行维护,因同步效率较低导致数据信息使用的可靠性不高。因此,现有的技术方法中数据信息同步方法存在数据信息使用的可靠性较低的问题。
发明内容
本发明实施例提供了一种数据同步方法、装置、计算机设备及存储介质,旨在解决现有技术方法进行数据信息同步时存在数据信息使用的可靠性较低的问题。
第一方面,本发明实施例提供了一种数据同步方法,其包括:
在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;
若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;
若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;
若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
第二方面,本发明实施例提供了一种数据同步装置,其包括:
数据同步日志表判断单元,用于在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;
数据信息同步单元,用于若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;
同步判断单元,用于若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;
提示信息反馈单元,用于若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的数据同步方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的数据同步方法。
本发明实施例提供了一种数据同步方法、装置、计算机设备及存储介质。到达预设同步时间点,判断数据同步日志中是否包含新增同步记录,若包含新增同步记录,将初始数据库中的数据信息同步存储至待同步数据库的空闲目录中并记录同步起始时间,到达与同步起始时间间隔预置时限的时间,根据新增同步记录判断空闲目录是否完成数据同步得到第一判断结果,若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。通过上述方法,可提高进行数据信息同步时数据库使用的可靠性,提高进行数据信息同步时数据库的可维护性,大幅缩减了数据库的维护成本。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据同步方法的流程示意图;
图2为本发明实施例提供的数据同步方法的子流程示意图;
图3为本发明实施例提供的数据同步方法的另一流程示意图;
图4为本发明实施例提供的数据同步方法的另一子流程示意图;
图5为本发明实施例提供的数据同步方法的另一流程示意图;
图6为本发明实施例提供的数据同步方法的另一子流程示意图;
图7为本发明实施例提供的数据同步方法的另一流程示意图;
图8为本发明实施例提供的数据同步装置的示意性框图;
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1是本发明实施例提供的数据同步方法的流程示意图。该数据同步方法应用于用户终端中,该方法通过安装于用户终端中的应用软件进行执行,用户终端即是用于执行数据同步方法以对数据信息进行同步的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等。
如图1所示,该方法包括步骤S110~S140。
S110、在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录。
在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录。数据同步日志表即是对初始数据库中数据信息的同步更新进行记录的日志表,初始数据库中的数据信息每进行一次同步,则对该次同步的具体信息进行记录得到一条同步记录,同步记录中包含同步时间、数据量等信息。其中,初始数据库可以是MYSQL数据库,由于MYSQL数据库在对亿级数据量的数据信息进行读写时性能偏低,且在对MYSQL数据库中的数据信息进行同步更新的过程中,无法对该数据库中所存储的数据信息进行使用,因此本案中采用将MYSQL数据库中的数据信息同步至待同步数据库的方式,以增强待同步数据库中数据信息使用的可靠性。
例如,数据同步日志表中所包含的部分信息如表1所示。
同步记录编号 同步时间 数据量
M010015 2019-03-31,15:03:05 145361841
M010016 2019-04-01,10:15:44 145362973
M010017 2019-04-03,13:47:18 145364316
表1
在到达预设同步时间点时,则可根据每一同步记录的同步时间获取对应的新增同步记录,具体的,可根据预置时间判断规则对每一所述同步记录的同步时间进行判断,以获取满足预置时间判断规则的同步记录作为新增同步记录,新增同步记录可以为一条或多条。
例如,可设置每天的00:00为预设同步时间点,预置时间判断规则为预设同步时间点前24小时之内,则判断每一同步记录的同步时间与预设同步时间点的间隔时长是否小于24小时,根据判断结果获取同步时间与预设同步时间点的间隔时长小于24小时的同步记录作为新增同步记录。
S120、若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间。
若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间。若数据同步日志表中包含新增同步记录,则表明前一天初始数据库中的数据信息被同步更新,可根据已同步更新的初始数据库将其中的数据信息同步存储至待同步数据库的空闲目录中。其中,待同步数据库可以是ElasticSearch搜索引擎数据库,ElasticSearch是一个分布式、高扩展、高实时的搜索与存储引擎,对亿级数据量的数据信息进行读写时效率较高,ElasticSearch搜索引擎数据库中包含多个目录(Index),每一目录中包含多种数据类型(type),每一类型中对应存储与该类型相匹配的文档(Docments),文档中记录字段(Fields)及与字段对应的数据。本案中以待同步数据库中包含两个目录进行举例说明,待同步数据库中的两个目录分别存储两份数据信息,一个目录作为与其他业务系统进行对接、使用的主目录,另一个目录作为对数据信息进行备份的备用目录,主目录与备用目录的功能可根据实际需求进行灵活切换。当一个目录作为主目录被使用时,该目录中的数据信息无法进行数据同步,另一个目录作为备用目录未被使用,则可对该备用目录中的数据信息进行数据同步,备用目录完成同步后切换为主目录进行使用,并以相同方式再次对另一目录中的数据信息进行数据同步。
在一实施例中,如图2所示,步骤S120包括子步骤S121和S122。
S121、对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录。
对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录。正在被使用的目录中的数据信息无法进行数据同步,则需获取未被使用的目录作为可数据同步的空闲目录,具体的,每一目录均包含使用状态的信息,可基于每一目录的使用状态是否为空闲获取待同步数据库中的空闲目录。
S122、清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。
清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。同步起始时间也即是开始对数据信息进行同步的时间点。
S130、若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果。
若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果。启动对空闲目录进行数据同步的进程后,需在与同步起始时间间隔预置时限的时间后基于进行数据同步后空闲目录中的数据量判断是否完成数据同步。由于空闲目录内所包含的数据量十分庞大,相比实时判断是否完成数据同步,在合适的时间对是否完成数据同步进行判断可极大缓解计算压力,提高判断的效率及精准性。
在一实施例中,如图3所示,步骤S130之前还包括步骤S1301、S1302和S1303。
S1301、判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时。
判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时。具体的,在需进行数据同步的数据量增幅较小的情况下,同步耗时基本相同,每次数据同步均会记录空闲目录的历史同步耗时,以供下次进行数据同步时进行参考,可判断空闲目标对应的历史同步数据是否记录于待同步数据库中,若为第一次对空闲目录进行数据同步,则待同步数据库中未记录对应的历史同步耗时;若并非第一次对空闲目录进行数据同步,则待同步数据库中必定记录了对应的历史同步耗时。
S1302、若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限。
若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限。若本次并非第一次对该空闲目录进行数据同步,则待同步数据库中必定会记录对应的历史同步耗时,可将该历史同步耗时作为预置时限,则与同步起始时间间隔历史同步耗时的时间即为合适对本次数据同步是否已完成进行判断的时间。
S1303、若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。
若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。若本次为第一次对该空闲目录进行数据同步,则待同步数据库中未记录对应的历史同步耗时,可将管理人员预置的默认时限作为预置时限,则与同步起始时间间隔预置默认时限的时间即为合适对本次数据同步是否已完成进行判断的时间。
在一实施例中,如图4所示,步骤S130包括子步骤S131和S132。
S131、分别获取所述新增同步记录及所述空闲目录的数据量。
分别获取所述新增同步记录及所述空闲目录的数据量。新增同步记录中包含对应的数据量,新增同步记录的数据量即为对初始数据库中数据信息进行同步更新后的数据量,数据信息同步至空闲目录后可对空闲目标中所包含数据信息的数量进行统计,即可得到空闲目录的数据量,具体的,对空闲目录所包含的数据信息逐条进行相加即可得到空闲目录的数据量。
S132、对所述新增同步记录与所述空闲目录的数据量是否相等进行判断,以得到是否完成数据同步的第一判断结果。
对所述新增同步记录与所述空闲目录的数据量是否相等进行判断,以得到是否完成数据同步的第一判断结果。在对空闲目录进行数据同步的过程中,空闲目录中所包含数据信息的数量只会增加而不会减少,且空闲目录的数据量不大于新增同步记录的数据量,判断新增同步记录与空闲目录的数据量是否相等即可得到空闲目录是否完成数据同步的第一判断结果,若空闲目录与新增同步记录的数据量相等,则表明空闲目录已完成数据同步,得到完成数据同步的第一判断结果;若空闲目录与新增同步记录的数据量不相等,得到未完成数据同步的第一判断结果,还需对空闲目录进行进一步判断。
S140、若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息,提示信息即可用于提示管理人员空闲目录中的数据信息已完成同步。对空闲目录中的数据信息进行数据同步后,可将该空闲目录切换为与其他业务系统进行对接、使用的主目录,并以相同方式再次对待同步数据库中另一目录的数据信息进行数据同步。
在一实施例中,如图5所示,步骤S130之后还包括步骤S141、S142和S143。
S141、若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果。
若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果。若第一判断结果为未完成数据同步,则还需根据同步判断规则对空闲目录是否完成数据同步进行进一步判断,也即是在部分情况下空闲目录已完成数据同步,但空闲目录与新增同步记录的数据量并不相等。其中,所述同步判断规则中包括循环周期、循环次数N及间隔数量阈值,循环周期即为对空闲目录的数据量进行循环判断的周期时间信息,循环次数N即为获取循环判断结果的数量信息,其中N为预置的大于零的整数,间隔数量阈值即为对新增同步记录与空闲目录之间数据量差值进行判断的数量预置。
在一实施例中,如图6所示,步骤S141包括子步骤S1411和S1412。
S1411、与所述第一判断结果的获取时间每间隔一个所述循环周期,循环判断所述空闲目录的数据量是否增加。
若与第一判断结果的获取时间每间隔一个循环周期,则获取空闲目录的数据量,并将本次获取到的空闲目录的数据量与上一次获取到的空闲目录的数据量是否相同进行判断以得到空闲目录的数据量是否增加的判断结果。若空闲目录的数据量未增加,则表明此时并未有新增至空闲目录中的数据信息,则可终止数据同步进程;若空闲目录的数据量增加,则表明初始数据库中还有未同步存储至空闲目录的数据信息,此时需继续执行数据同步进程。
例如,循环周期为2分钟,则与第一判断结果的获取时间每间隔2分钟,对空闲目录的数据量是否增加进行判断,得到一次循环判断结果。
S1412、若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断并判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,以得到是否完成数据同步的第二判断结果。
若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断,并进一步判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,得到是否完成数据同步的第二判断结果,具体的,将新增同步记录的数据量减去空闲目录的数据量,得到数据量差值,并判断数据量差值是否小于间隔数量预置。
例如,若N=5,间隔数量阈值为1000,则判断最近5次循环判断过程中空闲目录的数据量是否均未增加,若最近5次循环判断过程中空闲目录的数据量均未增加,则对应判断新增同步记录与空闲目录之间数据量差值是否小于1000。
若数据量差值小于间隔数量阈值,则表明空闲目录与新增同步记录之间的数据量差值在合理范围内,得到已完成数据同步的第二判断结果。若数据量差值不小于间隔数量阈值,则表明空闲目录的数据同步存在异常。
S142、若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤。
若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤,也即是执行步骤S140,提示信息即可用于提示管理人员空闲目录中的数据信息已完成同步。对空闲目录中的数据信息进行数据同步后,可将该空闲目录切换为与其他业务系统进行对接、使用的主目录,并以相同方式再次对待同步数据库中另一目录的数据信息进行数据同步。
S143、若所述第二判断结果为未完成数据同步,反馈本次数据同步存在异常的提示信息。
得到未完成数据同步的第二判断结果时,可向管理人员发出本次数据同步存在异常的提示信息以提示管理人员本次数据同步存在异常。
在一实施例中,如图7所示,步骤S140之后包括步骤S150。
S150、根据所述第一判断结果的获取时间或所述第二判断结果的获取时间及所述同步起始时间对所述空闲目录的历史同步耗时进行更新。
若所述第一判断结果为已完成数据同步,根据所述第一判断结果的获取时间及同步起始时间对所述空闲目录的历史同步耗时进行更新,若所述第二判断结果为已完成数据同步,根据所述第二判断结果的获取时间及同步起始时间对所述空闲目录的历史同步耗时进行更新。具体的,若所述第一判断结果为已完成数据同步,可获取同步起始时间与第一判断结果的获取时间之间的第一时间差,将该第一时间差作为该空闲目录的新的历史同步耗时;若第二判断结果为已完成数据同步,则获取同步起始时间与第二判断结果的获取时间之间的第二时间差,将该第二时间差作为该空闲目录的新的历史同步耗时。对空闲目录的历史同步耗时进行更新后,在下次对该空闲目录进行数据同步时,可基于该空闲目录的历史同步耗时判断是否已完成数据同步,大幅提高提高判断的效率及精准性。
在本发明实施例所提供的数据同步方法中,到达预设同步时间点,判断数据同步日志中是否包含新增同步记录,若包含新增同步记录,将初始数据库中的数据信息同步存储至待同步数据库的空闲目录中并记录同步起始时间,到达与同步起始时间间隔预置时限的时间,根据新增同步记录判断空闲目录是否完成数据同步得到第一判断结果,若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。通过上述方法,可提高进行数据信息同步时数据库使用的可靠性,提高进行数据信息同步时数据库的可维护性,大幅缩减了数据库的维护成本。
本发明实施例还提供一种数据同步装置,该数据同步装置用于执行前述数据同步方法的任一实施例。具体地,请参阅图8,图8是本发明实施例提供的数据同步装置的示意性框图。该数据同步装置可以配置于用户终端中。
如图8所示,数据同步装置100包括数据同步日志表判断单元110、数据信息同步单元120、同步判断单元130和提示信息反馈单元140。
数据同步日志表判断单元110,用于在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录。
数据信息同步单元120,用于若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间。
其他发明实施例中,所述数据信息同步单元120包括子单元:使用状态判断单元121和同步存储单元122。
使用状态判断单元121,用于对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录;同步存储单元122,用于清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。
同步判断单元130,用于若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果。
其他发明实施例中,所述数据同步装置100还包括子单元:历史同步耗时判断单元1301、第一预置时限确定单元1302和第二预置时限确定单元1303。
历史同步耗时判断单元1301,用于判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时;第一预置时限确定单元1302,用于若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限;第二预置时限确定单元1303,用于若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。
其他发明实施例中,所述同步判断单元130包括子单元:数据量获取单元131和数据量判断单元132。
数据量获取单元131,用于分别获取所述新增同步记录及所述空闲目录的数据量;数据量判断单元132,用于对所述新增同步记录与所述空闲目录的数据量是否相等进行判断,以得到是否完成数据同步的第一判断结果。
提示信息反馈单元140,用于若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
其他发明实施例中,所述数据同步装置100还包括子单元:同步数据循环判断单元141、同步提示信息反馈单元142和异常提示信息反馈单元143。
同步数据循环判断单元141,用于若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果。
其他发明实施例中,所述同步数据循环判断单元141包括子单元:循环判断单元1411和数据量差值判断单元1412。
循环判断单元1411,用于与所述第一判断结果的获取时间每间隔一个所述循环周期,循环判断所述空闲目录的数据量是否增加;数据量差值判断单元1412,用于若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断并判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,以得到是否完成数据同步的第二判断结果。
同步提示信息反馈单元142,用于若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤;异常提示信息反馈单元143,用于若所述第二判断结果为未完成数据同步,反馈本次数据同步存在异常的提示信息。
其他发明实施例中,所述数据同步装置100还包括子单元:历史同步耗时更新单元150。
历史同步耗时更新单元150,用于根据所述第一判断结果的获取时间或所述第二判断结果的获取时间及所述同步起始时间对所述空闲目录的历史同步耗时进行更新。
在本发明实施例所提供的数据同步方法中,到达预设同步时间点,判断数据同步日志中是否包含新增同步记录,若包含新增同步记录,将初始数据库中的数据信息同步存储至待同步数据库的空闲目录中并记录同步起始时间,到达与同步起始时间间隔预置时限的时间,根据新增同步记录判断空闲目录是否完成数据同步得到第一判断结果,若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。通过上述方法,可提高进行数据信息同步时数据库使用的可靠性,提高进行数据信息同步时数据库的可维护性,大幅缩减了数据库的维护成本。
上述数据同步装置可以实现为计算机程序的形式,该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9,图9是本发明实施例提供的计算机设备的示意性框图。
参阅图9,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行数据同步方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行数据同步方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图9中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下功能:在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
在一实施例中,处理器502在执行若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间的步骤时,执行如下操作:对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录;清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。
在一实施例中,处理器502在执行若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤之前,还执行如下操作:判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时;若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限;若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。
在一实施例中,处理器502在执行若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤时,执行如下操作:分别获取所述新增同步记录及所述空闲目录的数据量;对所述新增同步记录与所述空闲目录的数据量是否相等进行判断得到是否完成数据同步的第一判断结果。
在一实施例中,处理器502在执行根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤之后,还执行如下操作:若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果;若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤;若所述第二判断结果为未完成数据同步,反馈本次数据同步存在异常的提示信息。
在一实施例中,处理器502在执行若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果的步骤时,执行如下操作:与所述第一判断结果的获取时间每间隔一个所述循环周期,循环判断所述空闲目录的数据量是否增加;若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断并判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,以得到是否完成数据同步的第二判断结果。
在一实施例中,处理器502还执行如下操作:根据所述第一判断结果的获取时间或所述第二判断结果的获取时间及所述同步起始时间对所述空闲目录的历史同步耗时进行更新。
本领域技术人员可以理解,图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图9所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现以下步骤:在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
在一实施例中,所述若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间的步骤,包括:对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录;清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。
在一实施例中,所述若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤之前,还包括:判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时;若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限;若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。
在一实施例中,所述若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤,包括:分别获取所述新增同步记录及所述空闲目录的数据量;对所述新增同步记录与所述空闲目录的数据量是否相等进行判断得到是否完成数据同步的第一判断结果。
在一实施例中,所述根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果的步骤之后,还包括:若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果;若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤;若所述第二判断结果为未完成数据同步,反馈本次数据同步存在异常的提示信息。
在一实施例中,所述若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果的步骤,包括:与所述第一判断结果的获取时间每间隔一个所述循环周期,循环判断所述空闲目录的数据量是否增加;若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断并判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,以得到是否完成数据同步的第二判断结果。
在一实施例中,还包括:根据所述第一判断结果的获取时间或所述第二判断结果的获取时间及所述同步起始时间对所述空闲目录的历史同步耗时进行更新。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质为实体的、非瞬时性的存储介质,例如可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据同步方法,应用于用户终端,其特征在于,包括:
在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;
若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;
若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;
若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
2.根据权利要求1所述的数据同步方法,其特征在于,所述将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间,包括:
对所述待同步数据库中每一目录的使用状态是否为空闲进行判断,以获取所述待同步数据库中的空闲目录;
清空所述空闲目录中存储的数据信息,将与所述数据同步日志表对应的初始数据库所包含的数据信息同步存储至所述空闲目录,并记录同步起始时间。
3.根据权利要求1所述的数据同步方法,其特征在于,所述若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果之前,还包括:
判断所述待同步数据库中是否已记录与所述空闲目录对应的历史同步耗时;
若所述待同步数据库中已记录与所述空闲目录对应的历史同步耗时,将所述历史同步耗时确定为所述预置时限;
若所述待同步数据库中未记录与所述空闲目录对应的历史同步耗时,将预置的默认时限确定为所述预置时限。
4.根据权利要求1所述的数据同步方法,其特征在于,所述根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果,包括:
分别获取所述新增同步记录及所述空闲目录的数据量;
对所述新增同步记录与所述空闲目录的数据量是否相等进行判断得到是否完成数据同步的第一判断结果,其中,若所述新增同步记录与所述空闲目录的数据量相等,所述第一判断结果为完成数据同步。
5.根据权利要求1所述的数据同步方法,其特征在于,所述根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果之后,还包括:
若所述第一判断结果为未完成数据同步,根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果;
若所述第二判断结果为完成数据同步,执行所述反馈完成数据同步的提示信息的步骤;
若所述第二判断结果为未完成数据同步,反馈本次数据同步存在异常的提示信息。
6.根据权利要求1所述的数据同步方法,其特征在于,所述同步判断规则包括循环周期、循环次数N及间隔数量阈值,所述根据预置的同步判断规则及所述新增同步记录判断所述空闲目录是否完成数据同步以得到第二判断结果,包括:
与所述第一判断结果的获取时间每间隔一个所述循环周期,循环判断所述空闲目录的数据量是否增加;
若最近N次循环判断中所述空闲目录的数据量均未增加,停止所述循环判断并判断所述新增同步记录与所述空闲目录之间的数据量差值是否小于所述间隔数量阈值,以得到是否完成数据同步的第二判断结果,其中,N为预置的大于零的整数,若所述新增同步记录与所述空闲目录之间的数据量差值小于所述间隔数量阈值,所述第二判断结果为完成数据同步。
7.根据权利要求3所述的数据同步方法,其特征在于,还包括:
根据所述第一判断结果的获取时间或所述第二判断结果的获取时间及所述同步起始时间对所述空闲目录的历史同步耗时进行更新。
8.一种数据同步装置,其特征在于,包括:
数据同步日志表判断单元,用于在到达预设同步时间点时,判断预置的数据同步日志表中是否包含新增同步记录;
数据信息同步单元,用于若所述数据同步日志表中包含新增同步记录,将与所述数据同步日志表对应的初始数据库中的数据信息同步存储至预置的待同步数据库的空闲目录中,并记录同步起始时间;
同步判断单元,用于若到达与所述同步起始时间间隔预置时限的时间,根据所述新增同步记录判断所述空闲目录是否完成数据同步以得到第一判断结果;
提示信息反馈单元,用于若所述第一判断结果为完成数据同步,反馈完成数据同步的提示信息。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据同步方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据同步方法。
CN202010066094.8A 2020-01-20 2020-01-20 数据同步方法、装置、计算机设备及存储介质 Pending CN111309742A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010066094.8A CN111309742A (zh) 2020-01-20 2020-01-20 数据同步方法、装置、计算机设备及存储介质
PCT/CN2020/087130 WO2021147197A1 (zh) 2020-01-20 2020-04-27 数据同步方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010066094.8A CN111309742A (zh) 2020-01-20 2020-01-20 数据同步方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111309742A true CN111309742A (zh) 2020-06-19

Family

ID=71144903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066094.8A Pending CN111309742A (zh) 2020-01-20 2020-01-20 数据同步方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111309742A (zh)
WO (1) WO2021147197A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020850A (zh) * 2022-01-05 2022-02-08 深圳市明源云科技有限公司 数据库数据同步方法、装置、设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565226B2 (en) * 2016-02-01 2020-02-18 Successfactors, Inc. Application program interface managing synchronized data replication
CN107798039B (zh) * 2017-05-19 2020-06-05 平安科技(深圳)有限公司 一种数据同步方法和装置
CN110417838A (zh) * 2018-04-28 2019-11-05 华为技术有限公司 一种数据同步方法及同步服务设备
CN110347747A (zh) * 2019-06-14 2019-10-18 平安科技(深圳)有限公司 数据库间数据同步方法、系统、计算机设备及存储介质
CN110377664B (zh) * 2019-07-22 2022-10-21 腾讯科技(深圳)有限公司 数据同步方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020850A (zh) * 2022-01-05 2022-02-08 深圳市明源云科技有限公司 数据库数据同步方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2021147197A1 (zh) 2021-07-29

Similar Documents

Publication Publication Date Title
CN105573859A (zh) 一种数据库的数据恢复方法和设备
CN109766349A (zh) 任务防重方法、装置、计算机设备及存储介质
CN107479881B (zh) 差异代码的同步方法、存储介质、电子设备及系统
CN109491834B (zh) 一种应用于数据库的数据恢复方法及装置
CN112307049A (zh) 数据库的读写分离方法、装置、设备及可读存储介质
CN104216802B (zh) 一种内存数据库恢复方法和设备
CN111367994A (zh) 数据库增量数据同步备份方法及系统
CN111309742A (zh) 数据同步方法、装置、计算机设备及存储介质
CN115729749A (zh) 一种数据备份方法及系统
US8073813B2 (en) Refresh and filter anchors
AU2015265599B2 (en) System and method for the production of job level pre-processed backup of critical data and/or datasets in a mainframe computing environment
CN112434108A (zh) 一种数据库同步的方法、装置及设备
CN110858123B (zh) 一种计算备份文件大小的方法及装置
US10409651B2 (en) Incremental workflow execution
WO2021163856A1 (zh) 内容推送方法、装置、服务器及存储介质
CN115292394A (zh) 数据处理方法、装置、计算机设备和存储介质
CN113672167A (zh) 一种分布式存储系统的数据一致性校验方法、装置及设备
CN114281833A (zh) 实现OpenGauss数据库主从复制模式下从机快速保持与主机数据一致性的方法
CN110674214A (zh) 大数据同步方法、装置、计算机设备及存储介质
CN113342857B (zh) 交易记录的核对方法、装置、电子设备及存储介质
CN114372111A (zh) 业务数据上传方法、装置、计算机设备及存储介质
CN114461655A (zh) 数据一致性的检查方法及其装置、电子设备及存储介质
CN106815289B (zh) 一种交易处理系统中的数据存储方法及装置
CN117708148A (zh) 一种数据同步方法、数据同步装置及存储介质
CN116108028A (zh) 数据处理方法、装置、服务器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination