CN112765276A - 一种增量数据同步方法及装置 - Google Patents
一种增量数据同步方法及装置 Download PDFInfo
- Publication number
- CN112765276A CN112765276A CN202110110763.1A CN202110110763A CN112765276A CN 112765276 A CN112765276 A CN 112765276A CN 202110110763 A CN202110110763 A CN 202110110763A CN 112765276 A CN112765276 A CN 112765276A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- incremental
- incremental data
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000001360 synchronised effect Effects 0.000 claims abstract description 149
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种增量数据同步方法，该方法包括：获取业务方提供的增量数据；判断所述业务方提供的增量数据中是否有待同步增量数据；若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；若所述待同步增量数据配置超过预设阈值，将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；将所述待同步增量数据的数据块以及所述数据块的顺序关系同步给第二终端。本发明中，将指定的数据写入数据块中，并将这些数据块的顺序通过特征值关联起来，实现单链递增，高效并安全的传输大批量的增量数据。
Description
技术领域
本发明涉及数据同步领域，尤其涉及一种增量数据同步方法及装置。
背景技术
在信息时代，数据作为一种资源，其永久存储、安全性及有效性，在各个领域都具有重要的意义，直接影响着数据使用者的业务持续性。为了提高数据的可靠性，通常采用数据同步技术，将数据传输到异地进行备份。目前，数据同步方法主要涉及完全同步方法和增量同步方法，完全同步方法是主设备将数据全部传输到备用设备，增量同步方法是主设备将发生变化的数据传输到备用设备。
现有技术中，在进行增量同步的过程中，容易出现同步的服务器之间的网络不是随时畅通，或者偶尔通畅时无法块速同步数据的问题；并且增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储。
发明内容
本发明实施例提供了一种增量数据同步方法及装置，用于解决现有技术中在增量数据同步时增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储的问题。
为了解决上述问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种增量数据同步方法，应用于第一终端，包括：
获取业务方提供的增量数据；
判断所述业务方提供的增量数据中是否有待同步增量数据；
若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
若所述待同步增量数据配置超过预设阈值，将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
将所述待同步增量数据的数据块以及所述数据块的顺序关系同步给第二终端。
可选的，将所述待同步增量数据以数据块的形式发送给第二终端之前还包括：
向所述业务方反馈是否生成待同步增量数据。
可选的，存储所述数据块的顺序关系包括：存储当前数据块的特征值、存储当前数据块前一个数据块的特征值和当前数据块的存储位置，所述特征值用于表示数据库的顺序。
可选的，所述数据块的特征值为所述数据块的哈希值。
可选的，所述待同步增量数据配置包括以下至少一项：文件大小和数据条数。
可选的，将所述待同步增量数据以数据块的形式发送给第二终端包括：
将所述待同步增量数据的数据块以及所述数据块的顺序关系压缩加密后，传输给外置存储设备，以同步至所述第二终端。
可选的，将所述待同步增量数据以数据块的形式发送给第二终端包括：
接收所述第二终端定时发送的待同步请求；
与所述第二终端建立连接，将所述待同步增量数据的数据块以及所述数据块的顺序关系发送给第二终端。
第二方面，本发明实施例提供了一种增量数据同步方法，应用于第二终端，包括：
获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
可选的，定时向所述第一终端发送用于请求增量数据的待同步请求。
可选的，同步本地数据库中的数据包括：
获取外置存储设备中的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
可选的，同步本地数据库中的数据包括：
获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
第三方面，本发明实施例提供了一种终端，其特征在于，包括：
第一获取模块，用于获取业务方提供的增量数据；
第一判断模块，用于判断所述业务方提供的增量数据中是否有待同步增量数据；
第二判断模块，用于若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
生成模块，用于若所述待同步增量数据配置超过预设阈值，则以所述预设阈值将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
第一同步模块，用于将所述待同步增量数据的数据块同步给第二终端。
可选的，反馈模块，用于向所述业务方反馈是否生成待同步增量数据。
可选的，存储所述数据块的顺序关系包括：存储当前数据块的特征值、存储当前数据块前一个数据块的特征值和当前数据块的存储位置，所述特征值用于表示数据库的顺序。
可选的，所述数据块的特征值为所述数据块的哈希值。
可选的，所述待同步增量数据配置包括以下至少一项：文件大小和数据条数。
可选的，所述第一同步模块包括：
第一处理子模块，用于将所述待同步增量数据的数据块以及所述数据块的顺序关系压缩加密后，传输给外置存储设备，以同步至所述第二终端。
可选的，所述第一同步模块包括：
第一接收子模块，用于接收所述第二终端定时发送的待同步请求；
第一同步子模块，用于与所述第二终端建立连接，将所述待同步增量数据的数据块以及所述数据块的顺序关系发送给第二终端。
第四方面，本发明实施例提供了一种终端，其特征在于，包括：
第二获取模块，用于获取第一终端发送的待同步增量数据的数据块；
第二同步模块，用于根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
可选的，请求模块，用于定时向所述第一终端发送用于请求增量数据的待同步请求。
可选的，所述第二同步模块包括：
第一获取子模块，用于获取外置存储设备中的待同步增量数据的数据块以及所述数据块的顺序关系；
第一解压子模块，用于解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
第一判断子模块，用于根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
第二同步子模块，用于若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
可选的，所述第二同步模块包括：
第二获取子模块，用于获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
第二解压子模块，用于解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
第二判断子模块，用于根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
第三同步子模块，用于若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
第五方面，本发明实施例提供了一种终端，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面所述的增量数据同步方法的步骤。
第六方面，本发明实施例提供了另一种终端，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第二方面所述的增量数据同步方法的步骤。
第七方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的增量数据同步方法，或者实现如第二方面所述的增量数据同步方法的步骤。
本发明实施例中，将指定的数据写入数据块中，并将这些数据块的顺序通过特征值关联起来，实现单链递增，解决现有技术中在增量数据同步时增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储的问题，高效并安全的传输大批量的增量数据。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种增量数据同步方法应用于第一终端的流程示意图；
图2为本发明实施例提供的一种增量数据同步方法应用于第二终端的流程示意图；
图3为本发明实施例提供的一种增量数据同步方法离线流程示意图；
图4为本发明实施例提供的一种增量数据同步方法在线流程示意图；
图5为本发明实施例提供的一种终端的结构示意图；
图6为本发明实施例提供的另一种终端的结构示意图；
图7为本发明实施例提供的又一种终端的结构示意图；
图8为本发明实施例提供的又一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，本发明实施例提供了一种增量数据同步方法，应用于第一终端，包括：
步骤11：获取业务方提供的增量数据；
步骤12：判断所述业务方提供的增量数据中是否有待同步增量数据；
步骤13：若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
步骤14：若所述待同步增量数据配置超过预设阈值，将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
步骤15：将所述待同步增量数据的数据块以及所述数据块的顺序关系同步给第二终端。
本发明实施例中，在步骤11和步骤12中，所述业务方在提供的增量数据中对待同步增量数据进行标记，所述第一终端根据所述标记判断所述业务方提供的增量数据中是否有待同步增量数据；在步骤13和步骤14中，所述第一终端生成待同步增量数据块时，预先对待生成的待同步增量数据配置设定阈值，所述阈值根据情况设置，可以使得待生成增量数据数据块足够小，实现大文件，大数据的分块和压缩处理，提升传输的效率；所述待同步增量数据配置包括：文件大小和数据条数，若所述待同步增量数据配置超过所述预设阈值，则按照所述预设阈值对所述待同步增量数据进行分块，以保证每个待同步增量数据块的配置都不超过所述预设阈值，若所述待同步增量数据配置不超过所述预设阈值，则直接对所述待同步增量数据生成数据块，并对所述数据块以哈希值建立顺序关系。
本发明实施例中，将指定的数据写入数据块中，并将这些数据块的顺序通过特征值关联起来，实现单链递增，解决现有技术中在增量数据同步时增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储的问题，高效并安全的传输大批量的增量数据。
本发明实施例中，可选的，将所述待同步增量数据以数据块的形式发送给第二终端之前还包括：
向所述业务方反馈是否生成待同步增量数据。
本发明实施例中，在所述终端生成完待同步增量数据的数据块后，会向业务方通知本次待同步增量数据的生成情况，例如：是否含有待同步增量数据，待同步增量数据是否生成成功。
本发明实施例中，可选的，存储所述数据块的顺序关系包括：存储当前数据块的特征值、存储当前数据块前一个数据块的特征值和当前数据块的存储位置，所述特征值用于表示数据库的顺序。
本发明实施例中，可选的，所述数据块的特征值为所述数据块的哈希值。
本发明实施例中，当前采用的所述数据块的特征值为数据块的哈希值，用所述哈希值标记所述数据块的顺序关系，但不限于使用所述哈希值标记所述数据块的顺序关系。
本发明实施例中，可选的，所述待同步增量数据配置包括以下至少一项：文件大小和数据条数。
本发明实施例中，可选的，将所述待同步增量数据以数据块的形式发送给第二终端包括：
将所述待同步增量数据的数据块以及所述数据块的顺序关系压缩加密后，传输给外置存储设备，以同步至所述第二终端。
本发明实施例中，在面对网络一直无法通畅或网络间歇性不畅通的离线情况时，则可通过其他介质及途经，例如U盘等外置存储设备，在所述第一终端导出指定待同步增量数据块，并同步至所述第二终端。
本发明实施例中，可选的，将所述待同步增量数据以数据块的形式发送给第二终端包括：
接收所述第二终端定时发送的待同步请求；
与所述第二终端建立连接，将所述待同步增量数据的数据块以及所述数据块的顺序关系发送给第二终端。
本发明实施例中，在网络通畅或间歇性通畅时，则可通过在线传输的方式将所述第一终端内的待同步增量数据块传输同步至所述第二终端。
本发明实施例中，将指定的数据写入数据块中，并将这些数据块的顺序通过特征值关联起来，实现单链递增，解决现有技术中在增量数据同步时增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储的问题，并且通过对数据块的设置，实现大文件，大数据的处理，提升传输的效率高效并安全的传输大批量的增量数据。
请参考图2，本发明实施例提供了一种增量数据同步方法，应用于第二终端，包括：
步骤21：获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
步骤22：根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
本发明实施例中，所述第二终端通过定时访问所述第一终端获取所述待同步增量数据，并根据本地数据库中数据的特征值来向所述第一终端请求待同步增量数据，并根据所述待同步增量数据对应的数据块的特征值，按照所述数据块的顺序关系同步到本地数据库中。
本发明实施例中，可选的，定时向所述第一终端发送用于请求增量数据的待同步请求。
本发明实施例中，可选的，同步本地数据库中的数据包括：
获取外置存储设备中的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
本发明实施例中，可选的，同步本地数据库中的数据包括：
获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
请参考图3，本发明实施例中，以所述第一终端为A终端，所述第二终端为B终端为例，在线情况下，所述B终端以PerHash值为本地存储Hash标记值的后续块，并定时向A终端发送待同步请求，所述终端A查询现有的Hash值中是否有与PerHash值相同的，即是否有待同步增量数据，若存在所述待同步增量数据，则向所述B终端返回所述待同步增量数据；所述B终端遍历本地数据库，并根据本地数据库中的Hash判断是否存在以所述Hash值命名的文件，若存在，则对所述数据进行更新同步，并更新本地Hash值。
请参考图4，本发明实施例中，以所述第一终端为A终端，所述第二终端为B终端为例，离线情况下，所述A终端主动导出指定以Hash值进行标记的数据块，并从起始Hash值至终止Hash值完整导出；对所述数据块进行压缩加密；将所述压缩加密后的数据块传输给外置存储设备，以同步至所述B终端；所述B终端接收到所述外置存储设备中的数据块后，所述数据块进行解压解密成多个以Hash值命名的文件；查询PerHash值，并将此作为本地存储Hash标记值的后续块；所述B终端遍历本地数据库，并根据本地数据库中的Hash判断是否存在以所述Hash值命名的文件，若存在，则对所述数据进行更新同步，并更新本地Hash值。
本发明实施例中，将指定的数据写入数据块中，并将这些数据块的顺序通过特征值关联起来，实现单链递增，解决现有技术中在增量数据同步时增量数据之间的数据无法根据某些恒定不变的条件实现增量，没有将待同步的数据固化存储的问题，并且通过对数据块的设置，实现大文件，大数据的处理，提升传输的效率高效并安全的传输大批量的增量数据。
请参考图5，本发明实施例提供了一种终端，其特征在于，包括：
第一获取模块51，用于获取业务方提供的增量数据；
第一判断模块52，用于判断所述业务方提供的增量数据中是否有待同步增量数据；
第二判断模块53，用于若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
生成模块54，用于若所述待同步增量数据配置超过预设阈值，则以所述预设阈值将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
第一同步模块55，用于将所述待同步增量数据的数据块同步给第二终端。
本发明实施例中，可选的，反馈模块，用于向所述业务方反馈是否生成待同步增量数据。
本发明实施例中，可选的，存储所述数据块的顺序关系包括：存储当前数据块的特征值、存储当前数据块前一个数据块的特征值和当前数据块的存储位置，所述特征值用于表示数据库的顺序。
本发明实施例中，可选的，所述数据块的特征值为所述数据块的哈希值。
本发明实施例中，可选的，所述待同步增量数据配置包括以下至少一项：文件大小和数据条数。
本发明实施例中，可选的，所述第一同步模块包括：
第一处理子模块，用于将所述待同步增量数据的数据块以及所述数据块的顺序关系压缩加密后，传输给外置存储设备，以同步至所述第二终端。
本发明实施例中，可选的，所述第一同步模块包括：
第一接收子模块，用于接收所述第二终端定时发送的待同步请求；
第一同步子模块，用于与所述第二终端建立连接，将所述待同步增量数据的数据块以及所述数据块的顺序关系发送给第二终端。
本发明实施例提供的终端能够实现图1的方法实施例中增量数据同步方法实现的各个过程，为避免重复，这里不再赘述。
请参考图6，本发明实施例提供了一种终端，其特征在于，包括：
第二获取模块61，用于获取第一终端发送的待同步增量数据的数据块；
第二同步模块62，用于根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
本发明实施例中，可选的，请求模块，用于定时向所述第一终端发送用于请求增量数据的待同步请求。
本发明实施例中，可选的，所述第二同步模块包括：
第一获取子模块，用于获取外置存储设备中的待同步增量数据的数据块以及所述数据块的顺序关系；
第一解压子模块，用于解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
第一判断子模块，用于根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
第二同步子模块，用于若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
本发明实施例中，可选的，所述第二同步模块包括：
第二获取子模块，用于获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
第二解压子模块，用于解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
第二判断子模块，用于根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
第三同步子模块，用于若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
本发明实施例提供的终端能够实现图2的方法实施例中增量数据同步方法实现的各个过程，为避免重复，这里不再赘述。
请参考图7，本发明实施例还提供一种终端70，包括处理器71，存储器72，存储在存储器72上并可在所述处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述增量数据同步方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
请参考图8，本发明实施例还提供另一种终端，包括处理器81，存储器82，存储在存储器82上并可在所述处理器81上运行的计算机程序，该计算机程序被处理器81执行时实现上述增量数据同步方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述增量数据同步方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者终端等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (15)
1.一种增量数据同步方法，其特征在于，应用于第一终端，包括：
获取业务方提供的增量数据；
判断所述业务方提供的增量数据中是否有待同步增量数据；
若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
若所述待同步增量数据配置超过预设阈值，将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
将所述待同步增量数据的数据块以及所述数据块的顺序关系同步给第二终端。
2.根据权利要求1所述的增量数据同步方法，其特征在于，将所述待同步增量数据以数据块的形式发送给第二终端之前还包括：
向所述业务方反馈是否生成待同步增量数据。
3.根据权利要求1所述的增量数据同步方法，其特征在于，
存储所述数据块的顺序关系包括：存储当前数据块的特征值、存储当前数据块前一个数据块的特征值和当前数据块的存储位置，所述特征值用于表示数据库的顺序。
4.根据权利要求3所述的增量数据同步方法，其特征在于，
所述数据块的特征值为所述数据块的哈希值。
5.根据权利要求1所述的增量数据同步方法，其特征在于，
所述待同步增量数据配置包括以下至少一项：文件大小和数据条数。
6.根据权利要求1所述的增量数据同步方法，其特征在于，将所述待同步增量数据以数据块的形式发送给第二终端包括：
将所述待同步增量数据的数据块以及所述数据块的顺序关系压缩加密后，传输给外置存储设备，以同步至所述第二终端。
7.根据权利要求1所述的增量数据同步方法，其特征在于，将所述待同步增量数据以数据块的形式发送给第二终端包括：
接收所述第二终端定时发送的待同步请求；
与所述第二终端建立连接，将所述待同步增量数据的数据块以及所述数据块的顺序关系发送给第二终端。
8.一种增量数据同步方法，其特征在于，应用于第二终端，包括：
获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
9.根据权利要求8所述的增量数据同步方法，其特征在于，还包括：
定时向所述第一终端发送用于请求增量数据的待同步请求。
10.根据权利要求8所述的增量数据同步方法，其特征在于，同步本地数据库中的数据包括：
获取外置存储设备中的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
11.根据权利要求8所述的增量数据同步方法，其特征在于，同步本地数据库中的数据包括：
获取第一终端发送的待同步增量数据的数据块以及所述数据块的顺序关系；
解压所述待同步增量数据的数据块以及所述数据块的顺序关系得到解压后的数据；
根据本地数据库中的特征值判断所述解压后的数据中是否存在以所述特征值命名的文件；
若存在，将所述解压后的数据同步至本地数据库中所述特征值的对应位置。
12.一种终端，其特征在于，包括：
第一获取模块，用于获取业务方提供的增量数据；
第一判断模块，用于判断所述业务方提供的增量数据中是否有待同步增量数据；
第二判断模块，用于若存在待同步增量数据，判断所述待同步增量数据配置是否超过预设阈值；
生成模块，用于若所述待同步增量数据配置超过预设阈值，则以所述预设阈值将所述待同步增量数据生成满足所述预设阈值的多个数据块，并存储所述数据块的顺序关系；
第一同步模块，用于将所述待同步增量数据的数据块同步给第二终端。
13.一种终端，其特征在于，包括：
第二获取模块，用于获取第一终端发送的待同步增量数据的数据块；
第二同步模块，用于根据获取到的待同步增量数据的数据块，按照所述数据块的顺序关系同步本地数据库中的数据。
14.一种终端，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的增量数据同步方法的步骤，或者，所述程序被所述处理器执行时实现如权利要求8至11中任一项所述的增量数据同步方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的增量数据同步方法，或者实现如权利要求8至11中任一项所述的增量数据同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110110763.1A CN112765276A (zh) | 2021-01-27 | 2021-01-27 | 一种增量数据同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110110763.1A CN112765276A (zh) | 2021-01-27 | 2021-01-27 | 一种增量数据同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112765276A true CN112765276A (zh) | 2021-05-07 |
Family
ID=75706080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110110763.1A Pending CN112765276A (zh) | 2021-01-27 | 2021-01-27 | 一种增量数据同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765276A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114928580A (zh) * | 2022-04-12 | 2022-08-19 | 深圳市优必选科技股份有限公司 | 数据增量发送方法、接收方法、终端设备及存储介质 |
| CN115150412A (zh) * | 2022-06-14 | 2022-10-04 | 上海容之科技集团有限公司 | 操作数据同步方法、终端设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103873507A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块上传与存储系统及方法 |
| CN105162855A (zh) * | 2015-08-18 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 增量数据同步方法和装置 |
| WO2016177285A1 (zh) * | 2015-05-07 | 2016-11-10 | 阿里巴巴集团控股有限公司 | 一种数据推送方法及装置 |
| CN108197170A (zh) * | 2017-12-20 | 2018-06-22 | 五八有限公司 | 主从同步方法、装置、主服务器及存储介质 |
| CN110909006A (zh) * | 2019-10-15 | 2020-03-24 | 中国平安人寿保险股份有限公司 | 数据同步的方法、装置、计算机设备及存储介质 |
| CN110990365A (zh) * | 2019-12-03 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 一种数据同步方法、装置、服务器及存储介质 |
| CN111538779A (zh) * | 2020-03-25 | 2020-08-14 | 平安健康保险股份有限公司 | 一种增量数据同步的方法、装置、计算机设备及存储介质 |
| CN111694800A (zh) * | 2020-04-30 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
-
2021
- 2021-01-27 CN CN202110110763.1A patent/CN112765276A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103873507A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块上传与存储系统及方法 |
| WO2016177285A1 (zh) * | 2015-05-07 | 2016-11-10 | 阿里巴巴集团控股有限公司 | 一种数据推送方法及装置 |
| CN105162855A (zh) * | 2015-08-18 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 增量数据同步方法和装置 |
| CN108197170A (zh) * | 2017-12-20 | 2018-06-22 | 五八有限公司 | 主从同步方法、装置、主服务器及存储介质 |
| CN110909006A (zh) * | 2019-10-15 | 2020-03-24 | 中国平安人寿保险股份有限公司 | 数据同步的方法、装置、计算机设备及存储介质 |
| CN110990365A (zh) * | 2019-12-03 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 一种数据同步方法、装置、服务器及存储介质 |
| CN111538779A (zh) * | 2020-03-25 | 2020-08-14 | 平安健康保险股份有限公司 | 一种增量数据同步的方法、装置、计算机设备及存储介质 |
| CN111694800A (zh) * | 2020-04-30 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114928580A (zh) * | 2022-04-12 | 2022-08-19 | 深圳市优必选科技股份有限公司 | 数据增量发送方法、接收方法、终端设备及存储介质 |
| CN114928580B (zh) * | 2022-04-12 | 2023-06-02 | 深圳市优必选科技股份有限公司 | 数据增量发送方法、接收方法、终端设备及存储介质 |
| CN115150412A (zh) * | 2022-06-14 | 2022-10-04 | 上海容之科技集团有限公司 | 操作数据同步方法、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989848B (zh) | 一种视频资源文件的获取方法和管理系统 | |
| KR20080068110A (ko) | 데이터 동기화 처리 방법 그리고 클라이언트 단말기, 서버및 그것의 데이터 동기화 시스템 | |
| CN112765276A (zh) | 一种增量数据同步方法及装置 | |
| CN112019541B (zh) | 一种数据传输方法、装置、计算机设备及存储介质 | |
| CN111510474B (zh) | 基于消息中间件的数据传输方法及相关设备 | |
| CN105959281B (zh) | 文件加密传输方法和装置 | |
| CN108574722B (zh) | 资源同步方法、装置及系统 | |
| EP2852093B1 (en) | Method, system, and device for sharing documents | |
| CN111917555B (zh) | 数据处理方法及装置 | |
| CN112261038B (zh) | 大数据采集方法、系统、计算机设备及其存储介质 | |
| CN112666877B (zh) | 一种物联网的控制系统 | |
| US9332405B2 (en) | Short message backup method, mobile terminal, and server | |
| CN101516131A (zh) | 一种数据同步的方法、系统和装置 | |
| WO2006001137A1 (ja) | データ通信システム、サーバ装置及びデータ通信方法並びにそのプログラム | |
| CN111342961B (zh) | 一种通过配置密钥对实现数据跨平台共享的方法 | |
| CN114257562B (zh) | 即时通讯方法、装置、电子设备和计算机可读存储介质 | |
| CN114499836A (zh) | 一种密钥管理方法、装置、计算机设备及可读存储介质 | |
| US7779299B2 (en) | Efficiently re-starting and recovering synchronization operations between a client and server | |
| CN106487761B (zh) | 一种消息传输方法和网络设备 | |
| CN108513272B (zh) | 短信息处理方法及装置 | |
| CN101489097B (zh) | 一种数字电视管理系统及方法 | |
| CN105471818B (zh) | 应用软件间的信息传递方法和系统 | |
| CN111490880B (zh) | 文件的接收方法及装置 | |
| CN114491641A (zh) | 一种敏感身份信息跨网应用的实现方法及系统 | |
| CN112732839A (zh) | 一种数据同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |