CN115146003A - 非侵入式实现数据库增量数据实时同步处理的方法和系统 - Google Patents

非侵入式实现数据库增量数据实时同步处理的方法和系统 Download PDF

Info

Publication number
CN115146003A
CN115146003A CN202211043551.7A CN202211043551A CN115146003A CN 115146003 A CN115146003 A CN 115146003A CN 202211043551 A CN202211043551 A CN 202211043551A CN 115146003 A CN115146003 A CN 115146003A
Authority
CN
China
Prior art keywords
database
time
backup
data
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211043551.7A
Other languages
English (en)
Other versions
CN115146003B (zh
Inventor
何建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shurui Information Technology Co ltd
Original Assignee
Jiangsu Shurui Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shurui Information Technology Co ltd filed Critical Jiangsu Shurui Information Technology Co ltd
Priority to CN202211043551.7A priority Critical patent/CN115146003B/zh
Publication of CN115146003A publication Critical patent/CN115146003A/zh
Application granted granted Critical
Publication of CN115146003B publication Critical patent/CN115146003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库存储技术领域,具体公开了一种非侵入式实现数据库增量数据实时同步处理的方法和系统,所述方法包括遍历全量数据库和备份数据库,生成架构参数;将所述架构参数输入预设的转换模型,得到两个n位二进制数值;比对两个n位二进制数值,根据比对结果定位目标区域,确定增量数据,生成更新数据库,对备份数据库进行更新。本发明通过遍历数据库,生成数据库的架构参数,根据架构参数确定一个含有映射关系的数值,比对这一数值,即可确定变化部分,最终实现增量同步过程;本发明只需要对数据库进行遍历,无需设置监测节点,研发成本较低,实现了非侵入式的数据增量同步过程,适用范围广。

Description

非侵入式实现数据库增量数据实时同步处理的方法和系统
技术领域
本发明涉及数据库存储技术领域,具体是一种非侵入式实现数据库增量数据实时同步处理的方法和系统。
背景技术
数据库备份技术包括全量备份,全量备份是指对某一时间点上的所有数据进行全量备份,包括系统和所有数据;这种备份方式每次都需要对系统和所有数据进行一次全量备份。可以想到,这种方式的备份速度很慢。为了提高备份速度,现有技术中出现了增量备份技术。
所述增量备份即在第一次全量备份的基础上,分别记录每次的变化。这种方式的重点是每次变化的监测过程,这种监测过程大都是在数据库中设备监测节点,然后进行变化监测;这种方式与数据库本身的数据结构相关性较高,对于不同的数据库,均需要进行一次独立的设计,研发成本较高。
发明内容
本发明的目的在于提供一种非侵入式实现数据库增量数据实时同步处理的方法和系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种非侵入式实现数据库增量数据实时同步处理的方法,所述方法包括:
遍历全量数据库,生成第一架构参数;
遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新。
作为本发明进一步的方案:所述遍历全量数据库,生成第一架构参数的步骤包括:
遍历全量数据库,查询各数据的地址信息;
将查询到的地址信息与预设的缓存区内的尾部数据进行比对,若所述地址信息与所述尾部数据相同,删除查询到的地址信息并更新该地址信息的数量;
若所述地址信息与所述缓存区内的尾部数据不同,将查询到的地址信息插入缓存区尾部;
根据缓存区中的数据生成树状图;所述树状图的终端节点的值为地址信息的数量。
作为本发明进一步的方案:所述根据缓存区中的数据生成树状图的步骤包括:
读取缓存区中的地址信息,根据地址信息中的分隔符,基于分隔符将所述地址信息转换为含有层级标识的节点名称组;
基于层标识别查询树状图中是否含有该节点名称组中的节点名称;
若树状图中不存在任一节点名称,则将节点名称组转换为分支,将分支插入树状图主干;
若树状图中包括所有节点名称,则读取下一地址信息;
若树状图中包含部分节点名称,则将节点名称组转换为分支,将分支连接至树状图的分支。
作为本发明进一步的方案:所述将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值的步骤包括:
根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
将所述子参数输入预设的转换模型,得到二进制数值;
基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
作为本发明进一步的方案:所述比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库的步骤包括:
对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
作为本发明进一步的方案:所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤包括:
读取并显示已生成的更新数据库的时间信息,接收用户发送的含有选取信息的同步请求;
拷贝备份数据库,依次根据选取的更新数据库替换备份数据库,记录每一次替换后的备份数据库;
将最后一次替换的备份数据库标记为默认的备份数据库。
作为本发明进一步的方案:所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤还包括:
实时计算所有备份数据库的存储时长,当所述存储时长达到预设的存储阈值时,删除非默认的备份数据库。
本发明技术方案还提供了一种非侵入式实现数据库增量数据实时同步处理的系统,所述系统包括:
第一遍历模块,用于遍历全量数据库,生成第一架构参数;
第二遍历模块,用于遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
数值转换模块,用于将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
比对定位模块,用于比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
数据更新模块,用于显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新。
作为本发明进一步的方案:所述数值转换模块包括:
切分单元,用于根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
执行单元,用于将所述子参数输入预设的转换模型,得到二进制数值;
连接单元,用于基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
作为本发明进一步的方案:所述比对定位模块包括:
逻辑运算单元,用于对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
拷贝单元,用于根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
时间差计算单元,用于读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
数据插入单元,用于根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
与现有技术相比,本发明的有益效果是:本发明通过遍历数据库,生成数据库的架构参数,根据架构参数确定一个含有映射关系的数值,比对这一数值,即可确定变化部分,进而借助架构参数确定数据库中变化的数据,最终实现增量同步过程;本发明只需要对数据库进行遍历,无需设置监测节点,研发成本较低,实现了非侵入式的数据增量同步过程,适用范围广。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为非侵入式实现数据库增量数据实时同步处理的方法的流程框图。
图2为非侵入式实现数据库增量数据实时同步处理的方法的第一子流程框图。
图3为非侵入式实现数据库增量数据实时同步处理的方法的第二子流程框图。
图4为非侵入式实现数据库增量数据实时同步处理的方法的第三子流程框图。
图5为非侵入式实现数据库增量数据实时同步处理的方法的第四子流程框图。
图6为非侵入式实现数据库增量数据实时同步处理的系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
图1为非侵入式实现数据库增量数据实时同步处理的方法的流程框图,本发明实施例中,一种非侵入式实现数据库增量数据实时同步处理的方法,所述方法包括步骤S100至步骤S500:
步骤S100:遍历全量数据库,生成第一架构参数;
步骤S200:遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
全量数据库是待备份的数据库,备份数据库是已备份的数据库,在日常的工作过程中,采集到的数据会输入全量数据库,工作人员会定期的对全量数据库进行备份,得到备份数据库;在备份完成时,备份数据库与全量数据库之间是完全相同的,在之后的工作里,全量数据库中的会发生变化,如果能够定位这些变化,那么在备份过程中,就可以直接在原有的备份数据库的基础上进行更新,可以极大地提高备份速度;这就是增量数据同步的概念。
步骤S300:将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
架构参数是对数据库中各数据的提炼,架构参数的格式多种多样,不易比对,因此,预先训练一个转换模型,用于将不同格式的数据转换为数值;在转换过程中,需要确定一个对应关系,即,根据n位二进制数值中的某些数值可以查询到架构参数中对应的部分;实际上,只需要按照预定的顺序进行转换,对应关系很容易确定。
步骤S400:比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
将两个n位二进制数值进行比对,不同的部分就代表着全量数据库与备份数据库不同,也就说明全量数据库存在增量,根据上述内容中确定的对应关系,确定架构参数的对应部分,进而在全量数据库中定位相关区域(目标区域),该区域中的数据就是增量,也就是发生变化的,需要更新的数据;
步骤S500:显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新;
更新数据库可能不唯一,在一段时间内,系统可能会自动的更新很多次,当用户想要更新备份数据库时,可以更加快速度完成备份过程;此外,如果用户忘记备份,并且全量数据库出现问题,那么用户可以根据自动更新的更新数据库找回丢失的数据。
图2为非侵入式实现数据库增量数据实时同步处理的方法的第一子流程框图,所述遍历全量数据库,生成第一架构参数的步骤包括步骤S101至步骤S104:
步骤S101:遍历全量数据库,查询各数据的地址信息;
步骤S102:将查询到的地址信息与预设的缓存区内的尾部数据进行比对,若所述地址信息与所述尾部数据相同,删除查询到的地址信息并更新该地址信息的数量;
步骤S103:若所述地址信息与所述缓存区内的尾部数据不同,将查询到的地址信息插入缓存区尾部;
步骤S104:根据缓存区中的数据生成树状图;所述树状图的终端节点的值为地址信息的数量。
上述内容对第一架构参数的生成过程进行了具体的描述,所述第二架构参数与第一架构参数的生成过程相同;具体的:
根据顺序依次查询各数据的地址,这些地址是一层一层的嵌套架构,可以类比于文件夹,同一文件夹下的各文件,其地址是相同的,而且在数据库中的存储位置是相邻的,因此,在遍历的过程中,如果遍历到地址相同的数据,直接修改数量即可,第一架构参数的功能是反应全量数据库的文件状态,与具体的文件无关;最终统计到的是各个独立的地址信息,而且这些地址信息之间存在包含关系,是一个树状结构。
进一步的,所述根据缓存区中的数据生成树状图的步骤包括:
读取缓存区中的地址信息,根据地址信息中的分隔符,基于分隔符将所述地址信息转换为含有层级标识的节点名称组;
基于层标识别查询树状图中是否含有该节点名称组中的节点名称;
若树状图中不存在任一节点名称,则将节点名称组转换为分支,将分支插入树状图主干;
若树状图中包括所有节点名称,则读取下一地址信息;
若树状图中包含部分节点名称,则将节点名称组转换为分支,将分支连接至树状图的分支。
地址信息中含有用分隔符隔开的文件夹名称,这些文件夹名称就是节点名称,上述层级标识就是该文件夹名称是第几层;每个地址信息都可以转换为一个分支,如果这个分支与树状图有重合的部分,就在原有的位置处扩展,如果这个分支未出现在树状图中,就与主干相连;如果该分支已经存在,就读取下一地址信息(这种情况较为少见,因为步骤S102已经将重复的数据删除,如果全量数据库的遍历过程有序,那么就不会存在相同的地址信息)。
图3为非侵入式实现数据库增量数据实时同步处理的方法的第二子流程框图,所述将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值的步骤包括步骤S301至步骤S303:
步骤S301:根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
步骤S302:将所述子参数输入预设的转换模型,得到二进制数值;
步骤S303:基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
步骤S301至步骤S303的目的是建立架构参数与二进制数值之间的关系,以上述树状图为例,可以按顺序将每个分支切分出来,作为一个子参数,输入转换模型,得到一个二进制数值;然后依次将得到的二进制数值连接起来,就得到了n位二进制数值。
图4为非侵入式实现数据库增量数据实时同步处理的方法的第三子流程框图,所述比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库的步骤包括步骤S401至步骤S404:
步骤S401:对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
步骤S402:根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
步骤S403:读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
步骤S404:根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
步骤S401至步骤S404对n位二进制数值的比对过程进行了具体的限定,首先,进行逻辑运算,根据逻辑运算结果确定差异位,根据对应关系可以确定子参数;在上述实例中,子参数是一条分支,也就是一个地址,定位目标区域的过程非常简单;最后,提取全量数据库中的目标区域处的数据,插入空白数据库即可得到一个更新数据库;空白数据库的作用可以类比于单位矩阵。
图5为非侵入式实现数据库增量数据实时同步处理的方法的第四子流程框图,所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤包括步骤S501至步骤S503:
步骤S501:读取并显示已生成的更新数据库的时间信息,接收用户发送的含有选取信息的同步请求;
步骤S502:拷贝备份数据库,依次根据选取的更新数据库替换备份数据库,记录每一次替换后的备份数据库;
步骤S503:将最后一次替换的备份数据库标记为默认的备份数据库。
显示多个更新数据库,用户可以选取使用哪些更新数据库对原有的备份数据库进行覆盖叠加,每一次覆盖叠加的结果都进行保存。
值得一提的是,所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤还包括:
实时计算所有备份数据库的存储时长,当所述存储时长达到预设的存储阈值时,删除非默认的备份数据库。
默认的备份数据库以后就作为平时显示的备份数据库,它是一直保存的,但是每一次覆盖叠加的结果却并不是一直保存的,当存在时间较长时,可以进行删除,释放存储空间。
实施例2
图6为非侵入式实现数据库增量数据实时同步处理的系统的组成结构框图,本发明实施例中,一种非侵入式实现数据库增量数据实时同步处理的系统,所述系统10包括:
第一遍历模块11,用于遍历全量数据库,生成第一架构参数;
第二遍历模块12,用于遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
数值转换模块13,用于将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
比对定位模块14,用于比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
数据更新模块15,用于显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新。
进一步的,所述数值转换模块13包括:
切分单元,用于根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
执行单元,用于将所述子参数输入预设的转换模型,得到二进制数值;
连接单元,用于基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
具体的,所述比对定位模块14包括:
逻辑运算单元,用于对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
拷贝单元,用于根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
时间差计算单元,用于读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
数据插入单元,用于根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述方法包括:
遍历全量数据库,生成第一架构参数;
遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新。
2.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述遍历全量数据库,生成第一架构参数的步骤包括:
遍历全量数据库,查询各数据的地址信息;
将查询到的地址信息与预设的缓存区内的尾部数据进行比对,若所述地址信息与所述尾部数据相同,删除查询到的地址信息并更新该地址信息的数量;
若所述地址信息与所述缓存区内的尾部数据不同,将查询到的地址信息插入缓存区尾部;
根据缓存区中的数据生成树状图;所述树状图的终端节点的值为地址信息的数量。
3.根据权利要求2所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述根据缓存区中的数据生成树状图的步骤包括:
读取缓存区中的地址信息,根据地址信息中的分隔符,基于分隔符将所述地址信息转换为含有层级标识的节点名称组;
基于层标识别查询树状图中是否含有该节点名称组中的节点名称;
若树状图中不存在任一节点名称,则将节点名称组转换为分支,将分支插入树状图主干;
若树状图中包括所有节点名称,则读取下一地址信息;
若树状图中包含部分节点名称,则将节点名称组转换为分支,将分支连接至树状图的分支。
4.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值的步骤包括:
根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
将所述子参数输入预设的转换模型,得到二进制数值;
基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
5.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库的步骤包括:
对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
6.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤包括:
读取并显示已生成的更新数据库的时间信息,接收用户发送的含有选取信息的同步请求;
拷贝备份数据库,依次根据选取的更新数据库替换备份数据库,记录每一次替换后的备份数据库;
将最后一次替换的备份数据库标记为默认的备份数据库。
7.根据权利要求6所述的非侵入式实现数据库增量数据实时同步处理的方法,其特征在于,所述显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新的步骤还包括:
实时计算所有备份数据库的存储时长,当所述存储时长达到预设的存储阈值时,删除非默认的备份数据库。
8.一种非侵入式实现数据库增量数据实时同步处理的系统,其特征在于,所述系统包括:
第一遍历模块,用于遍历全量数据库,生成第一架构参数;
第二遍历模块,用于遍历备份数据库,生成第二架构参数;所述第一架构参数和所述第二架构参数均用于表征数据存储方式;
数值转换模块,用于将所述第一架构参数和所述第二架构参数输入预设的转换模型,得到两个n位二进制数值;其中,所述转换模型为任意长的消息到n位二进制数值的映射;所述映射含有次序特征;
比对定位模块,用于比对两个n位二进制数值,根据比对结果定位目标区域,基于目标区域拷贝全量数据库中的数据,生成含有时间信息的更新数据库;
数据更新模块,用于显示各更新数据库的时间信息,基于时间信息接收用户发送的同步请求,对备份数据库进行更新。
9.根据权利要求8所述的非侵入式实现数据库增量数据实时同步处理的系统,其特征在于,所述数值转换模块包括:
切分单元,用于根据预设的同一切分规则对所述第一架构参数和所述第二架构参数进行切分,得到子参数;所述切分规则含有切分顺序;
执行单元,用于将所述子参数输入预设的转换模型,得到二进制数值;
连接单元,用于基于切分顺序连接各子参数对应的二进制数值,得到n位二进制数值;所述切分顺序为子参数与n位二进制数值中各数位的映射关系。
10.根据权利要求8所述的非侵入式实现数据库增量数据实时同步处理的系统,其特征在于,所述比对定位模块包括:
逻辑运算单元,用于对两个n位二进数值进行逻辑运算,根据逻辑运算结果确定差异位,根据所述差异位和切分顺序定位子参数;
拷贝单元,用于根据所述子参数在全量数据库中定位目标区域,并拷贝全量数据库中的数据;
时间差计算单元,用于读取全量数据库的更新时间和备份数据库的备份时间,根据所述更新时间和所述备份时间计算时间差;
数据插入单元,用于根据时间差生成与全量数据库同源的空白数据库,将拷贝到的数据插入所述空白数据库,得到含有时间信息的更新数据库。
CN202211043551.7A 2022-08-30 2022-08-30 非侵入式实现数据库增量数据实时同步处理的方法和系统 Active CN115146003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211043551.7A CN115146003B (zh) 2022-08-30 2022-08-30 非侵入式实现数据库增量数据实时同步处理的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211043551.7A CN115146003B (zh) 2022-08-30 2022-08-30 非侵入式实现数据库增量数据实时同步处理的方法和系统

Publications (2)

Publication Number Publication Date
CN115146003A true CN115146003A (zh) 2022-10-04
CN115146003B CN115146003B (zh) 2022-11-18

Family

ID=83416530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211043551.7A Active CN115146003B (zh) 2022-08-30 2022-08-30 非侵入式实现数据库增量数据实时同步处理的方法和系统

Country Status (1)

Country Link
CN (1) CN115146003B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN104850598A (zh) * 2015-04-28 2015-08-19 江苏瑞中数据股份有限公司 一种实时数据库备份恢复方法
CN114328017A (zh) * 2021-12-28 2022-04-12 上海勤联物联网有限公司 一种数据库备份方法、系统、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN104850598A (zh) * 2015-04-28 2015-08-19 江苏瑞中数据股份有限公司 一种实时数据库备份恢复方法
CN114328017A (zh) * 2021-12-28 2022-04-12 上海勤联物联网有限公司 一种数据库备份方法、系统、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JING ZHANG 等: "《A Data Synchronization Method Oriented to Custom Hierarchical Multi-node System》", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE & COMMUNICATION TECHNOLOGY》 *
杨明珉 等: "《MySQL集群到Oracle数据库的数据同步方法》", 《计算机系统应用》 *

Also Published As

Publication number Publication date
CN115146003B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
JP6262874B2 (ja) データベース実現方法
JP3984659B2 (ja) 概要カタログ
JPH0934763A (ja) ファイル管理装置およびファイル管理方法
CN111680198B (zh) 基于文件分割与特征提取的档案管理系统及方法
EP1422901A1 (en) Client driven synchronization of file and folder content in web publishing
CN101356527A (zh) 通过节点编号的文件系统转储/恢复
US20070083543A1 (en) XML schema template builder
WO2023279684A1 (zh) 一种基于命名规则和缓存机制的知识图谱构建的操作方法
CN109189759A (zh) Kv存储系统中的数据读取方法、数据查询方法、装置及设备
CN103793401B (zh) 建立多个数据库表的共享索引的方法及装置
CN115146003B (zh) 非侵入式实现数据库增量数据实时同步处理的方法和系统
CN113094442A (zh) 全量数据同步方法、装置、设备和介质
CN114595286A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN110879812A (zh) 一种电商平台中基于spark的数据同步方法
CN113821476B (zh) 数据处理方法及装置
CN116049306A (zh) 数据同步方法、装置、电子设备以及可读存储介质
CN116010359A (zh) 一种基于日志进行数据存储和查询的方法及系统
CN113986829A (zh) 一种基于索引更改Hive数据的方法
CN111782655A (zh) 一种基于地理分区的数据库跨区域数据就近访问方法
Chen et al. Version management for scientific databases
CN118069701B (zh) 反向查询链路的构建方法、装置、计算机设备及存储介质
CN109992701B (zh) 一种链表实现方法、装置、设备及可读存储介质
CN116450751A (zh) 事务处理方法及装置
JP3497053B2 (ja) オンラインデータベース管理システムにおける処理方法及びオンラインデータベース管理システム
CN117407377A (zh) 一种用于减少数据冗余的历史数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant