CN109684270B - 数据库归档方法、装置、系统、设备及可读存储介质 - Google Patents
数据库归档方法、装置、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109684270B CN109684270B CN201811510235.XA CN201811510235A CN109684270B CN 109684270 B CN109684270 B CN 109684270B CN 201811510235 A CN201811510235 A CN 201811510235A CN 109684270 B CN109684270 B CN 109684270B
- Authority
- CN
- China
- Prior art keywords
- database
- data
- archiving
- backup
- date
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Abstract
本发明公开一种数据库归档方法、装置、系统、设备及可读存储介质。数据库归档方法,包括:执行正向归档任务,正向归档任务包括:根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据;根据待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份待归档数据的第一备份数据库;从源数据库的从数据库中读取待归档数据,并将待归档数据备份在第一备份数据库中;以及从源数据库的主数据库中删除待归档数据。该方法能够在不影响业务和响应速度的前提下,高效地存储海量数据。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据库归档方法、装置、系统、设备及可读存储介质。
背景技术
随着互联网应用技术的不断发展,数据库中存储的数据量越来越多。而对于普通的关系型数据库而言,当数据库中的数据量达到千万级别后,无论运行性能还是响应速度都会有显著下降。一旦数据库的响应速度下降,那么对于终端用户而言展现的业务功能也势必受到影响,使得用户体验变差。
目前,可以通过将源数据库中的数据备份到备份数据库中,来解决源数据库因数据量过大而导致的响应速度降低的问题。如可根据需要归档的数据及业务逻辑等通过人工编写归档脚本来执行归档,但因人工干预度高有可能导致数据的错误归档甚至丢失。此外,也可通过业务应用根据业务要求判断系统中哪些数据需要归档,然后针对需要归档的数据自行实现归档。虽然这种方法可以避免因人为因素导致的各种问题,但由于数据被迁移到归档数据库中,对于归完档的历史数据,没有一个很好的还原机制,使得业务系统不能便捷地查询、操作历史数据。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明提供一种数据库归档方法、装置、系统、设备及可读存储介质,能够在不影响业务和响应速度的前提下,高效地存储海量数据。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明的一方面,提供一种数据库归档方法,包括:执行正向归档任务,所述正向归档任务包括:根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据;根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的第一备份数据库;从所述源数据库的从数据库中读取所述待归档数据,并将所述待归档数据备份在所述第一备份数据库中;以及从所述源数据库的主数据库中删除所述待归档数据。
根据本发明的一实施方式,所述各备份数据库的归档日期预先定义在归档关系表中,所述各备份数据库的归档日期包括:所述各备份数据库的归档开始日期与归档结束日期。
根据本发明的一实施方式,根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的第一备份数据库包括:从所述归档关系表中依次查询所述各备份数据库的归档开始日期及归档结束日期;依次确定所述待归档数据的日期是否落在所述各备份数据库的归档开始日期及归档结束日期之间;以及如果所述待归档数据的日期落在一备份数据库的归档开始日期与归档结束日期之间,则确定所述备份数据库为所述第一备份数据库。
根据本发明的一实施方式,上述方法还包括:根据待访问数据的日期、当前日期及所述归档时间阈值,确定所述待访问数据是否存储在所述源数据库中;以及当确定所述待访问数据不在所述源数据库中时,为所述待访问数据执行逆向归档任务;其中,所述逆向归档任务包括:根据所述待访问数据的日期及所述各备份数据库的归档日期,确定备份了所述待访问数据的第二备份数据库;从所述第二备份数据库的从数据库中读取所述待访问数据,并将所述待访问数据存储至所述源数据库的主数据库中;及从所述第二备份数据库的主数据库中删除所述待访问数据。
根据本发明的一实施方式,上述方法还包括:当为所述待访问数据执行完所述逆向归档任务时,为所述待访问数据执行所述正向归档任务。
根据本发明的一实施方式,执行正向归档任务包括:根据预先配置的归档周期,周期地执行所述正向归档任务。
根据本发明的一方面,提供一种数据库归档装置,包括:正向归档模块,用于执行正向归档任务;所述正向归档模块包括:归档数据确定单元,用于根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据;备份数据库确定单元,用于根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的第一备份数据库;归档数据备份单元,用于从所述源数据库的从数据库中读取所述待归档数据,并将所述待归档数据备份在所述第一备份数据库的主数据库中;以及归档数据删除单元,用于从所述源数据库的主数据库中删除所述待归档数据。
根据本发明的一方面,提供一种数据库归档系统,包括:如上述任意一种所述的数据库归档装置、源数据库及备份数据库;其中,所述源数据库包括:主数据库与从数据库,所述备份数据库包括:主数据库与从数据库。
根据本发明的一方面,提供一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,所述处理器执行所述可执行指令时实现如上述任意一种方法。
根据本发明的一方面,提供一种计算机可读存储介质,其上存储有计算机可执行指令,所述可执行指令被处理器执行时实现如上述任意一种方法。
根据本发明的数据库归档方法中的源数据库采用主从数据库结构,从而能够在不影响业务和响应速度的前提下,高效地存储海量数据。此外,因采用增量归档方法,正向归档的执行速度很快,从而进一步降低对系统的影响。
另外,根据一些实施例,本发明的数据库归档方法,进一步提供了一种逆向归档方法,也即为了响应业务数据访问请求,将已经备份到备份数据库中的数据归档当源数据库中,以响应业务数据访问请求。从而使得业务系统可以便捷地查询、操作历史数据。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例,本发明的上述和其它目标、特征及优点将变得更加显而易见。
图1是根据一示例性实施方式示出的一种数据库归档系统的结构示意图。
图2是根据一示例性实施方式示出的一种数据库归档方法的流程图。
图3是根据一示例性实施方式示出的另一种数据库归档方法的流程图。
图4是根据一示例性实施方式示出的一种数据库归档装置的框图。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
图1是根据一示例性实施方式示出的一种数据库归档系统的结构示意图。
参考图1,数据库归档系统1包括:数据库归档装置11、源数据库12及至少一个备份数据库13。
其中,源数据库12采用主从数据库结构,即源数据库12包括:主数据库121及从数据库122。备份数据库13也同样采用主从数据库结构,即备份数据库13包括:主数据库131及从数据库132。
源数据库12与备份数据库13采用相同的库名及表名构造方式,并采用相同的结构,从而保证数据在正向归档和逆向归档过程中,仅需考虑数据迁移,而无需考虑数据转换,从而大幅提高速度。
当待归档的数据量很大时,可以设置多个备份数据库13,例如可以根据待归档数据的日期来分配将其备份至哪个备份数据库13中。
下面参考图1所示的数据库归档系统1,介绍本发明方法实施例。
图2是根据一示例性实施方式示出的一种数据库归档方法的流程图。
参考图1及图2,数据库归档方法1例如可以应用于图1所示的数据库归档装置11中。如图2所示,数据库归档方法10包括:
在步骤S102中,执行正向归档任务。
正向归档任务包括:
在步骤S1022中,根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据。
在实际应用中,通常时间最近的数据,被业务访问的次数最频繁;而对于一段时间之前的历史数据,则很少会被访问。因此可以根据源数据库的承载容量以及业务系统的要求等因素,预先配置一个归档时间阈值。例如,配置该归档时间阈值为n个月,则从当前日期起算,将源数据库中n个月之前的数据确定为待归档数据,也即尽量使源数据库仅存储最近n个月的数据。
需要说明的是,归档时间阈值在实际应用中可以根据源数据库的承载容量及业务系统需求等因素进行设置,本发明不以此为限。
在步骤S1024中,根据待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份待归档数据的第一备份数据库。
除了为源数据库配置归档时间阈值外,还可以预先为各备份数据库定义其归档日期,从而当需要归档的数据量很大时,可以根据为各备份数据库设置的归档日期来将待归档数据备份至不同的备份数据库中。例如,各备份数据库中承载容量为m个月的数据量,则配置备份数据库13A的归档日期为从初始备份日期开始第一个m个月,配置备份数据库13B的归档日期为从初始备份日期开始第二个m个月,以此类推。因为备份数据库的中的数据被访问的频率低,因此其可承载的数据量可以大于源数据库可承载的数据量,也即m>n。
在一些实施例中,在执行正向归档任务之前,还可以在数据库归档装置11中预先构建一张归档关系表。归档关系表例如可以包括如下字段:“主键”、“数据库类型(源数据库/备份数据库)”、“主从类型(主数据库/从数据库)”、“数据库名”、“数据库IP”、“用户名”、“密码”、“归档开始日期(源数据库该字段为空)”及“归档结束日期(源数据库该字段为空)”。
在一些实施例中,各备份数据库的归档日期定义在上述归档关系表中,且各备份数据库的归档日期包括归档关系表中的归档开始日期及归档结束日期。也即归档结束日期减去归档开始日期等于上述的m个月。根据待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份待归档数据的第一备份数据库可以包括:从归档关系表中依次查询各备份数据库的归档开始日期及归档结束日期;依次确定待归档数据的日期是否落在各备份数据库的归档开始日期及归档结束日期之间;以及如果待归档数据的日期落在一备份数据库的归档开始日期与归档结束日期之间,则确定备份数据库为第一备份数据库。需要说明的是,待归档数据的日期例如可以为待归档数据在源数据库中的存储日期,或者可以为待归档数据在源数据库中记录的生成日期,再或者还可以为待归档数据中所包括的日期,如待归档数据中包括有缴费日期,则所述待归档数据的日期也可以为该待归档数据中记录的缴费日期,本发明不以此为限。
在步骤S1026中,从源数据库的从数据库中读取待归档数据,并将待归档数据备份在第一备份数据库中。
在确定出第一备份数据库后,开始备份待归档数据。从源数据库的从数据库中读取待归档数据,并将待归档数据备份在第一备份数据库中。
源数据库采用主从数据库结构,可以做到数据的读写分离,也即在需要对源数据库中的数据进行备份时,从其从数据库中读取数据,因此可以几乎不影响其主数据库中对业务的处理操作,也即不影响源数据库12对各种数据操作请求的响应速度。
在一些实施例中,第一备份数据库也可以采用如图1所示的主从数据库结构。从图1所示的源数据库12的从数据库122中读取出待归档数据后,将归档数据库备份在第一备份数据库12的主数据库中。需要说明的是,本领域技术人员可以理解,采用主从数据库结构的第一备份数据库,当其主数据库中的数据增加时,其从数据库中的数据也会发生相同的变动。
在步骤S1028中,从源数据库的主数据库中删除待归档数据。
待归档数据备份完成后,从源数据库的主数据库中删除待归档数据。需要说明的是,本领域技术人员可以理解的是,因源数据库采用主从数据库结构,当主数据库中的数据被删除时,其从数据库中的数据也会相应发生变动。
在一些实施例中,可以预先配置一归档周期,并根据归档周期,周期地执行该正向归档任务。例如,该周期可以配置为一天、一周等,本发明不以此为限。为了尽量减小对业务操作的影响,还可以将归档时间配置为凌晨,如凌晨2点。
由于正向归档任务采用的是增量归档方法,只归档配置的归档时间阈值(如n个月)前的数据,因此数据量不大,归档过程速度很快。
本发明实施方式的数据库归档方法中的源数据库采用主从数据库结构,从而能够在不影响业务和响应速度的前提下,高效地存储海量数据。此外,因采用增量归档方法,正向归档的执行速度很快,从而进一步降低对系统的影响。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施方式。
图3是根据一示例性实施方式示出的另一种数据库归档方法的流程图。
图3所示的数据库归档方法进一步提供了一种逆向归档方法。当收到数据访问请求时,如果确定待访问的数据没有存储在源数据库中,则需要将备份在备份数据库中的待访问数据逆向地归档在源数据库中,以响应该数据访问请求。如图3所示,数据库归档方法20包括:
在步骤S202中,根据待访问数据的日期、当前日期及归档时间阈值,确定待访问数据是否存储在源数据库中。
当业务人员访问业务数据请求访问数据时,在数据访问请求中会包括待访问数据的信息。需要说明的是,该数据访问请求例如可以由业务系统接收,之后业务系统将该访问请求中待访问数据的信息发送给图1所示的数据库归档装置11;或者,该数据访问请求也可以由数据库归档装置11接收。
待访问数据的日期例如可以为待访问数据在源数据库中的存储日期,或者可以为待访问数据在源数据库中记录的生成日期,再或者还可以为待访问数据中所包括的日期,如待访问数据中包括有缴费日期,则所述待访问数据的日期也可以为该待访问数据中记录的缴费日期,本发明不以此为限。
在一些实施例中,根据待访问数据的日期、当前日期及归档时间阈值,确定待访问数据是否存储在源数据库中可以包括:如果待访问数据的日期为归档时间阈值(如n个月)之前(以当前日期为起点)的数据,则可以确定待访问数据没有存储在源数据库中;否则,可以确定待访问数据存储在源数据库中。
在步骤S204中,当确定待访问数据不在源数据库中时,则为待访问数据执行逆向归档任务。
逆向归档任务包括:
在步骤S2042中,根据待访问数据的日期及各备份数据库的归档日期,确定备份了待访问数据的第二备份数据库。
例如,可以从上述的归档关系表中依次查询各备份数据库的归档开始日期及归档结束日期;依次确定待访问数据的日期是否落在各备份数据库的归档开始日期及归档结束日期之间。如果待访问数据的日期落在一备份数据库的归档开始日期与归档结束日期之间,则确定备份数据库为第二备份数据库。
在步骤S2044中,从第二备份数据库的从数据库中读取待访问数据,并将待访问数据存储至源数据库的主数据库中。
第二备份数据库以图1所示的备份数据库13为例,从备份数据库13的从数据库132中读取待访问数据,并将待访问数据存储至源数据库12的主数据库121中,以供访问。
在步骤S2046中,从第二备份数据库的主数据库中删除待访问数据。
相应地,从备份数据库13的主数据库131中删除待访问数据。同样地,根据主从数据库的工作原理可知,从数据库132中待访问数据也被相应地删除。
在一些实施例中,数据库归档方法20还包括:当为待访问数据执行完逆向归档任务时,为待访问数据执行正向归档任务。例如,正向归档任务被配置为周期执行时,当为待访问数据执行完逆向归档任务后,可以通过下一次执行正向归档任务时,将待访问数据重新备份到备份数据库中。
本发明实施方式的数据库归档方法,进一步提供了一种逆向归档方法,也即为了响应业务数据访问请求,将已经备份到备份数据库中的数据归档当源数据库中,以响应业务数据访问请求。从而使得业务系统可以便捷地查询、操作历史数据。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图4是根据一示例性实施方式示出的一种数据库归档装置的框图。如图4所示,数据库归档装置30包括:正向归档模块302,用于执行正向归档任务。正向归档模块302进一步包括:归档数据确定单元3022、备份数据库确定单元3024、归档数据备份单元3026及归档数据删除单元3028。
其中,归档数据确定单元3022用于根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据;
备份数据库确定单元3024用于根据待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份待归档数据的第一备份数据库。
归档数据备份单元3026用于从源数据库的从数据库中读取待归档数据,并将待归档数据备份在第一备份数据库的主数据库中。
归档数据删除单元3028用于从源数据库的主数据库中删除待归档数据。
在一些实施例中,各备份数据库的归档日期预先定义在归档关系表中,各备份数据库的归档日期包括:各备份数据库的归档开始日期与归档结束日期。
在一些实施例中,备份数据库确定单元3024包括:日期查询子单元、日期确定子单元及数据库确定子单元。其中,日期查询子单元用于从归档关系表中依次查询各备份数据库的归档开始日期及归档结束日期。日期确定子单元用于依次确定待归档数据的日期是否落在各备份数据库的归档开始日期及归档结束日期之间。数据库确定子单元用于当日期确定子单元确定待归档数据的日期落在一备份数据库的归档开始日期与归档结束日期之间时,确定备份数据库为第一备份数据库。
在一些实施例中,数据库归档装置30还包括:数据确定模块及逆向归档模块。其中,数据确定模块用于根据待访问数据的日期、当前日期及归档时间阈值,确定待访问数据是否存储在源数据库中。逆向归档模块用于当数据确定模块确定待访问数据不在源数据库中时,则为待访问数据执行逆向归档任务。逆向归档模块还进一步包括:备份数据库确定单元、待访问数据备份单元及待访问数据删除单元。其中,备份数据库确定单元用于根据待访问数据的日期及各备份数据库的归档日期,确定备份了待访问数据的第二备份数据库。待访问数据备份单元用于从第二备份数据库的从数据库中读取待访问数据,并将待访问数据存储至源数据库的主数据库中。待访问数据删除单元用于从第二备份数据库的主数据库中删除待访问数据。
在一些实施例中,正向归档模块302还用于当逆向归档模块为待访问数据执行完逆向归档任务时,为待访问数据执行正向归档任务。
在一些实施例中,正向归档模块302还用于根据预先配置的归档周期,周期地执行正向归档任务。
需要注意的是,上述附图中所示的框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。需要说明的是,图5示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备800以通用计算机设备的形式表现。电子设备800的组件包括:至少一个中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序代码或者从至少一个存储单元808加载到随机访问存储器(RAM)803中的程序代码而执行各种适当的动作和处理。
特别地,根据本发明的实施例,所述程序代码可以被中央处理单元801执行,使得中央处理单元801执行本说明书上述方法实施例部分中描述的根据本发明各种示例性实施方式的步骤。例如,中央处理单元801可以执行如图2或图3中所示的步骤。
在RAM 803中,还存储有电子设备800操作所需的各种程序和数据。CPU 801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入单元806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出单元807;包括硬盘等的存储单元808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信单元809。通信单元809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储单元808。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
参考图6所示,描述了根据本发明的实施方式的设置为实现上述方法的程序产品900,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:执行正向归档任务,所述正向归档任务包括:
根据当前日期及预先配置的归档时间阈值,确定源数据库中的待归档数据;
根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的第一备份数据库;
从所述源数据库的从数据库中读取所述待归档数据,并将所述待归档数据备份在所述第一备份数据库中;以及
从所述源数据库的主数据库中删除所述待归档数据。。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (9)
1.一种数据库归档方法,其特征在于,用于源数据库与多个备份数据库之间的数据归档,所述源数据库和各备份数据库均包含:主数据库和从数据库,所述方法包括:执行正向归档任务,所述正向归档任务包括:
根据当前日期及预先配置的归档时间阈值,确定所述源数据库中的待归档数据;
根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的、所述多个备份数据库中的第一备份数据库;
从所述源数据库的从数据库中读取所述待归档数据,并将所述待归档数据备份在所述第一备份数据库的主数据库中;
从所述源数据库的主数据库中删除所述待归档数据;
根据待访问数据的日期、当前日期及所述归档时间阈值,确定所述待访问数据是否存储在所述源数据库中;以及
当确定所述待访问数据不在所述源数据库中时,为所述待访问数据执行逆向归档任务;
其中,所述逆向归档任务包括:
根据所述待访问数据的日期及所述各备份数据库的归档日期,确定备份了所述待访问数据的第二备份数据库;
从所述第二备份数据库的从数据库中读取所述待访问数据,并将所述待访问数据存储至所述源数据库的主数据库中;及
从所述第二备份数据库的主数据库中删除所述待访问数据。
2.根据权利要求1所述的方法,其特征在于,所述各备份数据库的归档日期预先定义在归档关系表中,所述各备份数据库的归档日期包括:所述各备份数据库的归档开始日期与归档结束日期。
3.根据权利要求2所述的方法,其特征在于,根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的、所述多个备份数据库中的第一备份数据库包括:
从所述归档关系表中依次查询所述各备份数据库的归档开始日期及归档结束日期;
依次确定所述待归档数据的日期是否落在所述各备份数据库的归档开始日期及归档结束日期之间;以及
如果所述待归档数据的日期落在一备份数据库的归档开始日期与归档结束日期之间,则确定所述备份数据库为所述第一备份数据库。
4.根据权利要求1所述的方法,其特征在于,还包括:当为所述待访问数据执行完所述逆向归档任务时,为所述待访问数据执行所述正向归档任务。
5.根据权利要求1-4任一项所述的方法,其特征在于,执行正向归档任务包括:根据预先配置的归档周期,周期地执行所述正向归档任务。
6.一种数据库归档装置,其特征在于,用于源数据库与多个备份数据库之间的数据归档,所述源数据库和各备份数据库均包含:主数据库和从数据库,所述装置包括:正向归档模块,用于执行正向归档任务;所述正向归档模块包括:
归档数据确定单元,用于根据当前日期及预先配置的归档时间阈值,确定所述源数据库中的待归档数据;
备份数据库确定单元,用于根据所述待归档数据的日期及预先定义的各备份数据库的归档日期,确定用于备份所述待归档数据的、所述多个备份数据库中的第一备份数据库;
归档数据备份单元,用于从所述源数据库的从数据库中读取所述待归档数据,并将所述待归档数据备份在所述第一备份数据库的主数据库中;
归档数据删除单元,用于从所述源数据库的主数据库中删除所述待归档数据;
数据确定模块,用于根据待访问数据的日期、当前日期及所述归档时间阈值,确定所述待访问数据是否存储在所述源数据库中;以及
逆向归档模块,用于当确定所述待访问数据不在所述源数据库中时,为所述待访问数据执行逆向归档任务,包括:
备份数据库确定单元,用于根据所述待访问数据的日期及所述各备份数据库的归档日期,确定备份了所述待访问数据的第二备份数据库;
待访问数据备份单元,用于从所述第二备份数据库的从数据库中读取所述待访问数据,并将所述待访问数据存储至所述源数据库的主数据库中;及
待访问数据删除单元,用于从所述第二备份数据库的主数据库中删除所述待访问数据。
7.一种数据库归档系统,其特征在于,包括:如权利要求6所述的数据库归档装置、源数据库及多个备份数据库;其中,所述源数据库包括:主数据库与从数据库,各所述备份数据库包括:主数据库与从数据库。
8.一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,其特征在于,所述处理器执行所述可执行指令时实现如权利要求1-5任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811510235.XA CN109684270B (zh) | 2018-12-11 | 2018-12-11 | 数据库归档方法、装置、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811510235.XA CN109684270B (zh) | 2018-12-11 | 2018-12-11 | 数据库归档方法、装置、系统、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684270A CN109684270A (zh) | 2019-04-26 |
CN109684270B true CN109684270B (zh) | 2021-01-29 |
Family
ID=66187398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811510235.XA Active CN109684270B (zh) | 2018-12-11 | 2018-12-11 | 数据库归档方法、装置、系统、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684270B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110825695A (zh) * | 2019-11-04 | 2020-02-21 | 泰康保险集团股份有限公司 | 数据处理方法、装置、介质及电子设备 |
CN111400304A (zh) * | 2020-02-19 | 2020-07-10 | 中国建设银行股份有限公司 | 一种获取截面日期全量数据的方法、装置、电子设备及存储介质 |
CN113742130A (zh) | 2020-05-29 | 2021-12-03 | 伊姆西Ip控股有限责任公司 | 用于备份的方法、电子设备和计算机程序产品 |
CN111813768B (zh) * | 2020-07-10 | 2023-12-01 | 北京思特奇信息技术股份有限公司 | 数据清理方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102713878A (zh) * | 2009-11-06 | 2012-10-03 | 皮斯佩斯有限公司 | 在分布式存储系统中管理文件的装置及方法 |
CN103514295A (zh) * | 2013-10-10 | 2014-01-15 | 中国电子科技集团公司第十五研究所 | 历史数据归档方法及历史数据归档装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391873A (zh) * | 2014-10-29 | 2015-03-04 | 上海达梦数据库有限公司 | 数据库操作分离方法和系统 |
US9928144B2 (en) * | 2015-03-30 | 2018-03-27 | Commvault Systems, Inc. | Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage |
CN105243163A (zh) * | 2015-11-05 | 2016-01-13 | 国家电网公司 | 历史数据归档集成系统及方法 |
-
2018
- 2018-12-11 CN CN201811510235.XA patent/CN109684270B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102713878A (zh) * | 2009-11-06 | 2012-10-03 | 皮斯佩斯有限公司 | 在分布式存储系统中管理文件的装置及方法 |
CN103514295A (zh) * | 2013-10-10 | 2014-01-15 | 中国电子科技集团公司第十五研究所 | 历史数据归档方法及历史数据归档装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109684270A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684270B (zh) | 数据库归档方法、装置、系统、设备及可读存储介质 | |
EP3477914B1 (en) | Data recovery method and device, and cloud storage system | |
EP3113043A1 (en) | Method, device and host for updating metadata stored in columns in distributed file system | |
CN109857723B (zh) | 基于可扩容数据库集群的动态数据迁移方法及相关设备 | |
CN110753084A (zh) | 上链数据读取方法、缓存服务器及计算机可读存储介质 | |
US10241716B2 (en) | Global occupancy aggregator for global garbage collection scheduling | |
CN114741335A (zh) | 缓存管理方法、装置、介质及设备 | |
US20210318834A1 (en) | Distributed Storage Orphan Scan | |
WO2020192663A1 (zh) | 一种数据管理方法及相关设备 | |
US9652766B1 (en) | Managing data stored in memory locations having size limitations | |
CN115858668A (zh) | 分布式事务处理方法、装置、电子装置及存储介质 | |
US10635637B1 (en) | Method to use previously-occupied inodes and associated data structures to improve file creation performance | |
CN113779412B (zh) | 一种基于区块链网络的消息触达方法、节点和系统 | |
CN112464049B (zh) | 号码详单下载方法、装置和设备 | |
CN104281503A (zh) | 一种数据备份方法以及相关系统 | |
CN112632266B (zh) | 数据写入方法、装置、计算机设备及可读存储介质 | |
CN112148712A (zh) | 一种数据处理方法、装置、设备及介质 | |
CN113760600A (zh) | 一种数据库备份方法、数据库还原方法和相关装置 | |
CN112559457A (zh) | 数据访问方法及装置 | |
CN111090633A (zh) | 一种分布式文件系统的小文件聚合方法、装置及设备 | |
CN110750268A (zh) | 文件清理方法、装置、计算机可读存储介质及电子设备 | |
CN113986134B (zh) | 存储数据的方法、读取数据的方法和装置 | |
CN112951437B (zh) | 医疗数据管理方法、装置、存储介质与电子设备 | |
US11782905B1 (en) | Method and system for streaming data from portable storage devices | |
CN114064783A (zh) | 一种导入数据的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |