CN112416937A - 数据归档方法、装置、电子设备及存储介质 - Google Patents
数据归档方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112416937A CN112416937A CN202011329061.4A CN202011329061A CN112416937A CN 112416937 A CN112416937 A CN 112416937A CN 202011329061 A CN202011329061 A CN 202011329061A CN 112416937 A CN112416937 A CN 112416937A
- Authority
- CN
- China
- Prior art keywords
- archived
- database
- data table
- data
- archiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013507 mapping Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术,尤其涉及一种数据归档方法、装置、电子设备及存储介质,该方法包括:将目标数据库划分为已归档数据库和待归档数据库;将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;将所述第一数据表归档于所述归档数据表。采用本申请实施例可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据归档方法、装置、电子设备及存储介质。
背景技术
系统上线运行一段时间后,每天进行大量数据的保存,oracle系统数据库无法避免的会发生数据量过大而导致系统运行效率下降的问题。数据库里保存了大量过期或者失效的流水类数据,以及一些可能只需要提供查询功能,不需要再进行维护的数据。这部分数据不停的保存当前的数据库中而没有进行定时清理的话,会严重影响实际需要发生业务的数据的执行效率。
因此可以提供相关的历史库以及归档功能减轻生产上的压力,提高当前库访问的速度和执行效率。因此,如何提升归档效率的问题亟待解决。
发明内容
本申请实施例提供了一种数据归档方法、装置、电子设备及存储介质,能够提升数据归档效率。
第一方面,本申请实施例提供一种数据归档方法,所述方法包括:
将目标数据库划分为已归档数据库和待归档数据库;
将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
将所述第一数据表归档于所述归档数据表。
第二方面,本申请实施例提供一种数据归档装置,所述装置包括:划分单元、建立单元、获取单元和归档单元,其中,
所述划分单元,用于将目标数据库划分为已归档数据库和待归档数据库;
所述建立单元,用于将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
所述获取单元,用于获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
所述归档单元,用于将所述第一数据表归档于所述归档数据表。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中所描述的数据归档方法、装置、电子设备及存储介质,将数据库划分为已归档数据库和待归档数据库,将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表,待归档数据表为待归档数据库中的数据,获取与待归档数据表对应的已归档数据库中预先存储的归档数据表,将第一数据表归档于归档数据表,可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据归档方法的流程示意图;
图2是本申请实施例提供的另一种数据归档方法的流程示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种数据归档装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑、POS机等等)、台式机、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、AI机器人、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobilestation,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种数据归档方法的流程示意图,如图所示,应用于电子设备,本数据归档方法包括:
101、将目标数据库划分为已归档数据库和待归档数据库。
其中,电子设备可以基于预设时间点可以目标数据库划分为已归档数据库和待归档数据库。预设时间点可以由用户自行设置或者系统默认。预设时间点可以为最近2个月。已归档数据库中用于存储已经被归档的数据,待归档数据库中用来存储准备用来归档的数据。
可选地,步骤101,将目标数据库划分为已归档数据库和待归档数据库,可以包括如下步骤:
A11、获取所述目标数据库中未被归档数据;
A12、确定所述未被归档数据的数据量;
A13、在所述数据量大于预设阈值时,将所述未被归档数据存储于所述待归档数据库;
A14、将所述目标数据库中除所述待归档数据库之外的数据存储于所述已归档数据库。
其中,预设阈值可以由用户自行设置或者系统默认。数据量可以指数据的内存大小,也可以指数据的数量。
具体实现中,电子设备可以获取目标数据库中未被归档数据,由于未被归档数据是逐步积累的,因此,可以确定未被归档数据的数据量,在数据量大于预设阈值时,将未被归档数据作存储于待归档数据库,将目标数据库中除待归档数据库之外的数据存储于已归档数据库,如此,可以实现数据库中的数据动态归档,即数据积累到一定程度,则可以进行归档处理。
可选地,上述步骤A11、获取所述目标数据库中未被归档数据,可以包括如下步骤:
A111、获取目标用户权限;
A112、按照预设的用户权限与数据标识之间的映射关系,确定所述目标用户权限对应的目标数据标识;
A113、依据所述目标数据标识获取所述目标数据库中未被归档数据。
其中,电子设备中可以预先存储预设的用户权限与数据标识之间的映射关系,不同的用户权限对应不同的数据标识。具体实现中,电子设备可以获取目标用户权限,并按照预设的用户权限与数据标识之间的映射关系,确定目标用户权限对应的目标数据标识,进而,依据目标数据标识获取目标数据库中未被归档数据。
进一步可选地,步骤101之前,还可以包括如下步骤:
B1、获取所述目标数据库对应的目标属性信息;
B2、获取预设的属性信息与阈值之间的映射关系;
B3、按照所述预设的属性信息与阈值之间的映射关系,确定所述目标属性信息对应的所述预设阈值。
其中,本申请实施例中,属性信息可以为以下至少一种:业务类型、数据库名称、数据库的重要等级、数据库的功能、数据库的存储空间大小等等,在此不做限定。
具体实现中,电子设备中可以预先存储预设的属性信息与阈值之间的映射关系,进而,电子设备可以获取目标数据库对应的目标属性信息,按照预设的属性信息与阈值之间的映射关系,确定目标属性信息对应的预设阈值,例如,可以依据不同的业务确定不同的阈值,进而,针对不同业务实现动态归档功能,有的业务类型其业务需求多,则产生的交易记录也多,则可以调大阈值,进而,避免频繁归档,有的业务类型其需求少,则产生的交易记录少,则可以调小阈值,进而,避免业务类型需求少的业务,其交易记录数据长期不能被归档,造成后期数据维护困难。
可选地,上述步骤101,将目标数据库划分为已归档数据库和待归档数据库,可以包括如下步骤:
C11、获取所述目标数据库中未被归档数据;
C12、确定所述未被归档数据中的每一数据对应的存储时长,得到多个存储时长;
C13、确定所述多个存储时长的平均存储时长;
C14、依据所述平均存储时长将所述未被归档数据中存储时长大于所述平均存储时长的数据存储于待归档数据库;
C15、将所述目标数据库中已被归档数据存储于所述已归档数据库。
其中,电子设备可以获取目标数据库中的未被归档数据,由于未被归档数据中的每一数据可以对应一个存储时长,存储时长则表明数据未被归档的时间长度,进而,可以确定未被归档数据中的每一数据的存储时长,得到多个存储时长,进而,可以确定多个存储时长的均值,得到平均存储时长,可以将大于平均存储时长的未被归档数据中存储时长大于平均存储时长的数据存储于待归档数据库,而将小于或等于平均存储时长的未被归档数据仍然保持未被归档状态,进而,还可以将目标数据库中已被归档数据存储于已归档数据库,如此,可以优先将存储时长较多的数据优先归档,一方面,可以减少归档任务量,另一方面,提升存储时长较长数据的归档效率。当然,再待归档数据库归档完成之后,还可以将上述小于或等于平均存储时长的未被归档数据继续完成归档工作,进而实现分批次数据归档,提升归档效率,也降低了系统负荷。
可选地,上述步骤C11、获取所述目标数据库中未被归档数据,可以包括如下步骤:
C111、获取目标业务标识;
C112、按照预设的业务标识与数据标识之间的映射关系,确定所述目标业务标识对应的目标数据标识;
C113、依据所述目标数据标识获取所述目标数据库中未被归档数据。
其中,电子设备中可以预先存储预设的业务标识与数据标识之间的映射关系,不同的业务标识对应不同的数据标识。具体实现中,电子设备可以获取目标业务标识,并按照预设的业务标识与数据标识之间的映射关系,确定目标业务标识对应的目标数据标识,进而,依据目标数据标识获取目标数据库中未被归档数据。
102、将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据。
其中,待归档数据表可以为待归档数据库中的数据,例如,待归档数据表可以为待归档数据库中的部分或者全部数据。电子设备可以将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表。
103、获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表。
其中,电子设备可以依据待归档数据表的相关信息在已归档数据库中进行搜索,得到对应的数据表作为归档数据表,相关信息可以包括以下至少一种:数据类型、数据对应的业务类型、数据长度、数据结构等等,在此不做限定。
可选地,上述步骤103,获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表,可以包括如下步骤:
31、获取所述待归档数据表的目标标识信息;
32、依据所述目标标识信息在所述已归档数据库中进行搜索,得到所述待归档数据表对应的归档数据表。
其中,本申请实施例中,标识信息可以为以下至少一种:业务类型、用户名、数据类型等等,在此不做限定。具体实现中,电子设备可以获取待归档数据表的目标标识信息,依据目标标识信息在已归档数据库中进行搜索,得到待归档数据表对应的归档数据表。
可选地,上述步骤103-步骤104之间,还可以包括如下步骤:
D1、获取所述归档数据表的目标属性信息;
D2、根据所述目标属性信息判断是否满足归档条件;
D3、在满足所述归档条件时,执行步骤104。
其中,本申请实施例中,目标属性信息可以为以下至少一种:数据表代码、数据表名称、历史库用户名、归档条件(例如,sql中的where语句)、归档处理状态、当前归档日期等等,在此不做限定。具体实现中,电子设备可以获取归档数据表的目标属性信息,依据目标属性信息判断是否满足归档条件,即可以将目标属性信息与预设属性信息进行匹配,在匹配成功时,确认符合归档条件,否则,不符合归档条件,在满足归档条件时,执行步骤104,否则可以不执行后续步骤。
可选地,上述步骤D2,根据所述目标属性信息判断是否满足归档条件,可以包括如下步骤:
D21、将所述目标属性信息与预设属性信息进行匹配;
D22、在所述目标属性信息与所述预设属性信息匹配成功时,确认所述目标属性信息符合所述归档条件;
D2、在所述目标属性信息与所述预设属性信息匹配失败时,确认所述目标属性信息不符合所述归档条件。
其中,上述预设属性信息可以为以下至少一种:预设数据表代码、预设数据表名称、预设历史库用户名、预设归档条件(例如,sql中的where语句)、预设归档处理状态、预设归档日期等等,在此不做限定。预设数据表代码、预设数据表名称、预设历史库用户名、预设归档条件、预设归档处理状态、预设归档日期均可以由用户自行设置或者系统默认。
具体实现中,电子设备可以将目标属性信息与预设属性信息进行匹配,在目标属性信息与预设属性信息匹配成功时,确认目标属性信息符合归档条件,反之,在目标属性信息与预设属性信息匹配失败时,确认目标属性信息不符合归档条件,如此,可以实现归档条件识别,实现合理时机进行归档。
可选地,目标属性信息包括:目标数据表名称和目标归档日期,所述预设属性信息包括:预设数据表名称和预设归档日期,上述步骤D21,将所述目标属性信息与预设属性信息进行匹配,可以包括如下步骤:
D211、将所述目标数据表名称与所述预设数据表名称进行比对;
D212、在所述目标数据表名称与所述预设数据表名称比对成功时,将所述目标归档日期与所述预设归档日期进行比对;
D213、在所述目标归档日期与所述预设归档日期比对成功时,确认所述目标属性信息符合所述归档条件。
具体实现中,电子设备可以将目标数据表名称与预设数据表名称进行比对,在目标数据表名称与预设数据表名称比对成功时,将目标归档日期与所述预设归档日期进行比对,在目标归档日期与预设归档日期比对成功时,确认目标属性信息符合归档条件。反之,在目标数据表名称与预设数据表名称比对失败时,确认目标属性信息不符合归档条件,以及在目标归档日期与预设归档日期失败成功时,确认目标属性信息不符合归档条件。
104、将所述第一数据表归档于所述归档数据表。
具体实现中,电子设备可以每隔预设时间间隔将第一数据表和归档数据表进行归档操作,预设时间间隔可以由用户自行设置或者系统默认,例如,使用springboot自带的quartz定时调度模块,做一个定时任务,例如,任务的时间可以设在每天的半夜或者凌晨,通过定时调用归档处理的任务。电子设备可以将第一数据表和归档数据表进行拼接,以实现归档操作。具体地,可以查询所有的归档配置记录,根据表代码+历史库用户名+归档条件拼接insert into的sql语句,将当前库已经不需要维护的数据保存到历史库中(例如,可以设定一个保存期限,如:半年前的数据就直接归档),然后,拼接delete语句删除当前库中这部分归档过去的数据。
可选地,上述步骤104,将所述第一数据表归档于所述归档数据表,可以包括如下步骤:
41、确定所述归档数据表的归档位置;
42、将所述第一数据表拼接于所述归档位置;
43、删除所述第一数据表对应的所述待归档数据库中的数据。
具体实现中,电子设备可以确定归档数据表的归档位置,归档位置可以为数据结构的尾部、首位或者其他部位,归档位置可以预先标记。进而,电子设备可以将第一数据表拼接于归档位置,并删除第一数据表对应的待归档数据库中的数据,如此,可以实现数据归档。
具体实现中,可以参照如下方式实现归档操作可以参照如下步骤:
1、把数据库进行拆分处理,区分成当前库和历史库,将需要归档的数据表在历史库中建立和当前库表名和表结构相同的表。系统对接两个数据源,对于近期发生需要不停数据维护的功能,数据源使用当前库的数据源;对于远期已经完结或者失效的流水类数据,只需要提供查询功能,数据源使用历史库的数据库;
2、提供归档配置表,属性包含:数据表代码、数据表名称、历史库用户名、归档条件(sql中的where语句)、归档处理状态、当前归档日期;
3、使用springboot自带的quartz定时调度模块,做一个定时任务,任务的时间可以设在每天的半夜或者凌晨,定时调用归档处理的任务;
4、归档处理:查询所有的归档配置记录,根据表代码+历史库用户名+归档条件拼接insert into的sql语句,将当前库已经不需要维护的数据保存到历史库中(可以设定一个保存期限,比如说半年前的数据就直接归档),然后拼接delete语句删除当前库中这部分归档过去的数据;
5、对于归档到历史库的数据,提供新的功能,支持从历史库查询数据或者从当前库查询数据。
通过上述方式,由于每天会定时将不需要的数据归档到历史库,会大大的减少当前库数据的增长速度,保证每天发生的正常业务运行效率稳定可靠,并且提供了历史库查询的功能,并不会影响正常客户查询流水的效率。
可以看出,本申请实施例中所描述的数据归档方法,将目标数据库划分为已归档数据库和待归档数据库,将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表,待归档数据表为待归档数据库中的数据,获取与待归档数据表对应的已归档数据库中预先存储的归档数据表,将第一数据表归档于归档数据表,可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
请参阅图2,图2是本申请实施例提供的一种数据归档方法的流程示意图,应用于电子设备,如图所示,本数据归档方法包括:
201、将目标数据库划分为已归档数据库和待归档数据库。
202、将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据。
203、获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表。
204、获取所述归档数据表的目标属性信息。
205、根据所述目标属性信息判断是否满足归档条件。
206、在满足所述归档条件时,将所述第一数据表归档于所述归档数据表。
其中,上述步骤201-步骤206的具体描述可以参照上述图1所描述的相应步骤,在此不再赘述。
可以看出,本申请实施例中所描述的数据归档方法,将目标数据库划分为已归档数据库和待归档数据库,将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表,待归档数据表为待归档数据库中的数据,获取与待归档数据表对应的已归档数据库中预先存储的归档数据表,获取归档数据表的目标属性信息,根据目标属性信息判断是否满足归档条件,在满足归档条件时,将第一数据表归档于归档数据表,可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,在满足归档条件的前提下,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
与上述实施例一致地,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
将目标数据库划分为已归档数据库和待归档数据库;
将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
将所述第一数据表归档于所述归档数据表。
可以看出,本申请实施例中所描述的电子设备,将目标数据库划分为已归档数据库和待归档数据库,将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表,待归档数据表为待归档数据库中的数据,获取与待归档数据表对应的已归档数据库中预先存储的归档数据表,将第一数据表归档于归档数据表,可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
可选地,在所述将目标数据库划分为已归档数据库和待归档数据库方面,上述程序包括用于执行以下步骤的指令:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据的数据量;
在所述数据量大于预设阈值时,将所述未被归档数据存储于所述待归档数据库;
将所述目标数据库中除所述待归档数据库之外的数据存储于所述已归档数据库。
可选地,在所述将目标数据库划分为已归档数据库和待归档数据库之前,上述程序还包括用于执行以下步骤的指令:
获取所述目标数据库对应的目标属性信息;
获取预设的属性信息与阈值之间的映射关系;
按照所述预设的属性信息与阈值之间的映射关系,确定所述目标属性信息对应的所述预设阈值。
可选地,在所述将目标数据库划分为已归档数据库和待归档数据库方面,上述程序包括用于执行以下步骤的指令:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据中的每一数据对应的存储时长,得到多个存储时长;
确定所述多个存储时长的平均存储时长;
依据所述平均存储时长将所述未被归档数据中存储时长大于所述平均存储时长的数据作存储于所述待归档数据库;
将所述目标数据库中已被归档数据存储于所述已归档数据库。
可选地,在所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表方面,上述程序包括用于执行以下步骤的指令:
获取所述待归档数据表的目标标识信息;
依据所述目标标识信息在所述已归档数据库中进行搜索,得到所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表。
可选地,在所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表之后,以及所述将所述第一数据表归档于所述归档数据表之前,上述程序还包括用于执行以下步骤的指令:
获取所述归档数据表的目标属性信息;
根据所述目标属性信息判断是否满足归档条件;
在满足所述归档条件时,执行所述将所述第一数据表归档于所述归档数据表的步骤。
可选地,在所述根据所述目标属性信息判断是否满足归档条件方面,上述程序包括用于执行以下步骤的指令:
将所述目标属性信息与预设属性信息进行匹配;
在所述目标属性信息与所述预设属性信息匹配成功时,确认所述目标属性信息符合所述归档条件;
在所述目标属性信息与所述预设属性信息匹配失败时,确认所述目标属性信息不符合所述归档条件。
可选地,在所述将所述第一数据表归档于所述归档数据表方面,上述程序包括用于执行以下步骤的指令:
确定所述归档数据表的归档位置;
将所述第一数据表拼接于所述归档位置;
删除所述第一数据表对应的所述待归档数据库中的数据。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的数据归档装置400的功能单元组成框图。该数据归档装置400,所述装置400包括:划分单元401、建立单元402、获取单元403和归档单元404,其中,
所述划分单元401,用于将目标数据库划分为已归档数据库和待归档数据库;
所述建立单元402,用于将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
所述获取单元403,用于获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
所述归档单元404,用于将所述第一数据表归档于所述归档数据表。
可以看出,本申请实施例中所描述的数据归档装置,将目标数据库划分为已归档数据库和待归档数据库,将待归档数据表在已归档数据库中建立与待归档数据库结构相同的第一数据表,待归档数据表为待归档数据库中的数据,获取与待归档数据表对应的已归档数据库中预先存储的归档数据表,将第一数据表归档于归档数据表,可以通过数据库划分已归档数据库和待归档数据库,将待归档数据库中待归档数据表建立与已归档数据库相关联的数据表,进而,通过该数据表将待归档数据归档到已归档数据库,有助于提升数据归档效率。
可选地,在所述将目标数据库划分为已归档数据库和待归档数据库方面,所述划分单元401具体用于:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据的数据量;
在所述数据量大于预设阈值时,将所述未被归档数据存储于所述待归档数据库;
将所述目标数据库中除所述待归档数据库之外的数据存储于所述已归档数据库。
可选地,所述装置还用于实现如下功能,具体如下:
所述装置400具体用于:
在所述将目标数据库划分为已归档数据库和待归档数据库之前,获取所述目标数据库对应的目标属性信息;
获取预设的属性信息与阈值之间的映射关系;
按照所述预设的属性信息与阈值之间的映射关系,确定所述目标属性信息对应的所述预设阈值。
可选地,在所述将目标数据库划分为已归档数据库和待归档数据库方面,所述划分单元401具体用于:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据中的每一数据对应的存储时长,得到多个存储时长;
确定所述多个存储时长的平均存储时长;
依据所述平均存储时长将所述未被归档数据中存储时长大于所述平均存储时长的数据存储于所述待归档数据库;
将所述目标数据库中已被归档数据存储于所述已归档数据库。
可选地,在所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表方面,所述获取单元403具体用于:
获取所述待归档数据表的目标标识信息;
依据所述目标标识信息在所述已归档数据库中进行搜索,得到所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表。
可选地,所述装置还用于实现如下功能,具体如下:
所述装置400具体用于:在所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表之后,以及所述将所述第一数据表归档于所述归档数据表进行归档操作之前,获取所述归档数据表的目标属性信息;
根据所述目标属性信息判断是否满足归档条件;
在满足所述归档条件时,执行所述将所述第一数据表归档于所述归档数据表的步骤。
进一步可选地,在所述根据所述目标属性信息判断是否满足归档条件方面,所述装置400具体用于:
将所述目标属性信息与预设属性信息进行匹配;
在所述目标属性信息与所述预设属性信息匹配成功时,确认所述目标属性信息符合所述归档条件;
在所述目标属性信息与所述预设属性信息匹配失败时,确认所述目标属性信息不符合所述归档条件。
可选地,在所述将所述第一数据表归档于所述归档数据表方面,所述归档单元404具体用于:
确定所述归档数据表的归档位置;
将所述第一数据表拼接于所述归档位置;
删除所述第一数据表对应的所述待归档数据库中的数据。
可以理解的是,本实施例的数据归档装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据归档方法,其特征在于,所述方法包括:
将目标数据库划分为已归档数据库和待归档数据库;
将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
将所述第一数据表归档于所述归档数据表。
2.根据权利要求1所述的方法,其特征在于,所述将目标数据库划分为已归档数据库和待归档数据库,包括:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据的数据量;
在所述数据量大于预设阈值时,将所述未被归档数据存储于所述待归档数据库;
将所述目标数据库中除所述待归档数据库之外的数据存储于所述已归档数据库。
3.根据权利要求2所述的方法,其特征在于,在所述将目标数据库划分为已归档数据库和待归档数据库之前,所述方法还包括:
获取所述目标数据库对应的目标属性信息;
获取预设的属性信息与阈值之间的映射关系;
按照所述预设的属性信息与阈值之间的映射关系,确定所述目标属性信息对应的所述预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述将目标数据库划分为已归档数据库和待归档数据库,包括:
获取所述目标数据库中未被归档数据;
确定所述未被归档数据中的每一数据对应的存储时长,得到多个存储时长;
确定所述多个存储时长的平均存储时长;
依据所述平均存储时长将所述未被归档数据中存储时长大于所述平均存储时长的数据存储于所述待归档数据库;
将所述目标数据库中已被归档数据存储于所述已归档数据库。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表,包括:
获取所述待归档数据表的目标标识信息;
依据所述目标标识信息在所述已归档数据库中进行搜索,得到所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表。
6.根据权利要求1-4任一项所述的方法,其特征在于,在所述获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表之后,以及所述将所述第一数据表归档于所述归档数据表作之前,所述方法还包括:
获取所述归档数据表的目标属性信息;
根据所述目标属性信息判断是否满足归档条件;
在满足所述归档条件时,执行所述将所述第一数据表归档于所述归档数据表的步骤。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述将所述第一数据表归档于所述归档数据表,包括:
确定所述归档数据表的归档位置;
将所述第一数据表拼接于所述归档位置;
删除所述第一数据表对应的所述待归档数据库中的数据。
8.一种数据归档装置,其特征在于,所述装置包括:划分单元、建立单元、获取单元和归档单元,其中,
所述划分单元,用于将目标数据库划分为已归档数据库和待归档数据库;
所述建立单元,用于将待归档数据表在所述已归档数据库中建立与所述待归档数据库结构相同的第一数据表,所述待归档数据表为所述待归档数据库中的数据;
所述获取单元,用于获取与所述待归档数据表对应的所述已归档数据库中预先存储的归档数据表;
所述归档单元,用于将所述第一数据表归档于所述归档数据表。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011329061.4A CN112416937A (zh) | 2020-11-24 | 2020-11-24 | 数据归档方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011329061.4A CN112416937A (zh) | 2020-11-24 | 2020-11-24 | 数据归档方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112416937A true CN112416937A (zh) | 2021-02-26 |
Family
ID=74777534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011329061.4A Pending CN112416937A (zh) | 2020-11-24 | 2020-11-24 | 数据归档方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112416937A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642028A (zh) * | 2021-10-12 | 2021-11-12 | 深圳市诚识科技有限公司 | 对接不同数据类型并完成归档划分的贸易数据系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120084316A1 (en) * | 2010-10-05 | 2012-04-05 | International Business Machines Corporation | Database-transparent near online archiving and retrieval of data |
CN105279261A (zh) * | 2015-10-23 | 2016-01-27 | 北京京东尚科信息技术有限公司 | 动态可扩展数据库归档方法和系统 |
CN105653560A (zh) * | 2014-11-28 | 2016-06-08 | 华为软件技术有限公司 | 数据归档方法和装置 |
CN110866006A (zh) * | 2019-10-12 | 2020-03-06 | 苏宁云计算有限公司 | 过期数据的归档方法和装置 |
CN111651443A (zh) * | 2020-05-22 | 2020-09-11 | 京东数字科技控股有限公司 | 一种数据管理方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-24 CN CN202011329061.4A patent/CN112416937A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120084316A1 (en) * | 2010-10-05 | 2012-04-05 | International Business Machines Corporation | Database-transparent near online archiving and retrieval of data |
CN105653560A (zh) * | 2014-11-28 | 2016-06-08 | 华为软件技术有限公司 | 数据归档方法和装置 |
CN105279261A (zh) * | 2015-10-23 | 2016-01-27 | 北京京东尚科信息技术有限公司 | 动态可扩展数据库归档方法和系统 |
CN110866006A (zh) * | 2019-10-12 | 2020-03-06 | 苏宁云计算有限公司 | 过期数据的归档方法和装置 |
CN111651443A (zh) * | 2020-05-22 | 2020-09-11 | 京东数字科技控股有限公司 | 一种数据管理方法、装置、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642028A (zh) * | 2021-10-12 | 2021-11-12 | 深圳市诚识科技有限公司 | 对接不同数据类型并完成归档划分的贸易数据系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN109558440A (zh) | 数据批量处理方法、装置、计算机设备及存储介质 | |
WO2021027365A1 (zh) | 事件监控方法、装置、计算机设备和存储介质 | |
CN110795499B (zh) | 基于大数据的集群数据同步方法、装置、设备及存储介质 | |
CN112380227B (zh) | 基于消息队列的数据同步方法、装置、设备及存储介质 | |
CN111538779A (zh) | 一种增量数据同步的方法、装置、计算机设备及存储介质 | |
CN110321339B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN111737227B (zh) | 数据修改方法及系统 | |
CN111124917B (zh) | 公共测试用例的管控方法、装置、设备及存储介质 | |
CN108415998B (zh) | 应用依赖关系更新方法、终端、设备及存储介质 | |
CN109408507B (zh) | 多属性数据的处理方法、装置、设备及可读存储介质 | |
CN109062925A (zh) | 自动生成insert语句的方法、装置、计算机设备及存储介质 | |
WO2020233310A1 (zh) | 实时处理数据的异步补偿方法、装置、设备及存储介质 | |
WO2015106710A1 (en) | Contact information processing method, apparatus, and system | |
CN112416907A (zh) | 一种数据库表数据导入导出方法、终端设备及存储介质 | |
CN114064073A (zh) | 软件版本升级方法、装置、计算机设备和存储介质 | |
CN112416937A (zh) | 数据归档方法、装置、电子设备及存储介质 | |
CN108280215B (zh) | 一种基于Solr的电商索引文件的混合式更新方法 | |
CN107368569B (zh) | 数据差异对比方法和装置、存储介质以及处理器 | |
CN113791735A (zh) | 视频数据存储方法、装置、计算机设备及存储介质 | |
CN113377789A (zh) | 数据库变更数据的处理方法、装置、计算机设备和介质 | |
CN112416934A (zh) | hive表增量数据同步方法、装置、计算机设备及存储介质 | |
CN111427864A (zh) | 数据的分批归档方法、装置、设备及存储介质 | |
CN110941658A (zh) | 一种数据导出方法、装置、服务器及存储介质 | |
CN104866535A (zh) | 一种号段记录压缩方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |