CN114003558A - 数据归档方法、装置、设备及存储介质 - Google Patents
数据归档方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114003558A CN114003558A CN202111318087.3A CN202111318087A CN114003558A CN 114003558 A CN114003558 A CN 114003558A CN 202111318087 A CN202111318087 A CN 202111318087A CN 114003558 A CN114003558 A CN 114003558A
- Authority
- CN
- China
- Prior art keywords
- data
- archived
- day
- document
- current day
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供的一种数据归档方法、装置、设备及存储介质,涉及数据存储技术领域,通过接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。采用本技术方案,能够克服目前主要的归档方案中存在的问题,目前存在的问题是数据库的归档需要运维人员编写归档脚本进行归档,人工干预度高,工作也比较复杂,而本技术方案能够降低数据归档过程的复杂性,提高数据处理的效率。
Description
技术领域
本申请涉及数据存储技术领域,尤其涉及一种数据归档方法、装置、设备及存储介质。
背景技术
目前的份额登记过户系统支持多管理人清算,然而每个管理人每天的业务数据量在百万左右,单数据源已不能支持如此巨大的数据量,因此,采用了根据管理人分库的策略进行清算。
但是随着时间推移,每个分库的中存储的数据量也会越来越多。而对于普通的关系型数据库而言,当数据库中的数据量达到千万级别后,无论运行性能还是响应速度都会有显著下降。一旦数据库的响应速度下降,那么对于终端用户所展现的业务功能也势必受到影响。考虑到份额登记过户系统对于每天已处理的数据不会再做变动,于是将每个分库的数据在日终进行归档处理就成为必然。
然而目前主要的归档方案是数据库运维人员编写归档脚本进行归档,人工干预度高,工作也比较复杂。因此,需要一种数据归档方法,能够降低数据归档过程的复杂性,提高数据处理的效率。
发明内容
本申请提供一种数据归档方法、装置、设备及存储介质,能够降低数据归档过程中的复杂性,并且能够提高数据处理的效率。
第一方面,本申请提供一种数据归档方法,所述方法包括:
接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;
将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;
将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。
可选的,将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,包括:
获取具备相同主键信息的所述当日待归档数据,并对所述当日待归档数据键入所述数据管理库中的时间戳进行排序;
按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表。
可选的,按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表,包括:
将所述时间戳排序第一的所述当日待归档数据进行加锁处理,并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态;
若在所述中间表中已经完成所述时间戳排序第一的所述当日待归档数据,则释放锁,并将锁的关键值的状态由执行状态修改为等待状态;
将所述时间戳排序第二的所述当日待归档数据进行加锁处理,将所述时间戳排序第二的所述当日待归档数据写入所述中间表。
可选的,从至少两个数据库中调取当日待归档数据,包括:
根据每一个数据库中的配置表,获取对应数据库中的所述当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的;
将所述主键信息相同的所述当日待归档数据按照所述配置表中的预设路径进行输出。
可选的,在将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中之前,还包括:
确定所述待迁移文档中的主键信息,在所述主表中按照所述主键信息进行查询,并确定所述主键信息在所述主表中的文档数据;
比较所述主表中的文档数据与所述待迁移文档中的文档数据,若存在重复的数值,则在所述主表中将所述重复的数值进行删除。
可选的,若存在重复的数值,则在所述主表中将所述重复的数值进行删除,包括:
若所述重复的数值的数据量超过预设数据量,则对所述重复的数值的数据量按照预设规则进行分段处理,得到分段后的重复的数值;
通过多个线程对所述分段后的重复的数值进行删除。
可选的,所述方法还包括:
按照预设时间段查询所述至少两个数据库中当日待归档数据的归档状态;
若所述归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。
第二方面,本申请提供一种数据归档装置,所述装置包括:
调取模块,用于接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;
写入模块,用于将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;
迁移模块,用于将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。
可选的,写入模块,包括:
排序单元,用于获取具备相同主键信息的所述当日待归档数据,并对所述当日待归档数据键入所述数据管理库中的时间戳进行排序;
写入单元,用于按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表。
写入单元,包括:
加锁子单元,用于将所述时间戳排序第一的所述当日待归档数据进行加锁处理,并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态;
解锁子单元,用于若在所述中间表中已经完成所述时间戳排序第一的所述当日待归档数据,则释放锁,并将锁的关键值的状态由执行状态修改为等待状态;
写入子单元,用于将所述时间戳排序第二的所述当日待归档数据进行加锁处理,将所述时间戳排序第二的所述当日待归档数据写入所述中间表。
可选的,调取模块,包括:
获取单元,用于根据每一个数据库中的配置表,获取对应数据库中的所述当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的;
输出单元,用于将所述主键信息相同的所述当日待归档数据按照所述配置表中的预设路径进行输出。
可选的,所述装置,还包括:
确定模块,用于确定所述待迁移文档中的主键信息,在所述主表中按照所述主键信息进行查询,并确定所述主键信息在所述主表中的文档数据;
删除模块,用于比较所述主表中的文档数据与所述待迁移文档中的文档数据,若存在重复的数值,则在所述主表中将所述重复的数值进行删除。
删除模块,包括:
处理单元,用于若所述重复的数值的数据量超过预设数据量,则对所述重复的数值的数据量按照预设规则进行分段处理,得到分段后的重复的数值;
删除单元,用于通过多个线程对所述分段后的重复的数值进行删除。
可选的,所述装置还包括:
查询模块,用于按照预设时间段查询所述至少两个数据库中当日待归档数据的归档状态;
终止模块,用于若所述归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面中所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面中所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面中所述的方法。
本申请提供的一种数据归档方法、装置、设备及存储介质,通过接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。采用本技术方案,能够降低数据归档过程中的复杂性,并能够提高数据处理的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据本申请实施例一提供的一种数据归档方法的流程示意图;
图2是根据本申请实施例二提供的一种数据处理方法的流程示意图;
图3是根据本申请实施例三提供的一种数据处理方法的流程示意图;
图4是根据本申请实施例四提供的一种数据归档装置的示意图;
图5是根据本申请实施例五提供的一种数据归档装置的示意图;
图6是根据一示例性实施例示出的一种终端设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请所涉及的名词进行解释:
当日待归档数据:是分散存储在不同的数据库中的同一天的数据信息,但是不同的数据库中存储的待归档的数据信息是不同的。
主键信息:是指一种标识信息,可以用于表征数据特征的信息,例如可以是表名,也可以是一种符号,能够用于区分不同的待归档数据。
中间表:是指数据管理库中可以编辑的文档信息,并且数据管理库中的中间表只有一个。
主表:是指数据管理库中存储最终数据的表格。
本申请提供的数据归档方法,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1是根据本申请实施例一提供的一种数据归档方法的流程示意图。实施例一中包括如下步骤:
S101、接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据。
本实施例中,当日数据归档的指令消息可以是由用户发起的,在接收到该指令消息后,将从不同的数据库中调取当日待归档数据。其中,不同的数据库中存储的当日待归档数据是不同的。例如,指令消息为将2021年10月9日的数据进行归档,则从数据库A调取2021年10月9日的待归档数据,从数据库B中调取2021年10月9日的待归档数据。其中,从数据库A中调取的待归档数据的数量与从数据库B中调取的待归档数据的数量可以是相同的,也可以是不同的。
S102、将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档。
本实施例中,在从数据库A中调取当日待归档数据以及从数据库B中调取当日待归档数据之后,确定从数据库A中调取的当日待归档数据中与数据库B中调取的当日待归档数据中主键信息相同的待归档数据,并将以上数据写入数据管理库的中间表中。具体的,在将当日待归档数据写入中间表的过程中,是按照主键信息写入的,在完成具备相同的主键信息的待归档数据的写入后,得到中间表的待迁移文档。例如,从数据库A中调取的当日待归档数据为待归档数据A、待归档数据B和待归档数据C,从数据库B中调取的当日待归档数据D、待归档数据E和待归档数据F;其中,待归档数据A和待归档数据F具备相同的主键信息。例如,此时的主键信息为表名A,则可以将待归档数据A和待归档数据F按照表名A共同写入数据管理库的中间表中,将在数据管理库的中间表内完成待归档数据A和待归档数据F后的文档作为待迁移文档。
S103、将待迁移文档由中间表迁移至数据管理库中的主表中。
示例性地,数据管理库中的主表是最终存储在数据管理库中的数据信息,而数据管理库的中间表是作为可以进行编辑的数据信息存储在数据管理库中的。
本申请提供的一种数据归档方法、装置、设备及存储介质,通过接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档;将待迁移文档由中间表迁移至数据管理库中的主表中。采用本技术方案,能够降低数据归档过程的复杂性,提高数据处理的效率。
图2是根据本申请实施例二提供的一种数据处理方法的流程示意图。实施例二中包括如下步骤:
S201、接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据。
示例性地,本步骤可以参见上述步骤S101,不再赘述。
S202、获取具备相同主键信息的当日待归档数据,并对当日待归档数据键入数据管理库中的时间戳进行排序。
本实施例中,服务器会将具备相同主键信息的当日待归档数据键入数据管理库中,但是由于从不同的数据库中获取的当日待归档数据的时间是不同的,因此将不同数据库中的当日待归档数据键入数据管理库中的时间戳也是不同的,又由于数据管理库中的中间表在同一个时间点内只能写入一个待归档数据信息,因此,需要对不同数据库的当日待归档数据键入数据管理库的时间戳进行排序。
S203、按照时间戳的顺序将当日待归档数据写入数据管理库中的中间表。
示例性地,数据库A中的当日待归档数据键入数据管理库的时间戳为2021年10月11日10点20分,数据库B中的当日待归档数据键入数据管理库的时间戳为2021年10月11日11点30分,则优先将数据库A中的当日待归档数据写入数据管理库的中间表中。
可选的,按照时间戳的顺序将当日待归档数据写入数据管理库中的中间表,包括:
将时间戳排序第一的当日待归档数据进行加锁处理,并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态;若在中间表中已经完成时间戳排序第一的当日待归档数据,则释放锁,并将锁的关键值的状态由执行状态修改为等待状态;
将时间戳排序第二的当日待归档数据进行加锁处理,将时间戳排序第二的当日待归档数据写入中间表。
本实施例中,加锁处理是通过redis进行加锁的,并且锁的关键值是由表名和数据库标识组成的。在对待归档数据进行加锁处理后,将锁的关键值的状态由等待状态修改为执行状态。
其中,若是加锁失败,则可以在预设的时间内一直重复对时间戳排序第一的当日待归档数据进行加锁,直至加锁成功。其中,预设的时间是可以由用户自行设置的。
本实施例中,若排序第一的当日待归档数据由中间表写入主表后,则可以释放排序第一的待归档数据的锁,并将锁的关键值的状态由执行状态修改为等待状态,以便时间戳排序第二的当日待归档数据能够进行加锁处理。在对排序第二的当日待归档数据进行加锁处理后,将排序第二的当日待归档数据写入中间表。对于其他的当日待归档数据的加锁处理和写入中间表的操作也是类似的,在此不再赘述。
S204、得到中间表中的待迁移文档。
示例性地,本步骤可以参见上述步骤S102,不再赘述。
S205、将待迁移文档由中间表迁移至数据管理库中的主表中。
示例性地,本步骤可以参见上述步骤S103,不再赘述。
本申请提供的一种数据归档方法、装置、设备及存储介质,通过接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;获取具备相同主键信息的当日待归档数据,并对当日待归档数据键入数据管理库中的时间戳进行排序;按照时间戳的顺序将当日待归档数据写入数据管理库中的中间表;得到中间表中的待迁移文档;将待迁移文档由中间表迁移至数据管理库中的主表中。采用本技术方案,能够保证每次写入中间表的当日待归档数据是一份,这样能够通过中间表归档过渡解决反复归档至数据管理库的问题。
图3是根据本申请实施例三提供的一种数据处理方法的流程示意图。实施例三中包括如下步骤:
S301、接收到用于指示当日数据归档的指令消息之后,根据每一个数据库中的配置表,获取对应数据库中的当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的。
本实施例中,可以根据数据库中的配置表获取该数据库中的待归档数据的主键信息。具体的,可以按照数据库中存储的预设路径获取。如果同一个待归档的数据在不同的数据库中,则该待归档数据可以有不同的预设路径。
例如,待归档数据为表1,且表1存储在数据库A和数据库B中,则表1由从数据库A到数据管理库为一条预设路径;表1由数据库B到数据管理库为另一条预设路径。若表1所在的数据库有5个,则表1可以有5条不同的预设路径。
S302、将主键信息相同的当日待归档数据按照配置表中的预设路径进行输出。
本实施例中,从数据库A到数据管理库的预设路径为预设路径A,从数据库B到数据管理库的预设路径为预设路径B,且数据库A和数据库B中主键信息相同的当日待归档数据分别为当日待归档数据A和当日待归档数据B,则将当日待归档数据A按照预设路径A输出至数据管理库,将当日待归档数据B按照预设路径B输出至数据管理库。
S303、将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档。
示例性地,本步骤可以参见上述步骤S102,不再赘述。
S304、确定待迁移文档中的主键信息,在主表中按照主键信息进行查询,并确定主键信息在主表中的文档数据。
本实施例中,若主键信息为表名且待迁移文档的主键信息为表名A,则在主表中查找表名A的文档数据。
S305、比较主表中的文档数据与待迁移文档中的文档数据,若存在重复的数值,则在主表中将重复的数值进行删除。
本实施例中,比较主表中表名A的文档数据和待迁移文档中表名A的文档数据中的内容,若该内容中存在重复的数值,则可以在主表中表名A的文档数据中将该重复的数值进行删除。例如,主表中表名A的文档数据中存在基金A的数值为1000,待迁移文档中的文档数据中也存在基金A的数值为1000,则将主表中表名A的文档数据中基金A的数值进行删除。
可选的,若存在重复的数值,则在主表中将重复的数值进行删除,包括:
若重复的数值的数据量超过预设数据量,则对重复的数值的数据量按照预设规则进行分段处理,得到分段后的重复的数值;通过多个线程对分段后的重复的数值进行删除。
本实施例中,预设规则是指设置的分段的数量和并行数。例如,分段的数量为2000段且并行数为5,则当重复的数值的数据量为300000段时,则可以将300000段按照2000段进行划分,并且通过5个线程同时将每2000段进行删除。
S306、将待迁移文档由中间表迁移至数据管理库中的主表中。
示例性地,本步骤可以参见上述步骤S103,不再赘述。
S307、按照预设时间段查询至少两个数据库中当日待归档数据的归档状态。
本实施例中,预设时间段可以是5S,按照5S一次对数据库中的当日待归档数据的工作状态进行查询。其中,当日待归档数据的工作状态可以是执行成功、执行失败、执行中和未执行。
S308、若归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。
本实施例中,若归档状态为执行成功,则说明当日待归档数据已经成功从数据库中调取;若归档状态为执行失败,则反馈归档异常的消息;若归档状态为执行中或者未执行,则继续按照预设时间段查询至少两个数据库中当日待归档数据的归档状态,直至所有的数据库中当日待归档数据的归档状态为执行成功,并结束从至少两个数据库中调取当日待归档数据。
本申请提供的一种数据归档方法、装置、设备及存储介质,通过接收到用于指示当日数据归档的指令消息之后,根据每一个数据库中的配置表,获取对应数据库中的当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的,将主键信息相同的当日待归档数据按照配置表中的预设路径进行输出,将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档,确定待迁移文档中的主键信息,在主表中按照主键信息进行查询,并确定主键信息在主表中的文档数据,比较主表中的文档数据与待迁移文档中的文档数据,若存在重复的数值,则在主表中将重复的数值进行删除,将待迁移文档由中间表迁移至数据管理库中的主表中,按照预设时间段查询至少两个数据库中当日待归档数据的归档状态,若归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。采用本技术方案,能够通过对大数据量的数据进行分段以及并行处理,使得数据能更快速地完成删除和转移,且可以根据服务器和数据库的硬件条件动态进行调整,适配性更高,性能提升空间更大。
图4是根据本申请实施例四提供的一种数据归档装置的示意图。实施例四中的装置40包括:
调取模块401,用于接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据。
写入模块402,用于将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档。
迁移模块403,用于将待迁移文档由中间表迁移至数据管理库中的主表中。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5是根据本申请实施例五提供的一种数据归档装置的示意图。实施例五中的装置50包括:
调取模块501,用于接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据。
写入模块502,用于将具备相同主键信息的当日待归档数据写入数据管理库中的中间表,得到中间表中的待迁移文档。
迁移模块503,用于将待迁移文档由中间表迁移至数据管理库中的主表中。
可选的,写入模块502,包括:
排序单元5021,用于获取具备相同主键信息的当日待归档数据,并对当日待归档数据键入数据管理库中的时间戳进行排序;
写入单元5022,用于按照时间戳的顺序将当日待归档数据写入数据管理库中的中间表。
写入单元5022,包括:
加锁子单元50221,用于将时间戳排序第一的当日待归档数据进行加锁处理,并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态;
解锁子单元50222,用于若在中间表中已经完成时间戳排序第一的当日待归档数据,则释放锁,并将锁的关键值的状态由执行状态修改为等待状态;
写入子单元50223,用于将时间戳排序第二的当日待归档数据进行加锁处理,将时间戳排序第二的当日待归档数据写入中间表。
可选的,调取模块501,包括:
获取单元5011,用于根据每一个数据库中的配置表,获取对应数据库中的当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的。
输出单元5012,用于将主键信息相同的当日待归档数据按照配置表中的预设路径进行输出。
可选的,装置,还包括:
确定模块504,用于确定待迁移文档中的主键信息,在主表中按照主键信息进行查询,并确定主键信息在主表中的文档数据。
删除模块505,用于比较主表中的文档数据与待迁移文档中的文档数据,若存在重复的数值,则在主表中将重复的数值进行删除。
删除模块505,包括:
处理单元5051,用于若重复的数值的数据量超过预设数据量,则对重复的数值的数据量按照预设规则进行分段处理,得到分段后的重复的数值。
删除单元5052,用于通过多个线程对分段后的重复的数值进行删除。
可选的,装置还包括:
查询模块506,用于按照预设时间段查询至少两个数据库中当日待归档数据的归档状态。
终止模块507,用于若归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图6是根据一示例性实施例示出的一种终端设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到装置600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当该存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行上述终端设备的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种数据归档方法,其特征在于,所述方法包括:
接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;
将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;
将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。
2.根据权利要求1所述的方法,其特征在于,将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,包括:
获取具备相同主键信息的所述当日待归档数据,并对所述当日待归档数据键入所述数据管理库中的时间戳进行排序;
按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表。
3.根据权利要求2所述的方法,其特征在于,按照所述时间戳的顺序将所述当日待归档数据写入数据管理库中的中间表,包括:
将所述时间戳排序第一的所述当日待归档数据进行加锁处理,并在加锁处理后将锁的关键值的状态由等待状态修改为执行状态;
若在所述中间表中已经完成所述时间戳排序第一的所述当日待归档数据,则释放锁,并将锁的关键值的状态由执行状态修改为等待状态;
将所述时间戳排序第二的所述当日待归档数据进行加锁处理,将所述时间戳排序第二的所述当日待归档数据写入所述中间表。
4.根据权利要求1所述的方法,其特征在于,从至少两个数据库中调取当日待归档数据,包括:
根据每一个数据库中的配置表,获取对应数据库中的所述当日待归档数据的主键信息;其中,每一个数据库中的配置表是相同的;
将所述主键信息相同的所述当日待归档数据按照所述配置表中的预设路径进行输出。
5.根据权利要求1所述的方法,其特征在于,在将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中之前,还包括:
确定所述待迁移文档中的主键信息,在所述主表中按照所述主键信息进行查询,并确定所述主键信息在所述主表中的文档数据;
比较所述主表中的文档数据与所述待迁移文档中的文档数据,若存在重复的数值,则在所述主表中将所述重复的数值进行删除。
6.根据权利要求5所述的方法,其特征在于,若存在重复的数值,则在所述主表中将所述重复的数值进行删除,包括:
若所述重复的数值的数据量超过预设数据量,则对所述重复的数值的数据量按照预设规则进行分段处理,得到分段后的重复的数值;
通过多个线程对所述分段后的重复的数值进行删除。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
按照预设时间段查询所述至少两个数据库中当日待归档数据的归档状态;
若所述归档状态为执行成功,则终止从至少两个数据库中调取当日待归档数据。
8.一种数据归档装置,其特征在于,所述装置包括:
调取模块,用于接收到用于指示当日数据归档的指令消息之后,从至少两个数据库中调取当日待归档数据;
写入模块,用于将具备相同主键信息的所述当日待归档数据写入数据管理库中的中间表,得到所述中间表中的待迁移文档;
迁移模块,用于将所述待迁移文档由所述中间表迁移至所述数据管理库中的主表中。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111318087.3A CN114003558A (zh) | 2021-11-09 | 2021-11-09 | 数据归档方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111318087.3A CN114003558A (zh) | 2021-11-09 | 2021-11-09 | 数据归档方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114003558A true CN114003558A (zh) | 2022-02-01 |
Family
ID=79928293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111318087.3A Pending CN114003558A (zh) | 2021-11-09 | 2021-11-09 | 数据归档方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114003558A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880409A (zh) * | 2022-06-15 | 2022-08-09 | 中银金融科技有限公司 | 数据表归档方法及相关装置 |
-
2021
- 2021-11-09 CN CN202111318087.3A patent/CN114003558A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880409A (zh) * | 2022-06-15 | 2022-08-09 | 中银金融科技有限公司 | 数据表归档方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101820781B1 (ko) | 앨범 표시 방법 및 장치 | |
CN105426386A (zh) | 文件同步方法、装置和终端设备 | |
US10324910B2 (en) | Contact record processing method and apparatus | |
CN111258952B (zh) | 一种数据存储控制方法、装置及存储介质 | |
CN114428589B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN114546992A (zh) | 数据库迁移方法、装置、存储介质和电子设备 | |
CN111427449A (zh) | 界面显示方法、装置及存储介质 | |
CN114003558A (zh) | 数据归档方法、装置、设备及存储介质 | |
CN112765135B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN106919679B (zh) | 应用于分布式文件系统的日志重演方法、装置及终端 | |
CN112199552B (zh) | 视频图像的展示方法及装置、电子设备、存储介质 | |
CN109522286B (zh) | 文件系统的处理方法和装置 | |
CN116955356A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
CN116737830A (zh) | 批量数据同步方法、装置、电子设备和存储介质 | |
CN111290882B (zh) | 数据文件备份方法、数据文件备份装置及电子设备 | |
CN115357277A (zh) | 热更新方法、装置、电子设备、存储介质及程序产品 | |
CN113378022B (zh) | 一种站内搜索平台、搜索方法和相关装置 | |
CN114880342A (zh) | 信息关联方法、装置、设备、存储介质及产品 | |
CN114201484A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN108509641B (zh) | 文件备份的方法、装置、服务器以及系统 | |
CN112988822A (zh) | 数据查询方法、装置、设备、可读存储介质以及产品 | |
CN111694999A (zh) | 信息处理方法、装置及电子设备 | |
CN116361071B (zh) | 备份文件生成方法、装置、设备及存储介质 | |
CN111274210B (zh) | 元数据处理方法、装置及电子设备 | |
CN105335047B (zh) | 显示图片的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |