CN107111534A - 一种数据处理的方法和装置 - Google Patents

一种数据处理的方法和装置 Download PDF

Info

Publication number
CN107111534A
CN107111534A CN201680003714.5A CN201680003714A CN107111534A CN 107111534 A CN107111534 A CN 107111534A CN 201680003714 A CN201680003714 A CN 201680003714A CN 107111534 A CN107111534 A CN 107111534A
Authority
CN
China
Prior art keywords
time
data storage
backup operation
data
storage file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680003714.5A
Other languages
English (en)
Inventor
房浩
毕杰山
钟超强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910083470.1A priority Critical patent/CN109933461A/zh
Publication of CN107111534A publication Critical patent/CN107111534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Abstract

本发明实施例涉及一种数据处理的方法和装置，该方法应用于数据库系统，该数据库系统包含数据表，该数据表包含至少一个区域，所述方法包括：当任一区域满足预定义条件，将满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，该数据存储文件包含时间元数据，时间元数据为满足预定义条件的区域中的数据的区域写入时间。满足合并操作触发条件时，获取最近一次执行备份操作的时间；选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；合并所选择的所述至少两个第一数据存储文件，以此解决现有技术中的合并方法导致备份耗时长的问题。

Description

一种数据处理的方法和装置
技术领域
本发明涉及数据库领域，尤其涉及一种数据处理的方法和装置。
背景技术
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，使得数据库系统得到越来越广泛的应用。
现有技术中，数据是先写入到数据表中某区域对应的内存中，当某区域满足一定条件就会将该区域的数据保存到存储设备中形成一个数据存储文件，如可以是1个Hfile，随着数据持续不断地写入所述数据库，所述存储设备中会存在大量的数据存储文件。为提高读数据的性能，会将同一个数据表的全部数据存储文件合并为一个数据存储文件。但是，在备份场景中，尤其是在增量备份的场景下，这样的合并操作会带来如下问题：当在此合并操作之后执行增量备份操作时，需要读取整个数据表的所有数据以确认所需执行所述增量备份的数据，由此导致网络资源的浪费以及备份耗时较长的问题。
发明内容
本发明提供了一种数据处理的方法和装置，能够解决现有技术中备份过程耗时长，消耗大量网络资源的问题。
为了达到上述目的，本发明采用如下技术方案：
第一方面，提供了一种数据处理的方法，该方法应用在数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，该方法包括：
当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
合并所选择的所述至少两个第一数据存储文件。
具体地，所述备份操作时间中记录的是最近一次执行备份操作的时间。值得说明的是，所述数据库系统记录的所述备份操作时间可以保存在存储设备中的预置文件、预置数据库中的数据表或分布式锁中，其中，分布式锁可以为Zookeeper。
可选地，本发明实施例中数据库系统也可以将每次备份操作的时间记录在所述存储设备中的所述预置文件、预置数据库中的数据表或分布式锁中。则每次执行合并操作前，从所述预置文件、预置数据库中的数据表或分布式锁中读取所记录的最近一次备份操作的时间。
此外，在具体实施过程中，可以根据数据存储文件的个数、大小等因素灵活配置选择和合并策略。可以一次选择全部所述数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作。
值得说明的是，合并操作所获得数据存储文件的数量可以在具体实施过程中根据预置的每个数据存储文件的最大规格、待合并数据存储文件的个数和大小等因素配置不同预置策略，合并后获得至少一个数据存储文件，本发明不作限制。
通过上述内容描述的过程，在采用本实施例提供的数据处理的方法，执行合并操作时，通过获取数据库系统记录的备份操作时间，仅合并最近一次备份操作的时间之前的数据存储文件，解决了现有技术中数据读性能问题，而且利用上述合并方法，以最近一次执行备份操作的时间为界，对该时间之前的数据存储文件执行合并操作，与现有技术中将全部数据存储文件合并为一个的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时长，提高了数据库中备份效率，降低了对网络资源的消耗。
结合第一方面，在第一方面的第一种可能实现方式中，所述方法还包括：
从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
合并所选择的所述至少两个第二数据存储文件。
具体地，所述第二数据存储文件仅用于区分不同数据存储文件，并不代数据表存储文件的数量，可以包含1个或多个数据存储文件。
通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，分别将最近一次执行备份操作的时间之前的数据存储文件合并为至少1个数据存储文件、将最近一次执行备份操作的时间之后的数据存储文件合并为至少1个数据存储文件，解决了数据库系统中读数据性能问题。与现有技术中将存储设备中全部数据存储文件合并为1个数据存储文件相比，可以根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。另一方面，利用上述合并方法，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。
结合第一方面或第一方面第一种可能实现方式，在第一方面的第二种可能实现方式中，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或，预定义的合并操作执行周期；或，接收到合并操作执行命令。
通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前的数据存储文件和最近一次执行备份操作的时间之后的数据存储文件。利用上述合并方法，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。
可选地,在本发明的一个可能的实施例中,数据存储文件所包含的时间元数据信息也可以是将区域中的数据作为数据存储文件保存到存储设备时的时间，即所述数据存储文件的生成时间。当满足合并触发条件时，通过比较最近一次执行备份操作的时间和存储设备中数据存储文件的时间元数据信息，可以确定最近一次执行备份操作的时间之前的数据存储文件和最近一次执行备份操作的时间之后的数据存储文件，再分别合并最近一次执行备份操作时间之前的数据存储文件和最近一次执行备份操作时间之后的数据存储文件，其中，可以一次选择全部数据存储文件执行合并操作；也可以分多次选择，每次选择部分数据存储文件执行合并操作，具体操作过程与上述实施例描述的内容相同，在此不再赘述。在备份场景中，尤其是增量备份场景中，与现有技术的合并方法相比，同样可以快速识别最近一次执行备份操作时间之后的数据存储文件，完成备份操作，减少备份耗时和对系统资源的消耗，提高备份操作的效率。
可选地，在本发明的另一个可能的实施例中，也可以在数据存储文件中添加合并标志位，基于所述合并标志位来决定是否需要合并该数据存储文件，举例说，如所述合并标志位为0时，表示该数据存储文件未完成备份操作；如所述合并标志位为1时，表示该数据存储文件已完成备份操作。示例地，区域中的数据作为数据存储文件保存到存储设备时，合并标志位的初始值为0；当满足备份操作触发条件时，备份存储设备中的数据存储文件，备份操作可以是全量备份，也可以是增量备份，备份操作完成后，更新已备份的数据存储文件的合并标志位为1；当满足合并操作触发条件时，合并存储设备中合并标志位为1的所有数据存储文件，具体合并方法可以一次选择全部数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作，具体操作过程与上述实施例描述内容的相同，在此不再赘述。利用上述合并方法，在备份场景中，尤其是增量备份场景中，当下一次满足备份操作触发条件时，只需要备份合并标志位为0的数据存储文件。值得说明的是，本实施例中以合并标志位的初始标志位为0，已备份的数据存储文件的标志位为1仅为一种示例，具体实施过程中也可以利用其他内容标识已完成备份的数据存储文件和未完成备份的数据存储文件，本发明不作限制。与现有技术相比，利用上述方法，也可以快速识别最近一次执行备份操作之后的数据存储文件，提高备份操作效率。
结合第一方面及第一方面的以上可能实现方式，在第一方面的第三种可能实现方式中，所述方法还包括：
当满足备份操作触发条件时，所述数据库系统备份所述存储设备中时间元数据记录的区域写入时间在所述备份操作时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
具体地，每次执行备份操作后，所述数据库系统会更新备份时间为本次备份操作执行时间。
结合第一方面及第一方面的第二种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：
当满足备份操作触发条件时，第三方备份系统备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
结合第一方面及第一方面的第二种可能实现方式，在第一方面的第五种可能实现方式中，所述方法还包括：
当满足备份操作触发条件时，所述数据库系统备份所述存储设备中全部数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
结合第一方面及第一方面的第二种可能实现方式，在第一方面的第六种可能实现方式中，所述方法还包括：
当满足备份操作触发条件时，第三方备份系统备份所述存储设备中全部数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
结合第一方面第三种及第四种可能实现方式，在第一方面的第七种可能实现方式中，所述备份操作触发条件为预定义的备份操作执行周期；或
接收到备份操作执行命令。
具体地，备份操作触发条件可以按照预定义的备份周期执行，也可以为人为主观行事，数据库系统接收到备份操作命令后即执行备份操作。
综上所述，在采用本实施例提供的数据处理的方法，执行合并操作时，通过获取备份操作时间，仅合并最近一次执行备份操作的时间之前的数据存储文件，解决了现有技术中数据读性能问题，而且利用上述合并方法，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前和最近一次执行备份操作的时间之后的数据存储文件，与现有技术中将全部数据存储文件合并为一个的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程的耗时，提高了数据库中备份效率，降低了对网络资源的消耗。另一方面，合并操作时，根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。
第二方面，提供了一种数据处理的装置，所述装置包括处理单元，获取单元、选择单元和合并单元：
所述处理单元，用于当数据库系统所包含的数据表的至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
所述获取单元，用于在满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
所述选择单元，用于从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
所述合并单元，用于合并所选择的所述至少两个第一数据存储文件。
通过上述方法描述的装置，合并最近一次执行备份操作的时间之前的数据存储文件，以达到提高数据库中读数据性能的目的。在备份操作执行时，可以快速识别最近一次执行备份操作的时间之后的数据存储文件，对其进行备份，减少了备份操作的耗时。
结合第二方面可能实现方式，在第二方面的第一种可能实现方式中，所述选择单元还用于从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件中所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
所述合并单元还用于合并所选择的所述至少两个第二数据存储文件。
结合第二方面或第二方面第一种可能实现方式，在第二方面第二种可能实现方式中，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或，预定义的合并操作执行周期；或，接收到合并操作执行命令。
通过上述装置的描述，获取最近一次执行备份操作的时间，分别合并已备份和未备份的数据存储文件，提高了数据库中读数据的性能；另一方面，在备份场景中，与现有技术相比，解决了现有技术的合并方法，导致无法快速识别最近一次执行备份操作的时间之后的数据存储文件带来的时延问题，提高了备份操作的效率，减少了对网络资源的消耗。
结合第二方面及第二方面以上的可能实现方式，在第二方面第三种可能实现方式中，所述装置还包括备份单元和更新单元：
所述备份单元，用于当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间备份操作时间之后的数据存储文件；
所述更新单元，用于将所述备份操作时间更新为本次备份操作执行时间。
结合第二方面至第二方面第二种可能实现方式，在第二方面第四种可能实现方式中，所述装置还包括备份单元和更新单元：
所述备份单元，用于当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件；
所述更新单元，用于将所述备份操作时间更新为本次备份操作执行时间。
结合第二方面第四种及第二方面第五种可能实现方式，在第二方面第五种可能实现方式中，所述备份操作触发条件为预定义的备份操作执行周期；或，接收到备份操作执行命令。
综上所述，通过数据库系统记录的最近一次执行备份操作的时间，在执行合并操作时，以该最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前和最近一次执行备份操作的时间之后的数据存储文件，利用上述合并方法，在接收到备份指令或满足备份周期时，可以快速查找到最近一次执行备份操作时间之后新增的数据存储文件，完成备份操作，提高了数据库系统中读数据的性能，而且解决了现有技术中备份操作耗时长的问题，减少了备份操作对磁盘的读请求导致对磁盘和网络资源的损耗，提高备份操作的效率。
本领域的技术人员应理解的是，在以上内容所描述的方法中，合并和备份操作是相互独立的。
可选地，当接收到备份指令或满足预定义的备份操作执行周期时，备份存储设备中第三数据存储文件；在所述存储设备中选择所述第三数据存储文件；合并所述第三数据存储文件。
具体地，所述第三数据存储文件仅用于区分不同数据存储文件，并不代数据表数据存储文件的数量，可以是存储设备中全部数据存储文件，也可以是存储设备中任意数据存储文件，则备份所述第三存储文件可以是备份存储设备中全部数据存储文件，也可以是备份最近一次备份操作的时间之后新增的数据存储文件。
在备份完成后立即执行一次合并操作，合并同一个数据表中已备份的所有数据存储文件，保证了数据库系统读数据的性能；而且，避免了在本次备份操作和下一次合并操作之间新增数据存储文件时，需要区分已备份和未备份的数据存储文件的问题。在下一次执行合并操作时，只需要合并未备份的数据存储文件，满足备份操作条件时同样可以快速识别最近一次备份操作的时间之后新增的数据存储文件，快速完成备份操作，减少备份时间和对网络资源的消耗，提升了备份效率。
第三方面，提供了一种数据处理的装置，所述装置包括处理器、存储器、存储设备、总线、通信接口；其中所述处理器与所述存储器、所述通信接口和存储设备通过总线相通信，也可以通过无线传输等其他手段实现通信。
所述存储器，用于存储指令；还用于存储数据库系统的数据表，所述数据表包含至少一个区域；
所述处理器，用于执行所述存储器存储的指令，以使得：
当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
合并所选择的所述至少两个第一数据存储文件。
第四方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
基于上述技术方案，本发明实施例的数据处理的方法和装置，通过获取最近一次执行备份操作的时间，在满足预定义的合并触发条件时，分别合并已备份和未备份的数据存储文件，提高了数据库中数据表的读性能；另一方面，在备份场景中，尤其是在增量备份场景中，与现有技术相比，本发明提供的数据处理方法能够快速识别最近一次执行备份操作的时间之后的数据存储文件，快速完成备份操作，由此能够减少了对网络资源的消耗，以及备份操作的耗时，提高了备份操作的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种数据表的区域的示意图；
图2为根据本发明实施例提供的一种数据处理方法的流程示意图；
图3为根据本发明实施例提供的另一种数据处理方法的流程示意图；
图3A为根据本发明实施例提供的另一种数据处理方法的示意图；
图4为根据本发明实施例提供的一种备份操作的流程示意图；
图4A为根据本发明实施例提供的一种备份操作的示意图；
图4B为根据本发明实施例提供的另一种备份操作的示意图；
图5为根据本发明实施例提供的再一种备份操作的流程示意图；
图5A为根据本发明实施例提供的另一种备份操作的示意图；
图6为根据本发明实施例提供的一种数据处理装置的示意图；
图7为根据本发明实施例提供的另一种数据处理装置的示意图。
具体实施方式
本发明实施例提供的方法应用于数据库中，该数据库可以为分布式数据库。
数据库中包含至少一个数据表(Table)，该数据表用来存储用户的数据，例如使用一个名为用户信息的数据表来存储用户基础信息，使用一个名为交易信息的数据表来存储用户的交易记录明细信息。在数据库中可以利用键-值(Key-Value)类型的存储方式存储数据，即将用户需要存储的数据存放在Value部分，构建与Value对应的Key，当用户需要查找Value时，通过Key索引查找到对应的Value，其中，数据的存储是按照Key的字典顺序自然排序的。每个数据表可以包含大量的数据，为便于管理和维护，按照Key值的字典顺序将每个数据表切割成一个个区域(Region)。每个数据表包括一个或多个区域，每个区域是一个连续的Key区间数据的集合，也可以说是连续行数据的集合。每个Key仅能落在某一个区域所管理的区间内，不同区域间没有交叉Key。图1为数据表的区域的示意图，如图所示，区域-1为以键-A开始，键-B结束的多个Key构成的集合，且该集合包含键-A；区域-2为以键-B开始，键-C结束的多个Key构成的集合，且该集合中包括键-B；……区域-M则为以键-X开始，键-Y结束的多个Key构成的集合，且该集合中包括键-X。其中，区域-1中的键-A为字典顺序上一个无穷小的值，区域-M中的键-Y为字典顺序上一个无穷大的值。由图1可知，一个数据表由至少1个区域组成，每个区域包括1个或多个Key，不同区域间无重复的Key。
本领域技术人员应理解的是，数据库系统中包含多个数据表，每个数据表包含至少一个区域，若有数据需要被写入数据表时，先将该数据写入所述数据表的某一个区域的内存中，当所述至少一个区域中任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据保存到存储设备中，以形成1个数据存储文件，如可以是Hfile。这样随着数据表的不同区域不断有数据被写入，每个区域陆续会有数据被保存到所述存储设备中以形成数据存储文件，存储设备中可能包含多个数据存储文件，其中每个数据存储文件对应一个区域中的数据。每个数据存储文件包含时间元数据，所述时间元数据用于记录该数据存储文件所包含的数据在其对应的区域中的区域写入时间。
随着数据表中数据持续不断的写入，存储设备中数据存储文件的个数也随之不断增加，当满足预定义的合并操作触发条件时，将同一个数据表的多个数据存储文件执行合并操作，由此提高分布式数据库读数据的性能。
值得说明的是，每个数据存储文件的大小根据对应区域内存中写入数据的多少和该区域内存的大小，可以相同，也可以不同，具体处理过程为现有技术，在此不再赘述。
为防止系统故障或操作失误导致数据丢失，需要备份数据库中的数据存储文件，即将数据存储文件复制到存储设备中的其他位置或硬盘阵列或其他备份存储设备。其中，备份包括全量备份和增量备份，全量备份即将存储设备中全部数据存储文件复制到存储设备中的其他位置或硬盘阵列或其他备份存储设备；增量备份则是将最近一次执行备份操作的时间之后新增的存储文件复制到存储设备中的其他位置或硬盘阵列或其他备份存储设备。备份操作可以根据具体实施过程中对存储设备中数据可靠性的要求人为触发或周期性触发。示例地，通过预置周期性备份策略设定每星期一的零时刻对存储设备中的所有数据存储文件执行全量备份操作，星期二至星期日的零时刻分别执行一次增量备份操作，以此提高数据库系统中数据的可靠性。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
图2为本发明实施例提供的一种数据处理的方法的示意图，如图所示，该方法包括：
S201、当数据表的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中。
其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间。
示例地，在8:10至8:50间，每隔1分钟向区域-1中写入1条数据，共写入50条数据，假设此时该区域满足预定义条件，将此区域中的50条数据保存到存储设备的数据存储文件1中，则数据存储文件1对应的时间元数据信息包含以上50条数据的区域写入的时间，即该时间元数据中包含8:10、8:11、8:12、…、8:49、8:50。可选地，数据存储文件1对应的时间元数据信息也可以仅记录最早和最晚的数据的区域写入时间，即该时间元数据中包含最早写入时间8:10和最晚写入时间8:50。可选地，数据存储文件1对应的时间元数据信息也可以仅记录最晚的数据的区域写入时间，即该时间元数据中仅包含最晚写入时间8:50。
S202、当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间。
具体地，随着数据库系统中的多个数据表持续不断地写入数据，存储设备中会存在多个数据存储文件，影响数据库系统中读数据的性能，因此需要合并存储设备中的数据存储文件，以此提高数据库系统中读数据的性能。
其中，合并操作触发条件具体可以为如下三种方式中的任一种：
方式一：存储设备中所有数据存储文件的数量大于或等于第二阈值。
存储设备中存储多个数据表的多个数据存储文件，当存储设备中所有数据存储文件的数量大于或等于第二阈值时，即满足合并操作触发条件。
示例地，当存储设备中所有数据存储文件的数量大于等于5时，即满足合并操作触发条件。
方式二：满足预定义的合并操作执行周期；
合并操作也可以按照预定义的合并操作执行周期执行。
示例地，假设预定义的合并操作执行周期为1小时，则数据库系统会每小时执行一次合并操作，例如8点钟数据库系统执行一次合并操作，9点钟会再执行一次合并操作。
方式三：接收到合并操作指令。
合并操作也可以是人为主观行事，当数据库系统接收到合并操作指令时即执行合并操作。
此外，所述备份操作时间为最近一次进行备份操作的时间。
示例地，若数据库系统在8点钟执行一次备份操作，所述备份操作时间为8点钟；若9点钟再一次执行备份操作时，所述备份操作时间会更新为9点钟。
值得说明的是，所述数据库系统可以只记录最近一次执行备份操作的时间，并保存在存储设备中的预置文件、预置数据库中的数据表或分布式锁中，其中，分布式锁可以为Zookeeper。
可选的，本发明实施例中数据库系统也可以将每次备份操作的时间记录在所述存储设备中的所述预置文件、预置数据库中的数据表或分布式锁中。则每次执行合并操作前，从所述预置文件、预置数据库中的数据表或分布式锁中读取所记录的最近一次备份操作的时间。
示例地，数据库系统分别在8点钟、9点钟和10点钟对存储设备中数据存储文件执行备份，则将8点钟、9点钟和10点钟的时间信息记录到所述预置文件、预置数据库或分布式锁中，下一次执行合并操作时，在记录的信息中读取所记录的最近一次执行备份操作时间，即10点钟，也可以实现本发明实施例中记录最近一次执行备份操作的时间的目的。在本发明实施例的以下具体描述中，以数据库系统记录的备份时间仅为最近一次进行备份操作的时间为例进行进一步地详细描述。
S203、从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前。
S204、合并所选择的所述至少两个第一数据存储文件。
其中，所述第一数据存储文件仅用于区分不同数据存储文件，并不代数据存储文件的数量，可以包含1个或多个数据存储文件。
具体地，在具体实施过程中，可以根据数据存储文件的个数、大小等因素灵活配置选择和合并策略。例如，根据数据存储文件的时间元数据和步骤S202中获取的最近一次执行备份操作的时间，能够确定最近一次执行备份操作的时间之前的数据存储文件，可以一次选择全部所述数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作。
示例地，可以按照数据存储文件个数进行合并操作，若最近一次备份操作中共备份了10个数据存储文件，那么，可以一次选择全部10个执行合并操作；也可以先选择5个，再选择另外5个，分2次执行合并操作；还可以是先选择5个，再选择3个分别执行合并操作，另外2个不作合并处理。
还可以按照数据存储文件的大小进行合并操作，当已备份的10个数据存储文件大小的比例为2:2:2:2:2:2:1:1:1:20，可以选择全部数据存储文件执行合并操作；也可以先选择第1个至第6个数据存储文件执行一次合并操作，再选择第7个至第10个数据存文件执行一次合并操作；为减少合并操作对存储和网络资源的消耗，还可以选择第1个至第9个数据存储文件执行一次合并操作，第10个数据存储文件不作合并处理。
值得说明的是，合并操作所获得数据存储文件的数量可以在具体实施过程中根据预置的每个数据存储文件的最大规格、待合并数据存储文件的个数和大小等因素配置不同预置策略，合并后获得至少一个数据存储文件，本发明不作限制。在本发明的以下具体描述过程中，以合并后获得1个数据存储文件为例进行进一步的详细描述。
通过上述步骤S201至步骤S204描述的过程，在采用本实施例提供的数据处理的方法，执行合并操作时，通过获取最近一次执行备份操作的时间，仅合并最近一次执行备份操作的时间之前的数据存储文件，解决了数据库系统读数据性能问题，而且利用上述合并方法，以最近一次执行备份操作的时间为界合并该时间之点前的数据存储文件，与现有技术中将全部数据存储文件合并为一个数据存储文件的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时，提高了数据库中备份效率，降低了对网络资源的消耗。另一方面，执行合并操作时，根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。
可选地，由上述描述可知，对存储设备中数据存储文件的合并操作，可以提高数据库系统中读数据的性能。在针对最近一次执行备份操作的时间之前的数据存储文件进行合并的情况下，也可以进一步针对最近一次执行备份操作的时间之后的数据存储文件执行合并操作，由此减少存储设备中存在的数据存储文件的数据量，进一步优化数据库的读数据性能。如图3所示，图2所述数据处理的方法还包括：
S301、从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在最近一次执行备份操作的时间之后。
具体地，所述第二数据存储文件仅用于区分不同数据存储文件，并不代数据表存储文件的数量，可以包含1个或多个数据存储文件。
S302、合并所选择的所述至少两个第二数据存储文件。
具体地，步骤S301和步骤S302与步骤S203和步骤S204描述的选择和合并操作的处理过程相同，即将步骤S301中选择的所述至少两个第二数据存储文件合并为至少一个数据存储文件。
示例地，如图3A所示，结合步骤S201至步骤S204以及步骤S301和步骤S302描述内容，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前和最近一次执行备份操作之后的数据存储文件，以此提高数据库系统读数据的性能。例如，T1时刻，对存储设备中存在的全部数据存储文件执行备份操作，即备份数据存储文件1、数据存储文件2、数据存储文件3；T2时刻，新增数据存储文件4；T3时刻，新增数据存储文件5，假设此时满足预定义的合并操作触发条件，则将T1时刻之前的数据存储文件1、数据存储文件2、数据存储文件3合并为数据存储文件6，并将T1时刻之后新增的数据存储文件4和数据存储文件5合并为数据存储文件7，以此提高数据库系统读数据的性能。
通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，将最近一次执行备份操作的时间之前的数据存储文件合并为至少1个数据存储文件，将最近一次执行备份操作的时间之后的数据存储文件合并为至少1个数据存储文件，解决了数据库系统中读数据性能问题。与现有技术中将存储设备中全部数据存储文件合并为1个数据存储文件相比，根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。另一方面，利用上述合并方法，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。
可选地,在本发明的一个可能的实施例中,数据存储文件所包含的时间元数据信息也可以是将区域中的数据作为数据存储文件保存到存储设备时的时间，即所述数据存储文件的生成时间。当满足合并触发条件时，通过比较最近一次执行备份操作时间和存储设备中数据存储文件的时间元数据信息，可以确定最近一次执行备份操作时间之前的数据存储文件和最近一次备份操作时间之后的数据存储文件，再分别合并最近一次执行备份操作时间之前的数据存储文件和最近一次执行备份操作时间之后的数据存储文件，其中，可以一次选择全部数据存储文件执行合并操作；也可以分多次选择，每次选择部分数据存储文件执行合并操作，具体操作过程与步骤203和步骤204描述内容相同，在此不再赘述。在备份场景中，尤其是增量备份场景中，与现有技术的合并方法相比，同样可以快速识别最近一次执行备份操作时间之后的数据存储文件，完成备份操作，减少备份耗时和对系统资源的消耗，提高备份操作的效率。
可选地，在本发明的另一个可能的实施例中，也可以在数据存储文件中添加合并标志位，基于所述合并标志位来决定是否需要合并该数据存储文件，举例说，如所述合并标志位为0时，表示该数据存储文件未完成备份操作；如所述合并标志位为1时，表示该数据存储文件已完成备份操作。示例地，区域中的数据作为数据存储文件保存到存储设备时，合并标志位的初始值为0；当满足备份操作触发条件时，备份存储设备中的数据存储文件，备份操作可以是全量备份，也可以是增量备份，备份操作完成后，更新已备份的数据存储文件的合并标志位为1；当满足合并操作触发条件时，合并存储设备中合并标志位为1的所有数据存储文件，具体合并方法可以一次选择全部数据存储文件执行合并操作；也可以分多次选择，每次选择部分所述数据存储文件执行合并操作，具体操作过程与步骤203和步骤204描述内容相同，在此不再赘述。利用上述合并方法，在备份场景中，尤其是增量备份场景中，当下一次满足备份操作触发条件时，只需要备份合并标志位为0的数据存储文件。值得说明的是，本实施例中以合并标志位的初始标志位为0，已备份的数据存储文件的标志位为1仅为一种示例，具体实施过程中也可以利用其他内容标识已完成备份的数据存储文件和未完成备份的数据存储文件，本发明不作限制。与现有技术相比，利用上述方法，也可以快速识别最近一次备份操作之后的数据存储文件，提高备份操作效率。
接下来，结合上述内容描述的数据处理的方法，进一步阐述本发明实施例所提供的方法在备份场景中的处理过程，所述方法包括：
S401、当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在最近一次执行备份操作的时间之后的数据存储文件。
具体地，备份操作触发条件可以为预定义的备份操作执行周期。示例地，预定义的备份操作执行周期为每星期执行一次备份操作。也可以为人为主观行事，即数据库系统接收到备份操作命令后即执行备份操作。
当满足备份操作触发条件时，根据最近一次执行备份操作的时间和存储设备中存在的数据存储文件的时间元数据，可以确定最近一次执行备份操作的时间之后新增的数据存储文件，将新增的数据存储文件拷贝到存储设备的其他位置或硬盘阵列或其他备份存储设备，以此保证数据的可靠性。
S402、将备份操作时间更新为本次备份操作执行时间。
具体地，每次执行备份操作后，数据库系统会更新备份时间为本次备份操作执行时间，即更新为步骤S401中进行备份操作的时间，便于满足预定义的合并触发条件时，执行合并或其他相关操作时读取备份操作时间。例如步骤S201中先获取备份时间中记录的最近一次执行备份操作的时间，再合并最近一次执行备份操作的时间之前的数据存储文件。
示例地，图4A为结合步骤S401至步骤S402所述数据备份流程的示意图，如图所示，T1时刻，备份系统中数据存储文件1、数据存储文件2、数据存储文件3；T2时刻，新增数据存储文件4；T3时刻，存储设备中新增数据存储文件5，此时存储设备中存储文件的数量达到5个，假设满足预定义的合并操作触发条件，以最近一次执行备份操作的时间T1时刻为界，将T1时刻之前的数据存储文件1、数据存储文件2、数据存储文件3合并为数据存储文件6，将T1时刻之后的数据存储文件4、数据存储文件5合并为数据存储文件7；T4时刻，接收到备份指令或满足预定义的合并操作执行周期，执行备份操作，根据最近一次执行备份操作的时间T1时刻和每个数据存储文件所包含的时间元数据，确定T1时间之后新增的数据存储文件7和数据存储文件8，备份数据存储文件7和数据存储文件8；T5时刻，新增数据存储文件9；进一步地，T6时刻，新增数据存储文件10，当前存储设备中数据存储文件的总数达到5个，再次满足预定义的合并触发条件，则以最近一次执行备份操作的时间T4时刻为界，将数据存储文件6、数据存储文件7、数据存储文件8合并为数据存储文件11，并将数据存储文件9、数据存储文件10合并为数据存储文件12；T7时刻，接收到备份指令或满足备份周期时，根据T4时刻和数据存储文件的时间元数据信息，确定T4时刻之后新增数据存储文件，备份数据存储文件12、数据存储文件13。由此，以本发明实施例提供数据处理方法，可以快速识别最近一次执行备份操作的时间之后的新增数据存储文件，减少备份耗时，提高备份操作的效率。
综上所述，通过记录最近一次执行备份操作的时间，在执行合并操作时，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前和之后的数据存储文件，利用上述合并方法，在备份操作中，尤其在增量备份场景中，可以快速查找到最近一次执行备份操作时间之后新增的数据存储文件，完成备份操作，不仅提高了数据库系统中读数据的性能，而且解决了现有技术中备份操作耗时长的问题，减少了备份操作对磁盘的读请求导致对磁盘和网络资源的损耗，提高备份操作的效率。
可选地，如图4B所示，结合图2描述的数据处理方法，备份处理过程还可以为：
S401a、当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件。
S402b、将备份操作时间更新为本次备份操作执行时间。
通过步骤S401a至步骤S402b所述方法，当满足备份操作触发条件时，对存储设备中全部数据存储文件进行备份操作，并更新备份操作时间为本次备份操作执行时间。当下一次满足合并触发条件时，可以按照最近一次执行备份操作的时间完成合并操作，再次满足备份触发条件时，无论备份存储设备中全部数据存储文件，还是仅备份最近一次执行备份操作的时间之后的数据存储文件，都可以快速识别对应数据存储文件，减少备份操作的时延。
上述备份操作均由数据库系统执行，可选地，也可以由第三方备份系统执行备份操作。当满足备份操作触发条件时，由第三方备份系统执行备份操作，并记录和保存最近一次执行备份操作的时间，其中，备份操作可以是全量备份，也可以是增量备份。可选地，上述备份操作时间也可以由数据库系统记录和保存，当第三方备份软件执行备份操作时，即通知数据库系统更新所述备份操作时间。当满足合并操作触发条件时，数据库系统可以获取最近一次执行备份操作的时间，以最近一次执行备份操作的时间为界，执行合并操作，具体合并操作的过程和方法与步骤S203和步骤S204描述内容相同，在此不再赘述。
综上所述，通过获取最近一次执行备份操作的时间，在执行合并操作时，以最近一次执行备份操作的时间为界，分别合并最近一次执行备份操作的时间之前和最近一次执行备份操作之后的数据存储文件，提高了数据表的读性能；另一方面，与现有技术相比，利用上述数据处理方法，在接收到备份指令或满足备份周期时，可以快速识别最近一次执行备份操作时间之后新增的数据存储文件，完成备份操作，解决了现有技术中备份操作耗时长的问题，减少了备份操作对磁盘的读请求导致对磁盘和网络资源的损耗，提高备份操作的效率。
本领域的技术人员应理解的是，在以上内容所描述的方法中，合并和备份操作是相互独立的，当满足预定义的合并触发条件时立即执行合并操作，当接收到备份指令或满足备份周期时即执行备份操作，备份和合并无先后顺序关系。
在本发明的另一个实施例中，在备份操作完成后立即执行合并操作，合并已备份的所有数据存储文件，也可以解决现有技术中读数据性能和备份耗时长的问题，如图5所示，所述方法包括：
S501、当接收到备份指令或满足预定义的备份操作执行周期时，备份存储设备中第三数据存储文件。
具体地，所述第三数据存储文件仅用于区分不同数据存储文件，并不代数据表数据存储文件的数量，可以是存储设备中全部数据存储文件，也可以是存储设备中任意数据存储文件，则备份所述第三存储文件可以是备份存储设备中全部数据存储文件，也可以是备份最近一次备份操作的时间之后新增的数据存储文件。
S502、在所述存储设备中选择所述第三数据存储文件。
S503、合并所述第三数据存储文件。
具体地，在执行备份操作完成后，立即执行合并操作。合并操作中选择和合并处理的方法与步骤S202和步骤S203相同，在此不再赘述。
示例地，图5A为本发明实施例的示意图，如图所示，T1时刻，接收到备份指令或满足预定义的备份操作执行周期，备份数据存储文件1、数据存储文件2、数据存储文件3，并将数据存储文件1、数据存储文件2、数据存储文件3合并为数据存储文件4；T2时刻，再次接收到备份指令或满足预定义的备份操作执行周期，全量备份数据存储文件4、数据存文件5、数据存文件6、数据存文件7，或增量备份数据存文件5、数据存文件6、数据存文件7，并将数据存储文件4、数据存文件5、数据存文件6、数据存文件7合并为数据存储文件8，同样可以达到本发明实施例所提供数据处理方法的目的，合并操作提高了读数据的性能，在下一次备份处理中，尤其是增量备份操作中，也可以快速查找到最近一次执行备份操作时间之后新增的数据存储文件，减少备份操作的时延。
本领域的技术人员应理解的是，在本实施例中除备份操作后立即强制执行合并操作外，在具体实施过程中，合并操作还可以在存储设备中数据存储文件的个数大于或等于第二阈值，或满足预定义的合并操作执行周期，或接收到合并操作执行命令时执行合并操作，以解决存储设备中存在多个数据存储文件导致数据库读性能下降的问题。
通过步骤S501至步骤S503所述方法，在备份完成后立即执行一次合并操作，合并同一个数据表中已备份的所有数据存储文件，保证了数据库系统读数据的性能；而且，避免了在本次备份操作和下一次合并操作之间新增数据存储文件时，需要区分已备份和未备份的数据存储文件的问题。在下一次执行合并操作时，只需要合并未备份的数据存储文件，满足备份操作条件时同样可以快速识别最近一次备份操作的时间之后新增的数据存储文件，快速完成备份操作，减少备份时间和对网络资源的消耗，提升了备份效率。
值得说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
本领域的技术人员根据以上描述的内容，能够想到的其他合理的步骤组合，也属于本发明的保护范围内。其次，本领域技术人员也应该熟悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
上文中结合图1至5A，详细描述了根据本发明实施例所提供的数据处理的方法，下面将结合图6至图7，描述根据本发明实施例所提供的数据处理装置。
图6为本发明实施例提供的一种数据处理装置，所述装置包括处理单元601、获取单元602、选择单元603和合并单元604：
所述处理单元601，用于当数据库系统所包含的至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据保存到存储设备中，其中，所述存储设备包含多个数据存储文件，每个数据存储文件对应一个区域中的数据；每个数据存储文件包含时间元数据，所述时间元数据为所述每个数据存储文件对应的区域中的数据的区域写入时间；
所述获取单元602，用于在满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次进行备份操作的时间；
所述选择单元603，用于从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
所述合并单元604，用于合并所选择的所述至少两个第一数据存储文件。
应理解的是，本发明实施例的装置600可以通过专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)实现，或可编程逻辑器件(Programmable LogicDevice，PLD)实现，上述PLD可以是复杂程序逻辑器件(Complex Programmable LogicDevice，CPLD)，现场可编程门阵列(Field－Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。通过软件实现图2所示的数据处理方法时，装置600及其各个模块也可以为软件模块。
因此，在采用本实施例提供的装置600，执行合并操作时，通过获取数据库系统记录的备份操作时间，仅合并最近一次执行备份操作的时间之前的数据存储文件，解决了数据库系统读数据性能问题，而且利用上述装置法，以最近一次执行备份操作的时间为界，合并最近一次执行备份操作的时间之前的数据存储文件，与现有技术相比，可以快速识别最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时，提高了数据库中备份效率，降低了对网络资源的消耗。另一方面，执行合并操作时，可以根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的装置600解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。
可选地，所述选择单元603，还用于从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
所述合并单元604，还用于合并所选择的所述至少两个第二数据存储文件。
可选地，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或，预定义的合并操作执行周期；或，接收到合并操作执行命令。
可选地，所述装置还包括备份单元605和更新单元606：
所述备份单元605，用于当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
所述更新单元606，用于将所述备份操作时间更新为本次备份操作执行时间。
可选地，所述装置600中备份单元605，还用于：当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件；
所述更新单元606，还用于：将所述备份操作时间更新为本次备份操作执行时间。
可选地，所述备份操作触发条件为预定义的备份操作执行周期；或
接收到备份操作执行命令。
根据本发明实施例的装置600可对应于执行本发明实施例中描述的方法，并且装置600中的各个单元的上述和其它操作和/或功能分别为了实现图1至图5A中的各个方法的相应流程，为了简洁，在此不再赘述。
通过上述装置的描述，在采用本实施例提供的数据处理的装置，执行合并操作时，通过获取最近一次执行备份操作的时间，分别合并最近一次执行备份操作的时间之前的数据存储文件和最近一次执行备份操作的时间之后的数据存储文件，与现有技术中将全部数据存储文件合并为一个的合并方法相比，可以解决现有技术中的合并方法导致无法快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时长，提高了数据库中备份效率，降低了对网络资源的消耗。另一方面，执行合并操作时，根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。
图7为本发明实施例提供的一种装置700的示意图，如图所示，所述装置700包括处理器701、存储器702、通信接口703和总线704、存储设备705。其中，处理器701、存储器702、通信接口703、存储设备705通过总线704进行通信，也可以通过无线传输等其他手段实现通信。该存储器702用于存储指令，该处理器701用于执行该存储器702存储的指令。该存储器702存储程序代码，且处理器701可以调用存储器702中存储的程序代码执行以下操作：
当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据保存到存储设备中，其中，所述存储设备包含多个数据存储文件，每个数据存储文件对应一个区域中的数据；每个数据存储文件包含时间元数据，所述时间元数据为所述每个数据存储文件对应的区域中的数据的区域写入时间；
当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
合并所选择的所述至少两个第一数据存储文件。
值得说明的是，处理器701可以为中央处理器(Central Processing Unit，CPU)、微处理器。
存储器702可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。
存储设备705可以是多个硬盘驱动器(Hard Disk Drive，HDD)，也可以是多个固态硬盘(Solid State Drive，SSD)，还可以多个其他存储介质。
因此，在采用本实施例提供的装置700，执行合并操作时，通过获取数据库系统记录的备份操作时间，仅合并最近一次执行备份操作的时间之前的数据存储文件，解决了数据库系统读数据性能问题，而且利用上述装置，以最近一次执行备份操作的时间为界，合并最近一次执行备份操作的时间之前的数据存储文件，与现有技术相比，可以快速查找最近一次执行备份操作的时间之后新增的数据存储文件的问题，减少了备份过程耗时，提高了数据库中备份效率，降低了对网络资源的消耗。另一方面，合并操作时，可以根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，与现有技术中将所有数据存储文件合并为一个数据存储文件相比，本发明实施例提供的装置700解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。
可选地，处理器701还可以调用存储器702中存储的程序代码执行以下操作：
从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
合并所选择的所述至少两个第二数据存储文件。
可选地，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或，预定义的合并操作执行周期；或，接收到合并操作执行命令。
可选地，所述处理器还用于执行所述存储器存储的指令，以使得：
当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
可选地，所述处理器还用于执行所述存储器存储的指令，以使得：
当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
可选地，所述备份操作触发条件为预定义的备份操作执行周期；或，接收到备份操作执行命令。
根据本发明实施例的装置700可对应于执行本发明实施例中描述的方法，并且装置700中的各个单元的上述和其它操作和/或功能分别为了实现图1至图5A中的各个方法的相应流程，为了简洁，在此不再赘述。
通过上述内容的描述，当满足预定义的合并操作触发条件时，通过获取最近一次备份操作的时间，以最近一次执行备份操作的时间为界，将最近一次执行备份操作的时间之前的数据存储文件合并为至少一个数据存储文件，将最近一次执行备份操作的时间之后的数据存储文件合并为至少一个数据存储文件，解决了数据库系统中读数据性能问题。与现有技术中将存储设备中全部数据存储文件合并为一个数据存储文件相比，根据数据存储文件的大小、个数等因素灵活配置合并策略，可以选择全部数据存储文件执行合并操作，也可以选择部分数据存储文件执行合并操作，本发明实施例提供的数据处理方法解决了读数据性能问题，而且通过更灵活的策略配置减少了合并操作对网络和磁盘读操作的消耗。另一方面，利用上述装置700，在备份场景中，尤其是在增量备份场景中，可以快速查找到最近一次执行备份操作的时间之后新增的数据存储文件，完成备份操作，减少了备份的时间，极大地降低了备份所消耗的网络资源。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储设备中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储设备中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储设备包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。本文中应用了具体个例对本发明的原理及实施方式进行了闸述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (20)

1.一种数据处理的方法，其特征在于，所述方法应用于数据库系统中，所述数据库系统包含数据表，所述数据表包含至少一个区域，所述方法包括：
当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
合并所选择的所述至少两个第一数据存储文件。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
合并所选择的所述至少两个第二数据存储文件。
3.根据权利要求1或2所述方法，其特征在于，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或
预定义的合并操作执行周期；或
接收到合并操作执行命令。
4.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
当满足备份操作触发条件时，所述数据库系统备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
5.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
当满足备份操作触发条件时，第三方备份系统备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
6.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
当满足备份操作触发条件时，所述数据库系统备份所述存储设备中全部数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
7.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
当满足备份操作触发条件时，第三方备份系统备份所述存储设备中全部数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
8.根据权利要求4至7中任一项所述方法，其特征在于，所述备份操作触发条件为预定义的备份操作执行周期；或
接收到备份操作执行命令。
9.一种数据处理装置，其特征在于，所述装置包括处理单元、获取单元、选择单元和合并单元：
所述处理单元，用于当数据库系统所包含的数据表的至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
所述获取单元，用于在满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
所述选择单元，用于从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
所述合并单元，用于合并所选择的所述至少两个第一数据存储文件。
10.根据权利要求9所述装置，其特征在于，所述选择单元，还用于从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
所述合并单元，还用于合并所选择的所述至少两个第二数据存储文件。
11.根据权利要求9或10所述装置，其特征在于，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或
预定义的合并操作执行周期；或
接收到合并操作执行命令。
12.根据权利要求9至11中任一项所述装置，其特征在于，所述装置还包括备份单元和更新单元：
所述备份单元，用于当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
所述更新单元，用于将所述备份操作时间更新为本次备份操作执行时间。
13.根据权利要求9至11中任一项所述装置，其特征在于，所述装置还包括备份单元和更新单元：
所述备份单元，用于当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件；
所述更新单元，用于将所述备份操作时间更新为本次备份操作执行时间。
14.根据权利要求12或13中任一项所述装置，其特征在于，所述备份操作触发条件为预定义的备份操作执行周期；或
接收到备份操作执行命令。
15.一种用于数据处理的装置，其特征在于，所述装置包括处理器、存储器、存储设备；其中所述处理器与所述存储器和存储设备相通信；
所述存储器，用于存储指令；还用于存储数据库系统的数据表，所述数据表包含至少一个区域；
所述处理器，用于执行所述存储器存储的指令，以使得：
当所述至少一个区域中的任一区域满足预定义条件时，将所述满足预定义条件的区域中的数据作为数据存储文件保存到存储设备中，其中，所述数据存储文件包含时间元数据，所述时间元数据为所述满足预定义条件的区域中的数据的区域写入时间；
当满足合并操作触发条件时，获取备份操作时间，所述备份操作时间为最近一次执行备份操作的时间；
从所述存储设备中选择至少两个第一数据存储文件，所述至少两个第一数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之前；
合并所选择的所述至少两个第一数据存储文件。
16.根据权利要求15所述装置，其特征在于，所述处理器还用于执行所述存储器存储的指令，以使得：
从所述存储设备中选择至少两个第二数据存储文件，所述至少两个第二数据存储文件所包含的时间元数据所记录的区域写入时间在所述最近一次执行备份操作的时间之后；
合并所选择的所述至少两个第二数据存储文件。
17.根据权利要求15或16所述装置，其特征在于，所述合并操作触发条件为所述存储设备中的数据存储文件的数量大于或等于第二阈值；或
预定义的合并操作执行周期；或
接收到合并操作执行命令。
18.根据权利要求15至16中任一项所述装置，其特征在于，所述处理器还用于执行所述存储器存储的指令，以使得：
当满足备份操作触发条件时，备份所述存储设备中时间元数据记录的区域写入时间在所述最近一次执行备份操作的时间之后的数据存储文件；
将所述备份操作时间更新为本次备份操作执行时间。
19.根据权利要求15至16中任一项所述装置，其特征在于，所述处理器还用于执行所述存储器存储的指令，以使得：
当满足备份操作触发条件时，备份所述存储设备中全部数据存储文件；
将所备份操作时间更新为本次备份操作执行时间。
20.根据权利要求18或19所述装置，其特征在于，所述备份操作触发条件为预定义的备份操作执行周期；或
接收到备份操作执行命令。
CN201680003714.5A 2016-06-28 2016-06-28 一种数据处理的方法和装置 Pending CN107111534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910083470.1A CN109933461A (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/087458 WO2018000191A1 (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910083470.1A Division CN109933461A (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置

Publications (1)

Publication Number Publication Date
CN107111534A true CN107111534A (zh) 2017-08-29

Family

ID=59676528

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910083470.1A Pending CN109933461A (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置
CN201680003714.5A Pending CN107111534A (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910083470.1A Pending CN109933461A (zh) 2016-06-28 2016-06-28 一种数据处理的方法和装置

Country Status (4)

Country Link
EP (1) EP3287911A1 (zh)
CN (2) CN109933461A (zh)
BR (1) BR112017020732A8 (zh)
WO (1) WO2018000191A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021018020A1 (zh) * 2019-07-26 2021-02-04 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
US11119863B2 (en) 2015-09-25 2021-09-14 Huawei Technologies Co., Ltd. Data backup method and data processing system
US11132260B2 (en) 2015-09-25 2021-09-28 Huawei Technologies Co., Ltd. Data processing method and apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910975B (zh) * 2019-10-10 2020-11-27 江苏盖睿健康科技有限公司 一种针对医疗信息的数据处理方法及装置
CN114020539B (zh) * 2022-01-05 2022-03-18 国家超级计算天津中心 基于云环境下的块存储自适应备份系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394424A (zh) * 2008-10-27 2009-03-25 中国科学院计算技术研究所 一种磁盘级网络数据备份的系统及方法
CN101650677A (zh) * 2009-07-27 2010-02-17 浪潮电子信息产业股份有限公司 一种基于Delta增量的文件数据备份方法
CN101729671A (zh) * 2009-12-31 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种终端、备份文件管理的方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134041B2 (en) * 2001-09-20 2006-11-07 Evault, Inc. Systems and methods for data backup over a network
US7483927B2 (en) * 2005-12-01 2009-01-27 International Business Machines Corporation Method for merging metadata on files in a backup storage
CN101064730A (zh) * 2006-09-21 2007-10-31 上海交通大学 计算机网络数据文件本地和远程的备份方法
US8635187B2 (en) * 2011-01-07 2014-01-21 Symantec Corporation Method and system of performing incremental SQL server database backups
CN103049353B (zh) * 2012-12-21 2016-01-06 华为技术有限公司 一种数据备份方法及相关装置
JP5289642B1 (ja) * 2013-01-25 2013-09-11 株式会社東芝 データをバックアップするバックアップストレージシステム、バックアップストレージ装置及び方法
CN103778033A (zh) * 2014-01-26 2014-05-07 宝龙计算机系统（湖南）有限公司 一种类Unix操作系统多时间点备份的方法及装置
CN105243109B (zh) * 2015-09-25 2021-10-15 华为技术有限公司 数据备份的方法和数据处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394424A (zh) * 2008-10-27 2009-03-25 中国科学院计算技术研究所 一种磁盘级网络数据备份的系统及方法
CN101650677A (zh) * 2009-07-27 2010-02-17 浪潮电子信息产业股份有限公司 一种基于Delta增量的文件数据备份方法
CN101729671A (zh) * 2009-12-31 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种终端、备份文件管理的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119863B2 (en) 2015-09-25 2021-09-14 Huawei Technologies Co., Ltd. Data backup method and data processing system
US11132260B2 (en) 2015-09-25 2021-09-28 Huawei Technologies Co., Ltd. Data processing method and apparatus
WO2021018020A1 (zh) * 2019-07-26 2021-02-04 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
EP3287911A4 (en) 2018-02-28
WO2018000191A1 (zh) 2018-01-04
CN109933461A (zh) 2019-06-25
BR112017020732A2 (pt) 2018-07-17
EP3287911A1 (en) 2018-02-28
BR112017020732A8 (pt) 2022-08-23

Similar Documents

Publication Publication Date Title
CN103473251B (zh) 在使用处理器件的计算环境中提供使用选择性元组版本化的文件系统快照的方法和系统
CN104166606B (zh) 文件备份方法和主存储设备
CN107111534A (zh) 一种数据处理的方法和装置
CN104301360B (zh) 一种日志数据记录的方法、日志服务器及系统
CN100498796C (zh) 逻辑日志生成方法、数据库备份/恢复方法与系统
CN103577454B (zh) 一种文件合并方法和装置
CN106021016A (zh) 在快照之间的虚拟时间点访问
CN107209704A (zh) 检测丢失的写入
CN102047234B (zh) 即时快照的排序以及分优先级
CN104040481A (zh) 用于融合、存储和检索增量式备份数据的方法和系统
CN110018989B (zh) 一种快照比对的方法和装置
CN101441582A (zh) 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品
CN106777270A (zh) 一种基于提交点时间线同步的异构数据库复制并行执行系统及方法
US20130246358A1 (en) Online verification of a standby database in log shipping physical replication environments
CN108089926A (zh) 一种获取分布式锁的方法、装置、设备及可读存储介质
CN103034592B (zh) 数据处理方法和装置
CN110209528A (zh) 数据备份方法、装置、服务器以及存储介质
CN108255994A (zh) 一种基于数据库快照的数据库版本管理方法
US11386078B2 (en) Distributed trust data storage system
US9104320B2 (en) Data integrity protection in storage volumes
CN106326398A (zh) 数据一致性对比的方法及装置
CN109684338A (zh) 一种存储系统的数据更新方法
CN104115127B (zh) 存储系统和数据管理方法
CN109961230A (zh) 一种指标的配置方法、装置、存储介质及电子设备
CN103970671B (zh) 用于在存储器中分配管理数据集的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170829