CN108205559A - 一种数据管理方法及其设备 - Google Patents
一种数据管理方法及其设备 Download PDFInfo
- Publication number
- CN108205559A CN108205559A CN201611178078.8A CN201611178078A CN108205559A CN 108205559 A CN108205559 A CN 108205559A CN 201611178078 A CN201611178078 A CN 201611178078A CN 108205559 A CN108205559 A CN 108205559A
- Authority
- CN
- China
- Prior art keywords
- data
- business datum
- incremental
- incremental data
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Abstract
本发明实施例公开一种数据管理方法及其设备，其中方法包括如下步骤：获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据。采用本发明，可以实现在线对业务数据进行迁移，提高对业务数据的查询及修改等数据处理的效率，进而保证业务服务的质量。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据管理方法及其设备。
背景技术
随着互联网技术不断的开发和完善，各种业务数据(例如：交易流水数据、通话记录数据等)的数据量日趋庞大，需要采用后台的数据库系统进行存储。
现有的数据库系统提出了热数据和冷数据的管理方式，即针对具有时效性的业务数据，通过以时间范围为分界线，将近期产生的业务数据(例如：近4个月的业务数据等)和除了近期以外的业务数据(例如：4个月以前的业务数据等)分别进行存储。然而随着时间的推移，当部分热数据需要转换为冷数据时，往往需要对业务服务进行暂停，并对需要转移的热数据进行存储节点的切换以及路由的切换，由于业务服务暂停的时间由需要转移的热数据的数据量所决定，当数据量较大时，容易影响业务服务的质量，降低对业务数据的查询及修改等数据处理的效率。
发明内容
本发明实施例提供一种数据管理方法及其设备，可以实现在线对业务数据进行迁移，提高对业务数据的查询及修改等数据处理的效率，进而保证业务服务的质量。
本发明实施例第一方面提供了一种数据管理方法，可包括：
获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
其中，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合。
本发明实施例第二方面提供了一种数据管理设备，可包括：
基础数据迁移单元，用于获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
增量数据记录单元，用于记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
增量数据迁移单元，用于在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
镜像数据清除单元，用于当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
其中，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据管理的系统架构图；
图2是本发明实施例提供的一种数据管理方法的流程示意图；
图3是本发明实施例提供的另一种数据管理方法的流程示意图；
图4是本发明实施例提供的又一种数据管理方法的流程示意图；
图5是本发明实施例提供的一种数据管理设备的结构示意图；
图6是本发明实施例提供的另一种数据管理设备的结构示意图；
图7是本发明实施例提供的增量数据迁移单元的结构示意图；
图8是本发明实施例提供的又一种数据管理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好理解本发明实施例公开的一种数据管理方法及其设备，下面先对本发明实施例适用的数据管理的架构进行描述。
请参见图1，为本发明实施例提供了一种数据管理的系统架构图。如图1所示，该系统架构可以包括多个协调者节点以及多个数据节点，其中，协调者节点用于对外部用户终端提供接口，接收用户终端发送的对业务数据的查询、修改等数据处理请求，并向数据节点进行分发，以及存储业务数据的存储索引等，多个协调者节点间的位置对等，用户设备可以接入任一协调者节点以对业务数据进行数据处理；所述数据节点用于存储业务数据，并执行协调者节点分发的数据处理请求等。多个协调者节点以及多个数据节点可以分别置于不同的后台服务设备中，以形成服务设备群组。本发明实施例中，采用热数据和冷数据的方式对具有时效性的业务数据分别进行存储，其中，业务数据具有数据量大，并且随着时间的推移，其被访问的频率逐渐降低的特性，例如：交易流水数据、通话记录数据等；热数据中包括多个数据节点，如图1所示，包括数据节点1和数据节点2等，用于存储近期产生的业务数据(例如：近4个月的业务数据等)，冷数据中同样也包括多个数据节点，如图1所示，包括数据节点3和数据节点4等，用于存储除了近期以外的业务数据(例如：4个月以前的业务数据等)，可以理解的是，通过对热数据和冷数据分别进行存储，可以以时间范围为分界线，分别定义用户频繁访问的数据以及非频繁访问的数据，随着时间的推移，需要定期将超过时间范围的热数据转移至冷数据中进行存储。所述用户终端可以包括：平板电脑、智能手机、笔记本电脑、掌上电脑、个人计算机以及移动互联网设备(MID)等终端设备。
基于图1所示的系统架构，下面将结合附图2-附图4，对本发明实施例提供的数据管理方法进行详细介绍。
请参见图2，为本发明实施例提供了一种数据管理方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。
S101，获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
具体的，数据管理设备可以获取第一业务数据集合中待迁移的基础数据，可以理解的是，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，即上述热数据，所述基础数据为随着时间推移在所述预设时间段外的需要从所述第一业务数据集合转移至第二业务数据集合的业务数据，或者所述基础数据为基于管理人员对预设时间段进行修改(例如：从近4个月修改为近3个月等)所形成的前后时间差中存在的业务数据，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合，即上述冷数据。所述数据管理设备具体为包括多个协调者节点以及多个数据节点的后台服务设备群组。
所述数据管理设备可以生成与所述基础数据相同的镜像数据，例如：采用数据快照的方式生成与所述基础数据相同的镜像数据等，所述数据管理设备将所述基础数据迁移至所述第二业务数据中。
S102，记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
具体的，所述数据管理设备可以在所述基础数据从所述第一业务数据集合迁移至所述第二业务数据集合的迁移过程中，记录针对所述基础数据所获取的增量数据，需要说明的是，所述增量数据为在所述基础数据的迁移过程中，需要对所述基础数据进行数据插入、更新等操作的数据。
S103，在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
具体的，在所述基础数据的迁移过程完成时，即所述基础数据已经迁移至所述第二业务数据集合中时，所述数据管理设备可以采用所述增量数据对所述镜像数据进行添加处理，将对所述基础数据的数据插入、更新等操作的数据添加至所述镜像数据中，同时，所述数据管理设备还需要将所述增量数据迁移至所述第二业务数据集合中，对所述基础数据进行数据插入、更新等操作。
S104，当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
具体的，当所述增量数据的迁移过程完成时，所述数据管理设备可以更新所述基础数据和所述增量数据的路由信息，即将所述基础数据和所述增量数据的路由信息由所述第一业务数据集合转换为所述第二业务数据集合，后续用户终端发起的对所述基础数据和所述增量数据的查询、插入、删除、更新等均分配至所述第二业务数据集合中执行，所述数据管理设备同时清除所述第一业务数据集合中的所述镜像数据以及所述第一业务数据集合中的所述增量数据。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量。
请参见图3，为本发明实施例提供了另一种数据管理方法的流程示意图。如图3所示，本发明实施例的所述方法可以包括一下步骤S201-步骤S207。
S201，将属于预设时间段内的业务数据存储至第一业务数据集合中，将属于所述预设时间段外的业务数据存储至第二业务数据集合中；
具体的，数据管理设备可以将属于预设时间段内的业务数据存储至第一业务数据集合中，并将属于所述预设时间段外的业务数据存储至第二业务数据集合中，可以理解的是，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，即上述热数据；所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合，即上述冷数据。所述数据管理设备具体为包括多个协调者节点以及多个数据节点的后台服务设备群组。
S202，获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
具体的，所述数据管理设备可以获取第一业务数据集合中待迁移的基础数据，可以理解的是，所述基础数据为随着时间推移在所述预设时间段外的需要从所述第一业务数据集合转移至第二业务数据集合的业务数据，或者所述基础数据为基于管理人员对预设时间段进行修改(例如：从近4个月修改为近3个月等)所形成的前后时间差中存在的业务数据，所述数据管理设备可以生成与所述基础数据相同的镜像数据，例如：采用数据快照的方式生成与所述基础数据相同的镜像数据等，所述数据管理设备将所述基础数据迁移至所述第二业务数据中。
S203，记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据；
具体的，考虑到迁移的所述基础数据的数据量较大，所述基础数据的迁移过程同样需要较长的时间，此时在所述基础数据的迁移过程中所产生的所述增量数据的数据量同样较大，因此需要循环对不断产生的增量数据进行后续的迁移处理，优选的，所述数据管理设备记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据，所述第一增量数据用于表示在对所述基础数据进行迁移的过程中所产生的针对所述基础数据的增量数据。
S204，将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值；
具体的，所述数据管理设备可以将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值，可以理解的是，所述第二增量数据为用于表示在对所述第一增量数据进行迁移的过程中所产生的针对所述基础数据和所述第一增量数据的增量数据。所述预设数据量阈值可以由维护人员根据经验值进行设定，以保证所述第二增量数据在迁移过程中对用户终端请求执行的插入、更新等操作的影响可以忽略不计，例如：假设所述第一增量数据的数据量为1TB，将所述第一增量数据迁移至所述第二业务数据集合需要8小时，在这8小时过程中产生的第二增量数据的数据量为0.5TB，将该第二增量数据迁移至所述第二业务数据集合需要4小时，以此循环，直至产生的第二增量数据的数据量为36MB时，此时所需的迁移时间大概为1秒，因此当所述第二增量数据的数据量所需的迁移时间非常短时，可以进一步采用双写操作的方式进行处理，无需再次记录所述第二增量数据迁移至所述第二业务数据集合时所产生的增量数据。
S205，当所述第二增量数据的数据量小于预设数据量阈值时，采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，并获取修改处理结果；
具体的，针对上述双写操作，当所述第二增量数据的数据量小于预设数据量阈值时，所述数据管理设备可以采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，即采用所述第二增量数据对所述第一业务数据集合中的所述镜像数据和所述增量数据进行数据插入、更新等操作，同时，采用所述第二增量数据对所述第二业务数据集合中的所述基础数据和所述增量数据进行数据插入、更新等操作，通过采用双写操作的方式，实现了在增量数据不影响对用户终端请求执行的插入、更新等操作的基础上，实时同步完成剩余业务数据的迁移以及对业务数据的修改过程，并可以对第一业务数据集合及第二业务数据集合中的业务数据进行进一步的校验，以保证业务数据在迁移过程中的一致性，当发现业务数据不一致时，所述数据管理设备可以关闭双写操作并进行数据回滚，此时由于业务数据的路由信息并未发生改变，实现无成本的数据回滚。
S206，当所述修改处理结果为修改处理成功时，确定所述增量数据的迁移过程完成；
具体的，当所述修改处理结果为修改处理成功时，所述数据管理设备确定所述增量数据的迁移过程完成。
特殊的，在基础数据迁移的过程中，以及在增量数据迁移的过程中，当存在用户终端对基础数据或增量数据的查询请求时，所述数据管理设备均将所述查询请求分配至所述第一业务数据集合中，并将查询结果返回至所述用户终端。
S207，当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
具体的，当所述增量数据的迁移过程完成时，所述数据管理设备可以更新所述基础数据和所述增量数据的路由信息，即将所述基础数据和所述增量数据的路由信息由所述第一业务数据集合转换为所述第二业务数据集合，后续用户终端发起的对所述基础数据和所述增量数据的查询、插入、删除、更新等均分配至所述第二业务数据集合中执行，所述数据管理设备同时清除所述第一业务数据集合中的所述镜像数据以及所述第一业务数据集合中的所述增量数据。
在本发明实施例中，所述数据管理设备中的多个数据节点可以随着业务数据的数据量进行节点个数的调节，所述数据管理设备可以基于业务要求对第二业务数据集合中满足删除条件的业务数据进行清除，优选的，所述业务要求可以为预设的删除时间阈值，例如：针对历史10年或10年以上的业务数据等，所述数据管理设备可以将所述第二业务数据集合中满足删除时间阈值的业务数据进行清除，同时，清除后的数据节点可以等待再次使用，实现了对数据节点的动态调配。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量；通过循环记录增量数据并进行迁移的方式，进一步实现了在线对业务数据进行迁移的过程，降低对业务数据进行插入、更新等操作的影响；通过采用双写操作的方式，实现了在增量数据不影响对用户终端请求执行的插入、更新等操作的基础上，实时同步完成剩余业务数据的迁移以及对业务数据的修改过程，并可以对第一业务数据集合及第二业务数据集合中的业务数据进行进一步的校验，以保证业务数据在迁移过程中的一致性；通过采用删除时间阈值的方式对数据节点进行动态调配，在存储空间不足时，无需替换数据节点的存储容量的硬件设备，降低硬件成本。
请参见图4，为本发明实施例提供了又一种数据管理方法的流程示意图。如图4所示，本发明实施例的所述方法可以包括以下步骤S301-步骤S308。
S301，获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
S302，记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
S303，在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
S304，当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
S305，当检测到用户终端发送的携带有时间范围的业务数据查询请求时，检测所述时间范围是否属于所述预设时间段；
具体的，当检测到用户终端发送的携带有时间范围的业务数据查询请求时，所述数据管理设备可以进一步检测所述时间范围是否属于所述预设时间段，若是，则转入执行步骤S306,；若否，则转入执行步骤S307。
S306，将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端；
具体的，当所述数据管理设备检测到所述时间范围属于所述预设时间段时，所述数据管理设备可以将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端。
S307，将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端；
具体的，当所述数据管理设备检测到所述时间范围不属于所述预设时间段时，所述数据管理设备可以将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端。
S308，当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端；
具体的，当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，所述数据管理设备可以将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端。
需要说明的是，上述查询过程中，考虑到业务数据在存储的过程中存在错误插入的情况，即原本属于第一业务数据集合的业务数据被存储至第二业务数据集合中，而原本数据第二业务数据集合的业务数据被存储至第一业务数据集合中，因此当存在此类业务数据时，所述数据管理设备可以不将此类业务数据返回至所述用户终端，以保护数据访问的一致性。
可以理解的是，本发明实施例的步骤S305-步骤S308执行的业务数据查询过程可以不遵循本发明实施例的执行流程，即用户终端可以在任意时间发起业务数据的查询流程。
其中，本发明实施例的步骤S301-步骤S304可以参见图2和图3所示实施例的具体描述，在此不进行赘述。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量；考虑到业务数据在存储的过程中存在错误插入的情况，可以不将错误插入的业务数据返回至用户终端，以保护数据访问的一致性。
基于图1所示的系统架构，下面将结合附图5-附图7，对本发明实施例提供的数据管理设备进行详细介绍。需要说明的是，附图5-附图7所示的数据管理设备，用于执行本发明图2-图4所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图2-图4所示的实施例。
请参见图5，为本发明实施例提供了一种数据管理设备的结构示意图。如图5所示，本发明实施例的所述数据管理设备1可以包括：基础数据迁移单元11、增量数据记录单元12、增量数据迁移单元13和镜像数据清除单元14。
基础数据迁移单元11，用于获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
具体实现中，所述基础数据迁移单元11可以获取第一业务数据集合中待迁移的基础数据，可以理解的是，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，即上述热数据，所述基础数据为随着时间推移在所述预设时间段外的需要从所述第一业务数据集合转移至第二业务数据集合的业务数据，或者所述基础数据为基于管理人员对预设时间段进行修改(例如：从近4个月修改为近3个月等)所形成的前后时间差中存在的业务数据，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合，即上述冷数据。所述数据管理设备1具体为包括多个协调者节点以及多个数据节点的后台服务设备群组。
所述基础数据迁移单元11可以生成与所述基础数据相同的镜像数据，例如：采用数据快照的方式生成与所述基础数据相同的镜像数据等，所述基础数据迁移单元11将所述基础数据迁移至所述第二业务数据中。
增量数据记录单元12，用于记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
具体实现中，所述增量数据记录单元12可以在所述基础数据从所述第一业务数据集合迁移至所述第二业务数据集合的迁移过程中，记录针对所述基础数据所获取的增量数据，需要说明的是，所述增量数据为在所述基础数据的迁移过程中，需要对所述基础数据进行数据插入、更新等操作的数据。
增量数据迁移单元13，用于在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
具体实现中，在所述基础数据的迁移过程完成时，即所述基础数据已经迁移至所述第二业务数据集合中时，所述增量数据迁移单元13可以采用所述增量数据对所述镜像数据进行添加处理，将对所述基础数据的数据插入、更新等操作的数据添加至所述镜像数据中，同时，所述增量数据迁移单元13还需要将所述增量数据迁移至所述第二业务数据集合中，对所述基础数据进行数据插入、更新等操作。
镜像数据清除单元14，用于当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
具体实现中，当所述增量数据的迁移过程完成时，所述镜像数据清除单元14可以更新所述基础数据和所述增量数据的路由信息，即将所述基础数据和所述增量数据的路由信息由所述第一业务数据集合转换为所述第二业务数据集合，后续用户终端发起的对所述基础数据和所述增量数据的查询、插入、删除、更新等均分配至所述第二业务数据集合中执行，所述镜像数据清除单元14同时清除所述第一业务数据集合中的所述镜像数据以及所述第一业务数据集合中的所述增量数据。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量。
请参见图6，为本发明实施例提供了另一种数据管理设备的结构示意图。如图6所示，本发明实施例的所述数据管理设备1可以包括：基础数据迁移单元11、增量数据记录单元12、增量数据迁移单元13、镜像数据清除单元14、业务数据存储单元15、时间检测单元16、第一数据返回单元17和第二数据返回单元18。
业务数据存储单元15，用于将属于预设时间段内的业务数据存储至第一业务数据集合中，将属于所述预设时间段外的业务数据存储至第二业务数据集合中；
具体实现中，所述业务数据存储单元15可以将属于预设时间段内的业务数据存储至第一业务数据集合中，并将属于所述预设时间段外的业务数据存储至第二业务数据集合中，可以理解的是，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，即上述热数据；所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合，即上述冷数据。所述数据管理设备1具体为包括多个协调者节点以及多个数据节点的后台服务设备群组。
基础数据迁移单元11，用于获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
具体实现中，所述基础数据迁移单元11可以获取第一业务数据集合中待迁移的基础数据，可以理解的是，所述基础数据为随着时间推移在所述预设时间段外的需要从所述第一业务数据集合转移至第二业务数据集合的业务数据，或者所述基础数据为基于管理人员对预设时间段进行修改(例如：从近4个月修改为近3个月等)所形成的前后时间差中存在的业务数据，所述基础数据迁移单元11可以生成与所述基础数据相同的镜像数据，例如：采用数据快照的方式生成与所述基础数据相同的镜像数据等，所述基础数据迁移单元11将所述基础数据迁移至所述第二业务数据中。
增量数据记录单元12，用于记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
具体实现中，所述增量数据记录单元12可以在所述基础数据从所述第一业务数据集合迁移至所述第二业务数据集合的迁移过程中，记录针对所述基础数据所获取的增量数据，需要说明的是，所述增量数据为在所述基础数据的迁移过程中，需要对所述基础数据进行数据插入、更新等操作的数据。
考虑到迁移的所述基础数据的数据量较大，所述基础数据的迁移过程同样需要较长的时间，此时在所述基础数据的迁移过程中所产生的所述增量数据的数据量同样较大，因此需要循环对不断产生的增量数据进行后续的迁移处理，优选的，所述增量数据记录单元12记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据，所述第一增量数据用于表示在对所述基础数据进行迁移的过程中所产生的针对所述基础数据的增量数据。
增量数据迁移单元13，用于在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
具体实现中，在所述基础数据的迁移过程完成时，即所述基础数据已经迁移至所述第二业务数据集合中时，所述增量数据迁移单元13可以采用所述增量数据对所述镜像数据进行添加处理，将对所述基础数据的数据插入、更新等操作的数据添加至所述镜像数据中，同时，所述增量数据迁移单元13还需要将所述增量数据迁移至所述第二业务数据集合中，对所述基础数据进行数据插入、更新等操作。
具体的，请一并参见图7，为本发明实施例提供了增量数据迁移单元的结构示意图。如图7所示，所述增量数据迁移单元13可以包括：
增量数据处理子单元131，用于在所述基础数据的迁移过程完成时，将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值；
具体实现中，在所述基础数据的迁移过程完成时，所述增量数据处理子单元131可以将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值，可以理解的是，所述第二增量数据为用于表示在对所述第一增量数据进行迁移的过程中所产生的针对所述基础数据和所述第一增量数据的增量数据。所述预设数据量阈值可以由维护人员根据经验值进行设定，以保证所述第二增量数据在迁移过程中对用户终端请求执行的插入、更新等操作的影响可以忽略不计，例如：假设所述第一增量数据的数据量为1TB，将所述第一增量数据迁移至所述第二业务数据集合需要8小时，在这8小时过程中产生的第二增量数据的数据量为0.5TB，将该第二增量数据迁移至所述第二业务数据集合需要4小时，以此循环，直至产生的第二增量数据的数据量为36MB时，此时所需的迁移时间大概为1秒，因此当所述第二增量数据的数据量所需的迁移时间非常短时，可以进一步采用双写操作的方式进行处理，无需再次记录所述第二增量数据迁移至所述第二业务数据集合时所产生的增量数据。
结果获取子单元132，用于当所述第二增量数据的数据量小于预设数据量阈值时，采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，并获取修改处理结果；
具体实现中，针对上述双写操作，当所述第二增量数据的数据量小于预设数据量阈值时，所述结果获取子单元132可以采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，即采用所述第二增量数据对所述第一业务数据集合中的所述镜像数据和所述增量数据进行数据插入、更新等操作，同时，采用所述第二增量数据对所述第二业务数据集合中的所述基础数据和所述增量数据进行数据插入、更新等操作，通过采用双写操作的方式，实现了在增量数据不影响对用户终端请求执行的插入、更新等操作的基础上，实时同步完成剩余业务数据的迁移以及对业务数据的修改过程，并可以对第一业务数据集合及第二业务数据集合中的业务数据进行进一步的校验，以保证业务数据在迁移过程中的一致性，当发现业务数据不一致时，所述结果获取子单元132可以关闭双写操作并进行数据回滚，此时由于业务数据的路由信息并未发生改变，实现无成本的数据回滚。
过程确定子单元133，用于当所述修改处理结果为修改处理成功时，确定所述增量数据的迁移过程完成；
具体实现中，当所述修改处理结果为修改处理成功时，所述过程确定子单元133确定所述增量数据的迁移过程完成。
特殊的，在基础数据迁移的过程中，以及在增量数据迁移的过程中，当存在用户终端对基础数据或增量数据的查询请求时，所述数据管理设备1均将所述查询请求分配至所述第一业务数据集合中，并将查询结果返回至所述用户终端。
镜像数据清除单元14，用于当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
具体实现中，当所述增量数据的迁移过程完成时，所述镜像数据清除单元14可以更新所述基础数据和所述增量数据的路由信息，即将所述基础数据和所述增量数据的路由信息由所述第一业务数据集合转换为所述第二业务数据集合，后续用户终端发起的对所述基础数据和所述增量数据的查询、插入、删除、更新等均分配至所述第二业务数据集合中执行，所述镜像数据清除单元14同时清除所述第一业务数据集合中的所述镜像数据以及所述第一业务数据集合中的所述增量数据。
时间检测单元16，用于当检测到用户终端发送的携带有时间范围的业务数据查询请求时，检测所述时间范围是否属于所述预设时间段；
具体实现中，当检测到用户终端发送的携带有时间范围的业务数据查询请求时，所述时间检测单元16可以进一步检测所述时间范围是否属于所述预设时间段。
第一数据返回单元17，用于若所述时间检测单元16检测所述时间范围是否属于所述预设时间段的检测结果为是，则将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端；
具体实现中，当所述时间检测单元16检测到所述时间范围属于所述预设时间段时，所述第一数据返回单元17可以将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端。
所述第一数据返回单元17，还用于若所述时间检测单元16检测所述时间范围是否属于所述预设时间段的检测结果为否，则将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端；
具体实现中，当所述时间检测单元16检测到所述时间范围不属于所述预设时间段时，所述第一数据返回单元17可以将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端。
第二数据返回单元18，用于当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端；
具体实现中，当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，所述第二数据返回单元18可以将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端。
需要说明的是，上述查询过程中，考虑到业务数据在存储的过程中存在错误插入的情况，即原本属于第一业务数据集合的业务数据被存储至第二业务数据集合中，而原本数据第二业务数据集合的业务数据被存储至第一业务数据集合中，因此当存在此类业务数据时，所述数据管理设备1可以不将此类业务数据返回至所述用户终端，以保护数据访问的一致性。
在本发明实施例中，所述数据管理设备1中的多个数据节点可以随着业务数据的数据量进行节点个数的调节，所述数据管理设备1可以基于业务要求对第二业务数据集合中满足删除条件的业务数据进行清除，优选的，所述业务要求可以为预设的删除时间阈值，例如：针对历史10年或10年以上的业务数据等，所述数据管理设备1可以将所述第二业务数据集合中满足删除时间阈值的业务数据进行清除，同时，清除后的数据节点可以等待再次使用，实现了对数据节点的动态调配。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量；通过循环记录增量数据并进行迁移的方式，进一步实现了在线对业务数据进行迁移的过程，降低对业务数据进行插入、更新等操作的影响；通过采用双写操作的方式，实现了在增量数据不影响对用户终端请求执行的插入、更新等操作的基础上，实时同步完成剩余业务数据的迁移以及对业务数据的修改过程，并可以对第一业务数据集合及第二业务数据集合中的业务数据进行进一步的校验，以保证业务数据在迁移过程中的一致性；考虑到业务数据在存储的过程中存在错误插入的情况，可以不将错误插入的业务数据返回至用户终端，以保护数据访问的一致性；通过采用删除时间阈值的方式对数据节点进行动态调配，在存储空间不足时，无需替换数据节点的存储容量的硬件设备，降低硬件成本。
请参见图8，为本发明实施例提供了又一种数据管理设备的结构示意图。如图8所示，所述数据管理设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据管理应用程序。
在图8所示的数据管理设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的数据管理应用程序，并具体执行以下操作：
获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
其中，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合。
在一个实施例中，所述处理器1001在执行获取第一业务数据集合中待迁移的基础数据之前，还执行以下操作：
将属于预设时间段内的业务数据存储至第一业务数据集合中，将属于所述预设时间段外的业务数据存储至第二业务数据集合中。
在一个实施例中，所述处理器1001在执行记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据时，具体执行以下操作：
记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据；
所述处理器1001在执行采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中时，具体执行以下操作：
将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值；
当所述第二增量数据的数据量小于预设数据量阈值时，采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，并获取修改处理结果；
当所述修改处理结果为修改处理成功时，确定所述增量数据的迁移过程完成。
在一个实施例中，所述处理器1001还执行以下操作：
当检测到用户终端发送的携带有时间范围的业务数据查询请求时，检测所述时间范围是否属于所述预设时间段；
若是，则将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端；
若否，则将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端。
在一个实施例中，所述处理器1001还执行以下操作：
当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端。
在一个实施例中，所述处理器1001还执行以下操作：
将所述第二业务数据集合中满足删除时间阈值的业务数据进行清除。
在本发明实施例中，在对第一业务数据集合中的基础数据进行迁移时，通过生成并保留基础数据的镜像数据，先将基础数据迁移至第二业务数据集合中，并记录基础数据迁移过程中针对基础数据的增量数据，在基础数据迁移完成时，再进行增量数据的迁移，直至增量数据迁移完成后，清除第一业务数据集合中的镜像数据和所述增量数据，实现了在线对业务数据进行迁移的过程，提高了对业务数据的查询及修改等数据处理的效率，进而保证了业务服务的质量；通过循环记录增量数据并进行迁移的方式，进一步实现了在线对业务数据进行迁移的过程，降低对业务数据进行插入、更新等操作的影响；通过采用双写操作的方式，实现了在增量数据不影响对用户终端请求执行的插入、更新等操作的基础上，实时同步完成剩余业务数据的迁移以及对业务数据的修改过程，并可以对第一业务数据集合及第二业务数据集合中的业务数据进行进一步的校验，以保证业务数据在迁移过程中的一致性；考虑到业务数据在存储的过程中存在错误插入的情况，可以不将错误插入的业务数据返回至用户终端，以保护数据访问的一致性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (12)
1.一种数据管理方法，其特征在于，包括：
获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
其中，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合。
2.根据权利要求1所述的方法，其特征在于，所述获取第一业务数据集合中待迁移的基础数据之前，还包括：
将属于预设时间段内的业务数据存储至第一业务数据集合中，将属于所述预设时间段外的业务数据存储至第二业务数据集合中。
3.根据权利要求1所述的方法，其特征在于，所述记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据，包括：
记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据；
所述采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，包括：
将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值；
当所述第二增量数据的数据量小于预设数据量阈值时，采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，并获取修改处理结果；
当所述修改处理结果为修改处理成功时，确定所述增量数据的迁移过程完成。
4.根据权利要求1所述的方法，其特征在于，还包括：
当检测到用户终端发送的携带有时间范围的业务数据查询请求时，检测所述时间范围是否属于所述预设时间段；
若是，则将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端；
若否，则将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端。
5.根据权利要求1所述的方法，其特征在于，还包括：
当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端。
6.根据权利要求1所述的方法，其特征在于，还包括：
将所述第二业务数据集合中满足删除时间阈值的业务数据进行清除。
7.一种数据管理设备，其特征在于，包括：
基础数据迁移单元，用于获取第一业务数据集合中待迁移的基础数据，生成与所述基础数据相同的镜像数据，并将所述基础数据迁移至第二业务数据集合中；
增量数据记录单元，用于记录所述基础数据的迁移过程中针对所述基础数据所获取的增量数据；
增量数据迁移单元，用于在所述基础数据的迁移过程完成时，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中；
镜像数据清除单元，用于当所述增量数据的迁移过程完成时，清除所述第一业务数据集合中的所述镜像数据和所述增量数据；
其中，所述第一业务数据集合为预设时间段内存储的当前业务数据集合，所述第二业务数据集合为除所述预设时间段外所存储的历史业务数据集合。
8.根据权利要求7所述的设备，其特征在于，还包括：
业务数据存储单元，用于将属于预设时间段内的业务数据存储至第一业务数据集合中，将属于所述预设时间段外的业务数据存储至第二业务数据集合中。
9.根据权利要求7所述的设备，其特征在于，所述增量数据记录单元具体用于记录所述基础数据的迁移过程中针对所述基础数据所获取的第一增量数据据；
所述增量数据迁移单元包括：
增量数据处理子单元，用于在所述基础数据的迁移过程完成时，将所述第一增量数据作为增量数据，采用所述增量数据对所述镜像数据进行添加处理，并将所述增量数据迁移至所述第二业务数据集合中，记录所述增量数据的迁移过程中针对所述基础数据和所述增量数据所获取的第二增量数据，将所述第二增量数据作为增量数据，重复执行本步骤，直至所述第二增量数据的数据量小于预设数据量阈值；
结果获取子单元，用于当所述第二增量数据的数据量小于预设数据量阈值时，采用所述第二增量数据同时对所述第一业务数据集合中的所述镜像数据、所述增量数据，以及所述第二业务数据集合中的所述基础数据、所述增量数据进行修改处理，并获取修改处理结果；
过程确定子单元，用于当所述修改处理结果为修改处理成功时，确定所述增量数据的迁移过程完成。
10.根据权利要求7所述的设备，其特征在于，还包括：
时间检测单元，用于当检测到用户终端发送的携带有时间范围的业务数据查询请求时，检测所述时间范围是否属于所述预设时间段；
第一数据返回单元，用于若所述时间检测单元检测所述时间范围是否属于所述预设时间段的检测结果为是，则将所述第一业务数据集合中属于所述预设时间段且属于所述时间范围的业务数据返回至所述用户终端；
所述第一数据返回单元，还用于若所述时间检测单元检测所述时间范围是否属于所述预设时间段的检测结果为否，则将所述第二业务数据集合中不属于所述预设时间段但属于所述时间范围的业务数据返回至所述用户终端。
11.根据权利要求7所述的设备，其特征在于，
第二数据返回单元，用于当检测到用户终端发送的未携带有时间范围的业务数据查询请求时，将所述第一业务数据集合中属于所述预设时间段的第一业务数据，以及所述第二业务数据集合中不属于所述预设时间段的第二业务数据返回至所述用户终端。
12.根据权利要求7所述的设备，其特征在于，还包括：
业务数据清除单元，用于将所述第二业务数据集合中满足删除时间阈值的业务数据进行清除。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611178078.8A CN108205559B (zh) | 2016-12-19 | 2016-12-19 | 一种数据管理方法及其设备 |
| PCT/CN2017/116144 WO2018113580A1 (zh) | 2016-12-19 | 2017-12-14 | 一种数据管理方法及服务器 |
| US16/289,808 US11500832B2 (en) | 2016-12-19 | 2019-03-01 | Data management method and server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611178078.8A CN108205559B (zh) | 2016-12-19 | 2016-12-19 | 一种数据管理方法及其设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108205559A true CN108205559A (zh) | 2018-06-26 |
| CN108205559B CN108205559B (zh) | 2022-01-07 |
Family
ID=62601557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611178078.8A Active CN108205559B (zh) | 2016-12-19 | 2016-12-19 | 一种数据管理方法及其设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108205559B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008200A (zh) * | 2019-04-04 | 2019-07-12 | 杭州数梦工场科技有限公司 | 一种数据库的数据迁移方法、装置及设备 |
| CN110531938A (zh) * | 2019-09-02 | 2019-12-03 | 广东紫晶信息存储技术股份有限公司 | 一种基于多维度的冷热数据迁移方法及系统 |
| CN112363994A (zh) * | 2020-10-27 | 2021-02-12 | 杭州大搜车汽车服务有限公司 | 数据库的处理方法、装置、电子装置和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030110237A1 (en) * | 2001-12-06 | 2003-06-12 | Hitachi, Ltd. | Methods of migrating data between storage apparatuses |
| CN102821158A (zh) * | 2012-08-20 | 2012-12-12 | 广州杰赛科技股份有限公司 | 一种实现虚拟机迁移的方法和云系统 |
| CN104866234A (zh) * | 2014-02-21 | 2015-08-26 | 腾讯科技（北京）有限公司 | 数据迁移方法、装置及系统 |
| CN105320681A (zh) * | 2014-07-16 | 2016-02-10 | 中兴通讯股份有限公司 | 一种数据库内容合并方法及装置 |
| US20160063050A1 (en) * | 2014-08-28 | 2016-03-03 | Joerg Schoen | Database Migration Consistency Checker |
| CN105472045A (zh) * | 2016-01-26 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据库迁移的方法和装置 |
| CN105718570A (zh) * | 2016-01-20 | 2016-06-29 | 北京京东尚科信息技术有限公司 | 用于数据库的数据迁移方法和装置 |
| CN105868421A (zh) * | 2016-06-12 | 2016-08-17 | 浪潮通用软件有限公司 | 一种数据管理方法及装置 |
| US9436751B1 (en) * | 2013-12-18 | 2016-09-06 | Google Inc. | System and method for live migration of guest |
-
2016
- 2016-12-19 CN CN201611178078.8A patent/CN108205559B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030110237A1 (en) * | 2001-12-06 | 2003-06-12 | Hitachi, Ltd. | Methods of migrating data between storage apparatuses |
| CN102821158A (zh) * | 2012-08-20 | 2012-12-12 | 广州杰赛科技股份有限公司 | 一种实现虚拟机迁移的方法和云系统 |
| US9436751B1 (en) * | 2013-12-18 | 2016-09-06 | Google Inc. | System and method for live migration of guest |
| CN104866234A (zh) * | 2014-02-21 | 2015-08-26 | 腾讯科技（北京）有限公司 | 数据迁移方法、装置及系统 |
| CN105320681A (zh) * | 2014-07-16 | 2016-02-10 | 中兴通讯股份有限公司 | 一种数据库内容合并方法及装置 |
| US20160063050A1 (en) * | 2014-08-28 | 2016-03-03 | Joerg Schoen | Database Migration Consistency Checker |
| CN105718570A (zh) * | 2016-01-20 | 2016-06-29 | 北京京东尚科信息技术有限公司 | 用于数据库的数据迁移方法和装置 |
| CN105472045A (zh) * | 2016-01-26 | 2016-04-06 | 北京百度网讯科技有限公司 | 数据库迁移的方法和装置 |
| CN105868421A (zh) * | 2016-06-12 | 2016-08-17 | 浪潮通用软件有限公司 | 一种数据管理方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008200A (zh) * | 2019-04-04 | 2019-07-12 | 杭州数梦工场科技有限公司 | 一种数据库的数据迁移方法、装置及设备 |
| CN110008200B (zh) * | 2019-04-04 | 2021-04-13 | 杭州数梦工场科技有限公司 | 一种数据库的数据迁移方法、装置及设备 |
| CN110531938A (zh) * | 2019-09-02 | 2019-12-03 | 广东紫晶信息存储技术股份有限公司 | 一种基于多维度的冷热数据迁移方法及系统 |
| CN112363994A (zh) * | 2020-10-27 | 2021-02-12 | 杭州大搜车汽车服务有限公司 | 数据库的处理方法、装置、电子装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108205559B (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10606806B2 (en) | Method and apparatus for storing time series data | |
| CN104573093B (zh) | 一种管理文件目录的方法和装置 | |
| US9002844B2 (en) | Generating method, generating system, and recording medium | |
| CN105279163A (zh) | 一种缓存数据的更新及存储方法及其系统 | |
| CN107181821A (zh) | 一种基于sse规范的消息推送方法及装置 | |
| CN105354315A (zh) | 分布式数据库中子表分裂的方法、子表节点和系统 | |
| CN109561117A (zh) | 数据采集方法及装置 | |
| CN104657435A (zh) | 一种应用数据的存储管理方法和网络管理系统 | |
| CN108205559A (zh) | 一种数据管理方法及其设备 | |
| CN110109868A (zh) | 用于索引文件的方法、装置和计算机程序产品 | |
| CN105808449A (zh) | 一种用于虚拟机的虚拟存储映像版本管理方法和系统 | |
| CN107943542A (zh) | 一种配置信息管理方法、装置、可读介质及存储控制器 | |
| CN108932286A (zh) | 一种数据存储方法、数据查询方法及装置 | |
| CN110147203A (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
| CN113486036A (zh) | 虚拟资源管理方法及装置、电子设备和存储介质 | |
| US11080239B2 (en) | Key value store using generation markers | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN104391947A (zh) | 海量gis数据实时处理方法及系统 | |
| CN108134878A (zh) | 基于安卓系统的智能手机冗余数据清理方法 | |
| CN111522626A (zh) | 一种虚拟机列表生成方法、装置及电子设备 | |
| US20130304707A1 (en) | Data Archiving Approach Leveraging Database Layer Functionality | |
| CN108846002B (zh) | 标签实时更新方法及系统 | |
| CN110008243A (zh) | 一种数据表处理方法及装置 | |
| CN109656936A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
| CN101431429B (zh) | 一种设备中物理实体信息管理方法及设备与设备管理端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |