CN111125062B - 历史数据迁移方法及装置、历史数据查询方法及装置 - Google Patents

历史数据迁移方法及装置、历史数据查询方法及装置 Download PDF

Info

Publication number
CN111125062B
CN111125062B CN201911325690.7A CN201911325690A CN111125062B CN 111125062 B CN111125062 B CN 111125062B CN 201911325690 A CN201911325690 A CN 201911325690A CN 111125062 B CN111125062 B CN 111125062B
Authority
CN
China
Prior art keywords
history
snapshot information
data
record
belongs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911325690.7A
Other languages
English (en)
Other versions
CN111125062A (zh
Inventor
胡传杰
王鹏鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201911325690.7A priority Critical patent/CN111125062B/zh
Publication of CN111125062A publication Critical patent/CN111125062A/zh
Application granted granted Critical
Publication of CN111125062B publication Critical patent/CN111125062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了历史数据迁移方法及装置、历史数据查询方法及装置，其中方法部分包括获取历史记录快照信息集以及迁移规则；基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；迁移所述历史记录集至云数据库。由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。

Description

历史数据迁移方法及装置、历史数据查询方法及装置
技术领域
本申请涉及通信技术领域，尤其涉及历史数据迁移方法及装置、历史数据查询方法及装置。
背景技术
一些应用APP在使用过程中会产生很多历史数据，历史数据通常会存储在数据库设备中。在数据库设备长期运行过程中历史数据越来越多。
由于应用APP通常也具有查询功能，目前在执行查询功能时通常会遍历数据库设备以用于查询某条数据。但是由于数据库设备中存储有大量历史数据，遍历数据库设备查询某条数据需要较长时间，所以目前查询效率较低。
发明内容
鉴于此，本申请提供历史数据迁移方法及装置、历史数据查询方法及装置，可以将数据库设备中部分历史数据存储至云数据库，减少数据库设备中数据量，从而可以提高查询效率。
为了实现上述目的，本发明提供了下述技术特征：
一种历史数据迁移方法，其特征在于，包括：
获取历史记录快照信息集以及迁移规则；
基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；
迁移所述历史记录集至云数据库。
可选的，所述迁移规则包括：历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据中的一个或多个。
可选的，所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；则所述基于所述历史记录快照信息集中满足所述迁移规则的历史记录集包括：
遍历所述历史记录快照信息集中各条历史记录快照信息：
若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定历史记录快照信息对应的历史记录属于普通数据；
若历史记录快照信息对应的存储时长大于预设时长，则确定历史记录快照信息对应的历史记录属于长期存储数据；
若历史记录快照信息中的数据类型不属于高频数据类型，则历史记录快照信息对应的历史记录属于低频率数据；
将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
可选的，所述迁移所述历史记录集至云数据库包括：
对所述历史记录集中各个历史记录按数据存储类型执行分类操作，获得多个历史记录分类集；
判断是否处于空闲时间段；
若处于空闲时间段，则将所述多个历史记录分类集分别存储至所述云数据库中对应数据存储类别的虚拟数据库中，于本地删除所述历史记录集。
一种历史数据查询方法，包括：
获取包含历史记录的数据标识的查询请求；
从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息；
判断所述历史记录快照信息是否满足迁移规则；
若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作；
若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作。
可选的，所述迁移规则包括：历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据中的一个或多个。
可选的，所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；
则所述判断所述历史记录快照信息是否满足迁移规则包括：
若所述历史记录快照信息中的数据标识属于预设敏感数据标识集，则确定不满足迁移规则；
若所述历史记录快照信息对应的存储时长不大于预设时长，则确定不满足迁移规则；
若所述历史记录快照信息中的数据类型属于高频数据类型，则确定不满足迁移规则；
若所述历史记录快照信息中的数据标识不属于预设敏感数据标识集，所述历史记录快照信息对应的存储时长大于预设时长，且，所述历史记录快照信息中的数据类型不属于高频数据类型，则确定满足迁移规则。
可选的，所述于云数据库基于查询请求执行查询操作包括：
从所述历史记录快照信息确定数据存储类型；
向所述云数据库中该数据存储类型对应的虚拟数据库发送所述查询请求以执行查询操作。
一种历史数据迁移装置，包括：
获取单元，用于获取历史记录快照信息集以及迁移规则；
确定单元，用于基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；
迁移单元，用于迁移所述历史记录集至云数据库。
一种历史数据查询装置，包括：
获取单元，用于获取包含历史记录的数据标识的查询请求；
查询单元，用于从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息；
判断单元，用于判断所述历史记录快照信息是否满足迁移规则；
云端查询单元，用于若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作；
本地查询单元，用于若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作。
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种历史数据迁移方法的实施例一的流程图；
图2为本申请实施例公开的一种历史数据迁移方法的实施例二的流程图；
图3为本申请实施例公开的一种历史数据迁移方法的实施例三的流程图；
图4为本申请实施例公开的一种历史数据查询方法的流程图；
图5为本申请实施例公开的一种历史数据迁移装置的结构示意图；
图6为本申请实施例公开的一种历史数据查询装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
可以理解的是，数据库设备存储一条历史记录后，便会生成该条历史记录的快照信息，一条历史记录快照信息包括：历史记录的创建时间、历史记录的数据标识、历史记录的数据类型、历史记录的数据存储类型等。数据库设备中的多条历史记录快照信息组成历史记录快照信息集。关于历史记录快照信息的详细使用过程将在后续步骤中进行详细说明。
在执行历史数据迁移方法之前，可以根据本发明所适用的应用场景设置对应的迁移规则。例如，迁移规则包括：历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据中的一个或多个。
当然，迁移规则的具体实现可以根据实际应用场景而定，在此不做限定。
本发明提供了一种历史数据迁移方法的实施例一，参见图1，包括以下步骤：
步骤S101：获取历史记录快照信息集以及迁移规则。
步骤S102：基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集。
可选的，迁移规则包括历史记录属于普通数据。
在此之前，可以存储预先构建的预设敏感数据标识集。敏感数据标识集存储有多个敏感数据的数据标识。对于敏感数据需要保护起来，所以会存储于数据库设备本地，不必迁移至云数据库。换句话说，普通数据无需过多保护，可以迁移至云数据库。则本步骤可以包括：
遍历所述历史记录快照信息集各条历史记录快照信息：若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定该历史记录快照信息对应的历史记录属于普通数据，满足迁移规则，将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
可选的，迁移规则包括历史记录属于长期存储数据；在此之前可以存储与应用场景对应的预设时长，例如在有的应用场景中，若某一数据一天未使用就是长期存储数据，有的应用场景中若某一数据一年未使用则可以作为长期数据，所以预先需要根据应用场景设定合适的预设市场。
因为长期存储数据其使用频率较低，所以为了便于后期的查询效率，可以将长期存储数据迁移至云数据库。即长期存储数据说明后续使用频率较低，可以迁移至云数据库。
则本步骤可以包括：
根据当前时间和历史记录快照信息中创建时间，计算历史记录快照信息对应的存储时长。
若历史记录快照信息对应的存储时长大于预设时长，则该历史记录快照信息对应的历史记录属于长期存储数据，满足迁移规则，将该条历史记录添加至所述历史记录集中。
可选的，迁移规则包括历史记录属于低频率数据；在此之前，可以存储高频数据类型，一些数据类型会被经常使用，例如交易数据、余额数据、账户信息等。为了保证查询效率，高频数据会继续存储于数据库设备。换句话说，低频率数据说明后续使用频率较低，可以迁移至云数据库。则本步骤可以包括：
若历史记录快照信息中的数据类型不属于高频数据类型，则该历史记录快照信息对应的历史记录属于低频率数据，满足迁移规则，将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
本实施例中仅对迁移规则进行了三种实例说明，可以理解的是，还可以采用其他的迁移规则，对此本实施例不做限定。
步骤S103：迁移所述历史记录集至云数据库。
S1：对所述历史记录集中各个历史记录按数据存储类型执行分类操作，获得多个历史记录分类集。
为了方便地于云数据库执行查询操作，云数据库中构建多个可以动态调整虚拟数据库，且一个虚拟数据库对应一个数据存储类型。例如，基于sql的oracle数据存储类型、基于nosql的mongodb数据存储类型，newsql数据存储类型。
为了将历史记录集中的历史记录也按照虚拟数据库的数据存储类型进行分类存储，所以对历史记录集中各个历史记录按数据存储类型执行分类操作，获得多个历史记录分类集，以便后续可以存储到对应数据存储类型的虚拟数据库中。
S2：判断是否处于空闲时间段。
由于数据库设备在白天时间段可能处于忙碌阶段，为了保证正常查询不受影响，可以设定晚上某些时间段为空闲时间段。
判断当前时间是否处于空闲时间段，若是的话，再执行查询操作，若否则不执行查询操作。
S3：若到达空闲时间段，则将所述多个历史记录分类集分别存储至所述云数据库中对应数据存储类别的虚拟数据库中，于本地删除所述历史记录集。
按照多个历史记录分类集的数据存储类型，分别存储多个历史记录分类集至云数据库中对应数据存储类别的虚拟数据库中。
也即，将oracle存储类型的历史记录分类集存储至oracle虚拟数据库，将基于nosql数据存储类型的历史记录分类集存储至mongodb类型，将newsql数据存储类型的历史记录分类集存储至newsql虚拟数据库。
在存储完毕后，会删除数据库设备本地历史记录集，以用于释放数据库设备的存储空间，也可以减少数据库设备的数据量
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
可选的，本发明提供了历史数据迁移方法的实施例二，参见图2包括以下步骤：
步骤S201：获取历史记录快照信息集以及迁移规则；
步骤S202：基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集。
可选的，迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；则本步骤可以采用下述方式实现：
遍历所述历史记录快照信息集中各条历史记录快照信息：
若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定历史记录快照信息对应的历史记录属于普通数据；
若历史记录快照信息对应的存储时长大于预设时长，则确定历史记录快照信息对应的历史记录属于长期存储数据；
若历史记录快照信息中的数据类型不属于高频数据类型，则历史记录快照信息对应的历史记录属于低频率数据；
将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
步骤S203：迁移所述历史记录集至云数据库。
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
下面提供一种历史数据迁移方法的实施例三，参见图3，包括以下步骤：
步骤S301：获取历史记录快照信息集、迁移规则、预设敏感数据标识集、预设时长和高频数据类型。
步骤S302：从历史记录快照信息集获取下一条历史记录快照信息。
步骤S303：判断历史记录快照信息中的数据标识是否属于预设敏感数据标识集，若否则进入步骤S304，若是则进入步骤S308。
若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定历史记录属于普通数据，进入步骤S304。
若历史记录快照信息中的数据标识属于预设敏感数据标识集，则说明该条历史记录属于敏感数据，为了保证安全性不执行迁移操作，仍然于数据库设备存储。
步骤S304：确定历史记录快照信息对应的存储时长。
根据系统的当前时间和历史记录快照信息中创建时间，将两者的差值作为历史记录快照信息对应的存储时长。
步骤S305：判断历史记录快照信息对应的存储时长大于预设时长，若是则进入步骤S306，若否则进入步骤S308。
历史记录快照信息对应的存储时长大于预设时长，则确定历史记录属于长期存储数据，说明历史记录为已经存储较长时间，后续使用频率较低，然后再进入步骤S306。
历史记录快照信息对应的存储时长不大于预设时长，则说明历史记录为存储较短时间，后续使用频率较高，为了保证后续查询效率不执行迁移操作，仍然于数据库设备存储。
步骤S306：判断历史记录快照信息中的数据类型是否属于高频数据类型，若否则进入步骤S307；若是则进入步骤S308。
高频数据类型可以包括：交易信息类型，客户信息类型，账目信息类型等。
若历史记录快照信息中的数据类型不属于高频数据类型，则历史记录属于低频率数据，则进入步骤S307。
若历史记录快照信息中数据类型属于高频数据类型，则说明历史记录的使用频率较高，为了保证查询效率不执行迁移操作，仍然于数据库设备存储。
步骤S307：该条历史记录快照信息对应的历史记录添加至所述历史记录集中，进入步骤S308。
若该条历史记录快照信息对应的历史记录同时满足S303、S305和S306三个判断依据，则确定历史记录满足迁移规则，将历史记录添加至历史记录集中，以供后续迁移至云数据库。
步骤S308：判断历史记录快照信息集是否还有未处理历史记录快照信息，若是则进入步骤S302，若否则进入步骤S309。
步骤S309：对所述历史记录集中各个历史记录按数据存储类型执行分类操作，获得多个历史记录分类集。
从历史记录快照信息中确定各条历史记录的数据存储类型，然后，按照数据存储类型执行分类操作，获得多个历史记录分类集。
步骤S310：判断是否处于空闲时间段；若是则进入步骤S311，若否则继续等待。
步骤S311：若处于空闲时间段，则将所述多个历史记录分类集分别存储至所述云数据库中对应数据存储类别的虚拟数据库中，于本地删除所述历史记录集。
参见图4，本发明提供了一种历史数据查询方法，包括：
步骤S401：获取包含历史记录的数据标识的查询请求。
步骤S402：从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息。
步骤S403：判断所述历史记录快照信息是否满足迁移规则。
所述迁移规则包括：历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据中的一个或多个。
可选的，所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；
则所述判断所述历史记录快照信息是否满足迁移规则包括：
若所述历史记录快照信息中的数据标识属于预设敏感数据标识集，则确定不满足迁移规则；
若所述历史记录快照信息对应的存储时长不大于预设时长，则确定不满足迁移规则；
若所述历史记录快照信息中的数据类型属于高频数据类型，则确定不满足迁移规则；
若所述历史记录快照信息中的数据标识不属于预设敏感数据标识集，所述历史记录快照信息对应的存储时长大于预设时长，且，所述历史记录快照信息中的数据类型不属于高频数据类型，则确定满足迁移规则。
关于判断所述历史记录快照信息是否满足迁移规则的具体实现可以详见图S303～S307的描述，在此不再赘述。
步骤S404：若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作。
从所述历史记录快照信息确定数据存储类型；向所述云数据库中该数据存储类型对应的虚拟数据库发送所述查询请求以执行查询操作。
步骤S405：若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作。
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
与图1所示的本实施例相对应，本实施例提供一种历史数据迁移装置，参见图5包括：
获取单元51，用于获取历史记录快照信息集以及迁移规则；
确定单元52，用于基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；
迁移单元53，用于迁移所述历史记录集至云数据库。
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
与图4所示的实施例相相对应本发明提供了一种历史数据查询装置，参见图6，可以包括：
获取单元61，用于获取包含历史记录的数据标识的查询请求；
查询单元62，用于从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息；
判断单元63，用于判断所述历史记录快照信息是否满足迁移规则；
云端查询单元64，用于若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作；
本地查询单元65，用于若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作。
通过以上技术手段，可以实现以下有益效果：
本发明提供历史数据迁移方案，可以预先设定符合应用场景的迁移规则，然后基于历史记录快照信息集来验证各条历史记录是否满足迁移规则，从而确定满足迁移规则的历史记录集，并将历史记录集迁移至云数据库，也即数据库设备减少了部分历史记录。
由于本发明将数据库设备中部分历史记录迁移至云数据库，减少了数据库设备本地的历史记录数量，所以在执行查询操作时需要遍历的历史记录数量大大减少，从而可以提高查询效率。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种历史数据迁移方法，其特征在于，包括：
获取历史记录快照信息集以及迁移规则；所述历史记录快照信息集由多条历史记录快照信息组成，每条历史记录快照信息包括：历史记录的创建时间、历史记录的数据标识、历史记录的数据类型、历史记录的数据存储类型；
基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；
迁移所述历史记录集至云数据库；
其中，
所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；则所述基于所述历史记录快照信息集中满足所述迁移规则的历史记录集包括：
遍历所述历史记录快照信息集中各条历史记录快照信息：
若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定历史记录快照信息对应的历史记录属于普通数据；
若历史记录快照信息对应的存储时长大于预设时长，则确定历史记录快照信息对应的历史记录属于长期存储数据；
若历史记录快照信息中的数据类型不属于高频数据类型，则历史记录快照信息对应的历史记录属于低频率数据；
将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
2.如权利要求1所述的方法，其特征在于，所述迁移所述历史记录集至云数据库包括：
对所述历史记录集中各个历史记录按数据存储类型执行分类操作，获得多个历史记录分类集；
判断是否处于空闲时间段；
若处于空闲时间段，则将所述多个历史记录分类集分别存储至所述云数据库中对应数据存储类别的虚拟数据库中，于本地删除所述历史记录集。
3.一种历史数据查询方法，其特征在于，包括：
获取包含历史记录的数据标识的查询请求；
从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息；
判断所述历史记录快照信息是否满足迁移规则；其中，所述历史记录快照信息包括：历史记录的创建时间、历史记录的数据标识、历史记录的数据类型、历史记录的数据存储类型；
若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作；
若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作；
其中，所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；
则所述判断所述历史记录快照信息是否满足迁移规则包括：
若所述历史记录快照信息中的数据标识属于预设敏感数据标识集，则确定不满足迁移规则；
若所述历史记录快照信息对应的存储时长不大于预设时长，则确定不满足迁移规则；
若所述历史记录快照信息中的数据类型属于高频数据类型，则确定不满足迁移规则；
若所述历史记录快照信息中的数据标识不属于预设敏感数据标识集，所述历史记录快照信息对应的存储时长大于预设时长，且，所述历史记录快照信息中的数据类型不属于高频数据类型，则确定满足迁移规则。
4.如权利要求3所述的方法，其特征在于，所述于云数据库基于查询请求执行查询操作包括：
从所述历史记录快照信息确定数据存储类型；
向所述云数据库中该数据存储类型对应的虚拟数据库发送所述查询请求以执行查询操作。
5.一种历史数据迁移装置，其特征在于，包括：
获取单元，用于获取历史记录快照信息集以及迁移规则；所述历史记录快照信息集由多条历史记录快照信息组成，每条历史记录快照信息包括：历史记录的创建时间、历史记录的数据标识、历史记录的数据类型、历史记录的数据存储类型；
确定单元，用于基于所述历史记录快照信息集确定满足所述迁移规则的历史记录集；
迁移单元，用于迁移所述历史记录集至云数据库；
其中，
所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；则所述基于所述历史记录快照信息集中满足所述迁移规则的历史记录集包括：
遍历所述历史记录快照信息集中各条历史记录快照信息：
若历史记录快照信息中的数据标识不属于预设敏感数据标识集，则确定历史记录快照信息对应的历史记录属于普通数据；
若历史记录快照信息对应的存储时长大于预设时长，则确定历史记录快照信息对应的历史记录属于长期存储数据；
若历史记录快照信息中的数据类型不属于高频数据类型，则历史记录快照信息对应的历史记录属于低频率数据；
将该条历史记录快照信息对应的历史记录添加至所述历史记录集中。
6.一种历史数据查询装置，其特征在于，包括：
获取单元，用于获取包含历史记录的数据标识的查询请求；
查询单元，用于从历史记录快照信息集中查询所述数据标识对应的历史记录快照信息；
判断单元，用于判断所述历史记录快照信息是否满足迁移规则；其中，所述历史记录快照信息包括：历史记录的创建时间、历史记录的数据标识、历史记录的数据类型、历史记录的数据存储类型；
云端查询单元，用于若所述历史记录快照信息满足迁移规则，则于云数据库基于查询请求执行查询操作；
本地查询单元，用于若所述历史记录快照信息不满足迁移规则，则于数据库设备基于查询请求执行查询操作；
其中，所述迁移规则包括历史记录属于普通数据、历史记录属于长期存储数据和历史记录属于低频率数据；
则所述判断所述历史记录快照信息是否满足迁移规则包括：
若所述历史记录快照信息中的数据标识属于预设敏感数据标识集，则确定不满足迁移规则；
若所述历史记录快照信息对应的存储时长不大于预设时长，则确定不满足迁移规则；
若所述历史记录快照信息中的数据类型属于高频数据类型，则确定不满足迁移规则；
若所述历史记录快照信息中的数据标识不属于预设敏感数据标识集，所述历史记录快照信息对应的存储时长大于预设时长，且，所述历史记录快照信息中的数据类型不属于高频数据类型，则确定满足迁移规则。
CN201911325690.7A 2019-12-20 2019-12-20 历史数据迁移方法及装置、历史数据查询方法及装置 Active CN111125062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911325690.7A CN111125062B (zh) 2019-12-20 2019-12-20 历史数据迁移方法及装置、历史数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911325690.7A CN111125062B (zh) 2019-12-20 2019-12-20 历史数据迁移方法及装置、历史数据查询方法及装置

Publications (2)

Publication Number Publication Date
CN111125062A CN111125062A (zh) 2020-05-08
CN111125062B true CN111125062B (zh) 2023-10-20

Family

ID=70500633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911325690.7A Active CN111125062B (zh) 2019-12-20 2019-12-20 历史数据迁移方法及装置、历史数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN111125062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466067B (zh) * 2021-12-21 2023-08-04 天翼云科技有限公司 一种数据迁移的方法及装置、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078906A (zh) * 2012-12-26 2013-05-01 爱迪科特(北京)科技有限公司 文件透明迁移方法
CN103902593A (zh) * 2012-12-27 2014-07-02 中国移动通信集团河南有限公司 一种数据迁移的方法和装置
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置
CN110019140A (zh) * 2017-12-29 2019-07-16 华为技术有限公司 数据迁移方法、装置、设备以及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437799B2 (en) * 2016-12-02 2019-10-08 International Business Machines Corporation Data migration using a migration data placement tool between storage systems based on data access

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078906A (zh) * 2012-12-26 2013-05-01 爱迪科特(北京)科技有限公司 文件透明迁移方法
CN103902593A (zh) * 2012-12-27 2014-07-02 中国移动通信集团河南有限公司 一种数据迁移的方法和装置
CN110019140A (zh) * 2017-12-29 2019-07-16 华为技术有限公司 数据迁移方法、装置、设备以及计算机可读存储介质
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置

Also Published As

Publication number Publication date
CN111125062A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111125062B (zh) 历史数据迁移方法及装置、历史数据查询方法及装置
CN111625561A (zh) 一种数据查询方法及装置
CN110659259A (zh) 数据库迁移方法、服务器以及计算机存储介质
CN112860953A (zh) 图数据库的数据导入方法、装置、设备及存储介质
CN114138181B (zh) 一种绑定池放置组选主的方法、装置、设备及可读介质
CN113051271B (zh) 一种冷热数据分离方法、装置及其设备
US11662907B2 (en) Data migration of storage system
CN106599113B (zh) 用于网管系统海量性能数据的数据库读写方法
CN104166650B (zh) 数据存储装置和数据存储方法
CN115827646B (zh) 索引配置方法、装置和电子设备
CN110109970B (zh) 一种数据查询处理方法及装置
CN107315806B (zh) 一种基于文件系统的嵌入式存储方法和装置
CN113687920B (zh) 一种分布式系统的对象策略操作方法、装置及设备
CN115907949A (zh) 银行交易数据处理方法及装置
EP2919504A1 (en) Method and device for judging user repeatedly accessing network
CN112583864B (zh) 一种数据迁移方法及装置
CN114297318A (zh) 数据处理方法及装置
CN111427871B (zh) 数据处理方法、装置、设备
CN114518848A (zh) 分级存储系统和存储数据的处理方法、装置、设备和介质
CN109995551B (zh) 云计算系统的业务计量方法及装置
CN111881091B (zh) 数据存储方法、装置、电子设备及存储介质
CN112348657A (zh) 目标信贷用户的确定方法、装置、计算机设备及存储介质
CN110851533A (zh) 跨异构数据库的数据同步方法、装置、介质及电子设备
CN112100175A (zh) 分区数据定向传递方法及装置
US20150379129A1 (en) Method and apparatus of selecting expansion term pairs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant