CN116204534B - 数据归档方法、装置、设备及存储介质 - Google Patents

数据归档方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116204534B
CN116204534B CN202310503901.1A CN202310503901A CN116204534B CN 116204534 B CN116204534 B CN 116204534B CN 202310503901 A CN202310503901 A CN 202310503901A CN 116204534 B CN116204534 B CN 116204534B
Authority
CN
China
Prior art keywords
data
partition
source
database
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310503901.1A
Other languages
English (en)
Other versions
CN116204534A (zh
Inventor
黄少波
文建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hualei Xuntou Technology Co ltd
Original Assignee
Shenzhen Hualei Xuntou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hualei Xuntou Technology Co ltd filed Critical Shenzhen Hualei Xuntou Technology Co ltd
Priority to CN202310503901.1A priority Critical patent/CN116204534B/zh
Publication of CN116204534A publication Critical patent/CN116204534A/zh
Application granted granted Critical
Publication of CN116204534B publication Critical patent/CN116204534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库技术领域，公开了一种数据归档方法、装置、设备及存储介质。所述数据归档方法包括：连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成。本发明实现大表分区数据快速迁移和归档，为生产数据库及数据表进行减负，避免因表数据不断增长而带来的系统性能瓶颈问题。

Description

数据归档方法、装置、设备及存储介质
技术领域
本发明涉及数据库技术领域，尤其涉及一种数据归档方法、装置、设备及存储介质。
背景技术
随着数据库技术的发展，越来越多的数据库被应用在各行各业，特别是电商行业、金融行业、医疗服务行业等，每天都会产生大量的业务数据需要存储至数据库中的不同业务数据表中，且随着新增业务数据的不断注入，数据表的空间占用越来越大，数据表访问的性能也会出现瓶颈，如何缩减数据库空间占用，提高访问性能成为亟待解决的问题。
将数据表进行分区划分实现数据的分区存储，能够有效的对数据进行归档、对存储空间进行释放，从而解决上述问题，但是现有的实现数据表分区方法的软件工具需要一个时间不短的初始化的过程，它需要在客户系统第一次使用时，需要半天到一天左右的准备及初始化，在数据分区过程中因服务器资源被长时间占用会带来数据库被锁定，客户系统存在停机的风险。
发明内容
本发明提供了一种数据归档方法、装置、设备及存储介质，用于解决上述提到的技术问题。
本发明第一方面提供了一种数据归档方法，所述数据归档方法包括：
连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表。
可选的，在本发明第一方面的第一种实现方式中，通过所述客户端开始执行数据归档操作，将所述分区表中的分区数据转移到源数据库中临时的中间表中，具体包括：
所述客户端接收数据归档操作请求，所述数据归档操作请求中包含其所请求归档操作的数据对应的关键字和分区表的表名；
所述客户端对所述数据归档操作请求进行解析，获得所述表名；
所述客户端根据所述表名，对所述数据归档操作请求进行参数化处理，获得所述关键字；
所述客户端根据所述表名和所述关键字，获取与所述数据归档操作请求和所述分区表对应的分区规则；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中。
可选的，在本发明第一方面的第二种实现方式中，所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中，包括：
所述客户端根据所述分区规则以及所述关键字，确定所述数据归档操作请求所请求操作的数据所处分区的分区物理标记；
根据所述分区物理标记，在保存的分区物理位置信息中确定所述分区物理标记对应的分区物理位置信息；
根据所述分区物理标记对应的分区物理位置信息，确定所述源数据库中临时的中间表地址，并将所述数据发送给所述中间表。
可选的，在本发明第一方面的第三种实现方式中，所述通过所述客户端开始执行数据归档操作之前，包括：
所述客户端执行如下检查：
检查执行转换操作前是否已做了依次完整备份以及检查是否存在其他用户正在操作同一张数据表，如果两个检查都通过，则开始转换操作。
可选的，在本发明第一方面的第四种实现方式中，所述执行数据归档操作之前，还包括：
所述客户端执行如下检查：
所述源数据库在预设时间内是否有执行一次完整备份；
是否存在其它用户正在操作同一张数据表；
检查所述源服务器环境配置是否满足预设的执行条件；
所述分区表和所述目标数据表的表结构是否具有一致性；
所述中间表是否存在，不存在则自动创建。
可选的，在本发明第一方面的第五种实现方式中，所述对所述源数据表进行初始化之前，包括：
选择源数据表以及源数据表的分区字段；
选择分区表的存放模式；其中，所述存放模式包括主文件组或单一文件组；
选择目标数据库及目标数据表。
本发明第二方面提供了一种数据归档装置，所述数据归档装置包括：
第一连接模块，用于连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；
第二连接模块，用于连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；
数据转换模块，用于对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；
第一数据转移模块，用于通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
第二数据转移模块，用于通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表。
本发明第三方面提供了一种数据归档设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据归档设备执行上述的数据归档方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据归档方法。
本发明提供的技术方案中，有益效果：本发明提供的一种数据归档方法、装置、设备及存储介质，本发明基于MS-SQL数据库的表分区原理及BCP应用，结合MS-SQL数据库分区数据快速转移的特点，避免了在执行客户系统数据归档过程中因服务器资源被长时间占用而带来数据库表被锁定，客户系统存在停机的风险。同时，通过客户端工具对大数据表进行分区归档后，可为生产数据库及数据表进行减负，避免因数据表不断增长而带来的系统性能瓶颈问题。
附图说明
图1为本发明实施例中数据归档方法的一个实施例示意图；
图2为本发明实施例中数据归档装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据归档方法、装置、设备及存储介质，用于解决数据归档过程中因分区数据转移效率低下而导致服务器资源被长时间占用的技术问题。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本发明的具体实施例之前，先对本发明的发明构思进行简单的阐述：本发发明的客户端基于数据归档工具Data Archive Tool，简称DAT，适用于MS-SQL数据库，基于MS-SQL表分区及BCP应用，实现大表分区数据快速迁移和归档。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据归档方法的一个实施例包括：
101、连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；
102、连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；
101步骤具体的介绍如下：
打开DAT归档工具，首先弹出来的是登录连接对话框，需要设置以下连接信息：
1.源服务器的连接，其中包括：在服务器IP、登录名、密码三个输入框分别输入对应的信息，以确保源服务器的连接成功。
2.源服务器连接成功后，选择源服务器中的一个数据库作为此次连接的指定源数据库，这里称其为来源数据库。
102步骤的介绍如下：
点击目标服务器连接按钮，在弹出的对话框中，设置目标服务器即输入目标服务器IP、数据库登录名和数据库登录密码；（目标服务器可以和来源服务器是同一服务器，也可以是不同的服务器实现跨服务器归档）。
103、对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；
具体而言，在103步骤之前还需要定义需要实现分区的表，以及表的分区字段列，具体如下内容：
选择来源数据表；
选择来源数据表的分区字段（分区字段不能为NULL，可以一键去空）；选择分区后表存放的模式：主文件组、单一文件组；
选择目标数据库及目标数据表（若目标数据表不存在，会自动生成）；
所述分区规则根据添加的不同的分区值所生成，具体而言，可以支持3种字段类型，包括日期时间、数字及字符类型；
日期类型，则可以选择按月或者按年来进行分区；
数字类型，则可以按分区列最小值1.000000至分区列最大值3.000000进行分区。
字符类型，则可以按烽火、华为、中兴等字符进行分区。
执行分区，执行分区指按以上的操作，对数据表添加了分区规则后，现执行分区操作，DAT工具则会按每一张数据表的分区规则进行分区的动作。
104、通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中。
在客户端主界面，先在界面左侧选中要执行归档的分区表，然后在主界面右侧（分区列表页），选择要归档的分区项，点击［手动分区归档］。
105、通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表。
客户端执行数据迁移和归档，把分区表的数据先转移到中间表，然后再通过数据库的BCP特性，快速把中间表的数据转移到目标表，最后，删除中间表（包括数据）。
本发明实施例中，有益效果：本发明实施例通过对数据表进行分区归档后，可为生产数据库及数据表进行减负，避免因表数据不断增长而带来的系统性能瓶颈问题。
本发明实施例中数据归档方法的另一个实施例包括：
通过所述客户端开始执行数据归档操作，将所述分区表中的分区数据转移到源数据库中临时的中间表中，具体包括：
所述客户端接收数据归档操作请求，所述数据归档操作请求中包含其所请求归档操作的数据对应的关键字和分区表的表名；
所述客户端对所述数据归档操作请求进行解析，获得所述表名；
所述客户端根据所述表名，对所述数据归档操作请求进行参数化处理，获得所述关键字；
所述客户端根据所述表名和所述关键字，获取与所述数据归档操作请求和所述分区表对应的分区规则；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中。
具体而言，所述关键字可以为数据库记录中包含的键值对中的“键(key)”。
客户端上保存的各分区规则可以分别与一个或多个参数化(或者，也可以称为模板化)的数据归档操作请求建立有对应关系，其中，每个参数化的数据归档操作请求可以反映某一个或某一类数据归档操作请求包含的关键字以及关键字的取值限定情况等，每一类数据归档操作请求参数化处理结果可以是相同的，参数化处理结果至少可以包括数据归档操作请求包含的关键字。
本发明实施例中数据归档方法的另一个实施例包括：
所述通过所述客户端开始执行数据归档操作之前，包括：
所述客户端执行如下检查：
检查执行转换操作前是否已做了依次完整备份以及检查是否存在其他用户正在操作同一张数据表，如果两个检查都通过，则开始转换操作。
本发明实施例中数据归档方法的另一个实施例包括：
所述执行数据归档操作之前，还包括：
所述客户端执行如下检查：
所述源数据库在预设时间内是否有执行一次完整备份；
是否存在其它用户正在操作同一张数据表；
检查所述源服务器环境配置是否满足预设的执行条件；
所述分区表和所述目标数据表的表结构是否具有一致性；
所述中间表是否存在，不存在则自动创建。
具体而言，上述检查如下解释：
1.检查在要求的时间内，是否已完成一次完整备份的操作；（可选）
2.检查源服务器环境配置是否满足要求；
3.检查源表（分区表）和目标表结构是否一致，包括字段名称和字段类型；
4.检查客户端环境是否开启了杀毒软件（如360安全卫士戒360杀毒软件），如开启，需要先关闭；
若以上四项检查完成后，则执行归档操作。
本发明实施例中数据归档方法的另一个实施例包括：
所述对所述源数据表进行初始化之前，包括：
选择源数据表以及源数据表的分区字段；
选择分区表的存放模式；其中，所述存放模式包括主文件组或单一文件组；
选择目标数据库及目标数据表。
具体而言，选择来源数据库，以及来源表，选择来源表要分区的列；
选择存放模式：选择分区后表存放的方式；
选择目标数据库，以及目标表，目标表也可以直接输入，如果目标表不存在工具会自动创建(目标表的名字必须包含源表的名字)。
上面对本发明实施例中数据归档方法进行了描述，下面对本发明实施例中数据归档装置进行描述，请参阅图2，本发明实施例中数据归档装置1一个实施例包括：
第一连接模块11，用于连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；
第二连接模块12，用于连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；
数据转换模块13，用于对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；
第一数据转移模块14，用于通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
第二数据转移模块15，用于通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表。
本发明还提供一种数据归档设备，所述数据归档设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据归档方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据归档方法的步骤。
本发明提供的实施例中，有益效果：本发明提供的一种数据归档方法、装置、设备及存储介质，本发明基于MS-SQL数据库的表分区原理及BCP应用，结合MS-SQL数据库分区数据快速转移的特点，避免了在执行客户系统数据归档过程中因服务器资源被长时间占用而带来数据库表被锁定，客户系统存在停机的风险。同时，通过客户端工具对大表数据进行分区归档后，可为生产数据库及数据表进行减负，避免因表数据不断增长而带来的系统性能瓶颈问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种数据归档方法，应用于MS-SQL数据库，其特征于，包括：
连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；
连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；
对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；
通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表；
通过所述客户端开始执行数据归档操作，将所述分区表中的分区数据转移到源数据库中临时的中间表中，具体包括：
所述客户端接收数据归档操作请求，所述数据归档操作请求中包含其所请求归档操作的数据对应的关键字和分区表的表名；
所述客户端对所述数据归档操作请求进行解析，获得所述表名；
所述客户端根据所述表名，对所述数据归档操作请求进行参数化处理，获得所述关键字；
所述客户端根据所述表名和所述关键字，获取与所述数据归档操作请求和所述分区表对应的分区规则；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中，包括：
所述客户端根据所述分区规则以及所述关键字，确定所述数据归档操作请求所请求操作的数据所处分区的分区物理标记；
根据所述分区物理标记，在保存的分区物理位置信息中确定所述分区物理标记对应的分区物理位置信息；
根据所述分区物理标记对应的分区物理位置信息，确定所述源数据库中临时的中间表地址，并将所述数据发送给所述中间表。
2.根据权利要求1所述的方法，其特征在于，所述通过所述客户端开始执行数据归档操作之前，包括：
所述客户端执行如下检查：
检查执行转换操作前是否已做了依次完整备份以及检查是否存在其他用户正在操作同一张数据表，如果两个检查都通过，则开始转换操作。
3.根据权利要求1所述的方法，其特征在于，所述执行数据归档操作之前，还包括：
所述客户端执行如下检查：
所述源数据库在预设时间内是否有执行一次完整备份；
是否存在其它用户正在操作同一张数据表；
检查所述源服务器环境配置是否满足预设的执行条件；
所述分区表和所述目标数据表的表结构是否具有一致性；
所述中间表是否存在，不存在则自动创建。
4.根据权利要求1所述的方法，其特征在于，所述对所述源数据表进行初始化之前，包括：
选择源数据表以及源数据表的分区字段；
选择分区表的存放模式；其中，所述存放模式包括主文件组或单一文件组；
选择目标数据库及目标数据表。
5.一种数据归档装置，其特征在于，所述数据归档装置包括：
第一连接模块，用于连接源服务器，并在所述源服务器中定义源数据库以及所述源数据库下的源数据表；
第二连接模块，用于连接目标服务器，并在所述目标服务器下定义目标数据库以及所述目标数据库下的目标数据表；
数据转换模块，用于对所述源数据表进行初始化，按照分区规则将所述源数据表转换为多个分区表，同时将所述源数据表的索引转换为分区表字段索引；其中，所述分区规则根据添加的不同的分区值所生成；
第一数据转移模块，用于通过客户端开始执行数据归档操作，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
第二数据转移模块，用于通过调用MS-SQL数据库的SQL指令，结合MS-SQL数据库的BCP特性，导出所述中间表中的数据并导入所述目标数据表中，并移除所述源数据库中的所述中间表；
第一数据转移模块，具体用于：
所述客户端接收数据归档操作请求，所述数据归档操作请求中包含其所请求归档操作的数据对应的关键字和分区表的表名；
所述客户端对所述数据归档操作请求进行解析，获得所述表名；
所述客户端根据所述表名，对所述数据归档操作请求进行参数化处理，获得所述关键字；
所述客户端根据所述表名和所述关键字，获取与所述数据归档操作请求和所述分区表对应的分区规则；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中；
所述客户端根据所述分区规则和所述数据归档操作请求，将所述分区表中的分区数据转移到所述源数据库中临时的中间表中，包括：
所述客户端根据所述分区规则以及所述关键字，确定所述数据归档操作请求所请求操作的数据所处分区的分区物理标记；
根据所述分区物理标记，在保存的分区物理位置信息中确定所述分区物理标记对应的分区物理位置信息；
根据所述分区物理标记对应的分区物理位置信息，确定所述源数据库中临时的中间表地址，并将所述数据发送给所述中间表。
6.一种数据归档设备，其特征在于，所述数据归档设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据归档设备执行如权利要求1-4中任一项所述的数据归档方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-4中任一项所述的数据归档方法。
CN202310503901.1A 2023-05-06 2023-05-06 数据归档方法、装置、设备及存储介质 Active CN116204534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310503901.1A CN116204534B (zh) 2023-05-06 2023-05-06 数据归档方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310503901.1A CN116204534B (zh) 2023-05-06 2023-05-06 数据归档方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116204534A CN116204534A (zh) 2023-06-02
CN116204534B true CN116204534B (zh) 2023-07-07

Family

ID=86519514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310503901.1A Active CN116204534B (zh) 2023-05-06 2023-05-06 数据归档方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116204534B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521619B (zh) * 2024-01-04 2024-03-29 北京百灵天地环保科技股份有限公司 基于下位机的报表生成方法、计算机设备与存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251861A (zh) * 2008-03-18 2008-08-27 北京锐安科技有限公司 一种海量数据加载和查询的方法
CN101639839A (zh) * 2008-07-30 2010-02-03 中兴通讯股份有限公司 一种基于临时表的多归档文件查询方法
CN109189761A (zh) * 2018-08-31 2019-01-11 中国农业银行股份有限公司 一种数据迁移方法和装置
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN114880409A (zh) * 2022-06-15 2022-08-09 中银金融科技有限公司 数据表归档方法及相关装置
CN115237852A (zh) * 2022-07-28 2022-10-25 广州赛意信息科技股份有限公司 基于mes系统的数据归档和还原的方法、系统、介质及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251861A (zh) * 2008-03-18 2008-08-27 北京锐安科技有限公司 一种海量数据加载和查询的方法
CN101639839A (zh) * 2008-07-30 2010-02-03 中兴通讯股份有限公司 一种基于临时表的多归档文件查询方法
CN109189761A (zh) * 2018-08-31 2019-01-11 中国农业银行股份有限公司 一种数据迁移方法和装置
CN112181945A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 数据归档处理方法、装置、计算机设备及存储介质
CN114880409A (zh) * 2022-06-15 2022-08-09 中银金融科技有限公司 数据表归档方法及相关装置
CN115237852A (zh) * 2022-07-28 2022-10-25 广州赛意信息科技股份有限公司 基于mes系统的数据归档和还原的方法、系统、介质及装置

Also Published As

Publication number Publication date
CN116204534A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110799960B (zh) 数据库租户迁移的系统和方法
JP5731000B2 (ja) 差分バックアップからのデータベースの個別復元を実行する方法及びシステム
US12001452B2 (en) Search and analytics for storage systems
US10909260B2 (en) Methods for data masking and devices thereof
CN116204534B (zh) 数据归档方法、装置、设备及存储介质
EP3921755A1 (en) Leveraging blockchain technology for auditing cloud service for data protection compliance
WO2009009556A1 (en) Method and system for performing a scan operation on a table of a column-oriented database
US20070073675A1 (en) Database query translation
CN111221791A (zh) 一种多源异构数据导入数据湖的方法
US11741144B2 (en) Direct storage loading for adding data to a database
AU2019349429B2 (en) Translation of tenant identifiers
RU2525743C2 (ru) Системы и способы для передачи файлов данных, независимо от платформы
WO2024021861A1 (zh) 数据恢复方法及电子设备
US20230169036A1 (en) System and method for deleting parent snapshots of running points of storage objects using extent ownership values
US8108349B1 (en) Directory services integration and replication system
CN112889039A (zh) 用于克隆后租户标识符转换的记录的标识
CN115563073A (zh) 分布式元数据的数据处理的方法、装置及电子设备
US20050071420A1 (en) Generalized credential and protocol management of infrastructure
CN111680069B (zh) 数据库访问方法及装置
Stoddard et al. Tanium reveal: a federated search engine for querying unstructured file data on large enterprise networks
EP4042286A1 (en) Reliable detection of deleted assets in data stores
CN112597127B (zh) 跨集群的访问方法、装置、设备及存储介质
JP7328884B2 (ja) データ管理計算機及びデータ管理方法
US20240037068A1 (en) System and method of large file extraction
CN117389986A (zh) 数据库兼容性评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant