CN115563087A - 一种greenplum自动冷温热分区数据迁移系统 - Google Patents

一种greenplum自动冷温热分区数据迁移系统 Download PDF

Info

Publication number
CN115563087A
CN115563087A CN202211464232.3A CN202211464232A CN115563087A CN 115563087 A CN115563087 A CN 115563087A CN 202211464232 A CN202211464232 A CN 202211464232A CN 115563087 A CN115563087 A CN 115563087A
Authority
CN
China
Prior art keywords
partition
hot
cold
temperature
warm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211464232.3A
Other languages
English (en)
Other versions
CN115563087B (zh
Inventor
任尚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepexi Technology Co Ltd
Original Assignee
Beijing Deepexi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepexi Technology Co Ltd filed Critical Beijing Deepexi Technology Co Ltd
Priority to CN202211464232.3A priority Critical patent/CN115563087B/zh
Publication of CN115563087A publication Critical patent/CN115563087A/zh
Application granted granted Critical
Publication of CN115563087B publication Critical patent/CN115563087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种greenplum自动冷温热分区数据迁移系统；所述greenplum自动冷温热分区数据迁移系统包括：定时模块、热温转换模块、温冷转换模块和表管理模块；所述定时模块的定时信号端与所述表管理模块的信号端相连；所述表管理模块的分区控制信号输出端分别与所述热温转换模块和温冷转换模块的转换控制信号输入端相连。

Description

一种greenplum自动冷温热分区数据迁移系统
技术领域
本发明提出了一种greenplum自动冷温热分区数据迁移系统，属于计算机软件技术领域。
背景技术
数据有热点数据和普通数据，热点数据需要支持快速的访问和更改，普通数据要求就稍微低一些。但是因为磁盘速度越快和容量越大价格越高，当数据量达到一定层度时，如果将所有数据都存储在快速磁盘，会导致极大的资金浪费。
因此，需要有一种技术能实现兼顾数据访问体验和存储成本的问题。即不影响数据访问体验的情况下，还能节约一定的储存成本。
目前有的技术主要有两点：第一、不进行数据分区，所有数据存储于同一存储介质中；第二、手动进行分区，定期人工进行数据分区迁移。这就导致现有技术存在磁盘的速度越快和价格越高，同时，存在如下问题：
第一、不进行冷热分区的情况下，长时间不用的数据会消耗宝贵的磁盘资源，如果使用速度慢的磁盘，则热点数据读写性能就会受到极大的影响。
第二、使用手工方式进行数据迁移，操作繁琐，并且缺乏灵活性。
发明内容
本发明提供了一种greenplum自动冷温热分区数据迁移系统，为了解决上述现有技术中存在的技术问题，所采取的技术方案如下：
一种greenplum自动冷温热分区数据迁移系统，所述greenplum自动冷温热分区数据迁移系统包括：定时模块、热温转换模块、温冷转换模块和表管理模块；所述定时模块的定时信号端与所述表管理模块的信号端相连；所述表管理模块的分区控制信号输出端分别与所述热温转换模块和温冷转换模块的转换控制信号输入端相连。
进一步地，所述定时模块，用于负责按照设定的时间及配置，调用表管理模块创建新的热分区，并调用热温转换模块和温冷转换模块执行热温分区转换和温冷分区转换；
所述表管理模块，用于负责根据配置要求创建热分区空间、温分区空间、S3/HDFS协议以及控制表名命名规范；
所述热温转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的热温迁移和清理无用分区，并按照约束修改新分区名字；
所述温冷转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的温冷迁移和清理无用分区，并按照约束修改新分区名字。
进一步地，所述定时模块的定时方法包括：
步骤A01、根据配置创建定时器；
步骤A02、调用表管理模块创建新的热分区；
步骤A03、调用热温转换模块执行热分区到温分区的数据迁移；
步骤A04、调用温冷转换模块执行温分区到冷分区的数据迁移。
进一步地，所述定时模块的超室间隔根据分区粒度进行设置。
进一步地，所述表管理模块的运行过程包括：
步骤B01、读取用户配置规则；
步骤B02、根据所述用户配置规则创建冷空间协议S3/HDFS
步骤B03、创建热空间指向SSD；
步骤B04、创建温空间指向HDD；
步骤B05、创建一个或多个新的热分区命名，其中，所述新的热分区命名必须为表名。
进一步地，所述表管理模块在所述greenplum自动冷温热分区数据迁移系统的初始化阶段执行一次。
进一步地，所述热温转换模块进行数据的热温迁移的方法，包括：
步骤C01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤C02、从pg_inherits表中筛选出需要转化的源表的热分区，并判断是否存在需要转化的所述源表的热分区；如果存在需要转化的所述源表的热分区，则执行步骤C03；如果不存在需要转化的所述源表的热分区，则结束；
步骤C03、在温分区建立临时表；
步骤C04、将源表热分区的数据添加插入到温分区临时表中，形成新临时表；
步骤C05、使用alert table命令进行所述新临时表和源表热分区的原有的源表热分区表进行替换，并将被替换出来的源表热分区表予以删除；
步骤C06、将替换掉源表热分区表的所述新临时表进行分区名字修改；
步骤C07、循环重复步骤C01-步骤C06的内容，持续执行数据的热温迁移。
进一步地，所述温冷转换模块进行数据的温冷迁移的方法包括：
步骤D01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤D02、从pg_inherits表中筛选出需要转化的源表的温分区，并判断是否存在需要转化的所述源表的温分区；如果存在需要转化的所述源表的温分区，则执行步骤D03；如果不存在需要转化的所述源表的温分区，则结束；
步骤D03、在冷空间创建可读表；
步骤D04、在冷空间创建可写表；
步骤D05、在原始表温分区的数据插入至冷空间临时可写表中，并将冷空间原有的临时可写表删除；
步骤D06、使用alert table命令进行令空间临时可读表与温分区的原有的源表温分区表的替换，并将被替换出来的源表温分区表予以删除；
步骤D07、将替换掉的源表温分区表的所述空间临时可读表进行分区名字修改；
步骤D08、循环重复步骤D01-步骤D07的内容，持续执行数据的温冷迁移。
本发明有益效果：
本发明提出的一种greenplum自动冷温热分区数据迁移系统能够实现热点数据快速更新与访问，非热点数据支持更新与访问，同时，热点数据和非热点数据归属于同一张表；有效降低数据存储成本，无需人为干预，有效提高数据迁移的自动化性能，并有效降低人工消耗。最大限度降低数据存储成本，并且，热点数据查询更改性能不会发生变化，不会对其他访问频率低的数据造成影响，同时，无需人员操纵，简单方便，扩展性好。
附图说明
图1为本发明所述greenplum自动冷温热分区数据迁移系统的系统原理图；
图2为本发明所述定时模块的执行流程图；
图3为本发明所述表管理模块的执行流程图；
图4为本发明所述热温转换模块的执行流程图；
图5为本发明所述温冷转换模块的执行流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出了一种greenplum自动冷温热分区数据迁移系统，所述greenplum自动冷温热分区数据迁移系统包括：定时模块、热温转换模块、温冷转换模块和表管理模块；所述定时模块的定时信号端与所述表管理模块的信号端相连；所述表管理模块的分区控制信号输出端分别与所述热温转换模块和温冷转换模块的转换控制信号输入端相连。
如图1所示，所述定时模块，用于负责按照设定的时间及配置，调用表管理模块创建新的热分区，并调用热温转换模块和温冷转换模块执行热温分区转换和温冷分区转换；
所述表管理模块，用于负责根据配置要求创建热分区空间、温分区空间、S3/HDFS协议以及控制表名命名规范；
所述热温转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的热温迁移和清理无用分区，并按照约束修改新分区名字；
所述温冷转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的温冷迁移和清理无用分区，并按照约束修改新分区名字。
本实施例提出的一种greenplum自动冷温热分区数据迁移系统通过所述表管理模块负责根据配置要求创建热分区空间、温分区空间、S3/HDFS协议以及控制表名命名规范；然后，利用所述热温转换模块负责将表管理模块传入的表按照配置规则进行数据的热温迁移和清理无用分区，并按照约束修改新分区名字；最后，利用所述温冷转换模块负责将表管理模块传入的表按照配置规则进行数据的温冷迁移和清理无用分区，并按照约束修改新分区名字。
如图2所示，所述定时模块的定时方法包括：
步骤A01、根据配置创建定时器；
步骤A02、调用表管理模块创建新的热分区；
步骤A03、调用热温转换模块执行热分区到温分区的数据迁移；
步骤A04、调用温冷转换模块执行温分区到冷分区的数据迁移。
其中，所述定时模块的超室间隔根据分区粒度进行设置。
定时器模块可以是数据库管理平台的任务，也可以是Linux的定时任务。主要负责定时调用表管理模块与热温冷数据迁移模块。超时间隔可以根据表的分区粒度进行设置，如24小时，一周等；同时，所述超时间隔还可以通过如下公式获取：
Figure 768712DEST_PATH_IMAGE001
其中，T表示超时间隔；T 0表示基础时间，并且，所述基础时间设置范围为12-72小时；H 1和H 2分别表示数据迁移对应的两个分区对应的柱面数量；H x 表示数据迁移的目标分区对应的柱面数量，x=1或2；H y 表示数据迁移的起始分区对应的柱面数量，y=1或2；通过上述方式设置的超时间隔能够根据每个分区和数据迁移的实际情况进行设定，能够有效提高超时间隔的设置合理性。防止统一的超时间隔设置导致其无法与数据迁移的实际情况配合，导致超时间隔设置不合理的问题发生。
超时间隔，需要根据实际场景进行设置，因为，热分区数据存储在SSD，温分区在普通磁盘，冷分区在S3上。超时时间间隔越长，存储在热分区数据越多，磁盘花费就会越高，但是对查询、分析、及数据更新性能特别友好。反之超时时间越短，磁盘花费就会越少，但是查询、分析、更新性能就会差一些。如果数据分布时间跨度比较大，比如经常有5天之前的更新数据到来，那么时间跨度设置的大一点比较好，更新比较快，查询也快；如果数据时间界限明显，3天之后的数据基本只是查询，就可以将时间跨度设置的小一点，可以节约成本。
如图3所示，所述表管理模块的运行过程包括：
步骤B01、读取用户配置规则；
步骤B02、根据所述用户配置规则创建冷空间协议S3/HDFS
步骤B03、创建热空间指向SSD；
步骤B04、创建温空间指向HDD；
步骤B05、创建一个或多个新的热分区命名，其中，所述新的热分区命名必须为表名。
其中，表管理模块的主要功能是根据用户提供的磁盘类型创建不同的表空间，以及创建S3/HDFS协议，此操作在系统初始化的时候执行一次即可。此外，提供创建新分区功能，新分区的必须按照特定的表命名规范进行创建。
如图4所示，所述热温转换模块进行数据的热温迁移的方法，包括：
步骤C01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤C02、从pg_inherits表中筛选出需要转化的源表的热分区，并判断是否存在需要转化的所述源表的热分区；如果存在需要转化的所述源表的热分区，则执行步骤C03；如果不存在需要转化的所述源表的热分区，则结束；
步骤C03、在温分区建立临时表；
步骤C04、将源表热分区的数据添加插入到温分区临时表中，形成新临时表；
步骤C05、使用alert table命令进行所述新临时表和源表热分区的原有的源表热分区表进行替换，并将被替换出来的源表热分区表予以删除；
步骤C06、将替换掉源表热分区表的所述新临时表进行分区名字修改；
步骤C07、循环重复步骤C01-步骤C06的内容，持续执行数据的热温迁移。
热温转换模块主要功能是：
1、读取参数，如表空间，表名，转化步长（如将前7天的数据转化为温分区，步长为7），初始化一系列参数。
2、从表pg_inherits中查找所有需要转化的热分区，然后循环将每一个热分区进行下一步处理。
3、在温空间创建临时表warmtable，将热分区数据导入临时表warmtable，然后调用greenplum的exchange功能转换将原表的热分区指向温空间临时表，而原来温分区warmtable表指向原表热分区。
4、删除置换出来的热分区warmtable，然后修改热分区名称，从tablename_yyyymmdd_hot到tablename_yyyymmdd_warm。
5、继续处理下一个热分区，直到所有的分区处理完成。
如图5所示，所述温冷转换模块进行数据的温冷迁移的方法包括：
步骤D01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤D02、从pg_inherits表中筛选出需要转化的源表的温分区，并判断是否存在需要转化的所述源表的温分区；如果存在需要转化的所述源表的温分区，则执行步骤D03；如果不存在需要转化的所述源表的温分区，则结束；
步骤D03、在冷空间创建可读表；
步骤D04、在冷空间创建可写表；
步骤D05、在原始表温分区的数据插入至冷空间临时可写表中，并将冷空间原有的临时可写表删除；
步骤D06、使用alert table命令进行令空间临时可读表与温分区的原有的源表温分区表的替换，并将被替换出来的源表温分区表予以删除；
步骤D07、将替换掉的源表温分区表的所述空间临时可读表进行分区名字修改；
步骤D08、循环重复步骤D01-步骤D07的内容，持续执行数据的温冷迁移。
温冷转换模块主要功能是：
1、读取参数，如表空间，表名，转化步长（如将前7天的数据转化为冷分区，步长为7），初始化一系列参数。
2、从表pg_inherits中查找所有需要转化的温分区，然后循环将每一个温分执行下一步操作。
3、在冷空间分别创建可写临时表coldtable_write，可读临时表coldtable_read，两个临时表指向同一个csv文件（因为冷分区表仅支持读或者写，不能同事支持读写）。将温分区数据导入临时表coldtable_write，然后调用greenplum的exchange转换将原表的温分区指向冷空间临时表coldtable_read，而原来冷分区coldtable_read表指向原表温分区。
4、删除冷分区制度表coldtable_write，删除置换出来的热分区coldtable_read，然后修改温分区名称tablename_yyyymmdd_warm到tablename_yyyymmdd_cold。
继续处理下一个温分区，直到所有的分区处理完成。
上述技术方案的效果为：本实施例提出的一种greenplum自动冷温热分区数据迁移系统能够实现热点数据快速更新与访问，非热点数据支持更新与访问，同时，热点数据和非热点数据归属于同一张表；有效降低数据存储成本，无需人为干预，有效提高数据迁移的自动化性能，并有效降低人工消耗。最大限度降低数据存储成本，并且，热点数据查询更改性能不会发生变化，不会对其他访问频率低的数据造成影响，同时，无需人员操纵，简单方便，扩展性好。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种greenplum自动冷温热分区数据迁移系统，其特征在于，所述greenplum自动冷温热分区数据迁移系统包括：定时模块、热温转换模块、温冷转换模块和表管理模块；所述定时模块的定时信号端与所述表管理模块的信号端相连；所述表管理模块的分区控制信号输出端分别与所述热温转换模块和温冷转换模块的转换控制信号输入端相连。
2.根据权利要求1所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述定时模块，用于负责按照设定的时间及配置，调用表管理模块创建新的热分区，并调用热温转换模块和温冷转换模块执行热温分区转换和温冷分区转换；
所述表管理模块，用于负责根据配置要求创建热分区空间、温分区空间、S3/HDFS协议以及控制表名命名规范；
所述热温转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的热温迁移和清理无用分区，并按照约束修改新分区名字；
所述温冷转换模块，用于负责将表管理模块传入的表按照配置规则进行数据的温冷迁移和清理无用分区，并按照约束修改新分区名字。
3.根据权利要求1所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述定时模块的定时方法包括：
步骤A01、根据配置创建定时器；
步骤A02、调用表管理模块创建新的热分区；
步骤A03、调用热温转换模块执行热分区到温分区的数据迁移；
步骤A04、调用温冷转换模块执行温分区到冷分区的数据迁移。
4.根据权利要求3所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述定时模块的超室间隔根据分区粒度进行设置。
5.根据权利要求1所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述表管理模块的运行过程包括：
步骤B01、读取用户配置规则；
步骤B02、根据所述用户配置规则创建冷空间协议S3/HDFS
步骤B03、创建热空间指向SSD；
步骤B04、创建温空间指向HDD；
步骤B05、创建一个或多个新的热分区命名，其中，所述新的热分区命名必须为表名。
6.根据权利要求5所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述表管理模块在所述greenplum自动冷温热分区数据迁移系统的初始化阶段执行一次。
7.根据权利要求2所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述热温转换模块进行数据的热温迁移的方法，包括：
步骤C01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤C02、从pg_inherits表中筛选出需要转化的源表的热分区，并判断是否存在需要转化的所述源表的热分区；如果存在需要转化的所述源表的热分区，则执行步骤C03；如果不存在需要转化的所述源表的热分区，则结束；
步骤C03、在温分区建立临时表；
步骤C04、将源表热分区的数据添加插入到温分区临时表中，形成新临时表；
步骤C05、使用alert table命令进行所述新临时表和源表热分区的原有的源表热分区表进行替换，并将被替换出来的源表热分区表予以删除；
步骤C06、将替换掉源表热分区表的所述新临时表进行分区名字修改；
步骤C07、循环重复步骤C01-步骤C06的内容，持续执行数据的热温迁移。
8.根据权利要求2所述greenplum自动冷温热分区数据迁移系统，其特征在于，所述温冷转换模块进行数据的温冷迁移的方法包括：
步骤D01、读取参数，其中，所述参数包括schema、table和转换间隔；
步骤D02、从pg_inherits表中筛选出需要转化的源表的温分区，并判断是否存在需要转化的所述源表的温分区；如果存在需要转化的所述源表的温分区，则执行步骤D03；如果不存在需要转化的所述源表的温分区，则结束；
步骤D03、在冷空间创建可读表；
步骤D04、在冷空间创建可写表；
步骤D05、在原始表温分区的数据插入至冷空间临时可写表中，并将冷空间原有的临时可写表删除；
步骤D06、使用alert table命令进行令空间临时可读表与温分区的原有的源表温分区表的替换，并将被替换出来的源表温分区表予以删除；
步骤D07、将替换掉的源表温分区表的所述空间临时可读表进行分区名字修改；
步骤D08、循环重复步骤D01-步骤D07的内容，持续执行数据的温冷迁移。
CN202211464232.3A 2022-11-17 2022-11-17 一种greenplum自动冷温热分区数据迁移系统 Active CN115563087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211464232.3A CN115563087B (zh) 2022-11-17 2022-11-17 一种greenplum自动冷温热分区数据迁移系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211464232.3A CN115563087B (zh) 2022-11-17 2022-11-17 一种greenplum自动冷温热分区数据迁移系统

Publications (2)

Publication Number Publication Date
CN115563087A true CN115563087A (zh) 2023-01-03
CN115563087B CN115563087B (zh) 2023-04-11

Family

ID=84769947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211464232.3A Active CN115563087B (zh) 2022-11-17 2022-11-17 一种greenplum自动冷温热分区数据迁移系统

Country Status (1)

Country Link
CN (1) CN115563087B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290375A1 (en) * 2012-04-30 2013-10-31 Eric A. Anderson Dynamic Partitioning of a Data Structure
CN110515925A (zh) * 2019-08-27 2019-11-29 江苏华库数据技术有限公司 基于跨引擎数据库实现数据全生命周期在线管理的方法
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290375A1 (en) * 2012-04-30 2013-10-31 Eric A. Anderson Dynamic Partitioning of a Data Structure
CN110515925A (zh) * 2019-08-27 2019-11-29 江苏华库数据技术有限公司 基于跨引擎数据库实现数据全生命周期在线管理的方法
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
喵叔哟: "存储优化--分区与冷热分离", 《CSDN》 *
磨叽SP: "pxf 分区表(exchange)实现的冷热分离https://blog.csdn.net/shipeng1022/article/details/116270590", 《CSDN》 *

Also Published As

Publication number Publication date
CN115563087B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN108268217B (zh) 一种基于时序数据冷热分类的分层存储方法
CN103336849B (zh) 一种数据库检索系统中提高检索速度的方法及装置
CN104536904B (zh) 一种数据管理的方法、设备与系统
US9710505B1 (en) Systems and methods for reducing database index contention and generating unique database identifiers
CN114138193B (zh) 一种分区命名空间固态硬盘的数据写入方法、装置及设备
CN105354315A (zh) 分布式数据库中子表分裂的方法、子表节点和系统
CN101364217A (zh) 数据库中数据维护方法、设备及其系统
US12008380B2 (en) Discovery controller-based nonvolatile memory express namespace resolution services
CN109885642A (zh) 面向全文检索的分级存储方法及装置
CN107329904A (zh) 数据读取方法及装置
CN113297171A (zh) 数据库迁移方法及装置、数据库集群
CN102968456A (zh) 一种栅格数据读取处理方法和装置
CN115563087B (zh) 一种greenplum自动冷温热分区数据迁移系统
US20150309929A1 (en) Computer system, data management method, and recording medium for storing program
US20130304707A1 (en) Data Archiving Approach Leveraging Database Layer Functionality
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
US7890456B2 (en) Sharing of database objects
CN105847329B (zh) 一种基于股票数据服务器的管理设备及方法
CN112817930A (zh) 一种数据迁移的方法和装置
CN106570189A (zh) 一种计算机应用系统和文档便捷管理方法
WO2022188573A1 (en) Soft deletion of data in sharded databases
CN115344603A (zh) 运价数据存储方法、装置、电子设备和计算机存储介质
CN111309932B (zh) 评论数据的查询方法、装置、设备及存储介质
CN110019221B (zh) 一种内存映像型数据库系统
CN115718571B (zh) 一种基于多维度特征的数据管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant