CN111880744B - 一种数据迁移方法、装置、电子设备和介质 - Google Patents

一种数据迁移方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN111880744B
CN111880744B CN202010746730.1A CN202010746730A CN111880744B CN 111880744 B CN111880744 B CN 111880744B CN 202010746730 A CN202010746730 A CN 202010746730A CN 111880744 B CN111880744 B CN 111880744B
Authority
CN
China
Prior art keywords
data
migration
label
heat
data type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010746730.1A
Other languages
English (en)
Other versions
CN111880744A (zh
Inventor
苑忠科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010746730.1A priority Critical patent/CN111880744B/zh
Publication of CN111880744A publication Critical patent/CN111880744A/zh
Application granted granted Critical
Publication of CN111880744B publication Critical patent/CN111880744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据迁移方法，包括：对存储池的各区域的数据操作的热度和数据操作的并发程度进行统计，得到统计结果；根据统计结果更新区域的热度标签和并发标签；根据热度标签和并发标签，确定对应的区域的数据类型；根据数据类型，控制对应的数据进行分层迁移。本申请通过对存储池中的各区域的数据操作和对应的并发程度进行统计，并根据统计结果更新热度标签和并发标签，得到数据类型后，控制数据进行分层迁移，以使优化分层迁移策略，提高了全闪阵列的性能。本申请同时还提供了一种数据迁移装置和电子设备及计算机可读存储介质，均具有上述有益效果。

Description

一种数据迁移方法、装置、电子设备和介质
技术领域
本申请涉及数据迁移技术领域，特别涉及一种数据迁移方法、数据迁移装置、电子设备和计算机可读存储介质。
背景技术
随着plc qlc tlc mlc slc等nand介质技术的发展以及nvme接口协议的应用，硬盘的性能得到了大幅的提升，引起了存储行业里的一次大的变革，这也为云计算、大数据等新兴业务的迅猛发展提供了有力的支撑。
相关技术中提供采用的传统的方式执行数据迁移策略，但是数据迁移的准确性较低，造成全闪阵列的性能较低。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种数据迁移方法、装置、电子设备和计算机可读存储介质，采用热度和并发度进行热点统计，以使优化分层迁移策略，提高了全闪阵列的性能。其具体方案如下：
本申请提供了一种数据迁移方法，包括：
对存储池的各区域的数据操作的热度和所述数据操作的并发程度进行统计，得到统计结果；
根据所述统计结果更新所述区域的热度标签和并发标签；
根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型；
根据所述数据类型，控制对应的数据进行分层迁移。
优选的，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是写热数据类型或混合热数据类型时，则按照所述数据的优先级将所述数据保留到tier0层或者迁移到所述tier0层；
所述优先级具体为：高中并发写热点数据的优先级>高中并发混合热点数据的优先级>低并发混合热点数据的优先级>低并发写热点数据的优先级。
优选的，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是低并发读热数据类型时，则将所述数据保留到tier0层或者迁移到所述tier0层。
优选的，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是高/中并发读热点数据类型时，则将所述数据保留到nand层或者迁移到所述nand层。
优选的，还包括：
获取新区域数据，并将所述新区域数据存储至tier0层；
判断所述tier0层的剩余空间是否小于第一预设阈值；
若小于所述第一预设阈值，则判断所述剩余空间是否小于第二预设阈值；
若小于所述第二预设阈值，则将所述tier0层的温数据和冷数据迁移至tier1层；
若大于所述第二预设阈值，则将所述tier0层的温数据迁移至所述tier1层。
优选的，所述根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型之前，还包括：
将所述数据操作的热度划分为读热度、写热度和混合热度；
将所述数据操作的并发度划分为高并发度、中并发度和低并发度；
对应的，所述根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型，包括：
根据所述热度标签和热度划分的区间确定第一数据类型；
根据所述并发标签和并发度划分的区间确定第二数据类型；
根据所述第一数据类型和所述第二数据类型得到所述数据类型。
优选的，还包括：
读取业务类型，并根据所述业务类型确定迁移策略；
对应的，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
根据所述数据类型和所述迁移策略，控制对应的所述数据进行分层迁移。
本申请提供一种数据迁移装置，包括：
统计模块，用于对存储池的各区域的数据操作的热度和所述数据操作的并发程度进行统计，得到统计结果；
标签更新模块，用于根据所述统计结果更新所述区域的热度标签和并发标签；
数据类型确定模块，用于根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型；
迁移模块，用于根据所述数据类型，控制对应的数据进行分层迁移。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述数据迁移方法的步骤。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述数据迁移方法的步骤。
本申请提供一种数据迁移方法，包括：对存储池的各区域的数据操作的热度和数据操作的并发程度进行统计，得到统计结果；根据统计结果更新区域的热度标签和并发标签；根据热度标签和并发标签，确定对应的区域的数据类型；根据数据类型，控制对应的数据进行分层迁移。
可见，本申请通过对存储池中的各区域的数据操作和对应的并发程度进行统计，并根据统计结果更新热度标签和并发标签，得到数据类型后，控制数据进行分层迁移，以使优化分层迁移策略，提高了全闪阵列的性能。
本申请同时还提供了一种数据迁移装置和电子设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种数据迁移方法的流程图；
图2为本申请实施例提供的一种基于热度的分层结构示意图；
图3为本申请实施例提供的一种数据迁移装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中提供采用的传统的方式执行数据迁移策略，但是数据迁移的准确性较低，造成全闪阵列的性能较低。基于上述技术问题，本实施例提供一种数据迁移方法，采用热度和并发度进行热点统计，以使优化分层迁移策略，提高了全闪阵列的性能，具体请参考图1，图1为本申请实施例所提供的一种方法的流程图，具体包括：
S101、对存储池的各区域的数据操作的热度和数据操作的并发程度进行统计，得到统计结果；
本实施例中针对的是全闪阵列，采用的是3dxpoint存储介质进行提升。本实施例中对存储池的各区域的数据操作的热度和对应的并发程度进行统计，其中数据操作包括写操作和读操作，对应的可以是定期统计一定时间内每个区域数据操作的频率和定期统计一定时间内的平均读操作和平均写操作的并发程度。统计结果包括确定数据操作的热度为热数据、温数据、冷数据中的任意一种，和，对应的并发程度中的高并发、低并发、中并发中的任意一种。本实施例不对热度的划分和并发度的划分进行限定，用户可自定义设置，只要是能够实现本实施例的目的即可。
S102、根据统计结果更新区域的热度标签和并发标签；
本步骤的目的是为了对该区域打热度标签和并发标签。本实施例中每个区域的二元标签能更细致的匹配3dxpoint存储介质优势项目，更精准的指导迁移活动。
其中，传统分层功能通过定期统计各区域数据操作频率，来生成数据热点地图，基于数据热点地图为分层功能数据迁移策略服务。本实施例在原热点算法基础上进行改进，将单位时间内的数据操作并发程度加入到算法中。定期统计一定时间内存储池的各区域中的数据操作频率为各区域打热度标签；定期统计一定时间内平均读操作、写操作的并发程度，并打上为高并发、中并发和低并发标签。这样每个数据区域就有了两个标签：热点标签和并发标签，这样迁移策略除了参照各区域热点标签外，也参照该区域的并发度标签，更准确的进行数据迁移。其中，在一种可实现的实施方式中，热度标签中的具体内容包括但是不限定于读热数据、读温数据、读冷数据、写热数据、写温数据、写冷数据、混合热数据、混合温数据、混合冷数据，在另一种可实现的实施方式中，热度标签中的具体内容为对应操作的频次。并发标签中的具体内容包括但是不限定于高并发、中并发、低并发。
S103、根据热度标签和并发标签，确定对应的区域的数据类型；
根据热度标签和并发标签得到数据类型，具体的，热度标签和并发标签分别为读热数据、中并发时，则得到的数据类型为中并发读热数据类型；热度标签和并发标签分别为混合温数据、中并发时，则得到的数据类型为中并发混合温数据类型。
进一步的，根据热度标签和并发标签，确定对应的区域的数据类型之前，还包括：将数据操作的热度划分为读热度、写热度和混合热度；将数据操作的并发度划分为高并发度、中并发度和低并发度；对应的，根据热度标签和并发标签，确定对应的区域的数据类型，包括：根据热度标签和热度划分的区间确定第一数据类型；根据并发标签和并发度划分的区间确定第二数据类型；根据第一数据类型和第二数据类型得到数据类型。
其中，进行热度划分时，可以是根据数据的操作进行划分，得到读热度、写热度和混合热度，在每个热度中根据频次再进行划分，得到对应的读热数据、读温数据、读冷数据、写热数据、写温数据、写冷数据、混合热数据、混合温数据、混合冷数据。在进行并发度划分时，根据并发的程度进行划分，得到高并发度、中并发度和低并发度，其中根据并发的数量划分区域的方式本实施例不再进行限定，只要是能够实现本实施例的目的即可。本实施例中新建混合热度的概念调和读操作和写操作热度的冲突。
本实施例不对热度划分的区间进行限定，根据热度标签中对应操作的频次与热度划分的区间进行匹配，得到第一数据类型。具体的，当热度标签中是写操作的频次为50，将其与写操作的热度划分区间进行匹配，为热数据，则确定第一数据类型为写热数据类型；当热度标签中的写操作的频次为50、读频次为2，仅仅将其与写操作的热度划分区间进行匹配，为热数据则确定第一数据类型为写热数据类型；当热度标签中的写操作的频次为50、读频次为48，将其与混合操作的热度划分区间进行匹配，为热数据则确定第一数据类型为混合热数据类型。当然，还可能存在其他形式本实施例不再进行赘述。
其中，针对数据操作的热度进行划分进行进一步阐述，请参考图2，图2为本申请实施例提供的一种基于热度的分层结构示意图。本实施例在传统分层功能的基础上，对热点具体划分为读热度、写热度和混合热度。其中读热度指的是各存储空间区域发生读操作的频繁程序，具体可分为读热数据区域、读温数据区域和读冷数据区域。其中写热度指的是各存储空间区域发生写操作的频繁程序，具体可分为写热数据区域、写温数据区域和写冷数据区域。其中混合热度负责处理读写度和写热度冲突的情况，当某一区域存储混合读写操作时，如果读/写频率相当可定义为混合热数据区域、混合温数据区域、混合冷数据区域，如果读频率高于写频率则定义为读相关的热点数据区域，如果写频率高于读频率则定义为写相关的热点数据区域。
S104、根据数据类型，控制对应的数据进行分层迁移。
其中，原始分层迁移策略只是简单的对统计的热度高的区域进行迁移，造成迁移准确率低的问题。本实施例中综合判断热度、数据操作和并发度，然后根据不同情况做不同的迁移。
在一种可实现的实施方式中，根据数据类型，控制对应的数据进行分层迁移，包括：当数据类型是写热数据类型或混合热数据类型时，则按照数据的优先级将数据保留到tier0层或者迁移到tier0层；优先级具体为：高中并发写热点数据的优先级>高中并发混合热点数据的优先级>低并发混合热点数据的优先级>低并发写热点数据的优先级。
其中，tier是存储分层功能，即将不同性能指标的存储介质划分到不同的层次共同组成一个存储空间，期间热数据会不断的迁移到高性能的层级，冷数据会迁移到低性能介质以提高全闪阵列的性能。
本实施例中，对于写热数据类型或混合热数据类型来说，写热数据或混合热数据，特别是高并发写/混合热点数据保留或迁移到optane层即tier0层，可以充分利用3dxpoint存储介质的并发写优势，保护nand盘的寿命损耗，同时也降低写操作对读性能的影响。本实施例中保留或迁移顺序为：1)高中并发写热点数据；2)高中并发混合热点数据；3)低并发混合热点数据；4)低并发写热点数据。进一步的，在对于热数据较少的场景，会继续对写/混合温数据保留或迁移到tier0层，策略与热数据相同。其中，对应的热点数据包括热数据、温数据和冷数据。
在另一种可实现的实施方式中，根据数据类型，控制对应的数据进行分层迁移，包括：当数据类型是低并发读热数据类型时，则将数据保留到tier0层或者迁移到tier0层。
对于低并发读热数据优先保留或迁移到tier0层，这样能充分利用3dxpoint存储介质低并发读性能和延时的巨大优势。同样，对于热数据较少的场景，会继续对读温数据保留或迁移到tier0层，策略与热数据相同。
在另一种可实现的实施方式中，根据数据类型，控制对应的数据进行分层迁移，包括：当数据类型是高/中并发读热点数据类型时，则将数据保留到nand层或者迁移到nand层。
对于高/中并发读热点数据优先保留或迁移到nand层，充分利用nand多通道的优势提高读性能。同样，对于热数据较少的场景，会继续对读温数据保留或迁移到nand层，策略与热数据相同。
综上可知，本实施例通过对数据操作热度的定义按操作类型进行划分-读热度、写热度、混合热度；热点统计算法中同时考虑了数据操作热度和并发度；根据3dxpoint存储介质(具体可以是optane盘)优势性能项目优化分层迁移策略。可知，本实施例提出了一种使用3dxpoint存储介质提升全闪阵列性能的方法，通过对分层功能进行改进，实现了性能提升、nand寿命提高和成本降低的效果。
基于上述技术方案，本实施例通过对存储池中的各区域的数据操作和对应的并发程度进行统计，并根据统计结果更新热度标签和并发标签，得到数据类型后，控制数据进行分层迁移，以使优化分层迁移策略，提高了全闪阵列的性能。
进一步的，还包括：获取新区域数据，并将新区域数据存储至tier0层；判断tier0层的剩余空间是否小于第一预设阈值；若小于第一预设阈值，则判断剩余空间是否小于第二预设阈值；若小于第二预设阈值，则将tier0层的温数据和冷数据迁移至tier1层；若大于第二预设阈值，则将tier0层的温数据迁移至tier1层。
其中，本实施例在tier0层(optane层)空间充足、不影响读性能的情况下优先将新区域数据写入tier0层，这样能充分发挥tier0层并发写性能的优势；同时能大大降低nand盘的寿命损耗，当tier0层空间达到第一道预警水平线即第一预设阈值后，会在后台采用平缓的方式将冷数据从optane层迁移到tier1层，如果达到更高的预警水平线即第二预设阈值后，会继续将温数据采用相同的方式从optane层迁移到nand层，迁移过程设计为nand层主机io让路，尽量不影响nand层原有io性能。
进一步的，还包括：读取业务类型，并根据业务类型确定迁移策略；对应的，根据数据类型，控制对应的数据进行分层迁移，包括：根据数据类型和迁移策略，控制对应的数据进行分层迁移。
其中，本实施例支持用户根据实际的业务类型进行配置，分层迁移模块中的迁移策略会匹配用户的业务类型来配置优先做对应的迁移。支持选择标准业务场景即业务类型，该业务类型可以包括：OLTP、元数据、日志、视频监控等等，也支持用户自定义读写类型及比例、并发程度等参数。这样数据迁移模块中的迁移策略就可以对与用户配置的业务类型相匹配的热点数据做优先迁移。例如，当用户配置OLTP场景时，分层功能会优先保证低并发的读写操作的性能和延时，这时迁移策略会优先将低并发读/混合热数据保留或迁移到optane层，然后才会考虑迁移高并发写热数据到optane并测试是否对低并发读/混合性能造成影响。应用本实施例提供的方式，在各业务类型下，性能得到了普遍的提升，特别是在OLTP场景下性能提升50–100％，时延降低50％-100％，时延稳定性大大提升；在大压力写场景下性能提升200％。nand盘寿命得到大大提升，与全部配置3dxpoint存储介质(可以是optane盘)相比成本也有成倍的降低。
下面对本申请实施例提供的一种数据迁移装置进行介绍，下文描述的数据迁移装置与上文描述的数据迁移方法可相互对应参照，参考图3，图3为本申请实施例所提供的一种数据迁移装置的结构示意图，包括：
统计模块201，用于对存储池的各区域的数据操作的热度和数据操作的并发程度进行统计，得到统计结果；
标签更新模块202，用于根据统计结果更新区域的热度标签和并发标签；
数据类型确定模块203，用于根据热度标签和并发标签，确定对应的区域的数据类型；
迁移模块204，用于根据数据类型，控制对应的数据进行分层迁移。
优选的，迁移模块204，包括：
第一迁移单元，用于当数据类型是写热数据类型或混合热数据类型时，则按照数据的优先级将数据保留到tier0层或者迁移到tier0层；
优先级具体为：高中并发写热点数据的优先级>高中并发混合热点数据的优先级>低并发混合热点数据的优先级>低并发写热点数据的优先级。
优选的，迁移模块204，包括：
第二迁移单元，用于当数据类型是低并发读热数据类型时，则将数据保留到tier0层或者迁移到tier0层。
优选的，迁移模块204，包括：
第三迁移单元，用于当数据类型是高/中并发读热点数据类型时，则将数据保留到nand层或者迁移到nand层。
优选的，还包括：
存储模块，用于获取新区域数据，并将新区域数据存储至tier0层；
第一判断模块，用于判断tier0层的剩余空间是否小于第一预设阈值；
第二判断模块，用于若小于第一预设阈值，则判断剩余空间是否小于第二预设阈值；
第一迁移模块，用于若小于第二预设阈值，则将tier0层的温数据和冷数据迁移至tier1层；
第二迁移模块，用于若大于第二预设阈值，则将tier0层的温数据迁移至tier1层。
优选的，还包括：
第一划分模块，用于将数据操作的热度划分为读热度、写热度和混合热度；
第二划分模块，用于将数据操作的并发度划分为高并发度、中并发度和低并发度；
对应的，数据类型确定模块203，包括：
第一数据类型确定单元，用于根据热度标签和热度划分的区间确定第一数据类型；
第二数据类型确定单元，用于根据并发标签和并发度划分的区间确定第二数据类型；
数据类型确定单元，用于根据第一数据类型和第二数据类型得到数据类型。
优选的，还包括：
迁移策略确定模块，用于读取业务类型，并根据业务类型确定迁移策略；
对应的，迁移模块204，包括：
第四迁移单元，用于根据数据类型和迁移策略，控制对应的数据进行分层迁移。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的方法可相互对应参照，请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图，包括：
存储器300，用于存储计算机程序；
处理器400，用于执行计算机程序时实现如上述数据迁移方法的步骤。
还可以包括：输入输出接口500，网络端口600。其中，存储器300包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器400可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器400为服务器101提供计算和控制能力，执行存储器300中保存的计算机程序时，可以实现数据迁移方法的步骤。输入输出接口500，用于获取外部导入的计算机程序、参数和指令，经处理器400控制保存至存储器300中。该输入输出接口500可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。具体的，在本实施例中，用户可以通过输入输出接口500启动数据迁移方法。网络端口600，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。具体的，在本实施例中，在正常联网的情况下，可以通过网络端口600与手机或者平板电脑进行交互实现认证。
由于电子设备部分的实施例与方法部分的实施例相互对应，因此电子设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述数据迁移方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种数据迁移方法、装置、电子设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (9)

1.一种数据迁移方法，其特征在于，包括：
对存储池的各区域的数据操作的热度和所述数据操作的并发程度进行统计，得到统计结果；
根据所述统计结果更新所述区域的热度标签和并发标签；
根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型；
根据所述数据类型，控制对应的数据进行分层迁移；
还包括：
读取业务类型，并根据所述业务类型确定迁移策略；
对应的，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
根据所述数据类型和所述迁移策略，控制对应的所述数据进行分层迁移；
其中，分层迁移模块中的迁移策略匹配用户的业务类型来配置优先做对应的迁移。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是写热数据类型或混合热数据类型时，则按照所述数据的优先级将所述数据保留到tier0层或者迁移到所述tier0层；
所述优先级具体为：高中并发写热点数据的优先级>高中并发混合热点数据的优先级>低并发混合热点数据的优先级>低并发写热点数据的优先级。
3.根据权利要求1所述的数据迁移方法，其特征在于，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是低并发读热数据类型时，则将所述数据保留到tier0层或者迁移到所述tier0层。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述根据所述数据类型，控制对应的数据进行分层迁移，包括：
当所述数据类型是高/中并发读热点数据类型时，则将所述数据保留到nand层或者迁移到所述nand层。
5.根据权利要求1所述的数据迁移方法，其特征在于，还包括：
获取新区域数据，并将所述新区域数据存储至tier0层；
判断所述tier0层的剩余空间是否小于第一预设阈值；
若小于所述第一预设阈值，则判断所述剩余空间是否小于第二预设阈值；
若小于所述第二预设阈值，则将所述tier0层的温数据和冷数据迁移至tier1层；
若大于所述第二预设阈值，则将所述tier0层的温数据迁移至所述tier1层。
6.根据权利要求1所述的数据迁移方法，其特征在于，所述根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型之前，还包括：
将所述数据操作的热度划分为读热度、写热度和混合热度；
将所述数据操作的并发度划分为高并发度、中并发度和低并发度；
对应的，所述根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型，包括：
根据所述热度标签和热度划分的区间确定第一数据类型；
根据所述并发标签和并发度划分的区间确定第二数据类型；
根据所述第一数据类型和所述第二数据类型得到所述数据类型。
7.一种数据迁移装置，其特征在于，包括：
统计模块，用于对存储池的各区域的数据操作的热度和所述数据操作的并发程度进行统计，得到统计结果；
标签更新模块，用于根据所述统计结果更新所述区域的热度标签和并发标签；
数据类型确定模块，用于根据所述热度标签和所述并发标签，确定对应的所述区域的数据类型；
迁移模块，用于根据所述数据类型，控制对应的数据进行分层迁移；
还包括：
迁移策略确定模块，用于读取业务类型，并根据所述业务类型确定迁移策略；
对应的，所述迁移模块，包括：
第四迁移单元，用于根据所述数据类型和所述迁移策略，控制对应的所述数据进行分层迁移；
其中，分层迁移模块中的迁移策略匹配用户的业务类型来配置优先做对应的迁移。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据迁移方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据迁移方法的步骤。
CN202010746730.1A 2020-07-29 2020-07-29 一种数据迁移方法、装置、电子设备和介质 Active CN111880744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010746730.1A CN111880744B (zh) 2020-07-29 2020-07-29 一种数据迁移方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746730.1A CN111880744B (zh) 2020-07-29 2020-07-29 一种数据迁移方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN111880744A CN111880744A (zh) 2020-11-03
CN111880744B true CN111880744B (zh) 2022-08-12

Family

ID=73201200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746730.1A Active CN111880744B (zh) 2020-07-29 2020-07-29 一种数据迁移方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN111880744B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597323A (zh) * 2020-12-03 2021-04-02 中国人民解放军63921部队 遥感影像存储迁移方法、装置和存储介质
CN113515238B (zh) * 2021-07-27 2024-02-06 华云数据控股集团有限公司 一种基于分层存储的数据调度方法、系统及电子设备
CN114490566B (zh) * 2021-12-10 2024-01-30 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN114281251B (zh) * 2021-12-10 2023-08-11 重庆邮电大学 面向3d tlc闪存存储器的数据分配与重编程优化方法
CN114328472B (zh) * 2022-03-15 2022-05-27 北京数腾软件科技有限公司 一种基于ai的数据迁移方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
WO2017118171A1 (zh) * 2016-01-07 2017-07-13 杭州海康威视数字技术股份有限公司 一种数据迁移方法及装置
CN109739442A (zh) * 2019-01-08 2019-05-10 郑州云海信息技术有限公司 一种数据迁移方法、系统及相关组件

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
WO2017118171A1 (zh) * 2016-01-07 2017-07-13 杭州海康威视数字技术股份有限公司 一种数据迁移方法及装置
CN109739442A (zh) * 2019-01-08 2019-05-10 郑州云海信息技术有限公司 一种数据迁移方法、系统及相关组件

Also Published As

Publication number Publication date
CN111880744A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111880744B (zh) 一种数据迁移方法、装置、电子设备和介质
US10061727B2 (en) Enhanced queue management
KR101281326B1 (ko) 메모리 장치의 활용 영역 확장
US9317214B2 (en) Operating a memory management controller
US10628200B2 (en) Base state for thin-provisioned volumes
CN111737221B (zh) 集群文件系统的数据读写方法、装置及设备和存储介质
CN112596681A (zh) 一种重读命令处理方法、闪存控制器及固态硬盘
CN111796759A (zh) 多平面上的片段数据读取的计算机可读取存储介质及方法
CN112148226A (zh) 一种数据存储方法及相关装置
CN110780821A (zh) 分布式存储系统的优化方法、装置、服务器和存储介质
CN114579055A (zh) 磁盘存储方法、装置、设备及介质
US9733832B2 (en) Buffer memory accessing method, memory controller and memory storage device
CN104252417A (zh) 一种Nand存储器及数据存储方法
CN104216834A (zh) 一种内存访问的方法、缓冲调度器和内存模块
US20110107056A1 (en) Method for determining data correlation and a data processing method for a memory
CN111722855A (zh) 一种基于eMMC的固件烧录系统、方法与集成芯片
CN104750547B (zh) 虚拟机的输入输出io请求处理方法及装置
CN115857811A (zh) 一种数据处理方法、装置、固态硬盘及可读存储介质
CN109558073A (zh) 一种基于教育系统的磁盘延长寿命的方法及电子设备
US20220206711A1 (en) Devices and methods for optimized fetching of multilingual content in media streaming
CN115237344A (zh) 数据存储方法、装置、电子设备以及存储介质
CN110045929B (zh) 一种挂载点管理方法及相关装置
CN114968086A (zh) 对计算装置使用配置文件的管理
US11513691B2 (en) Systems and methods for power and performance improvement through dynamic parallel data transfer between device and host
US11886740B2 (en) Command prioritization techniques for reducing latency in a memory system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant