CN111078160A - 基于调用比例及响应时长的数据迁移存储方法及装置 - Google Patents

基于调用比例及响应时长的数据迁移存储方法及装置 Download PDF

Info

Publication number
CN111078160A
CN111078160A CN202010205625.7A CN202010205625A CN111078160A CN 111078160 A CN111078160 A CN 111078160A CN 202010205625 A CN202010205625 A CN 202010205625A CN 111078160 A CN111078160 A CN 111078160A
Authority
CN
China
Prior art keywords
storage
storage space
data
sequence
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010205625.7A
Other languages
English (en)
Other versions
CN111078160B (zh
Inventor
杨贻宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feiqi Network Technology Co Ltd
Original Assignee
Shanghai Feiqi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feiqi Network Technology Co Ltd filed Critical Shanghai Feiqi Network Technology Co Ltd
Priority to CN202010205625.7A priority Critical patent/CN111078160B/zh
Publication of CN111078160A publication Critical patent/CN111078160A/zh
Application granted granted Critical
Publication of CN111078160B publication Critical patent/CN111078160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于调用比例及响应时长的数据迁移存储方法及装置，能够根据预存的调用请求集确定数据处理终端对应的每个第一调用请求在调用请求集中的比例，并按照比例由大到小的顺序得到第一调用请求的第一排序序列。然后，根据确定出的每个请求类别对应的数据集所在的存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长，按照响应时长由小到大的顺序得到存储空间的第二排序序列。最后，基于第一排序序列和第二排序序列将每个存储空间中的数据集进行迁移。如此，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。

Description

基于调用比例及响应时长的数据迁移存储方法及装置
技术领域
本发明涉及大数据存储技术领域，具体而言，涉及一种基于调用比例及响应时长的数据迁移存储方法及装置。
背景技术
数据存储是指数据以某种格式记录在计算机内部或外部存储介质上。数据存储在大数据领域起着至关重要的作用，能够为大数据分析和挖掘提供可观的数据基础，还能够对重要数据进行安全有效的保留，避免重要数据的丢失。在数据处理过程中，数据处理终端通常会从服务器调取已存储的数据。然而，从服务器频繁调取相同已存储的大量数据往往需要很长的时间消耗。
发明内容
为了改善上述问题，本发明提供了一种基于调用比例及响应时长的数据迁移存储方法及装置。
本发明实施例的第一方面，提供了一种基于调用比例及响应时长的数据迁移存储方法，应用于与数据处理终端通信的迁移存储设备，所述方法包括：
根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；
按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；
确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；
按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；
根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。
在一种可替换的实施方式中，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移，包括：
按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；
根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。
在一种可替换的实施方式中，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移，包括：
提取每个存储空间中的数据集，将提取得到数据集导入缓存中；
将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。
在一种可替换的实施方式中，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长，包括：
对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重；
从每个存储空间的磁盘阵列特征中确定出每个存储空间的空间分布图，根据所述空间分布图确定每个存储空间的第二耗时权重；
根据所述第一耗时权重和所述第二耗时权重确定每个存储空间的响应时长。
在一种可替换的实施方式中，对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重，包括：
对每个存储空间的存储模式信息进行解析得到所述存储模式信息中包括的数据格式转换列表，所述数据格式转换列表用于指示所述迁移存储设备将数据集的第一数据格式转换为第二数据格式，所述第一数据格式为所述迁移存储设备接收到的外部数据的数据格式，所述第二数据格式为所述迁移存储设备将所述外部数据存储至存储空间时所采用的数据格式；
确定所述数据格式转换列表的列表特征，根据所述列表特征确定每个存储空间的第一耗时权重，所述第一耗时权重用于表征所述迁移存储设备在基于所述数据格式转换列表对存储空间进行数据存储准确性的优化时对存储空间的时间片资源产生的影响，所述时间片资源用于表征迁移存储设备访问存储空间的所需时长。
在一种可替换的实施方式中，所述空间分布图为存储空间的物理存储区的分布情况，所述空间分布图中包括多个分布节点，每个分布节点对应存储空间的一个物理存储区，每两个分布节点之间存在有向连线，所述有向连线用于指示分布节点的优先级；根据所述空间分布图确定每个存储空间的第二耗时权重，包括：
根据所述空间分布图中的有向连线的指示方向确定每个分布节点的优先级并基于确定出的每个分布节点对应的物理存储区的存储容量确定每个存储空间的第二耗时权重，所述第二耗时权重用于表征磁盘阵列特征对存储空间的数据响应速率的影响。
在一种可替换的实施方式中，所述方法还包括：
获取所述数据处理终端发送的第二调用请求；其中，所述第二调用请求是所述数据处理终端根据用户输入的操作指令生成的；
根据所述第二调用请求遍历迁移存储设备的多个存储空间，查询出第三目标数据集并将所述第三目标数据集反馈给所述数据处理终端；
将所述第二调用请求添加至所述调用请求集中。
本发明实施例的第二方面，提供了一种数据迁移存储装置，应用于与数据处理终端通信的迁移存储设备，所述装置包括：
比例确定模块，用于根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；
比例排序模块，用于按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；
响应时长确定模块，用于确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；
响应时长排序模块，用于按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；
迁移存储模块，用于根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。
在一种可替换的实施方式中，所述迁移存储模块，具体用于：
按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。
在一种可替换的实施方式中，所述迁移存储模块，具体用于：
提取每个存储空间中的数据集，将提取得到数据集导入缓存中；将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中
本发明实施例的第三方面，提供了一种迁移存储设备，包括：处理器以及与所述处理器连接的存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，以执行上述的基于调用比例及响应时长的数据迁移存储方法。
本发明实施例所提供的基于调用比例及响应时长的数据迁移存储方法及装置，能够根据预存的调用请求集确定数据处理终端对应的每个第一调用请求在调用请求集中的比例，并按照比例由大到小的顺序得到第一调用请求的第一排序序列。
然后，根据确定出的每个请求类别对应的数据集所在的存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长，然后按照响应时长由小到大的顺序得到存储空间的第二排序序列。
最后，基于第一排序序列和第二排序序列将每个存储空间中的数据集进行迁移。
如此，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历查询的耗时。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种基于调用比例及响应时长的数据迁移存储方法的流程图。
图2为一实施方式中图1所示的步骤S25的子步骤示意图。
图3为一实施方式中图1所示的步骤S23的子步骤示意图。
图4为本发明实施例所提供的一种基于调用比例及响应时长的数据迁移存储方法的另一流程图。
图5为本发明实施例所提供的一种数据迁移存储装置的功能模块框图。
图6为本发明实施例所提供的一种迁移存储设备的产品模块示意图。
图标：
100-迁移存储设备；
101-数据迁移存储装置；1011-比例确定模块；1012-比例排序模块；1013-响应时长确定模块；1014-响应时长排序模块；1015-迁移存储模块；
111-处理器；112-存储器；113-总线。
具体实施方式
下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
常见的数据存储方法是迁移存储设备将数据存储在固定的存储空间中，当迁移存储设备接收到数据处理终端的数据调用请求时，会根据数据调用请求从多个存储空间中确定出数据处理终端所需的数据，然后将数据发回数据处理终端。当数据处理终端所需的数据存储在不常用的存储空间中时，迁移存储设备确定出数据处理终端所需的数据可能会耗费大量的时间。
为此，本发明实施例提供了一种基于调用比例及响应时长的数据迁移存储方法及装置，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。
请参阅图1，为本发明实施例所提供的一种基于调用比例及响应时长的数据迁移存储方法的流程图，该方法应用于与数据处理终端通信的迁移存储设备，在本实施例中，可以由集成于迁移存储设备中的迁移虚拟存储导向器（Virtual Storage Director，VSD）执行上述方法，该方法包括的具体内容描述如下。
步骤S21，根据预存的数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例。
在本实施例中，调用请求集中包括数据处理终端在当前时刻之前向迁移存储设备发送的多个调用请求，调用请求集也可以理解为迁移存储设备存储的数据处理终端的历史调用请求。
进一步地，调用请求集中的每个调用请求包括请求类别，请求类别可以是数据处理终端请求迁移存储设备调用的数据的类别。可以理解，迁移存储设备中存储有不同类别的数据，迁移存储设备可以根据同一数据处理终端的不同请求类别的调用请求调取不同类别的数据返回给数据处理终端。
步骤S22，按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列。
步骤S23，确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长。
在本实施例中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时。进一步地，每个数据集与该数据集所在的存储空间是一一对应。详细地，每个存储空间存储一个数据集。
在本实施例中，迁移存储设备中划分有多个存储空间，每个存储空间可以用于储存不同请求类别对应的数据集，使得迁移存储设备可以在接收到数据处理终端发送的调用请求时根据调用请求的请求类别从多个存储空间中确定出存储有与请求类别对应的数据集的存储空间。
在实际应用中，由于数据类别、格式和大小的不同，迁移存储设备在每个存储空间中遍历数据集的响应时长也不同。为此，可以根据每个存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长。
在本实施例中，存储模式信息包括存储空间在存储数据集时对数据集进行格式转换的方式。磁盘阵列特征用于表征存储空间的物理存储空间的空间分布以及空间分布对物理存储空间之间的数据交互的延时影响。
步骤S24，按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列。
步骤S25，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移。
在本实施例中，第一排序序列对应的第一调用请求的数量与第二排序序列对应的存储空间的数量相同。
在本实施例中，第一排序序列用于表征第一调用请求对应的数据集的调用频率。在第一排序序列中，排序越靠前的第一调用请求对应的数据集的调用频率越高。第二排序序列用于表征存储空间的响应时长，在第二排序序列中，排序越靠前的响应时长的时长值越短，表征迁移存储设备从该响应时长对应的存储空间从遍历数据的耗时越短。
在具体实施时，迁移存储设备是从低响应时长的存储空间开始进行数据集的遍历的，然而低响应时长对应的存储空间中存储的数据集被数据处理终端调用的频率可能较低。在这种情况下，为了减少迁移存储设备与数据处理终端交互时的响应时长，可以将多个存储空间中所存储的数据集按照第一排序序列进行排序，然后将排序靠前的数据集依次迁移至第二排序序列对应的存储空间中。
例如，以调用请求集中包含3个请求类别且迁移存储设备中划分有3个存储空间为例进行说明。其中，3个请求类别分别为C1、C2和C3，请求类别C1对应的数据集为M1，请求类别C2对应的数据集为M2，请求类别C3对应的数据集为M3，3个存储空间分别为D1、D2和D3。
进一步地，请求类别C1对应的第一调用请求K1在调用请求集中的比例为10%，请求类别C2对应的第一调用请求K2在调用请求集中的比例为60%，请求类别C3对应的第一调用请求K3在调用请求集中的比例为30%，由此可以确定出第一排序序列为K2-K3-K1。
又例如，在执行步骤S24之前，数据集M1~M3分别存储在存储空间D1~D3中，且存储空间D1~D3按照响应时长由小到大的进行排序的第二序列为D3-D1-D2。
在上述示例中，K2对应的数据集M2的调用频率最高，K3对应的数据集M3的调用频率居中，K1对应的数据集M1的调用频率最低。但是，按照执行步骤S24之前的存储分布，调用频率最高的数据集M2存储在响应时长最大的存储空间D2中，这无疑会增大迁移存储设备查询数据集M2的耗时，为此，可以将数据集M1~M3按照各自对应的请求类别的占比由大到小进行排序，进而确定出的数据集排序序列为M2-M3-M1。
进一步地，在执行步骤S24时，可以按照M2-M3-M1序列与D3-D1-D2序列的一一对应关系，对数据集进行迁移存储。例如，将数据集M2从存储空间D2中迁移至存储空间D3中，将数据集M3从存储空间D3中迁移至存储空间D1中，将数据集M1从存储空间D1中迁移至存储空间D2中。
可以理解，通过上述迁移存储方法，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历查询的耗时。
通过上述步骤S21-步骤S25所描述的基于调用比例及响应时长的数据迁移存储方法，能够根据预存的调用请求集确定数据处理终端对应的每个第一调用请求在调用请求集中的比例，并按照比例由大到小的顺序得到第一调用请求的第一排序序列。然后，根据确定出的每个请求类别对应的数据集所在的存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长，然后按照响应时长由小到大的顺序得到存储空间的第二排序序列。最后，基于第一排序序列和第二排序序列将每个存储空间中的数据集进行迁移。
在应用上述步骤S21-步骤S25所描述的数据迁移存储方法时，第一排序序列是根据第一调用请求在调用请求集中的比例确定的，不同第一调用请求的请求类别对应不同的数据集，因此，第一排序序列也可以理解为是基于不同数据集的调用比例所确定的。此外，第二排序序列可以理解为是基于不同数据集对应的存储空间的响应时长确定的。
如此，能够对不同数据集对应的调用比例以及不同数据集对应的存储空间的响应时长进行分析，确保调用比例较大的数据集（数据处理终端频繁调用的数据集）存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。
进一步地，在本实施例中，通过对不同数据集对应的第一调用请求的调用比例进行分析，能够改善现有技术直接根据下发的数据集确定数据集的调用频率所带来的准确率低下的技术问题。详细地，通过对第一调用请求进行分析，即使由于网络原因导致数据集的下发失败，仍然能够通过第一调用请求准确确定数据集的调用比例。
请结合参阅图2，在具体实施时，在步骤S25中，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移，具体可以通过以下步骤S251和步骤S252所描述的方法实现。
步骤S251，按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列。
步骤S252，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。
进一步地，在步骤S252中，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移，具体包括以下步骤。
步骤S2521，提取每个存储空间中的数据集，将提取得到数据集导入缓存中。
步骤S2522，将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。
在本实施例中，步骤S2521-步骤S2522的具体实现原理可以参考上述示例，因此在此不作更多说明。可以理解，通过上述步骤S2521-步骤S2522所描述的方法，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。
请结合参阅图3，在具体实施时，为了准确确定出每个存储空间的响应时长，在步骤S23中，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长，具体可以通过以下步骤S231-步骤S233所描述的方法实现。
步骤S231，对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重。
在步骤S231中，可以先对每个存储空间的存储模式信息进行解析得到所述存储模式信息中包括的数据格式转换列表，然后确定所述数据格式转换列表的列表特征，进而根据所述列表特征确定每个存储空间的第一耗时权重。
在本实施例中，所述数据格式转换列表用于指示所述迁移存储设备将数据集的第一数据格式转换为第二数据格式，所述第一数据格式为所述迁移存储设备接收到的外部数据的数据格式，所述第二数据格式为所述迁移存储设备将所述外部数据存储至存储空间时所采用的数据格式。
在本实施例中，所述第一耗时权重用于表征所述迁移存储设备在基于所述数据格式转换列表对存储空间进行数据存储准确性的优化时对存储空间的时间片资源产生的影响，所述时间片资源用于表征迁移存储设备访问存储空间的所需时长。第一耗时权重越大，表征所述迁移存储设备在基于所述数据格式转换列表对存储空间进行数据存储准确性的优化时对存储空间的时间片资源产生的影响越大，迁移存储设备访问存储空间的所需时长越长。
步骤S232，从每个存储空间的磁盘阵列特征中确定出每个存储空间的空间分布图，根据所述空间分布图确定每个存储空间的第二耗时权重。
在步骤S232中，所述空间分布图为存储空间的物理存储区的分布情况，所述空间分布图中包括多个分布节点，每个分布节点对应存储空间的一个物理存储区，每两个分布节点之间存在有向连线，所述有向连线用于指示分布节点的优先级。
进一步地，根据所述空间分布图确定每个存储空间的第二耗时权重，一种具体的实现方式可以是：根据所述空间分布图中的有向连线的指示方向确定每个分布节点的优先级并基于确定出的每个分布节点对应的物理存储区的存储容量确定每个存储空间的第二耗时权重。
在本实施例中，所述第二耗时权重用于表征磁盘阵列特征对存储空间的数据响应速率的影响，第二耗时权重越大，磁盘阵列特征对存储空间的数据响应速率的影响越大，数据响应速率越小。
步骤S233，根据所述第一耗时权重和所述第二耗时权重确定每个存储空间的响应时长。
在本实施例中，可以基于第一耗时权重和第二耗时权重对基准响应时长进行加权，得到每个存储空间的响应时长。其中，基准响应时长可以是初始化之后的存储空间对应的响应时长。
在步骤S21-步骤S25的基础上，请结合参阅图4，该方法还可以包括以下步骤S261-步骤S263所描述的内容。
步骤S261，获取所述数据处理终端发送的第二调用请求。
在步骤S261中，所述第二调用请求是所述数据处理终端根据用户输入的操作指令生成的。
步骤S262，根据所述第二调用请求遍历迁移存储设备的多个存储空间，查询出第三目标数据集并将所述第三目标数据集反馈给所述数据处理终端。
步骤S263，将所述第二调用请求添加至所述调用请求集中。
在步骤S263之后，可以返回执行与确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例类似的步骤。
可以理解，通过上述步骤S261-步骤S263所描述的内容，能够根据数据处理终端发送的第二调用请求对调用请求集进行实时更新，并基于更新的调用请求集重新执行数据集在存储空间中的迁移存储，能够提升迁移存储设备的存储效率，确保活跃的数据集存储在响应时长短的存储空间中，以减少迁移存储设备与数据处理终端进行交互的耗时。
在一种可替换的实施方式中，在步骤S24中，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移的具体方法还可以是：按照所述第一排序序列将所述第二排序序列对应的每两个存储空间中的数据集进行对调，直至每个数据集按照所述第一排序序列存储于所述第二排序序列对应的每个存储空间中。
可以理解，上述对数据集进行迁移存储的方法无需占用缓存，可以通过每两个存储空间进行逐一对调的方式实现。能够在缓存被迁移存储设备的其他业务处理占用时实现数据集的及时迁移。
在上述基础上，请结合参阅图5，为本发明实施例所提供的一种数据迁移存储装置101的模块框图，该数据迁移存储装置101可以包括比例确定模块1011、比例排序模块1012、响应时长确定模块1013、响应时长排序模块1014以及迁移存储模块1015。
所述比例确定模块1011，用于根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例。
关于比例确定模块1011的详细实现方式可以参阅与图2所示的步骤S21的内容，因此在此不作更多说明。
所述比例排序模块1012，用于按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列。
关于比例排序模块1012的详细实现方式可以参阅与图2所示的步骤S22的内容，因此在此不作更多说明。
所述响应时长确定模块1013，用于确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时。
关于响应时长确定模块1013的详细实现方式可以参阅与图2所示的步骤S23的内容，因此在此不作更多说明。
所述响应时长排序模块1014，用于按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列。
关于响应时长排序模块1014的详细实现方式可以参阅与图2所示的步骤S24的内容，因此在此不作更多说明。
所述迁移存储模块1015，用于根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移。
关于迁移存储模块1015的详细实现方式可以参阅与图2所示的步骤S25的内容，因此在此不作更多说明。
请结合参阅图6，本发明实施例还提供了一种迁移存储设备100，包括处理器111，以及与处理器111连接的存储器112和总线113。其中，处理器111和存储器112通过总线113完成相互间的通信。处理器111用于调用存储器112中的程序指令，以执行上述的基于调用比例及响应时长的数据迁移存储方法。
综上，本发明实施例所提供的一种基于调用比例及响应时长的数据迁移存储方法及装置，能够根据预存的调用请求集确定数据处理终端对应的每个第一调用请求在调用请求集中的比例，并按照比例由大到小的顺序得到第一调用请求的第一排序序列。然后，能够根据确定出的每个请求类别对应的数据集所在的存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长，按照响应时长由小到大的顺序得到存储空间的第二排序序列。最后，基于第一排序序列和第二排序序列将每个存储空间中的数据集进行迁移。如此，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，进而减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者云迁移存储设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者云迁移存储设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者云迁移存储设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于调用比例及响应时长的数据迁移存储方法，其特征在于，应用于与数据处理终端通信的迁移存储设备，所述方法包括：
根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；
按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；
确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；
按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；
根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。
2.根据权利要求1所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移，包括：
按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；
根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。
3.根据权利要求2所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移，包括：
提取每个存储空间中的数据集，将提取得到数据集导入缓存中；
将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。
4.根据权利要求1-3任一项所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长，包括：
对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重；
从每个存储空间的磁盘阵列特征中确定出每个存储空间的空间分布图，根据所述空间分布图确定每个存储空间的第二耗时权重；
根据所述第一耗时权重和所述第二耗时权重确定每个存储空间的响应时长。
5.根据权利要求4所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重，包括：
对每个存储空间的存储模式信息进行解析得到所述存储模式信息中包括的数据格式转换列表，所述数据格式转换列表用于指示所述迁移存储设备将数据集的第一数据格式转换为第二数据格式，所述第一数据格式为所述迁移存储设备接收到的外部数据的数据格式，所述第二数据格式为所述迁移存储设备将所述外部数据存储至存储空间时所采用的数据格式；
确定所述数据格式转换列表的列表特征，根据所述列表特征确定每个存储空间的第一耗时权重，所述第一耗时权重用于表征所述迁移存储设备在基于所述数据格式转换列表对存储空间进行数据存储准确性的优化时对存储空间的时间片资源产生的影响，所述时间片资源用于表征迁移存储设备访问存储空间的所需时长。
6.根据权利要求4所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，所述空间分布图为存储空间的物理存储区的分布情况，所述空间分布图中包括多个分布节点，每个分布节点对应存储空间的一个物理存储区，每两个分布节点之间存在有向连线，所述有向连线用于指示分布节点的优先级；根据所述空间分布图确定每个存储空间的第二耗时权重，包括：
根据所述空间分布图中的有向连线的指示方向确定每个分布节点的优先级并基于确定出的每个分布节点对应的物理存储区的存储容量确定每个存储空间的第二耗时权重，所述第二耗时权重用于表征磁盘阵列特征对存储空间的数据响应速率的影响。
7.根据权利要求1-3任一项所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，所述方法还包括：
获取所述数据处理终端发送的第二调用请求；其中，所述第二调用请求是所述数据处理终端根据用户输入的操作指令生成的；
根据所述第二调用请求遍历迁移存储设备的多个存储空间，查询出第三目标数据集并将所述第三目标数据集反馈给所述数据处理终端；
将所述第二调用请求添加至所述调用请求集中。
8.一种数据迁移存储装置，其特征在于，应用于与数据处理终端通信的迁移存储设备，所述装置包括：
比例确定模块，用于根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；
比例排序模块，用于按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；
响应时长确定模块，用于确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；
响应时长排序模块，用于按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；
迁移存储模块，用于根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。
9.根据权利要求8所述的数据迁移存储装置，其特征在于，所述迁移存储模块，具体用于：
按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。
10.根据权利要求9所述的数据迁移存储装置，其特征在于，所述迁移存储模块，具体用于：
提取每个存储空间中的数据集，将提取得到数据集导入缓存中；将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。
CN202010205625.7A 2020-03-23 2020-03-23 基于调用比例及响应时长的数据迁移存储方法及装置 Active CN111078160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010205625.7A CN111078160B (zh) 2020-03-23 2020-03-23 基于调用比例及响应时长的数据迁移存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010205625.7A CN111078160B (zh) 2020-03-23 2020-03-23 基于调用比例及响应时长的数据迁移存储方法及装置

Publications (2)

Publication Number Publication Date
CN111078160A true CN111078160A (zh) 2020-04-28
CN111078160B CN111078160B (zh) 2020-06-23

Family

ID=70324667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010205625.7A Active CN111078160B (zh) 2020-03-23 2020-03-23 基于调用比例及响应时长的数据迁移存储方法及装置

Country Status (1)

Country Link
CN (1) CN111078160B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100273A (zh) * 2020-08-12 2020-12-18 福建天泉教育科技有限公司 集群数据扩容的方法、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679661A (zh) * 2013-11-27 2015-06-03 阿里巴巴集团控股有限公司 混合存储的控制方法及混合存储系统
CN106354437A (zh) * 2016-09-27 2017-01-25 郑州云海信息技术有限公司 一种分层存储的控制方法及装置
CN106951179A (zh) * 2016-01-07 2017-07-14 杭州海康威视数字技术股份有限公司 一种数据迁移方法及装置
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
US20180136838A1 (en) * 2016-11-11 2018-05-17 Scale Computing, Inc. Management of block storage devices based on access frequency
CN108228110A (zh) * 2018-01-31 2018-06-29 网宿科技股份有限公司 一种迁移资源数据的方法和装置
US10552051B2 (en) * 2018-02-05 2020-02-04 International Business Machines Corporation Allocation of heat-tiered storage among throttling units

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679661A (zh) * 2013-11-27 2015-06-03 阿里巴巴集团控股有限公司 混合存储的控制方法及混合存储系统
CN106951179A (zh) * 2016-01-07 2017-07-14 杭州海康威视数字技术股份有限公司 一种数据迁移方法及装置
CN106354437A (zh) * 2016-09-27 2017-01-25 郑州云海信息技术有限公司 一种分层存储的控制方法及装置
US20180136838A1 (en) * 2016-11-11 2018-05-17 Scale Computing, Inc. Management of block storage devices based on access frequency
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
CN108228110A (zh) * 2018-01-31 2018-06-29 网宿科技股份有限公司 一种迁移资源数据的方法和装置
US10552051B2 (en) * 2018-02-05 2020-02-04 International Business Machines Corporation Allocation of heat-tiered storage among throttling units

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100273A (zh) * 2020-08-12 2020-12-18 福建天泉教育科技有限公司 集群数据扩容的方法、存储介质
CN112100273B (zh) * 2020-08-12 2022-10-21 福建天泉教育科技有限公司 集群数据扩容的方法、存储介质

Also Published As

Publication number Publication date
CN111078160B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US9256448B2 (en) Process grouping for improved cache and memory affinity
US10616338B1 (en) Partitioning data according to relative differences indicated by a cover tree
CN110740164B (zh) 服务器确定方法、调控方法、装置、设备及存储介质
CN111597148B (zh) 用于分布式文件系统的分布式元数据管理方法
CN107844274B (zh) 基于超融合存储系统的硬件资源管理方法、装置及终端
CN111506559A (zh) 数据存储方法、装置、电子设备及存储介质
CN103077197A (zh) 一种数据存储方法装置
CN111722918A (zh) 业务标识码生成方法、装置、存储介质及电子设备
JP2018515844A (ja) データ処理方法及びシステム
CN112328688B (zh) 数据存储方法、装置、计算机设备及存储介质
CN111078160B (zh) 基于调用比例及响应时长的数据迁移存储方法及装置
CN115237595A (zh) 数据处理方法、装置、分发服务器、系统及存储介质
CN109788013B (zh) 分布式系统中作业资源分配方法、装置及设备
CN115964002B (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN111858617A (zh) 用户查找方法和装置、计算机可读存储介质、电子设备
CN109407970B (zh) 读写请求处理方法、装置及电子设备
CN110958666A (zh) 基于强化学习的网络切片资源映射方法
CN115495023A (zh) 一种数据请求方法、装置、设备及存储介质
CN115878333A (zh) 进程组间的一致性判断方法、装置及设备
CN113905252B (zh) 直播间的数据存储方法、装置、电子设备及存储介质
CN115712581A (zh) 数据访问方法、存储系统及存储节点
CN113076197A (zh) 负载均衡方法及装置、存储介质及电子设备
CN115129709A (zh) 一种数据处理方法、服务端及系统
CN112540844A (zh) 集群内容器调度方法、装置、存储介质和电子设备
CN112540843A (zh) 资源的分配方法、装置、存储设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant