CN107728938A - 一种低能耗集群环境下基于频度关联的冷数据放置策略 - Google Patents

一种低能耗集群环境下基于频度关联的冷数据放置策略 Download PDF

Info

Publication number
CN107728938A
CN107728938A CN201710839180.6A CN201710839180A CN107728938A CN 107728938 A CN107728938 A CN 107728938A CN 201710839180 A CN201710839180 A CN 201710839180A CN 107728938 A CN107728938 A CN 107728938A
Authority
CN
China
Prior art keywords
data
node
cold
energy consumption
low energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710839180.6A
Other languages
English (en)
Other versions
CN107728938B (zh
Inventor
邓玉辉
胡程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Changfan Cultural Technology Co.,Ltd.
Guangzhou Jinan University Science Park Management Co ltd
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201710839180.6A priority Critical patent/CN107728938B/zh
Publication of CN107728938A publication Critical patent/CN107728938A/zh
Application granted granted Critical
Publication of CN107728938B publication Critical patent/CN107728938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种低能耗集群环境下基于频度关联的冷数据放置策略，该发明针对现有的大量节能的网络集群存储系统将部分存储节点长期维持在低能耗状态，仅在需要的时候启动以提供服务，以此达到节能的目的，提出借助数据访问频度及关联性，将关联的冷数据集中到同一低能耗节点。从而，本策略使得在访问多个关联的冷数据时，理想情况下只需要启动一次冷节点，且减少了冷节点的启动数量，由于关联数据通常一起被访问，从而通过此种放置策略，可以有效减少节点的唤起次数，同时减少对冷数据访问的响应延时。此外，本策略将关联冷数据连续写入磁盘，可以减少读写访问延迟提升系统性能。

Description

一种低能耗集群环境下基于频度关联的冷数据放置策略
技术领域
本发明涉及计算机存储技术领域，具体涉及一种低能耗集群环境下基于频度关联的冷数据放置策略，更具体的涉及了基于数据的访问情况进行数据分类及数据访问关联性识别方法，并将相关联的冷数据动态迁移至同一冷节点中。
背景技术
随着网络的普及和迅猛发展，互联网用户数量已难以估量。网络已经覆盖了人类生产生活的方方面面。日常生产生活当中互联网用户会产生各种各样的数据和信息，如学习资料、办公材料、商务数据、游戏娱乐数据及程序等等。这使得网络存储系统需要存储并处理庞大的数据。从而，网络存储系统规模日益庞大，因此其巨大的系统能耗成为了一个重要问题。此外，为了能提供优质的服务和足够的存储空间，存储系统常常会使用远多于实际需要的硬件资源。然而大部分资源在多数情况下并没被使用到，这就使得系统产生大量不必要的能源开销。在集群环境下，大量的低能耗方案采用关闭(或休眠)一部分不必要的硬件资源来节约存储系统的能耗。但这类方案设计大致有两种，一种不考虑数据的访问情况，另一种考虑数据的访问情况却不考虑数据访问的关联性。前种设计将所有数据集中到部分存储节点上，关闭(或休眠)其它节点。后种设计将高频访问数据集中到部分存储节点上，低频访问数据则放置到其它会被关闭(或休眠)的节点上。
从实现上来看，大多低能耗集群方案是根据系统的负载关闭(或休眠)负载轻的节点，并将这些节点的任务转移到其他节点，借此将传统存储系统中的存储节点划分为热节点集合和冷节点集合。然而由于唤起关闭(或休眠)的节点需要消耗大量电能并会产生一定的延时，节点唤起操作过多时，非但不能达到节能效果，反而会使得能耗增加且系统性能下降。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种低能耗集群环境下基于频度关联的冷数据放置策略。
本发明的目的可以通过采取如下技术方案达到：
一种低能耗集群环境下基于频度关联的冷数据放置策略，所述的放置策略包括下列步骤：
S1、数据识别器开始工作，同时网络存储系统工作一段指定的时间后，根据负载的平均值，得到处理负载需要的存储节点个数，并附加一定量的存储节点以应对高负载情况，得到网络存储系统初始时热节点的数量；
S2、数据初始化放置，根据热节点的数量，对网络存储系统进行划分，其中热节点个数设置为此数量，作为热节点集合，剩余节点作为冷节点集合，各存储节点数据缓存置空，根据数据识别器的识别情况，区分放置到最佳节点的数据缓存中；
S3、网络存储系统正常运行，热节点一直处于正常工作状态，而冷节点在无任务请求一段时间后转入休眠状态，当任务到来时才被唤起以处理任务请求，运行过程中若出现数据属性改变情况时，则执行步骤S4，否则执行步骤S5；
S4、数据动态迁移，当原为热数据的数据转为冷数据时，该数据被迁移到关联度最佳的冷节点数据缓存中，而当原为冷数据的数据转为热数据时，该数据被迁移到负载最轻的热节点数据缓存中，继续返回执行步骤S3；
S5、历史信息清理，网络存储系统运行时间较长后，数据识别器清理过时的历史访问信息，清理完成后，继续返回执行步骤S3。
进一步地，所述的数据识别器在记录数据访问信息时，将时间分为多个等长时间段，以时间段作为基本记录单位，当收到数据访问请求时，记录该数据的访问次数，同时区分出当前所处的时间段。
进一步地，所述的网络存储系统包含一个元数据服务器和若干存储节点，元数据服务器在网络存储系统起到管理器的作用，客户机发送访问请求给网络存储系统，访问请求通过元数据服务器检索到数据所在节点后，请求被交于此节点处理，所述的元数据服务器在所述的网络存储系统初始化阶段对系统进行初始化：将存储节点划分成冷节点集合和热节点集两部分，并执行数据初始化迁移。
进一步地，所述的步骤S3、网络存储系统正常运行中，每次请求到来，数据识别器都对访问的数据做记录，若数据识别器发现数据属性发生改变，则将该数据迁移到合适的节点上。
进一步地，所述的数据识别器记录下每个时间段内每个被访问的数据的访问次数，然后对数据按访问次数降序排序，得到排序靠前的数据作为高频访问数据，即热数据，其他数据则判别为低频访问数据，即冷数据；同时，根据每个时间段内数据共同被访问的情况，所述的数据识别器计算出数据间的关联强度，其中冷数据之间的关联强度达到阀值则认为数据之间具有关联度。
进一步地，若某数据的访问总次数位于全部被访问数据的前20％，则该数据被判定为热数据。
进一步地，所述的步骤S4、数据动态迁移，当原为热数据的数据转为冷数据时，该数据被迁移到关联度最佳的冷节点数据缓存中，若出现关联度相同或全为0的情况，则选择其中负载较轻的节点作为目标节点。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明将系统架构中的空闲节点转入低能耗状态，而非关闭这些节点。对比关闭节点，休眠节点唤起所需的时间更短，不会给系统带来严重的响应延时，且硬件对休眠的支持已经非常完场，实现上会很有优势。
(2)本发明不仅将冷热数据区分放置，而且放置相关联的冷数据到同一个冷节点中。由于关联数据通常一起被访问，从而通过此种放置策略，可以有效减少节点的唤起次数，同时减少对冷数据访问的响应延时。
(3)本发明采用的存储节点数据缓存可达到将关联冷文件连续写入磁盘的目的，从而一定程度上可以减少数据访问的延迟。
(4)此发明划分冷热节点时，提供略高于实际需求的热节点数量，从而保证系统的性能。基于80/20规则，只需将占总数据比率极小的一部分转移到热节点中，此外不对未访问到的数据进行迁移操作，使得需迁移数据量维持在一个很低的水平，因此不会对系统性能带来太大负面影响。
附图说明
图1是本发明适用的系统的结构示意图；
图2是本发明公开的一种低能耗集群环境下基于频度关联的冷数据放置策略的工作流程示意图；
图3是本发明中数据识别器记录数据访问情况的示意图；
图4是本发明中冷数据迁移示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明是一种低能耗集群环境下基于频度关联的冷数据放置策略，应用在低能耗集群环境下：
此环境下，网络存储系统包含一个元数据服务器和一些存储节点。其中，存储节点被划分为冷节点集和热节点集，元数据服务器在系统起到管理器的作用。客户机通过网络来读取其存储于网络存储系统上的数据。网络存储系统收到来自客户机的访问请求后，通过元数据服务器查询数据所在的节点，然后将访问请求转发到该节点，最终建立连接并完成数据传输。
为了更清晰地阐明本发明的应用场景，以下结合系统工作流程示意图(图2)、数据识别器对数据访问划分时间段来记录示意图(图3)和冷数据迁移示意图(图4)再作详细分析。
如图2所示，客户机发送访问请求给网络存储系统，访问请求通过元数据服务器检索到数据所在节点后，请求被交于此节点处理。元数据服务器在网络存储系统初始化阶段对系统进行初始化：将存储节点划分成冷节点集合和热节点集两部分，并执行数据初始化迁移。初始化完成后，系统开始正常工作。每次请求到来，数据识别器都对访问的数据做记录。若数据识别器发现数据属性发生改变，则将该数据迁移到合适的节点上。数据迁移遵循：热数据放置到热节点集合中，冷数据则放置到冷节点集合中；其中热数据每次放置时，选择负载最轻的热节点，而冷数据放置时，根据和各个冷节点缓存中已有数据的关联情况，选择关联最大的节点。
如图3所示，数据识别器在记录数据访问信息时，将时间分为多个等长时间段，以时间段作为基本记录单位。在同个时间段内被访问过的不同数据，被认为在该时间段内是相关联的。若某数据的访问总次数位于全部被访问数据的前20％，则该数据被判定为热数据。两个数据同时被访问到的时间段占全部时间段的比例，被称作这两个数据关联的可信度。在一个数据被访问到的全部时间段内，另一个数据也被访问到的时间段所占比率，被称为这两个数据的关联度。可信度代表两数据是否存在关联的可信程度，而关联度表示两数据间若有关联，它们间的关联程度。
如图4所示，冷数据被迁移到冷节点时，根据和各个冷节点数据缓存中已有数据的关联情况，选择关联最大的节点。为防止过度关联，可以设定可信度的阀值，两数据关联度低于阀值时它们被认为是无关联，此时它们的关联度置为0。
数据识别器，识别数据的访问频率及数据关联性，实现对数据的分类以便应用本策略。首先，数据识别器将时间分为一个个时间段，并记录下每个时间段内每个被访问的数据的访问次数。然后对数据按访问次数降序排序，得到排序靠前的数据作为高频访问数据(热数据)，其他数据则判别为低频访问数据(冷数据)。同时，根据每个时间段内数据共同被访问的情况，识别器可计算出数据间的关联强度，其中冷数据之间的关联强度达到阀值则认为它们间是有关联的。
存储节点数据缓存，用于存放被迁移放置过来的数据。为了便于数据的迁移放置操作，每个存储节点均设有一个数据缓存。放置过来的文件首先放置在该缓存中，当缓存满之后，一次性将当中全部数据存入到本节点磁盘中。同时，待迁移冷数据与冷节点的关联程度，为此数据和缓存中全部数据的关联度的总和。
数据放置初始化，根据数据的访问频率特性，分别对热数据及冷数据进行初始化放置。放置的过程是：对数据识别器已识别的数据，如果是热数据，则放置到热节点集合中，如果是冷数据则放置到冷节点集合中。其中热数据每次放置时，选择负载最轻的热节点，而冷数据放置时，根据和各个冷节点缓存中已有数据的关联情况，选择关联最大的节点。
数据动态迁移，随着时间的推移，数据访问情况会发生改变，从而需要在系统运行过程中，动态的迁移数据到适合的节点。当原为热数据的数据转为冷数据时，该数据被迁移到冷节点中。而当原为冷数据的数据转为热数据时，该数据被迁移到热节点中。需要指出的是，数据迁移到冷节点时，选择关联度最佳的节点，而数据迁移到热节点时，选择负载最轻的热节点。
对数据分类的根据是数据的历史访问次数，由数据各个历史时间段的访问次数综合得出数据的预测频度。为适应最新的访问情况，新时间段的访问情况拥有更大的权值。数据高频、低频划分，是根据80/20规则，即存储系统中约80％的请求，来自于对20％的数据的访问。数据关联性判定的依据是：一段时间内被访问到的数据之间可能是关联的。数据关联性仅需对冷数据进行判定。
缓存是基于节点的内存而建立，具有高速读写的特性。且迁移时，对于冷节点，缓存中的数据是待迁移冷数据是否迁移到此节点的依据。当缓存满时，其中的数据被连续的写入磁盘，从而可在数据连续访问时，达到更优的访问效率。
初始化系统，并将已访问过的数据进行分类放置，使系统初始时就具备节能的特性。可以避免后续过程产生过多的数据迁移操作，从而减轻系统负担，消除对系统性能不必要的负影响。
对于访问频度发生改变的数据，及时进行处理，使系统始终适应当前的工作负载情况。且数据迁移操作被推迟到节点无任务待处理的时间，以此避免对系统性能产生不良影响。
数据识别器仅在数据被访问时，做简单的访问次数增加操作。数据访问情况的记录采用hash表方式存储，可根据数据标识直接读取出其相关记录信息。从而此数据识别器不会对系统性能造成影响，且具有极高的运行效率。需要注意的是，数据识别器在系统开始运行后一直处于运行状态，对数据访问次数的记录，是以特定的时间间隔为单位，减少存储开销，过于久远的记录信息会被删除。
依据数据识别器得到的数据访问情况对数据进行分类，不对未访问过的数据进行分类。数据迁移时，未访问过的数据不进行迁移，避免带来大量的数据的迁移操作。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的放置策略包括下列步骤：
S1、数据识别器开始工作，同时网络存储系统工作一段指定的时间后，根据负载的平均值，得到处理负载需要的存储节点个数，并附加一定量的存储节点以应对高负载情况，得到网络存储系统初始时热节点的数量；
S2、数据初始化放置，根据热节点的数量，对网络存储系统进行划分，其中热节点个数设置为此数量，作为热节点集合，剩余节点作为冷节点集合，各存储节点数据缓存置空，根据数据识别器的识别情况，区分放置到最佳节点的数据缓存中；
S3、网络存储系统正常运行，热节点一直处于正常工作状态，而冷节点在无任务请求一段时间后转入休眠状态，当任务到来时才被唤起以处理任务请求，运行过程中若出现数据属性改变情况时，则执行步骤S4，否则执行步骤S5；
S4、数据动态迁移，当原为热数据的数据转为冷数据时，该数据被迁移到关联度最佳的冷节点数据缓存中，而当原为冷数据的数据转为热数据时，该数据被迁移到负载最轻的热节点数据缓存中，继续返回执行步骤S3；
S5、历史信息清理，网络存储系统运行时间较长后，数据识别器清理过时的历史访问信息，清理完成后，继续返回执行步骤S3。
2.根据权利要求1所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的数据识别器在记录数据访问信息时，将时间分为多个等长时间段，以时间段作为基本记录单位，当收到数据访问请求时，记录该数据的访问次数，同时区分出当前所处的时间段。
3.根据权利要求1所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的网络存储系统包含一个元数据服务器和若干存储节点，元数据服务器在网络存储系统起到管理器的作用，客户机发送访问请求给网络存储系统，访问请求通过元数据服务器检索到数据所在节点后，请求被交于此节点处理，所述的元数据服务器在所述的网络存储系统初始化阶段对系统进行初始化：将存储节点划分成冷节点集合和热节点集两部分，并执行数据初始化迁移。
4.根据权利要求1所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的步骤S3、网络存储系统正常运行中，每次请求到来，数据识别器都对访问的数据做记录，若数据识别器发现数据属性发生改变，则将该数据迁移到合适的节点上。
5.根据权利要求2所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的数据识别器记录下每个时间段内每个被访问的数据的访问次数，然后对数据按访问次数降序排序，得到排序靠前的数据作为高频访问数据，即热数据，其他数据则判别为低频访问数据，即冷数据；同时，根据每个时间段内数据共同被访问的情况，所述的数据识别器计算出数据间的关联强度，其中冷数据之间的关联强度达到阀值则认为数据之间具有关联度。
6.根据权利要求5所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，若某数据的访问总次数位于全部被访问数据的前20％，则该数据被判定为热数据。
7.根据权利要求1所述的一种低能耗集群环境下基于频度关联的冷数据放置策略，其特征在于，所述的步骤S4、数据动态迁移，当原为热数据的数据转为冷数据时，该数据被迁移到关联度最佳的冷节点数据缓存中,若出现关联度相同或全为0的情况，则选择其中负载较轻的节点作为目标节点。
CN201710839180.6A 2017-09-18 2017-09-18 一种低能耗集群环境下基于频度关联的冷数据放置策略 Active CN107728938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710839180.6A CN107728938B (zh) 2017-09-18 2017-09-18 一种低能耗集群环境下基于频度关联的冷数据放置策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710839180.6A CN107728938B (zh) 2017-09-18 2017-09-18 一种低能耗集群环境下基于频度关联的冷数据放置策略

Publications (2)

Publication Number Publication Date
CN107728938A true CN107728938A (zh) 2018-02-23
CN107728938B CN107728938B (zh) 2020-06-16

Family

ID=61207464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710839180.6A Active CN107728938B (zh) 2017-09-18 2017-09-18 一种低能耗集群环境下基于频度关联的冷数据放置策略

Country Status (1)

Country Link
CN (1) CN107728938B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置
CN111027941A (zh) * 2019-12-19 2020-04-17 重庆电子工程职业学院 一种基于stm32单片机的教学实验平台
WO2021108300A1 (en) * 2019-11-29 2021-06-03 Amazon Technologies, Inc. Warm tier storage for search service

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999442A (zh) * 2012-11-16 2013-03-27 成都索贝数码科技股份有限公司 面向媒体应用的存储系统及方法
CN103294167A (zh) * 2013-05-21 2013-09-11 暨南大学 一种基于数据行为的低能耗集群存储复制装置和方法
CN103473335A (zh) * 2013-09-18 2013-12-25 浪潮(北京)电子信息产业有限公司 一种热点数据检测方法及装置
WO2015072925A1 (en) * 2013-11-14 2015-05-21 Agency For Science, Technology And Research Method for hot i/o selective placement and metadata replacement for non-volatile memory cache on hybrid drive or system
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999442A (zh) * 2012-11-16 2013-03-27 成都索贝数码科技股份有限公司 面向媒体应用的存储系统及方法
CN103294167A (zh) * 2013-05-21 2013-09-11 暨南大学 一种基于数据行为的低能耗集群存储复制装置和方法
CN103473335A (zh) * 2013-09-18 2013-12-25 浪潮(北京)电子信息产业有限公司 一种热点数据检测方法及装置
WO2015072925A1 (en) * 2013-11-14 2015-05-21 Agency For Science, Technology And Research Method for hot i/o selective placement and metadata replacement for non-volatile memory cache on hybrid drive or system
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置
CN109947373B (zh) * 2019-03-28 2022-05-13 北京大道云行科技有限公司 一种数据处理方法和装置
WO2021108300A1 (en) * 2019-11-29 2021-06-03 Amazon Technologies, Inc. Warm tier storage for search service
CN111027941A (zh) * 2019-12-19 2020-04-17 重庆电子工程职业学院 一种基于stm32单片机的教学实验平台

Also Published As

Publication number Publication date
CN107728938B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN100399301C (zh) 大容量存储设备和用于动态管理大容量存储设备的方法
CN104850358B (zh) 一种磁光电混合存储系统及其数据获取和存储方法
CN105892947A (zh) 一种节能存储系统的ssd与hdd混合缓存管理方法及系统
CN108829341B (zh) 一种基于混合存储系统的数据管理方法
CN107728938A (zh) 一种低能耗集群环境下基于频度关联的冷数据放置策略
US7565493B1 (en) Configuring a cache replacement policy in a computer system employing object addressable storage
CN101247417B (zh) 双层元数据处理系统及方法
CN105653591A (zh) 一种工业实时数据分级存储及迁移方法
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
CN109521959A (zh) 一种基于ssd-smr磁盘混合键值存储系统数据组织方法
CN107436813A (zh) 一种元数据服务器动态负载均衡的方法及系统
CN103488685B (zh) 一种基于分布式存储系统的碎片文件存储方法
CN106775446A (zh) 基于固态硬盘加速的分布式文件系统小文件访问方法
CN101196929A (zh) 一种拆分名字空间的元数据管理方法
CN103428267A (zh) 一种智慧缓存系统及其区分用户喜好相关性的方法
CN107943719A (zh) 一种基于请求分类的闪存转换层控制方法
CN112947860B (zh) 一种分布式数据副本的分级存储与调度方法
CN112051968B (zh) 基于Kafka的分布式数据流分级缓存自动迁移方法
CN111159176A (zh) 一种海量流数据的存储和读取的方法和系统
CN110795363A (zh) 一种存储介质的热页预测方法和页面调度方法
US20070061509A1 (en) Power management in a distributed file system
CN113672169A (zh) 流处理系统的数据读写方法和流处理系统
CN109582233A (zh) 一种数据的缓存方法和装置
CN101315595A (zh) 一种数据读取方法及装置
CN109491985B (zh) 一种基于关联规则的热数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201217

Address after: 510632 No. 601, Whampoa Avenue, Tianhe District, Guangdong, Guangzhou

Patentee after: Guangzhou Jinan University Science Park Management Co.,Ltd.

Address before: 510632 No. 601, Whampoa Avenue, Tianhe District, Guangdong, Guangzhou

Patentee before: Jinan University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210112

Address after: 228, 2nd floor, No.35, Huajing Road, Huajing new town, 105 Zhongshan Avenue, Tianhe District, Guangzhou, Guangdong 510000

Patentee after: Yuzhi (Guangzhou) Technology Co.,Ltd.

Patentee after: Guangzhou Jinan University Science Park Management Co.,Ltd.

Address before: 510632 No. 601, Whampoa Avenue, Tianhe District, Guangdong, Guangzhou

Patentee before: Guangzhou Jinan University Science Park Management Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: No. 228, Floor 2, No. 35, Huajing Road, Huajing New Town, No. 105, Zhongshan Avenue, Tianhe District, Guangzhou, Guangdong 510000

Patentee after: Guangzhou Changfan Cultural Technology Co.,Ltd.

Patentee after: Guangzhou Jinan University Science Park Management Co.,Ltd.

Address before: 228, 2nd floor, No.35, Huajing Road, Huajing new town, 105 Zhongshan Avenue, Tianhe District, Guangzhou, Guangdong 510000

Patentee before: Yuzhi (Guangzhou) Technology Co.,Ltd.

Patentee before: Guangzhou Jinan University Science Park Management Co.,Ltd.

CP03 Change of name, title or address