CN107273040A - 数据缓存方法和装置 - Google Patents

数据缓存方法和装置 Download PDF

Info

Publication number
CN107273040A
CN107273040A CN201610215446.5A CN201610215446A CN107273040A CN 107273040 A CN107273040 A CN 107273040A CN 201610215446 A CN201610215446 A CN 201610215446A CN 107273040 A CN107273040 A CN 107273040A
Authority
CN
China
Prior art keywords
media data
hot value
hard disk
solid state
hard disc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610215446.5A
Other languages
English (en)
Inventor
孙振岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Original Assignee
BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING UNION VOOLE TECHNOLOGY Co Ltd filed Critical BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Priority to CN201610215446.5A priority Critical patent/CN107273040A/zh
Publication of CN107273040A publication Critical patent/CN107273040A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请提供了一种数据缓存方法和装置，缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述方法包括：将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据。本申请通过上述手段，能够充分发挥固态硬盘读取性能高以及机械硬盘成本低的优点，在有效提升系统服务性能基础上，还能够保证用户请求数据的完整性。

Description

数据缓存方法和装置
技术领域
本申请涉及网络系统技术领域，特别地，涉及一种数据缓存方法和装置。
背景技术
随着互联网的快速发展，智能电视的普及，网络数据流量成倍增长，会出现网络拥塞并出现影响业务应用体验的情况。
以内容分发网络（CDN，Content Delivery Network）为例，CDN作为一种能够提高互联网内容传输效率的系统，特别针对视频等多媒体内容传输的服务质量效率能得到很大提升，得到越来越广泛的应用。CDN是基于网络和部署在各地的边缘服务器，利用中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，从而降低网络拥塞，提高用户访问的响应速度和命中率。
在现有CDN系统中，为了降低各边缘服务器的回源下载造成的中心平台的存储压力和带宽问题，在各地的边缘服务器中都设置有缓存空间。但CDN系统面对的往往都是数据量庞大的视频数据，因此为节约成本，边缘服务器一般配置成本相对较低的机械硬盘（如IDE、SCSI、PATA、SATA硬盘等）作为缓存空间，机械硬盘由于需要通过转动盘片实现定位读取数据，因此其数据读取速度相对较慢，在一定程度上会影响介质数据的下载速度，用户使用体验不好。
发明内容
本申请提供一种数据缓存方法和装置，能够利用较小的成本解决现有缓存空间反馈速度较低而影响客户使用体验的问题。
本申请公开的一种数据缓存方法，用于缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述方法包括：将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；或，将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
优选的，还包括：将每次客户端的访问都需要传输的列表文件和索引文件缓存在介质缓存节点的内存中。
优选的，根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据，具体包括：重复判断固态硬盘中热度值最低的介质数据的热度值是否小于机械硬盘中热度值最高的介质数据的热度值，若是，将固态硬盘中热度值最低的介质数据迁移到机械硬盘中，将机械硬盘中热度值最高的介质数据迁移到固态硬盘中；否则，结束数据迁移过程。
优选的，根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据，具体包括：将固态硬盘中热度值小于预设热度阈值的介质数据迁移到机械硬盘中，以及将机械硬盘中热度值大于或等于热度阈值的介质数据迁移到固态硬盘中。
优选的，所述介质缓存节点有多个，所述介质数据在介质缓存节点的缓存方式具体包括：将所述介质数据以预设的数据块大小划分为多个数据块；根据所述介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘和/或机械硬盘的缓存映射关系。
优选的，所述机械硬盘为IDE接口硬盘、SCSI接口硬盘、SATA串口硬盘、SAS接口硬盘或光纤通道接口硬盘。
本申请公开的一种数据缓存装置，用于缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述装置包括：存储分配模块，用于将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；或将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；热度统计模块，用于按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；存储迁移模块，用于根据更新后的所述介质数据的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
优选的，所述存储分配模块还用于将每次客户端的访问都需要传输的列表文件和索引文件缓存在介质缓存节点的内存中。
优选的，所述存储迁移模块采用如下方式调整固态硬盘和机械硬盘中缓存的介质数据：重复判断固态硬盘中热度值最低的介质数据的热度值是否小于机械硬盘中热度值最高的介质数据的热度值，当固态硬盘中热度值最低的介质数据的热度值小于机械硬盘中热度值最高的介质数据的热度值时，将固态硬盘中热度值最低的介质数据迁移到机械硬盘中，将机械硬盘中热度值最高的介质数据迁移到固态硬盘中；或，将固态硬盘中热度值小于预设热度阈值的介质数据迁移到机械硬盘中，以及将机械硬盘中热度值大于或等于热度阈值的介质数据迁移到固态硬盘中。
优选的，所述介质缓存节点有多个，所述介质数据在介质缓存节点的缓存方式具体为：将所述介质数据以预设的数据块大小划分为多个数据块；根据所述介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘和/或机械硬盘的缓存映射关系。
与现有技术相比，本申请具有以下优点：
本申请优选实施例根据介质数据的热度进行分类存储，将请求访问次数多的介质数据集中缓存在固态硬盘（SSD）中，可充分发挥SSD数据读取性能高的优点，有效提升系统的服务性能；将访问率低的介质数据缓存在机械硬盘（如SATA接口硬盘）上，实现分级存储，能够在降低系统成本的同时保证用户请求数据的完整性。
附图说明
图1为本申请数据缓存方法第一实施例的流程图；
图2为本申请数据缓存方法第二实施例的流程图；
图3为图2所示的方法实施例中更新所述介质数据的状态的具体流程图；
图4为本申请数据缓存装置一实施例的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请数据缓存方法第一实施例的流程，本优选实施例执行所述缓存数据方法的介质缓存节点设置有固态硬盘（SSD，Solid State Driver）和机械硬盘（HDD，Hard Disk Driver），该方法实施例包括：
步骤S101：将列表文件和索引文件等热度值最高的小文件缓存在内存中，将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中。
本优选实施例缓存在介质缓存节点中的介质数据设置有热度值，并按照热度值进行分级缓存，其中，在内存中缓存访问率高的小文件（如列表文件、索引文件等），在硬盘中缓存实际的介质数据。
在实际实施过程中，介质播放一般是以列表文件（如m3u8文件）进行传输的， m3u8文件、索引（index）文件等小文件是每次播放必传的文件，优选在内存中缓存，以减少磁盘操作的次数，提高服务性能。
HDD是一种采用磁性碟片作为存储介质的存储器，数据读取性能相对较低，用于存储热度值相对较低的介质数据。HDD的接口类型可以为电子集成驱动接口（IDE，Integrated Drive Electronics）、小型计算机系统接口（SCSI，Small Computer System Interface)、串行接口（SATA，Serial ATA)、串行SCSI接口（SAS，Serial Attached SCSI）或光纤通道接口（FC，Fibre Channel）等。
SSD是一种以闪存颗粒作为存储介质的存储器，由于数据存放在半导体内存上，能够在低于1毫秒的时间内对任意位置的存储单元完成I/O（输入/输出）操作，因此其最为关键的I/O性能指标IOPS（即每秒IO操作的次数）上，SSD可以达到HDD的50倍以上；本优选实施例中用于缓存热度值相对较高的介质数据。
具体实施时，可以在SSD中缓存热度值大的介质数据，剩余的介质数据缓存在HDD中；即，按照SSD存储能力的实际大小，将热度值大的介质数据优先存储到SSD中，直到SSD存满；将SSD存不下的介质数据，全部缓存在HDD中，以充分发挥SSD性能，提升系统服务能力。
按照介质数据的热度值，将介质数据分成HDD、SSD和内存等三个级别进行缓存，可以极大的减小IO压力，提升系统吞吐量。
所述介质缓存节点有多个，所述介质数据在介质缓存节点中可以采用整块存储的方式，也可以采用分片存储的方式。
当采用分片存储方式时，具体可以包括：
（1）将介质数据按预设的数据块大小（如64M）划分为多个数据块；
（2）根据所述介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘或机械硬盘的缓存映射关系；
即，对于要缓存在HDD中的介质数据，将其按预设的数据块大小划分为多个数据块，采用一致性哈希算法计算划分出的各数据块与多个介质缓存节点的HDD的缓存映射关系；
SSD和内存缓存原理与HDD相同，采用一致性哈希分布，是分布式的缓存，在集群的介质缓存节点间分享。
具体实施时，可以根据介质数据文件的惟一标识（fid，File IDentification）以及数据块的编号计算出哈希（hash）值，然后根据预设的映射策略，建立该数据块与某个介质缓存节点的内存、固态硬盘和/或机械硬盘的缓存映射关系。
上述fid可以通过对介质数据文件的属性值进行MD5运算的方式获得，存储基于fid的文件索引，同样的文件只会存一份，不仅能节省存储空间，还可以方便对文件内容进行校验。
在具体实施时，可以判断介质缓存节点的可用数量是否出现变动（如某个介质缓存节点宕机、添加一个新的介质缓存节点等），若是，则采用一致性哈希算法重新计算所述缓存映射关系。
介质数据在缓存节点中以预设的数据块尺寸分片存储，由于每一分片存储在集群中不同的缓存节点上，可以避免大量热点介质访问产生的单盘IO性能瓶颈。
步骤S102：按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值。
在具体实施时，可以根据需要定时统计（如可以每天统计）一次SSD和HDD中所有介质数据（如视频数据）的点播次数，如果HDD有点播次数超过SSD中的视频，则把SSD中点播次数低的迁移到HDD中，把HDD中点播次数高的迁移到SSD中。
步骤S103：根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
本优选实施例中上述根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据，其方法具体可以为：重复判断SSD中热度值最低的介质数据的热度值是否小于HDD中热度值最高的介质数据的热度值，若是，将SSD中热度值最低的介质数据迁移到HDD中，将HDD中热度值最高的介质数据迁移到SDD中；否则，结束数据迁移过程。
参照图2，示出了本申请数据缓存方法第二实施例的流程，本方法实施例与上述第一方法实施例的主要区别在于，在本方法实施例中，将缓存在介质缓存节点中的介质数据划分为热点内容和非热点内容，例如，可以根据预设时间内被访问的次数来确定哪些介质数据是热点内容，哪些介质数据是非热点内容。所述方法具体包括：
步骤S201：将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；
在具体实施时，可以将新发布的介质数据根据预设的规则，将介质数据设置为热点内容（可以将其热度值设置为预设热度阈值）或非热点内容（可以将其热度值设置为0）；并在初次缓存在介质缓存节点时，将热点内容缓存在固态硬盘中，将非热点内容缓存在机械硬盘中。
步骤S202：按预设时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的状态。
在具体实施时，如图3所示，具体可以包括：
步骤S202-1：收集预设时间周期内客户端的访问请求；
客户端的访问请求被全局负载均衡器重定向至当前介质缓存节点中，该访问请求中包括有相应的介质数据的信息，介质缓存节点可以通过解析并统计预设时间内接收的客户端访问请求，便可以获取该访问请求对应的介质数据信息。
在具体实施中，上述预设时间周期可以根据实际的需要进行设置，例如，可以设置为1天或者3天等。
步骤S202-2：判断所收集的访问请求中相同介质数据的出现次数是否大于或等于预设热度阈值；若是，转步骤S202-3；否则，转步骤S202-4；
在具体实施中，预设的热度阈值可以根据实际的需要进行设置，例如，可以将所述热度值设定为3次或者9次等。
步骤S202-3：将所述介质数据设定为热点内容；转步骤S203；
在具体实施中，当在所述预设时间周期内所收集的客户端的访问请求中，相同介质数据出现的次数大于或等于预设的热度阈值时，表明该介质数据属于客户端频繁访问的内容，可以将其设定为热点内容。
步骤S202-4：将所述介质数据设定为非热点内容；转步骤S203；
在具体实施中，当在所述预设时间周期内所收集的客户端的访问请求中，相同介质数据出现的次数小于预设的热度阈值时，表明该介质数据不属于客户端频繁访问的内容，可以将其设定为非热点内容。
步骤S203：将固态硬盘中的非热点内容迁移到机械硬盘，以及将机械硬盘中的热点内容迁移到固态硬盘。
本申请通过上述手段，可以有效提高热点内容的反馈速度，同时，还能够通过在机械硬盘中缓存非热点内容的方式保证数据的完整性，从而可以从整体上满足客户的内容分发需求，提高客户的使用体验。
需要说明的是，对于前述的各方法实施例，为了描述简单，故将其都表述为一系列的动作组合，但是本领域的技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为根据本申请，某些步骤可以采用其他顺序或同时执行；其次，本领域技术人员也应该知悉，上述方法实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
参照图4，示出了本申请数据缓存装置一实施例的结构示意图，用于缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述装置包括：
存储分配模块41，用于将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；或将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；
具体实施时，每次客户端的访问都需要传输的列表文件和索引文件等热度值最高的小文件可以缓存在固态硬盘中，也可以为进一步提高服务性能而将上述小文件缓存在系统内存中。
另外，存储分配模块41可以采用分片存储方式缓存数据，也可以采用其他方式缓存数据。当采用分片缓存方式时，具体可以采用如下方式实现：将介质数据按预设的数据块大小（如64M）划分为多个数据块；采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘和机械硬盘的缓存映射关系。
热度统计模块42，用于按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；
存储迁移模块43，用于根据更新后的所述介质数据的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
具体实施时，存储迁移模块43可以采用如下方式调整固态硬盘和机械硬盘中缓存的介质数据：
重复判断固态硬盘中热度值最低的介质数据的热度值是否小于机械硬盘中热度值最高的介质数据的热度值，若是，将固态硬盘中热度值最低的介质数据迁移到机械硬盘中，将机械硬盘中热度值最高的介质数据迁移到固态硬盘中；否则，结束介质数据的迁移工作；
或，将固态硬盘中热度值小于预设热度阈值的介质数据迁移到机械硬盘中，以及将机械硬盘中热度值大于或等于热度阈值的介质数据迁移到固态硬盘中。
需要说明的是，上述装置实施例属于优选实施例，所涉及功能模块并不一定是本申请所必须的。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于本申请的装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请所提供的一种数据缓存方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据缓存方法，其特征在于，用于缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述方法包括：
将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；或，将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；
按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；
根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
2.根据权利要求1所述的方法，其特征在于，还包括：将每次客户端的访问都需要传输的列表文件和索引文件缓存在介质缓存节点的内存中。
3.根据权利要求1或2所述的方法，其特征在于，根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据，具体包括：
重复判断固态硬盘中热度值最低的介质数据的热度值是否小于机械硬盘中热度值最高的介质数据的热度值，若是，将固态硬盘中热度值最低的介质数据迁移到机械硬盘中，将机械硬盘中热度值最高的介质数据迁移到固态硬盘中；否则，结束数据迁移过程。
4.根据权利要求1或2所述的方法，其特征在于，根据更新后的热度值调整固态硬盘和机械硬盘中缓存的介质数据，具体包括：
将固态硬盘中热度值小于预设热度阈值的介质数据迁移到机械硬盘中，以及将机械硬盘中热度值大于或等于热度阈值的介质数据迁移到固态硬盘中。
5.根据权利要求2所述的方法，其特征在于，所述介质缓存节点有多个，所述介质数据在介质缓存节点的缓存方式具体包括：
将所述介质数据以预设的数据块大小划分为多个数据块；
根据所述介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘和/或机械硬盘的缓存映射关系。
6.根据权利要求1所述的方法，其特征在于，所述机械硬盘为IDE接口硬盘、SCSI接口硬盘、SATA串口硬盘、SAS接口硬盘或光纤通道接口硬盘。
7.一种数据缓存装置，其特征在于，用于缓存数据的介质缓存节点设置有固态硬盘和机械硬盘，缓存在介质缓存节点中的介质数据设置有热度值，所述装置包括：
存储分配模块，用于将热度值高的介质数据优先缓存在固态硬盘中，剩余的介质数据缓存在机械硬盘中；或将热度值大于或等于预设热度阈值的介质数据缓存在固态硬盘，热度值小于预设热度阈值的介质数据缓存在机械硬盘中；
热度统计模块，用于按预设的时间周期统计所述介质缓存节点中所有介质数据的访问次数，并根据所述访问次数更新所述介质数据的热度值；
存储迁移模块，用于根据更新后的所述介质数据的热度值调整固态硬盘和机械硬盘中缓存的介质数据。
8.根据权利要求7所述的装置，其特征在于，所述存储分配模块还用于将每次客户端的访问都需要传输的列表文件和索引文件缓存在介质缓存节点的内存中。
9.根据权利要求7或8所述的装置，其特征在于，所述存储迁移模块采用如下方式调整固态硬盘和机械硬盘中缓存的介质数据：
重复判断固态硬盘中热度值最低的介质数据的热度值是否小于机械硬盘中热度值最高的介质数据的热度值，当固态硬盘中热度值最低的介质数据的热度值小于机械硬盘中热度值最高的介质数据的热度值时，将固态硬盘中热度值最低的介质数据迁移到机械硬盘中，将机械硬盘中热度值最高的介质数据迁移到固态硬盘中；或，
将固态硬盘中热度值小于预设热度阈值的介质数据迁移到机械硬盘中，以及将机械硬盘中热度值大于或等于热度阈值的介质数据迁移到固态硬盘中。
10.根据权利要求8所述的装置，其特征在于，所述介质缓存节点有多个，所述介质数据在介质缓存节点的缓存方式具体为：将所述介质数据以预设的数据块大小划分为多个数据块；根据所述介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与介质缓存节点的内存、固态硬盘和/或机械硬盘的缓存映射关系。
CN201610215446.5A 2016-04-08 2016-04-08 数据缓存方法和装置 Pending CN107273040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610215446.5A CN107273040A (zh) 2016-04-08 2016-04-08 数据缓存方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610215446.5A CN107273040A (zh) 2016-04-08 2016-04-08 数据缓存方法和装置

Publications (1)

Publication Number Publication Date
CN107273040A true CN107273040A (zh) 2017-10-20

Family

ID=60052887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610215446.5A Pending CN107273040A (zh) 2016-04-08 2016-04-08 数据缓存方法和装置

Country Status (1)

Country Link
CN (1) CN107273040A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943717A (zh) * 2017-12-13 2018-04-20 杭州安恒信息技术有限公司 基于默认配置的缓存管理方法、装置、系统及计算机可读介质
CN108228110A (zh) * 2018-01-31 2018-06-29 网宿科技股份有限公司 一种迁移资源数据的方法和装置
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置
CN109144411A (zh) * 2018-07-24 2019-01-04 中国电子科技集团公司第三十八研究所 数据中心混合磁盘阵列及其数据动态迁移策略
CN109151358A (zh) * 2018-09-10 2019-01-04 郑州云海信息技术有限公司 一种视频处理系统与方法
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN109582241A (zh) * 2018-12-03 2019-04-05 郑州云海信息技术有限公司 一种实现机械硬盘性能加速的板卡及方法
CN109936513A (zh) * 2019-02-18 2019-06-25 网宿科技股份有限公司 基于fpga的数据报文处理方法、智能网卡和cdn服务器
CN110134324A (zh) * 2018-02-02 2019-08-16 北京京东尚科信息技术有限公司 数据处理方法、系统、服务器集群和电子设备
CN110704336A (zh) * 2019-09-26 2020-01-17 北京神州绿盟信息安全科技股份有限公司 一种数据缓存方法及装置
CN111225267A (zh) * 2018-11-26 2020-06-02 中国电信股份有限公司 内容缓存调度方法、装置和系统、内容分发网络节点
CN111767006A (zh) * 2019-04-02 2020-10-13 英韧科技(上海)有限公司 数据处理方法及装置
CN113220233A (zh) * 2021-05-14 2021-08-06 北京百度网讯科技有限公司 数据读取方法、装置及系统
CN114063888A (zh) * 2020-07-31 2022-02-18 中移(苏州)软件技术有限公司 数据存储系统、数据处理方法、终端及存储介质
CN117056248A (zh) * 2023-10-13 2023-11-14 联通在线信息科技有限公司 资源读取方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203749A (zh) * 2010-12-31 2011-09-28 华为技术有限公司 多级缓存下固态硬盘的写方法及装置
CN103076993A (zh) * 2012-12-28 2013-05-01 北京思特奇信息技术股份有限公司 一种密集型系统中的存储系统及方法
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
US20140299830A1 (en) * 2013-04-05 2014-10-09 SK Hynix Inc. Semiconductor device and method for fabricating the same
CN104679661A (zh) * 2013-11-27 2015-06-03 阿里巴巴集团控股有限公司 混合存储的控制方法及混合存储系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203749A (zh) * 2010-12-31 2011-09-28 华为技术有限公司 多级缓存下固态硬盘的写方法及装置
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN103076993A (zh) * 2012-12-28 2013-05-01 北京思特奇信息技术股份有限公司 一种密集型系统中的存储系统及方法
US20140299830A1 (en) * 2013-04-05 2014-10-09 SK Hynix Inc. Semiconductor device and method for fabricating the same
CN104679661A (zh) * 2013-11-27 2015-06-03 阿里巴巴集团控股有限公司 混合存储的控制方法及混合存储系统
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943717A (zh) * 2017-12-13 2018-04-20 杭州安恒信息技术有限公司 基于默认配置的缓存管理方法、装置、系统及计算机可读介质
CN108228110A (zh) * 2018-01-31 2018-06-29 网宿科技股份有限公司 一种迁移资源数据的方法和装置
CN110134324A (zh) * 2018-02-02 2019-08-16 北京京东尚科信息技术有限公司 数据处理方法、系统、服务器集群和电子设备
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置
CN109144411A (zh) * 2018-07-24 2019-01-04 中国电子科技集团公司第三十八研究所 数据中心混合磁盘阵列及其数据动态迁移策略
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN109151358A (zh) * 2018-09-10 2019-01-04 郑州云海信息技术有限公司 一种视频处理系统与方法
CN111225267A (zh) * 2018-11-26 2020-06-02 中国电信股份有限公司 内容缓存调度方法、装置和系统、内容分发网络节点
CN109582241A (zh) * 2018-12-03 2019-04-05 郑州云海信息技术有限公司 一种实现机械硬盘性能加速的板卡及方法
CN109582241B (zh) * 2018-12-03 2022-02-18 郑州云海信息技术有限公司 一种实现机械硬盘性能加速的板卡及方法
CN109936513A (zh) * 2019-02-18 2019-06-25 网宿科技股份有限公司 基于fpga的数据报文处理方法、智能网卡和cdn服务器
CN111767006A (zh) * 2019-04-02 2020-10-13 英韧科技(上海)有限公司 数据处理方法及装置
CN111767006B (zh) * 2019-04-02 2021-03-16 英韧科技(上海)有限公司 数据处理方法及装置
US11494117B2 (en) 2019-04-02 2022-11-08 Innogrit Technologies Co., Ltd. Method and system for data processing
CN110704336A (zh) * 2019-09-26 2020-01-17 北京神州绿盟信息安全科技股份有限公司 一种数据缓存方法及装置
CN110704336B (zh) * 2019-09-26 2021-10-15 绿盟科技集团股份有限公司 一种数据缓存方法及装置
CN114063888A (zh) * 2020-07-31 2022-02-18 中移(苏州)软件技术有限公司 数据存储系统、数据处理方法、终端及存储介质
CN113220233A (zh) * 2021-05-14 2021-08-06 北京百度网讯科技有限公司 数据读取方法、装置及系统
CN117056248A (zh) * 2023-10-13 2023-11-14 联通在线信息科技有限公司 资源读取方法、装置、电子设备和存储介质
CN117056248B (zh) * 2023-10-13 2024-02-27 联通在线信息科技有限公司 资源读取方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107273040A (zh) 数据缓存方法和装置
US8825963B1 (en) Dynamic balancing of performance with block sharing in a storage system
US8555022B1 (en) Assimilation of foreign LUNS into a network storage system
JP5427630B2 (ja) 動的ページ再割当てストレージシステムにおけるアプリケーション及び階層構成の管理
US8380928B1 (en) Applying data access activity measurements
WO2021126295A1 (en) Request throttling in distributed storage systems
US11075984B1 (en) Workload management at streaming data service supporting persistent connections for reads
CN107277093A (zh) 内容分发网络及其负载均衡方法
CN107277097A (zh) 内容分发网络及其负载预测均衡方法
WO2015154352A1 (zh) 分布式文件系统的数据迁移方法、装置及元数据服务器
CN103399823B (zh) 业务数据的存储方法、设备和系统
WO2014183708A1 (zh) 一种实现分布式文件系统块存储的方法及系统
WO2011143946A1 (zh) 一种cdn中边缘服务器的多级缓存管理方法与系统
US10324980B2 (en) Method and system for caching of video files
US11914894B2 (en) Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
US10360189B2 (en) Data object storage across multiple storage nodes
Yoon et al. Mutant: Balancing storage cost and latency in lsm-tree data stores
CN103795781A (zh) 一种基于文件预测的分布式缓存模型
CN102687112A (zh) 在分布式存储系统中管理文件的装置及方法
US11509700B2 (en) Stream data record reads using push-mode persistent connections
US20200401323A1 (en) Streaming data service with isolated read channels
CN103379156A (zh) 实现存储空间动态均衡的方法、系统和装置
US20230239345A1 (en) Isolated read channel categories at streaming data service
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
KR101531564B1 (ko) 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 부하 분산 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020