CN107819804B - 云端储存设备系统及决定其架构的高速缓存中数据的方法 - Google Patents

云端储存设备系统及决定其架构的高速缓存中数据的方法 Download PDF

Info

Publication number
CN107819804B
CN107819804B CN201610824063.8A CN201610824063A CN107819804B CN 107819804 B CN107819804 B CN 107819804B CN 201610824063 A CN201610824063 A CN 201610824063A CN 107819804 B CN107819804 B CN 107819804B
Authority
CN
China
Prior art keywords
time
data
cache
algorithm
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610824063.8A
Other languages
English (en)
Other versions
CN107819804A (zh
Inventor
陈文贤
谢文杰
黄明仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xianzhi Yunduan Data Co ltd
Original Assignee
Xianzhi Yunduan Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xianzhi Yunduan Data Co ltd filed Critical Xianzhi Yunduan Data Co ltd
Priority to CN201610824063.8A priority Critical patent/CN107819804B/zh
Publication of CN107819804A publication Critical patent/CN107819804A/zh
Application granted granted Critical
Publication of CN107819804B publication Critical patent/CN107819804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭露一种云端储存设备系统及决定其架构的高速缓存中数据的方法。其中方法包括步骤:A、记录云端储存设备系统的高速缓存在过去一段时间内的处理内容;B、指定在未来的特定时间;C、基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度;D、排序与时间相关的置信度;及E、在该高速缓存中提供具有较高与时间相关的置信度的快取数据,并当该高速缓存在未来的特定时间前耗尽时,移除高速缓存中具有较低与时间相关的置信度的快取数据。其能在相关的时间之前,将最有可能被存取的数据储存在高速缓存中,以改进云端储存设备系统的性能。

Description

云端储存设备系统及决定其架构的高速缓存中数据的方法
技术领域
本发明涉及云端储存设备领域,特别是涉及一种云端储存设备系统及决定其架构的高速缓存中数据的方法。
背景技术
对云端服务系统而言,通常会尝试尽可能快速地提供其服务给客户,以响应客户的请求。当客户数量不大时,这标的很容易达到。然而,如果客户数量大增,受制于云端服务系统的硬件架构以及网络流量,响应时间必然会有快慢之分,但应在合理范围之内。另一方面,如果云端服务在商业上与其它云端服务竞争,无论其受限于何种事物,该云端服务系统应技术性地以有限的资源在最短的时间内响应客户的请求。这是个常见的众多云端系统开发者面对的议题,大家都在期盼能够有合适的解决方案。
在传统的工作环境中,请见图1,有许多客户端计算机1通过因特网3连接到服务器4。服务器4是主要处理客户请求的设备,可能会进行复杂的计算或仅执行储存数据的存取。对后者而言,储存的资料可以保留在快取5或辅助内存6中。快取5或辅助内存6的数量可以不限于1个,而是该云端服务所需的任何的数量。服务器4、快取5及辅助内存6形成云端服务系统的架构。快取5可能指的是动态随机存取内存(Dynamic Random Access Memory,DRAM)或静态随机存取内存(Static Random-Access Memory,SRAM)。辅助内存6可能是固态硬盘(Solid State Drive,SSD)、硬盘(Hard Disk Drive,HDD),可写式数字多功能激光视盘(Digital Versatile Disc,DVD),甚或是磁带。快取5与辅助内存6的物理性差异在于断电时的数据储存性。对快取5而言,数据在需要使用时暂时性地储存而当断电时消失。然而,无论是否通电,辅助内存6均能够长久地储存数据。快取5具有快速存取数据的优点,但是却有挥发性(易失性)、高价格及较小储存空间的缺点。
如上所述,很明显,为了达到多数请求所需的热数据(较多存取)能快速地被存取,并以可忍受的较慢速度提供冷数据(较少存取),决定合适的数据储存于快取5当中是很重要的,且能改善云端服务效能。平均而言,响应所有来自客户端计算机请求的时间会落在可接受的范围内。近来,有许多传统算法可用于决定何种数据应被快取储存(储存于快取5中)。举例而言,Least Recently Used(LRU)算法、Most Recently Used(MRU)算法、Pseudo-LRU(PLRU)算法、Segmented LRU(SLRU)算法、2-way set associative算法、Least-Frequently Used(LFU)算法、Low Inter-reference Recent Set(LIRS)算法等等。这些算法由被分析数据本身的近因与频率的特性而执行,其结果与其它数据无关(不具有与资料相关的特性)。它们被归类为“与数据相关算法”,以原始的快取数据(来自前述传统快取算法的结果)当作标的数据以获得“与数据相关”的数据并进行快取储存。这意味着新的快取数据与原始快取数据有某种程度上的关联(新的快取资料有较高的机会与原始快取资料一同出现)。上述该些算法被察觉到在某些模式的工作负载上有效。然而,因为它们都计算出现于相对时段的数据,而不是绝对时段的数据,这导致了一个现象:被所有算法选出快取储存于第一时段(例如首8个小时)的数据,可能不尽然会在第二时段(例如首8个小时后的8个小时)中被存取。这很容易理解,因为几乎所有数据存取都是绝对时间相关或频率相关的,举例而言,在每天早晨8:55AM到9:05AM间开机、在每周三2:00PM开的会议、两周结算一次的工资、每月最后一天进行的盘点等等。因此,时间戳本身就是考虑快取数据的一个重要且独立因子。然而,目前尚未以时间戳为前提考虑快取储存的的解决方案。
发明内容
鉴于此,有必要针对传统技术中没有以时间戳为前提考虑快取储存的解决方案的问题,提供一种以在过去一段时间内被存取的与时间相关的数据来分析哪些数据应被快取储存,从而改进云端储存设备系统性能的云端储存设备系统及决定其架构的高速缓存中数据的方法。
本发明提供一种用于决定云端储存设备架构的高速缓存中数据的方法,该方法包括步骤:
A、记录云端储存设备系统的高速缓存在过去一段时间内的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据;
B、指定在未来的特定时间;
C、基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度;
D、排序所述与时间相关的置信度;及
E、在所述高速缓存中提供具有较高与时间相关的置信度的快取数据,并当所述高速缓存在未来的所述特定时间前耗尽时,移除所述高速缓存中具有较低与时间相关的置信度的快取数据。
在其中一个实施例中,步骤E可以步骤E’所取代:
E’、提供具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据到高速缓存中,以在未来的所述特定时间前耗尽高速缓存的使用,其中在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在固定比率。
在其中一个实施例中,所述固定比率是基于数据数量或数据占据空间而计算。
在其中一个实施例中,所述特定时间包括一小时中的特定分钟、一天中的特定小时、一周中的特定日、一月中的特定日、一季中的特定日、一年中的特定日、一月中的特定周、一季中的特定周、一年中的特定周,或一年中的特定月。
在其中一个实施例中,以二连续记录的处理内容间隔时间跨度的方式定期地记录所述些处理内容。
在其中一个实施例中,所述参考时段包括在一小时中的特定分钟内、在一日中的特定小时内,或在一年中的特定日内。
在其中一个实施例中,所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述该第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述第二数量除以所述第一数量。
在其中一个实施例中,所述快取算法包括Least Recently Used(LRU)算法、MostRecently Used(MRU)算法、Pseudo-LRU(PLRU)算法、Random Replacement(RR)算法、Segmented LRU(SLRU)算法、2-way set associative算法、Least-Frequently Used(LFU)算法、Low Inter-reference Recent Set(LIRS)算法、Adaptive Replacement Cache(ARC)算法、Clock with Adaptive Replacement(CAR)算法、Multi Queue(MQ)算法,或以来自步骤D的结果作为标的数据的与数据相关算法。
在其中一个实施例中,所述数据的型态包括对象、区块,或档案。
本发明还提供一种云端储存设备系统,该云端储存设备系统包括:
主机,用以存取数据;
高速缓存,连接至所述主机,用以暂时储存快取数据供快速存取;
处理内容记录器,配置到或安装在所述高速缓存,连接至所述主机以记录在过去一段时间内高速缓存的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据、接收主机指定在未来的特定时间、基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度、排序所述与时间相关的置信度,及在所述高速缓存中提供具有较高与时间相关的置信度的快取数据,并当所述高速缓存在未来的所述特定时间前耗尽时,移除所述高速缓存中具有较低与时间相关的置信度的快取数据;及
多个辅助内存,连接至所述主机,用以分散储存数据供存取。
在其中一个实施例中,该云端储存设备系统也可包括:
主机,用以存取数据;
高速缓存,连接至所述主机,用以暂时储存快取数据供快速存取;
处理内容记录器,配置到或安装到所述高速缓存,连接至该所述主机以记录在过去一段时间内高速缓存的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据、接收主机指定在未来的特定时间、基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度、排序所述与时间相关的置信度,及提供具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据到高速缓存中,以在未来的所述该特定时间前耗尽高速缓存的使用,其中在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在固定比率;及
多个辅助内存,连接至所述主机,用以分散储存数据供存取。
在其中一个实施例中,所述固定比率是基于数据数量或数据占据空间而计算。
在其中一个实施例中,所述特定时间包括一小时中的特定分钟、一天中的特定小时、一周中的特定日、一月中的特定日、一季中的特定日、一年中的特定日、一月中的特定周、一季中的特定周、一年中的特定周,或一年中的特定月。
在其中一个实施例中,以二连续记录的处理内容间隔时间跨度的方式定期地记录该些处理内容。
在其中一个实施例中,所述参考时段包括在一小时中的特定分钟内、在一日中的特定小时内,或在一年中的特定日内。
在其中一个实施例中,所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述该第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述该第二数量除以所述第一数量。
在其中一个实施例中,所述快取算法包括LRU算法、MRU算法、PLRU算法、RR算法、SLRU算法、2-way set associative算法、LFU算法、LIRS算法、ARC算法、CAR算法、MQ算法,或以处理内容记录器产生之数据当成标的数据的与数据相关算法。
在其中一个实施例中,所述数据的型态包括对象、区块,或档案。
本发明的有益效果至少包括:
上述云端储存设备系统及决定其架构的高速缓存中数据的方法中快取储存的数据是与时间相关的。因而,当下一个相关的时间来临时,这些数据是最有可能被存取的。在该相关的时间之前,这些数据可储存到高速缓存中,以改进云端储存设备系统的性能。这是传统快取算法无法企及的。
附图说明
图1为传统的一个实施例中的数据存取架构的示意图;
图2为一个实施例中的云端储存设备系统的结构示意图;
图3为一个实施例中的处理内容记录的窗体;
图4为一个实施例中的决定云端储存设备架构的高速缓存中数据的方法的流程示意图;
图5为一个实施例中对所有快取数据计算的与时间相关的置信度的列表示意图;
图6为另一个实施例中的对所有快取数据计算的与时间相关的置信度的列表示意图。
具体实施方式
本发明将参照下述的实施方式而更具体地描述。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明云端储存设备系统及决定其架构的高速缓存中数据的方法进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图2显示实践本发明的一个实施例的理想架构。一种云端储存设备系统10包括了主机101、高速缓存102、处理内容记录器103,及多个辅助内存104。云端储存设备系统10支持云端服务的数据储存,它可能部分安装于一个服务器100中,如图2所示。服务器100是用来接收来自客户端设备请求的硬件,这些客户端设备比如个人计算机301、平板计算机302,及智能型手机303,或其它经由因特网200连接的远程设备。在运行该些请求之后,服务器100将反向传送对应的响应给客户端设备。每一组件将详细说明如下。
主机101的工作职能主要是响应来自客户端设备的请求执行数据存取。事实上,主机101可能是服务器100中的控制器。在其它的实施例中,如果服务器100的中央处理器具有上述控制器相同的功能的话,主机101指的就是该中央处理器,甚或服务器100本身。主机101的定义并非是由其形态,而是其功能来决定。此外,主机101可能具有其它的功能,例如取得用热数据快取储存到高速缓存102中,但这并不在本发明的范围内。
高速缓存102连接至主机101,可以暂时储存快取资料供快速存取。实作上,高速缓存102可以是提供数据高速存取的任何硬件。举例而言,高速缓存102可以是SRAM(StaticRandom Access Memory,静态随机存取存储器)。高速缓存102可以是一个用于大型云端储存设备系统的独立模块,某些架构可以嵌设该独立模块到主机101(CPU)中。如同其它云端储存设备系统中的快取,都有一种默认的快取算法来决定哪些数据应该快取储存于高速缓存102中。在一个实施例中,提供一种平行机制与现有的快取算法一起运作,用于一种特定的目的或时机。事实上,也能使该快取机制主宰,取代由原先快取算法决定的快取数据。
处理内容记录器103是云端储存设备系统10中的要件,在本实施例中,它是一个硬件模块并配置到高速缓存102中。在其它实施例中,处理内容记录器103可以是软件,安装于高速缓存102或主机101的控制器中。在本实施例中,处理内容记录器103连接到主机101,它的许多功能是本发明的特征:记录在过去一段时间内高速缓存102的处理内容,其中每一处理内容包含记录时间,或记录时间与过去该段时间内被存取的快取数据、接收主机101指定在未来的特定时间、基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度、排序这些与时间相关的置信度,及提供具有较高与时间相关的置信度的快取数据到该高速缓存102中,并当该高速缓存102在未来的该特定时间前耗尽时,移除该高速缓存102中具有较低与时间相关的置信度的快取数据(或提供具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据到高速缓存102中,以在未来的该特定时间前耗尽高速缓存102的使用),这些功能将与本发明提出的方法将在后续说明。要强调的是本发明使用的“与时间相关的置信度”用词,相似于关系型规则中定义的置信度。该与时间相关的置信度进一步延伸到置信度值,该值由取一个特定时间或时段作为标的以获得一个或多个资料曾在过去历史中被存取的机率而计算得到。
辅助内存104也连接至主机101,它们能分散储存数据,供客户需求进行存取。不同于高速缓存102,辅助内存104的输出╱输入速度较慢,以致任何储存于其中的数据,响应存取请求的访问速度较慢。辅助内存104中经常存取的数据将被复制并储存到高速缓存102中以供快取。实际上,辅助内存104可以是SSD(Solid State Drives,固态硬盘)、HDD(HardDisk Drive,硬盘驱动器)、可写式DVD(Digital Versatile Disc,数字通用光盘),甚或是磁带。辅助内存104的配置依照云端储存设备系统10或其上运行的工作负载的目的而决定。在本实施例中,有3个辅助内存104。事实上,在一个云端储存设备系统中,辅助内存的数量可能是几百到几千个,甚至更多。
需要说明的是,本发明使用的某些定义要先行阐述。请见图3,图3为处理内容记录的窗体,用来监视高速缓存102中的数据在过去是如何被存取的。该窗体有TID(处理内容ID,由0001到0024)列、快取资料(由D01到D18)栏、参考时段(由H00到H07)栏,以及记录时间。H00指的是记录时间落于00:00到01:00间、H01指的是记录时间落于01:00到02:00间,以此类推。TID与快取数据字段中的“1”意味对应的快取资料已在“目前”记录时间及“最后”记录时间前被存取。TID与参考时段字段中的“1”意味在对处理内容量化不同时段中的记录时间。处理内容是在过去该段时间内快取数据被存取的记录。在本实施例中,过去8小时中的记录(处理内容)拿来进行分析。为了有较佳的说明,每一处理内容具有一个对应的TID以辨认。处理内容记录器103以二连续记录的处理内容间隔时间跨度的方式定期地记录这些处理内容。在本实施例中,每一处理内容在前一次处理内容记录后的20分钟进行记录,时间跨度为20分钟。实际上,记录时间不一定需要准确落在预定时间表上。举例而言,记录时间可能落在00:30:18、00:50:17等时间点上,不是准确落于第15秒上而是有一段范围。这是因为可能有某些大的资料在进行存取或处理内容记录器103正在等待远程联机的高速缓存102的响应。可以接受的更积极的方式是该时间跨度为随机挑选的,这也属于本发明的范畴。
需要注意的是,处理内容的数量很大,可能是上千笔或更多,举例而言,以10分钟为时间跨度进行三个月的记录,以24笔处理内容作为一个具体实施例来说明。处理内容记录器103有较多的处理内容,在未来的特定时间内数据的需求就能更精准地被预测。当然,并非所有快取储存在高速缓存102中的数据都会在一段时间内被存取。如图3所示,处理内容0015没有被存取数据的记录,它仅有记录时间,04:50:05。
在高速缓存102中的数据被本发明方法借由云端储存设备系统10决定的细节揭露前,先看一下快取资料。虽然有18笔快取数据,依照高速缓存102的容量,快取数据的数目可能大于18。该18笔快取资料在07:50:05由本发明的方法及╱或其它云端储存设备系统10使用的快取算法获得。因为如果某些数据太经常被存取,处理内容记录器103可从辅助内存104之一增加新的数据到高速缓存102中,用于分析的快取数据也可能会因此改变。可能有其它数据在03:50:05前被快取储存但后来被移除,是因为它没被请求或“预期被存取”。
由图3可看出快取数据的特性。快取数据D01在前3小时及最后一小时中常被存取。快取资料D02在每隔一个20分钟内平均被存取。快取资料D03在每隔两个20分钟内平均被存取。快取资料D04在00:10:05至00:30:05、02:50:05至03:10:05,及05:30:05至05:50:05内平均被存取。快取资料D05在00:30:05至00:50:05及06:10:05至06:30:05被存取。快取资料D06仅在05:30:05至05:50:05内被存取。快取资料D07在00:30:05至01:10:05、03:10:05至03:50:05,及06:10:05至06:50:05平均被存取。快取资料D08仅于07:10:05至07:30:05被存取,它可能是在07:10:05后因预期性需求而加入的最新资料。几乎除了04:30:05至04:50:05外的每一时段,快取资料D09最常被存取。快取资料D10是随机地被存取。快取资料D11没有被存取的记录。快取数据D12在每隔一个20分钟的40分钟内平均被存取。快取资料D13随机地被存取。快取资料D14在00:50:05至04:30:05间密集地被存取。快取资料D15在02:50:05至06:50:05间,除了04:30:05至04:50:05外,密集地被存取。快取数据D16和快取数据D01有相似的存取需求。快取数据D17与D18都平均地被存取,但快取资料D17于03:50:05与04:30:05间有较多的请求,快取数据D18在01:50:05与03:10:05间有较多的请求。
本发明的主要目的在依照历史信息,预测在未来特定时间所请求的数据,并在未来的该特定时间到来前,提供对应数据到高速缓存102中。一种用来决定云端储存设备系统10的高速缓存102中数据的方法有几个步骤。请见图4,该图为本发明提出方法的流程图。如上所述,该方法由处理内容记录器103所执行。首先S01,记录云端储存设备系统10的高速缓存102在过去一段时间内的处理内容。每一处理内容包括记录时间(处理内容ID 0015),或记录时间与过去该段时间(例子中的8小时)内被存取的快取数据。接着S02,指定在未来的特定时间。高速缓存102接收来自主机101的未来的该特定时间。在本实施例中,未来的该特定时间可以是未来的任何时间或时段。举例而言,它可以是一小时中的特定分钟(对每一小时而言)、一天中的特定小时(对每一天而言)、一周中的特定日(对每一周而言)、一月中的特定日(对每一个月而言)、一季中的一特定日(对每一季而言)、一年中的特定日(对每一年而言)、一月中的特定周(对每一个月而言)、一季中的特定周(对每一季而言)、一年中的特定周(对每一年而言),或一年中的特定月(对每一年而言)。在本实施例中,处理内容用来决定哪些数据应该在其它天的00:00:00(H00)前被快取储存。
第三步骤是S03,基于参考时段,对每一来自处理内容的快取资料计算出与时间相关的置信度。参考时段指的是“在一小时中的特定分钟内”(H00,每天第一个小时的每一个20分钟)的时间。在其它例子中,参考时段可以是“在一日中的特定小时内”或“在一年中的特定日内”,随时间跨度记录数量的不同而不同。在特定的例子中,参考时段可以是“在主时间单元中的特定子时间单元内”。举例而言,在一天中的24小时内。该与时间相关的置信度可由下列步骤计算得到:A、计算第一数量,该第一数量为参考时段在过去该段时间内出现的数量;B、计算第二数量,该第二数量为当标的快取数据存取时,该参考时段的数量;及C、.将该第二数量除以该第一数量。在本实施例中,对所有数据来说,图5给出了计算所得的与时间相关的置信度列表。如果未来的该特定时间是8:00AM的第一分钟,且参考时段指的是过去8小时内所有的20分钟,其结果在图6中显示。参见图5和图6,基于不同情况,相对于其它快取数据,每一快取数据具有不同的计算得到的与时间相关的置信度。
接着S04,排序这些与时间相关的置信度。例子中的结果也各自显示在图5和图6中。最后S05,在该高速缓存102中提供具有较高与时间相关的置信度的快取数据,并当该高速缓存102在未来的该特定时间前耗尽时,移除该高速缓存102中具有较低与时间相关的置信度的快取数据。以图6为例进行说明。在其它天的00:00前,也许在11:59:59PM,除了D11,所有的数据都做为新的快取数据储存到高速缓存102中,供00:00以后存取请求所需。D11移除的原因是高速缓存102的空间不够18笔数据储存且D11具有的与时间相关的置信度低于其它的数据。18笔快取储存档案用来分析的原因是因低命中率或其它因素以及新的数据(D08)加入,有一笔或多笔快取数据已被云端储存设备系统10移除。所有使用的快取数据数量为18。高速缓存102中新被快取的数据是在08:00后最有可能收到请求的数据,它们都是基于与时间相关的置信度而计算出的。要注意的是以上所说的数据或快取数据型态可以是对象、区块,或档案。
在其它实施例中,最后一个步骤(S05)可能不同,这意味处理内容记录器103具有的功能与前一个实施例中的不同。改变的步骤内容为提供具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据到高速缓存102中,以在未来的该特定时间前耗尽高速缓存102的使用。在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在固定比率,该固定比率是基于数据数量或数据占据空间而计算。再回到图6。如果高速缓存102设定为快取20笔数据,当本发明所提及的用于快取资料的比率为60%,而剩余由其它快取算法计算得到的数据占40%,则本方法所得的快取数据为D01、D02、D03、D07、D09、D10、D12、D13、D14、D15、D16,及D18,总共12笔数据,其余的数据由前述快取算法所提出。如果有某些相同的快取数据是由两造共同提出,则由本发明或其它快取算法所算出具有较低优先次序的数据可递补使用,本发明并不限定。当然,在多数情况下,高速缓存102设计依照其容量来快取数据,而不是以数据数量决定。由上面的例子来看,60%高速缓存102的容量应留给由本发明所决定的数据,而其余的40%则给至少一种现有快取算法所提出的数据。前述的快取算法包含,但不限于Least Recently Used(LRU)算法、Most Recently Used(MRU)算法、Pseudo-LRU(PLRU)算法、Random Replacement(RR)算法、Segmented LRU(SLRU)算法、2-way set associative算法、Least-Frequently Used(LFU)算法、Low Inter-reference Recent Set(LIRS)算法、Adaptive Replacement Cache(ARC)算法、Clock with Adaptive Replacement(CAR)算法、Multi Queue(MQ)算法,或是定义于发明背景中的与数据相关算法。应注意的是如果应用与数据相关算法,标的数据应使用本发明运算的结果,这意味由步骤S04获得具有较高排序的快取数据再输入到与数据相关算法中当作标的数据,以得到该与数据相关算法的结果。在云端储存设备系统10中,这是由处理内容记录器103产生标的数据来供与数据相关算法使用。与数据相关算法也可利用处理内容记录器103来执行。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
【符号说明】
1客户端计算机;3因特网;4服务器;5快取;6辅助内存;10云端储存设备系统;100服务器;101主机;102高速缓存;103处理内容记录器;104辅助内存;200因特网;301个人计算机;302平板计算机。

Claims (16)

1.一种决定云端储存设备架构的高速缓存中数据的方法,其特征在于,所述方法包括步骤:
A、记录云端储存设备系统的高速缓存在过去一段时间内的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据,其中所述记录时间为记录快取数据被存取的时间;
B、指定在未来的特定时间;
C、基于参考时段,对每一来自处理内容的快取数据计算出与时间相关的置信度,所述参考时段为主时间单元中所选定的特定子时间单元;
D、排序所述与时间相关的置信度;及
E、在未来的所述特定时间前,将具有较高与时间相关的置信度的快取数据加入所述高速缓存中,并当所述高速缓存在未来的所述特定时间前耗尽时,移除所述高速缓存中具有较低与时间相关的置信度的快取数据,
其中所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述第二数量除以所述第一数量。
2.如权利要求1所述的方法,其特征在于,所述特定时间包括一小时中的特定分钟、一天中的特定小时、一周中的特定日、一月中的特定日、一季中的特定日、一年中的特定日、一月中的特定周、一季中的特定周、一年中的特定周,或一年中的特定月。
3.如权利要求1所述的方法,其特征在于,步骤A每间隔一时间跨度定期地对所述处理内容进行记录。
4.如权利要求1所述的方法,其特征在于,所述参考时段包括在一小时中的特定分钟内、在一日中的特定小时内,或在一年中的特定日内。
5.如权利要求1所述的方法,其特征在于,所述数据的型态包括对象、区块,或档案。
6.一种决定云端储存设备架构的高速缓存中数据的方法,其特征在于,所述方法包括步骤:
A、记录云端储存设备系统的高速缓存在过去一段时间内的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据,其中所述记录时间为记录快取数据被存取的时间;
B、指定在未来的特定时间;
C、基于参考时段,对每一来自处理内容的快取数据计算出与时间相关的置信度,所述参考时段为主时间单元中所选定的特定子时间单元;
D、排序所述与时间相关的置信度;及
E、在未来的所述特定时间前,将具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据加入到高速缓存中,以供所述高速缓存在未来的所述特定时间使用,其中在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在固定比率,
其中所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述该第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述第二数量除以所述第一数量。
7.如权利要求6所述的方法,其特征在于,所述固定比率是基于数据数量或数据占据空间而计算。
8.如权利要求6所述的方法,其特征在于,所述快取算法包括LRU算法、MRU算法、PLRU算法、RR算法、SLRU算法、2-way set associative算法、LFU算法、LIRS算法、ARC算法、CAR算法、MQ算法,或以来自步骤D的结果作为标的数据的与数据相关算法。
9.一种云端储存设备系统,其特征在于,所述系统包括:
主机,用以存取数据;
高速缓存,连接至所述主机,用以暂时储存快取数据供快速存取;
处理内容记录器,配置到或安装到所述高速缓存,连接至所述主机以记录在过去一段时间内高速缓存的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据、接收主机指定在未来的特定时间、基于参考时段,对每一来自处理内容的快取数据计算出与时间相关的置信度、排序所述与时间相关的置信度,及在未来的所述特定时间前,将具有较高与时间相关的置信度的快取数据加入所述高速缓存中,并当所述高速缓存在未来的所述特定时间前耗尽时,移除所述高速缓存中具有较低与时间相关的置信度的快取数据,其中所述记录时间为记录快取数据被存取的时间,所述参考时段为主时间单元中所选定的特定子时间单元;及
多个辅助内存,连接至所述主机,用以分散储存数据供存取,
其中所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述该第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述第二数量除以所述第一数量。
10.如权利要求9所述的云端储存设备系统,其特征在于,在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在一固定比率,所述固定比率是基于数据数量或数据占据空间而计算。
11.如权利要求9所述的云端储存设备系统,其特征在于,所述特定时间包括一小时中的特定分钟、一天中的特定小时、一周中的特定日、一月中的特定日、一季中的特定日、一年中的特定日、一月中的特定周、一季中的特定周、一年中的特定周,或一年中的特定月。
12.如权利要求9所述的云端储存设备系统,其特征在于,所述处理内容记录器每间隔一时间跨度定期地对所述处理内容进行记录。
13.如权利要求9所述的云端储存设备系统,其特征在于,所述参考时段包括在一小时中的特定分钟内、在一日中的特定小时内,或在一年中的特定日内。
14.一种云端储存设备系统,其特征在于,所述系统包括:
主机,用以存取数据;
高速缓存,连接至所述主机,用以暂时储存快取数据供快速存取;
处理内容记录器,配置到或安装到所述高速缓存,连接至所述主机以记录在过去一段时间内高速缓存的处理内容,其中每一处理内容包括记录时间,或记录时间与过去该段时间内被存取的快取数据、接收主机指定在未来的特定时间、基于参考时段,对每一来自处理内容的快取数据计算出与时间相关的置信度、排序所述与时间相关的置信度,及在未来的所述特定时间前,将具有较高与时间相关的置信度的快取数据与从至少一种其它快取算法计算得到的数据加入到高速缓存中,以供所述高速缓存在未来的所述特定时间使用,其中在具有较高与时间相关的置信度的快取数据及从其它快取算法计算得到的数据间存在固定比率,其中所述记录时间为记录快取数据被存取的时间,所述参考时段为主时间单元中所选定的特定子时间单元;及
多个辅助内存,连接至所述主机,用以分散储存数据供存取,
其中所述与时间相关的置信度由下列步骤计算得到:
C1、计算第一数量,所述第一数量为参考时段在过去该段时间内出现的数量;
C2、计算第二数量,所述该第二数量为当标的快取数据存取时,所述参考时段的数量;及
C3、将所述第二数量除以所述第一数量。
15.如权利要求14所述的云端储存设备系统,其特征在于,所述快取算法包括LRU算法、MRU算法、PLRU算法、RR算法、SLRU算法、2-way set associative算法、LFU算法、LIRS算法、ARC算法、CAR算法、MQ算法,或以处理内容记录器产生的数据当成标的数据的与数据相关算法。
16.如权利要求14所述的云端储存设备系统,其特征在于,所述数据的型态包括对象、区块,或档案。
CN201610824063.8A 2016-09-14 2016-09-14 云端储存设备系统及决定其架构的高速缓存中数据的方法 Active CN107819804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610824063.8A CN107819804B (zh) 2016-09-14 2016-09-14 云端储存设备系统及决定其架构的高速缓存中数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610824063.8A CN107819804B (zh) 2016-09-14 2016-09-14 云端储存设备系统及决定其架构的高速缓存中数据的方法

Publications (2)

Publication Number Publication Date
CN107819804A CN107819804A (zh) 2018-03-20
CN107819804B true CN107819804B (zh) 2021-03-16

Family

ID=61600765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610824063.8A Active CN107819804B (zh) 2016-09-14 2016-09-14 云端储存设备系统及决定其架构的高速缓存中数据的方法

Country Status (1)

Country Link
CN (1) CN107819804B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296710B (zh) * 2021-06-10 2023-03-28 杭州雾联科技有限公司 一种云存储数据读取方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191856A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd ファイルキャッシュの管理方法、ファイルキャッシュ装置、及び、プログラム
JP2012059204A (ja) * 2010-09-13 2012-03-22 Nec Corp 情報処理装置、情報処理方法およびコンピュータ・プログラム
CN105849704A (zh) * 2013-12-25 2016-08-10 日本电气株式会社 缓存管理装置、缓存管理方法和程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322430C (zh) * 2003-11-24 2007-06-20 佛山市顺德区顺达电脑厂有限公司 高速缓存代换方法
KR20140034222A (ko) * 2011-05-14 2014-03-19 비트카사, 인코포레이티드 사용자-독립적인 암호화된 파일들의 서버측 중복제거를 하는 클라우드 파일 시스템
EP2830285A1 (en) * 2013-07-25 2015-01-28 Thomson Licensing Method for caching of data items in a cloud based data processing system and corresponding device
CN104217019A (zh) * 2014-09-25 2014-12-17 中国人民解放军信息工程大学 基于多级缓存模块的内容查询方法和装置
KR20160082089A (ko) * 2014-12-30 2016-07-08 한국전자통신연구원 분산 메모리 통합 프레임워크 기반 다중 속성 메모리 캐시의 동적 운영 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191856A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd ファイルキャッシュの管理方法、ファイルキャッシュ装置、及び、プログラム
JP2012059204A (ja) * 2010-09-13 2012-03-22 Nec Corp 情報処理装置、情報処理方法およびコンピュータ・プログラム
CN105849704A (zh) * 2013-12-25 2016-08-10 日本电气株式会社 缓存管理装置、缓存管理方法和程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于概率的启发式ICN缓存内容放置方法";吴海博;《通信学报》;20160719;第37卷(第5期);第62-72页 *

Also Published As

Publication number Publication date
CN107819804A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
US20200089624A1 (en) Apparatus and method for managing storage of data blocks
US7822712B1 (en) Incremental data warehouse updating
US9703500B2 (en) Reducing power consumption by migration of data within a tiered storage system
US6948042B2 (en) Hierarchical storage apparatus and control apparatus thereof
US8214599B2 (en) Storage device prefetch system using directed graph clusters
US20170060769A1 (en) Systems, devices and methods for generating locality-indicative data representations of data streams, and compressions thereof
US8880835B2 (en) Adjusting location of tiered storage residence based on usage patterns
US10140034B2 (en) Solid-state drive assignment based on solid-state drive write endurance
US20160171064A1 (en) Efficient query processing using histograms in a columnar database
Puttaswamy et al. Frugal storage for cloud file systems
US8909614B2 (en) Data access location selecting system, method, and program
US10223270B1 (en) Predicting future access requests by inverting historic access requests in an object storage system
US10684996B1 (en) Distributing data of multiple logically independent file systems in distributed storage systems including physically partitioned disks
US20190087437A1 (en) Scheduling database compaction in ip drives
US10489074B1 (en) Access rate prediction in a hybrid storage device
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
US10248618B1 (en) Scheduling snapshots
CN107819804B (zh) 云端储存设备系统及决定其架构的高速缓存中数据的方法
CN110597830B (zh) 实时指标生成方法和系统、电子设备及存储介质
US20140068198A1 (en) Statistical cache promotion
US11675536B2 (en) Intelligent scheduling for garbage collection
JP2018041455A (ja) クラウドストレージ構造のキャッシュメモリ内のデータ決定方法及びそれを利用したクラウドストレージシステム
TWI629593B (zh) 用於決定雲端儲存系統的快取記憶體中的資料之方法及使用該方法的雲端儲存系統
US11561934B2 (en) Data storage method and method for executing an application with reduced access time to the stored data
EP3457289A1 (en) Method for determining data in cache memory of cloud storage architecture and cloud storage system using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1251377

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant