CN109669636B - 一种分布式智能存储系统 - Google Patents

一种分布式智能存储系统 Download PDF

Info

Publication number
CN109669636B
CN109669636B CN201811565567.8A CN201811565567A CN109669636B CN 109669636 B CN109669636 B CN 109669636B CN 201811565567 A CN201811565567 A CN 201811565567A CN 109669636 B CN109669636 B CN 109669636B
Authority
CN
China
Prior art keywords
value
file
storage
module
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811565567.8A
Other languages
English (en)
Other versions
CN109669636A (zh
Inventor
邹玉华
蔡丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingluo Technology Co., Ltd
Original Assignee
Shenzhen Lingluo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingluo Technology Co Ltd filed Critical Shenzhen Lingluo Technology Co Ltd
Priority to CN201811565567.8A priority Critical patent/CN109669636B/zh
Publication of CN109669636A publication Critical patent/CN109669636A/zh
Application granted granted Critical
Publication of CN109669636B publication Critical patent/CN109669636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式智能存储系统，用于解决如何对文件进行初始分配，如何计算文件访问的活跃值和不活跃值以及如何对访问活跃的文件进行迁移，以便于对其进行备份的问题，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式
Figure DDA0001914440160000011
获取得到文件Ci的不活跃值Li；利用公式
Figure DDA0001914440160000012
获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储系统的合理存储性。

Description

一种分布式智能存储系统
技术领域
本发明涉及分布式存储技术领域，尤其涉及一种分布式智能存储系统。
背景技术
随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式存储方案，将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式存储应运而生。
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在专利为“CN106843750A一种分布式存储系统”公开了“当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推”；存在问题为：无法区分重要数据，对重要数据进行备份，达到资源利用的最大化。
因此，需要设计一款分布式智能存储系统，可以对重要数据进行备份，达到资源利用的最大化。
发明内容
本发明的目的在于提供一种分布式智能存储系统。
本发明所要解决的技术问题为：
(1)如何对文件进行初始分配，从而分配到对应的独立存储设备上存储；
(2)如何计算文件访问的活跃值和不活跃值；
(3)如何对访问活跃的文件进行迁移，以便于对其进行备份。
本发明的目的可以通过以下技术方案实现：一种分布式智能存储系统，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
所述分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
所述数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；所述数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；所述计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
所述计算模块将待存储文件和初始基础值发送至分配模块；所述分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj<kj+1；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1的存储门限小于A2的存储门限；Aj的存储门限最大；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
所述统计模块用于采集文件的访问频率和访问间隔；所述统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；所述迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fig，g＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至系统当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至系统当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am，am+1]，且a1<a2<……<am<am+1；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fig与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N2；
S4：利用公式
Figure GDA0002348155120000031
获取得到文件Ci的不活跃值Li；访问间隔Fig越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式
Figure GDA0002348155120000041
获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
所述迁移值计算模块将迁移值发送至数据迁移模块；所述数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
所述删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定系统当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
优选的，所述备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
优选的，所述访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
本发明的有益效果：
(1)本发明通过计算模块对待存储文件进行初始值计算，利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；将待存储文件合理的存放在对应的独立存储设备Aj内；
(2)本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式
Figure GDA0002348155120000051
获取得到文件Ci的不活跃值Li；访问间隔Fig越大，表示访问的时间间隔越长，即不活跃值也越大；利用公式
Figure GDA0002348155120000052
获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储系统的合理存储性；
(3)本发明删除模块用于对独立存储设备内部的文件进行定期清除，利用公式ti＝w1+Yi*z获取得到清理期限值ti；当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci；备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份；利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种分布式智能存储系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种分布式智能存储系统，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
计算模块将待存储文件和初始基础值发送至分配模块；分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj<kj+1；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1的存储门限小于A2的存储门限；Aj的存储门限最大；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
统计模块用于采集文件的访问频率和访问间隔；统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fig，m＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至系统当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至系统当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am，am+1]，且a1<a2<……<am<am+1；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fig与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N2；
S4：利用公式
Figure GDA0002348155120000081
获取得到文件Ci的不活跃值Li；访问间隔Fig越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式
Figure GDA0002348155120000082
获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；根据访问文件的次数，从而得到文件的活跃值；访问文件的次数越大，则文件的活跃值Qi也越大；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
迁移值计算模块将迁移值发送至数据迁移模块；数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定系统当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
本发明的有益效果：
(1)本发明通过计算模块对待存储文件进行初始值计算，利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；将待存储文件合理的存放在对应的独立存储设备Aj内；
(2)本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式
Figure GDA0002348155120000091
获取得到文件Ci的不活跃值Li；访问间隔Fig越大，表示访问的时间间隔越长，即不活跃值也越大；利用公式
Figure GDA0002348155120000092
获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储系统的合理存储性；
(3)本发明删除模块用于对独立存储设备内部的文件进行定期清除，利用公式ti＝w1+Yi*z获取得到清理期限值ti；当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci；备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份；利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (3)

1.一种分布式智能存储系统，其特征在于，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
所述分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
所述数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；所述数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；所述计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
所述计算模块将待存储文件和初始基础值发送至分配模块；所述分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj<kj+1；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1的存储门限小于A2的存储门限；Aj的存储门限最大；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
所述统计模块用于采集文件的访问频率和访问间隔；所述统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；所述迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fig，g＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至系统当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至系统当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am，am+1]，且a1<a2<……<am<am+1；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fig与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N2；
S4：利用公式
Figure FDA0002348155110000021
获取得到文件Ci的不活跃值Li；访问间隔Fig越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式
Figure FDA0002348155110000022
获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
所述迁移值计算模块将迁移值发送至数据迁移模块；所述数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
所述删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定系统当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
2.根据权利要求1所述的一种分布式智能存储系统，其特征在于，所述备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
3.根据权利要求1所述的一种分布式智能存储系统，其特征在于，所述访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
CN201811565567.8A 2018-12-20 2018-12-20 一种分布式智能存储系统 Active CN109669636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811565567.8A CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565567.8A CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储系统

Publications (2)

Publication Number Publication Date
CN109669636A CN109669636A (zh) 2019-04-23
CN109669636B true CN109669636B (zh) 2020-04-21

Family

ID=66144226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565567.8A Active CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储系统

Country Status (1)

Country Link
CN (1) CN109669636B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308873B (zh) * 2019-06-24 2023-04-07 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
CN113590303A (zh) * 2021-04-27 2021-11-02 阜阳市星启链数据科技有限公司 一种云计算用并发式数据处理系统
CN113094001B (zh) * 2021-05-11 2022-04-22 浙江争游网络科技有限公司 一种基于云平台的软件代码管理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
JP6171478B2 (ja) * 2013-03-28 2017-08-02 富士通株式会社 ストレージシステム、情報処理装置、情報処理装置の制御プログラム、および情報処理装置の制御方法
CN103530388A (zh) * 2013-10-22 2014-01-22 浪潮电子信息产业股份有限公司 一种云存储系统中提升性能的数据处理方法
CN103701916B (zh) * 2013-12-31 2017-10-27 赛凡信息科技（厦门）有限公司 分布式存储系统的动态负载均衡方法
US9823875B2 (en) * 2015-08-31 2017-11-21 LinkedIn Coporation Transparent hybrid data storage
CN106933511B (zh) * 2017-02-27 2020-02-14 武汉大学 考虑负载均衡与磁盘效率的空间数据存储组织方法及系统
CN107844269B (zh) * 2017-10-17 2020-06-02 华中科技大学 一种基于一致性哈希的分层混合存储系统

Also Published As

Publication number Publication date
CN109669636A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
US10445208B2 (en) Tunable, efficient monitoring of capacity usage in distributed storage systems
CN109669636B (zh) 一种分布式智能存储系统
AU2011312029B2 (en) Automatic replication of virtual machines
CN102868763B (zh) 一种云计算环境下虚拟web应用集群节能的动态调整方法
WO2021103790A1 (zh) 容器的调度方法、装置和非易失性计算机可读存储介质
CN104407926B (zh) 一种云计算资源的调度方法
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
US8521692B1 (en) Storage system and method for controlling storage system
US8508772B2 (en) Print job management based on energy pricing and load
CN103955509A (zh) 一种海量电力计量数据的快速检索方法
CN111966449B (zh) 一种虚拟机备份管理方法、系统、终端及存储介质
US7895247B2 (en) Tracking space usage in a database
AU2011312100A1 (en) Automatic selection of secondary backend computing devices for virtual machine image replication
US8341263B2 (en) Peer to peer monitoring framework for transaction tracking
US10235062B1 (en) Selection of computer resources to perform file operations in a power-efficient manner
CN115291806A (zh) 一种处理方法、装置、电子设备及存储介质
CN110321364B (zh) 信用卡管理系统的交易数据查询方法、装置及终端
CN114780253A (zh) 一种大数据智能分析系统
CN111427920B (zh) 数据采集方法、装置、系统、计算机设备及存储介质
CN109831502A (zh) 新型网站云虚拟主机架构
CN113688009B (zh) 一种云平台的云主机监控数据采集方法、系统及设备
WO2022021858A1 (zh) 实现分布式系统中高负载场景下服务高可用的方法、系统
CN112115123A (zh) 用于分布式数据库的性能优化的方法和装置
US10938701B2 (en) Efficient heartbeat with remote servers by NAS cluster nodes
CN111182026B (zh) 一种智能云盒子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200325

Address after: 608f, Xuyuan building, 5003 Longgang Avenue (Longgang section), Nanlian community, Longgang street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Lingluo Technology Co., Ltd

Address before: 510145 Room 1612, 38 Zhoumen North Road, Liwan District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU QINTAI INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: Cai Liping

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant