CN107968818A - 数据的存储方法、装置及服务器集群 - Google Patents
数据的存储方法、装置及服务器集群 Download PDFInfo
- Publication number
- CN107968818A CN107968818A CN201711148083.9A CN201711148083A CN107968818A CN 107968818 A CN107968818 A CN 107968818A CN 201711148083 A CN201711148083 A CN 201711148083A CN 107968818 A CN107968818 A CN 107968818A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- data file
- local data
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据的存储方法、装置及服务器集群,涉及数据存储技术领域,为了解决现有技术中,由于在超融合存储系统下通过随机存储的方式将数据文件存储于物理服务器中,导致用户在超融合存储系统中读取数据文件的读取效率较低的问题。本发明的方法包括:根据日志文件获取本地数据文件的访问信息;通过对本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;当接收到数据存储请求时,根据分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径。本发明应用于在超融合存储系统中,对待存储数据文件进行分类存储的过程中。
Description
技术领域
本发明涉及数据存储技术领域,特别是涉及一种数据的存储方法、装置及服务器集群。
背景技术
随着互联网技术的日益发展,人们在使用互联网的过程中产生了大量的数据,为了能够对这些数据更加高效、便捷的存储、处理,基于超融合架构(Hyper-convergedInfrastructure,HCI)构建的超融合存储系统应运而生。在超融合存储系统下的所有物理服务器(x86服务器)都采用固态硬盘(Solid State Disk,SSD)及机械硬盘(Hard DiskDrive,HDD)的混合存储方式对数据文件进行存储。相比较于传统的机械硬盘,固态硬盘的数据读写效率更高、性能更好,但是同等存储空间大小的固态硬盘要比机械硬盘价格高的多,因此,对数据文件进行合理的存储,对于超融合存储系统来说尤为重要。
目前,在超融合存储系统下将数据文件存储于物理服务器时,往往是随机进行存储的,即当物理服务器接收到数据文件后,该数据文件可能被存储在固态硬盘中,也有可能被存储在机械硬盘中。
发明人在实现上述发明过程中,发现现有技术中,由于在超融合存储系统下对数据文件随机进行存储,从而导致某些数据量较小且读写频率较高的文件被存储在机械硬盘中。由于固态硬盘的数据读写效率远高于机械硬盘,因此,将数据量较小且读写频率较高的数据文件存储在机械硬盘中,会导致该数据文件在后续被读取时耗费更多的时间,从而导致用户在超融合存储系统中读取数据文件的读取效率较低。
发明内容
有鉴于此,本发明提供的一种数据的存储方法、装置及服务器集群,主要目的在于解决现有技术中由于在超融合存储系统下通过随机存储的方式将数据文件存储于物理服务器中,导致某些数据量较小且读写频率较高的文件被存储在物理服务器的机械硬盘中,从而导致用户在超融合存储系统中读取数据文件的读取效率较低的问题。
为了达到上述效果,本发明主要提供如下技术方案:
第一方面,本发明提供了一种数据的存储方法,该方法包括:
根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
当接收到数据存储请求时,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径。
可选的,根据日志文件获取数据文件的访问信息包括:
根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在预设时间段内访问所述本地数据文件的次数;
根据所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得所述本地数据文件的访问频率以及对应的数据量大小。
可选的,通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库包括:
挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
基于所述高访问频率本地数据文件的数据量大小,确定预设数据量范围;
获取满足所述预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
基于所述预设数据量范围和所述文件扩展名信息,制定第一分类存储规则,所述第一分类存储规则为当满足第一分配条件时,将所述数据文件的存储路径定向为固态硬盘,所述第一分配条件为数据文件的数据量大小包含于所述预设数据量范围内,且文件扩展名为所述文件扩展名信息中的任一种。
可选的,在通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,所述方法还包括:
设置所述预设门限频率。
可选的,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径包括:
若所述待存储数据文件的数据量大小和文件扩展名,与所述第一分配条件均匹配,则确定所述待存储数据文件的存储路径为固态硬盘。
可选的,所述方法还包括:
基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
将所述第二分类存储规则添加至所述分类存储规则库中。
可选的,所述方法还包括:
获取所述本地数据文件的存储位置;
若所述本地数据文件存储于所述机械硬盘中,则将所述本地数据文件与所述第二分类存储规则进行匹配;
若所述本地数据文件的数据量大小和文件拓展名,与所述第二分配条件均匹配,则将所述本地数据文件移动至所述固态硬盘中。
第二方面,本发明提供了一种数据的存储装置,该装置包括:
第一获取单元,用于根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
生成单元,用于通过对所述第一获取单元获取的所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
分配单元,用于当接收到数据存储请求时,根据所述生成单元生成的所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径。
可选的,所述第一获取单元包括:
第一获取模块,用于根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在所述预设时间段内访问所述本地数据文件的次数;
计算模块,用于根据所述第一获取模块获取的所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得模块,用于获得所述计算模块计算的所述本地文件的访问频率以及对应的数据量大小。
可选的,所述生成单元包括:
挑选模块,用于挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
第一确定模块,用于基于所述挑选模块挑选的所述高访问频率本地数据文件的数据量大小,确定预设数据量范围;
第二获取模块,用于获取满足所述第一确定模块确定的所述预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
制定模块,用于基于所述预设数据量范围和所述第二获取模块获取的所述文件扩展名信息,制定第一分类存储规则,所述第一分类存储规则为当满足第一分配条件时,将所述数据文件的存储路径定向为固态硬盘,所述第一分配条件为数据文件的数据量大小包含于所述预设数据量范围内,且文件扩展名为所述文件扩展名信息中的任一种。
可选的,所述装置还包括:
设置单元,用于在所述生成单元通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,设置所述预设门限频率。
可选的,所述分配单元包括:
第二确定模块,用于当所述待存储数据文件的数据量大小和文件扩展名,与所述第一分配条件均匹配时,确定所述待存储数据文件的存储路径为固态硬盘。
可选的,所述装置还包括:
制定单元,用于基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
添加单元,用于将所述制定单元制定的所述第二分类存储规则添加至所述分类存储规则库中。
可选的,所述装置还包括:
第二获取单元,用于获取所述本地数据文件的存储位置;
匹配单元,用于当所述本地数据文件存储于所述机械硬盘中时,将所述本地数据文件与所述第二分类存储规则进行匹配;
移动单元,用于当所述匹配单元确定所述本地数据文件的数据量大小和文件拓展名,与所述第二分配条件均匹配时,将所述本地数据文件移动至所述固态硬盘中。
第三方面,本发明提供了一种服务器集群,该服务器集群包括:
处理器,被配置为根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
当接收到数据存储请求时,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径;
存储器,被配置为存储所述处理器的可执行指令;
总线,被配置为耦接所述处理器及所述存储器。
可选的,所述处理器还被配置为:
根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在预设时间段内访问所述本地数据文件的次数;
根据所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得所述本地数据文件的访问频率以及对应的数据量大小。
可选的,所述处理器还被配置为:
挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
基于所述高访问频率本地数据文件的数据量大小,确定预设数据量范围;
获取满足所述预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
基于所述预设数据量范围和所述文件扩展名信息,制定第一分类存储规则,所述第一分类存储规则为当满足第一分配条件时,将所述数据文件的存储路径定向为固态硬盘,所述第一分配条件为数据文件的数据量大小包含于所述预设数据量范围内,且文件扩展名为所述文件扩展名信息中的任一种。
可选的,所述处理器还被配置为:
在通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,设置所述预设门限频率。
可选的,所述处理器还被配置为:
当所述待存储数据文件的数据量大小和文件扩展名,与所述第一分配条件均匹配时,确定所述待存储数据文件的存储路径为固态硬盘。
可选的,所述处理器还被配置为:
基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
将所述第二分类存储规则添加至所述分类存储规则库中。
可选的,所述处理器还被配置为:
获取所述本地数据文件的存储位置;
若所述本地数据文件存储于所述机械硬盘中,则将所述本地数据文件与所述第二分类存储规则进行匹配;
若所述本地数据文件的数据量大小和文件拓展名,与所述第二分配条件均匹配,则将所述本地数据文件移动至所述固态硬盘中。
借由上述技术方案,本发明提供的技术方案至少具有下列优点:
本发明提供的一种数据的存储方法、装置及服务器集群,与现有技术在超融合存储系统下通过随机存储的方式将数据文件存储于物理服务器中相比,本发明能够通过对用户访问超融合存储系统中的本地数据文件的次数以及对应的本地数据文件的数据量大小进行学习,生成分类存储规则库。在接收到用户发送的数据存储请求时,可以根据生成的分类存储规则库为该数据存储请求中携带的待存储数据文件分配存储路径,从而可以将用户会在后续访问过程中访问频率比较高且数据量比较小的数据文件存储于固态硬盘中,进而提高了用户在超融合存储系统中读取数据文件的读取效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据的存储方法流程图;
图2示出了本发明实施例提供的一种超融合存储系统下服务器集群的示意图;
图3示出了本发明实施例提供的另一种数据的存储方法流程图;
图4示出了本发明实施例提供的一种数据的存储装置的组成框图;
图5示出了本发明实施例提供的另一种数据的存储装置的组成框图;
图6示出了本发明实施例提供的一种服务器集群的实体架构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种数据的存储方法,如图1所示,该方法通过对用户访问超融合存储系统中本地数据文件的访问信息的学习生成分类存储规则,根据分类存储规则分配待存储数据的存储路径,从而提高了用户在超融合存储系统中读取数据文件的读取效率,该方法包括:
101、根据日志文件获取本地数据文件的访问信息。
其中,在超融合存储系统下的服务器集群中的每一个物理服务器中都保存有记录用户访问该物理服务器中存储的本地数据文件的访问信息的日志文件,将集群中所有物理服务器对应的日志文件进行汇总,得到一个记录有用户访问超融合存储系统中所有本地数据文件的访问信息的日志文件。其中,用户访问本地数据文件的访问信息包括用户访问本地数据文件的次数以及对应的本地数据文件的数据量大小。
在本发明实施例中,根据日志文件获取超融合存储系统中每一个本地数据文件被访问的次数以及该本地数据文件对应的数据量大小,并将获取得到的本地数据文件的访问信息进行存储。
需要说明的是,在实际应用过程中,可以将记录有用户访问超融合存储系统中所有本地数据文件的访问信息的日志文件存储于集群中的某一个物理服务器本地的数据库中;也可以在集群中的某一个物理服务器本地建立一个新的数据库,将该日志文件存储于该数据库中。具体将汇总得到的日志文件存储于哪个数据库中,在本发明实施例中,不进行限定。对应的,可以将获取得到的本地数据文件的访问信息存储于集群中的某一个物理服务器本地的数据库中;也可以在集群中的某一个物理服务器本地建立一个新的数据库,将访问信息存储于该数据库中。具体将获取得到的访问信息存储于哪个数据库中,在本发明实施例中,不进行限定。
102、通过对本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库。
在本发明实施例中,通过对步骤101中获取的用户访问本地数据文件的次数以及对应的本地数据文件的数据量大小进行学习,确定高访问频率本地数据文件的文件类型特性,即确定哪些本地数据文件被用户访问次数较多且数据量较小,根据高访问频率本地数据文件的文件类型特性确定后续将何种类型的待存储数据文件存储于固态硬盘中、将何种类型的待存储数据文件存储于机械硬盘中的分类存储规则,进而生成分类存储规则库。
103、当接收到数据存储请求时,根据分类存储规则库为数据存储请求中携带的待存储数据文件分配存储路径。
其中,在超融合存储系统下,服务器集群中的所有物理服务器(x86服务器)都采用固态硬盘(Solid State Disk,SSD)及机械硬盘(Hard Disk Drive,HDD)的混合存储方式对数据文件进行存储,服务器集群的示意图具体可以如图2所示,图2仅为示例性的举例,本发明实施例对超融合存储系统中包含的物理服务器数量、物理服务器具备的功能以及物理服务器中包含的固态硬盘和机械硬盘的数量等不进行限定。在超融合存储系统下,当用户需要访问集群中的某一物理服务器中存储的本地数据文件或者将待存储数据文件存储于集群中的某一物理服务器中时,用户基于NFS协议向该物理服务器中的某一虚拟机发送数据存储请求或者数据访问请求,当该虚拟机接收到用户发送的数据存储请求或者数据访问请求时,该虚拟机将接收到的数据存储请求或者数据访问请求发送至该物理服务器底层的固态硬盘或者机械硬盘中,从而完成访问该物理服务器中存储的本地数据文件或者将待存储数据文件存储于该物理服务器中。
在本发明实施例中,当超融合存储系统下的某一物理服务器接收到用户基于NFS协议发送的数据存储请求时,根据步骤102生成的分类存储规则库为该数据存储请求中携带的待存储数据文件分配存储路径。由于固态硬盘的数据读写效率远高于机械硬盘,因此将用户会在后续访问过程中访问频率比较高且数据量比较小的数据文件存储于固态硬盘中,以便提高用户在超融合存储系统中读取数据文件的读取效率。
本发明实施例提供的一种数据的存储方法,与现有技术在超融合存储系统下通过随机存储的方式将数据文件存储于物理服务器中相比,本发明实施例能够通过对用户访问超融合存储系统中的本地数据文件的次数以及对应的本地数据文件的数据量大小进行学习,生成分类存储规则库。在接收到用户发送的数据存储请求时,可以根据生成的分类存储规则库为该数据存储请求中携带的待存储数据文件分配存储路径,从而可以将用户会在后续访问过程中访问频率比较高且数据量比较小的数据文件存储于固态硬盘中,进而提高了用户在超融合存储系统中读取数据文件的读取效率。
以下为了更加详细地说明,本发明实施例提供了另一种数据的存储方法,特别是生成分类存储规则的具体方法以及根据分类存储规则为待存储数据文件分配存储路径的具体方法,具体如图3所示,该方法包括:
201、根据日志文件分别获取本地数据文件的访问次数以及对应的数据量大小。
其中,由于某些本地数据文件可能在距离本次学习很长时间前的某一时间段内被用户访问了的很多次,但是在本次学习相邻的时间段内并没有被用户访问,因此若是获取这些本地数据文件在距离本次学习很长时间前的这段时间内被访问的次数,并后续根据获取的访问次数计算这些本地数据文件的访问频率,获得的结果并不具备参考性。因此为了保证后续计算获得的用户访问本地数据文件的访问频率更具备参考性、更符合用户实际访问本地数据文件的访问情况,需要将与本次学习时间相邻的时间段设置为预设访问时间段,并获取用户在预设时间段内访问本地数据文件的次数以及对应的本地数据文件的数据量大小。
在本发明实施例中,将与本次学习时间相邻的时间段设置为预设访问时间段,并且根据日志文件分别获取用户在预设时间段内访问超融合存储系统中所有本地数据文件的次数以及对应的本地数据文件的数据量大小。其中,预设访问时间段的长短可以根据实际需求进行设定,在本发明实施例中不进行具体限定。
对于本发明实施例,具体应用场景可以如下所示,但不限于此包括:确定本次学习时间为2017年6月3日9:00:00,设置预设访问时间段为2017年6月3日8:00:00至8:59:59。需要进行说明的是,上述实施例提及的本次学习时间以及预设访问时间段仅为便于表达,在实际应用过程中,本次学习时间可以为任意时间,预设访问时间段为本次学习时间相邻的时间段以及预设访问时间段可以为任意长短。根据日志文件分别获取用户A在2017年6月3日8:00:00至8:59:59访问超融合存储系统中所有本地数据文件的次数以及对应的本地数据文件的数据量大小,获取结果为:本地数据文件A的次数为15次,以及数据文件A的数据量大小为1MB;访问访问数据文件B的次数为20次,以及数据文件B的数据量大小为2MB等等。需要进行说明的是,上述实施例提及的访问本地数据文件次数以及对应的本地数据文件的数据量大小仅为便于表达,在实际应用过程中,访问本地数据文件的次数可以为任意数值以及对应的本地数据文件的数据量大小也可以为任意数值。
202、根据本地数据文件的访问次数计算本地数据文件的访问频率。
在本发明实施例中,根据步骤201获取得到的用户在预设访问时间段内访问超融合存储系统中所有本地数据文件的次数后,分别计算每一个本地数据文件在预设访问时间段内的访问频率。
例如,预设访问时间段为2017年6月3日8:00:00至8:59:59,用户A在预设访问时间段内访问本地数据文件A的次数15次,则本地数据文件A在预设访问时间段内的访问频率为15次/小时;用户A在预设访问时间段内访问本地数据文件B的次数为20次,则本地数据文件B在预设访问时间段内的访问频率为20次/小时,使用相同方法计算超融合存储系统中每一个本地数据文件在预设访问时间段内的访问频率。
203、获得本地数据文件的访问频率以及对应的数据量大小。
在本发明实施例中,根据由步骤202计算得到的用户在预设时间段内访问所有本地数据文件的访问频率以及由步骤201获取得到的所有本地数据文件的数据量大小,获得每个本地数据文件在预设访问时间段内的访问频率以及对应的数据量大小。
需要说明的是,在实际应用过程中,可以将获得的每个本地数据文件在预设访问时间段内的访问频率以及对应的数据量大小存储于集群中的某一个物理服务器本地的数据库中;也可以在集群中的某一个物理服务器本地建立一个新的数据库,将获得的每个本地数据文件的访问频率以及对应的数据量大小存储于该数据库中。具体将获得的每个本地数据文件的访问频率以及对应的数据量大小存储于哪个数据库中,在本发明实施例中,不进行限定。
204、设置预设门限频率。
在本发明实施例中,在进行本次学习之前,设置预设门限频率,以便后续通过将本地数据文件在预设访问时间段内的访问频率与预设门限频率进行对比,挑选出在预设访问时间段内访问频率较高的本地数据文件。
需要说明的是,预设门限频率的取值可以根据实际业务需求来设置,也可以根据工作人员的工作经验进行人为设置,具体根据何种方式设置预设门限频率的取值以及取值大小为何值,在本发明实施例中不进行限定。
205、通过对本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库。
在本发明实施例中,通过对用户在预设时间段内访问本地数据文件的访问频率以及对应的本地数据文件的数据量大小的学习,生成分类存储规则库。以下将对生成分类存储规则库的过程进行详细说明。
(1)挑选出访问频率大于预设门限频率的高访问频率本地数据文件。
由于在前述实施例中已经通过计算获得所有本地数据文件在预设访问时间段内的访问频率,现分别将每个本地数据文件在预设访问时间段内的访问频率与预设门限频率进行对比,从而挑选出在预设访问时间段内访问频率大于预设门限频率的本地数据文件,并将挑选出的本地数据文件确定为高访问频率本地数据文件。
(2)基于高访问频率本地数据文件的数据量大小,确定预设数据量范围。
其中,在挑选出的高访问频率本地数据文件中,部分高访问频率本地数据文件的数据量可能比较大,部分高访问频率本地数据文件的数据量可能比较小。在本发明实施例中,是希望将用户会在后续访问过程中访问频率比较高且数据量比较小的数据文件存储于固态硬盘中,因此需要在挑选出的高访问频率本地文件中,进一步挑选出数据量较小的高访问频率本地数据文件。
由于在前述实施例中已经获取得到所有本地数据文件的数据量大小,现根据挑选出的高访问频率本地数据文件的数据量大小,确定预设数据量范围,以便后续根据该预设数据量范围在高访问频率本地数据文件中,挑选出数据量较小的高访问频率本地数据文件。需要说明的是,预设数据量范围的取值可以根据实际业务需求来确定,也可以根据工作人员的工作经验进行确定,具体根据何种方式确定预设数据量范围的取值以及取值范围为何值,在本发明实施例中不进行限定。
(3)获取满足预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息。
根据步骤(2)确定的预设数据量范围,挑选出数据量大小包含于该预设数据量范围内的高访问频率本地数据文件,并获取这些高访问频率本地数据文件对应的文件拓展名信息。其中,文件拓展名信息为系统对不同格式或者不同用途的数据文件进行区分所使用的一种标记。例如,对于文档类的数据文件,所使用的文件拓展名可能为“txt”、“doc”、“pdf”等等;对于图片类型的数据文件,所使用的文件拓展名可能为“bmp”、“gif”、“jpg”等等;对于声音类型的数据文件,所使用的文件拓展名可能为“wav”、“mp3”、“wma”等等。需要说明的是,不同格式或不同用途的数据文件对应的文件拓展名各不相同,其他格式或其他用途的数据文件对应的文件拓展名,不在此一一列举。
(4)基于预设数据量范围和文件扩展名信息,制定第一分类存储规则。
设定第一分配条件,第一分配条件为:判断接收到的待存储数据文件的数据量大小是否包含于预设数据量范围内,且该待存储数据文件的文件拓展名是否为上述步骤(3)获取得到的文件拓展名信息中的任一种。当该待存储数据文件的数据量大小包含于预设数据量范围内,且该待存储数据文件的文件拓展名为文件拓展名信息中的任一种时,该待存储数据文件满足第一分配条件。制定第一分类存储规则,第一分类存储规则为:当待存储数据文件满足第一分配条件时,将该待存储数据文件的存储路径定向为固态硬盘。
在本发明实施例中,还可以设定第一’分配条件,第一’分配条件为:判断接收到的待存储数据文件的数据量大小是否不包含于预设数据量范围内、该待存储数据文件的文件拓展名是否不为上述步骤(3)获取得到的文件拓展名信息中的任一种。当该待存储数据文件满足以下至少一种情况时,该待存储数据文件满足第一’分配条件:1、该待存储数据文件的数据量大小不包含于预设数据量范围内;2、该待存储数据文件的拓展名不为文件拓展名信息中的任一种。制定第一’分类存储规则,第一’分类存储规则为:当待存储数据文件满足第一’分配条件时,将该待存储数据文件的存储路径定向为机械硬盘。
(5)根据上述步骤(4)制定的第一分类存储规则和第一’分类存储规则生成分类存储规则库。
需要说明的是,进行两次学习之间的时间间隔可以根据实际业务需求进行设定,例如,在进行一次学习,生成分类存储规则库之后,可以在24小时后进行第二次学习,通过第二次学习,更新分类存储规则库中的分类存储规则,也可以在48小时后进行第二次学习、在36小时后进行第二次学习等等,具体将两次学习之间的时间间隔设定为多长时间,在本发明实施例中不进行限定。但是,当进行第一次学习,生成分类存储规则库后,在进行第二次学习之前这一段时间内,都是根据分类存储规则库中的规则确定待存储数据文件的存储路径,由于某些本地数据文件在某一时间段内访问频率很高,可能在经过一段时间后并不再会被访问,因此为了保证分类存储规则库中的分类存储规则更符合实际情况,不宜将进行两次学习之间的时间间隔设定的过长。
对于本发明实施例,具体应用场景可以如下所示,但不限于此包括:在前述实施例中通过计算、获取得到超融合存储系统中所有本地数据文件在2017年6月3日8:00:00至8:59:59的访问频率以及对应的本地数据文件的数据量大小,具体如表1所示:
表1
序号 | 文件名 | 访问频率(次/小时) | 数据量(MB) |
1 | 本地数据文件A | 15 | 1 |
2 | 本地数据文件B | 20 | 2 |
3 | 本地数据文件C | 10 | 2 |
4 | 本地数据文件D | 13 | 4 |
5 | 本地数据文件E | 16 | 2 |
6 | 本地数据文件F | 17 | 3 |
7 | 本地数据文件G | 19 | 9 |
其中,设置的预设门限频率为15次/小时。分别将本地数据文件A-G的访问频率与预设门限频率进行对比,挑选出的高访问频率本地数据文件为:本地数据文件B、本地数据文件E、本地数据文件F和本地数据文件G。基于挑选出的高访问频率本地数据文件的数据量大小,确定预设数据量范围为0-5MB,根据预设数据量范围“0-5MB”挑选出满足该条件的高访问频率本地数据文件为:本地数据文件B、本地数据文件E和本地数据文件F,分别获取这三个本地数据文件的文件拓展名信息,得知本地数据文件B的文件拓展名为“txt”、本地数据文件E的文件拓展名为“gif”、本地数据文件F的文件拓展名为“mp3”,并将这三个文件拓展名信息进行记录。
基于预设数据量范围和文件扩展名信息,制定第一分类存储规则,当接收到的待存储数据文件满足第一分配条件:待存储数据文件的数据量大小包含于预设数据量范围“0-5MB”内,且该待存储数据文件的文件拓展名为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该待存储数据文件的存储路径定向为固态硬盘。
基于预设数据量范围和文件扩展名信息,制定第一’分类存储规则,当接收到的待存储数据文件满足第一’分配条件:待存储数据文件满足以下至少一种情况,1、该待存储数据文件的数据量大小不包含于预设数据量范围“0-5MB”内;2、该待存储数据文件的文件拓展名不为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该待存储数据文件的存储路径定向为机械硬盘。
根据制定的第一分类存储规则和第一’分类存储规则生成分类存储规则库。
需要进行说明的是,上述实施例提及的本地数据文件的个数以及对应的访问频率、数据量大小、对应的文件拓展名和预设门限频率、预设数据量范围仅为便于表达,在实际应用过程中,本地数据文件可以为任意格式或用途的数据文件、对应的文件拓展名可以为任意文件拓展名,本地数据文件的个数以及对应的访问频率、数据量大小和预设门限频率、预设数据量范围可以为任意数值。
206a、若待存储数据文件的数据量大小和文件扩展名,与第一分配条件均匹配,则确定待存储数据文件的存储路径为固态硬盘。
在本发明实施例中,当超融合存储系统下的某一物理服务器接收到用户发送的数据存储请求时,将该数据存储请求中携带的待存储数据文件的数据量大小和文件扩展名与分类存储规则库中的分类存储规则进行匹配,当该待存储数据文件的数据量大小和文件拓展名与第一分类存储规则匹配成功,即该待存储数据文件满足第一分配条件时,确定该待存储数据文件的存储路径为固态硬盘,将该待存储数据文件存储于固态硬盘中。
例如,根据前述实施例制定的第一分类存储规则为:当接收到的待存储数据文件满足第一分配条件:待存储数据文件的数据量大小包含于预设数据量范围“0-5MB”内,且该待存储数据文件的文件拓展名为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该待存储数据文件的存储路径定向为固态硬盘。
当接收到的数据存储请求中携带的待存储数据文件的数据量为3MB、文件拓展名为“txt”时,确定该待存储数据文件的存储路径为固态硬盘,将该待存储数据文件存储于固态硬盘中。
206b、若待存储数据文件的数据量大小和/或文件扩展名,与第一分配条件不匹配,则确定待存储数据文件的存储路径为机械硬盘。
在本发明实施例中,当超融合存储系统下的某一物理服务器接收到用户发送的数据存储请求时,将该数据存储请求中携带的待存储数据文件的数据量和文件扩展名与分类存储规则库中的分类存储规则进行匹配,当该待存储数据文件的数据量和文件拓展名与第一分类存储规则匹配失败,该待存储数据文件不满足第一分配条件时,即该待存储数据文件满足第一’分配条件时,确定该待存储数据文件的存储路径为机械硬盘,将该待存储数据文件存储于机械硬盘中。
例如,根据前述实施例制定的第一分类存储规则为:当接收到的待存储数据文件满足第一分配条件:待存储数据文件的数据量大小包含于预设数据量范围“0-5MB”内,且该待存储数据文件的文件拓展名为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该待存储数据文件的存储路径定向为固态硬盘。
制定的第一’分类存储规则为:当接收到的待存储数据文件满足第一’分配条件:待存储数据文件满足以下至少一种情况,1、该待存储数据文件的数据量大小不包含于预设数据量范围“0-5MB”内;2、该待存储数据文件的文件拓展名不为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该待存储数据文件的存储路径定向为机械硬盘。
当接收到的待存储数据文件1的数据量为6MB、文件拓展名为“txt”时,确定待存储数据文件1的存储路径为机械硬盘,将待存储数据文件1存储于机械硬盘中;当获取得到接收到的待存储数据文件2的数据量为3MB、文件拓展名为“doc”时,确定待存储数据文件2的存储路径为机械硬盘,将待存储数据文件2存储于机械硬盘中。
207、制定重新定向本地数据文件存储位置的分类存储规则。
在本发明实施例中,基于前述实施例中确定的预设数据量范围和获取的文件拓展名信息制定重新定向本地数据文件存储位置的分类存储规则,以便将机械硬盘中一些访问频率较高、数据量较小的本地数据文件移动至固态硬盘中;将固态硬盘中一些访问频率较低或数据量较大的本地数据文件移动至机械硬盘中。以下将对制定重新定向本地数据文件存储位置的分类存储规则的过程进行详细说明。
基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
(1)基于预设数据量范围和文件扩展名信息,制定第二分类存储规则。
设定第二分配条件,第二分配条件为:判断存储于机械硬盘的本地数据文件的数据量大小是否包含于预设数据量范围内,且该本地数据文件的文件拓展名是否为文件拓展名信息中的任一种。当该本地数据文件的数据量大小包含于预设数据量范围内,且该本地数据文件的文件拓展名为文件拓展信息中的任一种时,该本地数据文件满足第二分配条件。制定第二分类存储规则,第二分类存储规则为:当存储于机械硬盘中的本地数据文件满足第二分配条件时,将该本地数据文件移动至固态硬盘中。
在本发明实施例中,还可以设定第二’分配条件,第二’分配条件为:判断存储于固态硬盘的本地数据文件的数据量大小是否不包含于预设数据量范围内、该本地数据文件的文件拓展名是否不为文件拓展名信息中的任一种。当该本地数据文件满足以下至少一种情况时,该本地数据文件满足第二’分配条件:1、该本地数据文件的数据量大小不包含于预设数据量范围内;2、该本地数据文件的拓展名不为文件拓展名信息中的任一种。制定第二’分类存储规则,第二’分类存储规则为:当存储于固态硬盘中的本地数据文件满足第二’分配条件时,将该本地数据文件移动至机械硬盘中。
(2)将上述步骤(1)制定的第二分类存储规则和第二’分类存储规则添加至分类存储规则库中。
208、根据第二分类存储规则重新确定本地数据文件的存储位置。
在本发明实施例中,根据步骤207制定的第二分类存储规则重新确定本地数据文件的存储位置,将机械硬盘中满足第二分配条件的本地数据文件移动至固态硬盘中;将固态硬盘中不满足第二分配条件的本地数据文件移动至机械硬盘中。以下对根据第二分类存储规则重新确定本地数据文件的存储位置的过程进行详细说明。
(1)获取本地数据文件的存储位置。
在前述实施例获取超融合存储系统中的所有本地数据文件在预设访问时间段内的访问频率以及对应的本地数据文件的数据量的基础上,分别获取每一个本地数据文件的存储位置。
例如,本地数据文件A在预设访问时间段内的访问频率为15次/小时、数据量大小为1MB,对应的存储位置为某一物理服务器的固态硬盘中;本地数据文件B在预设访问时间段内的访问频率为20次/小时、数据量大小为2MB,对应的存储位置为某一物理服务器的机械硬盘中。
(2)若本地数据文件存储于机械硬盘中,则将本地数据文件与第二分类存储规则进行匹配。若本地数据文件的数据量大小和文件拓展名,与第二分配条件匹配,则将本地数据文件移动至固态硬盘中。
当某一本地数据文件存储于某一物理服务器的机械硬盘中时,将该本地数据文件与步骤207制定的第二分类存储则进行匹配。当该本地数据文件的数据量大小和文件拓展名与第二分类存储规则匹配成功,即该本地数据文件满足第二分配条件时,将该本地数据文件移动至该物理服务器的固态硬盘中。
在本发明实施例中,还可以当某一本地数据文件存储于某一物理服务器的固态硬盘中时,将该本地数据文件与步骤207制定的第二分类存储规则进行匹配。当该本地数据文件的数据量大小和/或文件拓展名与第二分类存储规则匹配失败,该本地数据文件不满足第二分配条件时,即该本地数据文件满足第二’分配条件时,将该本地数据文件移动至该物理服务器的机械硬盘中。
对于本发明实施例,具体应用场景可以如下所示,但不限于此包括:
在前述实施例中,得到超融合存储系统中所有本地数据文件在2017年6月3日8:00:00至8:59:59的访问频率以及对应的本地数据文件的数据量大小,如上述表1所示。分别获取每一个本地数据文件的存储位置,具体如表2所示:
表2
在前述实施例中,制定的第二分类存储规则为:当存储于机械硬盘的本地数据文件满足第二分配条件:该本地数据文件的数据量大小包含于预设数据量范围“0-5MB”内,且该本地数据文件的文件拓展名为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该本地数据文件移动至该物理服务器的固态硬盘中。制定的第二’分类存储规则为:当存储于固态硬盘的本地数据文件满足第二’分配条件:该本地数据文件满足以下至少一种情况,1、该本地数据文件的数据量大小不包含于预设数据量范围“0-5MB”内;2、该本地数据文件的文件拓展名不为“txt”、“gif”、“mp3”这三个文件拓展名信息中的任一种时,将该本地数据文件移动至改物理服务器的机械硬盘中。
分别将本地数据文件A-G与第二分类存储规则或第二’分类存储规则进行匹配。经过匹配操作后,本地数据文件A与第二’分类存储规则匹配成功,即本地数据文件A满足第二’分配条件,将本地数据文件A从固态硬盘中移动至对应的机械硬盘中;本地数据文件B与第二分类存储规则匹配成功,即本地数据文件B满足第二分配条件,将本地数据文件B从机械硬盘中移动至对应的固态硬盘中;本地数据文件D与第二’分类存储规则匹配成功,即本地数据文件D满足第二’分配条件,将本地数据文件D从固态硬盘中移动至对应的机械硬盘中。
进一步的,作为对上述图1及图3所示方法的实现,本发明另一实施例还提供了一种数据的存储装置。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于提高用户在超融合存储系统中读取数据文件的读取效率,具体如图4所示,该装置包括:
第一获取单元41,用于根据日志文件获取本地数据文件的访问信息,其中,日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,访问信息包括本地数据文件的访问次数以及对应的数据量大小;
生成单元42,用于通过对第一获取单元41获取的本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
分配单元43,用于当接收到数据存储请求时,根据生成单元42生成的分类存储规则库为数据存储请求中携带的待存储数据文件分配存储路径。
进一步的,如图5所示,第一获取单元41包括:
第一获取模块411,用于根据日志文件分别获取本地数据文件的访问次数以及对应的数据量大小;其中,访问次数为用户在预设时间段内访问本地数据文件的次数;
计算模块412,用于根据第一获取模块411获取的本地数据文件的访问次数计算本地数据文件的访问频率;
获得模块413,用于获得计算模块412计算的本地文件的访问频率以及对应的数据量大小。
进一步的,如图5所示,生成单元42包括:
挑选模块421,用于挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
第一确定模块422,用于基于挑选模块421挑选的高访问频率本地数据文件的数据量大小,确定预设数据量范围;
第二获取模块423,用于获取满足第一确定模块422确定的预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
制定模块424,用于基于预设数据量范围和第二获取模块423获取的文件扩展名信息,制定第一分类存储规则,第一分类存储规则为当满足第一分配条件时,将数据文件的存储路径定向为固态硬盘,第一分配条件为数据文件的数据量大小包含于预设数据量范围内,且文件扩展名为文件扩展名信息中的任一种。
进一步的,如图5所示,该装置还包括:
设置单元44,用于在生成单元42通过对本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,设置预设门限频率。
进一步的,如图5所示,分配单元43包括:
第二确定模块431,用于当待存储数据文件的数据量大小和文件扩展名,与第一分配条件均匹配时,确定待存储数据文件的存储路径为固态硬盘。
进一步的,如图5所示,该装置还包括:
制定单元45,用于基于预设数据量范围和文件扩展名信息,制定第二分类存储规则,第二分类存储规则为当满足第二分配条件时,将存储于机械硬盘的本地数据文件移动至固态硬盘中,第二分配条件为本地数据文件的数据量大小包含于预设数据量范围内,且文件拓展名为文件扩展名信息中的任一种;
添加单元46,用于将制定单元45制定的第二分类存储规则添加至分类存储规则库中。
进一步的,如图5所示,该装置还包括:
第二获取单元47,用于获取本地数据文件的存储位置;
匹配单元48,用于当本地数据文件存储于机械硬盘中时,将本地数据文件与第二分类存储规则进行匹配;
移动单元49,用于当匹配单元48确定本地数据文件的数据量大小和文件拓展名,与第二分配条件均匹配时,将本地数据文件移动至固态硬盘中。
本发明实施例还提供一种服务器集群,如图6所示,包括:
处理器61,被配置为根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
当接收到数据存储请求时,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径;
存储器62,被配置为存储所述处理器61的可执行指令;
总线63,被配置为耦接所述处理器61及所述存储器62。
进一步的,如图6所示,所述处理器61还被配置为:
根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在预设时间段内访问所述本地数据文件的次数;
根据所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得所述本地数据文件的访问频率以及对应的数据量大小。
进一步的,如图6所示,所述处理器61还被配置为:
挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
基于所述高访问频率本地数据文件的数据量大小,确定预设数据量范围;
获取满足所述预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
基于所述预设数据量范围和所述文件扩展名信息,制定第一分类存储规则,所述第一分类存储规则为当满足第一分配条件时,将所述数据文件的存储路径定向为固态硬盘,所述第一分配条件为数据文件的数据量大小包含于所述预设数据量范围内,且文件扩展名为所述文件扩展名信息中的任一种。
进一步的,如图6所示,所述处理器61还被配置为:
在通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,设置所述预设门限频率。
进一步的,如图6所示,所述处理器61还被配置为:
当所述待存储数据文件的数据量大小和文件扩展名,与所述第一分配条件均匹配时,确定所述待存储数据文件的存储路径为固态硬盘。
进一步的,如图6所示,所述处理器61还被配置为:
基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
将所述第二分类存储规则添加至所述分类存储规则库中。
进一步的,如图6所示,所述处理器61还被配置为:
获取所述本地数据文件的存储位置;
若所述本地数据文件存储于所述机械硬盘中,则将所述本地数据文件与所述第二分类存储规则进行匹配;
若所述本地数据文件的数据量大小和文件拓展名,与所述第二分配条件均匹配,则将所述本地数据文件移动至所述固态硬盘中。
本发明实施例提供的一种数据的存储装置及服务器集群,与现有技术在超融合存储系统下通过随机存储的方式将数据文件存储于物理服务器中相比,本发明实施例能够通过对用户在预设访问时间段内访问超融合存储系统中的本地数据文件的次数以及对应的本地数据文件的数据量大小进行学习,生成分类存储规则库。在接收到用户发送的数据存储请求时,可以根据生成的分类存储规则库为该数据存储请求中携带的带存储数据文件分配存储路径,从而可以将用户会在后续访问过程中访问频率比较高且数据量比较小的数据文件存储于固态硬盘中,进而提高了用户在超融合存储系统中读取数据文件的读取效率;同时,能够根据制定的分类存储规则,将存储于机械硬盘中的访问频率较高且数据量较小的本地数据文件移动至对应的固态硬盘中;将存储于固态硬盘中的访问频率较低或者数据量较大的本地数据文件移动至对应的机械硬盘中,从而提高了用户在超融合存储系统中读取数据文件的读取效率以及节省了超融合存储系统中固态硬盘的存储资源。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据的存储方法、装置及服务器集群中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种数据的存储方法,其特征在于,包括:
根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
当接收到数据存储请求时,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径。
2.根据权利要求1所述的方法,其特征在于,根据日志文件获取数据文件的访问信息包括:
根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在预设时间段内访问所述本地数据文件的次数;
根据所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得所述本地数据文件的访问频率以及对应的数据量大小。
3.根据权利要求2所述的方法,其特征在于,通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库包括:
挑选出访问频率大于预设门限频率的高访问频率本地数据文件;
基于所述高访问频率本地数据文件的数据量大小,确定预设数据量范围;
获取满足所述预设数据量范围的高访问频率本地数据文件对应的文件扩展名信息;
基于所述预设数据量范围和所述文件扩展名信息,制定第一分类存储规则,所述第一分类存储规则为当满足第一分配条件时,将所述数据文件的存储路径定向为固态硬盘,所述第一分配条件为数据文件的数据量大小包含于所述预设数据量范围内,且文件扩展名为所述文件扩展名信息中的任一种。
4.根据权利要求3所述的方法,其特征在于,在通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库之前,所述方法还包括:
设置所述预设门限频率。
5.根据权利要求3所述的方法,其特征在于,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径包括:
若所述待存储数据文件的数据量大小和文件扩展名,与所述第一分配条件均匹配,则确定所述待存储数据文件的存储路径为固态硬盘。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
基于所述预设数据量范围和所述文件扩展名信息,制定第二分类存储规则,所述第二分类存储规则为当满足第二分配条件时,将存储于所述机械硬盘的本地数据文件移动至所述固态硬盘中,所述第二分配条件为本地数据文件的数据量大小包含于所述预设数据量范围内,且文件拓展名为所述文件扩展名信息中的任一种;
将所述第二分类存储规则添加至所述分类存储规则库中。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述本地数据文件的存储位置;
若所述本地数据文件存储于所述机械硬盘中,则将所述本地数据文件与所述第二分类存储规则进行匹配;
若所述本地数据文件的数据量大小和文件拓展名,与所述第二分配条件均匹配,则将所述本地数据文件移动至所述固态硬盘中。
8.一种数据的存储装置,其特征在于,包括:
第一获取单元,用于根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
生成单元,用于通过对所述第一获取单元获取的所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
分配单元,用于当接收到数据存储请求时,根据所述生成单元生成的所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径。
9.一种服务器集群,其特征在于,包括:
处理器,被配置为根据日志文件获取本地数据文件的访问信息,其中,所述日志文件中记录有用户访问超融合存储系统中所有本地数据文件的访问信息,所述访问信息包括本地数据文件的访问次数以及对应的数据量大小;
通过对所述本地数据文件的访问次数以及对应的数据量大小的学习,生成分类存储规则库;
当接收到数据存储请求时,根据所述分类存储规则库为所述数据存储请求中携带的待存储数据文件分配存储路径;
存储器,被配置为存储所述处理器的可执行指令;
总线,被配置为耦接所述处理器及所述存储器。
10.根据权利要求9所述的服务器集群,其特征在于,所述处理器还被配置为:
根据所述日志文件分别获取所述本地数据文件的访问次数以及对应的数据量大小;其中,所述访问次数为用户在预设时间段内访问所述本地数据文件的次数;
根据所述本地数据文件的访问次数计算所述本地数据文件的访问频率;
获得所述本地数据文件的访问频率以及对应的数据量大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711148083.9A CN107968818B (zh) | 2017-11-17 | 2017-11-17 | 数据的存储方法、装置及服务器集群 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711148083.9A CN107968818B (zh) | 2017-11-17 | 2017-11-17 | 数据的存储方法、装置及服务器集群 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107968818A true CN107968818A (zh) | 2018-04-27 |
CN107968818B CN107968818B (zh) | 2021-06-04 |
Family
ID=62001258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711148083.9A Active CN107968818B (zh) | 2017-11-17 | 2017-11-17 | 数据的存储方法、装置及服务器集群 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107968818B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881942A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN109213733A (zh) * | 2018-08-14 | 2019-01-15 | 上海碳蓝网络科技有限公司 | 文件归类方法、设备及系统 |
CN109542909A (zh) * | 2018-11-25 | 2019-03-29 | 杜广香 | 识别大数据存储系统中的关联性存储设备的方法及系统 |
CN110377562A (zh) * | 2019-07-23 | 2019-10-25 | 宿州星尘网络科技有限公司 | 基于Hadoop开源平台的大数据安全存储方法 |
CN110471907A (zh) * | 2019-08-21 | 2019-11-19 | 小胡杨信息技术(武汉)有限公司 | 一种数据处理效率更高的计算机数据库数据处理方法 |
CN110851078A (zh) * | 2019-10-25 | 2020-02-28 | 上海联影医疗科技有限公司 | 数据存储方法与系统 |
CN111796776A (zh) * | 2020-07-08 | 2020-10-20 | 深圳忆联信息系统有限公司 | 基于用户自定义或需求分析的存储方法、装置、设备及介质 |
CN112148750A (zh) * | 2020-10-20 | 2020-12-29 | 成都中科大旗软件股份有限公司 | 一种数据集成方法及系统 |
CN112506435A (zh) * | 2020-12-12 | 2021-03-16 | 南京地铁建设有限责任公司 | 一种应用于自动扶梯的数据分级存储方法及系统 |
CN112905718A (zh) * | 2021-03-09 | 2021-06-04 | 东莞中国科学院云计算产业技术创新与育成中心 | 基于超融合架构的数据管理方法、系统、电子设备及介质 |
CN114327294A (zh) * | 2021-12-31 | 2022-04-12 | 华录光存储研究院(大连)有限公司 | 一种用于多级存储的数据读取系统 |
CN114489492A (zh) * | 2021-12-31 | 2022-05-13 | 华能烟台八角热电有限公司 | 一种数据存储方法及安全装置、数据存储系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140297947A1 (en) * | 2013-03-27 | 2014-10-02 | Fujitsu Limited | Storage system, storage apparatus, control method of storage system, and computer product |
CN104731864A (zh) * | 2015-02-26 | 2015-06-24 | 国家计算机网络与信息安全管理中心 | 一种海量非结构化数据的数据存储方法 |
CN105138476A (zh) * | 2015-08-26 | 2015-12-09 | 广东创我科技发展有限公司 | 一种基于hadoop异构存储的数据存储方法及系统 |
CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和系统 |
CN105787012A (zh) * | 2016-02-23 | 2016-07-20 | 深圳市瑞驰信息技术有限公司 | 一种提高存储系统处理小文件的方法以及存储系统 |
CN105786401A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 服务器集群系统中的数据管理方法及装置 |
CN106775500A (zh) * | 2017-02-10 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种计算机硬盘存储文件的方法与装置 |
CN106777342A (zh) * | 2017-01-16 | 2017-05-31 | 湖南大学 | 一种基于可靠性的高性能文件系统混合节能存储系统及方法 |
-
2017
- 2017-11-17 CN CN201711148083.9A patent/CN107968818B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140297947A1 (en) * | 2013-03-27 | 2014-10-02 | Fujitsu Limited | Storage system, storage apparatus, control method of storage system, and computer product |
CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和系统 |
CN105786401A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 服务器集群系统中的数据管理方法及装置 |
CN104731864A (zh) * | 2015-02-26 | 2015-06-24 | 国家计算机网络与信息安全管理中心 | 一种海量非结构化数据的数据存储方法 |
CN105138476A (zh) * | 2015-08-26 | 2015-12-09 | 广东创我科技发展有限公司 | 一种基于hadoop异构存储的数据存储方法及系统 |
CN105787012A (zh) * | 2016-02-23 | 2016-07-20 | 深圳市瑞驰信息技术有限公司 | 一种提高存储系统处理小文件的方法以及存储系统 |
CN106777342A (zh) * | 2017-01-16 | 2017-05-31 | 湖南大学 | 一种基于可靠性的高性能文件系统混合节能存储系统及方法 |
CN106775500A (zh) * | 2017-02-10 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种计算机硬盘存储文件的方法与装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881942B (zh) * | 2018-06-06 | 2020-11-06 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN108881942A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN109213733A (zh) * | 2018-08-14 | 2019-01-15 | 上海碳蓝网络科技有限公司 | 文件归类方法、设备及系统 |
CN109542909A (zh) * | 2018-11-25 | 2019-03-29 | 杜广香 | 识别大数据存储系统中的关联性存储设备的方法及系统 |
CN109542909B (zh) * | 2018-11-25 | 2023-04-14 | 北京博艺网讯科技有限公司 | 识别大数据存储系统中的关联性存储设备的方法及系统 |
CN110377562B (zh) * | 2019-07-23 | 2022-11-01 | 安徽朵朵云网络科技有限公司 | 基于Hadoop开源平台的大数据安全存储方法 |
CN110377562A (zh) * | 2019-07-23 | 2019-10-25 | 宿州星尘网络科技有限公司 | 基于Hadoop开源平台的大数据安全存储方法 |
CN110471907A (zh) * | 2019-08-21 | 2019-11-19 | 小胡杨信息技术(武汉)有限公司 | 一种数据处理效率更高的计算机数据库数据处理方法 |
CN110851078A (zh) * | 2019-10-25 | 2020-02-28 | 上海联影医疗科技有限公司 | 数据存储方法与系统 |
CN111796776A (zh) * | 2020-07-08 | 2020-10-20 | 深圳忆联信息系统有限公司 | 基于用户自定义或需求分析的存储方法、装置、设备及介质 |
CN112148750A (zh) * | 2020-10-20 | 2020-12-29 | 成都中科大旗软件股份有限公司 | 一种数据集成方法及系统 |
CN112148750B (zh) * | 2020-10-20 | 2023-04-25 | 成都中科大旗软件股份有限公司 | 一种数据集成方法及系统 |
CN112506435A (zh) * | 2020-12-12 | 2021-03-16 | 南京地铁建设有限责任公司 | 一种应用于自动扶梯的数据分级存储方法及系统 |
CN112506435B (zh) * | 2020-12-12 | 2024-04-02 | 南京地铁建设有限责任公司 | 一种应用于自动扶梯的数据分级存储方法及系统 |
CN112905718A (zh) * | 2021-03-09 | 2021-06-04 | 东莞中国科学院云计算产业技术创新与育成中心 | 基于超融合架构的数据管理方法、系统、电子设备及介质 |
CN114327294A (zh) * | 2021-12-31 | 2022-04-12 | 华录光存储研究院(大连)有限公司 | 一种用于多级存储的数据读取系统 |
CN114489492A (zh) * | 2021-12-31 | 2022-05-13 | 华能烟台八角热电有限公司 | 一种数据存储方法及安全装置、数据存储系统 |
CN114489492B (zh) * | 2021-12-31 | 2024-01-30 | 华能烟台八角热电有限公司 | 一种数据存储方法及安全装置、数据存储系统 |
CN114327294B (zh) * | 2021-12-31 | 2024-04-05 | 华录光存储研究院(大连)有限公司 | 一种用于多级存储的数据读取系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107968818B (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107968818A (zh) | 数据的存储方法、装置及服务器集群 | |
US9792344B2 (en) | Asynchronous namespace maintenance | |
US10095800B1 (en) | Multi-tenant data store management | |
CN103324669B (zh) | 一种对网页书签进行处理的方法和客户端 | |
CN104049968B (zh) | 普及环境中的元数据驱动版本管理服务的方法和系统 | |
CN105260142B (zh) | 一种云存储区域医疗影像装置及运行方法 | |
CN103970753B (zh) | 关联知识的推送方法和装置 | |
CN101398869A (zh) | 一种海量数据存储方法 | |
AU2014216727A1 (en) | Hive table links | |
US20110289055A1 (en) | Linked Databases | |
CN101404029A (zh) | 一种dicom图像文件存储方法 | |
US20130046798A1 (en) | Method and apparatus for visualization of infrastructure using a non-relational graph data store | |
CN105468764A (zh) | 一种数据处理方法、装置及集群服务系统 | |
CN103617199A (zh) | 一种操作数据的方法和系统 | |
CN104461826A (zh) | 对象流转监控的方法、装置及系统 | |
CN102870115A (zh) | 网盘文件存储方法及服务器 | |
EP2767913B1 (en) | Hive table links | |
Kirchhoff | eBooks: The preservation challenge | |
Birkisson | Numerical solution of nonlinear boundary value problems for ordinary differential equations in the continuous framework | |
CN110109866A (zh) | 一种文件系统目录的管理方法及设备 | |
CN107580038A (zh) | 一种专家推荐方法及系统 | |
JP5887236B2 (ja) | 業務文書処理装置、業務文書処理方法及び業務文書処理プログラム | |
CN106067896A (zh) | 文件续传方法和装置 | |
CN106909402B (zh) | 应用程序的处理方法与装置 | |
JP7197751B2 (ja) | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |