CN102364465A - 一种文件存储方法及存储集群 - Google Patents
一种文件存储方法及存储集群 Download PDFInfo
- Publication number
- CN102364465A CN102364465A CN2011102963255A CN201110296325A CN102364465A CN 102364465 A CN102364465 A CN 102364465A CN 2011102963255 A CN2011102963255 A CN 2011102963255A CN 201110296325 A CN201110296325 A CN 201110296325A CN 102364465 A CN102364465 A CN 102364465A
- Authority
- CN
- China
- Prior art keywords
- storage
- media file
- storage pool
- pool unit
- visit capacity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及一种文件存储方法及存储集群，先获得存储集群的存储池单元中媒体文件的访问量统计信息，然后根据所述访问量统计信息指示的访问量大小，将访问量大于预设定阈值的媒体文件优先在所述存储池单元的硬盘及内存中进行同时存储。这样，访问量大的媒体文件将同时存储于硬盘及内存中，而访问量相对较小的媒体文件仅可存储于硬盘中，即可高效及时地直接以内存中的访问量大的媒体文件进行主题信息需求响应，并及时满足了精确的搜索资源的要求。
Description
技术领域
本发明涉及文件存储领域，尤其涉及一种文件存储方法及存储集群。
背景技术
Web向导推荐系统是一种采用搜索引擎的排名体系，负责从万维网、企业数据库和企业输入等途径获取相关资源信息并放入数据仓库的通信系统，用户或企业登录该系统之后，即可在网站中搜索需要的资源，系统根据此信息提供分析决策信息并获取相关资源。由于网络信息资源庞大，易变性极强，采用搜索引擎的排名体系，难以及时获取主题信息需求，难以及时满足精确搜索资源的要求。
发明内容
本发明实施例所要解决的技术问题在于，提供一种文件存储方法及存储集群，以提高对资源需求的系统响应效率。
为解决上述技术问题，本发明实施例采用如下技术方案：
一种文件存储方法，包括：
获得存储集群的存储池单元中媒体文件的访问量统计信息；
根据所述访问量统计信息指示的访问量大小，将访问量大于预设定阈值的媒体文件优先在所述存储池单元的硬盘及内存中进行同时存储。
进一步地，所述存储集群包括多个存储池单元，所述文件存储方法还包括：
根据各所述存储池单元的当前处理性能指标，调整所述媒体文件在所述存储集群的存储池单元中的分布。
进一步地，所述当前处理性能指标包括如下一项或多项的组合：所述存储池单元的存储剩余容量、中央处理器占用率、客户端连接数以及所述媒体文件的下载完整性。
相应地，本发明实施例还提供了一种存储集群，包括：
若干设置有硬盘及内存的存储池单元；
控制器，用于获得所述存储池单元中媒体文件的访问量统计信息，并根据所述访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在所述硬盘及内存中进行同时存储。
进一步地，所述控制器包括：
第一控制子单元，用于获得所述存储池单元中媒体文件的访问量统计信息，并根据所述访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在所述硬盘及内存中进行同时存储；
第二控制子单元，用于根据各所述存储池单元的当前处理性能指标，调整所述媒体文件在所述存储集群的存储池单元中的分布。
进一步地，所述当前处理性能指标包括如下一项或多项的组合：所述存储池单元的存储剩余容量、中央处理器占用率、客户端连接数以及所述媒体文件的下载完整性。
本发明实施例的有益效果是：
通过提供一种文件存储方法及存储集群，先获得存储集群的存储池单元中媒体文件的访问量统计信息，然后根据所述访问量统计信息指示的访问量大小，将访问量大于预设定阈值的媒体文件优先在所述存储池单元的硬盘及内存中进行同时存储。这样，访问量大的媒体文件将同时存储于硬盘及内存中，而访问量相对较小的媒体文件仅可存储于硬盘中，即可高效及时地直接以内存中的访问量大的媒体文件进行主题信息需求响应，并及时满足了精确的搜索资源的要求。
下面结合附图对本发明实施例作进一步的详细描述。
附图说明
图1是本发明实施例的文件存储方法的主要流程图。
图2是本发明实施例的存储集群的主要结构图。
具体实施方式
参照图1，本发明实施例提供了一种一种文件存储方法，其主要包括：
101，获得存储集群的存储池单元中媒体文件的访问量统计信息；
102，根据访问量统计信息指示的访问量大小，将访问量大于预设定阈值的媒体文件优先在存储池单元的硬盘及内存中进行同时存储，具体地，预设定阈值可以根据实际情况予以确定，例如可采用1000、1500、10000或100000次/日等数值，也可以采用其他单位的数值作为预设定阈值，这样，当访问量大于上述预设定阈值的媒体文件，即可优先于访问量较小的其他媒体文件而同时存储在硬盘及内存中，而在进行资源搜索时，存储集群存储池单元内存中这些访问量较大（热度高）的媒体文件即可通过内存响应，快速、及时地反馈给搜索端。
作为一种实施方式，为了进一步地优化存储集群中媒体文件的存储分布，进一步提高响应速度，当存储集群包括多个存储池单元时，文件存储方法还可以包括：
根据各存储池单元的当前处理性能指标，调整媒体文件在存储集群的存储池单元中的分布，而当前处理性能指标包括如下一项或多项的组合：存储池单元的存储剩余容量、中央处理器占用率、客户端连接数以及媒体文件的下载完整性。具体地，当A存储池单元的存储剩余容量相对其他存储池单元的存储剩余容量小时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到存储剩余容量较大的存储池单元中；当A存储池单元的中央处理器占用率相对其他存储池单元的中央处理器占用率大时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到中央处理器占用率小的存储池单元中；当A存储池单元的客户端连接数相对其他存储池单元的客户端连接数多时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到客户端连接数少的存储池单元中；而该方法还可以根据媒体文件的下载完整性，调整媒体文件在存储集群内的分布。当然，当上述存储剩余容量、中央处理器占用率、客户端连接数指标同时采用时，其可以预设一定的权值进行综合分配处理，例如存储剩余容量占比60%的权值、中央处理器占用率占比20%的权值、客户端连接数占比20%的权值等。
参照图2，本发明实施例还提供了一种存储集群，其主要包括：
若干设置有硬盘及内存的存储池单元201；
控制器202，用于获得存储池单元201中媒体文件的访问量统计信息，并根据访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在存储池单元201的硬盘及内存中进行同时存储，具体地，预设定阈值可以根据实际情况予以确定，例如可采用1000、1500、10000或100000次/日等数值，也可以采用其他单位的数值作为预设定阈值，这样，当访问量大于上述预设定阈值的媒体文件，即可优先于访问量较小的其他媒体文件而同时存储在硬盘及内存中，而在进行资源搜索时，存储集群存储池单元201内存中这些访问量较大（热度高）的媒体文件即可通过内存响应，快速、及时地反馈给搜索端。
具体地，控制器202包括：
第一控制子单元2021，用于获得存储池单元201中媒体文件的访问量统计信息，并根据访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在存储池单元201的硬盘及内存中进行同时存储；
第二控制子单元2022，用于根据各存储池单元201的当前处理性能指标，调整媒体文件在存储集群的存储池单元201中的分布，而当前处理性能指标包括如下一项或多项的组合：存储池单元201的存储剩余容量、中央处理器占用率、客户端连接数以及媒体文件的下载完整性。具体地，当A存储池单元的存储剩余容量相对其他存储池单元的存储剩余容量小时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到存储剩余容量较大的存储池单元中；当A存储池单元的中央处理器占用率相对其他存储池单元的中央处理器占用率大时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到中央处理器占用率小的存储池单元中；当A存储池单元的客户端连接数相对其他存储池单元的客户端连接数多时，即可将A存储池单元中的媒体文件或者待存储的媒体文件转移或存储到客户端连接数少的存储池单元中；而该方法还可以根据媒体文件的下载完整性，调整媒体文件在存储集群内的分布。当然，当上述存储剩余容量、中央处理器占用率、客户端连接数指标同时采用时，其可以预设一定的权值进行综合分配处理，例如存储剩余容量占比60%的权值、中央处理器占用率占比20%的权值、客户端连接数占比20%的权值等。
另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所述是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种文件存储方法，其特征在于，包括：
获得存储集群的存储池单元中媒体文件的访问量统计信息；
根据所述访问量统计信息指示的访问量大小，将访问量大于预设定阈值的媒体文件优先在所述存储池单元的硬盘及内存中进行同时存储。
2.如权利要求1所述的文件存储方法，其特征在于，所述存储集群包括多个存储池单元，所述文件存储方法还包括：
根据各所述存储池单元的当前处理性能指标，调整所述媒体文件在所述存储集群的存储池单元中的分布。
3.如权利要求2所述的文件存储方法，其特征在于，所述当前处理性能指标包括如下一项或多项的组合：所述存储池单元的存储剩余容量、中央处理器占用率、客户端连接数以及所述媒体文件的下载完整性。
4.一种存储集群，其特征在于，包括：
若干设置有硬盘及内存的存储池单元；
控制器，用于获得所述存储池单元中媒体文件的访问量统计信息，并根据所述访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在所述硬盘及内存中进行同时存储。
5.如权利要求4所述的存储集群，其特征在于，所述控制器包括：
第一控制子单元，用于获得所述存储池单元中媒体文件的访问量统计信息，并根据所述访问量统计信息指示的访问量大小，控制将访问量大于预设定阈值的媒体文件优先在所述硬盘及内存中进行同时存储；
第二控制子单元，用于根据各所述存储池单元的当前处理性能指标，调整所述媒体文件在所述存储集群的存储池单元中的分布。
6.如权利要求5所述的存储集群，其特征在于，所述当前处理性能指标包括如下一项或多项的组合：所述存储池单元的存储剩余容量、中央处理器占用率、客户端连接数以及所述媒体文件的下载完整性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102963255A CN102364465A (zh) | 2011-09-30 | 2011-09-30 | 一种文件存储方法及存储集群 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102963255A CN102364465A (zh) | 2011-09-30 | 2011-09-30 | 一种文件存储方法及存储集群 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102364465A true CN102364465A (zh) | 2012-02-29 |
Family
ID=45691031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102963255A Pending CN102364465A (zh) | 2011-09-30 | 2011-09-30 | 一种文件存储方法及存储集群 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102364465A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183368A (zh) * | 2015-08-07 | 2015-12-23 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
| CN107357932A (zh) * | 2017-07-31 | 2017-11-17 | 云城（北京）数据科技有限公司 | 一种文件存储方法及装置 |
| CN110427340A (zh) * | 2018-04-28 | 2019-11-08 | 伊姆西Ip控股有限责任公司 | 用于文件存储的方法、装置和计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0762704A2 (en) * | 1995-09-01 | 1997-03-12 | Digital Equipment Corporation | A distributed interactive multimedia service system |
| CN101510223A (zh) * | 2009-04-03 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和系统 |
| CN101557499A (zh) * | 2008-04-09 | 2009-10-14 | 中兴通讯股份有限公司 | 媒体交付系统及方法、媒体交付系统资源更新方法 |
| CN102143206A (zh) * | 2010-12-17 | 2011-08-03 | 浪潮(北京)电子信息产业有限公司 | 集群存储系统中存储池的调整方法、装置及系统 |
| CN102170460A (zh) * | 2011-03-10 | 2011-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统及其数据存储方法 |
-
2011
- 2011-09-30 CN CN2011102963255A patent/CN102364465A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0762704A2 (en) * | 1995-09-01 | 1997-03-12 | Digital Equipment Corporation | A distributed interactive multimedia service system |
| CN101557499A (zh) * | 2008-04-09 | 2009-10-14 | 中兴通讯股份有限公司 | 媒体交付系统及方法、媒体交付系统资源更新方法 |
| CN101510223A (zh) * | 2009-04-03 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和系统 |
| CN102143206A (zh) * | 2010-12-17 | 2011-08-03 | 浪潮(北京)电子信息产业有限公司 | 集群存储系统中存储池的调整方法、装置及系统 |
| CN102170460A (zh) * | 2011-03-10 | 2011-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统及其数据存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴传墉: "彩色印前处理技术入门（连载三）", 《云南印刷》, no. 5, 31 December 1998 (1998-12-31), pages 19 - 21 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183368A (zh) * | 2015-08-07 | 2015-12-23 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法和装置 |
| WO2017024802A1 (zh) * | 2015-08-07 | 2017-02-16 | 中兴通讯股份有限公司 | 多种存储介质并存的系统及进行文件操作的方法、装置及计算机存储介质 |
| CN107357932A (zh) * | 2017-07-31 | 2017-11-17 | 云城（北京）数据科技有限公司 | 一种文件存储方法及装置 |
| CN110427340A (zh) * | 2018-04-28 | 2019-11-08 | 伊姆西Ip控股有限责任公司 | 用于文件存储的方法、装置和计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105653524B (zh) | 一种数据存储方法、装置和系统 | |
| CN102129442B (zh) | 一种分布式数据库系统和数据访问方法 | |
| US20130151803A1 (en) | Frequency and migration based re-parsing | |
| CN101373445B (zh) | 一种内存调度方法及装置 | |
| CN103530388A (zh) | 一种云存储系统中提升性能的数据处理方法 | |
| CN103747047A (zh) | 一种cdn文件存储方法、文件分发控制中心及系统 | |
| CN103176754A (zh) | 一种海量小文件读取存储方法 | |
| CN103078933A (zh) | 一种确定数据迁移时机的方法和装置 | |
| CN104407879A (zh) | 一种电网时序大数据并行加载方法 | |
| CN104123237A (zh) | 海量小文件分级存储方法及系统 | |
| CN103973583B (zh) | 分布式文件系统优化负载均衡的方法及系统 | |
| CN104199784A (zh) | 一种基于分级存储的数据迁移方法及装置 | |
| CN104391961A (zh) | 千万级小文件数据的一种读写解决策略 | |
| CN106648456A (zh) | 基于用户访问量以及预测机制的动态副本文件访问方法 | |
| CN106411634B (zh) | 一种数据生命周期监控方法及装置 | |
| CN108228110A (zh) | 一种迁移资源数据的方法和装置 | |
| CN103747049A (zh) | 一种cdn文件分发方法、控制中心及系统 | |
| CN106407191A (zh) | 一种数据处理方法及服务器 | |
| CN108776690B (zh) | 基于分层治理的hdfs分布式与集中式混合数据存储系统的方法 | |
| CN103685517A (zh) | 一种基于业务类别特征的存储分级调度方法及系统 | |
| CN102364465A (zh) | 一种文件存储方法及存储集群 | |
| CN104375782A (zh) | 千万级小文件数据的一种读写解决方法 | |
| CN102609508B (zh) | 一种面向网络存储的文件高速访问方法 | |
| CN105159925A (zh) | 一种数据库集群数据分配方法及系统 | |
| CN107562810A (zh) | 视频大数据分级存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120229 |