CN103269359B - 一种方便扩容的多路径高效存储方法 - Google Patents

一种方便扩容的多路径高效存储方法 Download PDF

Info

Publication number
CN103269359B
CN103269359B CN201310154659.8A CN201310154659A CN103269359B CN 103269359 B CN103269359 B CN 103269359B CN 201310154659 A CN201310154659 A CN 201310154659A CN 103269359 B CN103269359 B CN 103269359B
Authority
CN
China
Prior art keywords
file
disk array
stored
space
storage method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310154659.8A
Other languages
English (en)
Other versions
CN103269359A (zh
Inventor
陈登凌
陈鸿进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUZHOU XINRUI TONGCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
FUZHOU XINRUI TONGCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUZHOU XINRUI TONGCHUANG ELECTRONIC TECHNOLOGY Co Ltd filed Critical FUZHOU XINRUI TONGCHUANG ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201310154659.8A priority Critical patent/CN103269359B/zh
Publication of CN103269359A publication Critical patent/CN103269359A/zh
Application granted granted Critical
Publication of CN103269359B publication Critical patent/CN103269359B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种方便扩容的多路径高效存储方法，该方法包括S01：把文件服务器下挂的所有磁盘阵列的存储路径进行存储；S02：在文件服务器中根据一文件存储阀值计算每个磁盘阵列的空间临界值；S03：上传文件时，计算当前存储路径的磁盘阵列已使用的空间大小与上传文件大小之和是否小于空间临界值，来选择上传的磁盘阵列；S04：将所述上传的文件的相关信息进行存储；S05：下载所需文件时，根据所述相关信息判断此文件存储于哪个磁盘阵列上，自动下载到本地。本发明的方法不仅实现存储空间的充分、合理利用，而且加快了上传、下载进程，克服了现有技术中，因磁盘阵列空间不足导致的频繁切换设置的问题，具有较好的使用价值。

Description

一种方便扩容的多路径高效存储方法
技术领域
本发明涉及存储技术领域，特别是一种方便扩容的多路径高效存储方法。
背景技术
电子信息社会，数据的存储已成为关键，特别是视频、多媒体文件等，存储技术的好坏直接决定了系统上传和下载的速度。然而现有的存储技术中，文件上传时当主磁盘阵列空间不足时需切换到另一个磁盘阵列，同时，当下载的文件不在主磁盘阵列时也必须切换，这个切换的过程相当麻烦，存在着存取的效率低下和磁盘空间利用率低等问题；此外，现有的存储方式还不适合对那些数据需要进行块级访问的情况，例如对视频数据的存取，而且其访问速度受到网络速度的限制。
发明内容
有鉴于此，本发明的目的是提供一种方便扩容的多路径高效存储方法，实现存储空间的充分、合理利用，而且加快了上传和下载进程，克服了现有技术中，因磁盘阵列空间不足导致的频繁切换设置的问题。
本发明采用以下方案实现：一种方便扩容的多路径高效存储方法，其特征在于包括以下步骤：
S01：把文件服务器下挂的所有磁盘阵列的存储路径进行存储；
S02：在文件服务器中设置一文件存储阀值，根据该文件存储阀值计算所述文件服务器下挂的每个磁盘阵列的空间临界值；
S03：上传文件时，计算当前存储路径的磁盘阵列已使用的空间大小与上传文件大小之和是否小于空间临界值，若不小于空间临界值，则计算下一条存储路径，直到所计算的路径已使用的空间大小与上传文件大小之和小于空间临界值，进而将要上传的文件存储于所述路径对应的磁盘阵列中；
S04：将所述上传的文件的相关信息进行存储；
S05：下载所需文件时，根据所述相关信息判断此文件存储于哪个磁盘阵列上，自动下载到本地。
在本发明一实施例中，该方法还包括根据所需上传或下载的文件大小，设置大于某一数值的文件自动分段上传或下载。
在本发明一实施例中，存储路径是存储于一数据库表1中；所述的相关信息是存储于一数据库表2中。
在本发明一实施例中，所述步骤S01中的文件服务器包括单服务器形式或多服务器形式，该文件服务器的相关信息存储在所述数据库表2中。
在本发明一实施例中，所述步骤S01在数据库表1中磁盘阵列的存储路径默认按照字母顺序排序。
在本发明一实施例中，所述步骤S05中文件的相关信息包括文件ID、文件名、文件存储路径、文件大小、文件类型或文件关键帧。
在本发明一实施例中，所述步骤S02中空间临界值等于每个磁盘阵列的总空间大小与文件存储阀值的乘积。
在本发明一实施例中，所述文件上传时以双码流的方式存储，文件在上传时自动转码生成一个低码流文件，原高码流文件用于本地高清存储，低码流文件用于网络传输及网络在线预览。
本发明根据存储的磁盘路径，通过判断该路径对应的磁盘空间进行上传和下载，不仅优化了存储空间，而且易于后续下载的链接，最大程度的利用了存储空间，而且提高了系统存取进程。
附图说明
图1是本发明实施例方法流程示意图。
图2是本发明实施例设置文件存储阀值示意框图。
图3是本发明实施例设置文件存储路径示意框图。
图4是本发明一实施例采用单服务器多阵列的网络连接架构示意图。
图5是本发明另一实施例采用单服务器多阵列的网络连接架构示意图。
图6是本发明一实施例采用多服务器多阵列的网络连接架构示意图。
图7是本发明另一实施例采用多服务器多阵列的网络连接架构示意图。
其中，1为客户终端、2为服务器、3为交换机、4为磁盘阵列。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。、
如图1所示，本实施例提供一种方便扩容的多路径高效存储方法，其特征在于包括以下步骤：
S01：把文件服务器下挂的所有磁盘阵列的存储路径进行存储；
S02：在文件服务器中设置一文件存储阀值，根据该文件存储阀值计算所述文件服务器下挂的每个磁盘阵列的空间临界值；
S03：上传文件时，计算当前存储路径的磁盘阵列已使用的空间大小与上传文件大小之和是否小于空间临界值，若不小于空间临界值，则计算下一条存储路径，直到所计算的路径已使用的空间大小与上传文件大小之和小于空间临界值，进而将要上传的文件存储于所述路径对应的磁盘阵列中；
S04：将所述上传的文件的相关信息进行存储；
S05：下载所需文件时，根据所述相关信息判断此文件存储于哪个磁盘阵列上，自动下载到本地。
为了更好的利用存储空间，本实施例中，该方法还包括根据所需上传或下载的文件大小，设置大于某一数值的文件自动分段上传或下载。该数值可根据实际需要设定，也可以让系统自动识别，根据阵列剩余空间的大小自动分段。
为了避免关键数据与上传的数据有效的区分，在本发明一实施例中，所述存储路径是存储于一数据库表1中；所述的相关信息是存储于一数据库表2中。
请参见图2，图2是设置文件存储阀值示意框图。通过该存储阈值的设定，为后续计算是否超出磁盘阵列的空间临界值，即根据文件存储阀值计算所述文件服务器下挂的每个磁盘阵列最多可使用的空间大小提供依据。图3是本发明实施例设置文件存储路径示意框图。图中，可以通过图框下部的按钮可以实现存储路径的选择、更改及存储等。
在本发明一实施例中，上述步骤S01中的文件服务器包括单服务器形式或多服务器形式，该文件服务器的相关信息存储在所述数据库表2中。
请参见图4，图4是采用单服务器多阵列的网络连接架构示意图，图中服务器和阵列之间通过网络设备连接。请参见图5，图5也是采用单服务器多阵列形式，与图4中不同的是该服务器和阵列之间是通过阵列卡连接，阵列卡插在服务器主板插槽上。
请参见图6，采用多服务器多阵列的网络连接架构示意图，图中服务器和阵列之间通过网络设备连接。请参见图7，图7也是采用多服务器多阵列形式，与图6不同的是服务器和阵列之间通过阵列卡连接，阵列卡插在服务器主板插槽上。
在本发明一实施例中，上述步骤S01在数据库表1中磁盘阵列的存储路径默认按照字母顺序排序。这样可以进一步规范存储步骤，便于后续索引。其中所述步骤S05中文件的相关信息包括文件ID、文件名、文件存储路径、文件大小、文件类型或文件关键帧，其并不以此为限，在实际应用中可根据需要任选其中的一个或多个组合。
较佳的，在本发明一实施例中，上述步骤S02中空间临界值可以是等于每个磁盘阵列的总空间大小与文件存储阀值的乘积。本实施例中，所述文件上传时以双码流的方式存储，文件在上传时自动转码生成一个低码流文件，原高码流文件用于本地高清存储，低码流文件用于网络传输及网络在线预览。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种方便扩容的多路径高效存储方法，其特征在于包括以下步骤：
S01：把文件服务器下挂的所有磁盘阵列的存储路径进行存储；
S02：在文件服务器中设置一文件存储阀值，根据该文件存储阀值计算所述文件服务器下挂的每个磁盘阵列的空间临界值；
S03：上传文件时，计算当前存储路径的磁盘阵列已使用的空间大小与上传文件大小之和是否小于空间临界值，若不小于空间临界值，则计算下一条存储路径，直到所计算的路径已使用的空间大小与上传文件大小之和小于空间临界值，进而将要上传的文件存储于所述路径对应的磁盘阵列中；
S04：将所述上传的文件的相关信息进行存储；
S05：下载所需文件时，根据所述相关信息判断此文件存储于哪个磁盘阵列上，自动下载到本地。
2.根据权利要求1所述的一种方便扩容的多路径高效存储方法，其特征在于：该方法还包括根据所需上传或下载的文件大小，设置大于某一数值的文件自动分段上传或下载。
3.根据权利要求1所述的一种方便扩容的多路径高效存储方法，其特征在于：存储路径是存储于一数据库表1中；所述的相关信息是存储于一数据库表2中。
4.根据权利要求3所述的一种方便扩容的多路径高效存储方法，其特征在于：所述步骤S01中的文件服务器包括单服务器形式或多服务器形式，该文件服务器的相关信息存储在所述数据库表2中。
5.根据权利要求3所述的一种方便扩容的多路径高效存储方法，其特征在于：所述步骤S01在数据库表1中磁盘阵列的存储路径默认按照字母顺序排序。
6.根据权利要求1所述的一种方便扩容的多路径高效存储方法，其特征在于：所述步骤S05中文件的相关信息包括文件ID、文件名、文件存储路径、文件大小、文件类型或文件关键帧。
7.根据权利要求1所述的一种方便扩容的多路径高效存储方法，其特征在于：所述步骤S02中空间临界值等于每个磁盘阵列的总空间大小与文件存储阀值的乘积。
8.根据权利要求1所述的一种方便扩容的多路径高效存储方法，其特征在于：所述文件上传时以双码流的方式存储，文件在上传时自动转码生成一个低码流文件，原高码流文件用于本地高清存储，低码流文件用于网络传输及网络在线预览。
CN201310154659.8A 2013-04-28 2013-04-28 一种方便扩容的多路径高效存储方法 Expired - Fee Related CN103269359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310154659.8A CN103269359B (zh) 2013-04-28 2013-04-28 一种方便扩容的多路径高效存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310154659.8A CN103269359B (zh) 2013-04-28 2013-04-28 一种方便扩容的多路径高效存储方法

Publications (2)

Publication Number Publication Date
CN103269359A CN103269359A (zh) 2013-08-28
CN103269359B true CN103269359B (zh) 2015-12-09

Family

ID=49012968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310154659.8A Expired - Fee Related CN103269359B (zh) 2013-04-28 2013-04-28 一种方便扩容的多路径高效存储方法

Country Status (1)

Country Link
CN (1) CN103269359B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829230A (zh) * 2006-03-21 2006-09-06 华南理工大学 一种智能网络磁盘存储系统及其实现方法
CN101504594A (zh) * 2009-03-13 2009-08-12 杭州华三通信技术有限公司 一种数据存储方法和装置
CN101562039A (zh) * 2008-04-14 2009-10-21 威刚科技股份有限公司 多通道内存储存装置及其控制方法
CN102207831A (zh) * 2011-07-04 2011-10-05 成都市华为赛门铁克科技有限公司 磁盘阵列的数据读写方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829230A (zh) * 2006-03-21 2006-09-06 华南理工大学 一种智能网络磁盘存储系统及其实现方法
CN101562039A (zh) * 2008-04-14 2009-10-21 威刚科技股份有限公司 多通道内存储存装置及其控制方法
CN101504594A (zh) * 2009-03-13 2009-08-12 杭州华三通信技术有限公司 一种数据存储方法和装置
CN102207831A (zh) * 2011-07-04 2011-10-05 成都市华为赛门铁克科技有限公司 磁盘阵列的数据读写方法及装置

Also Published As

Publication number Publication date
CN103269359A (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
CN108989885B (zh) 视频文件转码系统、分割方法、转码方法及装置
CN102521280B (zh) 一种EPub电子书加载方法及装置
CN111787406B (zh) 一种视频播放方法、电子设备以及存储介质
CN102710789A (zh) 智能终端间数据的交互方法、系统及装置
US20180191815A1 (en) Data transmission method and device, distributed storage system
US10671670B2 (en) Graph based content browsing and discovery
CN103873507A (zh) 数据分块上传与存储系统及方法
CN105052107A (zh) 使用质量信息进行媒体内容自适应传输
US10628385B2 (en) Virtual collection of entities in sync process
CN104239433A (zh) 可联网冰箱及其信息推荐方法和系统
WO2009149354A2 (en) Systems and methods for creating and sharing a presentation
CN105025319A (zh) 一种视频推送方法和装置
CN105573667A (zh) 一种数据读取方法和存储服务器
CN107025275A (zh) 视频搜索方法及装置
CN105556979A (zh) 流式传输媒体
CN103678381A (zh) 字幕处理方法、装置及系统
CN104639900A (zh) Rtmp转m3u8视频切片系统及方法
CN110288678B (zh) 动态照片的生成方法、装置、计算机设备和存储介质
US20130283186A1 (en) File uploading method and electronic device for fast file location
CN103365977A (zh) 非易失性存储介质上数据的存储处理方法和装置
CN104426949A (zh) 多文件上传方法及系统
CN104053016B (zh) 一种图像预览方法及装置
CN103269359B (zh) 一种方便扩容的多路径高效存储方法
CN106856450B (zh) 基于社交网络的社交信息生成方法和装置
CN103581051A (zh) 一种文件缓存方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151209

Termination date: 20210428

CF01 Termination of patent right due to non-payment of annual fee