CN108984659A - 一种用于idfs的文件均衡方法 - Google Patents

一种用于idfs的文件均衡方法 Download PDF

Info

Publication number
CN108984659A
CN108984659A CN201810687142.8A CN201810687142A CN108984659A CN 108984659 A CN108984659 A CN 108984659A CN 201810687142 A CN201810687142 A CN 201810687142A CN 108984659 A CN108984659 A CN 108984659A
Authority
CN
China
Prior art keywords
file
module
index
balanced
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810687142.8A
Other languages
English (en)
Inventor
刘凯
谢恩鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Business System Co Ltd
Original Assignee
Shandong Inspur Business System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Business System Co Ltd filed Critical Shandong Inspur Business System Co Ltd
Priority to CN201810687142.8A priority Critical patent/CN108984659A/zh
Publication of CN108984659A publication Critical patent/CN108984659A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于IDFS的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；所述的文件索引归类模块用于对存储的内容归类整理；所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。本发明的方法能最大限度的实现各存储容量的均衡，实现文件的均衡转移。

Description

一种用于IDFS的文件均衡方法
技术领域
本发明涉及文件索引、文件同步、存储容量均衡领域，具体地说是一种用于IDFS的文件均衡方法。
背景技术
IDFS是一套针对HLS及海报等大量小文件的分布式存储系统，采用MongoDB存储索引数据。对于一部视频，可以将其均匀的分布存储于所有可用服务器的所有可用磁盘内，使得上传下载任意一部影片都可以利用到所有服务器的所有磁盘性能。同时IDFS支持动态扩容，可以十分方便的增加服务器数量或磁盘数量以增加存储总容量。
但动态扩容的过程中，新增服务器的可用容量大于原服务器，在注入新文件时，由于均匀存储的策略，新老服务器容量增长的速度是相同的。这最终会导致新服务器还有大量剩余空间时，老服务器已经没有可用存储。
发明内容
本发明的技术任务是提供一种用于IDFS的文件均衡方法。
本发明的技术任务是按以下方式实现的：
一种用于IDFS的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；
所述的文件索引归类模块用于对存储的内容归类整理；
所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；
所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；
所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；
所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。
所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。
所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。
所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。
所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。
所述的文件索引查找模块的索引存储于MongoDB，包含文件ID以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。
所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的N块磁盘发起转移。
所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量，所述的文件性能监控及任务下发模块监控到磁盘当前状态达到阈值后会立即终止文件转移操作。
所述的终止文件转移操作的同时，所述的文件性能监控及任务下发模块会监测变更文件列表情况，在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作，源文件及索引删除后，系统恢复到正常状态且存储容量会相对均衡。
所述的HLS直播点播视频优化的配置列表针对HLS大量小文件的特点，根据点播及直播回看内容数量的比例、回看保留天数的长短，海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。
本发明的一种用于IDFS的文件均衡方法和现有技术相比，具有以下有益效果：
1）能够对存储的内容归类整理，减少排序及文件转移的工作量；
2）可以实现不停止服务的情况下实现文件的均衡转移；
3）可以实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；
4）可以实现在尽可能少的减少对现网系统的性能的影响下进行存储均衡；
5）针对直播点播不同的存储策略及当前的读写频率可以实现对均衡频率及均衡速度进行精确控制。
具体实施方式
实施例1：
一种用于IDFS的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；
所述的文件索引归类模块用于对存储的内容归类整理；所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。
所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。
所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；所述的文件索引查找模块的索引存储于MongoDB，包含文件ID以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。
所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的N块磁盘发起转移；所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量，所述的文件性能监控及任务下发模块监控到磁盘当前状态（磁盘空间达到均衡或者用户读写流量增加到超过设定值）达到阈值后会立即终止文件转移操作；同时，所述的文件性能监控及任务下发模块会监测变更文件列表情况，在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作，源文件及索引删除后，系统恢复到正常状态且存储容量会相对均衡。
所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制；所述的HLS直播点播视频优化的配置列表针对HLS大量小文件的特点，根据点播及直播回看内容数量的比例、回看保留天数的长短，海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (10)

1.一种用于IDFS的文件均衡方法，其特征在于，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，HLS直播点播视频优化的配置列表实现；
所述的文件索引归类模块用于对存储的内容归类整理；
所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；
所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；
所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；
所述的HLS直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。
2.根据权利要求1所述的方法，其特征在于，所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。
3.根据权利要求2所述的方法，其特征在于，所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。
4.根据权利要求3所述的方法，其特征在于，所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。
5.根据权利要求1所述的方法，其特征在于，所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。
6.根据权利要求1所述的方法，其特征在于，所述的文件索引查找模块的索引存储于MongoDB，包含文件ID以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。
7.根据权利要求1所述的方法，其特征在于，所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的N块磁盘发起转移。
8.根据权利要求7所述的方法，其特征在于，所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量，所述的文件性能监控及任务下发模块监控到磁盘当前状态达到阈值后会立即终止文件转移操作。
9.根据权利要求7所述的方法，其特征在于，所述的终止文件转移操作的同时，所述的文件性能监控及任务下发模块会监测变更文件列表情况，在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作，源文件及索引删除后，系统恢复到正常状态且存储容量会相对均衡。
10.根据权利要求1所述的方法，其特征在于，所述的HLS直播点播视频优化的配置列表针对HLS大量小文件的特点，根据点播及直播回看内容数量的比例、回看保留天数的长短，海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。
CN201810687142.8A 2018-06-28 2018-06-28 一种用于idfs的文件均衡方法 Pending CN108984659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810687142.8A CN108984659A (zh) 2018-06-28 2018-06-28 一种用于idfs的文件均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810687142.8A CN108984659A (zh) 2018-06-28 2018-06-28 一种用于idfs的文件均衡方法

Publications (1)

Publication Number Publication Date
CN108984659A true CN108984659A (zh) 2018-12-11

Family

ID=64539298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810687142.8A Pending CN108984659A (zh) 2018-06-28 2018-06-28 一种用于idfs的文件均衡方法

Country Status (1)

Country Link
CN (1) CN108984659A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116634A (zh) * 2022-01-26 2022-03-01 苏州浪潮智能科技有限公司 一种缓存方法、装置及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146211A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 视频点播网络的负载均衡系统和方法
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN103092528A (zh) * 2011-11-01 2013-05-08 新太科技股份有限公司 一种根据磁盘空间和性能变化进行存储空间转化的方法
CN103092527A (zh) * 2011-10-31 2013-05-08 深圳市快播科技有限公司 小文件的存储方法及系统
CN103488687A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 用于大数据的搜索系统和搜索方法
US8924676B1 (en) * 2011-06-29 2014-12-30 Emc Corporation Efficient storage load redistribution
CN104270416A (zh) * 2014-09-12 2015-01-07 杭州华为数字技术有限公司 负载均衡控制方法及管理节点
CN104731796A (zh) * 2013-12-19 2015-06-24 北京思博途信息技术有限公司 数据存储计算方法和系统
CN105338423A (zh) * 2015-10-27 2016-02-17 天津车之家科技有限公司 流媒体数据直播方法及系统
CN106028154A (zh) * 2016-06-30 2016-10-12 青岛海信电器股份有限公司 一种基于hls协议的节目播放方法和装置
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146211A (zh) * 2006-09-11 2008-03-19 思华科技（上海）有限公司 视频点播网络的负载均衡系统和方法
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN101795211A (zh) * 2010-01-13 2010-08-04 北京中创信测科技股份有限公司 一种数据存储方法及系统
US8924676B1 (en) * 2011-06-29 2014-12-30 Emc Corporation Efficient storage load redistribution
CN103092527A (zh) * 2011-10-31 2013-05-08 深圳市快播科技有限公司 小文件的存储方法及系统
CN103092528A (zh) * 2011-11-01 2013-05-08 新太科技股份有限公司 一种根据磁盘空间和性能变化进行存储空间转化的方法
CN103488687A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 用于大数据的搜索系统和搜索方法
CN104731796A (zh) * 2013-12-19 2015-06-24 北京思博途信息技术有限公司 数据存储计算方法和系统
CN104270416A (zh) * 2014-09-12 2015-01-07 杭州华为数字技术有限公司 负载均衡控制方法及管理节点
CN105338423A (zh) * 2015-10-27 2016-02-17 天津车之家科技有限公司 流媒体数据直播方法及系统
CN106028154A (zh) * 2016-06-30 2016-10-12 青岛海信电器股份有限公司 一种基于hls协议的节目播放方法和装置
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯金钟 等: "一种均衡视频资源的分布存储方法", 《中国科学院大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116634A (zh) * 2022-01-26 2022-03-01 苏州浪潮智能科技有限公司 一种缓存方法、装置及可读存储介质
CN114116634B (zh) * 2022-01-26 2022-04-22 苏州浪潮智能科技有限公司 一种缓存方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
US8612668B2 (en) Storage optimization system based on object size
CN107277561A (zh) 内容分发网络
CN104967861A (zh) Cdn网络中的视频缓存系统及方法
CN110545326B (zh) 集群负载调度方法、装置、电子设备和存储介质
CN103179433B (zh) 一种视频内容提供系统、方法及服务节点
US8281349B2 (en) Data providing system
CN105718538B (zh) 一种分布式文件系统的自适应压缩方法及系统
CA2840106A1 (en) Offline download method, multimedia file download method and system thereof
CN102981973B (zh) 在存储系统中执行请求的方法
JP2010273298A (ja) コンテンツ配信システム、配信制御装置及び配信制御プログラム
CN111212114B (zh) 一种下载资源文件的方法和装置
CN101741884A (zh) 一种分布式存储方法和装置
CN109656956A (zh) 一种实现业务系统数据集中式缓存的方法及装置
CN106055706B (zh) 一种缓存资源存储方法及装置
CN105320676A (zh) 一种客户数据查询服务方法及装置
KR20100073151A (ko) 비대칭 클러스터 파일 시스템
CN108984659A (zh) 一种用于idfs的文件均衡方法
CN107395708A (zh) 一种处理下载请求的方法和装置
CN101330594A (zh) 对等网络视频点播媒体的存储方法及其媒体点播系统
CN104753811A (zh) 一种流媒体业务优化方法、设备及系统
CN112711564B (zh) 合并处理方法以及相关设备
WO2009088007A1 (ja) コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法およびプログラム
CN105426125B (zh) 一种数据存储方法及装置
CN105450679A (zh) 进行数据云存储的方法及系统
CN104837029A (zh) 一种高清视频点播系统的资源硬盘的存储和访问方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication