CN104837029B - 一种高清视频点播系统的资源硬盘的存储和访问方法 - Google Patents

一种高清视频点播系统的资源硬盘的存储和访问方法 Download PDF

Info

Publication number
CN104837029B
CN104837029B CN201510232258.9A CN201510232258A CN104837029B CN 104837029 B CN104837029 B CN 104837029B CN 201510232258 A CN201510232258 A CN 201510232258A CN 104837029 B CN104837029 B CN 104837029B
Authority
CN
China
Prior art keywords
hard disk
server
resource
resource hard
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510232258.9A
Other languages
English (en)
Other versions
CN104837029A (zh
Inventor
卢伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201510232258.9A priority Critical patent/CN104837029B/zh
Publication of CN104837029A publication Critical patent/CN104837029A/zh
Application granted granted Critical
Publication of CN104837029B publication Critical patent/CN104837029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种高清视频点播系统的资源硬盘的存储和访问方法，将大尺寸的高清视频文件分段，并按服务器的带宽，随机均匀分布地存储在集群中的所有资源硬盘上，实现各个资源硬盘的负载均衡；在访问时使用请求调度队列对视频服务器集群中各个资源硬盘进行独立调度，使资源硬盘I/O带宽保持在峰值。通过本发明的方法，前置视频服务器集群在高负载时仍然能够维持最大的服务效能。

Description

一种高清视频点播系统的资源硬盘的存储和访问方法
技术领域
本发明涉及数据传输方法，具体是涉及一种高清视频点播系统的资源硬盘的存储和访问方法。
背景技术
高清视频点播需要高稳定性、高带宽的网络和存储设备的传输性能，对于全高清和4K高清视频的点播尤其如此。目前，在广域网上大规模地开展真正的高清视频点播服务不现实。一种解决方案是，采用“服务器前置方案”，即将视频服务器集群部署在每个居民小区的交换机房或者ADSL局域网内，所有这些前置服务器集群组成一个分布式服务器集群，使绝大部分视频流量限制在局域网内，避开广域网的带宽限制。
但是，普通视频服务器在高负载时，硬盘读写效率急剧下降，因此这种解决方案需要大量的视频服务器，导致高昂的部署成本；而且服务器数量越多，占用的空间和功耗就越大，故障率也越高，从而导致很高的运行维护成本。因此，必须大幅度提高单台服务器的服务效能，尽可能地减少视频服务器数量，服务器前置方案才具有现实可行性。而视频服务器的性能主要受限于硬盘I/O性能，因为当多个线程(进程)同时读写一个磁盘时，将导致硬盘读写带宽急剧降低，严重制约了视频服务器的服务效能。
发明内容
本发明的目的在于克服现有技术之不足，提供一种高清视频点播系统的资源硬盘的存储和访问方法。
本发明解决其技术问题所采用的技术方案是：
一种高清视频点播系统的资源硬盘的存储方法，是提供包含至少一服务器的前置服务器集群，每一服务器对应有至少一资源硬盘；将一视频文件分成多个分段，按照各服务器的服务带宽存储在所述前置服务器集群的各个资源硬盘上，并将该视频文件的信息记录于前置服务器集群的资源列表上。
优选的，所述服务器的服务带宽是指该服务器的全部资源硬盘的随机读取的最大带宽之和及该服务器的网络带宽这两者之中的较小值。
优选的，所述视频文件按照固定长度物理切割成所述分段，最后的分段长度小于所述固定长度则使用随机产生的数据补齐。
优选的，所述分段的长度为10-100MB。
优选的，所述按照各服务器的服务带宽存储具体包括以下步骤：
1)定义所述前置服务器集群中有若干个服务器节点，将所述集群中的资源硬盘集合划分为与所述节点一一对应的若干个资源硬盘子集；
2)将所述视频文件的各分段存入对应的资源硬盘子集中，其中存入各资源硬盘子集的分段数目与相应的节点带宽比对应，即对于集群中的两个服务器i和j，如果服务器i的服务带宽是服务器j的k倍，同一个视频文件的分段，存储在服务器i上的数量是存储在服务器j上的k倍。
优选的，定义节点依次为s1，s2，…，sn，带宽比例为k1：k2：…：kn，相应的资源硬盘子集为D1，D2，…，Dn；随机指定第一个分段存储至资源硬盘子集Dm(1<＝m<＝n)，各分段按sm，…，sn，s1，...，sm-1的顺序选择服务器，对应选定服务器带宽比的分段数目ki(1<＝i<＝n)依次存入相应的资源硬盘子集Di中，直到存放完所有的分段。
优选的，根据权利要求1所述的存储方法，其特征在于：所述资源硬盘子集Di包括多个资源硬盘，所述存入该资源硬盘子集Di的ki个分段按轮转的方式依次存入各资源硬盘。
优选的，所述视频文件的信息包括名字、长度、码率、分段大小、分段数目，及各分段的顺序、名字、存放位置。
按上述方法存储于前置服务器集群中的视频文件的访问方法，是接收一视频文件的访问请求，根据资源列表找出所述视频文件分段存放的资源硬盘，将请求加入该资源硬盘的请求调度队列中。
优选的，所述请求调度队列设定有并发访问数限制值，当所述资源硬盘上的并发访问数小于限制值时，选择该队列中的下一个请求，执行访问资源硬盘的操作。
优选的，所述并发访问数限制值为1。
本发明的有益效果是：
1.对视频分段存储，按服务器服务带宽比例，将分段均匀、随机地放置在一个前置视频集群中的不同资源硬盘上，实现该前置集群的自动负载均衡；对分段大小进行控制，一方面视频文件的分段大小足够大，以充分利用硬盘读写连续存放数据的优势，另一方面分段的大小又控制在以磁盘最大随机读取带宽可以快速读取的范围内，以免客户端的等待时间过长，使得前置视频服务器集群在高负载时仍然能够维持最大的服务效能。
2.使用分段下载方式实现视频点播，采用硬盘请求调度队列可以控制单个硬盘上的并发的访问数量，避免大量同时的访问请求导致硬盘读写带宽急剧下降，使资源硬盘的随机读写性能维持在最高带宽，从而能够大幅度减少硬盘寻道次数及视频服务器数量。
以下实施例对本发明作进一步详细说明；但本发明的一种高清视频点播系统的资源硬盘的存储和访问方法不局限于实施例。
具体实施方式
一种高清视频点播系统，是基于一个由多个前置服务器集群F组成的分布式视频服务器集群。每一前置服务器集群F包括有多个服务器，每一服务器对应有至少一资源硬盘。每个资源硬盘隶属于且仅隶属于F中的一个服务器，不使用硬盘存储柜集中安放硬盘。
视频文件在存储时，首先将其按照固定长度物理切割成多个分段，最后的分段长度小于固定长度则使用随机产生的数据补齐，然后按服务器服务带宽，存储在集群F的各个资源硬盘上。这里服务器服务带宽是，一台服务器的网络带宽，以及该服务器的全部资源硬盘的随机读取的最大带宽之和，这两者之中的较小值。
作为一种优选的实施方式，按服务带宽存储一个视频文件的各个分段的具体方法如下：
1.设集群F中有n个服务器节点，分别定义为s1，s2，…，sn，这n个服务器节点的服务带宽比例是k1:k2:…:kn。
2.集群F中所有资源硬盘集合D划分为n个非空的两两不相交的子集D1，…，Dn；资源硬盘子集Di唯一地指派给集群F的一个节点si(1<＝i<＝n)，服务器si也仅访问Di中存储的资源文件，实现一一对应的关系。
3.将一个视频文件的第一个文件分段随机指派给资源硬盘子集Dm(1<＝m<＝n)，则在存储该视频文件各个分段时，服务器的选择按顺序sm，…，sn，s1，...，sm-1轮转，视频文件的各个分段按顺序及对应服务器的服务带宽对应关系，km个分段存储在资源硬盘子集Dm中，…，kn个分段存储在资源硬盘子集Dn中，k1个分段存储在资源硬盘子集D1中，…，km-1个分段存储在资源硬盘子集Dm-1中，依次轮转，直到存放完所有的分段。
4.在将ki个分段存储在资源硬盘子集Di(i＝1，…，n)时，如果Di有多个资源硬盘，则与上述轮转法相同，在存放这ki段的第一段时，随机指派Di中的一个资源硬盘，接着按轮转法，将其他分段存放在Di中的各个磁盘上。
通过上述的轮转方式，将分段均匀、随机地放置在一个前置视频集群中的不同资源硬盘上，如果服务器si的服务器服务带宽是服务器sj的k倍，那么，同一个视频文件的分段，存储在服务器si对应资源硬盘上的数量是存储在服务器sj对应资源硬盘上的k倍，从而实现该前置集群各个硬盘的自动均衡负载。
视频文件的分段大小要足够大，以便充分利用硬盘读写连续存放数据的优势；同时又必须控制在可以快速读取的范围内。一个分段的大小控制在以磁盘最大随机读取带宽读取这个分段时，读取时间不超过1秒为好，以免客户端的等待时间过长，综合考虑，可以设定为10-100MB，优选为50MB左右。
每个视频文件的名字、长度、码率、分段大小、分段数目，它的各个分段的顺序、名字、存放位置(所在的服务器和所在的资源硬盘)，以及其他的必需信息均记录在前置服务器集群的“资源列表”中。给定一个视频文件的分段号，可以根据该视频文件的名字和分段号从资源列表中检索出这个分段所存储的资源硬盘及其文件名以及其他必需的信息。
当访问经由上述方法进行存储的视频文件时，是通过资源硬盘的“请求调度队列”进行调度协调。当一个视频文件分段的访问请求到达时，根据资源列表查找出存放这个分段的资源硬盘，然后该请求被加入到该资源硬盘的请求调度队列中。
每个请求调度队列有并发访问数的限制值。当一个资源硬盘上的并发访问数小于限制值时，若请求调度队列非空，则选择该队列中的下一个请求，执行访问资源硬盘的操作，该资源硬盘的并发访问数加一，并从队列中删除这个访问请求。当一个资源硬盘上的一个访问请求完成时，该资源硬盘的并发访问数减一。
为了使资源硬盘的随机读写性能维持在峰值，每个资源硬盘的请求调度队列的访问数限制值通常取值1，使得任何时候至多一个客户端访问这个资源硬盘。
上述实施例仅用来进一步说明本发明的一种高清视频点播系统的资源硬盘的存储和访问方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

Claims (7)

1.一种高清视频点播系统的资源硬盘的存储方法，其特征在于：提供包含至少一服务器的前置服务器集群，其中每一服务器对应有至少一资源硬盘；将一视频文件分成多个分段，按照各服务器的服务带宽存储在所述前置服务器集群的各个资源硬盘上，并将该视频文件的信息记录于前置服务器集群的资源列表上。
2.根据权利要求1所述的存储方法，其特征在于：所述服务器的服务带宽是指该服务器的全部资源硬盘的随机读取的最大带宽之和及该服务器的网络带宽这两者之中的较小值。
3.根据权利要求1所述的存储方法，其特征在于：所述视频文件按照固定长度物理切割成所述分段，最后的分段长度小于所述固定长度则使用随机产生的数据补齐。
4.根据权利要求1所述的存储方法，其特征在于：所述按照各服务器的服务带宽存储具体包括以下步骤：
1)定义所述前置服务器集群中有若干个服务器节点，将所述集群中的资源硬盘集合划分为与所述节点一一对应的若干个资源硬盘子集；
2)将所述视频文件的各分段存入对应的资源硬盘子集中，其中存入各资源硬盘子集的分段数目与相应的节点服务带宽比对应，即对于集群中的两个服务器i和j，如果服务器i的服务带宽是服务器j的k倍，同一个视频文件的分段，存储在服务器i上的数量是存储在服务器j上的k倍。
5.根据权利要求1所述的存储方法，其特征在于：所述视频文件的信息包括名字、长度、码率、分段大小、分段数目，及各分段的顺序、名字、存放位置。
6.一种高清视频点播系统的资源硬盘的访问方法，所述系统中的视频文件是按权利要求1-5任一项所述的方法存储于前置服务器集群中，其特征在于：接收一视频文件分段的访问请求，根据资源列表找出所述视频文件分段存放的资源硬盘，将请求加入该资源硬盘的请求调度队列中。
7.根据权利要求6所述的访问方法，其特征在于：所述请求调度队列设定有并发访问数限制值，当所述资源硬盘上的并发访问数小于限制值时，选择该队列中的下一个请求，执行访问资源硬盘的操作。
CN201510232258.9A 2015-05-08 2015-05-08 一种高清视频点播系统的资源硬盘的存储和访问方法 Active CN104837029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510232258.9A CN104837029B (zh) 2015-05-08 2015-05-08 一种高清视频点播系统的资源硬盘的存储和访问方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510232258.9A CN104837029B (zh) 2015-05-08 2015-05-08 一种高清视频点播系统的资源硬盘的存储和访问方法

Publications (2)

Publication Number Publication Date
CN104837029A CN104837029A (zh) 2015-08-12
CN104837029B true CN104837029B (zh) 2018-07-03

Family

ID=53814626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510232258.9A Active CN104837029B (zh) 2015-05-08 2015-05-08 一种高清视频点播系统的资源硬盘的存储和访问方法

Country Status (1)

Country Link
CN (1) CN104837029B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105142035B (zh) * 2015-09-14 2018-07-24 桂林电子科技大学 一种视频流切片转发系统及方法
CN106383851A (zh) * 2016-08-31 2017-02-08 福建星网视易信息系统有限公司 一种多媒体播放并发连接数优化方法、装置和系统
CN109359216A (zh) * 2018-08-27 2019-02-19 博康智能信息技术有限公司 一种基于时空循环构造的视频特征均匀散列存储方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1434386A (zh) * 2003-01-25 2003-08-06 华中科技大学 基于集群视频服务器的节目源分片分布式存储方法
CN102685232A (zh) * 2012-05-14 2012-09-19 安科智慧城市技术（中国）有限公司 基于流媒体服务器的多媒体文件获取方法及流媒体服务器
CN103281356A (zh) * 2013-05-03 2013-09-04 青岛海信传媒网络技术有限公司 一种分发文件的方法及系统
CN103634616A (zh) * 2012-08-27 2014-03-12 中兴通讯股份有限公司 一种基于云存储的流媒体点播方法和装置
CN103984504A (zh) * 2013-02-07 2014-08-13 宏碁股份有限公司 视频数据布局方法
CN104113735A (zh) * 2014-07-30 2014-10-22 武汉烽火众智数字技术有限责任公司 一种分布式视频监控存储系统及其方法
CN104378665A (zh) * 2014-11-24 2015-02-25 深圳市天威视讯股份有限公司 一种基于数字电视的分布式转码系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010985B2 (en) * 2004-06-01 2011-08-30 General Instrument Corporation Method and system for resource management in a video on-demand server
US8799535B2 (en) * 2008-01-11 2014-08-05 Akamai Technologies, Inc. Storage of data utilizing scheduling queue locations associated with different data rates
JP2011215794A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 分散ストレージシステム及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1434386A (zh) * 2003-01-25 2003-08-06 华中科技大学 基于集群视频服务器的节目源分片分布式存储方法
CN102685232A (zh) * 2012-05-14 2012-09-19 安科智慧城市技术（中国）有限公司 基于流媒体服务器的多媒体文件获取方法及流媒体服务器
CN103634616A (zh) * 2012-08-27 2014-03-12 中兴通讯股份有限公司 一种基于云存储的流媒体点播方法和装置
CN103984504A (zh) * 2013-02-07 2014-08-13 宏碁股份有限公司 视频数据布局方法
CN103281356A (zh) * 2013-05-03 2013-09-04 青岛海信传媒网络技术有限公司 一种分发文件的方法及系统
CN104113735A (zh) * 2014-07-30 2014-10-22 武汉烽火众智数字技术有限责任公司 一种分布式视频监控存储系统及其方法
CN104378665A (zh) * 2014-11-24 2015-02-25 深圳市天威视讯股份有限公司 一种基于数字电视的分布式转码系统及方法

Also Published As

Publication number Publication date
CN104837029A (zh) 2015-08-12

Similar Documents

Publication Publication Date Title
US10579272B2 (en) Workload aware storage platform
US9747318B2 (en) Retrieving data in a storage system using thin provisioning
CN102985909B (zh) 为良好分格的对象提供高扩展性网络存储的方法和设备
US10901619B2 (en) Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse
CN104850358B (zh) 一种磁光电混合存储系统及其数据获取和存储方法
CN103488685B (zh) 一种基于分布式存储系统的碎片文件存储方法
CN111737168B (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN102439934A (zh) 一种cdn中边缘服务器的多级缓存管理方法与系统
CN113672175A (zh) 分布式对象存储方法、装置和设备及计算机存储介质
CN105138281B (zh) 一种物理磁盘的共享方法及装置
CN104503703B (zh) 缓存的处理方法和装置
CN109710175A (zh) 用于数据存储管理的设备和方法
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
US9609044B2 (en) Methods, systems, and media for stored content distribution and access
CN101388909A (zh) 一种p2p点播系统和业务方法
CN104837029B (zh) 一种高清视频点播系统的资源硬盘的存储和访问方法
WO2021259246A1 (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN107087031A (zh) 一种存储资源负载均衡方法及装置
CN109542861A (zh) 一种文件管理方法、装置和系统
US20180341665A1 (en) Data object storage across multiple storage nodes
CN104079600B (zh) 文件存储方法、装置、访问客户端及元数据服务器系统
CN104052824A (zh) 分布式缓存方法及系统
CN102883143B (zh) 一种调整raid阵列缓存的方法
US9172754B2 (en) Storage fabric address based data block retrieval

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant