CN104469392A - 一种视频文件存储方法及装置 - Google Patents

一种视频文件存储方法及装置 Download PDF

Info

Publication number
CN104469392A
CN104469392A CN201410799167.9A CN201410799167A CN104469392A CN 104469392 A CN104469392 A CN 104469392A CN 201410799167 A CN201410799167 A CN 201410799167A CN 104469392 A CN104469392 A CN 104469392A
Authority
CN
China
Prior art keywords
storage server
storage
video file
cryptographic hash
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410799167.9A
Other languages
English (en)
Other versions
CN104469392B (zh
Inventor
姚士佳
肖文鹏
马利恒
张硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201410799167.9A priority Critical patent/CN104469392B/zh
Publication of CN104469392A publication Critical patent/CN104469392A/zh
Application granted granted Critical
Publication of CN104469392B publication Critical patent/CN104469392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种视频文件存储方法及装置。一种视频文件存储方法,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,所述方法包括:接收目标视频文件存储请求;根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。应用上述技术方案,当需要对某一段时间内的视频文件进行同步时,仅需去对应的几台存储服务器获取视频文件,然后进行同步,操作比较简单,效率较高。

Description

一种视频文件存储方法及装置
技术领域
本发明涉及互联网在线视频服务技术领域,特别涉及一种视频文件存储方法及装置。
背景技术
CDN(Content Delivery Network,内容分发网络)系统如图1所示包括:CDN同步管理服务器、CDN全局存储系统、全局缓存服务器和边缘缓存服务器,其中,CDN全局存储系统包括:存储调度服务器和多个存储服务器,存储调度服务器用于将需要存储的视频文件分配到存储服务器,存储服务器用于对视频文件进行存储。
现有技术中,在接收到视频文件存储请求后,存储调度服务器会检测各存储服务器的存储空间使用率,然后调用使用率最低的存储服务器对需要存储的视频文件进行存储,以便能够尽可能地保证该CDN全局存储系统的负载均衡。
然而,当CDN同步管理服务器要求将CDN全局存储系统在某一时间段内存储的视频文件同步到全局缓存服务器或边缘缓存服务器时,需要逐个地搜索存储服务器,以获取上述时间段内的视频文件,然后将获取到的视频文件进行同步,操作比较繁琐,效率较低。
发明内容
为了解决上述问题,本发明实施例公开了一种视频文件存储方法及装置,具体技术方案如下:
一种视频文件存储方法,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,所述方法包括:
接收目标视频文件存储请求;
根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;
根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
可选的,在接收目标视频文件存储请求之后,还包括:
获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和;
如果所述目标可用存储空间值达到预设的阈值,则向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器;
在检测到新增加的存储服务器启用后,记录该存储服务器的启用时间。
可选的,所述根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储,包括:
提取目标视频文件的文件名和所确定的存储服务器的IP地址;
使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目;
从所确定的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
可选的,所述使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值,包括:
使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或,使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
可选的,所述根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储,包括:
从所确定的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
一种视频文件存储装置,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,所述装置包括:
请求接收模块,用于接收目标视频文件存储请求;
存储服务器确定模块,用于在所述请求接收模块接收到目标视频文件存储请求后,根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;
存储服务器调用模块,用于根据预设的调用规则,从所述存储服务器确定模块确定出的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
可选的,所述装置还包括:
存储空间值获取模块,用于在所述请求接收模块接收到目标视频文件存储请求后,获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和;
扩容请求发送模块,用于在所述存储空间值获取模块获取到的目标可用存储空间值达到预设的阈值的情况下,向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器;
时间记录模块,用于在检测到系统管理员为CDN全局存储系统增加的存储服务器启用后,记录该存储服务器的启用时间。
可选的,所述存储服务器调用模块,包括:
信息提取子模块,用于提取目标视频文件的文件名和所述存储服务器确定模块确定出的存储服务器的IP地址;
计算子模块,用于使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
比较子模块,用于将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目;
存储服务器调用子模块,用于从所述存储服务器确定模块确定出的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
可选的,所述计算子模块,具体用于:
使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或,使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
可选的,所述存储服务器调用模块,具体用于:
从所述存储服务器确定模块确定出的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
应用上述技术方案,本发明实施例提供的视频文件存储方法及装置,在接收目标视频文件存储请求后,能够根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
与现有技术相比,本发明实施例考虑到CDN全局存储服务系统需要不断扩容,扩容过程中新增加的存储服务器的启动时间最晚且可用存储空间较多,因此将目标视频文件存储到该系统中启动时间最晚的存储服务器中。相应的,该系统中的各存储服务器均存储了一段时间内到达该系统的视频文件,当需要对某一段时间内的视频文件进行同步时,仅需去对应的几台存储服务器获取视频文件,然后进行同步,操作比较简单,效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为内容分发网络CDN系统的结构示意图;
图2a为本发明实施例提供的一种视频文件存储方法的流程图;
图2b为本发明实施例提供存储服务器启用时间与该存储服务器之间对应关系的示例图;
图3为本发明实施例提供的另一种视频文件存储方法的流程图;
图4为本发明实施例提供的图2a中S103的一种实施方式的流程图;
图5为本发明实施例提供的一种视频文件存储装置的结构示意图;
图6为本发明实施例提供的另一种视频文件存储装置的结构示意图;
图7为本发明实施例提供的图5中存储服务器调用模块503的一种结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
互联网在线视频服务器系统是一种利用互联网技术向用户提供视频点播、直播服务的系统。作为互联网在线视频服务系统中最关键的子系统之一,CDN(Content Delivery Network,内容分发网络)系统负责整个互联网在线视频服务系统中所有业务的调度、分发、服务及管理。如图1所示,CDN系统由CDN同步管理服务器、CDN全局存储系统、全局缓存服务器和边缘缓存服务器构成,其中,CDN全局存储系统包括:存储调度服务器和多个存储服务器。
目前的视频文件存储方法是基于负载均衡操作的,具体的,存储调度服务器在接收到视频文件存储请求后,会检测CDN全局存储系统中各存储服务器的存储空间使用率,然后调用使用率最低的存储服务器对需要存储的视频文件进行存储。由于视频文件的存储仅与CDN全局存储系统中的存储服务器的存储空间使用率相关,而与时间特性无关,因此,当CDN同步管理服务器要求将CDN全局存储系统在某一时间段内存储的视频文件同步到全局缓存服务器或边缘缓存服务器时,需要逐个地搜索存储服务器,以获取上述时间段内的视频文件,然后将获取到的视频文件进行同步,操作比较繁琐,效率较低。为了解决上述问题,本发明实施例提供了一种视频文件存储方法及装置。
为了便于理解,在介绍本发明实施例提供的视频文件存储方法及装置之前,首先对互联网在线视频服务器系统中的视频生产系统、CDN系统的工作机制进行描述:
宏观上,视频生产系统仅负责视频内容的生产;CDN系统对视频生产系统生产出的视频内容进行存储,当用户有点、直播需求时,将本地存储的视频内容分发给用户;
具体的,在CDN系统中也存在视频内容的分发过程:视频生产系统生产处的视频内容被存储到CDN全局存储系统中,之后根据实际需求,进一步CDN全局存储系统将本地存储的视频内容分发到全局缓存服务器或边缘缓存服务器上,由边缘缓存服务器为用户提供视频内容。由于全局缓存服务器和边缘存储服务器的存储能力,且其上的视频内容需要不断地更新,因此该CDN全局存储系统需要保存视频生产系统生产出的所有内容,以便满足全网用户的观看需求。
在实际应用中,在线视频内容的主要格式为MP4和FLV,网络运营商主要为联通和电信,进一步的可以依据视频内容的格式和运营商的类型对CDN全局存储系统的存储进行调整。
具体的,CDN全局存储系统中的存储服务器可以分为一级全局存储服务器和二级全局存储服务器;可以优先将视频生产系统生产出的视频内容存储到距离该视频生产系统最近的联通和电信运营商的一级全局存储服务器,之后将一级全局存储服务器中的视频内容分发到二级全局存储服务器;其中,二级全局存储服务器为在全国多个地区设立的不同运营商的核心服务器,它与一级全局存储服务器有着良好的链路,一级全局存储服务器的内容可以快速地同步到二级全局存储服务器中,二级全局存储服务器的内容可以快速地同步到服务用户的服务器上。
下面首先对本发明实施例提供的一种视频文件存储方法进行介绍。
如图2a所示,本发明实施例提供的一种视频文件存储方法,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,所述方法可以包括:
S101,接收目标视频文件存储请求。
视频生产系统生产出视频内容后,会向CDN全局存储系统发送视频文件存储请求;该CDN全局存储系统中的存储调度服务器会接收上述视频文件存储请求,根据该视频文件存储请求为视频文件分配存储服务器。
S102,根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器。
本发明实施例中的存储调度服务器会对CDN全局存储系统中各存储服务器的启用时间进行记录。
考虑到CDN全局存储服务系统需要不断扩容,扩容过程中新增加的存储服务器的启动时间最晚且可用存储空间较多,因此选择该系统中启用时间最晚的存储服务器对视频文件进行存储。
比如CDN全局存储系统中存在启用时间为2010年、2011年、2012年、2013年、及2014年1月1日的存储服务器,就需要2014年的视频文件存储到启用时间为2014年1月1日的存储服务器上。
S103,根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
由于同一启用时间通常不只对应一台存储服务器,因此,需要从启动时间最晚的存储服务器中确定出一台存储服务器,调用该存储服务器对目标视频文件进行存储。
本发明实施例可以根据存储服务器的启用时间对CDN全局存储系统中的存储服务器进行分类。如图2b所示,在时间轴上,可以看出:不同的时间段对应着不同的存储服务器集群,这样就可以根据视频文件的时间属性对其进行管理;此外,当该CDN全局存储系统中的存储服务器集群的容量达到上限时,对该系统进行扩容后,新增加的视频文件可以存储到新增加的存储服务器上,方便扩容。
由此可见,本发明实施例提供的视频文件存储方法,在接收目标视频文件存储请求后,能够根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
与现有技术相比,本发明实施例考虑到CDN全局存储服务系统需要不断扩容,扩容过程中新增加的存储服务器的启动时间最晚且可用存储空间较多,因此将目标视频文件存储到该系统中启动时间最晚的存储服务器中。相应的,该系统中的各存储服务器均存储了一段时间内到达该系统的视频文件,当需要对某一段时间内的视频文件进行同步时,仅需去对应的几台存储服务器获取视频文件,然后进行同步,操作比较简单,效率较高。
可选的,在本发明的另一个实施例中,如图3所示,本发明实施例提供的视频文件存储方法还可以在图2a所示方法的基础上增加S104、S105、S106,下面对新增加的S104、S105、S106进行介绍;
S104,获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和。
比如CDN全局存储系统中有30台存储服务器,该系统的目标可用存储空间值就为30台存储服务器可用存储空间值的总和。
S105,如果所述目标可用存储空间值达到预设的阈值,则向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器。
在目标可用存储空间值达到预设的阈值时,表明该CDN全局存储系统的容量以达到上限,需要对其进行扩容操作。具体过程为:存储调度服务器向系统管理员发送扩容请求,系统管理员接收到扩容请求后,会根据经验值或视频生产系统的生产速率,确定需要增加的存储服务器的数量,继而为该CDN全局存储系统增加上述数量的存储服务器。
S106,在检测到新增加的存储服务器启用后,记录该存储服务器的启用时间。
考虑到扩容后的CDN全局存储系统会不断增加新的视频文件,在对视频文件进行存储之前,存储调度服务器会根据存储服务器的启用时间,为新增加的视频文件分配存储服务器,因此,需要在新增加的存储服务器启用后,记录该存储服务器的启用时间。
可选的,在本发明的一个实施例中,如图4所示,上述S103,可以包括:
S103a,提取目标视频文件的文件名和所确定的存储服务器的IP地址。
比如目标视频文件的文件名为《一步之遥》,所确定的启用时间最晚的存储服务器有3台,IP地址分别为:10.11.131.1,10.11.131.2,10.11.131.3。
S103b,使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
可选的,上述S103b,可以包括:使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。本发明实施例对此不作限定。比如对“一步之遥”做MD5运算得到的哈希值为:ebea7731aefb9c74a35e6ab2dbf7505b;对“10.11.131.1”做MD5运算得到的哈希值为:40dd8cccfbf764340d1fade5408c656f;对“10.11.131.2”做MD5运算得到的哈希值为:2ef76f33d06e68ce500fb3b7c9079563;对“10.11.131.3”做MD5运算得到的哈希值为:bbe1878c35396d2c6f8c326bb9747f8b。
S103c,将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目。
示例性的,具体比较过程如下:将“一步之遥”的哈希值与“10.11.131.1”的哈希值进行比较,发现上述两个哈希值的第11、16位相同;将“一步之遥”的哈希值与“10.11.131.2”的哈希值进行比较,发现上述两个哈希值的第6、22、27位相同;将“一步之遥”的哈希值与“10.11.131.3”的哈希值进行比较,发现上述两个哈希值的第2、3、6、32位相同。
可选的,本发明实施例中的相似值的取值可以为两个哈希值位数相同的数目,此时,上述比较结果得到的相似度值分别为:2、3、4。
此外,本发明实施例中的相似度值的取值也可以为两个哈希值位数相同的数目的正倍数值,本发明实施例对此不作限定。
S103d,从所确定的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
由于,“10.11.131.3”的哈希值与“一步之遥”的哈希值最为接近,因此,可以将文件名为《一步之遥》的视频存储至IP地址为10.11.131.3的存储服务器上。
可选的,在本发明的一个实施例中,上述S103,可以包括:
从所确定的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
由于同一启用时间通常不只对应一台存储服务器,因此,可以从启动时间最晚的存储服务器中确定出一台可用存储空间最大存储服务器,调用该存储服务器对目标视频文件进行存储。
相应于上面的方法实施例,本发明实施例还提供了一种视频文件存储装置。
如图5所示,本发明实施例提供的一种视频文件存储装置,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,所述装置可以包括:
请求接收模块501,用于接收目标视频文件存储请求;
存储服务器确定模块502,用于在所述请求接收模块501接收到目标视频文件存储请求后,根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;
存储服务器调用模块503,用于根据预设的调用规则,从所述存储服务器确定模块502确定出的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
由此可见,本发明实施例提供的视频文件存储装置,在接收目标视频文件存储请求后,能够根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
与现有技术相比,本发明实施例考虑到CDN全局存储服务系统需要不断扩容,扩容过程中新增加的存储服务器的启动时间最晚且可用存储空间较多,因此将目标视频文件存储到该系统中启动时间最晚的存储服务器中。相应的,该系统中的各存储服务器均存储了一段时间内到达该系统的视频文件,当需要对某一段时间内的视频文件进行同步时,仅需去对应的几台存储服务器获取视频文件,然后进行同步,操作比较简单,效率较高。
可选的,在本发明的另一个实施例中,如图6所示,本发明实施例提供的视频文件存储装置还可以在图5所示装置的基础上增加:存储空间值获取模块504,扩容请求发送模块505,时间记录模块506;
所述存储空间值获取模块504,用于在所述请求接收模块501接收到目标视频文件存储请求后,获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和;
扩容请求发送模块505,用于在所述存储空间值获取模块504获取到的目标可用存储空间值达到预设的阈值的情况下,向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器;
时间记录模块506,用于在检测到系统管理员为CDN全局存储系统增加的存储服务器启用后,记录该存储服务器的启用时间。
可选的,在本发明的一个实施例中,如图7所示,所述存储服务器调用模块503,可以包括:
信息提取子模块503a,用于提取目标视频文件的文件名和所述存储服务器确定模块502确定出的存储服务器的IP地址;
计算子模块503b,用于使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
比较子模块503c,用于将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目;
存储服务器调用子模块504d,用于从所述存储服务器确定模块502确定出的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
可选的,在本发明的一个实施例中,所述计算子模块503b,具体可以用于:
使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或,使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
可选的,在本发明的一个实施例中,所述存储服务器调用模块503,具体可以用于:
从所述存储服务器确定模块502确定出的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种视频文件存储方法,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,其特征在于,所述方法包括:
接收目标视频文件存储请求;
根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;
根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
2.根据权利要求1所述的方法,其特征在于,在接收目标视频文件存储请求之后,还包括:
获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和;
如果所述目标可用存储空间值达到预设的阈值,则向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器;
在检测到新增加的存储服务器启用后,记录该存储服务器的启用时间。
3.根据权利要求1或2所述的方法,其特征在于,所述根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储,包括:
提取目标视频文件的文件名和所确定的存储服务器的IP地址;
使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目;
从所确定的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
4.根据权利要求3所述的方法,其特征在于,所述使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值,包括:
使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或,使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
5.根据权利要求1或2所述的方法,其特征在于,所述根据预设的调用规则,从所确定的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储,包括:
从所确定的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
6.一种视频文件存储装置,应用于内容分发网络CDN全局存储系统中的存储调度服务器,所述系统包括:至少一台存储调度服务器和多台存储服务器,其特征在于,所述装置包括:
请求接收模块,用于接收目标视频文件存储请求;
存储服务器确定模块,用于在所述请求接收模块接收到目标视频文件存储请求后,根据预先记录的各存储服务器的启用时间,从所述系统中确定出启用时间最晚的存储服务器;
存储服务器调用模块,用于根据预设的调用规则,从所述存储服务器确定模块确定出的存储服务器中确定出一台存储服务器,并调用该存储服务器对目标视频文件进行存储。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
存储空间值获取模块,用于在所述请求接收模块接收到目标视频文件存储请求后,获取所述系统的目标可用存储空间值;其中,所述目标可用存储空间值为CDN全局存储系统中各存储服务器的可用存储空间值之和;
扩容请求发送模块,用于在所述存储空间值获取模块获取到的目标可用存储空间值达到预设的阈值的情况下,向系统管理员发送扩容请求,所述扩容请求用于提示系统管理员为CDN全局存储系统增加新的存储服务器;
时间记录模块,用于在检测到系统管理员为CDN全局存储系统增加的存储服务器启用后,记录该存储服务器的启用时间。
8.根据权利要求6或7所述的装置,其特征在于,所述存储服务器调用模块,包括:
信息提取子模块,用于提取目标视频文件的文件名和所述存储服务器确定模块确定出的存储服务器的IP地址;
计算子模块,用于使用哈希算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
比较子模块,用于将文件名的哈希值,分别与所提取的IP地址的哈希值进行比较,得到M个相似度值,其中,M为所提取的IP地址的总数,相似度值为两个哈希值位数相同的数目;
存储服务器调用子模块,用于从所述存储服务器确定模块确定出的存储服务器中确定出相似度值最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
9.根据权利要求8所述的装置,其特征在于,所述计算子模块,具体用于:
使用SHA-1算法,计算文件名的哈希值,及所提取的IP地址的哈希值;
或,使用MD5算法,计算文件名的哈希值,及所提取的IP地址的哈希值。
10.根据权利要求6或7所述的装置,其特征在于,所述存储服务器调用模块,具体用于:
从所述存储服务器确定模块确定出的存储服务器中确定出可用存储空间最大的存储服务器,并调用该存储服务器对目标视频文件进行存储。
CN201410799167.9A 2014-12-19 2014-12-19 一种视频文件存储方法及装置 Active CN104469392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410799167.9A CN104469392B (zh) 2014-12-19 2014-12-19 一种视频文件存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410799167.9A CN104469392B (zh) 2014-12-19 2014-12-19 一种视频文件存储方法及装置

Publications (2)

Publication Number Publication Date
CN104469392A true CN104469392A (zh) 2015-03-25
CN104469392B CN104469392B (zh) 2018-04-20

Family

ID=52914655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410799167.9A Active CN104469392B (zh) 2014-12-19 2014-12-19 一种视频文件存储方法及装置

Country Status (1)

Country Link
CN (1) CN104469392B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847362A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 用于集群的分发内容缓存方法及系统
CN105868335A (zh) * 2016-03-28 2016-08-17 乐视控股(北京)有限公司 用于cdn系统的缓存数据查询同步方法和系统
CN105871989A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 直播视频的获取方法及装置
CN107463342A (zh) * 2017-08-28 2017-12-12 北京奇艺世纪科技有限公司 一种cdn边缘节点文件的存储方法及装置
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
CN109936593A (zh) * 2017-12-15 2019-06-25 网宿科技股份有限公司 一种消息分发的方法和系统
CN111669629A (zh) * 2020-05-19 2020-09-15 湖南快乐阳光互动娱乐传媒有限公司 视频cdn节点即时扩容方法、调度器及cnd存储系统
CN112527760A (zh) * 2020-12-11 2021-03-19 北京锐安科技有限公司 数据存储方法、装置、服务器及介质
CN112584210A (zh) * 2020-12-07 2021-03-30 海信视像科技股份有限公司 显示设备、视频录制方法及录制文件展示方法
WO2022121434A1 (zh) * 2020-12-07 2022-06-16 海信视像科技股份有限公司 显示设备、视频录制方法及录制文件展示方法
CN117215502A (zh) * 2023-11-09 2023-12-12 深圳市活力天汇科技股份有限公司 一种存储方法及存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848137A (zh) * 2009-03-26 2010-09-29 北京快网科技有限公司 一种应用于三层网络的负载均衡方法和系统
CN101873358A (zh) * 2010-06-11 2010-10-27 杭州华三通信技术有限公司 一种基于域名解析的链路负载均衡方法和设备
CA2774923A1 (en) * 2009-09-22 2011-03-31 Michael G. Luby Enhanced block-request streaming system using signaling or block creation
CN102664892A (zh) * 2012-04-23 2012-09-12 中兴通讯股份有限公司 一种自主下拉式内容调度的方法及服务节点
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
CN104202407A (zh) * 2014-09-10 2014-12-10 北京奇艺世纪科技有限公司 一种视频文件同步方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848137A (zh) * 2009-03-26 2010-09-29 北京快网科技有限公司 一种应用于三层网络的负载均衡方法和系统
CA2774923A1 (en) * 2009-09-22 2011-03-31 Michael G. Luby Enhanced block-request streaming system using signaling or block creation
CN101873358A (zh) * 2010-06-11 2010-10-27 杭州华三通信技术有限公司 一种基于域名解析的链路负载均衡方法和设备
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
CN102664892A (zh) * 2012-04-23 2012-09-12 中兴通讯股份有限公司 一种自主下拉式内容调度的方法及服务节点
CN104202407A (zh) * 2014-09-10 2014-12-10 北京奇艺世纪科技有限公司 一种视频文件同步方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871989A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 直播视频的获取方法及装置
CN105868335A (zh) * 2016-03-28 2016-08-17 乐视控股(北京)有限公司 用于cdn系统的缓存数据查询同步方法和系统
CN105847362A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 用于集群的分发内容缓存方法及系统
CN107463342A (zh) * 2017-08-28 2017-12-12 北京奇艺世纪科技有限公司 一种cdn边缘节点文件的存储方法及装置
CN107463342B (zh) * 2017-08-28 2021-04-20 北京奇艺世纪科技有限公司 一种cdn边缘节点文件的存储方法及装置
CN109936593A (zh) * 2017-12-15 2019-06-25 网宿科技股份有限公司 一种消息分发的方法和系统
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
WO2020015047A1 (zh) * 2018-07-16 2020-01-23 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
US11005717B2 (en) 2018-07-16 2021-05-11 Wangsu Science & Technology Co., Ltd. Storage capacity evaluation method based on content delivery network application and device thereof
CN111669629A (zh) * 2020-05-19 2020-09-15 湖南快乐阳光互动娱乐传媒有限公司 视频cdn节点即时扩容方法、调度器及cnd存储系统
WO2022121434A1 (zh) * 2020-12-07 2022-06-16 海信视像科技股份有限公司 显示设备、视频录制方法及录制文件展示方法
CN112584210A (zh) * 2020-12-07 2021-03-30 海信视像科技股份有限公司 显示设备、视频录制方法及录制文件展示方法
CN112527760A (zh) * 2020-12-11 2021-03-19 北京锐安科技有限公司 数据存储方法、装置、服务器及介质
WO2022121387A1 (zh) * 2020-12-11 2022-06-16 北京锐安科技有限公司 数据存储方法、装置、服务器及介质
CN117215502A (zh) * 2023-11-09 2023-12-12 深圳市活力天汇科技股份有限公司 一种存储方法及存储系统
CN117215502B (zh) * 2023-11-09 2024-03-26 深圳市活力天汇科技股份有限公司 一种存储方法及存储系统

Also Published As

Publication number Publication date
CN104469392B (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN104469392A (zh) 一种视频文件存储方法及装置
CN108984560B (zh) 文件存储方法及装置
CN104537076A (zh) 一种文件读写方法及装置
CN105828105A (zh) 一种基于分布式环境的视频转码系统及视频转码方法
TWI492046B (zh) 資料備份方法及系統
CN111614657B (zh) 基于模式选择的移动边缘安全服务方法及系统
CN106844397B (zh) 基于分库分表的任务传输方法、装置及系统
CN108052553B (zh) 电子手册生成的方法、装置、计算机设备及存储介质
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
US20150100582A1 (en) Association of topic labels with digital content
CN103631924A (zh) 一种分布式数据库平台的应用方法和系统
CN103095824A (zh) 文件上传控制方法及系统
US20160183229A1 (en) Ip phone network system, server apparatus, ip exchange and resource capacity expansion method
CN113392158A (zh) 业务数据处理方法、装置及数据中台
CN104113606A (zh) 一致性动态均衡的分布式元数据节点架构
CN105847320A (zh) 一种资源获取方法和装置
CN105765570A (zh) 音乐识别
CN104202407A (zh) 一种视频文件同步方法及装置
US20180203636A1 (en) Likelihood of access based object storage in a cloud environment
US20140330873A1 (en) Method and system for deleting garbage files
CN111669629A (zh) 视频cdn节点即时扩容方法、调度器及cnd存储系统
CN105871982A (zh) 内容推送的方法、装置以及系统
CN112380040B (zh) 一种消息处理的方法、装置、电子设备及存储介质
CN103795810A (zh) 数据分发系统及方法以及该数据分发系统中的中心服务器
CN109525649B (zh) 一种zookeeper客户端的数据处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant