CN106888381A - 一种数据资源存储方法及装置 - Google Patents

一种数据资源存储方法及装置 Download PDF

Info

Publication number
CN106888381A
CN106888381A CN201510941113.6A CN201510941113A CN106888381A CN 106888381 A CN106888381 A CN 106888381A CN 201510941113 A CN201510941113 A CN 201510941113A CN 106888381 A CN106888381 A CN 106888381A
Authority
CN
China
Prior art keywords
data resource
access times
hard disk
cdn system
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510941113.6A
Other languages
English (en)
Other versions
CN106888381B (zh
Inventor
武炳亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510941113.6A priority Critical patent/CN106888381B/zh
Priority to PCT/CN2016/101926 priority patent/WO2017101576A1/zh
Publication of CN106888381A publication Critical patent/CN106888381A/zh
Application granted granted Critical
Publication of CN106888381B publication Critical patent/CN106888381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21815Source of audio or video content, e.g. local disk arrays comprising local storage units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21815Source of audio or video content, e.g. local disk arrays comprising local storage units
    • H04N21/2182Source of audio or video content, e.g. local disk arrays comprising local storage units involving memory arrays, e.g. RAID disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及通信技术领域,公开了一种数据资源存储方法及装置,用于解决因对CDN系统的存储介质使用不合理而导致CDN系统性能较差的技术问题。该方法包括:判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中;否则,将所述第一数据资源存储到所述CDN系统的内存中。

Description

一种数据资源存储方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及一种数据资源存储方法及装置。
背景技术
在宽带大发展背景下,通信运营商提供了很多OTT(Over The Top,指互联网公司越过运营商,发展基于开放互联网的各种视频及数据服务业务)视频业务,建设了容量足够大的用于存储视频文件的CDN(Content DeliveryNetwork,内容分发网络)系统。
由于视频文件的数量及容量都较大,CDN系统中可能会存储较多的数据。而CDN系统中的存储介质的性能可能存在差异,例如,在CDN系统中,SSD可以认为是第一级缓存,其性能一般来说比较好,而内存的性能一般来说会次于SSD的性能。例如,有的视频观看的用户比较多,而这个视频存储在内存中,那么在用户观看该视频时,可能会因为内存性能的限制而导致观看不流畅等问题。
可见,目前对于CDN系统的存储介质的使用不够合理,也影响了CDN系统整体的性能。
发明内容
本发明提供一种数据资源存储方法及装置,用于解决因对CDN系统的存储介质使用不合理而导致CDN系统性能较差的技术问题。
第一方面,提供一种数据资源存储方法,包括:
判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中;否则,将所述第一数据资源存储到所述CDN系统的内存中。
可选的,还包括:
接收针对所述第一数据资源的访问请求;
将所述第一数据资源的访问次数增加第一值。
可选的,
判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值,包括:
判断所述第一数据资源的访问次数是否大于等于第一子热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中,包括:
若所述第一数据资源的访问次数大于等于所述第一子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第一级硬盘中;所述第一级硬盘为所述CDN系统中最高级别的硬盘。
可选的,
在判断所述第一数据资源的访问次数是否大于等于第一子热度阈值之后,还包括:
若所述第一数据资源的访问次数小于所述第一子热度阈值,判断所述第一数据资源的访问次数是否大于等于第二子热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中,包括:
若所述第一数据资源的访问次数大于等于所述第二子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第二级硬盘中;所述第二级硬盘的级别低于所述第一级硬盘的级别。
可选的,否则,将所述第一数据资源存储到所述CDN系统的内存中,包括:
若所述第一数据资源的访问次数小于所述第二子热度阈值,将所述第一数据资源存储到所述内存中。
可选的,在接收针对CDN系统中存储的第一数据资源的访问请求之后,还包括:
查询所述第一数据资源是否存储在所述CDN系统的存储介质中;
若所述第一数据资源未存储在所述CDN系统的存储介质中,则根据所述第一数据资源的类型确定所述第一数据资源对应的所述CDN系统中的存储介质的级别为第一级存储介质;所述第一级存储介质为所述CDN系统中的硬盘或内存;
从所述第一数据资源对应的源站获取所述第一数据资源,并将所述第一数据资源存储到所述第一级存储介质中;
通过所述第一级存储介质返回所述第一数据资源。
可选的,所述方法还包括:
统计所述CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;所述第二级存储介质为所述CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
分别判断所述M个访问次数中是否有访问次数低于第二热度阈值;
若所述M个访问次数中的第一访问次数低于所述第二热度阈值,则判断所述CDN系统中是否存在级别低于所述第二级存储介质的级别的第三级存储介质;所述第三级存储介质为所述CDN系统中的硬盘;
若存在所述第三级存储介质,将所述第一访问次数对应的所述M个数据资源中的第二数据资源存储到所述第三级存储介质中;否则,从所述第二级存储介质中删除所述第二数据资源。
第二方面,提供一种数据资源存储装置,包括:
判断模块,用于判断内容分发网络CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
第一操作模块,用于若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中;否则,将所述第一数据资源存储到所述CDN系统的内存中。
可选的,所述装置还包括接收模块和第二操作模块;
所述接收模块,用于接收针对所述第一数据资源的访问请求;
所述第二操作模块,用于将所述第一数据资源的访问次数增加第一值。
可选的,
所述判断模块用于:判断所述第一数据资源的访问次数是否大于等于第一子热度阈值;
所述第一操作模块用于:若所述第一数据资源的访问次数大于等于所述第一子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第一级硬盘中;所述第一级硬盘为所述CDN系统中最高级别的硬盘。
可选的,
所述判断模块用于:在判断所述第一数据资源的访问次数是否大于等于第一子热度阈值之后,若所述第一数据资源的访问次数小于所述第一子热度阈值,判断所述第一数据资源的访问次数是否大于等于第二子热度阈值;
所述第一操作模块用于:若所述第一数据资源的访问次数大于等于所述第二子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第二级硬盘中;所述第二级硬盘的级别低于所述第一级硬盘的级别。
可选的,所述第一操作模块用于:
若所述第一数据资源的访问次数小于所述第二子热度阈值,将所述第一数据资源存储到所述内存中。
可选的,所述装置还包括:
查询模块,用于在所述接收模块接收针对所述第一数据资源的访问请求之后,查询所述第一数据资源是否存储在所述CDN系统的存储介质中;
确定模块,用于若所述第一数据资源未存储在所述CDN系统的存储介质中,则根据所述第一数据资源的类型确定所述第一数据资源对应的所述CDN系统中的存储介质的级别为第一级存储介质;所述第一级存储介质为所述CDN系统中的硬盘或内存;
获取模块,用于从所述第一数据资源对应的源站获取所述第一数据资源,并将所述第一数据资源存储到所述第一级存储介质中;
返回模块,用于通过所述第一级存储介质返回所述第一数据资源。
可选的,所述装置还包括:
统计模块,用于统计所述CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;所述第二级存储介质为所述CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
所述判断模块,还用于分别判断所述M个访问次数中是否有访问次数低于第二热度阈值;
所述判断模块,还用于若所述M个访问次数中的第一访问次数低于所述第二热度阈值,则判断所述CDN系统中是否存在级别低于所述第二级存储介质的级别的第三级存储介质;所述第三级存储介质为所述CDN系统中的硬盘;
所述第一操作模块,还用于若存在所述第三级存储介质,将所述第一访问次数对应的所述M个数据资源中的第二数据资源存储到所述第三级存储介质中;否则,从所述第二级存储介质中删除所述第二数据资源。
上述技术方案中的一个或两个,至少具有如下技术效果:
本发明实施例中,可以统计数据资源的访问次数,即分析该数据资源的访问热度,如果该数据资源的访问次数大于第一热度阈值,说明该数据资源被访问的次数较多,也就是说明该数据资源为热点资源,那么就可以将该数据资源存储到CDN系统的硬盘中,CDN系统中,硬盘的性能高于内存的性能,将热点资源存储在硬盘中,能够为用户访问较多的资源(即热点资源)提供更快的访问速度,尽量保证观看的流畅度,提高用户体验。这样,通过较为合理地利用CDN系统中的各级存储介质,提高了CDN系统整体的性能和利用率。
附图说明
图1为本发明实施例中数据资源存储方法的流程图;
图2为本发明实施例中CDN系统的第一种结构示意图;
图3为本发明实施例中CDN系统的第二种结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,CDN系统中可以包括硬盘和内存等存储介质,其中硬盘可以包括多种类型,例如可以包括SSD(Solid State Drive,固态硬盘)、SATA(Serial Advanced Technology Attachment,串行硬盘接口技术)等不同类型的硬盘。
在CDN系统中,按照本发明实施例的技术方案,可以将存储介质按照缓存的性能进行分级,缓存的性能越高的级别也就越高。例如,内存的缓存性能一般不如硬盘的缓存性能,因此可以认为内存是CDN系统中级别较低的存储介质,而不同的硬盘的缓存性能也不同,比如SSD的缓存性能一般来说会优于SATA的缓存性能,例如SSD的存储速度等一般会高于SATA的存储速度,那么可以认为SSD的级别高于SATA的级别,等等。
本发明实施例中,数据资源也可以理解为文件、数据等。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合附图介绍本发明实施例中优选的实施例。
请参见图1,本发明实施例提供一种数据资源存储方法,该方法的流程描述如下。
步骤101:判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
步骤102:若第一数据资源的访问次数大于等于第一热度阈值,则将第一数据资源存储到CDN系统中的硬盘中;否则,将第一数据资源存储到CDN系统的内存中。
可选的,在步骤101之前,还可以包括:
接收针对第一数据资源的访问请求;
将第一数据资源的访问次数增加第一值。
其中,增加第一值,是指将本次访问请求也统计到第一数据资源的访问次数中,第一值例如为1,或者也可以是其他值。
针对第一数据资源的访问请求,例如可能是用户发起的请求,比如第一数据资源为视频资源,那么用户可能请求播放或下载该视频资源等。
本发明实施例中,每接收到针对一个数据资源的请求,就可以将统计的该数据资源的访问次数加1。对数据资源的热度统计,可以从CDN系统每次初始化之后起开始统计,或者也可以在其他任意时间点开始统计,本发明对此不作限制。
在将第一数据资源的访问次数加1后,可以判断第一数据资源的总的访问次数是否大于等于第一热度阈值,如果是,那么可以认为第一数据资源被访问的次数较多,是较为热点的数据资源,那么可以将第一数据资源存储到硬盘中,以提高对第一数据资源的访问速度,以及延长对第一数据资源的缓存时间,避免第一数据资源丢失等,为用户提供更好的体验,而如果第一数据资源的总的访问次数小于第一热度阈值,那么可以认为第一数据资源被访问的次数较少,是较冷的数据资源,那么可以将第一数据资源放在内存中,这样可以在硬盘中空出更多的存储空间以存储较为热点的数据资源,为大多数用户提供较好的体验。第一热度阈值可以由用户自行设定,或者也可以由系统设定。
可选的,
判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值,包括:
判断第一数据资源的访问次数是否大于等于第一子热度阈值;
若第一数据资源的访问次数大于等于第一热度阈值,则将第一数据资源存储到所述CDN系统中的硬盘中,包括:
若第一数据资源的访问次数大于等于第一子热度阈值,则将第一数据资源存储到CDN系统中的第一级硬盘中;第一级硬盘为CDN系统中最高级别的硬盘。
在将第一数据资源的访问次数加1后,可以判断第一数据资源的访问次数是否大于等于第一子热度阈值,第一子热度阈值可以为是否能存储到第一级硬盘中的门限,第一级硬盘可以是CDN系统中缓存性能最好的硬盘,例如可以是SSD,当然也可能是其他类型的硬盘。
如果第一数据资源的访问次数大于等于第一子热度阈值,表明第一数据资源为热点资源,那么就可以将第一数据资源存储到第一级硬盘中,第一级硬盘的缓存性能最好,因为第一数据资源的访问次数较多,可以为更多用户提供更好的体验。
可选的,如果第一数据资源的访问次数大于等于第一子热度阈值,那么可以通过查询确定第一数据资源是否已存储在第二级硬盘中,如果是,那么可以直接将第二级硬盘中的第一数据资源重新存储到第一级硬盘中,如果第一数据资源未存储在第二级硬盘中,那么可以向第一数据资源所在的源站请求获得第一数据资源,并将获得的第一数据资源存储到第一级硬盘中。
可选的,
在判断第一数据资源的访问次数是否大于等于第一子热度阈值之后,还包括:
若第一数据资源的访问次数小于第一子热度阈值,判断第一数据资源的访问次数是否大于等于第二子热度阈值;
若第一数据资源的访问次数大于等于第一热度阈值,则将第一数据资源存储到CDN系统中的硬盘中,包括:
若第一数据资源的访问次数大于等于第二子热度阈值,则将第一数据资源存储到CDN系统中的第二级硬盘中;第二级硬盘的级别低于第一级硬盘的级别。
如果第一数据资源的访问次数小于第一子热度阈值,表明第一数据资源还未达到能存储到第一级硬盘中的热度,那么可以继续判断第一数据资源的访问次数是否大于等于第二子热度阈值,第二子热度阈值可以为是否能存储到第二级硬盘中的门限,第二级硬盘可以是CDN系统中缓存性能次于第一级硬盘的硬盘,例如可以是CDN系统中缓存性能仅次于第一级硬盘的硬盘。例如,若第一级硬盘是SSD,则第二级硬盘可以是SATA,当然也可能是其他类型的硬盘。
另外,因为第二级硬盘的缓存性能次于第一级硬盘,因此第二子热度阈值也小于第一子热度阈值。第一子热度阈值和第二子热度阈值等存储介质的门限,可以由用户设定,或者也可以由系统自行设定,或者也可以在CDN系统出厂时即设定好,等等,本发明不作限制。
如果第一数据资源的访问次数大于等于第二子热度阈值,表明第一数据资源为较为热点的数据资源,那么就可以将第一数据资源存储到第二级硬盘中,第二级硬盘的缓存性能也比较好,因为第一数据资源的访问次数也算较多,可以提供更好的体验。
可选的,如果第一数据资源的访问次数小于第一子热度阈值且大于等于第二子热度阈值,那么可以向第一数据资源所在的源站请求获得第一数据资源,并将获得的第一数据资源存储到第一级硬盘中。
可选的,否则,将第一数据资源存储到所述CDN系统的内存中,包括:
若第一数据资源的访问次数小于第二子热度阈值,将第一数据资源存储到内存中。
本发明实施例中,如果第一数据资源的访问次数也小于第二子热度阈值,那么表明第一数据资源可能是较为冷门的数据资源,无需存储到硬盘中,则将第一数据资源存储到内存中即可。
当然,本发明实施例以上均是以CDN系统中具有三个级别的存储介质(即内存和两个级别的硬盘)为例,在实际应用中,CDN系统中可能具有多种不同类型的硬盘,那么也就相当于具有多个级别的硬盘,例如可能会有三个级别或四个级别的硬盘等,那么根据本发明实施例所提供的方案,对于一个数据资源可以依次判断是否满足每个级别的存储介质的门限,从而可以确定该数据资源究竟存储在哪个级别的存储介质中比较合适,具体的方式可参考如前的介绍,本领域技术人员自然知道无论CDN系统中包括多少个级别的存储介质,将数据资源存储到合理的存储介质中的方案都在本发明的保护范围之内。
前面介绍的是在接收用户针对某个数据资源的请求后,通过统计该数据资源的热度来确定该数据资源应存储到哪个级别的存储介质中,而在接收用户针对某个数据资源的请求后,CDN系统还应该响应用户的请求,为用户提供用户所请求的数据资源,下面就介绍这部分内容。
可选的,在接收针对CDN系统中存储的第一数据资源的访问请求之后,还包括:
查询第一数据资源是否存储在CDN系统的存储介质中;
若第一数据资源未存储在CDN系统的存储介质中,则根据第一数据资源的类型确定第一数据资源对应的CDN系统中的存储介质的级别为第一级存储介质;第一级存储介质为CDN系统中的硬盘或内存;
从第一数据资源对应的源站获取第一数据资源,并将第一数据资源存储到第一级存储介质中;
通过第一级存储介质返回第一数据资源。
在接收针对CDN系统中存储的第一数据资源的访问请求后,首先看看第一数据资源是否已存储在CDN系统的存储介质中,如果已经存储了,例如存储在第一级存储介质中,那么可以直接通过第一级存储介质向用户返回第一数据资源。如果未存储第一数据资源,那么CDN系统可以根据第一数据资源的类型确定第一数据资源应存储在哪个级别的存储介质中,例如以视频资源为例,如果是直播类型的业务对应的数据资源,对缓存的要求性低,则可以确定通过内存进行服务,而如果是点播类型的业务对应的数据资源,则可以确定通过较低级别的影评进行服务,例如SATA。
若CDN系统的存储介质中未存储第一数据资源,则CDN系统向第一数据资源所在的源站请求获得第一数据资源,并将获得的第一数据资源存储到第一级存储介质中,通过第一级存储介质向用户返回第一数据资源,以完成对用户的请求的响应。
在将获得的第一数据资源存储到第一级存储介质之后,或者如果第一数据资源已存储在第一级存储介质中,则在确定第一数据资源存储在第一存储介质中之后,可以进行步骤103,以确定是否要继续将第一数据资源存储在第一级存储介质中。
由于CDN系统的热度统计都是基于对数据资源的访问次数,访问次数具有累加性,当一个不是很热点的数据资源经过长时间的积累,访问次数也有可能会比较大,这样就形成了伪热点。下面介绍的内容,主要目的是剔除掉此类伪热点。
可选的,所述方法还包括:
统计CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;第二级存储介质为CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
分别判断M个访问次数中是否有访问次数低于第二热度阈值;
若M个访问次数中的第一访问次数低于所述第二热度阈值,则判断CDN系统中是否存在级别低于第二级存储介质的级别的第三级存储介质;第三级存储介质为CDN系统中的硬盘;
若存在第三级存储介质,将第一访问次数对应的所述M个数据资源中的第二数据资源存储到第三级存储介质中;否则,从第二级存储介质中删除第二数据资源。
第二级存储介质可以是CDN系统中任意一个级别的硬盘,即,对于CDN系统中的每个级别的硬盘都可以通过执行以上流程来剔除伪热点。
例如,可以定时或周期性统计第二级存储介质中存储的M个数据资源的访问次数,M个数据资源可以是第二级存储介质中存储的全部数据资源,或者也可以是第二级存储介质中存储的部分数据资源,本发明对此不作限制。
可选的,因为热点统计可能持续很长时间,则访问次数的值可能会很大,为计算方便,也为了更能适应后面即将提到的第二热度阈值,在得到M个实际访问次数后,对于M个实际访问次数中的每个实际访问次数,可以均减去一个固定的数值,例如为k(k为正整数),假设减之前数据资源1的实际访问次数为n,则减完后,得到的数据资源1的访问次数为n-k。
在将M个实际访问次数中的每个实际访问次数均减去k后,得到如前提到的M个访问次数,可以分别判断其中是否有低于第二热度阈值的访问次数。
第二热度阈值可以是从第二存储介质中移除的门限。例如,如果第二存储介质是第一级硬盘,第一子热度阈值是存储到第一级硬盘中的门限,第二热度阈值是从第一级硬盘中移除的门限,第一子热度阈值可以等于第二热度阈值,或者,第一子热度阈值可以大于第二热度阈值。
例如M个访问次数中,第一访问次数低于第二热度阈值,那么可以认为第一访问次数对应的数据资源(例如称为第二数据资源,第二数据资源与第一数据资源可以是同一数据资源,或者也可以是不同的数据资源)是伪热点,可以看CDN系统的硬盘中是否有级别低于第二存储介质的级别的硬盘。比如,如果CDN系统的硬盘包括第一级硬盘和第二级硬盘,如果第二级存储介质为第一级硬盘,那么还有第二级硬盘的级别低于第一级硬盘,而如果第二级存储介质为第二级硬盘,那么CDN系统中就没有级别再低于第二级硬盘的其他硬盘了。
如果CDN系统中还有级别低于第二级存储介质的第三级存储介质,那么就可以将第二数据资源从第二级存储介质中移到第三级存储介质中,而如果CDN系统中再没有级别低于第二级存储介质的硬盘,可以直接从第二级存储介质中删除第二数据资源。
本发明实施例实现了CDN系统中资源分级存储的实现方法,通过该方法,可以提升用户的访问感知度,对于热点资源,越高级别的存储区提供越快的访问速度,同时兼顾了设备成本,使得收益最大化。
通过前述的内容,即可以在CDN系统中实现基于用户请求的资源分级存储。
下面结合附图介绍本发明实施例中的系统和装置。
请参见图2,为本发明实现CDN系统多级存储的组件模块功能示意图,其中包括:
协议识别及处理模块:该模块负责接收客户端的请求协议报文,根据配置的解析规则,解析出请求的类型,判断是否是属于需要进行分级缓存的内容请求。如通过正则表达式的过滤控制,解析出用户的请求中哪些是请求直播类型的数据资源,哪些是请求点播类型的数据资源等,再区分存储策略。对于需要进行分级存储的内容,将请求转发给存储调度模块进行处理。
存储调度模块:负责控制数据资源的存储路径选择,将数据资源存储到指定的存储介质上。同时负责冷热片(即冷门资源和热点资源)的调度控制,将热点资源往更高一级的存储介质上转移,将冷们资源调度转移到低一级的存储介质上。同时维护系统内所有缓存的数据资源的内容清单,供调度时使用。
热度统计模块:负责统计并维护各数据资源的访问次数,形成点击热度信息,同时定时刷新热度信息,通过热度信息的变化,形成冷热片的互转,并通知存储调度模块进行冷热片的调度转移。
多级存储模块:负责管理所有的存储介质,并提供管理功能,当数据资源发生存储介质迁移时,负责实现数据资源的迁移拷贝工作。同时负责实现LRU(Least Recently Used,近期最少使用)淘汰算法,当存储区内容满时,自动淘汰掉最不常被访问的内容。
回源下载模块:实现数据资源的回源下载功能(即回数据资源所在的源站请求数据),当数据资源尚未缓存时,通过回源下载模块向源站进行内容下拉,并传输给存储模块保存下拉的数据资源。
图2中的CDN系统包括多级存储模块,以三级存储为例,例如分别为内存、SSD和SATA。
用户可以通过终端(或称为客户端)发送请求,终端例如可以是图2中所示的手机、PC(个人计算机)、STB(Set Top Box,机顶盒)等设备,或者也可以是其他类型的设备。
请参见图3,基于同一发明构思,本发明实施例提供一种数据资源存储装置,该装置例如可以是CDN系统本身,或者可以作为一个功能模块,位于CDN系统中。该装置可以包括判断模块301和第一操作模块302。
判断模块301,用于判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
第一操作模块302,用于若第一数据资源的访问次数大于等于第一热度阈值,则将第一数据资源存储到CDN系统中的硬盘中;否则,将第一数据资源存储到CDN系统的内存中。
可选的,该装置还可以包括接收模块和第二操作模块;
接收模块,用于接收针对第一数据资源的访问请求;
第二操作模块,用于将第一数据资源的访问次数增加第一值。
可选的,
判断模块301用于:判断第一数据资源的访问次数是否大于等于第一子热度阈值;
第一操作模块302用于:若第一数据资源的访问次数大于等于第一子热度阈值,则将第一数据资源存储到CDN系统中的第一级硬盘中;第一级硬盘为CDN系统中最高级别的硬盘。
可选的,
判断模块301用于:在判断第一数据资源的访问次数是否大于等于第一子热度阈值之后,若第一数据资源的访问次数小于第一子热度阈值,判断第一数据资源的访问次数是否大于等于第二子热度阈值;
第一操作模块302用于:若第一数据资源的访问次数大于等于第二子热度阈值,则将第一数据资源存储到CDN系统中的第二级硬盘中;第二级硬盘的级别低于第一级硬盘的级别。
可选的,第一操作模块302用于:
若第一数据资源的访问次数小于第二子热度阈值,将第一数据资源存储到内存中。
可选的,所述装置还包括:
查询模块,用于在接收模块接收针对CDN系统中存储的第一数据资源的访问请求之后,查询第一数据资源是否存储在CDN系统的存储介质中;
确定模块,用于若第一数据资源未存储在CDN系统的存储介质中,则根据第一数据资源的类型确定第一数据资源对应的CDN系统中的存储介质的级别为第一级存储介质;第一级存储介质为CDN系统中的硬盘或内存;
获取模块,用于从第一数据资源对应的源站获取第一数据资源,并将第一数据资源存储到第一级存储介质中;
返回模块,用于通过第一级存储介质返回第一数据资源。
可选的,所述装置还包括:
统计模块,用于统计CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;第二级存储介质为CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
判断模块301,还用于分别判断M个访问次数中是否有访问次数低于第二热度阈值;
判断模块301,还用于若M个访问次数中的第一访问次数低于第二热度阈值,则判断CDN系统中是否存在级别低于第二级存储介质的级别的第三级存储介质;第三级存储介质为CDN系统中的硬盘;
第一操作模块302,还用于若存在第三级存储介质,将第一访问次数对应的M个数据资源中的第二数据资源存储到第三级存储介质中;否则,从第二级存储介质中删除第二数据资源。
本发明实施例中,在接收针对一个数据资源的访问请求时,就可以统计该数据资源的访问次数,即分析该数据资源的访问热度,如果该数据资源的访问次数大于第一热度阈值,说明该数据资源被访问的次数较多,也就是说明该数据资源为热点资源,那么就可以将该数据资源存储到CDN系统的硬盘中,CDN系统中,硬盘的性能高于内存的性能,将热点资源存储在硬盘中,能够为用户访问较多的资源(即热点资源)提供更快的访问速度,尽量保证观看的流畅度,提高用户体验。这样,通过较为合理地利用CDN系统中的各级存储介质,提高了CDN系统整体的性能和利用率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将装置的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-OnlyMemory,只读存储器)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种数据资源存储方法,其特征在于,包括:
判断内容分发网络CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中;否则,将所述第一数据资源存储到所述CDN系统的内存中。
2.如权利要求1所述的方法,其特征在于,还包括:
接收针对所述第一数据资源的访问请求;
将所述第一数据资源的访问次数增加第一值。
3.如权利要求2所述的方法,其特征在于,
判断CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值,包括:
判断所述第一数据资源的访问次数是否大于等于第一子热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中,包括:
若所述第一数据资源的访问次数大于等于所述第一子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第一级硬盘中;所述第一级硬盘为所述CDN系统中最高级别的硬盘。
4.如权利要求3所述的方法,其特征在于,
在判断所述第一数据资源的访问次数是否大于等于第一子热度阈值之后,还包括:
若所述第一数据资源的访问次数小于所述第一子热度阈值,判断所述第一数据资源的访问次数是否大于等于第二子热度阈值;
若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中,包括:
若所述第一数据资源的访问次数大于等于所述第二子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第二级硬盘中;所述第二级硬盘的级别低于所述第一级硬盘的级别。
5.如权利要求4所述的方法,其特征在于,否则,将所述第一数据资源存储到所述CDN系统的内存中,包括:
若所述第一数据资源的访问次数小于所述第二子热度阈值,将所述第一数据资源存储到所述内存中。
6.如权利要求2-5任一所述的方法,其特征在于,在接收针对所述第一数据资源的访问请求之后,还包括:
查询所述第一数据资源是否存储在所述CDN系统的存储介质中;
若所述第一数据资源未存储在所述CDN系统的存储介质中,则根据所述第一数据资源的类型确定所述第一数据资源对应的所述CDN系统中的存储介质的级别为第一级存储介质;所述第一级存储介质为所述CDN系统中的硬盘或内存;
从所述第一数据资源对应的源站获取所述第一数据资源,并将所述第一数据资源存储到所述第一级存储介质中;
通过所述第一级存储介质返回所述第一数据资源。
7.如权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
统计所述CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;所述第二级存储介质为所述CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
分别判断所述M个访问次数中是否有访问次数低于第二热度阈值;
若所述M个访问次数中的第一访问次数低于所述第二热度阈值,则判断所述CDN系统中是否存在级别低于所述第二级存储介质的级别的第三级存储介质;所述第三级存储介质为所述CDN系统中的硬盘;
若存在所述第三级存储介质,将所述第一访问次数对应的所述M个数据资源中的第二数据资源存储到所述第三级存储介质中;否则,从所述第二级存储介质中删除所述第二数据资源。
8.一种数据资源存储装置,其特征在于,包括:
判断模块,用于判断内容分发网络CDN系统中存储的第一数据资源的访问次数是否大于等于第一热度阈值;
第一操作模块,用于若所述第一数据资源的访问次数大于等于所述第一热度阈值,则将所述第一数据资源存储到所述CDN系统中的硬盘中;否则,将所述第一数据资源存储到所述CDN系统的内存中。
9.如权利要求8所述的装置,其特征在于,所述装置还包括接收模块和第二操作模块;
所述接收模块,用于接收针对所述第一数据资源的访问请求;
所述第二操作模块,用于将所述第一数据资源的访问次数增加第一值。
10.如权利要求9所述的装置,其特征在于,
所述判断模块用于:判断所述第一数据资源的访问次数是否大于等于第一子热度阈值;
所述第一操作模块用于:若所述第一数据资源的访问次数大于等于所述第一子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第一级硬盘中;所述第一级硬盘为所述CDN系统中最高级别的硬盘。
11.如权利要求10所述的装置,其特征在于,
所述判断模块用于:在判断所述第一数据资源的访问次数是否大于等于第一子热度阈值之后,若所述第一数据资源的访问次数小于所述第一子热度阈值,判断所述第一数据资源的访问次数是否大于等于第二子热度阈值;
所述第二操作模块用于:若所述第一数据资源的访问次数大于等于所述第二子热度阈值,则将所述第一数据资源存储到所述CDN系统中的第二级硬盘中;所述第二级硬盘的级别低于所述第一级硬盘的级别。
12.如权利要求11所述的装置,其特征在于,所述第一操作模块用于:
若所述第一数据资源的访问次数小于所述第二子热度阈值,将所述第一数据资源存储到所述内存中。
13.如权利要求9-12任一所述的装置,其特征在于,所述装置还包括:
查询模块,用于在所述接收模块接收针对所述第一数据资源的访问请求之后,查询所述第一数据资源是否存储在所述CDN系统的存储介质中;
确定模块,用于若所述第一数据资源未存储在所述CDN系统的存储介质中,则根据所述第一数据资源的类型确定所述第一数据资源对应的所述CDN系统中的存储介质的级别为第一级存储介质;所述第一级存储介质为所述CDN系统中的硬盘或内存;
获取模块,用于从所述第一数据资源对应的源站获取所述第一数据资源,并将所述第一数据资源存储到所述第一级存储介质中;
返回模块,用于通过所述第一级存储介质返回所述第一数据资源。
14.如权利要求8-12任一所述的装置,其特征在于,所述装置还包括:
统计模块,用于统计所述CDN系统的第二级存储介质中存储的M个数据资源的访问次数,获得M个访问次数;所述第二级存储介质为所述CDN系统中的第一级硬盘或第二级硬盘,M为正整数;
所述判断模块,还用于分别判断所述M个访问次数中是否有访问次数低于第二热度阈值;
所述判断模块,还用于若所述M个访问次数中的第一访问次数低于所述第二热度阈值,则判断所述CDN系统中是否存在级别低于所述第二级存储介质的级别的第三级存储介质;所述第三级存储介质为所述CDN系统中的硬盘;
所述第一操作模块,还用于若存在所述第三级存储介质,将所述第一访问次数对应的所述M个数据资源中的第二数据资源存储到所述第三级存储介质中;否则,从所述第二级存储介质中删除所述第二数据资源。
CN201510941113.6A 2015-12-16 2015-12-16 一种数据资源存储方法及装置 Active CN106888381B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510941113.6A CN106888381B (zh) 2015-12-16 2015-12-16 一种数据资源存储方法及装置
PCT/CN2016/101926 WO2017101576A1 (zh) 2015-12-16 2016-10-12 一种数据资源存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510941113.6A CN106888381B (zh) 2015-12-16 2015-12-16 一种数据资源存储方法及装置

Publications (2)

Publication Number Publication Date
CN106888381A true CN106888381A (zh) 2017-06-23
CN106888381B CN106888381B (zh) 2019-11-08

Family

ID=59055685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510941113.6A Active CN106888381B (zh) 2015-12-16 2015-12-16 一种数据资源存储方法及装置

Country Status (2)

Country Link
CN (1) CN106888381B (zh)
WO (1) WO2017101576A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108418877A (zh) * 2018-02-22 2018-08-17 上海思华科技股份有限公司 多类型存储调度推流方法、系统、数据更新方法
CN108810144A (zh) * 2018-06-14 2018-11-13 北京中飞艾维航空科技有限公司 一种数据传输方法、服务器及存储介质
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
CN115098760A (zh) * 2022-06-29 2022-09-23 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783478A (zh) * 2019-03-12 2019-05-21 长沙理工大学 一种utxo数据存储方法、装置、设备及存储介质
CN110362400B (zh) * 2019-06-17 2022-06-17 中国平安人寿保险股份有限公司 资源缓存的分配方法、装置、设备及存储介质
CN110807009B (zh) * 2019-11-06 2022-04-26 湖南快乐阳光互动娱乐传媒有限公司 文件处理方法及装置
CN111049840B (zh) * 2019-12-17 2022-04-26 锐捷网络股份有限公司 一种报文检测方法及装置
CN113329065B (zh) * 2021-05-18 2022-08-23 武汉联影医疗科技有限公司 资源预热方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740159A (zh) * 2011-03-31 2012-10-17 丛林网络公司 媒体文件存储格式和自适应传送系统
US20130227051A1 (en) * 2012-01-10 2013-08-29 Edgecast Networks, Inc. Multi-Layer Multi-Hit Caching for Long Tail Content
CN104935653A (zh) * 2015-06-09 2015-09-23 中国人民解放军国防科学技术大学 一种访问热点资源的旁路缓存方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105207993A (zh) * 2015-08-17 2015-12-30 深圳市云宙多媒体技术有限公司 一种cdn中数据的访问、调度方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740159A (zh) * 2011-03-31 2012-10-17 丛林网络公司 媒体文件存储格式和自适应传送系统
US20130227051A1 (en) * 2012-01-10 2013-08-29 Edgecast Networks, Inc. Multi-Layer Multi-Hit Caching for Long Tail Content
CN104935653A (zh) * 2015-06-09 2015-09-23 中国人民解放军国防科学技术大学 一种访问热点资源的旁路缓存方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108418877A (zh) * 2018-02-22 2018-08-17 上海思华科技股份有限公司 多类型存储调度推流方法、系统、数据更新方法
CN108810144A (zh) * 2018-06-14 2018-11-13 北京中飞艾维航空科技有限公司 一种数据传输方法、服务器及存储介质
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
WO2020015047A1 (zh) * 2018-07-16 2020-01-23 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
US11005717B2 (en) 2018-07-16 2021-05-11 Wangsu Science & Technology Co., Ltd. Storage capacity evaluation method based on content delivery network application and device thereof
CN115098760A (zh) * 2022-06-29 2022-09-23 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2017101576A1 (zh) 2017-06-22
CN106888381B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN106888381A (zh) 一种数据资源存储方法及装置
US11481657B2 (en) Content recommendation method, apparatus and system
US9628582B2 (en) Social-driven precaching of accessible objects
US9972022B2 (en) System and method for optimizing access to a resource based on social synchrony and homophily
CN109299144B (zh) 一种数据处理方法、装置、系统及应用服务器
CN107801086A (zh) 多缓存服务器的调度方法和系统
CN111159436A (zh) 一种推荐多媒体内容的方法、装置及计算设备
CN105159604A (zh) 一种磁盘数据读写方法和系统
CN106649349A (zh) 用于游戏应用的数据缓存方法、装置和系统
CN108319598A (zh) 数据缓存方法、装置和系统
CN109981702B (zh) 一种文件存储方法及系统
CN110737401B (zh) 用于管理独立冗余磁盘阵列的方法、设备和计算机程序产品
CN107835437A (zh) 基于多缓存服务器的调度方法和装置
CN108512768B (zh) 一种访问量的控制方法及装置
CN106210127A (zh) 一种信息处理方法、服务器及客户端
CN107633045A (zh) 一种云存储服务中租户数据容量的统计方法及其系统
CN108471385B (zh) 一种针对分布式系统的流量控制方法及装置
CN104468399A (zh) 数据传输方法、装置和服务器
CN108270750A (zh) Cdn切换方法、客户端及服务器
CN105100224A (zh) 数据传输方法及装置
US11914651B2 (en) Classification and selective filtering of a data set
US9380126B2 (en) Data collection and distribution management
CN107911447A (zh) 业务系统扩容方法及装置
CN107239542A (zh) 一种数据统计方法、装置、服务器及存储介质
CN106469166A (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant