CN105207993A - 一种cdn中数据的访问、调度方法和系统 - Google Patents

一种cdn中数据的访问、调度方法和系统 Download PDF

Info

Publication number
CN105207993A
CN105207993A CN201510505568.3A CN201510505568A CN105207993A CN 105207993 A CN105207993 A CN 105207993A CN 201510505568 A CN201510505568 A CN 201510505568A CN 105207993 A CN105207993 A CN 105207993A
Authority
CN
China
Prior art keywords
file
access
media file
media
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510505568.3A
Other languages
English (en)
Inventor
彭红顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd filed Critical SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Priority to CN201510505568.3A priority Critical patent/CN105207993A/zh
Publication of CN105207993A publication Critical patent/CN105207993A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

本发明公开一种CDN中数据的访问、调度方法和系统，本发明方法通过记录媒体文件的访问次数和访问频率，对媒体文件的访问热度进行划分，根据不同的媒体文件访问热度等级，采用相应的媒体文件存储策略和调度方法，解决多台媒体服务器访问一台存储服务器造成的IO瓶颈问题，本发明方法能有效解决磁盘IO与网络IO矛盾问题，同时将升级成本控制到最低。

Description

一种CDN中数据的访问、调度方法和系统
技术领域
本发明涉及CDN数据调度技术领域，尤其涉及一种CDN中数据的访问、调度方法和系统。
背景技术
Internet的高速发展，给人们的工作和生活带来了极大的便利，对Internet的服务品质和访问速度要求越来越高，虽然宽带不断增加，用户数量也在不断增加，但受服务器的负荷和传输距离等因数的影响，响应速度还会较慢。解决方案就是在网络传输上利用网络缓存技术使得服务数据流能就近访问，全局负载均衡流量，优化网络数据传输，从而获得高速的体验和品质保证。这就是CDN内容传输网络的基本思想。
随着中国互联网网民总体规模增长、互联网带宽基础建设快速升级，网络带宽提升而服务器磁盘的IO性能没有明显的提升，网络带宽跟磁盘IO的矛盾，特别的多台服务器集群共用一台存储服务器的情况，磁盘IO瓶颈的问题更加明显，为此严重的影响了CDN系统性能，为了解决这个矛盾，传统的解决办法，通过更换新的高性能磁盘来提升磁盘的IO，同时也造成所需要的付出更高的成本，导致整个CDN系统建设成本大幅度的上升，并且也没有从根本上解决网络IO与磁盘IO这个根本的矛盾，同时造成对系统的资源的浪费。
发明内容
本发明实施例的目的在于提出一种CDN中数据的访问、调度方法，旨在解决现有技术CDN网络中多台媒体服务器访问一台存储服务器造成的IO瓶颈问题。
本发明实施例是这样实现的，一种CDN中数据的访问方法，，所述方法包括以下步骤：
接收媒体文件请求信息；
判断媒体服务器内存中是否有所请求的媒体文件，如果有就直接发送所述媒体文件，否则
判断媒体服务器本地磁盘中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则
判断媒体文件存储服务器中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则
重定向到源站媒体服务器去获取所请求的媒体文件并发送。
所述媒体服务器用于处理终端用户发送的媒体请求，记录媒体文件信息并对媒体文件进行访问热度等级划分及进行调度；
所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；
媒体服务器还包括内存和硬盘，用于缓存用户请求访问的媒体文件；
所述存储服务器用于存储媒体文件；
所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
本发明实施例的另一目的在于提出一种CDN中数据的调度方法，所述方法包括以下步骤：
媒体服务器定时检查媒体文件的存储状况；
如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；
如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，就将媒体文件从存储服务器上拷贝到本地磁盘；
如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存。
本发明实施例的另一目的在于提出一种CDN中数据的访问、调度系统,所述系统包括媒体服务器和媒体文件存储服务器，
所述媒体服务器包括：
媒体文件请求接收模块，用于接收媒体文件请求信息；
媒体文件信息管理模块，用于记录媒体文件信息，所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
调度模块，用于定时检查媒体文件的存储状况；如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，则将媒体文件从存储服务器上拷贝到本地磁盘；如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存；
内存，用于缓存用户请求访问的热点媒体文件；
硬盘，用于缓存用户请求访问频繁的媒体文件；
媒体文件存储服务器，用于存储媒体文件。
本发明的有益效果
本发明提出一种CDN中数据的访问、调度方法和系统，通过记录媒体文件的访问次数和访问频率，对媒体文件的访问热度进行划分，根据不同的媒体文件访问热度等级，采用相应的媒体文件存储策略和调度方法，解决多台媒体服务器访问一台存储服务器造成的IO瓶颈问题，本发明能有效解决磁盘IO与网络IO矛盾问题，同时将升级成本控制到最低。
附图说明
图1是本发明优选实施例一种CDN中数据的访问、调度方法流程图；
图2是本发明优选实施例一种CDN中数据的访问、调度系统结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明实施例提出一种CDN中数据的访问、调度方法和系统，通过记录媒体文件的访问次数和访问频率，对媒体文件的访问热度进行划分，根据不同的媒体文件访问热度等级，采用相应的媒体文件存储策略和调度方法，解决多台媒体服务器访问一台存储服务器造成的IO瓶颈问题，本发明能有效解决磁盘IO与网络IO矛盾问题，同时将升级成本控制到最低。
实施例一
图1是本发明优选实施例一种CDN中数据的访问、调度方法流程图；所述方法包括以下步骤：
S101、接收媒体文件请求信息；
本发明实施例中，CDN网络系统总共有2个级别节点，即源站和二级节点；每个节点均包含至少一台媒体服务器以及一台存储服务器；
所述媒体服务器用于处理终端用户发送的媒体请求，记录媒体文件信息并对媒体文件进行访问热度等级划分及进行调度等；
所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；
所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
媒体服务器还包括内存和硬盘，用于缓存用户请求访问的媒体文件；
所述存储服务器用于存储媒体文件；
S102、判断媒体服务器内存中是否有所请求的媒体文件，如果有就直接发送所述媒体文件，否则进入步骤S103；
S103、判断媒体服务器本地磁盘中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则进入步骤S104；
S104、判断媒体文件存储服务器中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则进入步骤S105；
S105、重定向到源站媒体服务器去获取所请求的媒体文件并发送。
在步骤S101-S105执行的过程中，媒体服务器同执行以下数据调度步骤：
S1、媒体服务器定时检查媒体文件的存储状况；
S2、如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；
S3、如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，就将媒体文件从存储服务器上拷贝到本地磁盘；
S4、如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存。
实施例二
图2是本发明优选实施例一种CDN中数据的访问、调度系统结构图；所述系统包括媒体服务器和媒体文件存储服务器，
所述媒体服务器包括：
媒体文件请求接收模块，用于接收媒体文件请求信息；
媒体文件信息管理模块，用于记录媒体文件信息，所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
调度模块，用于定时检查媒体文件的存储状况；如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，则将媒体文件从存储服务器上拷贝到本地磁盘；如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存。
内存，用于缓存用户请求访问的热点媒体文件；
硬盘，用于缓存用户请求访问频繁的媒体文件。
媒体文件存储服务器，用于存储媒体文件。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种CDN中数据的访问方法，其特征在于，所述方法包括以下步骤：
接收媒体文件请求信息；
判断媒体服务器内存中是否有所请求的媒体文件，如果有就直接发送所述媒体文件，否则
判断媒体服务器本地磁盘中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则
判断媒体文件存储服务器中是否有所请求的媒体文件，如果有就直接发送媒体文件，否则
重定向到源站媒体服务器去获取所请求的媒体文件并发送。
2.如权利要求1所述的CDN中数据的访问方法，其特征在于，
所述媒体服务器用于处理终端用户发送的媒体请求，记录媒体文件信息并对媒体文件进行访问热度等级划分及进行调度；
所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；
媒体服务器还包括内存和硬盘，用于缓存用户请求访问的媒体文件；
所述存储服务器用于存储媒体文件。
3.如权利要求2所述的CDN中数据的访问方法，其特征在于，所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
4.一种CDN中数据的调度方法，其特征在于，所述方法包括以下步骤：
媒体服务器定时检查媒体文件的存储状况；
如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；
如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，就将媒体文件从存储服务器上拷贝到本地磁盘；
如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存。
5.如权利要求4所述的CDN中数据的调度方法，其特征在于，
所述媒体服务器用于处理终端用户发送的媒体请求，记录媒体文件信息并对媒体文件进行访问热度等级划分及进行调度；
所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；
所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定。
6.一种CDN中数据的访问、调度系统,其特征在于，所述系统包括媒体服务器和媒体文件存储服务器，
所述媒体服务器包括：
媒体文件请求接收模块，用于接收媒体文件请求信息；
媒体文件信息管理模块，用于记录媒体文件信息，所述媒体文件信息包括创建时间、访问次数、访问频率、访问热度分级；所述访问热度分级包括非频繁访问文件、频繁访问文件、热点文件，访问热度依次升高；根据媒体文件的访问次数和访问频率由用户自己设定；
调度模块，用于定时检查媒体文件的存储状况；如果媒体文件为非频繁访问文件，则将所述媒体文件从媒体服务器的内存和本地磁盘中删除；如果媒体文件为频繁访问文件，则判断本地磁盘是否存在此文件，如果不存在，则将媒体文件从存储服务器上拷贝到本地磁盘；如果媒体文件为热点文件且内存中不存在此文件，则从本地磁盘中拷贝所述媒体文件到内存；
内存，用于缓存用户请求访问的媒体文件；
硬盘，用于用于缓存用户请求访问的媒体文件；
媒体文件存储服务器，用于存储媒体文件。
CN201510505568.3A 2015-08-17 2015-08-17 一种cdn中数据的访问、调度方法和系统 Pending CN105207993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510505568.3A CN105207993A (zh) 2015-08-17 2015-08-17 一种cdn中数据的访问、调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510505568.3A CN105207993A (zh) 2015-08-17 2015-08-17 一种cdn中数据的访问、调度方法和系统

Publications (1)

Publication Number Publication Date
CN105207993A true CN105207993A (zh) 2015-12-30

Family

ID=54955429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510505568.3A Pending CN105207993A (zh) 2015-08-17 2015-08-17 一种cdn中数据的访问、调度方法和系统

Country Status (1)

Country Link
CN (1) CN105207993A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101576A1 (zh) * 2015-12-16 2017-06-22 中兴通讯股份有限公司 一种数据资源存储方法及装置
CN107911713A (zh) * 2017-11-08 2018-04-13 北京奇艺世纪科技有限公司 一种磁盘的确定方法及装置
CN110807009A (zh) * 2019-11-06 2020-02-18 湖南快乐阳光互动娱乐传媒有限公司 文件处理方法及装置
WO2022062965A1 (en) * 2020-09-22 2022-03-31 International Business Machines Corporation Storage tiering within a unified storage environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026744A (zh) * 2007-03-30 2007-08-29 Ut斯达康通讯有限公司 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102316097A (zh) * 2011-07-27 2012-01-11 杭州斯凯网络科技有限公司 一种减少用户等待时间的流媒体调度分发方法
CN103347068A (zh) * 2013-06-26 2013-10-09 中国（南京）未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN104268099A (zh) * 2014-08-29 2015-01-07 浪潮(北京)电子信息产业有限公司 一种管理数据读写的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026744A (zh) * 2007-03-30 2007-08-29 Ut斯达康通讯有限公司 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102316097A (zh) * 2011-07-27 2012-01-11 杭州斯凯网络科技有限公司 一种减少用户等待时间的流媒体调度分发方法
CN103347068A (zh) * 2013-06-26 2013-10-09 中国（南京）未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN104268099A (zh) * 2014-08-29 2015-01-07 浪潮(北京)电子信息产业有限公司 一种管理数据读写的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101576A1 (zh) * 2015-12-16 2017-06-22 中兴通讯股份有限公司 一种数据资源存储方法及装置
CN107911713A (zh) * 2017-11-08 2018-04-13 北京奇艺世纪科技有限公司 一种磁盘的确定方法及装置
CN107911713B (zh) * 2017-11-08 2020-05-22 北京奇艺世纪科技有限公司 一种磁盘的确定方法及装置
CN110807009A (zh) * 2019-11-06 2020-02-18 湖南快乐阳光互动娱乐传媒有限公司 文件处理方法及装置
CN110807009B (zh) * 2019-11-06 2022-04-26 湖南快乐阳光互动娱乐传媒有限公司 文件处理方法及装置
WO2022062965A1 (en) * 2020-09-22 2022-03-31 International Business Machines Corporation Storage tiering within a unified storage environment
GB2614668A (en) * 2020-09-22 2023-07-12 Ibm Storage tiering within a unified storage environment

Similar Documents

Publication Publication Date Title
CN101763437B (zh) 高速缓冲存储实现方法及装置
US9882975B2 (en) Method and apparatus for buffering and obtaining resources, resource buffering system
CN101510219B (zh) 文件数据访问方法、装置以及系统
CN101493826B (zh) 基于web应用的数据库系统及其数据管理方法
US9069835B2 (en) Organizing data in a distributed storage system
CN102129434B (zh) 读写分离数据库的方法及系统
US8495021B2 (en) Distribution data items within geographically distributed databases
US20140181035A1 (en) Data management method and information processing apparatus
CN105549905A (zh) 一种多虚拟机访问分布式对象存储系统的方法
EP1921871A1 (en) A method and terminal for downloading in parallel
CN111475483B (zh) 数据库迁移方法、装置及计算设备
KR20150088442A (ko) 정보 중심 네트워크 기반 분산파일 관리 방법 및 장치
CN101741730A (zh) 文件下载方法及设备、提供文件下载服务的方法及系统
CN102571772A (zh) 一种元数据服务器热点均衡方法
CN105207993A (zh) 一种cdn中数据的访问、调度方法和系统
CN102651861A (zh) 用于移动终端的下载方法、移动终端和代理下载服务器
WO2017101576A1 (zh) 一种数据资源存储方法及装置
CN102148870A (zh) 一种云存储系统及其实现方法
WO2021082401A1 (zh) 一种数据的上传方法、系统、装置及电子设备
CN103455439A (zh) 本地缓存装置以及用于提供内容缓存服务的系统和方法
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN112764948A (zh) 数据发送方法、数据发送装置、计算机设备及存储介质
CN102118315A (zh) 数据流化方法、数据记录方法、数据读取方法及其系统
US10327133B2 (en) Making subscriber data addressable as a device in a mobile data network
CN108287793A (zh) 响应消息的缓冲方法及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151230

WD01 Invention patent application deemed withdrawn after publication