CN108989370A - 一种cdn系统中的数据存储方法、设备及系统 - Google Patents

一种cdn系统中的数据存储方法、设备及系统 Download PDF

Info

Publication number
CN108989370A
CN108989370A CN201710405124.1A CN201710405124A CN108989370A CN 108989370 A CN108989370 A CN 108989370A CN 201710405124 A CN201710405124 A CN 201710405124A CN 108989370 A CN108989370 A CN 108989370A
Authority
CN
China
Prior art keywords
media server
data
server
class
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710405124.1A
Other languages
English (en)
Other versions
CN108989370B (zh
Inventor
刘小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710405124.1A priority Critical patent/CN108989370B/zh
Publication of CN108989370A publication Critical patent/CN108989370A/zh
Application granted granted Critical
Publication of CN108989370B publication Critical patent/CN108989370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种CDN系统中的数据存储方法、设备及系统。该方法中，管理服务器接收第一类媒体服务器发送的获取迁移数据指示请求，第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；管理服务器向第一类媒体服务器发送迁移数据指示，该迁移数据指示用于指示第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；第二类媒体服务器为CDN系统中除第一类媒体服务器之外的媒体服务器，第二类媒体服务器中存储有第一类数据和/或第二类数据，第一类数据为访问量达到第二预设条件的数据，第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。

Description

一种CDN系统中的数据存储方法、设备及系统
技术领域
本申请涉及互联网技术领域，尤其涉及一种CDN(Content Delivery Network，内容分发网络)系统中的数据存储方法、设备及系统。
背景技术
CDN是一种通过在网络各处设置媒体服务器构成的在现有互联网基础之上的一层智能虚拟网络，通过内容分发、负载均衡、调度等功能，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
CDN系统广泛应用于IPTV(Internet Protocol Television，互联协议电视)和OTT(Over The Top，互联网向用户提供各种应用服务)领域，为视频、网站提供内容加速服务。用户需要观看的内容源通常与用户使用的终端较远，为了确保分布在不同区域的用户快速访问到所需内容，通常在内容源和媒体终端之间分级部署媒体服务器，每一级媒体服务器中存储有用户访问频率较高的内容，以实现用户能够就从较近的媒体服务器访问内容，即实现了快速响应用户的访问请求，提高了用户体验。目前，CDN中的媒体服务器通常采用SATA(串口)硬盘+SSD(Solid State Drives，固态硬盘)的本地存储组合，用于存储持久化内容和缓存内容，支持VOD(Video on Demand，视频点播)、录制内容的持久化存储，又支持访问频率较高的热门内容存储。
然而，在用户的访问量增加时，如何实现自动增加新的媒体服务器以及如何确定新增加的媒体服务器中存储的数据内容，以均衡原有媒体服务器的负载，是CDN系统优化的关键。
发明内容
本申请实施例提供了一种CDN系统中的数据存储方法、设备及系统，用以实现确定自动生成的媒体服务器中存储的数据、节省存储资源。
第一方面，本申请实施例提供了一种CDN系统中的数据存储方法，应用于媒体服务器的弹性伸缩场景中，包括：
管理服务器接收第一类媒体服务器发送的获取迁移数据指示请求，所述第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；
所述管理服务器向所述第一类媒体服务器发送迁移数据指示，所述迁移数据指示用于指示所述第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；
所述第二类存储类服务器为所述CDN系统中除第一类媒体服务器之外的服务器，所述第二类媒体服务器中存储有第一类数据和/或第二类数据；所述第一类数据为访问量达到第二预设条件的访问量数据，所述第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
在一种可能的实现方式中，所述管理服务器获取第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量；
所述管理服务器根据所述访问量确定第一类数据。
在一种可能的实现方式中，在所述管理服务器向所述第一类媒体服务器发送迁移数据指示之后，该方法还包括：
所述管理服务器向所述第一类媒体服务器发送删除数据指示，以使所述第一类媒体服务器删除所述删除数据指示所指示的数据，所述删除数据指示所指示的待删除数据为访问量达到第三预设条件的访问量数据。
在一种可能的实现方式中，所述第一预设条件包括以下之一或组合：
第一类媒体服务器和/或第二类媒体服务器的中央处理器CPU的利用率达到第一阈值；
第一类媒体服务器和/或第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值；
第一类媒体服务器和/或第二类媒体服务器的待处理业务量达到第三阈值。
在上述实施例中，管理服务器仅指示第一类媒体服务器获取并保持第一类数据即热门数据，而不指示第一类媒体服务器获取并保存第二类数据，因此，第一类媒体服务器所需的存储空间小于第二类媒体服务器所需的存储空间；此外，由于第一类媒体服务器中存储的数据仅为热门数据，不存在其他媒体服务器中均没有存储的数据，因此，在需要撤除媒体服务器时，可以直接撤除第一类媒体服务器，而不需要先将第一类媒体服务器中的数据迁移到其他服务器中再撤除，简化了撤除媒体服务器的操作。因此，上述实施例能够实现媒体服务器的快速伸缩。
第二方面，本申请实施例提供了一种管理服务器，应用于媒体服务器的弹性伸缩场景中，包括：
接收模块，用于接收第一类媒体服务器发送的获取迁移数据指示请求，所述第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；
发送模块，用于向所述第一类媒体服务器发送迁移数据指示，所述迁移数据指示用于指示所述第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；
所述第二类存储类服务器为所述CDN系统中除第一类媒体服务器之外的服务器，所述第二类媒体服务器中存储有第一类数据和/或第二类数据；所述第一类数据为访问量达到第二预设条件的访问量数据，所述第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
在一种可能的实现方式中，所述管理服务器还包括：
获取模块，用于获取第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量；
确定模块，用于根据所述访问量确定第一类数据。
在一种可能的实现方式中，所述发送模块，还用于：
向所述第一类媒体服务器发送删除数据指示，以使所述第一类媒体服务器删除所述删除数据指示所指示的数据，所述删除数据指示所指示的待删除数据为访问量达到第三预设条件的访问量数据。
在一种可能的实现方式中，所述第一预设条件包括以下之一或组合：
第一类媒体服务器和/或第二类媒体服务器的中央处理器CPU的利用率达到第一阈值；
第一类媒体服务器和/或第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值；
第一类媒体服务器和/或第二类媒体服务器的待处理业务量达到第三阈值。
第三方面，本申请实施例提供了一种CDN系统，包括：
如第二方面以及第二方面可能的实现方式中任一管理服务器，至少一个第二类媒体服务器以及至少一个第一类媒体服务器。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当所述指令在计算机上运行时，使得计算机执行如第一方面以及第一方面可能的实现方式中的任一种方法。
附图说明
图1为本发明实施例提供的CDN中的媒体服务器示意图；
图2为本发明实施例提供的一种CDN架构示意图；
图3为本发明实施例提供的一种CDN系统中的数据存储方法流程示意图；
图4为本发明实施例提供的具体实施例的示意图之一；
图5为本发明实施例提供的具体实施例的示意图之二；
图6为本发明实施例提供的具体实施例的示意图之三；
图7为本发明实施例提供的具体实施例的示意图之四；
图8为本发明实施例提供的管理服务器的结构示意图；
图9为本发明实施例提供的CDN系统示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。
在CDN系统中，可以包含多个媒体服务器，用于存储各种应用服务数据，例如VOD数据，每个媒体服务器中存储有需要长期存储的数据，以及访问量较高的热门数据，使得大量用户的访问请求可以被分散到不同的媒体服务器上，以实现为大量用户快速提供服务。上述多个媒体服务器可以是通过虚拟技术生成的VM(Virtual Machine，虚拟机)，具体地，CDN中的多个VM可以如图1所示。
然而，随着互联网技术的发展，更多的数据提供方通过CDN系统向用户提供数据，更多的用户通过CDN系统获取所需数据，因此，可能需要对已构建的CDN系统进行扩展，使用更多的媒体服务器为用户提供服务。当用户的访问量下降时，为了节省维护成本，可以撤销部分媒体服务器。
因此，目前大家开始研究可以根据实际需求自动进行扩展或收缩的CDN系统。申请人在研究时发现，目前的CDN自动扩展、收缩的技术方案并不成熟。自动扩展生成的媒体服务器的存储空间需要从其他媒体服务器中获取数据，包括需要长期存储的数据以及热门数据，与初始时建立的媒体服务器并无差异，因此扩展的媒体服务器也需要较大的存储空间，资源浪费较大。此外，在一些情况下，可能会将一些数据仅存储到某个媒体服务器中，且由于该数据并非热门数据，还未被其他媒体服务器获取并存储，为了避免这些数据的丢失，在撤销媒体服务器时，需要向将待撤销的媒体服务器中存储的数据迁移到其他媒体服务器中，过程十分繁琐。
为了解决上述技术问题，本发明实施例提供了一种CDN系统中的数据存储方法，用以实现为自动生成媒体服务器确定存储的数据，节省存储资源。
本发明实施例提供的CDN系统中的数据存储方法可以应用于如图2所示的CDN系统架构中，如图所示，该CDN系统中包括：
媒体服务器，主要用于存储各种应用服务数据，为终端提供访问服务。在本发明实施例中，对媒体服务器进行了区分，将自动扩展的媒体服务器称为第一类媒体服务器，将其他媒体服务器称为第二类媒体服务器。第一类媒体服务器中仅存储第一类数据，即访问量达到预设条件的热门数据，而第二类媒体服务器中可以存储第一类存储数据和第二类存储数据，即热门数据和需要长期保存的数据。
管理服务器，主要用于对媒体服务器中存储的数据的访问量进行统计、分析、排序等，确热门数据。
调度服务器，主要用于根据用户请求访问的数据以及各媒体服务器的负载情况，确定为用户提供服务的媒体服务器。
其中，第一类媒体服务器为通过虚拟技术生成的虚拟服务器；第二类服务器、管理服务器和调度服务器可以是物理服务器，可以是虚拟的服务器。
应当理解，图2所示的CDN系统架构并不对本发明实施例提供的CDN系统中数据存储方法构成限定，可以适用本发明实施例提供的CDN系统中数据存储方法的CDN系统架构，可以包括比图示更多或更少的部件，或者组合某些部件。
参见图3，为本发明实施例提供的CDN系统中的数据存储方法的流程示意图，如图所示，该方法具体包括以下步骤：
步骤301、管理服务器接收第一类媒体服务器发送的获取迁移数据指示请求。
在一些实施例中，可以通过PaaS(Platform-as-a-Service，平台即服务)平台对CDN系统中的各媒体服务器的负载情况进行监控，包括第一类媒体服务器和第二类媒体服务器的负载情况，并在各媒体服务器的负载情况达到预设条件时，扩展或撤除媒体服务器。具体地，PaaS平台可以周期性地获取各媒体服务器的负载情况，也可以由事件触发PaaS平台获取各媒体服务器的负载情况；或者，各媒体服务器也可以周期性地主动向PaaS平台上报其负载情况，也可以由事件触发媒体服务器向PaaS平台上报其负载情况。
当PaaS平台发现第二类媒体服务器的负载情况达到第一预设条件时，即判定当前第二类媒体服务器的负载较大，需要生成新的媒体服务器分散用户的访问请求，降低第二类存储的负载，PaaS平台则会通过虚拟技术生成新的媒体服务器，即第一类媒体服务器，并按照预先设置的资源参数为新生成的第一类媒体服务器配置系统资源。
其中，第一预设条件可以包括以下条件之一或组合：
当前运行的第二类媒体服务器的CPU(Central Processing Unit，中央处理器)利用率达到第一阈值。
具体地，可以是当前运行的全部第二类媒体服务器的CPU利用率均达到预设阈值，或者，也可以说当前运行的全部第二类媒体服务器的CPU利用率的平均值达到预设阈值，当然也可以对当前运行的第二类媒体服务器的CPU利用率使用其他统计算法分析出的CPU利用率的统计量达到预设阈值。
当前运行的第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值。
具体地，可以是当前运行的全部第二类媒体服务器的当前传输速率与最大传输速率的比值均达到预设阈值，也可以是当前运行的全部第二类媒体服务器的当前传输速率与最大传输速率的比值的平均值达到预设阈值，当然也可以采用其他统计算法分析出当前传输速率与最大传输速率的比值的其他统计量达到预设阈值。
当前运行的第二类媒体服务器的待处理业务量达到第三阈值。
具体地，可以是当前运行的全部第二类媒体服务器的待处理业务量均达到预设阈值，也可以是当前运行的全部第二类媒体服务器的待处理业务量的平均值达到预设阈值，当然也可以是采用其他统计算法分析出关于待处理业务量的其他统计量达到预设阈值。
上述PaaS平台确定是否需要创建新的第一类媒体服务器的情况，仅为根据第二类媒体服务器的负载情况进行判断，若第一类媒体服务器的负载较重，也可以增加新的第一类媒体服务器，即把上述第一预设条件中的第二类媒体服务器替换为第一类媒体服务器即可，原理相同，此处不再赘述。
此外，在确定是否需要创建新的第一类媒体服务器时，也可以综合考虑第一类媒体服务器和第二类媒体服务器的负载情况，即把上述第一预设条件中的第二类媒体服务器替换为第一类媒体服务器和第二类媒体服务器即可，此处不再赘述。
PaaS平台在根据各媒体服务器的负载情况，创建新的第一类媒体服务器后，PaaS平台指示新创建的第一类媒体服务器从管理服务器处获取迁移数据指示。新创建的第一类媒体服务器向管理服务器发送获取迁移数据指示请求。
当然，也可以由其他服务器执行上述PaaS平台根据各媒体服务器的负载情况生成虚拟媒体服务器以及指示生成的第一类媒体服务器从管理服务器处获取迁移数据指示的步骤。
步骤302、管理服务器向第一类媒体服务器发送迁移数据指示。
其中，迁移数据指示用于指示第一类媒体服务器从第二类媒体服务器和/或第一类媒体服务器中获取第一类数据并存储。
具体地，第一类数据为访问量达到预设条件的数据，例如，在预设时间内访问量达到预设阈值的数据即为第一类数据。第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
进一步地，可以由管理服务器根据当前运行的第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量，确定出第一类数据。例如，管理服务器可以周期性地或各媒体服务器中各数据的访问量，或者，也可以由各媒体服务器周期性地或由事件触发主动向管理服务器上报数据的访问情况，管理服务器可以将预设时间内访问量达到预设阈值的数据确定为第一类数据。
步骤303、第一类媒体服务器根据获取迁移数据指示，从第二类媒体服务器和/或其他第一类媒体服务器中获取第一类数据并保存，即获取热门数据并保存。
举例说明，如图4所示，由于第二类媒体服务器1的中存储的数据E的访问量增加，使得第二类媒体服务器1的负载较大，且第一类媒体服务器1和第一类媒体服务器2的存储空间已满，在生成新的第一类媒体服务器3后，管理服务器指示第一类媒体服务器3从第二类媒体服务器1中获取数据E并存储，以均衡第二类媒体服务器1的负载。
在实际应用中，一个VOD文件的数据在进行存储时，可以被分为若干个分片进行存储，管理服务器可以以分片为单位确定每个分片的访问量，分别确定每个分片是否为热门数据。如图5所示，VOD文件A的数据被分为分片1、分片2、…、分片n-1、分片n、…，其中，管理服务器将分片1至分片n-1确定为热门数据，故根据管理服务器的指示，第一类媒体服务器2仅获取并保存有分片1至分片n-1。当用户请求从分片1开始播放该VOD文件时，调度服务器调度第一类媒体服务器2为用户提供服务，当用户需要继续播放分片n时，第一类媒体服务器2中并未保存有分片n的数据，第一类媒体服务器2可以从保存有分片n的第二类媒体服务器1中获取分片n的数据提供给用户并保存该分片的数据，以便下次可以直接为用户提供服务。
在一些实施例中，管理服务器还可以向第一类媒体服务器发送删除数据指示，以使第一类媒体服务器删除该删除数据指示所指示的数据。具体地，管理服务器在确定哪些数据为热门数据时，也可以确定哪些热门数据的访问量降低变为非热门数据，当一些数据从热门数据从变为非热门数据时，管理服务器可以指示存储有该数据的第一类媒体服务器，以使第一类媒体服务器删除这些变为非热门数据的数据，把有限的存储空间留给当前的热门数据。
在本发明上述实施例，管理服务器仅指示第一类媒体服务器获取并保持第一类数据即热门数据，而不指示第一类媒体服务器获取并保存第二类数据，因此，第一类媒体服务器所需的存储空间小于第二类媒体服务器所需的存储空间。在实际应用时，若当前运行的第一类媒体服务器和/或第二类媒体服务器的负载较大需要生成新的服务器以均衡当前运行服务器的负载时，例如某些热门数据的访问量增加、某些非热门数据的访问量增加变为热门数据，此时生成新的第一类媒体服务器，并指示新生成的第一类媒体服务器从其他服务器中获取第一类数据即热门数据，即可实现对当前较大的访问需求进行分流。由于生成的新的第一类媒体服务器仅用于获取并存储热门数据，因此新生成的第一类媒体服务器的存储空间不需要与第二类媒体服务器的存储空间一样大。
在一些实施例中，PaaS平台还可以在当前运行的各媒体服务器的负载情况达到撤除服务器的预设条件时，从第一类媒体服务器中选择至少一个媒体服务器并撤除。由于撤除的为仅保存有热门数据的第一类媒体服务器，因此，该第一类媒体服务器中保存的数据在其他服务器中仍存在备份，故在撤除该第一类媒体服务器时，不必先将该第一类媒体服务器中存储的数据迁移至其他媒体服务器中，简化了撤除服务器的操作。
为了更清楚的理解本发明上述实施例，下面以具体的实施例进行详细说明。
实施例1
如图6所示，PaaS平台周期性地获取第二类媒体服务器1、第二类媒体服务器2、…，第二类媒体服务器n的负载情况。当PaaS平台确定当前运行的第二类媒体服务器CPU利用率的平均值大于70％，且当前传输速率与最大传输速率的比值的平均值大于80％时，满足创建新的第一类媒体服务器的预设条件，PaaS平台通过虚拟技术生成新的第一类媒体服务器m，第一类媒体服务器N向管理服务器发送获取迁移数据指示请求，管理服务器指示第一类媒体服务器N从第二类媒体服务器1中获取热门数据并保存。
实施例2
如图7所示，PaaS平台周期性地获取第一类媒体服务器1、第一类媒体服务器2、…、第一类媒体服务器n的负载情况。当PaaS平台确定当前运行的第一类媒体服务器CPU利用率的平均值大于70％，且当前传输速率与最大传输速率的比值的平均值大于80％时，满足创建新的第一类媒体服务器的预设条件，PaaS平台通过虚拟技术生成新的第一类媒体服务器n+1，第一类媒体服务器n+1向管理服务器发送获取迁移数据指示请求，管理服务器指示第一类媒体服务器n+1从第二类媒体服务器1中获取热门数据并保存。
基于相同的技术构思，本发明实施例还提供了一种管理服务器，如图8所示，包括：
接收模块801，用于接收第一类媒体服务器发送的获取迁移数据指示请求，所述第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；
发送模块802，用于向所述第一类媒体服务器发送迁移数据指示，所述迁移数据指示用于指示所述第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；
所述第二类存储类服务器为所述CDN系统中除第一类媒体服务器之外的服务器，所述第二类媒体服务器中存储有第一类数据和/或第二类数据；所述第一类数据为访问量达到第二预设条件的访问量数据，所述第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
在一种可能的实现方式中，所述管理服务器还可以包括：
获取模块803，用于获取第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量；
确定模块804，用于根据所述访问量确定第一类数据。
在一种可能的实现方式中，所述发送模块802，还用于：
向所述第一类媒体服务器发送删除数据指示，以使所述第一类媒体服务器删除所述删除数据指示所指示的数据，所述删除数据指示所指示的待删除数据为访问量达到第三预设条件的访问量数据。
在一种可能的实现方式中，所述第一预设条件包括以下之一或组合：
第一类媒体服务器和/或第二类媒体服务器的中央处理器CPU的利用率达到第一阈值；
第一类媒体服务器和/或第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值；
第一类媒体服务器和/或第二类媒体服务器的待处理业务量达到第三阈值。
基于相同的技术构思，本发明实施例还提供了一种CDN系统，如图9所示，包括：
如前所述的管理服务器、至少一个第二类媒体服务器以及至少一个第一类媒体服务器。
当然，该CDN系统还可以包括如前所述的调度服务器。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当这些计算机指令在计算机上运行时，使得计算机有能力执行上述方法实施例中的任一实施例所描述的方案。
本发明实施例还提供了一种计算机可读存储介质，用于存储为执行上述处理器所需执行的计算机软件指令，其包含用于执行上述处理器所需执行的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种内容分发网络CDN系统中的数据存储方法，应用于媒体服务器的弹性伸缩场景中，其特征在于，包括：
管理服务器接收第一类媒体服务器发送的获取迁移数据指示请求，所述第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；
所述管理服务器向所述第一类媒体服务器发送迁移数据指示，所述迁移数据指示用于指示所述第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；
所述第二类存储类服务器为所述CDN系统中除第一类媒体服务器之外的服务器，所述第二类媒体服务器中存储有第一类数据和/或第二类数据；所述第一类数据为访问量达到第二预设条件的访问量数据，所述第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
2.如权利要求1所述的方法，其特征在于，还包括：
所述管理服务器获取第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量；
所述管理服务器根据所述访问量确定第一类数据。
3.如权利要求1所述的方法，其特征在于，在所述管理服务器向所述第一类媒体服务器发送迁移数据指示之后，还包括：
所述管理服务器向所述第一类媒体服务器发送删除数据指示，以使所述第一类媒体服务器删除所述删除数据指示所指示的数据，所述删除数据指示所指示的待删除数据为访问量达到第三预设条件的访问量数据。
4.如权利要求1所述的方法，其特征在于，所述第一预设条件包括以下之一或组合：
第一类媒体服务器和/或第二类媒体服务器的中央处理器CPU的利用率达到第一阈值；
第一类媒体服务器和/或第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值；
第一类媒体服务器和/或第二类媒体服务器的待处理业务量达到第三阈值。
5.一种管理服务器，应用于媒体服务器的弹性伸缩场景中，其特征在于，包括：
接收模块，用于接收第一类媒体服务器发送的获取迁移数据指示请求，所述第一类媒体服务器为当CDN系统中的媒体服务器负载情况满足第一预设条件时生成的虚拟服务器；
发送模块，用于向所述第一类媒体服务器发送迁移数据指示，所述迁移数据指示用于指示所述第一类媒体服务器从第一类媒体服务器和/或第二类媒体服务器中获取第一类数据并存储；
所述第二类存储类服务器为所述CDN系统中除第一类媒体服务器之外的服务器，所述第二类媒体服务器中存储有第一类数据和/或第二类数据；所述第一类数据为访问量达到第二预设条件的访问量数据，所述第二类数据为需要永久存储的数据，或者设置存储期限且未达到存储期限的数据。
6.如权利要求5所述的管理服务器，其特征在于，还包括：
获取模块，用于获取第一类媒体服务器和/或第二类媒体服务器中存储的数据的访问量；
确定模块，用于根据所述访问量确定第一类数据。
7.如权利要求5所述的管理服务器，其特征在于，所述发送模块，还用于：
向所述第一类媒体服务器发送删除数据指示，以使所述第一类媒体服务器删除所述删除数据指示所指示的数据，所述删除数据指示所指示的待删除数据为访问量达到第三预设条件的访问量数据。
8.如权利要求5所述的管理服务器，其特征在于，所述第一预设条件包括以下之一或组合：
第一类媒体服务器和/或第二类媒体服务器的中央处理器CPU的利用率达到第一阈值；
第一类媒体服务器和/或第二类媒体服务器的当前传输速率与最大传输速率的比值达到第二阈值；
第一类媒体服务器和/或第二类媒体服务器的待处理业务量达到第三阈值。
9.一种CDN系统，其特征在于，包括：如权利要求5至8中任一项所述管理服务器，至少一个第二类媒体服务器以及至少一个第一类媒体服务器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-4任一所述的方法。
CN201710405124.1A 2017-05-31 2017-05-31 一种cdn系统中的数据存储方法、设备及系统 Active CN108989370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710405124.1A CN108989370B (zh) 2017-05-31 2017-05-31 一种cdn系统中的数据存储方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710405124.1A CN108989370B (zh) 2017-05-31 2017-05-31 一种cdn系统中的数据存储方法、设备及系统

Publications (2)

Publication Number Publication Date
CN108989370A true CN108989370A (zh) 2018-12-11
CN108989370B CN108989370B (zh) 2020-11-06

Family

ID=64501676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710405124.1A Active CN108989370B (zh) 2017-05-31 2017-05-31 一种cdn系统中的数据存储方法、设备及系统

Country Status (1)

Country Link
CN (1) CN108989370B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177179A (zh) * 2021-04-30 2021-07-27 平安证券股份有限公司 数据请求连接管理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
CN103167026A (zh) * 2013-02-06 2013-06-19 数码辰星科技发展（北京）有限公司 一种云存储环境数据处理方法、系统及设备
CN103856512A (zh) * 2012-11-30 2014-06-11 华为技术有限公司 云计算的管理服务器、工作和闲置主机以及资源调度方法
CN105162859A (zh) * 2015-08-20 2015-12-16 湖南亿谷科技发展股份有限公司 服务器动态扩容系统及方法
CN106202212A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技（中国）有限公司 一种基于数据服务器集群实现数据拆分的方法及系统
CN106599308A (zh) * 2016-12-29 2017-04-26 郭晓凤 一种分布式元数据管理方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN102122303A (zh) * 2011-03-15 2011-07-13 浪潮(北京)电子信息产业有限公司 一种进行数据迁移的方法及服务系统及服务器设备
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
CN103856512A (zh) * 2012-11-30 2014-06-11 华为技术有限公司 云计算的管理服务器、工作和闲置主机以及资源调度方法
CN103167026A (zh) * 2013-02-06 2013-06-19 数码辰星科技发展（北京）有限公司 一种云存储环境数据处理方法、系统及设备
CN105162859A (zh) * 2015-08-20 2015-12-16 湖南亿谷科技发展股份有限公司 服务器动态扩容系统及方法
CN106202212A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技（中国）有限公司 一种基于数据服务器集群实现数据拆分的方法及系统
CN106599308A (zh) * 2016-12-29 2017-04-26 郭晓凤 一种分布式元数据管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177179A (zh) * 2021-04-30 2021-07-27 平安证券股份有限公司 数据请求连接管理方法、装置、设备及存储介质
CN113177179B (zh) * 2021-04-30 2023-11-21 平安证券股份有限公司 数据请求连接管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108989370B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US10397062B2 (en) Cross layer signaling for network resource scaling
Chowdhury et al. Leveraging endpoint flexibility in data-intensive clusters
US9442763B2 (en) Resource allocation method and resource management platform
US20200042364A1 (en) Movement of services across clusters
JP6881575B2 (ja) 資源割当システム、管理装置、方法およびプログラム
US20130074091A1 (en) Techniques for ensuring resources achieve performance metrics in a multi-tenant storage controller
JP6783850B2 (ja) データトラフィックを制限するための方法及びシステム
KR20120063499A (ko) 엔터프라이즈 네트워크에서 할당된 클라우드 자원의 동적 로드 밸런싱 및 스케일링
KR20150085376A (ko) 클라우드 게이밍 환경에서 렌더링 서비스를 위한 부하 분산 시스템 및 이의 부하 분산 방법
KR101639797B1 (ko) 가상머신 패킷을 처리하는 네트워크 인터페이스 장치 및 그 방법
US20120233313A1 (en) Shared scaling server system
US20140244844A1 (en) Control device and resource control method
US10560385B2 (en) Method and system for controlling network data traffic in a hierarchical system
CN109510834B (zh) 一种安全策略下发方法及装置
CN106059940B (zh) 一种流量控制方法及装置
US9363199B1 (en) Bandwidth management for data services operating on a local network
CN105516267B (zh) 云平台高效运行方法
Choi et al. An improvement on the weighted least-connection scheduling algorithm for load balancing in web cluster systems
Garcia-Carballeira et al. Enhancing the power of two choices load balancing algorithm using round robin policy
KR101613513B1 (ko) 네트워크 대역폭 및 cpu 이용률을 고려한 가상머신 배치 방법 및 시스템
Patel et al. A survey on load balancing in cloud computing
Hayat et al. Efficient energy utilization in cloud fog environment
CN108989370A (zh) 一种cdn系统中的数据存储方法、设备及系统
US9858185B1 (en) Multi-tier data storage using inclusive/exclusive burst buffer caching based on reference counts
Shwe et al. Proactive re-replication strategy in HDFS based cloud data center

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200205

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: HUAWEI TECHNOLOGIES Co.,Ltd.

Address before: 210012 HUAWEI Nanjing base, 101 software Avenue, Yuhuatai District, Jiangsu, Nanjing

Applicant before: Huawei Technologies Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant