CN105376218A - 一种快速响应用户请求的流媒体系统和方法 - Google Patents

Abstract

本发明涉及一种快速响应用户请求的流媒体系统和方法。本发明提供了一种流媒体系统架构以及相应的对用户请求进行服务的方法，使得在一定压力的情况下，能够保证用户的请求能够及时的被响应，并且不影响其他在线用户的播放质量。

Description

一种快速响应用户请求的流媒体系统和方法

技术领域

本发明涉及流媒体领域，尤其涉及对用户请求的快速响应。

背景技术

随着计算机网络技术的进步，流媒体技术也日益流行。流媒体技术是将整个多媒体文件(例如，视频、音频、以及其他多媒体文件等)分成各个分段，由流媒体服务器向用户连续地传送。用户不必等到整个文件全部下载完毕，而是只需经过一段时间的启动延时即可播放和观看该多媒体文件。

流媒体服务器的其中一个比较关键的指标是保证可靠的快速响应用户请求服务，尤其是在高并发、高在线的情况下。现有系统在这方面尚存缺陷，有待改进。然而，本发明不限于解决上述问题。

发明内容

本发明提供了一种流媒体系统架构以及相应的对用户请求进行服务的方法，使得在一定压力的情况下，能够保证用户的请求能够及时的被响应，并且不影响其他在线用户的播放质量。

根据本发明的一实施例，公开了一种流媒体系统架构，包括：云存储；全局调度系统；区域推流服务器群节点；以及用户终端。所述云存储是该流媒体系统的内容源，包括多个存储服务器。所述全局负载调度用于将用户请求调度到合适的区域推流服务器群节点以及在必要时调度到云存储。所述区域推流服务器群节点用于将用户请求调度到其所包含的一个或多个高速缓存服务器之一。

根据本发明的一实施例，公开了一种对流媒体用户请求进行服务的方法，包括：接收用户请求；基于接收到的用户请求确定就近区域推流服务器群节点；将用户调度到就近区域推流服务器群节点，以对该用户请求进行响应；响应于确定就近区域推流服务器群节点不能对该请求进行服务，确定其他区域推流服务器群节点是否能对该请求进行服务；如果是，则将用户调度到其他区域推流服务器群节点以对该用户请求进行响应；否则，响应于区域推流服务器群节点都不能对该请求进行服务，将用户调度到云存储以对该用户请求进行响应。

根据本发明的一实施例，公开了一种高速缓存服务器的体系结构，包括：CPU，所述CPU包括一个或多个核，在多核CPU的情况下，所述CPU被划分成两段，即上段和下段：上段用于进行用户服务，而下段则用来控制本地磁盘的读取，CPU的上段与下段之间采用OS内核间(消息触发及数据拷贝)进行通讯，在上段中，每个CPU的核都会以独占模式托管一定比例的用户，使核与核之间尽量避免过多的交互；多级存储，其中在所述多级存储中统计不同性能级别磁盘上的热度搬迁和淘汰，以充分地利用内存、高性能磁盘SSD与中间性能SAS盘之间的一个针对性能和相对大磁盘空间的利用率的一个折中，每个级别的存储上，以大块的模式将视频片储存在本地磁盘上，以保证传统磁盘上每个块能够以一种相对连续性的存储在磁盘上，同时根据流媒体文件编码的特性和用户行为习惯，进行跨文件的预读；以及网络接口，所述网络接口采取无中断模型，以轮询的模式让网卡进行收发数据。

附图说明

图1示出了根据本发明的实施例的系统架构。

图2示出了根据本发明的实施例的高速缓存服务器的体系结构框图。

图3示出了根据本发明的实施例的对用户请求进行服务的方法的流程图。

具体实施方式

申请人意识到，系统架构决定了调度模型，调度的好坏决定了服务的响应速度和用户流媒体质量的体验。因而，在本发明中，申请人提供了一种优化的流媒体系统架构，获得了良好的调度效果，提高了对用户请求的响应速度。

现在将详细参考附图描述本发明的实施例。

图1示出了根据本发明的实施例的流媒体系统的系统架构。如图所示，该系统包括云存储、全局负载调度、区域推流服务器群节点A、区域推流服务器群节点B、用户终端1-2等等。虽然图1中仅示出了两个区域推流服务器群节点A和B以及两个用户终端1-2，但可以理解，这仅仅是为了简明和便于描述的目的来示出的，本系统可以包含任何数量的区域推流服务器群节点和用户终端。还需注意，虽然在图1中将各个组件示为彼此分开，但可以理解，这仅仅是这些组件在逻辑上的关系，它们中的一些可以彼此结合。例如，全局负载调度可以与云存储位于一处，可以与某一区域推流服务器群节点位于一处，等等。

云存储包含存储服务器集群。云存储是该流媒体系统的内容源，用于存储包括多媒体文件(例如视频、音频等等)在内的各种内容。这些多媒体文件是以文件切片的形态存储在云存储中的各个磁盘服务器之上的。因而，在并发访问文件的时候分散了单台存储服务器的磁盘压力，同时也提高了通过云存储提供内容的速度和可靠性。

云存储用于向各区域推流服务器群节点提供内容以及在必要时直接向用户提供内容。云存储中的内容是与其在内容访问周期内的热度相关联地存储的。内容热度可根据在一定内容访问周期中的用户点击频率等来计算并与该内容相关联地存储。例如，可计算内容在一定的访问周期内用户点击数的加权平均，以获得内容热度。例如，假定内容访问周期介于T1到TN，TN＝N*T1，N是大于1的整数，内容访问频率在T1到TN之间线性分布。假设内容在每个时间TX里获得的访问量为TXPV，设计系数A＝(N-1)/N。如此，可如下计算随时间衰减的关注度(即，热度C)：

T1PV*A^(N-1)+T2PV*A^(N-2)+T3PV*A^(N-3)+……+TNPV＝∑TXPV*A^(N-X)

用一个字段存储截止到上一个时间周期的∑TXPV*A^(N-X)(即该内容的热度C)，另一个字段存储当前时间周期的访问量(此值表示为D)，当进入下一时间周期时，使用C*A+D替换C，然后D清零。在内容热度到达一定热度阈值时，把该内容从云存储搬迁到高速缓存服务器。一般而言，内容的初始热度为零，但可以根据需要对某些内容设置大于零的初始热度。

此外，可以将播放时长、不同用户的点击等作为计算内容热度时的一个参数加以考虑。例如在计算内容热度时，播放时长短于一定阈值的用户点击可不被考虑或者权重较小；不同用户的多次点击比同一用户的多次点击权重更大；等等。

云存储还用于在各高速缓存服务器上不存在用户所请求的内容时直接对该用户请求进行服务。在这个服务过程中，作为周期性地计算文件片的热度的补充，也会对这些冷门文件片进行热度统计和计算，来进行一系列淘汰的算法，以保证高速缓存服务器之上的文件片永远是热门的。

全局负载调度是该流媒体系统的入口，即用户终端的内容请求会被发送到全局负载调度。如其名称所示，全局负载调度负责整个系统中用户请求的调度。首先，全局负载调度确定就近的区域推流服务器群节点，如果在该就近的区域推流服务器群节点上存在用户所请求的内容的情况下，则将用户调度到该节点；当就近区域推流服务器群节点内没有找到用户所请求的内容或该就近节点压力过大时，则将用户调度到其他区域推流服务器群节点上进行服务；如果在其他区域推流服务器群节点上仍未找到所请求的内容，则将用户调度到云存储来直接对用户进行服务。例如，全局负载调度根据用户请求中所包括的IP地址等信息来确定就近的区域推流服务器群节点。全局负载调度将该IP与区域推流服务器群节点的各IP进行比较，以确定就近节点。随后，确定就近节点上是否存在用户所请求的内容。

每一区域推流服务器群节点包括一个或多个高速缓存服务器，它们存储有来自云存储(即，内容源)的各媒体文件内容。与云存储相同，在高速缓存服务器之上存储的文件也是以文件分片形态存在的，这增加了高性能高速缓存磁盘的存储热度密度，从而直接增加了热点分片的命中率，也提升了服务的响应速度及服务质量。

高速缓存服务器上的内容根据其相应热度来进行更新。例如，具有其热度已经低于阈值的内容或具有最低热度的内容可被淘汰，来为新内容腾出存储空间。这一更新可以周期性地进行，也可以在接收到来自云存储的新内容时进行，或者按这两种方式的任何组合来进行。

区域推流服务器群节点在接收到所调度的用户请求后，还通过负载平衡以公平公正的模式来将用户分派到该服务器群中的某个负荷较轻的高速缓存服务器之上，来进行更好更快速的服务。例如，在接收到所调度的用户请求后，将其分配给任何未过载的高速缓存服务器。优选地，分配给其中负载较小或最小的服务器。另外，高速缓存服务器还可将用户调度到未过载且现有用户较多的服务器，从而使得使用尽可能少的高速缓存服务器来对用户进行服务，而其他没有对任何用户进行服务的高速缓存服务器则处于休眠状态以节省电力；在所有运转的服务器都已达到预定负载的情况下，则自动唤醒休眠的服务器之一来对新用户请求进行服务，如此既保证了服务质量又节省了电力。

用户终端1和2用于发出请求，并作为响应，接收相应的流媒体内容。用户终端可以是能接收和播放流媒体内容的任何计算设备，包括个人计算机、便携式媒体播放器、智能手机、平板计算机等等。

在传统的多核多线程共用模型中，由于CPU的多核多线程时间片切换及捆绑使用模式下，导致当压力在一定负荷并且涌入大量用户请求时，会产生相互干扰，使原有的播放用户产生卡顿，影响服务质量，并且会导致用户请求响应变慢。为了使单台高速缓存服务器能够有效的发挥高性能服务器自身的最大优势，并且能够稳定地提供服务，本发明还对高速缓存服务器的架构做了改进，譬如CPU的利用、内存磁盘的分级分片缓存等等。图2示出了经改进的高速缓存服务器的体系结构示意图。下面将参考图2来详细描述高速缓存服务器的各个改进方面。注意，本领域技术人员可以理解，这些方面并非必须要全部实现。例如，在单核CPU中，针对多核CPU的改进就无需实现；或者可根据需要选择性地实现以下各方面中的任何一个或多个或全部。

CPU：

在图2所示的体系结构中，针对于不同用户的服务进行了有效隔离，从而避免相互干扰，且提升了用户请求的快速稳定性。例如，如图所示，CPU被划分成两段(上段和下段)：上段所包括的各个核主要是用于进行用户服务，即基于核来隔离用户以及进行网络推流，而下段所包括的各个核则用来控制本地磁盘的读取(其中包含分级分片等行为)。CPU的上段与下段之间采用OS内核间拷贝(消息触发及数据拷贝)进行通讯，以提升整体CPU的性能。在上段中，每个CPU的核都会以独占模式托管一定比例的用户，使核与核之间尽量避免过多的交互，从而避免线程切换与作用力的相互干扰。在下段中，各个核负责磁盘读取。如此，高速缓存的服务器的各个核相对独立地运行，彼此干扰减少，隔离了不同的用户。

存储：

在高速缓存服务器的磁盘使用上，本发明考虑了大磁盘空间的缓存高性能体现，所以在整个磁盘层次上体现了多级存储。本发明在多级存储中统计不同性能级别磁盘上的热度搬迁和淘汰，既能支持大存储的缓存空间的同时,又能保障较热点文件的快速服务。例如，各内容按其热度高低依次被置于内存、高性能磁盘SSD以及中间性能SAS盘等各个级别的存储中，从而在充分利用多级存储的效率的情况下改进了高速缓存服务器的响应时间。

此外，每个级别的存储中，在文件以文件分片形态存在的基础上，本发明进而以大块(bigchunk+fallocate)的模式将视频片储存在本地磁盘上，以保证传统磁盘上每个块也能够以一种相对连续性的存储在磁盘上，从而增加了磁盘顺序性来让读的能力发挥更大的吞吐和减少磁盘臂摆动的频率，并且让淘汰删除分片的性能更高更快，降低对其他在线用户的影响。在本文中，所述的文件片一般比文件块大，一般在几十MB左右，而大块则相对较小，一般为几十KB，大块在物理磁盘里是连续存储的。但是因为操作系统是预先分配块的，且是固定的，所以大块越大则会越浪费磁盘空间；然而，如果块比较小，则会在磁盘里产生很多随机存储片，这些随机片会对读造成很大的性能损耗。为此，本发明通过fallocate来使得能够分配比较大的文件片，且这些文件片是由N个大块(N≥1)组成，从而使得尽量让这些大块之间也保持在磁盘连续存储来保证磁盘性能。这样，通过使用大块模式，本发明将文件片分成N个连续的大块，从而能够在节省磁盘空间的情况下保证磁盘的存储顺序性，从而保证了读取操作的顺序性，让程序的性能有大幅度的提升。

由于每个文件片最终会以独立的文件形态存储在磁盘文件系统之上，故而内核提供的文件预读机制(即，单文件预读)已经无法满足我们需求，本发明系统设计了一个新的文件预读机制——分片读取及预读。由于分片文件是连续的，本发明将各分片文件之间的这一连续性存储起来。当一个分片文件即将读取结束时，通过获取分片文件之间的这一连续性信息，本发明能自动打开并预读该分片文件的后续一个分片文件，从而提升访问文件分片时的相应速度。这样，本发明根据流媒体文件编码的特性和用户行为习惯，能够做到跨文件的预读，从而有效地克服网络及磁盘性能的突发抖动，提高本发明系统的响应时间。

网络接口：

传统网卡接收和发送都依赖中断模式，由于高性能吞吐上动辄10Gbps的吞吐，会产生大量的中断，从而消耗大量的CPU。为此，在本发明的系统里采取了无中断模型，以轮询的模式让网卡进行收发数据来降低用户并发在线量所导致的大量中断所产生的CPU消耗。本发明还可以在中断和轮询模式之间切换。例如，在大量并发用户时采用轮询，而在少量并发时依然采用中断，从而节省在少量并发用户时的轮询空转所消耗的CPU。例如，本发明可在并发数低于预定阈值时采用中断模式，否则就采用轮询模式。

索引：

用户的响应除了正常播放以外，还体现在快进、快退、跳转等VCR操作，大量的VCR操作在视频文件中寻找关键帧会耗费大量磁盘和CPU性能。为此，本发明针对每部视频都建立了相关的索引及倍速文件。本发明按照常用倍速生用快进快退文件，倍速快进快退时顺序读此文件即可，比如2倍速、4倍速、8倍速、1/2倍速、1/4倍速、1/8倍速等等，而不需要每次都从原始文件中抽帧。每次用户跳转到指定点播放时，本发明的系统就会对索引里的关键帧进行定位，然后跳转到相应的视频文件的对应部分之中，来避免在一个视频文件里大量的递归查询的过程。针对快进快退操作，本发明系统直接从索引里找到相关倍速文件，并对倍速文件进行顺序播放，这样就省去了每次快进/快退时在原始视频文件里进行大量递归查询关键帧播放来达到倍速播放的效果，从而有效地降低磁盘及CPU的耗损，提高了对用户请求的响应速度。

图3示出了根据本发明的实施例的对客户请求进行服务的方法的流程图。

在步骤1，客户请求视频服务。所述请求包括该客户的IP、所请求内容的标识等信息。全局负载调度基于所述请求来确定就近区域推流服务器群节点。例如，将该客户请求中所包括的IP地址与区域推流服务器群节点的各IP进行比较，以确定就近区域推流服务器群节点。就近区域推流服务器群节点确定是否能对该请求进行服务。例如，就近区域推流服务器群节点是否包括所请求的内容，或者是否压力过大。如果就近区域推流服务器群节点包括所请求的内容且压力并不过大，则能够对该请求进行服务。响应于确定就近区域推流服务器群节点能对该请求进行服务，将客户调度到就近区域推流服务器群节点，以对该客户请求进行响应。在此，区域推流服务器群节点在接收到所调度的客户请求后，通过负载平衡以公平公正的模式将其分配给任何未过载的高速缓存服务器，以对该请求进行服务。优选地，分配给其中负载较小或最小的服务器。

在步骤2，客户向所返回的高速缓存服务器请求视频服务。例如，图2中示出了高速缓存服务器对请求进行服务的示例性过程。在接收到客户请求之后，高速缓存服务器会按热度来从多级存储中检索被请求的内容以推流到客户。在这一过程中，如上所述且如图2所示，高速缓存服务器的CPU的各个核被分成两段，下段检索并读取所请求的内容，并通过内核间拷贝将其传送到上段中的相应CPU核，上段的CPU核进而将该内容传送到网络接口，以将其推送到客户。

在高速缓存服务器对客户请求进行服务时，在高速缓存服务器确定某些内容片段没有缓存在本地的情况下，高速缓存服务器会向云存储请求相应的内容片段，并将请求的内容片段与本地缓存的内容片段拼接在一起，来形成视频流，以便提供给客户。

此外，在确定就近区域推流服务器群节点不能对该请求进行服务的情况下，全局负载调度进一步确定其他区域推流服务器群节点是否能对该请求进行服务。如果是，则将客户调度到其他区域推流服务器群节点以对该客户请求进行响应。否则，响应于区域推流服务器群节点都不能对该请求进行服务，将客户调度到云存储以对该客户请求进行响应。通过云存储对客户请求进行响应还包括对各文件片进行热度统计和预算，来进行一系列淘汰的算法，从而不断更新各文件片的热度，以保证高速缓存服务器之上的片段永远是热门的。例如，在客户被调度到云存储的情况下，其请求的内容片段可被同时传送给该客户的就近区域推流服务器群节点。或在所有区域推流服务器群节点都不能对客户请求进行服务的情况下，仍然将客户调度到其就近区域推流服务器群节点，然后由其中的高速缓存服务器代替客户向云存储请求内容片段。

通过以上的若干架构及推流高速缓存服务器的诸多方面的设计和优化，有效的减少消耗，提升对用户请求的响应速度及性能，且改善了用户体验。

本领域技术人员可显见，可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。

Claims (10)

1.一种用于流媒体服务系统中的高速缓存服务器，其特征在于：

CPU，所述CPU包括一个或多个核，在多核CPU的情况下，所述CPU被划分成上段和下段：上段用于进行用户服务，而下段则用来控制本地磁盘的读取，在上段中，每个CPU的核都会以独占模式托管一定比例的用户，使核与核之间避免过多的交互；

多级存储，其中在所述多级存储中统计不同性能级别磁盘上的热度搬迁和淘汰，以充分地利用内存、高性能磁盘SSD与中间性能SAS盘之间的一个针对性能和相对大磁盘空间的利用率的一个折中，同时根据流媒体文件编码的特性和用户行为习惯进行跨文件的预读；以及

网络接口，所述网络接口采取无中断模型，以轮询的模式让网卡进行收发数据。

2.如权利要求1所述的高速缓存服务器，其特征在于，所述CPU的上段与下段之间采用OS内核间(消息触发及数据拷贝)进行通讯。

3.如权利要求1所述的高速缓存服务器，其特征在于，在每个级别的存储上，以大块的模式将多媒体文件片储存在本地磁盘上，以保证传统磁盘上每个块能够以一种相对连续性的存储在磁盘上。

4.如权利要求1所述的高速缓存服务器，其特征在于，所述热度搬迁和淘汰是通过以下操作实现的：

获取各内容在一定的内容访问周期内的热度；

对于其热度达到预定阈值的内容，按其热度高低，依次置于内存、高性能磁盘SSD与中间性能SAS盘中；以及

对于热度低于预定阈值的内容或具有最低热度的内容，将其从高速缓存服务器中淘汰。

5.如权利要求1所述的高速缓存服务器，其特征在于，所述热度是如下计算的：

T1PV*A^(N-1)+T2PV*A^(N-2)+T3PV*A^(N-3)+……+TNPV，

其中内容访问周期介于T1到TN，TN＝N*T1，N是大于等于1的整数，内容访问频率在T1到TN之间线性分布，TXPV为内容在每个时间TX里获得的访问量，设计系数A＝(N-1)/N。

6.如权利要求1所述的高速缓存服务器，其特征在于，所述跨文件预读是通过以下操作来实现的：

存储各分片文件之间的连续性信息；

当一分片文件即将读取结束时，获取所述连续性信息以取得与当前分片文件相关联的后一分片文件的相应信息；

根据所获得的相应信息，自动打开并预读所述后一分片文件。

7.一种使用如权利要求1-6所述的高速缓存服务器的流媒体系统，所述流媒体系统还包括：

云存储，所述云存储包括多个存储服务器并且是该流媒体系统的内容源，所述云存储包括一个或多个多媒体文件；

全局调度系统，用于将用户请求调度到合适的区域推流服务器群节点以及在必要时调度到云存储；

包括一个或多个所述高速缓存服务器的区域推流服务器群节点，所述区域推流服务器群节点用于将用户请求调度到各高速缓存服务器之一；以及

用户终端。

8.一种提供流媒体服务的方法，包括：

接收用户请求；

基于接收到的用户请求确定就近区域推流服务器群节点，所述区域推流服务器群节点包括一个或多个高速缓存服务器，；

将用户调度到就近区域推流服务器群节点，以对该用户请求进行响应，其中将用户调度到就近区域推流服务器群节点包括使用所述用户请求中包括的IP信息；

响应于确定就近区域推流服务器群节点不能对该请求进行服务，确定其他区域推流服务器群节点是否能对该请求进行服务；

如果是，则在将用户调度到其他区域推流服务器群节点以对该用户请求进行响应；

否则，响应于区域推流服务器群节点都不能对该请求进行服务，将用户调度到云存储以对该用户请求进行响应。

9.如权利要求8所述的方法，其特征在于，所述高速缓存服务器中的内容是从云存储来更新的，其中所述从云存储更新包括：

记录内容的热度；

在内容的热度到达一定阀值时，把所述内容从所述云存储传送到所述高速缓存服务器，以提升服务效率。

10.如权利要求8所述的方法，其特征在于，所述高速缓存服务器还包括：

CPU，所述CPU包括一个或多个核，在多核CPU的情况下，所述CPU被划分成两段(上段和下段)：上段用于进行用户服务，而下段则用来控制本地磁盘的读取，CPU的上段与下段之间采用OS内核间(消息触发及数据拷贝)进行通讯，在上段中，每个CPU的核都会以独占模式托管一定比例的用户，使核与核之间尽量避免过多的交互；

多级存储，其中在所述多级存储中统计不同性能级别磁盘上的热度搬迁和淘汰，以充分地利用内存、高性能磁盘SSD与中间性能SAS盘之间的一个针对性能和相对大磁盘空间的利用率的一个折中，每个级别的存储上，以大块的模式将视频片储存在本地磁盘上，以保证传统磁盘上每个块能够以一种相对连续性的存储在磁盘上，同时根据流媒体文件编码的特性和用户行为习惯，进行跨文件的预读；以及

网络接口，所述网络接口采取无中断模型，以轮询的模式让网卡进行收发数据。