CN103747274A - 一种增设缓存集群的视频数据中心及其缓存资源调度方法 - Google Patents

Abstract

一种增设缓存集群的视频数据中心及其缓存资源调度方法，用于以网络摄像头为代表的非智能终端上载视频数据。本发明视频数据中心为了实时缓存海量上载的视频数据流，保障上载数据的完整性，避免因缓存服务器的工作不稳定，导致视频数据在上载过程中受到损失；并确保各个网络摄像头能够有效上载视频数据，同时实现各个缓存服务器的负载按其能力分配。除了保留视频数据中心的原有组成部件：内容分发集群、处理集群和存储集群以外，还增设缓存集群。该视频数据中心基于服务器个体之间的差异，按照“能者多劳”的调度策略解决缓存系统中负载分配不合理的问题。本发明能完成复杂、快速的海量数据的缓存上载，保证数据完整性与系统负载按能力有效分配。

Description

一种增设缓存集群的视频数据中心及其缓存资源调度方法

技术领域

本发明涉及一种增设缓存集群的视频数据中心及其缓存资源调度方法，属于云存储的技术领域。

背景技术

视频数据中心是由多个服务器组成，用于对视频数据进行分布式处理与存储，并利用视频数据中心存储的各类型数据为用户提供相应服务。

参见图1，介绍目前常见的视频数据中心的系统结构组成：包括由处理集群、存储集群和内容分发集群构成的现有视频数据中心与数据源和用户群。其中，数据源不断产生视频数据，并上载到视频数据中心中。视频数据中心的处理集群由多个处理服务器组成，用于从存储集群获取的需要分析处理的视频数据及其他类型数据，并在执行相应处理后，再将处理结果存储于存储集群中。视频数据中心的存储集群由多个数据存储服务器组成，用于存储视频数据中心产生的有用数据，以及从数据源上载的视频数据，并采用设定的存储策略持久地存储这些数据；当其他集群需要这些数据时，及时、高效地读取该数据，并转发给相应集群。视频数据中心的内容分发集群由多个内容分发流媒体服务器组成，负责从存储集群获取需要分发给用户的视频数据，并等待用户的访问；然后向用户分布式分发其感兴趣的视频数据。用户群通过访问数据中心的内容分发集群的流媒体服务器获取感兴趣的媒体资源。

现有的视频数据中心的任务是要保障其视频数据内容分发的服务质量。现有的许多资源调度方案分别用于缩短分发时间、提高系统资源利用率、以及均衡与合理配置集群中各节点的负载等多个目标。由于视频数据中心中采用了大量的分布式技术及并行处理技术。所以，在资源调度的过程中，如何实现集群的负载合理分配，吞吐量优化与提高处理效率等问题就格外受到关注。

视频数据中心中针对内容分发的资源调度主要有两个途径：放置在存储服务器中的视频文件在内容分发集群中的缓存资源调度策略，以及用户访问内容分发集群中的缓存文件时的负载调度策略。

内容分发集群中缓存资源调度策略的目标是希望在缓存用户感兴趣的视频数据的同时，提高资源的利用率，减少分发服务的响应时间。为了实现上述目标，已经提出的调度策略有如下几种：

（1）、从提高资源利用率的角度出发，提高流媒体服务器与存储服务器间的带宽利用率，以提高资源利用率。

（2）、从负载均衡的角度出发，在存储集群向内容分发集群发送文件过程中，均衡不同文件对网络带宽的占用的同时，还要均衡存储集群中的存储服务器发送的文件对缓存资源的占用。

（3）、从减少分发服务响应时间的角度出发，根据文件的访问频率对视频文件采取对应的缓存策略。

用户访问内容分发集群中的缓存文件时的负责调度策略目标是：基于访问量的负载均衡调度策略，内容分发集群尽可能地均衡用户访问的缓存文件所占用的缓存资源，避免用户无法及时获取感兴趣的资源或者单一缓存资源过载的情况。为了解决上述问题，传统的调度策略是向用户提供缓存文件的多个副本，再由视频数据中心将这些副本放置在内容分发服务集群中的不同服务器节点上。在用户访问过程中，视频数据中心通过统计访问需求，并预测用户访问量，以决定哪些缓存文件已经过时需要替换，以及缓存文件所占缓存资源的比例。通过上述方式，视频数据中心可以很好地调节各个集群中各节点的负载，防止发生访问瓶颈与节点过载的情况。

现有技术的资源调度策略充分考虑了视频数据中心在提供内容分发服务过程中遇到的挑战，很好地解决了用户如何高效访问资源以及集群资源负载均衡的问题。但是，随着物联网等新技术的出现，组成视频数据中心的服务器越来越多，接入视频数据中心的设备也越来越多。各类型的视频数据中心的各个服务器个体之间也存在不小的差异。部分新接入设备的加入，形成了24×7的连续数据流，这对视频数据中心的工作造成了很大的压力。现有的视频数据中心及其资源调度策略已经无法很好地解决此类问题，如何解决上述问题已经成为业内科技人员关注的焦点课题。

例如，现在连接到数据中心的终端不再是用户参与的智能终端。一些处理能力较弱的非智能终端也被连接到数据中心，以提供更广泛的信息和帮助人们更好地了解自己周围的环境。以网络摄像头为代表的非智能终端提供了大量内容丰富的视频数据，使其成为视频数据中心获取信息的重要途径。

目前，视频数据中心的一个重要应用是：通过连接以网络摄像头为代表的各种网络设备为用户提供各种类型与视频相关的服务。由于资源的限制，网络摄像头无法与视频数据中心协调其视频数据流的发送速率，造成在视频数据中心中存在不完整的视频数据。另一方面，当摄像头的数目大量增加时，过多的网络摄像头同时上传视频数据，连续并含有大量内容的视频数据流将对视频数据中心获取数据的过程造成极大的压力和负担。因此，现有的视频数据中心及其资源调度技术已经无法很好地解决此类众多个摄像头作为数据源的问题，需要针对媒体上载阶段提出相应的结构改进的视频数据中心与其资源调度方法。例如，需要设计添加缓存系统的视频数据中心来应对大量上载的流媒体进行缓存，以保障上载数据的完整性。并且在保障数据完整性的同时，实现较好的上载服务质量，对缓存资源进行调度达成负载按工作能力进行分配。

发明内容

有鉴于此，本发明的目的是提供一种增设缓存集群的视频数据中心及其缓存资源调度方法，本发明的视频数据中心能够对海量上传的视频数据流数据进行缓存，以保障上载数据的完整性；且在保障数据完整性的同时，还需对缓存资源进行合理调度、实现负载按照缓存服务器能力进行分配和较好的上载服务质量。

为了达到上述目的，本发明提供了一种增设缓存集群的视频数据中心，其特征在于：该视频数据中心为了确实保障有效调度缓存资源，避免出现因缓存服务器的工作不稳定，导致视频数据在上载过程中受到损失；并确保各个网络摄像头能够有效上载视频数据，同时实现各个缓存服务器的负载按照其缓存能力进行合理分配；除了保留视频数据中心的原有组成部件：内容分发集群、处理集群和存储集群以外，还增设缓存集群；其中：

内容分发集群，由多个内容分发服务器组成，负责从存储集群获取需要分发给用户的视频数据，并等待用户的访问；然后向用户分布式分发其感兴趣的视频数据；

处理集群，由多个数据处理服务器组成，用于从存储集群获取需要分析处理的视频数据及其他类型数据，并在执行相应处理后，再将处理结果存储于存储集群中；

存储集群，由多个数据存储服务器组成，用于存储视频数据中心中产生的有用数据，以及从缓存集群的缓存资源上载的视频数据，采用设定的存储策略持久地存储这些数据；当其他集群需要这些数据时，及时、高效地读取该数据，转发给相应集群；

缓存集群，由多个缓存服务器组成，该缓存集群直接连接各个以网络摄像头为代表的接入设备，负责缓存接入设备上载到视频数据中心的视频数据，并保证完整、有效地缓存这些视频数据，同时，还负责将这些视频数据上载给存储集群；设有一个管理服务器与多个缓存服务器；这两类部件的功能是：

管理服务器，负责管理和监控该缓存集群中的各个缓存服务器的工作状态：对其缓存操作进行初始配置与实时调度，维持该缓存集群的负载有效地按照其能力分配，并及时发现与解决该缓存集群中的节点问题；设有：权值计算模块、状态监控模块和资源调度模块；

缓存服务器，用于连接与监控网络摄像头，为来自网络摄像头的视频数据流提供缓存服务，并保障上载视频数据的完整性；还负责将完整的视频数据传送与存储到存储集群中；设有：媒体流缓存模块、系统连接模块和编码模块。

为了达到上述目的，本发明还提供了一种采用本发明增设缓存集群的视频数据中心的缓存资源调度方法，其特征在于：所述方法是针对缓存集群中的缓存服务器的两类资源：缓存服务器的网络带宽与缓存容量进行资源调度，并根据各个缓存服务器的工作状态衡量其当前服务质量和确定其工作负载，以便尽可能保障每个缓存服务器处于负载按照缓存能力合理分布的状态，满足网络摄像头的上载需求；所述方法包括下列操作步骤：

（1）初始分配阶段：将所有网络摄像头平均分配到每个缓存服务器；

（2）状态计算阶段：系统运行过程中，缓存服务器的工作状态参数会因带宽的占用、任务的失效、新任务的加入的原因而发生变化，故管理服务器的权值计算模块按照下述公式周期计算所有缓存服务器的工作负载权值向量式中，自然数i为缓存服务器的序号，其最大值为n，ω_i为序号为i的缓存服务器的工作负载权值，该负载权值是根据缓存服务器的工作状态参数计算得到的；再设置向量V为

中的各个负载权值按照数值大小降序排列后的递减向量，并以向量V存储于管理服务器中；并选取该向量V中位于最后的缓存服务器承载该缓存集群中的负载，以使负载有效分配；

（3）系统调整阶段：新的网络摄像头加入而等待分配缓存资源时，或者缓存集群中的缓存服务器工作状态发生变化时，都要根据管理服务器中资源调度模块上的缓存资源配置策略，以及各个缓存服务器的工作状态与其执行能力对其负载进行调整，以有效分配工作负载。

现技术的视频数据中心组成架构及其调度方法都没有考虑到外部数据上载所造成的负载不合理、不高效的分配问题。随着物联网技术的发展，需要将众多非智能终端连接到视频数据中心。这些非智能终端无法调节上载数据的流量，从而导致上载数据的过程中，数据的丢失和视频数据中心资源利用的低效与负载不合理分配。

本发明增设缓存集群的视频数据中心及其缓存资源调度方法的创新优点是：首次考虑以网络摄像头为代表的非智能终端上载视频数据的需要而提出的改进技术，该增设缓存系统的视频数据中心承认各种各类服务器个体之间的初始状态存在差异，也就是有的或有些服务器的状态好（缓存资源充裕，宕机可能性低），这个或这些服务器相对于其他服务器来说，就应该缓存更多的数据，以使上载数据能够有足够的资源保障。然后按照“能者多劳”、即状态好的服务器多缓存上载数据的调度策略，解决缓存系统中负载分布不合理的问题。本发明的视频数据中心能够适应复杂、快速的海量数据的缓存上载过程，保证数据的完整性与系统的负载按缓存能力有效分配。

附图说明

图1是传统的视频数据中心的系统结构组成示意图。

图2是本发明增设缓存集群的视频数据中心结果组成示意图。

图3是本发明视频数据中心中的缓存集群的结构组成示意图。

图4是本发明视频数据中心中的缓存集群内功能模块结构组成示意图。

图5是本发明视频数据中心缓存资源调度方法操作步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

随着物联网技术的发展，连接到数据中心的终端不再是有用户参与的智能终端。一些处理能力较弱的非智能终端被连接到数据中心，用于提供更广泛的信息，以帮助人们更好地了解自己所处的环境。以网络摄像头为代表的非智能终端提供了大量内容丰富的视频数据，使其成为视频数据中心获取信息的主要途径。因资源的限制，网络摄像头无法与视频数据中心协调视频数据流的发送速率，从而造成视频数据在上传过程中的不完整。另一方面，过多的网络摄像头同时上传视频数据，将对视频数据中心造成极大的压力。

参见图2，详细叙述本发明增设缓存系统的视频数据中心结构组成：为了确实保障有效调度缓存资源，避免出现因缓存服务器的工作不稳定，导致视频数据在上载过程中受到损失；并确保各个网络摄像头能够有效上载视频数据，同时实现各个缓存服务器的负载按其能力合理分配。该视频数据中心除了保留视频数据中心的原有组成部件：内容分发集群、处理集群和存储集群以外，还增设有缓存集群。其中：

内容分发集群：由多个内容分发服务器组成，负责从存储集群获取需要分发给用户的视频数据，并等待用户的访问；然后向用户分布式分发其感兴趣的视频数据。

处理集群：由多个数据处理服务器组成，用于从存储集群获取需要分析处理的视频数据及其他类型数据，并在执行相应处理后，再将处理结果存储于存储集群中。

存储集群：由多个数据存储服务器组成，用于存储视频数据中心中产生的有用数据，以及从缓存集群的缓存资源上载的视频数据，采用设定的存储策略持久地存储这些数据；当其他集群需要这些数据时，及时、高效地读取该数据，转发给相应集群。

缓存集群：作为本发明视频数据中心的关键部件，由多个缓存服务器组成，该缓存集群直接连接各个以网络摄像头为代表的接入设备，负责缓存接入设备上载到视频数据中心的视频数据，并保证完整、有效地缓存这些视频数据，同时，还负责将这些视频数据上载给存储集群。设有一个管理服务器与多个缓存服务器（参见图3和图4所示）；这两类部件的功能是：

管理服务器，负责管理和监控该缓存集群中的各个缓存服务器的工作状态：对其缓存操作进行初始配置与实时调度，维持该缓存集群的负载有效分配，并及时发现与解决该缓存集群中的节点问题；设有：权值计算模块、状态监控模块和资源调度模块。管理服务器中的三个模块的功能介绍如下：

状态监控模块，负责周期监听各个缓存服务器发送的心跳信息，并利用该心跳信息监控各个缓存服务器的工作状态：每个缓存服务器的工作效率及其资源占用状况；再将这些工作状态信息进行整理后，发送给权值计算模块。

权值计算模块，用于根据来自状态监控模块的各个缓存服务器的工作状态信息，分别计算每个缓存服务器的负载权值，再按照各个缓存服务器的负载权值大小进行降序排列成表后，将该负载权值列表发送给资源调度模块。

资源调度模块，用于根据来自权值计算模块的缓存服务器负载权值列表和该资源调度模块中的网络摄像头列表，结合该模块自身配置的资源调度策略调配缓存资源：决策由哪些缓存服务器来缓存哪些网络摄像头的视频数据。

缓存服务器，用于连接与监控网络摄像头，为来自网络摄像头的视频数据流提供缓存服务，并保障上载视频数据的完整性；还负责将完整的视频数据传送与存储到存储集群中；设有：顺序连接的媒体流缓存模块、系统连接模块和编码模块。缓存服务器中的三个模块功能如下：

媒体流缓存模块，用于连接视频数据中心接入系统的网络摄像头，并对来自网络摄像头上载的视频数据流进行缓存；定期接收来自管理服务器的、用于展示由资源调度策略调配的具有缓存功能的各个网络摄像头的网络摄像头列表，以便根据该网络摄像头列表的实时变化，媒体流缓存模块按照管理服务器给出的缓存资源调度结果执行动态调整。

系统连接模块，用于根据缓存服务器自身的工作状态给管理服务器发送心跳信息；并根据缓存服务器缓存的数据特征，周期地连接存储集群中的每个存储服务器，用于申请存储资源，以供上载缓存服务器上对应的视频数据；并在确定视频数据的缓存位置与存储的视频数据后，立即通知编码模块对这些准备存储的视频数据进行编码。

编码模块，用于根据系统连接模块发送来的准备存储的视频数据及其存储位置对这些视频数据进行编码，以满足文件传输与存储的要求；然后，将完成编码的视频数据发送给存储服务器。

本发明增设缓存集群的视频数据中心对缓存资源调度方法是：基于缓存集群中缓存服务器的资源包含缓存服务器的网络带宽与缓存容量，故该方法是针对这两类资源进行资源调度，并根据各个缓存服务器的工作状态衡量其当前服务质量和确定其工作负载以便尽可能保障每个缓存服务器处于负载合理分布状态，满足网络摄像头的上载需求。

参见图5，介绍本发明方法的下列操作步骤：

步骤1，初始分配阶段：将所有网络摄像头平均分配到每个缓存服务器。

步骤2，状态计算阶段：系统运行过程中，缓存服务器的工作状态参数（包括：缓存服务器的工作稳定性和缓存服务器的资源使用情况）会因带宽的占用、任务的失效、新任务的加入的原因而发生变化，故管理服务器的权值计算模块按照下述公式周期计算所有缓存服务器的工作负载权值向量式中，自然数i为缓存服务器的序号，其最大值为n，ω_i为序号为i的缓存服务器的工作负载权值，该负载权值是根据缓存服务器的工作状态参数计算得到的；再设置向量V为

中的各个负载权值按照数值大小降序排列后的递减向量，并以向量V存储于管理服务器中；并选取该向量V中位于最后的缓存服务器承载该缓存集群中的负载，以使负载能够被合理、有效地分配。

该步骤包括下列操作内容：

（21）设置失效率α参数，用于表征缓存服务器的工作稳定性，该失效率α是缓存服务器从启动到当前所发生的任务失效次数与其执行的任务总次数之比，其计算公式为：

其中，T_i为序号为i的缓存服务器执行的总任务数，t_i为其成功完成的任务数，f_i为其失效的任务数，且定义该缓存服务器的初始失效率为0。

（22）设置资源使用率β参数，用于表征每个缓存服务器的资源占用率，其计算公式为：式中，R_i为序号为i的缓存服务器的资源总量，自然数j为视频数据流的序号，其最大值为m；r_j为第j个视频数据流占用缓存服务器缓存资源的数量；若每个网络摄像头所占用的资源数量相同，则上述计算公式被简化为：

式中，r_s为每个网络摄像头占用的资源数的均值。

（23）设置缓存服务器的负载权值ω参数，利用上述两项参数表征缓存服务器的工作状态，则第i个缓存服务器的负载权值ω_i的计算公式为：

式中，α_i和β_i分别为第i个缓存服务器的失效率和资源占用率；

若同构的数据流连接到各个缓存服务器，每个数据流占用的缓存服务器的资源相同时，则上述计算公式被简化为：

（24）根据上述步骤，求得每个缓存服务器工作状态的负载权值，进而比较各个缓存服务器工作状态的负载权值，并对缓存服务器资源进行调度。

步骤3，系统调整阶段：新的网络摄像头加入而等待分配缓存资源时，或者缓存集群中的缓存服务器工作状态发生变化时，都要根据管理服务器中资源调度模块上的缓存资源调度策略，以及各个缓存服务器的工作状态与其执行能力对其负载进行调整，以便根据服务器的能力合理承担工作负载。

该步骤在新的网络摄像头加入而等待分配缓存资源时，包括下列操作内容：

（31）管理服务器的资源调度模块通过用户输入的网络摄像头列表检查是否有新加入的网络摄像头；若没有，则维持工作状态不变；若有新加入的网络摄像头，则执行后续步骤（32）。

（32）资源调度模块开始查询从权值计算模块获取的各个缓存服务器的工作负载权值向量，并获取负载权值最低的缓存服务器位置；若有多个缓存服务器的负载权值相同时，则将拥有较高资源占用率的缓存服务器配置给新加入的网络摄像头，直到其资源完全被占用为止，以保证每个网络摄像头都能获得好的服务质量。

（33）资源调度模块将新加入的网络摄像头的IP地址发送给选中的缓存服务器的媒体流缓存模块。

（34）被选中的缓存服务器的媒体流缓存模块接收到新加入网络摄像头的IP地址后，就与该网络摄像头建立连接，开始缓存该网络摄像头的上载数据。

（35）系统连接模块发现媒体缓存模块有新的网络摄像头加入，根据该网络摄像头缓存在缓存服务器上的视频数据特点，向存储集群申请用于上载该缓存的视频数据的存储地址；若申请成功，系统连接模块就将存储地址发送给编码模块；若申请不成功，则继续申请，直至申请成功。

（36）编码模块在接收到存储通知后，将产生的缓存数据上载给存储集群。

该步骤在缓存集群中的各个缓存服务器工作状态发生变化时，要对其中的失效缓存服务器与新加入的缓存服务器进行调整或重新配置，以避免失效服务器与新加入服务器影响该视频数据中心的实际运行结果，导致各个缓存服务器工作负载的不合理分配。此时基于服务器缓存能力的工作负载分配策略包括下列操作内容：

（3A）管理服务器的状态监控模块周期性地接收各个缓存服务器的心跳信号，检查是否有缓存服务器失效，以便及时将该失效的缓存服务器所连接的网络摄像头转移到其他缓存服务器上。

（3B）按照前述步骤（31）～（36）的配置策略，将处于非连接状态的摄像头依序和实时分配给其它缓存服务器。或

（3C）当缓存集群中有新的缓存服务器加入时，则由该新的缓存服务器分担其它缓存服务器的部分负载；此时，管理服务器的资源调度模块检查各个缓存服务器的负载权值，寻找高负载权值的缓存服务器；再将高负载权值的缓存服务器的部分负载转移至该新的缓存服务器，以使该高负载权值的缓存服务器的负载权值达到设定的合理范围内，并且，使得该新的缓存服务器也在其合理的负载区域内运行。

本发明已经进行了多次实施试验，试验的结果是成功的，实现了发明目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种增设缓存集群的视频数据中心，其特征在于：该视频数据中心为了确实保障有效调度缓存资源，避免出现因缓存服务器的工作不稳定，导致视频数据在上载过程中受到损失；并确保各个网络摄像头能够有效上载视频数据，同时实现各个缓存服务器的负载按照其缓存能力进行合理分配；除了保留视频数据中心的原有组成部件：内容分发集群、处理集群和存储集群以外，还增设缓存集群；其中：

内容分发集群，由多个内容分发服务器组成，负责从存储集群获取需要分发给用户的视频数据，并等待用户的访问；然后向用户分布式分发其感兴趣的视频数据；

处理集群，由多个数据处理服务器组成，用于从存储集群获取需要分析处理的视频数据及其他类型数据，并在执行相应处理后，再将处理结果存储于存储集群中；

存储集群，由多个数据存储服务器组成，用于存储视频数据中心中产生的有用数据，以及从缓存集群的缓存资源上载的视频数据，采用设定的存储策略持久地存储这些数据；当其他集群需要这些数据时，及时、高效地读取该数据，转发给相应集群；

缓存集群，由多个缓存服务器组成，该缓存集群直接连接各个以网络摄像头为代表的接入设备，负责缓存接入设备上载到视频数据中心的视频数据，并保证完整、有效地缓存这些视频数据，同时，还负责将这些视频数据上载给存储集群；设有一个管理服务器与多个缓存服务器；这两类部件的功能是：

管理服务器，负责管理和监控该缓存集群中的各个缓存服务器的工作状态：对其缓存操作进行初始配置与实时调度，维持该缓存集群的负载有效地按照其能力分配，并及时发现与解决该缓存集群中的节点问题；设有：权值计算模块、状态监控模块和资源调度模块；

缓存服务器，用于连接与监控网络摄像头，为来自网络摄像头的视频数据流提供缓存服务，并保障上载视频数据的完整性；还负责将完整的视频数据传送与存储到存储集群中；设有：媒体流缓存模块、系统连接模块和编码模块。

2.根据权利要求1所述的视频数据中心，其特征在于：所述缓存集群中的管理服务器各个部件的功能如下：

状态监控模块，负责周期监听各个缓存服务器发送的心跳信息，并利用该心跳信息监控各个缓存服务器的工作状态：每个缓存服务器的工作效率及其资源占用状况；再将这些工作状态信息进行整理后，发送给权值计算模块；

权值计算模块，用于根据来自状态监控模块的各个缓存服务器的工作状态信息，分别计算每个缓存服务器的负载权值，再按照各个缓存服务器的负载权值大小进行降序排列成表后，将该负载权值列表发送给资源调度模块；

资源调度模块，用于根据来自权值计算模块的缓存服务器的负载权值列表和该资源调度模块中的网络摄像头列表，结合该模块自身配置的资源调度策略，对缓存资源进行调配：决策由哪些缓存服务器来缓存哪些网络摄像头的视频数据。

3.根据权利要求1所述的视频数据中心，其特征在于：所述缓存集群中的缓存服务器各个部件的功能如下：

媒体流缓存模块，用于连接视频数据中心接入系统的网络摄像头，并对来自网络摄像头上载的视频数据流进行缓存；定期接收来自管理服务器的、用于展示由资源调度策略调配的具有缓存功能的各个网络摄像头的网络摄像头列表，以便根据该网络摄像头列表的实时变化，媒体流缓存模块按照管理服务器给出的缓存资源调度结果执行动态调整；

系统连接模块，用于根据缓存服务器自身的工作状态给管理服务器发送心跳信息；并根据缓存服务器缓存的数据特征，周期地连接存储集群中的每个存储服务器，用于申请存储资源，以供上载缓存服务器上对应的视频数据；并在确定视频数据的缓存位置与存储的视频数据后，立即通知编码模块对这些准备存储的视频数据进行编码；

编码模块，用于根据系统连接模块发送来的准备存储的视频数据及其存储位置对这些视频数据进行编码，以满足文件传输与存储的要求；然后，将完成编码的视频数据发送给存储服务器。

4.一种采用权利要求1所述的增设缓存集群的视频数据中心的缓存资源调度方法，其特征在于：所述方法是针对缓存集群中的缓存服务器的两类资源：缓存服务器的网络带宽与缓存容量进行资源调度，并根据各个缓存服务器的工作状态衡量其当前服务质量和确定其工作负载，以便尽可能保障每个缓存服务器处于其负载按照缓存能力合理分布的状态，满足网络摄像头的上载需求；所述方法包括下列操作步骤：

（1）初始分配阶段：将所有网络摄像头平均分配到每个缓存服务器；

（2）状态计算阶段：系统运行过程中，缓存服务器的工作状态参数会因带宽的占用、任务的失效、新任务的加入的原因而发生变化，故管理服务器的权值计算模块按照下述公式周期计算所有缓存服务器的工作负载权值向量

式中，自然数i为缓存服务器的序号，其最大值为n，ω_i为序号为i的缓存服务器的工作负载权值，该负载权值是根据缓存服务器的工作状态参数计算得到的；再设置向量V为

中的各个负载权值按照数值大小降序排列后的递减向量，并以向量V存储于管理服务器中；并选取该向量V中位于最后的缓存服务器承载该缓存集群中的负载，以使负载能够被合理、有效地分配；

（3）系统调整阶段：新的网络摄像头加入而等待分配缓存资源时，或者缓存集群中的缓存服务器工作状态发生变化时，都要根据管理服务器中资源调度模块上的缓存资源调度策略，以及各个缓存服务器的工作状态与其执行能力对其负载进行调整，以便根据服务器的能力合理承担工作负载。

5.根据权利要求4所述的方法，其特征在于：所述缓存服务器的工作状态参数包括：缓存服务器的工作稳定性及其资源使用情况。

6.根据权利要求4所述的方法，其特征在于：所述步骤（2）包括下列操作内容：

（21）设置失效率α参数，用于表征缓存服务器的工作稳定性，该失效率α是缓存服务器从启动到当前所发生的任务失效次数与其执行的任务总次数之比，其计算公式为：

其中，T_i为序号为i的缓存服务器执行的总任务数，t_i为其成功完成的任务数，f_i为其失效的任务数，且定义该缓存服务器的初始失效率为0；

（22）设置资源使用率β参数，用于表征每个缓存服务器的资源占用率，其计算公式为：

式中，R_i为序号为i的缓存服务器的资源总量，自然数j为视频数据流的序号，其最大值为m；r_j为第j个视频数据流占用缓存服务器缓存资源的数量；若每个网络摄像头所占用的资源数量相同，则上述计算公式被简化为：

式中，r_s为每个网络摄像头占用的资源数的均值；

（23）设置缓存服务器的负载权值ω参数，利用上述两项参数表征缓存服务器的工作状态，则第i个缓存服务器的负载权值ω_i的计算公式为：

式中，α_i和β_i分别为第i个缓存服务器的失效率和资源占用率；

若同构的数据流连接到各个缓存服务器，每个数据流占用的缓存服务器的资源相同时，则上述计算公式被简化为：

（24）根据上述步骤，求得每个缓存服务器工作状态的负载权值，进而比较各个缓存服务器工作状态的负载权值，并对缓存服务器资源进行调度。

7.根据权利要求4所述的方法，其特征在于：所述步骤（3）中，新的网络摄像头加入而等待分配缓存资源时，包括下列操作内容：

（31）管理服务器的资源调度模块通过用户输入的网络摄像头列表检查是否有新加入的网络摄像头；若没有，则维持工作状态不变；若有新加入的网络摄像头，则执行后续步骤（32）；

（32）资源调度模块开始查询从权值计算模块获取的各个缓存服务器的工作负载权值向量，并获取负载权值最低的缓存服务器位置；若有多个缓存服务器的负载权值相同时，则将拥有较高资源占用率的缓存服务器配置给新加入的网络摄像头，直到其资源完全被占用为止，以保证每个网络摄像头都能获得好的服务质量；

（33）资源调度模块将新加入的网络摄像头的IP地址发送给选中的缓存服务器的媒体流缓存模块；

（34）被选中的缓存服务器的媒体流缓存模块接收到新加入网络摄像头的IP地址后，就与该网络摄像头建立连接，开始缓存该网络摄像头的上载数据；

（35）系统连接模块发现媒体缓存模块有新的网络摄像头加入，根据该网络摄像头缓存在缓存服务器上的视频数据特点，向存储集群申请用于上载该缓存的视频数据的存储地址；若申请成功，系统连接模块就将存储地址发送给编码模块；若申请不成功，则继续申请，直至申请成功；

（36）编码模块在接收到存储通知后，将产生的缓存数据上载给存储集群。

8.根据权利要求4或7所述的方法，其特征在于：所述步骤（3）中，缓存集群中的各个缓存服务器工作状态发生变化时，要对其中的失效缓存服务器与新加入的缓存服务器进行调整或重新配置，以避免失效服务器与新加入服务器影响该视频数据中心的实际运行结果，导致各个缓存服务器工作负载的不合理分配；此时基于服务器能力的工作负载分配策略包括下列操作内容：

（3A）管理服务器的状态监控模块周期性地接收各个缓存服务器的心跳信号，检查是否有缓存服务器失效，以便及时将该失效的缓存服务器所连接的网络摄像头转移到其他缓存服务器上；

（3B）按照前述步骤（31）～（36）的配置策略，将处于非连接状态的摄像头依序和实时分配给其它缓存服务器；或

（3C）当缓存集群中有新的缓存服务器加入时，则由该新的缓存服务器分担其它缓存服务器的部分负载；此时，管理服务器的资源调度模块检查各个缓存服务器的负载权值，寻找高负载权值的缓存服务器；再将高负载权值的缓存服务器的部分负载转移至该新的缓存服务器，以使该高负载权值的缓存服务器的负载权值达到设定的合理范围内，并且，使得该新的缓存服务器也在其合理的负载区域内运行。

Images