CN106210624A - 一种基于电力行业多级级联流媒体智能调度的方法 - Google Patents

Abstract

本发明公开了一种基于电力行业多级级联流媒体智能调度的方法，本发明将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。

Description

一种基于电力行业多级级联流媒体智能调度的方法

技术领域

本发明属于电力视频监控领域, 涉及电力行业多级级联流媒体智能调度技术，特别是一种基于电力行业多级级联流媒体智能调度的方法。

背景技术

随着电力工业的不断扩张和发展，应用在电网上的图像监控技术尤其是远程图像监控技术得以迅速发展。因此，在面对单个监控终端同时对多个监控前端进行实时监控，或者多个监控终端同时对单个监控前端进行实时监控的情况下，作为监控系统的枢纽核心——流媒体服务容易出现宕机、假死等故障，且需要一定时间的检修才能恢复工作，在这间隔中必将造成监控监管的真空和监控信息的丢失，由于电网的特殊性，一旦电网因此出现事故将给人民群众和企业生产带来不可挽回的损失。而且监控系统在使用一定时间后，流媒体服务器的故障率会越来越高，造成监控出现问题的几率也越来越高，因此如何克服由于电网监控系统的流媒体服务器出现故障导致监控系统出现瘫痪的问题，是本技术领域当前需要解决的重要课题。

发明内容

本发明的目的在于提供一种基于电力行业多级级联流媒体智能调度的方法。本发明有效的地利用服务器的资源，综合考虑CPU性能、码流转发性能、磁盘的IO负载、任务分配策略,来实现负载；此外，通过多进程、多线程并行执行，在大规模的数据处理中采用异步并发技术，避免信令交到及大数据量传输的等待，提高信令交互与数据传输的效率；同时，统一命名空间管理，提供统一命名空间管理，将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、提高可共享能力。

本发明采用的技术方案是：本发明基于电力行业多级级联流媒体智能调度的方法，采用中心服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态；数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量情况，自动选择负载最轻的磁盘存储新的数据文件。

本发明基于电力行业多级级联流媒体智能调度的方法，当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。

本发明基于电力行业多级级联流媒体智能调度的方法，对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样既减少集群对数据恢复的压力，又不对客户端读写产生影响。

本发明基于电力行业多级级联流媒体智能调度的方法，将多级流媒体负载自动均衡技术提升系统的整体性能与服务质量,防止单点瓶颈的发生,将集群与负载均衡技术应用到视频监控系统,需要做到网、省、地三级级联，同时应兼顾视频监控系统特点，码流的实时性与数据量大的特点；有效的地利用服务器的资源，综合考虑CPU性能、码流转发性能、磁盘的IO负载、任务分配策略,来实现负载。

本发明基于电力行业多级级联流媒体智能调度的方法，通过多进程、多线程并行执行；在大规模的数据处理中采用异步并发技术，避免信令交到及大数据量传输的等待，提高信令交互与数据传输的效率。

本发明基于电力行业多级级联流媒体智能调度的方法，统一命名空间管理，提供统一命名空间管理，将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、提高可共享能力。

本发明多级级联方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。本发明将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。本发明针对南网现状研发网/省/地三级平台不同厂商流媒体服务的标准化注册式集群服务，确保集群服务软件的标准化程度。通过系统配置实现动态调度，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换等智能调度。

附图说明

图1为本发明业务组网图；

图2为本发明流媒体智能调度流程图。

具体实施方式

以下将对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明的技术方案如下：

1. 多级流媒体负载自动均衡技术

随着网络视频监控规模的不断扩大,为了提升系统的整体性能与服务质量,防止单点瓶颈的发生,需要将集群与负载均衡技术应用到视频监控系统,需要做到地区、省、网三级级联，同时应兼顾视频监控系统特点，码流的实时性与数据量大的特点。为更有效的地利用服务器的资源,提高系统性能，需要深入研究负载均衡算法、任务分配策略、加权最少任务策略等算法。

中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。

元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。

数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。

当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。

另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。

2.高速并发访问技术

通过多进程、多线程并行执行。在大规模的数据处理中采用异步并发技术，避免信令交到及大数据量传输的等待，提高信令交互与数据传输的效率。在并发过程中防止冲突，需要考虑原子操作与并发控制。在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，要确保各级客户端各功能的高速并发操作，确保原子性及并发控制。

3.统一命名空间管理

统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。

本发明的具体实施例如下：

实施例：采用中心服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样既减少集群对数据恢复的压力，又不对客户端读写产生影响。

通过多进程、多线程并行执行。在大规模的数据处理中采用异步并发技术，避免信令交到及大数据量传输的等待，提高信令交互与数据传输的效率。在并发过程中防止冲突，需要考虑原子操作与并发控制。在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，确保各级客户端各功能的高速并发操作。

统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。

本发明方法在电力行业多级级联流媒体系统中，采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。

如图1所示，各业务服务器分布式安装，各业务服务器功能描述如下：平台服务：

1）中心管理服务器：业务管理服务器，系统的核心业务服务器。负责处理监控的业务逻辑，进行权限等控制。根据业务逻辑需要，发送命令给DMS、MTS等服务器进行处理。系统的容错、负载均衡、动态集群等都在CMS上实现。

2）流媒体服务器：负责从设备获取视音频数据，以标准流媒体协议转发给客户端。实现媒体数据的一对多、多对多转发/分发。

3）级联服务器：用于变电站视频及环境监控系统地区主站系统整合及数据采集。

4）设备管理服务器：负责进行设备管理，向设备执行查询配置命令，向设备发送操作命令，收集设备网管信息，收集报警信息并执行报警联动策略。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于电力行业多级级联流媒体智能调度的方法，其特征在于采用中心服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态；数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量情况，自动选择负载最轻的磁盘存储新的数据文件。

2.根据权利要求1所述的基于电力行业多级级联流媒体智能调度的方法,其特征在于当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。

3.根据权利要求1所述的基于电力行业多级级联流媒体智能调度的方法,其特征在于对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样既减少集群对数据恢复的压力，又不对客户端读写产生影响。

4.根据权利要求1所述的基于电力行业多级级联流媒体智能调度的方法,其特征在于将多级流媒体负载自动均衡技术提升系统的整体性能与服务质量,防止单点瓶颈的发生,将集群与负载均衡技术应用到视频监控系统,需要做到网、省、地三级级联，同时应兼顾视频监控系统特点，码流的实时性与数据量大的特点；有效的地利用服务器的资源，综合考虑CPU性能、码流转发性能、磁盘的IO负载、任务分配策略,来实现负载。

5.根据权利要求1所述的基于电力行业多级级联流媒体智能调度的方法,其特征在于通过多进程、多线程并行执行，在大规模的数据处理中采用异步并发技术，避免信令交到及大数据量传输的等待，提高信令交互与数据传输的效率。

6.根据权利要求1所述的基于电力行业多级级联流媒体智能调度的方法,其特征在于统一命名空间管理，提供统一命名空间管理，将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、提高可共享能力。