CN103747060B - 一种基于流媒体服务集群的分布式监控系统及方法 - Google Patents
一种基于流媒体服务集群的分布式监控系统及方法 Download PDFInfo
- Publication number
- CN103747060B CN103747060B CN201310737324.9A CN201310737324A CN103747060B CN 103747060 B CN103747060 B CN 103747060B CN 201310737324 A CN201310737324 A CN 201310737324A CN 103747060 B CN103747060 B CN 103747060B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- streaming media
- distributed
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种基于流媒体服务集群的分布式监控系统及方法，其中，系统包括：基于Hadoop的数据分布式处理架构，从数据源抽取数据并对其进行解析，并对解析的数据进行预处理和分布式计算；分布式内存缓存模块Memcached，在服务器内存中缓存常用及临时数据；关系型数据管理模块，实现监控系统平台对接入设备的信息查询、存储、管理、计算；非关系型数据管理模块，结合非关系型No‑SQL数据存储系统的分片计算方法实现分布式部署；流媒体服务集群模块，实现流媒体信息传输的分布式集群处理；负载均衡模块，对监控系统平台的负载进行均衡处理，并对WEB容器水平扩展。本发明结合负载均衡机制与数据库分片计算，提高水平扩展能力，减少平台配置、管理工作量，保持稳定性。
Description
技术领域
本发明涉及分布式计算技术领域，具体涉及一种采用分布式内存缓存、分布式非关系型No-SQL数据库结合流媒体集群、TCP长连接通信技术实现移动终端实时监控平台的基于流媒体服务集群的分布式监控系统及方法。
背景技术
在基于TCP/IP进行网络通信实现对移动终端进行监控的系统应用中，移动终端与监控平台的数据传输要求较高的实时性，并存在大量的数据交换、数据查询、数据存储等计算工作，同时，当客户端的连接数越来越多时，监控的规模越来越大，涉及的业务越来越复杂时，极容易造成网络堵塞及系统性能急剧下降。
当前的监控管理平台的不足之处在于：
第一，TCP通信平台的响应速度及并发能力较低；
第二，TCP通信平台的水平扩展能力较低，平台的配置、管理工作量大，并且稳定性不高；
第三，没有为系统故障提供容错机制，故障点的影响范围大；
第四，不能充分利用网络分布式计算的资源，系统的负载不均匀，不能保证系统的平稳性。
因此，寻找支持高并发、高实时性、可动态扩展的稳定、高效的分布式监控技术方案已经成为物联网时代监控平台通信领域新的发展方向。
发明内容
本发明的目的是基于TCP/IP、Http网络协议以及分布式内存缓存系统Memcached、分布式No-SQL系统Mongodb、流媒体服务器RED5提供一种基于流媒体服务集群的分布式的监控系统及方法，实现了负载均衡及分布式计算，具有良好的可扩展性且不破坏系统原有的稳定性；提高通信平台的响应速度及并发能力；结合LinuxLVS或Nginx负载均衡机制与数据库分片计算技术，极大的提高监控系统平台的水平扩展能力，减少平台的配置、管理工作量。
本发明是通过以下技术方案来实现的：
本发明一方面提供一种基于流媒体服务集群的分布式监控系统，包括：
基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型(Map/Reduce)中对解析的数据进行预处理和分布式计算；
分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；
关系型数据管理模块，用于通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；
流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡模块，用于对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展。
进一步地，所述基于Hadoop的数据分布式处理架构，用于将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型(Map/Reduce)完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。
进一步地，所述流媒体服务集群模块的唯一入口点为负载调度器；所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；
所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。
更进一步地，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；
所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，用于使应用程序在不同节点上进行一致的并发访问；
所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。
进一步地，所述基于流媒体服务集群的分布式监控系统，还包括：
安全认证模块，用于对用户信息、客户端信息、服务接入信息进行安全认证；
智能监控模块，用于当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；
TCP连接线程监控模块，用于准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测模块，用于监控服务器和网络的状态并及时预警。
本发明的另一方面提供一种基于流媒体服务集群的分布式监控方法，包括：
基于Hadoop的数据分布式处理步骤：从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型(Map/Reduce)中对解析的数据进行预处理和分布式计算；
分布式内存缓存步骤：在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；
关系型数据管理步骤：通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理步骤：使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；
流媒体服务集群处理步骤：使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡步骤：对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展及分布式计算。
进一步地，在所述基于Hadoop的数据分布式处理步骤中，将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型(Map/Reduce)完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。
更进一步地，所述流媒体服务集群处理步骤包括负载调度步骤，所述负载调度步骤采用负载均衡调度方法、基于内容请求分发方法或两者相结合的方法进行服务器调度；
具体为：
负载均衡调度方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务，在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
基于内容请求分发方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务，在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；
所述负载均衡方法与所述基于内容请求分发方法相结合的方法。
进一步地，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载。
所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，使应用程序在不同节点上进行一致的并发访问。
所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。
进一步地，所述基于流媒体服务集群的分布式监控方法，还包括：
安全认证步骤：对用户信息、客户端信息、服务接入信息进行安全认证；
智能监控步骤：当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；
TCP连接线程监控步骤：准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测步骤：监控服务器和网络的状态并及时预警。
本发明与现有技术相比具有以下优点及有益效果：
(1)本发明的基于流媒体服务集群的分布式监控系统及方法实现了从应用层到网络层到数据存储层的负载均衡及分布式计算，具有良好的可扩展性且不破坏系统原有的稳定性；
(2)本发明采用了分布式内存缓存系统Memcached，极大的提高通信平台的响应速度及并发能力，实现高并发和高实时性的效果；
(3)本发明结合LinuxLVS或Nginx负载均衡机制与数据库分片计算技术，极大的提高平台的水平动态扩展能力，减少平台的配置、管理工作量；
(4)本发明为多个分布式部署的功能模块提供负载均衡策略，并为系统故障提供容错机制；
(5)本发明按系统容量和功能需求，适配各类服务模块(服务器)，以满足各类型分布式监控平台的需求；
(6)本发明中，对网络通信及业务逻辑处理进行了有效和清晰的封装，结合Spring的控制反转(Inversion Of Control，IOC)及面向方面编程(Aspect OrientedProgramming，AOP)技术实现软件的松耦合编程。
(7)本发明采用纯Java6的开发语言，使所述通信平台具有良好的兼容性，可兼容Linux/Windows/Unix/Solaris等操作系统。
(8)本发明能够充分利用网络分布式计算的资源，达到系统的负载均匀，保证系统更加平稳。
附图说明
图1是本发明的基于流媒体服务集群的分布式监控系统的结构示意图；
图2是本发明的分布式内存缓存模块Memcached进行Hash一致性算法的实施示意图；
图3是本发明的负载调度器及其网络连接的实施结构示意图；
图4是本发明的虚拟服务器集群的网络连接示意图；
图5是本发明的基于流媒体服务集群的分布式监控系统的进一步实施方式的结构示意图；
图6是本发明的基于流媒体服务集群的分布式监控方法的流程示意图；
图7是本发明的负载调度步骤的实施方法示意图；
图8是本发明的基于流媒体服务集群的分布式监控方法的进一步实施方式的流程示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，附图仅供参考和说明使用，不构成对本发明专利保护范围的限制。
如图1所示，在本实施例中，本发明一方面提供一种基于流媒体服务集群的分布式监控系统，包括：
基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型Map/Reduce中对解析的数据进行预处理和分布式计算；
分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据，以减少数据库系统的查询压力、提高平台的响应速度及并发能力；
关系型数据管理模块，用于通过采用关系型数据库，如MySQL、Oracle、SQLServer等，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统Mongodb，并结合非关系型No-SQL数据存储系统Mongodb的分片计算方法实现分布式部署，以提高监控平台的并发处理能力，减少监控平台关系型数据库系统的负载压力；
流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡模块，或WEB反向代理模块，用于对监控系统平台的负载进行均衡处理，并通过LinuxLVS或Nginx实现对WEB容器的水平扩展，其中WEB内容由J2EE容器接管。
在本发明的实施例中，所述基于Hadoop的数据分布式处理架构的具体说明如下：
Hadoop是一个能够对大量数据进行分布式处理的框架，实现了GooSe的映射-归约模型Map/Reduce应用。Hadoop是一种典型的主从式结构，上层是主从式的映射-归约模型Map/Reduce处理，下层是主从式的分布式文件系统(Hadoop Distributed File System，HDFS)文件系统。HDFS集群包括一个NameNode和若干DataNode，NameNode负责管理各个DataNode和维护系统的元数据，DataNode用于实际对数据的存放，与用户直接建立数据通信。NamedNode作为文件系统负责运行在Master上，而DataNode运行在每个机器上。Hadoop实现了Google的映射-归约模型Map/Reduce，JobTracker负责使整个映射-归约模型Map/Reduce的控制工作运行在Master上，TaskTracker则运行在每个机器上执行Task。对于一个大文件，Hadoop把它切割成一个个大小为16MB～64MB的块。这些块是以普通文件的形式分布存储在各个节点上的。通过此种方式，来达到数据的安全和可靠。
本发明的基于流媒体服务集群的分布式监控系统必须满足实时查询和数据挖掘，传统的技术方案是将实时性查询由关系数据库承担，而数据仓库负责低实时的数据挖掘与分析，但是一旦数据量庞大时使用数据仓库将直接导致数据检索速度急剧下降，因此监控系统平台采用hadoop来替代数据仓库实现低实时的数据挖掘。但并不是使用Hadoop替换关系数据库与数据仓库，Hadoop的数据装载开销比关系数据库小，但效率却依然不如关系数据库，因此为同时满足用户高实时请求及高计算和存储能力请求，将关系型数据库与Hadoop相结合实现海量数据实时计算。
Hadoop的映射-归约模型M ap/Reduce架构可以快速地装载并处理大规模数据，因此由Hadoop负责从数据源抽取数据并对其进行解析，将一些要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求，而对于某些请求频率较高的低实时数据则在Hadoop中进行预处理，待映射-归约模型Map/Reduce完成分布式计算后将结果也存入关系数据库。
Hadoop中只有一个NameNode节点，当处理某些大型作业时可能需要运行数小时甚至是数天才能完成，作业运行时间偏长的缺点是NameNode一旦失败将丢失所有己经完成的中间结果，因此考虑对大型作业在其运行过程中定时保存中间结果，若NameNode失败还可以从磁盘中继续读入己完成中间结果继续处理。因此不论在Map还是Reduce部分均根据作业大小为其分配一定大小的内存来保存中间结果，待对应的内存写满才写入磁盘空间，且写入磁盘前还应对中间结果进行压缩来加快数据在内存与磁盘之间的传输速度。Hadoop为每个大型作业均分配一定大小的缓存，并定时将己完成的中间结果写入到缓存中，当缓存写满时则将中间结果进行压缩存入磁盘。若作业失败则可从己保存在磁盘中的中间结果继续计算，而不是重头开始计算。当作业完成时还必须有一个合并过程将所有的中间结果并行合并。当作业的第一个中间结果结束后，所有的Reduce均从己完成的中间结果并行下载该Reduce所需的数据块。同样地，为了提高IO读写效率，每个Reduce也将下载的中间结果缓存在一定大小的内存中，待对应内存写满时进行压缩并写入磁盘。当Reduce将所有的中间结果上对应的数据块全部下载完成后，再将数据块合并接着进行计算。
在本发明的实施例中，所述分布式内存缓存模块结合Hash一致性算法实现缓存数据的同步及分布式计算，并设置通用的缓存信息共享区域，具体如下：
如图2所示，首先求出每个服务节点的hash，并将其配置到一个0-2^32的圆环(continuum)区间上；其次使用同样的方法求出所需要存储的key的hash，也将其配置到这个圆环(continuum)上。然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务节点上。如果超过2^32仍然找不到服务节点，就会保存到第一个Memcached分布式高速缓存系统服务节点上。
所述关系型数据管理模块管理、存储分布式监控系统平台的不适合通过非关系型数据管理模块处理的关键数据及复杂业务逻辑关系信息。
通过结合所述非关系型数据管理模块中非关系型No-SQL数据存储系统的分布式部署和Hadoop的上层映射-归约模型Map/Reduce的分布式计算，进行数据的统计分析、实时数据交换并设置通用的共享信息区域。
所述监控系统平台使用开源流媒体服务器进行二次开发，并结合Red5服务集群的技术实现流媒体服务的负载均衡及流媒体集群。
在本发明的实施例中，所述流媒体服务集群模块的唯一入口点为负载调度器；如图3所示，所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；因为基于内容请求分发装置的上述所有的操作都是将在Linux操作系统核心空间中完成，调度开销很小，所以具有很高的吞吐率。
所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。
在本发明的实施例中，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。
在本发明的实施例中，共享存储系统通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统(如：网络文件系统(NetworkFile System，NFS)/通用互联网文件系统(Common Internet File Systems,CIFS)中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3～6个繁忙的服务器结点。对于规模较大的集群系统，如在本发明的实施例中，使用所述Hadoop的下层分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器(Distributed Lock Manager)，它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分布式锁管理器来保证应用程序在不同结点上并发访问的一致性。
如图3所示，负载调度器、服务器池和共享存储系统(如，上述分布式文件系统)通过传输速率大于或等于100Mbps的高速网络相连接，如100Mbps交换网络、Myrinet和Gigabit网络等。使用高速网络，主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。
在本发明的实施例中，LVS-LVS的IP负载均衡的技术方案说明如下：
可伸缩网络服务的多种结构，都需要一个前端的负载调度器，或者多个负载调度器进行主从备份；在IP负载均衡技术方案中，包括通过网络地址转换(Network AddressTranslation)组件将一组服务器构成一个高性能的、高可用的虚拟服务器，为VS/NAT技术方案(Virtual Server via Network Address Translation)。在分析VS/NAT的缺点和网络服务的非对称性的基础上，提出了通过IP隧道实现虚拟服务器的VS/TUN(Virtual Servervia IP Tunneling)技术方案，和通过直接路由实现虚拟服务器的VS/DR(Virtual Servervia Direct Routing)技术方案，可以极大地提高系统的伸缩性。
如图4所示，多个虚拟服务器集群LVS Cluster通过因特网连接多个用户端和一个图形监控器(graphic monitor)，每个虚拟服务器集群(LVS Cluster)均分配有一个虚拟IP地址(virtual IP address)。
在服务器硬件方面使用磁盘RAID5及全局热备方法保存数据，确保服务数据的安全可靠及服务器磁盘阵列的稳定运行。
如图5所示，在本发明的实施例中，所述基于流媒体服务集群的分布式监控系统，还包括：
安全认证模块，用于对用户信息、客户端信息、服务接入信息进行安全认证；在信息交互过程中，对信息进行加密和认证处理，确保信息在传输过程中的安全性和完整性。
智能监控模块，用于当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器，以确保网络套接字的稳定性和可靠性。
TCP连接线程监控模块，用于准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测模块，用于监控服务器和网络的状态并及时预警。若服务器或网络出现异常，入侵检测模块自动发送邮件或手机短信给运维管理人员，确保服务器或网络的异常尽快修复。例如，若网络遭非法入侵或暴力破解等，反入侵软件将访问者加入黑名单列表以保障服务器及网络的安全；若硬件设备等导致的服务器、网络故障，网络运维管理人员也能第一时间知道当前出现故障的节点和原因，同时备份服务器将接管相应的服务。
在本发明的实施例中，所述监控通信平台采用纯Java6的开发语言，使所述通信平台具有较好的兼容性，可兼容Linux/Windows/Unix/Solaris等操作系统。
如图6所示，本发明的另一方面提供一种基于流媒体服务集群的分布式监控方法，包括：
基于Hadoop的数据分布式处理步骤：从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型Map/Reduce中对解析的数据进行预处理和分布式计算；
分布式内存缓存步骤：在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；
关系型数据管理步骤：通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理步骤：使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；
流媒体服务集群处理步骤：使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡步骤：对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展及分布式计算。
在本发明的实施例中，在所述基于Hadoop的数据分布式处理步骤中，将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型Map/Reduce完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到关系数据库中实时响应用户请求。
在本发明的实施例中，所述流媒体服务集群处理步骤包括负载调度步骤，如图7所示，所述负载调度步骤采用负载均衡调度方法、基于内容请求分发方法或两者相结合的方法进行服务器调度；
具体为：
负载均衡调度方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务，在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
基于内容请求分发方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务，在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；
所述负载均衡方法与所述基于内容请求分发方法相结合的方法。
在本发明的实施例中，所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载。
所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，使应用程序在不同节点上进行一致的并发访问。
所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。
在本发明的实施例中，在所述负载均衡步骤中，采用通过IP隧道实现虚拟服务器的方法和通过直接路由实现虚拟服务器的方法。
在本发明的实施例中，如图8所示，所述基于流媒体服务集群的分布式监控方法，还包括：
安全认证步骤：对用户信息、客户端信息、服务接入信息进行安全认证；
智能监控步骤：当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；
TCP连接线程监控步骤：准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测步骤：监控服务器和网络的状态并及时预警。
本发明提供的基于流媒体服务集群的分布式监控系统及方法采用的Hadoop架构以主从管理、分布式设计为理念，其特性如下：能有效降低设计与实施成本，增加系统的可靠性与可扩展性，并最大限度地降低故障点的影响范围，并能达到充分的伸缩性能。其进一步解释，采用分布式的管理平台具备的优势：首先满足多级管理架构，其次满足系统的易于扩展性，第三能够充分利用网络分布的资源，达到系统的负载均衡，保证系统更加平稳。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于流媒体服务集群的分布式监控系统，其特征在于，包括：
基于Hadoop的数据分布式处理架构，用于从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型中对解析的数据进行预处理和分布式计算；
分布式内存缓存模块，用于在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；
关系型数据管理模块，用于通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理模块，用于使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；
流媒体服务集群模块，用于使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡模块，用于对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展；
所述流媒体服务集群模块的唯一入口点为负载调度器；所述负载调度器采用负载均衡调度装置、基于内容请求分发装置或两者相结合的装置进行服务器调度；具体为：
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务时，所述负载调度器的负载均衡调度装置用于在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务时，所述负载调度器的基于内容请求分发装置用于在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；
所述负载均衡调度装置与基于内容请求分发装置两者相结合的装置，用于进行上述两种服务器调度。
2.根据权利要求1所述的基于流媒体服务集群的分布式监控系统，其特征在于：
所述基于Hadoop的数据分布式处理架构，用于将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到所述关系数据库中实时响应用户请求。
3.根据权利要求2所述的基于流媒体服务集群的分布式监控系统，其特征在于：
所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；
所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，用于使应用程序在不同节点上进行一致的并发访问；
所述负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。
4.根据权利要求1所述的基于流媒体服务集群的分布式监控系统，其特征在于，还包括：
安全认证模块，用于对用户信息、客户端信息、服务接入信息进行安全认证；
智能监控模块，用于当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；
TCP连接线程监控模块，用于准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测模块，用于监控服务器和网络的状态并及时预警。
5.一种基于流媒体服务集群的分布式监控方法，其特征在于，包括：
基于Hadoop的数据分布式处理步骤：从数据源抽取数据并对其进行解析，并在Hadoop的上层映射-归约模型中对解析的数据进行预处理和分布式计算；
分布式内存缓存步骤：在开源Memcached分布式高速缓存系统的基础上，通过键/值对的HashMap数据结构在服务器内存中缓存常用及临时数据；
关系型数据管理步骤：通过采用关系型数据库，实现监控系统平台对接入设备的信息查询、存储、管理、计算；
非关系型数据管理步骤：使用开源非关系型No-SQL数据存储系统，并结合非关系型No-SQL数据存储系统的分片计算方法实现分布式部署；
流媒体服务集群处理步骤：使用RED5开源流媒体服务器及边源服务集群方法实现流媒体信息传输的分布式集群处理；
负载均衡步骤：对监控系统平台的负载进行均衡处理，并实现对WEB容器的水平扩展及分布式计算；
所述流媒体服务集群处理步骤包括负载调度步骤，所述负载调度步骤采用负载均衡调度方法、基于内容请求分发方法或两者相结合的方法进行服务器调度；具体为：
负载均衡调度方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有相同的内容提供相同的服务，在客户请求到达时，根据流媒体服务器负载情况和设定的调度算法从所述服务器池中选出一个服务器，将该客户请求转发到选出的服务器，并记录这个调度；当这个客户请求的后续报文到达，也转发到前面选出的所述服务器；
基于内容请求分发方法：当所述流媒体服务集群模块中使用的流媒体服务器池中的流媒体服务器拥有不同的内容提供不同的服务，在客户请求到达时，根据客户请求的内容选择服务器以执行所述客户请求；
所述负载均衡调度方法与所述基于内容请求分发方法相结合的方法。
6.根据权利要求5所述的基于流媒体服务集群的分布式监控方法，其特征在于：在所述基于Hadoop的数据分布式处理步骤中，将解析的数据中请求频率较高的低实时数据在Hadoop中进行预处理，待映射-归约模型完成分布式计算后将计算结果存入关系数据库；并将解析的数据中要求高响应速度的数据或计算需求小的数据装载到所述关系数据库中实时响应用户请求。
7.根据权利要求5所述的基于流媒体服务集群的分布式监控方法，其特征在于：
所述服务器池的结点数目是可变的，当整个系统的请求负载超过目前所有结点的处理能力时，在服务器池中增加服务器来满足不断增长的请求负载；
所述Hadoop的下层分布式文件系统为各流媒体服务器提供共享的存储区，在所述分布式文件系统的内部或外部设置分布式锁管理器，使应用程序在不同节点上进行一致的并发访问；
负载调度器、服务器池和分布式文件系统通过传输速率大于或等于100Mbps的高速网络相连接。
8.根据权利要求5所述的基于流媒体服务集群的分布式监控方法，其特征在于，还包括：
安全认证步骤：对用户信息、客户端信息、服务接入信息进行安全认证；
智能监控步骤：当监测到服务容器出现线程挂起或访问延迟时，及时重启该服务容器；
TCP连接线程监控步骤：准实时监控当前已建立TCP连接的连接状态，并自动释放按应用配置定义为已经失效的TCP连接资源；
入侵检测步骤：监控服务器和网络的状态并及时预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310737324.9A CN103747060B (zh) | 2013-12-26 | 2013-12-26 | 一种基于流媒体服务集群的分布式监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310737324.9A CN103747060B (zh) | 2013-12-26 | 2013-12-26 | 一种基于流媒体服务集群的分布式监控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103747060A CN103747060A (zh) | 2014-04-23 |
| CN103747060B true CN103747060B (zh) | 2017-12-08 |
Family
ID=50504046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310737324.9A Expired - Fee Related CN103747060B (zh) | 2013-12-26 | 2013-12-26 | 一种基于流媒体服务集群的分布式监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103747060B (zh) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103957468B (zh) * | 2014-04-30 | 2015-03-04 | 中国人民解放军空军预警学院监控系统工程研究所 | 一种多级流媒体分组转发方法 |
| CN105243063B (zh) * | 2014-06-18 | 2019-11-15 | 北京新媒传信科技有限公司 | 信息推荐的方法和装置 |
| CN104050276B (zh) * | 2014-06-26 | 2017-08-01 | 北京思特奇信息技术股份有限公司 | 一种分布式数据库的缓存处理方法及系统 |
| CN105205088A (zh) * | 2014-09-19 | 2015-12-30 | 钟声 | 一种海量数据处理服务器集群软件系统 |
| CN104462483A (zh) * | 2014-12-18 | 2015-03-25 | 北京奇虎科技有限公司 | 数据同步方法、装置及系统 |
| CN104536724B (zh) * | 2014-12-25 | 2017-07-07 | 华中科技大学 | 一种多核环境下哈希表并发访问性能优化方法 |
| CN104504128B (zh) * | 2014-12-31 | 2017-09-12 | 天津南大通用数据技术股份有限公司 | 一种基于联邦集群的数据库系统非对称部署的构建方法 |
| US10484476B2 (en) * | 2015-02-23 | 2019-11-19 | Siemens Aktiengesellschaft | Distributed data management systems for embedded controllers |
| CN104683158A (zh) * | 2015-03-12 | 2015-06-03 | 浪潮集团有限公司 | 一种远程处理服务器集群异常情况的方法 |
| CN106648442A (zh) * | 2015-10-29 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种元数据节点的内存镜像方法、装置 |
| CN106936582A (zh) * | 2015-12-31 | 2017-07-07 | 航天信息股份有限公司 | 电子签章系统及方法 |
| CN105808653B (zh) * | 2016-02-26 | 2019-08-09 | 广州品唯软件有限公司 | 一种基于用户标签系统的数据处理方法及装置 |
| CN105812488B (zh) * | 2016-05-06 | 2019-04-02 | 深圳大数点科技有限公司 | 云计算分布式服务集群系统及其方法 |
| CN107493254B (zh) * | 2016-06-12 | 2021-12-28 | 中兴通讯股份有限公司 | Tcp报文转发的方法、装置和系统 |
| CN106131141B (zh) * | 2016-06-27 | 2017-07-18 | 徐州医科大学 | 一种分布式集群负载均衡并行调度系统及方法 |
| CN106528649B (zh) * | 2016-10-14 | 2019-12-13 | 宁波华太车载技术有限公司 | 一种新能源汽车的海量数据存储检索系统和方法 |
| CN108205561A (zh) * | 2016-12-19 | 2018-06-26 | 北京国双科技有限公司 | 数据查询系统、方法及装置 |
| CN107066205B (zh) * | 2016-12-30 | 2020-06-05 | 曙光信息产业(北京)有限公司 | 一种数据存储系统 |
| CN106897186A (zh) * | 2017-01-13 | 2017-06-27 | 江苏信息职业技术学院 | 基于mes的集群实时监控系统及监控方法 |
| CN107301094A (zh) * | 2017-05-10 | 2017-10-27 | 南开大学 | 面向大规模动态事务查询的动态自适应数据模型 |
| CN107104986A (zh) * | 2017-06-13 | 2017-08-29 | 柳州市盛景科技有限公司 | 一种基于hadoop和Red5的视频点播系统 |
| CN107329827A (zh) * | 2017-06-22 | 2017-11-07 | 平安科技（深圳）有限公司 | 支持哈希调度策略的lvs调度方法、设备及存储介质 |
| CN107679192B (zh) * | 2017-10-09 | 2020-09-22 | 中国工商银行股份有限公司 | 多集群协同数据处理方法、系统、存储介质及设备 |
| CN109960577A (zh) * | 2017-12-14 | 2019-07-02 | 中国电信股份有限公司 | 基于Nginx服务器的集群控制方法以及服务器 |
| CN109978636A (zh) * | 2017-12-27 | 2019-07-05 | 航天信息股份有限公司 | 一种基于企业信息内存对象树开具发票的系统及方法 |
| CN108390907B (zh) * | 2018-01-09 | 2021-06-22 | 浙江航天恒嘉数据科技有限公司 | 一种基于Hadoop集群的管理监控系统及方法 |
| CN108200196B (zh) * | 2018-01-31 | 2020-12-04 | 杭州优工品科技有限公司 | 基于分布式架构的数据储存、查询方法及系统 |
| CN108418872A (zh) * | 2018-02-12 | 2018-08-17 | 千禧神骅科技（成都）有限公司 | 一种易扩展多终端的负载均衡高的互联网专车平台系统 |
| CN110474938B (zh) * | 2018-05-09 | 2022-08-16 | 视联动力信息技术股份有限公司 | 信息查询方法和装置 |
| CN108881254B (zh) * | 2018-06-29 | 2021-08-06 | 中国科学技术大学苏州研究院 | 基于神经网络的入侵检测系统 |
| CN109213760B (zh) * | 2018-08-02 | 2021-10-22 | 南瑞集团有限公司 | 非关系数据存储的高负载业务存储及检索方法 |
| CN109240608B (zh) * | 2018-08-22 | 2021-08-31 | 郑州云海信息技术有限公司 | 一种配置信息同步方法及装置 |
| CN109167790B (zh) * | 2018-09-14 | 2023-07-04 | 广西犇云科技股份有限公司 | 一种基于hadoop的跨平台视频点播系统 |
| CN110968597A (zh) * | 2018-09-28 | 2020-04-07 | 北京淘友天下技术有限公司 | 基于图关系的人脉关系管理方法 |
| CN109408579A (zh) * | 2018-10-31 | 2019-03-01 | 武汉光谷联众大数据技术有限责任公司 | 一种数据管理监控装置 |
| CN109873858B (zh) * | 2018-12-27 | 2021-03-30 | 中科曙光南京研究院有限公司 | 一种业务数据分布式监控方法和分布式监控集群 |
| CN109933312B (zh) * | 2019-03-25 | 2021-06-01 | 南京邮电大学 | 一种有效降低容器化关系型数据库i/o消耗的方法 |
| CN110134704B (zh) * | 2019-05-31 | 2021-11-02 | 厦门大学嘉庚学院 | 一种基于分布式缓存的大数据集群事务实现方法 |
| CN112035446B (zh) * | 2019-06-03 | 2024-04-19 | 北京沃东天骏信息技术有限公司 | 一种数据抽取的方法、装置及存储介质 |
| CN110493245A (zh) * | 2019-08-28 | 2019-11-22 | 北京云端智度科技有限公司 | 一种基于分布式并行系统的流媒体数据分发系统 |
| CN112988500A (zh) * | 2019-12-17 | 2021-06-18 | 上海商汤智能科技有限公司 | 文件存储系统的监控方法及设备、系统 |
| CN111127208A (zh) * | 2019-12-30 | 2020-05-08 | 上海金仕达软件科技有限公司 | 一种异常交易实时监控系统及计算方法 |
| CN111654526B (zh) * | 2020-05-07 | 2024-02-23 | 西安万像电子科技有限公司 | 一种流媒体服务器的负载均衡方法及系统 |
| CN111782640B (zh) * | 2020-09-04 | 2021-02-19 | 苏州浪潮智能科技有限公司 | 一种云平台的数据处理方法、系统、电子设备及存储介质 |
| CN114064211B (zh) * | 2021-11-15 | 2023-06-02 | 湖北公众信息产业有限责任公司 | 一种基于端-边-云计算架构的视频流分析系统及方法 |
| CN114268798B (zh) * | 2021-12-17 | 2024-10-29 | 广州先聚智能科技有限公司 | 基于5g的流媒体的物联应用系统 |
| CN116955074B (zh) * | 2023-07-12 | 2024-02-13 | 北京铜牛信息科技股份有限公司 | 一种数据存储平台智能监控方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143022A (zh) * | 2011-03-16 | 2011-08-03 | 北京邮电大学 | 用于ip网络的云测量装置和测量方法 |
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心系统及数据处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8589119B2 (en) * | 2011-01-31 | 2013-11-19 | Raytheon Company | System and method for distributed processing |
-
2013
- 2013-12-26 CN CN201310737324.9A patent/CN103747060B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143022A (zh) * | 2011-03-16 | 2011-08-03 | 北京邮电大学 | 用于ip网络的云测量装置和测量方法 |
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心系统及数据处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于HDFS的流媒体服务器Red5视频文件分发的研究与应用;郭奇;《中国优秀硕士学位论文全文数据库 信息科技辑 2013年》;20131115(第11期);正文第3.1-3.2、4.1、4.3-4.4节 * |
| 基于SaaS平台的数据库性能优化研究与设计;周媛;《中国优秀硕士学位论文全文数据库 信息科技辑 2013年》;20131115(第11期);正文第2.2.5节 * |
| 基于云计算的移动商业智能系统研究;曾蔚;《长沙大学学报》;20110930;第25卷(第5期);正文第2-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103747060A (zh) | 2014-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103747060B (zh) | 一种基于流媒体服务集群的分布式监控系统及方法 | |
| US11399063B2 (en) | Network authentication for a storage system | |
| US10162843B1 (en) | Distributed metadata management | |
| US11438279B2 (en) | Non-disruptive conversion of a clustered service from single-chassis to multi-chassis | |
| US20220164109A1 (en) | Data replication in a storage system | |
| US11503031B1 (en) | Storage array access control from cloud-based user authorization and authentication | |
| US11995336B2 (en) | Bucket views | |
| CN111327681A (zh) | 一种基于Kubernetes的云计算数据平台构建方法 | |
| CN101697526A (zh) | 分布式文件系统中元数据管理的负载均衡方法及其系统 | |
| US11431488B1 (en) | Protecting local key generation using a remote key management service | |
| US20150100826A1 (en) | Fault domains on modern hardware | |
| CN103475732A (zh) | 一种基于虚拟地址池的分布式文件系统数据卷部署方法 | |
| CN105320773A (zh) | 一种基于Hadoop平台的分布式重复数据删除系统和方法 | |
| CN105554123B (zh) | 大容量感知云计算平台系统 | |
| CN103581332A (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
| CN102833580A (zh) | 基于infiniband的高清视频应用系统及方法 | |
| CN114201362A (zh) | 基于Prometheus的企业级高可用监控系统及实现方法 | |
| CN104281980A (zh) | 基于分布式计算的火力发电机组远程诊断方法及系统 | |
| Panigrahi et al. | DATALET: An approach to manage big volume of data in cyber foraged environment | |
| CN108153759B (zh) | 一种分布式数据库的数据传输方法、中间层服务器及系统 | |
| CN115048458A (zh) | 基于区块链的数据处理方法、装置、设备、介质和程序产品 | |
| CN105302817B (zh) | 分布式文件系统管理方法和装置 | |
| CN107943615B (zh) | 基于分布式集群的数据处理方法与系统 | |
| Jiang et al. | A novel clustered MongoDB-based storage system for unstructured data with high availability | |
| CN114172917A (zh) | 一种分布式缓存系统及其部署的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171208 Termination date: 20191226 |