CN105979273A - 基于大数据及云计算的智能商用电视的云监控与云运维 - Google Patents

Abstract

本发明公开了基于大数据及云计算的智能商用电视的云监控与云运维系统，涉及云计算与大数据领域。所述系统建立在ClearCloud云计算平台。本发明针对电信IPTV业务网络带宽有稳定保证，以及终端电视和机顶盒计算能力差解码能力强的特性，结合云技术的扩展性强、计算能力强、稳定性好等优势，针对电视细分领域，将电信IPTV云端的编码，计算，存储和带宽资源协同调度进行云化，在电视机和机顶盒终端则主要进行复杂的解码运算和一些简单的计算任务。实现对智能商用电视机的云监控与云运维。

Description

基于大数据及云计算的智能商用电视的云监控与云运维

技术领域

本发明涉及现代智能商用电视机的云监控与云运维，特别涉及大数据及云平台。

背景技术

智能商用电视机从产生到现在主要经历了两个过程，一是基于酒店内网的传统的酒店VOD视频点播系统，二是基于电信专网的统一后台的VOD视频点播系统。

传统酒店VOD视频点播系统是一套基于局域网的视频服务系统。它通过前台视频点播和后台管理两部分(完成针对酒店细分行业的视频点播系统，)实现对于酒店业务的全面和有效的覆盖。主要组成如图1所示，基于这种系统架构，使得系统的各个功能模块间的独立性得以保证，同时也给开发提供了方便。然而，由于酒店内网的VOD系统存在着一些问题如：

一，需要购买的设备较多，成本较高；

二，施工安装的工作量大，当系统出现故障时，常常需要到现场调试解决问题。

三，酒店的机房内往往也没有专业的维护人员，容易造成机房管理不当；

四，缺少对服务器和其他相关设备的维护，当服务器宕机时，没有相应的灾备机制。

五，酒店内部的点播片源可能不会及时更新片源，造成系统内的视频资源陈旧。

六，酒店内部的点播影片放在一台专用的流媒体服务器上，单机存储容量有限，也无法存储大量的丰富的互联网视频资源。

七，数据不会被收集反馈到统一的后端，无法形成大数据，因此难以进行数据的分析和挖掘，更无法对用户行为进行建模分析。

因此，需要一套专用的酒店行业电视系统，来解决上述的不足之处，将酒店的机顶盒或智能一体机连接到统一的平台上，共享海量的视频资源，同时需要高带宽来保证视频服务质量，当系统出现故障时，由后台专业人员统一维护，而不同酒店的客户端的信息也可以通过网络传输到统一平台上，方便分析挖掘。这就促使了基于电信专网的统一后台的VOD视频点播系统的产生。

基于电信专网的统一后台的VOD系统架构如图2所示，基于这种架构将酒店所有的客户端连接到统一后台之上，共享了电信IPTV海量的视频资源，而酒店的特色视频也可以上传转码流化。同时，还可以从所有的客户端收集反馈信息，进行统一的分析和挖掘。但是随着接入统一后台的酒店数量的增多，统一后台负载的压力也随着不断增多，服务的不稳定性凸显，其他问题也随之越来越多：

首先，现有后台系统的容量和吞吐量较低，无法满足海量数据存储要求和客户端高并发请求的要求，解决这个问题有两个途径：提高服务器的配置或者增加服务器的数量，即纵向扩展或横向扩展，纵向扩展成本较高，且存在扩展的极限，而横向扩展成本较低，且可以通过服务器的数量来增加容量和吞吐量，是首选的方法；

其次，现有的系统容错性较低，可用性不强，当系统损失一部分数据时，很难自动恢复，当应用服务器宕机时，也没有备份的应用服务器来继续进行服务，因此这就需要建立数据库的备份机制、文件系统的容错机制以及应用服务器的热备份机制来提高系统的可用性。

最后，同一台服务器内的不同应用还常常竞争系统资源，有时由于某一应用占用系统资源过多，导致其他应用无法运行，进而整体系统瘫痪。因此，服务器内部计算资源的隔离也是重要的问题。

为了解决以上问题，结合目前终端能够达到的指标(终端多样性：支持终端跨硬件平台，支持电信多种通用机顶盒和智能电视，包括基于MStar，Sigma，Broadcom电视芯片硬件平台的Linux机顶盒和智能电视终端，以及Android机顶盒和智能电视终端；终端服务质量调整：终端支持服务质量QoS检测以及前向纠错FEC功能，保证了终端电视用户的IPTV服务体验；浏览器支持多终端：终端支持通用浏览器的应用，使机顶盒和智能电视能实现电视上网和Web应用功能；云桌面在终端实现的效果：终端支持云桌面应用，使用户在Android机顶盒或智能电视上实现PC电脑一样的功能和操作，简单操作无明显延时，响应时间在1秒以内)与云端能够达到的技术指标(系统容量：完成高可靠性的可扩展的云计算后台，能够支持成千上万个计算节点，可靠性达到99.999％；云桌面效率：云计算中心提供云桌面服务，支持多用户共享云桌面虚拟机资源，解决云桌面虚拟机与终端一对一绑定的问题，提高云计算中心资源的使用效率；服务自适应调整：根据电视终端的服务质量QOS信息反馈，分析电信终端用户特性和网络特性，选定不同的资源及服务模式提供给电视终端，提高终端用户的服务体验；安全性：安全技术的完成，抗击流媒体应用层DDOS攻击，在发生应用层DDOS攻击的情况下服务器有效利用率保持在50％以上)，我们提出了使用云计算的技术来重新架构后台系统，从而实现对智能商用电视机的云监控以及云运维。

发明内容

本发明的目的是为了解决传统的酒店VOD视频点播系统和电信专网的统一后台的VOD视频点播系统的扩展不易、稳定性差，吞吐量有限、资源分配不合理等问题，构建一种新型的、具有高扩展性、高可用性、高稳定性的商用vod视频点播系统。

由于云计算的目标是线性可扩展性和高可用性，而这两个目标正好可以解决当前系统容量和吞吐量不足以及容错性不强的问题。由此，我们自主开发了一套云平台系统——ClearCloud，并提供传统云平台所缺乏的IPTV服务，并进行了相应的优化，从而实现对智能商用电视机的云监控以及云运维。

本发明ClearCloud云计算平台针对电信IPTV业务网络带宽有稳定保证，以及终端电视和机顶盒计算能力差、解码能力强的特性，结合云端和客户端计算任务分配，针对电视细分领域，将电信IPTV云端的编码，计算，存储和带宽资源协同调度进行云化，在电视机和机顶盒终端则主要进行视频的硬解码运算和—些简单的计算任务，从而减轻对终端设备计算能力的需求，提高对智能商用电视机的云监控以及云运维能力。

该平台能够充分利用电信专网和异构设备的优势，同时从已有的新型交互式视频业务中取长补短。主要优势有：

一，可以用低成本的嵌入式设备提供具有强交互性的服务；

二，提供的互动视频服务能够保证服务质量(QoS-enabled)；

三，便于合作伙伴开发和集成多样化的视频内容和增值应用，并便于电信管理网络状态、增值应用和终端设备等；

四，用户能够便捷的获取和运行新的应用；

五，能够屏蔽设备和网络连接的异构性，实时收集数据融合计算。

该发明的研究同时具有多种社会和经济效益：平台技术的产业主要与终端设备制造商、电信运营商及用户有关。

从目前国内情况来看，终端设备制造商的核心技术较少，该平台可以帮助设备制造商提高附加值。

此外，电信运营商在视频业务领域做得不够深，以单个带宽产生的收益还远远不够，该平台在电信网内的搭建也将为中国电视机领域的交互视频业务做出贡献，带来更多的增值业务，营造更好的生态环境。

由此可见，本发明具有重要的研究意义。

附图说明

图1传统的酒店的VOD视频点播系统框架图。

图2基于电信专网的统一后台的VOD系统统一后台架构图

图3电信IPTV云计算平台的总体架构图

图4分库分表中间件框架图

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

电信IPTV云计算平台的总体架构如图3所示，采用分层架构。为了达到各模块和平台整体的高可用性、可扩展性以及高性能，我们在平台出入口、模块之间以及各模块内部都分别加入了负载均衡、内存缓存以及热备份等机制。

云平台整体系统框架如图3所示。其中，上层为计算服务，主要包括前端的HTTP服务器和应用服务器，下层为存储服务，主要包括SQL数据库的集群、内存缓存集群、对象存储服务和大数据处理平台。计算服务搭建在虚拟机平台之上，而存储服务则搭建在物理机平台之上，这主要是由于虚拟机平台可以隔离资源，提高云平台中服务器资源的利用率，同时计算服务大多是无状态的，当某个虚拟机实例终止而引发数据丢失时，对整个系统无太大影响。

尽管云计算领域技术发展迅猛，各大互联网公司已先后推出了自己的云计算平台，但是针对酒店VOD后台系统的云平台尚属空白，而针对电信酒店VOD这样的专用系统的云平台搭建技术在业内也没有成熟案例。我们通过在酒店VOD后台系统上运用电信IPTV云计算平台技术并且通过下述的几种方法技术进行处理优化，得出了本发明ClearCloud云计算平台，从而实现提高了对智能商用电视机的云监控以及云运维能力。

本发明的主要技术方法有：

一，运用虚拟化技术：即对计算机资源的抽象方法。本发明，在虚拟机管理服务中选用了Openstack的Nova服务，使用的VMM(Virtual Machine Monitor，虚拟机管理器)为KVM(全虚拟化技术与硬件辅助虚拟化技术相结合的典型代表)。由于虚拟机的指令是由物理机的CPU直接执行，因此效率很高，几乎没有性能上的损失。

二，运用负载均衡与反向代理：即运用轮循均衡，即每一次来自网络的请求轮流分配给内部中的服务器；最少连接数均衡，即每一次把来自网络的请求分配给当前处理连接数最少的服务器；响应速度均衡，即每一次把来自网络的请求分配给当前对负载均衡器发出的探测请求响应速度最快的服务器；另有各种加权和随机的变体，以及哈希算法等转发策略来实现负载均衡的目的。本发明通过负载均衡技术将不同的请求分配给不同的服务器来进行处理，可以有效缓解单台服务器的压力，多台服务器之间互为热备份，也解决了单点失效问题，并且可以仅仅通过简单修改负载均衡配置向集群增加新服务器而提高集群的服务能力，而不需改变现有网络结构、停止现有的服务，从而帮助实现线性可扩展。

三，运用大数据平台的分布式文件系统：代表有Google文件系统(简称GFS)以及Hadoop分布式文件系统(简称HDFS)。本发明是采用HDFS文件系统对大数据进行存储和计算，给大量的用户提供总体性能较高的服务。

四，运用大数据处理工具：大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性，因此需要运用大数据处理工具来进行处理，代表有MapReduce以及Spark Streaming。本法明运用MapReduce作为主要的计算工具，利用其高并发的特性进行计算，例如，在日志离线分析等方面，而Spark是基于内存的快速迭代的计算，可以为后续业务的开发提供必要的技术条件。在我们开发的流媒体服务中，充分利用了MapReduce这一并发计算的工具，例如在云转码服务中，进行并发转码，在个性化推荐中进行日志分析等操作。

五，运用内存集群缓存：即用来缓存部分数据从而提高读写效率。由于云平台的特性，需要一套具备线性扩展性的分布式内存缓存方案，来解决云平台的缓存问题。本发明运用目前常用的解决方案memcache来解决此问题。

六，运用对象存储系统：用来存储云平台中的大量静态文件。由于传统方法的容量小，成本高线性扩展性较差，本发明运用Swift服务来解决这些问题，并且其适用Memcache作为缓存，提高了访问效率，缩短响应时间。

七，运用分库分表中间件：采用SQL数据库来进行存储数据。由于传统方法单容量很小，系统性能容易降低，只能实现Master/Slave备份，不能实现水平扩展，这对于存储和处理大量数据的云后台而言，是远远不够的。因此，本发明运用Mysql数据库和分库分表Cobar来提供结构化数据的访问服务整体架构如图4所示：应用程序通过负载均衡访问Cobar中间件，这里的负载均衡选用LVS中的DR模式，支持Sql查询结果由中间件直接返回应用程序，多个Cobar节点之间互为热备份，同时Mysql使用自带的Master/Slave模式来进行备份，当Master节点宕机时，Cobar中间件自动切换到Slave节点。

Claims (17)

1.基于大数据及云计算的智能商用电视的云监控与与运维。其特征在于：

1)通过收集大量电视终端运行状态的数据，并存储在云平台上(云存储)

2)通过云计算对收集到的数据进行分析，挖掘出终端设备的运行情况：a在线状态b、版本分布c、活跃状态d、沉默状态；

3)通过云平台搭建一个web服务器，向展示端提供2)中计算出的数据的接口；

4)建立一个前端页面，运用3)中的接口来展示出云计算出的数据，从而实现云监控与云运维。

2.根据权利要求1所述的收集智能商用电视终端的运行状态的数据，其特征：数据通过终端设备以日志的形式发送到云服务器上，而这些数据要求简洁明了，能有效反映终端运行情况，并划分级别，以适当的频率向服务器上报，而不会影响终端的使用。

3.根据权利要求1所述的在云平台上存储电视终端收集的元数据，分为两类，其特征是：a.数据量大，追加操作和读操作使用率高，而修改操作基本不会发生：在云平台上搭建一个hadoop分布式文件存储系统HDFS(Hadoop Distributed File System)，把收集到的数据按一定的格式存入hadoop，hadoop本身具有高扩展性和高效性，可以存储海量数据，而且处理速度非常快；

b.实时有效，不用长期保留(如心跳消息)：对于实时性要求比较高又不需要长期保存的信息，云平台实时对其处理，并把结果存储到MySQL数据库中。

4.根据权利要求1所述的智能商用电视机，其特征在于：本发明主要是针对酒店的VOD视频点播系统，以此在酒店内网上提供一套集视频点播、视频直播、酒店服务功能。

5.根据权利要求1所述的云监控与云运维，其特征在于：本发明是在云平台的基础上对智能商用电视机进行监控与运维的。

6.根据权利要求1所述的在线状态，本发明采用心跳机制来判断是否在线，即有心跳则在线，无则不在线，并由此计算出上下线时刻点，上下线次数，上线时长等。

7.根据权利要求1所述的错误事件统计，其特征在于：通过云计算对hadoop中信息挖掘，得出商用电视终端出错集中在哪些功能模块。

8.根据权利要求1所述的产品使用统计，其特征在于：通过云计算对hadoop中信息挖掘，得出商用电视终端的哪些功能比较受欢迎，哪些功能需要改进。

9.根据权利要求1所述的产品项目概述，其特征在于：通过云计算hadoop中信息与MySQL中数据，得出每个项目的运行情况：版本分布、日报错数、应用使用排行，错误排行，错误盒子排行等。

10.根据权利要求7、8、9中所述的的云计算对hadoop中信息挖掘，其特征：hive(待补齐)。

11.根据权利要求1所述的云平台搭建多个web服务器，其特征在于：使用开源的Python Web框架web.py，并通过uwsgi模块集成到nginx上，并通过HAProxy反向代理方式，利用云平台的负载均衡服务器来做代理服务器，实现与外部网络的通信。

12.根据权利要求11中所述的web.py服务器，其特征在于：小巧灵活、简单并且非常强大，在使用时没有任何限制，日平均访问量达7000万次。这些web.py服务器：分为两类：各个模块日志消息接收服务器，云监控与云运维展示服务器。

13.根据权利要求12所述的心跳机制，其特征在于：在云平台上搭建memcache服务器来存储心跳信息，再通过创建机器人来定期扫描查看终端是否有心跳，memcache具有访问快速，可以横向无限扩展的特征，可以存储大量心跳并且能够快速访问。

14.根据权利要求12所述的云监控与云运维展示服务器，其特征在于：通过从hadoop和MySQL中获取计算好的数据，并打包成json格式，为展示端提供数据接口url。

15.根据权利要求14所述的各个模块的日志消息接收服务器，其特征在于：为终端提供消息接收的地址url，接收商用电视终端上报的消息，并处理。

16.根据权利要求14所述的服务器对消息处理，其特征在于：处理两类消息，a.需要存入hadoop的进行分析数据，按照协议对消息进行解析，并按一定的格式把数据发送到消息队列中b.需要实时处理而不用存储的数据，解析后直接计算分析，把结果存入MySQL(更新)。

17.根据权利要求16所述的消息队列，其特征在于：防止多个地方同时向hadoop中同一个文件写入信息导致文件损坏，通过qpid消息中间件，把需要存入的日志信息放到消息队列中，再在云平台上的开 发写入模块，定时从消息队列中取出写入到hadoop文件中。