CN102739718A - 一种机顶盒质量数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种机顶盒质量数据处理方法及系统，本系统包括与机顶盒和服务质量管理主服务器均相连的数据采集服务器；数据采集服务器包括质量数据采集器和质量数据预处理器；质量数据采集器，用于以预设时间粒度从所述机顶盒采集质量数据并整理为质量数据文件；质量数据预处理器，用于按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。本发明引入了数据采集服务器专门用于质量数据采集以及从质量数据向性能数据对象的转换，保证了对质量数据的高处理效率，并使得SQM主服务器专用于数据汇总以及上层业务的实现，降低了系统和管理对象之间的耦合性，同时降低了开发的难度和提高了系统的可靠性。

Description

一种机顶盒质量数据处理方法及系统

技术领域

本发明涉及机顶盒信息采集和处理技术，尤其涉及一种机顶盒质量数据处理方法及系统。

背景技术

交互式网络电视（Internet Protocol Television，简称IPTV）是数字电视的一种表现形式，是集互联网、多媒体、通信等多种数字技术于一体，利用Web技术通过宽带IP网络向家庭用户提供包括数字电视在内的多种互动式数字媒体的一种信息服务业务。 IPTV业务包括基本的音视频广播、点播、时移业务以及信息服务、音视频通信等增值服务。机顶盒（STB）是IPTV系统中重要的设备，是一种嵌入式系统，是用户使用IPTV服务的必备终端。在机顶盒上能够实现对IPTV业务质量数据的采集、记录故障日志等。通过在机顶盒上进行质量数据采集，得到最终用户的业务质量体验，分析用户行为等方法已成为IPTV服务管理的重要手段，运营商借助IPTV服务质量管理最终达到提高用户青睐度的目的。

现有技术中机顶盒的质量数据多采用机顶盒主动上报的方式，即机顶盒将质量数据实时上报至服务质量管理（SQM）主服务器，随着机顶盒数量的迅速增加相应的数据量海量增加，尤其在大规模（百万级）机顶盒质量数量上报过程中，SQM主服务器处理各机顶盒上报数据的效率较低。

发明内容

本发明要解决的技术问题是提供一种机顶盒质量数据处理方法及系统，提高机顶盒质量数据处理效率。

为了解决上述技术问题，本发明提供一种机顶盒质量数据处理系统，包括服务质量管理主服务器，所述系统还包括与机顶盒和所述服务质量管理主服务器均相连的数据采集服务器；所述数据采集服务器包括质量数据采集器和质量数据预处理器；所述质量数据采集器，用于以预设时间粒度从所述机顶盒采集质量数据并整理为质量数据文件；所述质量数据预处理器，用于按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器包括质量数据入库模块；所述质量数据入库模块通过企业消息总线与所述数据采集服务器相连；所述质量数据入库模块，用于定期从所述质量数据预处理器读取性能数据对象并存储。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器还包括与所述质量数据入库模块相连的质量数据汇总模块；所述质量数据汇总模块，用于以所述预设时间粒度为单位对所述性能数据对象进行汇总。

进一步地，上述系统还可以具有以下特点：

所述质量数据汇总模块，还用于根据质量数据的以下参数中的一种或多种对所述性能数据对象进行汇总：所属地区、所属频道、所属业务类型、所属业务优先级。

进一步地，上述系统还可以具有以下特点：

所述质量数据汇总模块，还用于判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器还包括质量数据查询模块；所述系统还包括与所述服务质量管理主服务器相连的网络业务服务器；所述网络业务服务器，用于向用户提供机顶盒质量数据的查询页面，并将用户输入的搜索条件传送至质量数据查询模块，并将收到的搜索结果向用户显示；所述质量数据查询模块，用于根据所述搜索条件进行相应的质量数据搜索将搜索结果发送至所述网络业务服务器。

为了解决上述技术问题，本发明提供一种机顶盒质量数据处理方法，包括：数据采集服务器以预设时间粒度从机顶盒采集质量数据并整理为质量数据文件；按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器定期从所述质量数据预处理器读取性能数据对象并存储。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器以所述预设时间粒度为单位对所述性能数据对象进行汇总。

进一步地，上述系统还可以具有以下特点：

所述服务质量管理主服务器判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。

与现有技术相比，本发明引入了数据采集服务器专门用于质量数据采集以及从质量数据向性能数据对象的转换，一方面保证了对质量数据的高处理效率，另一方面使得SQM主服务器专用于数据汇总以及上层业务的实现，降低了系统和管理对象之间的耦合性，同时降低了开发的难度和提高了系统的可靠性。

本发明在结果呈现方式上采用B/S架构，用户无需安装专门的客户端软件，使用浏览器就可以接入本发明的网络（Web）业务服务器。Web业务服务器单独为一个进程，与主服务器进程分离，Web业务服务器和主服务器之间采用自行研制的高效消息总线（EMB）来保证数据的高效传输，使SQM主服务器能够脱离具体的页面展现逻辑，而专用于处理数据业务，而Web业务服务器则专注于页面展现内容和快速页面响应。

此外，本发明在部署上还具有很高的灵活性。在图1所示的质量数据采集器、质量数据预处理器，SQM主服务器，Web业务服务器都是独立的进程。它们即可以分别部署至不同的主机上以提高系统的处理能力和分布式能力；也可以集中部署到一台主机上以实现对主机资源的有效利用和降低系统整体成本。

附图说明

图1是实施例中机顶盒质量数据处理系统的结构图；

图2是实施例中服务质量管理主服务器的结构图。

具体实施方式

如图1所示机顶盒质量数据处理系统包括服务质量管理主服务器，包括与机顶盒和服务质量管理主服务器均相连的数据采集服务器；数据采集服务器包括质量数据采集器和质量数据预处理器。

质量数据采集器用于以预设时间粒度从机顶盒采集质量数据并整理为质量数据文件；质量数据预处理器用于按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

其中，质量数据采集器基于HTTP协议进行质量数据采集，采用具体HTTP Get/Post方式进行数据传送，以Web方式收集机顶盒质量数据并进行相应的数据适配处理以整理成质量数据文件。质量数据采集器可以采用开源的Tomcat服务器作为基础平台，设置Servlet并发数（例如30），Servlet 处理接收机顶盒质量数据包并计数，计数达到阀值（阀值可设）后将数据流输出为文件，文件名中包含日期。文件有效性检查线程周期性地检查检查已生成质量数据文件，删除过期的文件。一般而言，采集服务器仅保存最近N（例如N可以为3）天的质量数据文件。

其中，质量数据预处理器将质量数据文件转换成的性能数据对象(Performance Object)是服务质量管理主服务器中质量数据入库模块可以识别的性能对象。质量数据文件按照质量数据的业务类型可以分为多个性能对象。

服务质量管理主服务器包括质量数据入库模块（201）；质量数据入库模块通过企业消息总线（EMB）（如图1所示的B接口）与所述数据采集服务器相连；通过企业消息总线（EMB）从所述数据采集服务器获取所述数据采集服务器，质量数据入库模块用于定期从所述质量数据预处理器读取性能数据对象并存储。质量数据入库模块（201）定期向数据采集服务器发送性能数据对象查询命令，根据获取的文件名列表下发命令采集指定的性能数据对象。为提高文件处理效率，采用批处理方式进行处理，批处理文件的个数可以设置。质量数据入库模块（201）通过EMB总线接收性能数据对象数组，并将性能数据对象插入对应的数据库表，并且根据对象入库成功与否，维护性能数据对象列表的入库状态。

所述服务质量管理主服务器还包括与所述质量数据入库模块相连的质量数据汇总模块（202）；质量数据汇总模块（202）以预设时间粒度为单位对性能数据对象进行汇总。具体的，根据性能数据对象的采集时间来决定是否进行上一粒度的汇总，机顶盒质量数据的采集有严格的顺序性，采集服务器只会接收同一时间粒度的机顶盒上报数据，对于上一个粒度的质量数据采取丢弃的策略。所以当数据汇总模块（202）判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。汇总处理完成后在时间汇总表中形成相应的记录。

质量数据汇总模块（202）进行扩展型汇总，这些汇总方式往往和具体项目的应用场景相关，与最终用户需求密切相关，质量数据汇总模块（202）通过配置文件和相应的存储过程完成扩展维度的数据汇总。质量数据汇总模块（202）根据质量数据的以下参数中的一种或多种对所述性能数据对象进行汇总：所属地区、所属频道、所属业务类型、所属业务优先级。扩展维度汇总基于时间汇总驱动，当时间汇总完成新的时间粒度汇总后，根据配置文件信息，调用相应的存储过程完成扩展维度的汇总。

服务质量管理主服务器还包括质量数据查询模块（203）；系统还包括与所述服务质量管理主服务器相连的网络业务服务器；网络业务服务器用于向用户提供机顶盒质量数据的查询页面，并将用户输入的搜索条件传送至质量数据查询模块，并将收到的搜索结果向用户显示；质量数据查询模块用于根据所述搜索条件进行相应的质量数据搜索将搜索结果发送至所述网络业务服务器。两者通过EMB总线（如图1中的C接口）进行数据传输。

质量数据查询模块（203）可采用多种查询优化机制（例如复合索引和机顶盒静态信息映射），用以高效完成数据查询并在规定的时间内返回数据。机顶盒的静态信息包括：机顶盒的序列号、PPPoE拨号用户名、IP地址、登录业务平台用户名等。质量数据查询模块（203）可使用查询参数，例如用户账号（包括PPPoE ID和UserID）, 机顶盒ID、 地域、频道、点播片名、汇总类型、统计粒度等。为保证在用户可接受的时间内返回查询结果，同时不过分降低入库效率，需修改数据库表结构，主要是找出最优的创建索引的方式，使得在增加最有效的索引的同时不会影响到数据的入库性能。具体实现上，可采用复合索引的跳过扫描索引，以及采用内存映射的方法，将界面查询条件中的PPPoE ID和UserID这些静态信息与机顶盒ID相关联，从而减少数据表上索引建立的数量。

应用于上述系统中，机顶盒质量数据处理方法包括：

步骤1，数据采集服务器以预设时间粒度从机顶盒采集质量数据并整理为质量数据文件；

步骤2，数据采集服务器按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

数据采集服务器对性能数据对象进行缓存，以加快数据处理效率。

上述方法还包括：

步骤3，服务质量管理主服务器定期从所述质量数据预处理器读取性能数据对象并存储。服务质量管理主服务器按一定时间策略，定期向数据采集服务器发送查询性能数据对象列表，并根据返回的性能数据对象列表下发性能数据对象采集命令，并维护相应的采集状态。

上述方法还包括：

步骤4，服务质量管理主服务器将采集到的性能数据对象存入数据库，根据文件入库成功与否，维护文件入库状态。

上述方法还包括：

步骤5，服务质量管理主服务器以所述预设时间粒度为单位对所述性能数据对象进行汇总。具体的，服务质量管理主服务器判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。服务质量管理主服务器进行扩展维度的数据汇总，根据质量数据的以下参数中的一种或多种对所述性能数据对象进行汇总：所属地区、所属频道、所属业务类型、所属业务优先级。扩展维度汇总基于时间汇总驱动，当时间汇总完成新的时间粒度汇总后，根据配置文件信息，调用相应的存储过程完成扩展维度的汇总。

根据质量数据的以下参数中的一种或多种对所述性能数据对象进行汇总：所属地区、所属频道、所属业务类型、所属业务优先级。

上述方法还包括：

步骤6，网络业务服务器向用户提供机顶盒质量数据的查询页面，并将用户输入的搜索条件传送至质量数据查询模块，质量数据查询模块根据所述搜索条件进行相应的质量数据搜索将搜索结果发送至所述网络业务服务器，网络业务服务器将收到的搜索结果向用户显示。

与现有技术相比，本发明引入了数据采集服务器专门用于质量数据采集以及从质量数据向性能数据对象的转换，一方面保证了对质量数据的高处理效率，另一方面使得SQM主服务器专用于数据汇总以及上层业务的实现，降低了系统和管理对象之间的耦合性，同时降低了开发的难度和提高了系统的可靠性。

本发明在结果呈现方式上采用B/S架构，用户无需安装专门的客户端软件，使用浏览器就可以接入本发明的网络（Web）业务服务器。Web业务服务器单独为一个进程，与主服务器进程分离，Web业务服务器和主服务器之间采用自行研制的高效消息总线（EMB）来保证数据的高效传输，使SQM主服务器能够脱离具体的页面展现逻辑，而专用于处理数据业务，而Web业务服务器则专注于页面展现内容和快速页面响应。

此外，本发明在部署上还具有很高的灵活性。在图1所示的质量数据采集器、质量数据预处理器，SQM主服务器，Web业务服务器都是独立的进程。它们即可以分别部署至不同的主机上以提高系统的处理能力和分布式能力；也可以集中部署到一台主机上以实现对主机资源的有效利用和降低系统整体成本。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

Claims (10)

1.一种机顶盒质量数据处理系统，包括服务质量管理主服务器，其特征在于，

所述系统还包括与机顶盒和所述服务质量管理主服务器均相连的数据采集服务器；所述数据采集服务器包括质量数据采集器和质量数据预处理器；

所述质量数据采集器，用于以预设时间粒度从所述机顶盒采集质量数据并整理为质量数据文件；

所述质量数据预处理器，用于按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

2.如权利要求1所述的系统，其特征在于，

所述服务质量管理主服务器包括质量数据入库模块；所述质量数据入库模块通过企业消息总线与所述数据采集服务器相连；

所述质量数据入库模块，用于定期从所述质量数据预处理器读取性能数据对象并存储。

3.如权利要求2所述的系统，其特征在于，

所述服务质量管理主服务器还包括与所述质量数据入库模块相连的质量数据汇总模块；

所述质量数据汇总模块，用于以所述预设时间粒度为单位对所述性能数据对象进行汇总。

4.如权利要求3所述的系统，其特征在于，

所述质量数据汇总模块，还用于根据质量数据的以下参数中的一种或多种对所述性能数据对象进行汇总：所属地区、所属频道、所属业务类型、所属业务优先级。

5.如权利要求3所述的系统，其特征在于，

所述质量数据汇总模块，还用于判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。

6.如权利要求1所述的系统，其特征在于，

所述服务质量管理主服务器还包括质量数据查询模块；所述系统还包括与所述服务质量管理主服务器相连的网络业务服务器；

所述网络业务服务器，用于向用户提供机顶盒质量数据的查询页面，并将用户输入的搜索条件传送至质量数据查询模块，并将收到的搜索结果向用户显示；

所述质量数据查询模块，用于根据所述搜索条件进行相应的质量数据搜索将搜索结果发送至所述网络业务服务器。

7.一种机顶盒质量数据处理方法，其特征在于，

数据采集服务器以预设时间粒度从机顶盒采集质量数据并整理为质量数据文件；按照质量数据的业务类型将质量数据文件转换为相应业务类型的性能数据对象。

8.如权利要求7所述的方法，其特征在于，

所述服务质量管理主服务器定期从所述质量数据预处理器读取性能数据对象并存储。

9.如权利要求8所述的方法，其特征在于，

所述服务质量管理主服务器以所述预设时间粒度为单位对所述性能数据对象进行汇总。

10.如权利要求9所述的方法，其特征在于，

所述服务质量管理主服务器判断收到第n＋1个时间粒度的性能数据对象时，启动对第n个时间粒度的性能数据对象的汇总操作，n为表示时间粒度个数的整数。

Images