CN105335437A - 数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据的处理方法及装置，在上述方法中，接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；对待处理数据进行分析，获取KPI数据。根据本发明提供的技术方案，可以较为及时地对OTT机顶盒上报的海量原始数据进行统计分析。

Description

数据的处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据的处理方法及装置。

背景技术

随着互联网技术的飞速发展，互联网电视即OTTTV发展迅速，智能机顶盒越来越普及。OTTTV是“OverTheTopTV”的缩写，是指基于开放互联网的视频服务，终端可以是电视机、电脑、机顶盒、PAD、智能手机等等，其在网络之上提供服务，强调服务与物理网络的无关性。从消费者的角度出发，OTTTV就是互联网电视，满足消费者的需求，集成互动电视功能的全功能的互联网电视。

在国际上，OTTTV指通过公共互联网面向电视传输的互联网协议(IP)视频和互联网应用融合的服务。其接收终端为互联网电视一体机或机顶盒+电视机。而在我国，OTTTV是指通过公共互联网面向电视机传输的由国有广播电视机构提供视频内容的可控可管服务。接收终端一般为国产互联网电视一体机。

目前，相关技术中的OTTTV主要有两种实现方式：HTTP渐进下载(HTTPProgressiveDownload，简称为HPD)和HTTP自适应流媒体(HTTPAdaptiveStreaming，简称为HAS)。传统的OTTTV一般采用HPD技术。基于HPD的客户端在开始播放之前仅需等待一段较短的时间用于下载和缓冲媒体文件最前面的一部分数据，之后便可以一边下载一边播放。HPDOTTTV存在诸多的局限性，例如：不适合对实时性要求较高的直播节目的传输；初始播放的等待时延一般较长；当网络带宽不稳定时比较容易出现卡屏现象；由于客户端会持续下载视频文件，当用户中途放弃节目观看，会造成已下载文件(消耗带宽)的浪费。

为了克服HPDOTTTV技术的局限性，近年来基于HAS的OTTTV技术逐渐被业界广泛采用和推广。HASOTTTV采用视频分片和自适应码率(ABR)技术。在HAS系统中，媒体流分割器将编码器输出的视频流分割为一系列连续的、长度均等的小分片文件，并将它们存储在Web内容分发服务器。HAS客户端设备能够在可用的带宽的基础上，自动向Web服务器请求合适的视频质量(即不同的分辨率和码率)的分片文件，从而给用户最好的视觉体验。为了便于HAS客户端实现不同码率分片之间的快速、实时切换，HAS视频一般采用较短的分片长度(例如：10秒)。由于HAS系统可向不同屏幕大小的终端提供适合分辨率的视频分片文件，并可在不同网络带宽情况下实现流畅的视频播放，因此HAS被业内认为是未来无所不在的多屏互动视频的核心技术。

然而，尽管OTTTV技术的不断发展带来诸多益处，但是，如何能够有效地监控OTT用户的播放质量是运营商无法回避的问题，目前相关技术中也缺乏有效的解决方案。

发明内容

本发明提供了一种数据的处理方法及装置，以至少解决相关技术中如何利用大数据技术对OTT机顶盒上报的数据进行监控分析的问题。

根据本发明的一个方面，提供了一种数据的处理方法。

根据本发明实施例的数据的处理方法包括：接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；对待处理数据进行分析，获取关键性能指标(KPI)数据。

优选地，对待处理数据进行分析，获取KPI数据包括：采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。

优选地，采用负载均衡组件对待处理数据进行解析包括：采用负载均衡组件从待处理数据中解析出消息头和消息体；采用负载均衡组件将消息头进行剥离处理，保留消息体。

优选地，按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。

优选地，在对待处理数据进行分析，获取KPI数据之后，还包括：对KPI数据进行离线分析挖掘。

根据本发明的另一方面，提供了一种数据的处理装置。

根据本发明实施例的数据的处理装置包括：接收模块，用于接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；处理模块，用于对待处理数据进行分析，获取KPI数据。

优选地，处理模块包括：解析单元，用于采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；备份单元，用于利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；分析单元，用于通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。

优选地，解析单元包括：解析子单元，用于采用负载均衡组件从待处理数据中解析出消息头和消息体；处理子单元，用于采用负载均衡组件将消息头进行剥离处理，保留消息体。

优选地，接收模块，用于按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。

优选地，上述装置还包括：分析模块，用于对KPI数据进行离线分析挖掘。

通过本发明实施例，采用接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；对待处理数据进行分析，获取KPI数据，解决了相关技术中如何利用大数据技术对OTT机顶盒上报的数据进行监控分析的问题，进而可以较为及时地对OTT机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据的处理方法的流程图；

图2是根据本发明优选实施例的OTT机顶盒数据采集模型的示意图；

图3是根据本发明优选实施例的基于图2所示的OTT机顶盒数据采集模型的数据处理的流程图；

图4是根据本发明实施例的数据的处理装置的结构框图；

图5是根据本发明优选实施例的数据的处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的数据的处理方法的流程图。如图1所示，该方法可以包括以下处理步骤：

步骤S102：接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；

步骤S104：对待处理数据进行分析，获取KPI数据。

相关技术中无法利用大数据技术对OTT机顶盒上报的数据进行监控分析。采用如图1所示的方法，通过机顶盒在对从第三方应用组件获取到的原始数据进行加工计算后得到待处理数据，再对机顶盒上报的待处理数据进行分析进而获取KPI数据，由此解决了相关技术中如何利用大数据技术对OTT机顶盒上报的数据进行监控分析的问题，进而可以较为及时地对OTT机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。

在优选实施过程中，可以按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。

在优选实施例中，第三方应用组件收集文件下载、用户触发行为以及播放有关的原始数据，并向机顶盒数据采集接口实时传输收集到的原始数据。机顶盒对采集到的原始数据进行加工计算，然后再按照预设时长经由协商的数据接口将数据上报至指定的地址。

优选地，在步骤S104中，对待处理数据进行分析，获取KPI数据可以包括以下操作：

步骤S1：采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；

步骤S2：利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；

步骤S3：通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。

在优选实施例中，可以采用负载均衡组件来接收机顶盒上报的数据。对机顶盒上报的数据进行解析，同时作为分布式消息队列的客户端，将消息体发送至分布式消息队列集群。分布式消息队列对接收到的数据进行备份，并发送至分布式实时计算系统。分布式实时计算系统利用流技术对有效数据进行实时解析与统计，从而得到全网的统计KPI数据。

优选地，在步骤S1中，采用负载均衡组件对待处理数据进行解析可以包括以下步骤：

步骤S11：采用负载均衡组件从待处理数据中解析出消息头和消息体；

步骤S12：采用负载均衡组件将消息头进行剥离处理，保留消息体。

在优选实施例中，可以采用负载均衡组件对机顶盒上报的数据进行解析，剥离消息头，仅留下实际有用的消息体。

优选地，在步骤S104，对待处理数据进行分析，获取KPI数据之后，还可以包括以下操作：

步骤S4：对KPI数据进行离线分析挖掘。

在优选实施例中，分布式实时计算系统在利用流技术对有效数据进行实时解析与统计，从而得到全网的统计KPI数据之后，可以将KPI数据永久存储至分布式文件系统。而离线分析系统可以根据需要随时对上述采集的海量数据进行离线分析挖掘。

图2是根据本发明优选实施例的OTT机顶盒数据采集模型的示意图。如图2所示，机顶盒出厂预置第三方应用以及平台方探针组件，同时，预置监控中心上报地址。第三方应用组件主要负责与播放器以及电子节目菜单(EPG)等进行交互，收集用户触发事件、最原始的播放数据等。在国内，牌照方都有具备这些功能的应用组件。探针组件为监控分析系统的一部分，可以对牌照方收集的原始数据进行分析加工上报，可以单独进行升级。本发明实施例所提供的技术方案将应用在监控中心中。

在机顶盒放号安装后，运营商可以根据实际情况决定是否通过网管远程修改监控中心上报地址。由于网络规划等各种原因，某些情况下，运营商需要改变分配给监控中心的相关IP地址。此时，必须及时修改机顶盒的监控中心地址，否则监控中心可能采集不到原始数据。

监控中心的负载均衡组件会进行合法终端的检测，以及网络数据消息头的解析等工作。不合法终端上报的数据将会被丢弃，并记录下该终端基本信息，便于事后排查。分布式实时计算系统会启动单独的线程来进行明细数据存储，而不会影响实时的监控分析。

图3是根据本发明优选实施例的基于图2所示的OTT机顶盒数据采集模型的数据处理的流程图。如图3所示，该方法可以包括以下步骤：

第一步、第三方应用组件收集文件下载、用户触发行为以及播放有关的原始数据，并向机顶盒数据采集接口实时传输收集到的原始数据，例如：如果用户已经点击暂停或取消暂停按键，即可将用户点击暂停或取消暂停按键的时间记录下来；如果在播放视频的过程中已经产生了缓冲，则可以将缓冲开始时间以及缓冲时间记录下来。

第二步、机顶盒对采集到的原始数据进行加工计算，按照预设时长(1分钟、30秒甚至10秒)经由协商的数据接口将数据上报至指定的地址。

第三步、采用负载均衡组件来接收机顶盒上报的数据。对机顶盒上报的数据进行解析，剥离消息头，仅留下实际有用的消息体，同时作为分布式消息队列的客户端，将消息体发送至分布式消息队列集群。

第四步、分布式消息队列对接收到的数据进行备份(防止丢失)，同时发送至已经注册监听的分布式的实时计算系统处理。

第五步、分布式的实时计算系统利用流技术对有效数据进行实时解析与统计，基本上能够实时得到全网的统计关键性能指标(KPI)数据，并还原出用户的观看行为。另外，海量的原始数据也较快地存储至分布式文件系统中。

第六步、根据需要择时对上述采集的海量数据进行离线分析挖掘。例如：对片源进行较细分类，对每个用户的观看行为进行分析，发现该用户的兴趣和爱好，从而将最新发布的同类片源推送给该用户；记录用户最近一次观看的节目以及观看到什么位置，下次如果需要继续观看时可以从该位置继续播放。

图4是根据本发明实施例的数据的处理装置的结构框图。如图4所示，该数据的处理装置可以包括：接收模块10，用于接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；处理模块20，用于对待处理数据进行分析，获取KPI数据。

采用如图4所示的装置，解决了相关技术中如何利用大数据技术对OTT机顶盒上报的数据进行监控分析的问题，进而可以较为及时地对OTT机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。

优选地，如图5所示，处理模块20可以包括：解析单元200，用于采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；备份单元202，用于利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；分析单元204，用于通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。

优选地，如图5所示，解析单元200可以包括：解析子单元(图中未示出)，用于采用负载均衡组件从待处理数据中解析出消息头和消息体；处理子单元(图中未示出)，用于采用负载均衡组件将消息头进行剥离处理，保留消息体。

优选地，接收模块10，用于按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。

优选地，如图5所示，上述装置还包括：分析模块30，用于对KPI数据进行离线分析挖掘。

从以上的描述中，可以看出，上述实施例实现了如下技术效果(需要说明的是这些效果是某些优选实施例可以达到的效果)：本发明实施例提供的技术方案，通过运营商、互联网电视牌照方以及机顶盒厂家三方合作，实现了用户观看行为数据以及效果数据的采集、准实时上报，然后通过大数据技术来对上报的海量数据进行监控分析，从而可以还原用户的观看行为、发现观看中存在的问题以及分析出用户的观看兴趣爱好，以便相关各方及时改进，提高服务质量并有针对性地进行营销，进而可以较为及时地对OTT机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。另外，由于终端数据的采集过程由运营商、国内主流牌照方以及主流机顶盒厂家共同参与，因此，可以作为行业标准进行推广。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的处理方法，其特征在于，包括：

接收机顶盒上报的待处理数据，其中，所述待处理数据是由所述机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，所述原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；

对所述待处理数据进行分析，获取关键性能指标KPI数据。

2.根据权利要求1所述的方法，其特征在于，对所述待处理数据进行分析，获取所述KPI数据包括：

采用负载均衡组件对所述待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；

利用所述分布式消息队列集群中的分布式消息队列对所述解析后的数据进行备份，并将所述解析后的数据发送至分布式实时计算系统；

通过所述分布式实时计算系统对所述解析后的数据进行分析统计，得到所述KPI数据。

3.根据权利要求2所述的方法，其特征在于，采用所述负载均衡组件对所述待处理数据进行解析包括：

采用所述负载均衡组件从所述待处理数据中解析出消息头和消息体；

采用所述负载均衡组件将所述消息头进行剥离处理，保留所述消息体。

4.根据权利要求1所述的方法，其特征在于，按照预设时长经由协商的数据接口接收所述机顶盒上报的所述待处理数据。

5.根据权利要求1所述的方法，其特征在于，在对所述待处理数据进行分析，获取所述KPI数据之后，还包括：

对所述KPI数据进行离线分析挖掘。

6.一种数据的处理装置，其特征在于，包括：

接收模块，用于接收机顶盒上报的待处理数据，其中，所述待处理数据是由所述机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，所述原始数据包括以下至少之一：文件下载数据、用户触发行为数据、文件播放数据；

处理模块，用于对所述待处理数据进行分析，获取关键性能指标KPI数据。

7.根据权利要求6所述的装置，其特征在于，所述处理模块包括：

解析单元，用于采用负载均衡组件对所述待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；

备份单元，用于利用所述分布式消息队列集群中的分布式消息队列对所述解析后的数据进行备份，并将所述解析后的数据发送至分布式实时计算系统；

分析单元，用于通过所述分布式实时计算系统对所述解析后的数据进行分析统计，得到所述KPI数据。

8.根据权利要求7所述的装置，其特征在于，所述解析单元包括：

解析子单元，用于采用所述负载均衡组件从所述待处理数据中解析出消息头和消息体；

处理子单元，用于采用所述负载均衡组件将所述消息头进行剥离处理，保留所述消息体。

9.根据权利要求6所述的装置，其特征在于，所述接收模块，用于按照预设时长经由协商的数据接口接收所述机顶盒上报的所述待处理数据。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

分析模块，用于对所述KPI数据进行离线分析挖掘。