CN113507644B - 基于广电网络的终端数据采集系统及采集方法 - Google Patents

Abstract

本发明揭示了一种基于广电网络的终端数据采集系统及采集方法，其中，系统包括机顶盒、网络模块、数据采集存储服务器和配置管理服务器，方法是机顶盒向配置管理服务器请求并获得配置信息，依据配置信息采集多维度终端数据，并多策略过滤、清洗、缓存数据，并定时通过广电双向网络上报给数据采集存储服务器，配置管理服务器再根据终端数据自动生成或者管理员设置个性化配置下发给各个机顶盒终端。本发明的技术弥补了目前无法采集终端数据的缺陷，并且通过采集多维度数据进行用户的画像、用户价值的分析，内容标签和相关的数据输出，为业务的定向营销提供支撑，及时调整和优化经营策略，有的放矢地为用户提供更好服务，也为后续AI大数据分析打下基础。

Description

基于广电网络的终端数据采集系统及采集方法

技术领域

本发明的实施例涉及数字电视领域，具体而言，涉及一种基于广电网络的终端数据采集系统及采集方法。

背景技术

现代社会已步入大数据的时代，我们国家在大力提倡实施大数据战略，而数据是其中的重要基础元素。数据采集是结合采集目标体的功能业务，按照确定的数据分析和框架内容，有目的地收集、整合相关数据的过程，是大数据分析的基础，是机器学习的能源。

广电网络拥有大规模的数字电视机顶盒用于观看电视和收听广播，这些机顶盒通过与网络模块(线缆调制解调器、ONU)连接获取网络资源，从而实现双向功能，不仅能实现看电视、听广播，还可以实现双向互动点播和宽带上网功能。

目前，广电网络的机顶盒是放到用户家中给用户使用，但是用户具体使用了什么功能，观看了什么节目，开通了什么业务，运营商(广电网络)都不知道。广电网络的机顶盒目前的功能业务增多，通过广电双向网络怎样能采集到这些数据信息并有效利用是当前需要考虑的问题。

发明内容

本发明的目的在于针对现有技术中的上述缺陷，提供一种基于广电网络的终端数据采集系统及采集方法，以弥补无法采集终端数据的缺陷。

为实现上述发明目的，本发明采用了如下技术方案：一种基于广电网络的终端数据采集系统，包括机顶盒、网络模块、数据采集存储服务器和配置管理服务器，其中，机顶盒通过网络模块分别与数据采集存储服务器、配置管理服务器通信，机顶盒设置有终端主应用模块和终端数据处理模块，终端主应用模块基于socket函数与终端数据处理模块通信，并用于3A认证以及采集终端数据并发送给终端数据处理模块，终端数据处理模块用于处理数据并上传至数据采集存储服务器；采集存储服务器用于接收并存储终端数据处理模块上传的终端数据；配置管理服务器用于读取并分析终端数据，自动或手动生成配置信息并下发给终端数据处理模块。

此外，本发明系统还提供如下附属技术方案：

网络模块为ONU网络模块或线缆调制解调器，ONU网络模块通过万兆广播接收模块与光纤耦接，线缆调制解调器与同轴电缆耦接。

终端数据处理模块包括数据获取模块、配置获取模块和配置生效模块；数据获取模块通过socket函数与终端主应用模块相互通信；配置获取模块基于配置管理服务器地址并通过广电网络双向网络与配置管理服务器通信，用于请求配置和接收配置信息；配置生效模块用于根据接收到的配置信息设置数据处理操作。

与现有技术相比，本发明提供了一种基于广电网络的终端数据采集系统，弥补了现有的终端数据无法采集的缺陷。本发明的采集系统包括机顶盒、网络模块、数据采集存储服务器和配置管理服务器，机顶盒内置有终端主应用模块和终端数据处理模块模块，该两个模块向配置管理服务器请求并获取配置信息，并根据配置信息设置的策略收集数据并通过广电网络双向网络上传到数据采集存储服务器；配置管理服务器还预备接口给用户画像用户相关信息以智能设置个性化配置。本发明的终端数据采集系统通过多维度采集终端数据，把数据按情况分类，尽可能采集各特征数据，为后续AI大数据分析打下基础。

本发明还提供一种基于广电网络的终端数据采集方法，包括如下步骤：1)广电网络搭设服务平台，包括数据采集存储服务器和配置管理服务器；2)在机顶盒上统一固化两个地址，分别是数据采集存储服务器地址和配置管理服务器地址，同时还设置终端主应用模块和终端数据处理模块；3)机顶盒开机，终端主应用模块和终端数据处理模块启动，通过网络模块分别与数据采集存储服务器和配置管理服务器；4)终端主应用模块登录3A鉴权服务器，获取到3A配置表，解析其中的配置管理服务器地址并发送给终端数据处理模块进行更新；5)终端数据处理模块基于配置管理服务器地址与配置管理服务器通信，终端数据处理模块向配置管理服务器请求配置，然后接收配置信息，并根据接收到的配置信息设置数据处理策略；6)网络模块汇集终端数据到终端主应用模块；7)终端主应用模块将静态终端数据存放在内存，由终端数据处理模块读取上报；终端主应用模块将动态终端数据通过socket函数发送给终端数据处理模块，终端数据处理模块根据数据处理策略对数据进行处理，然后基于数据采集存储服务器地址并上传到数据采集存储服务器；8)数据采集存储服务器集群中的调度器根据预先设置好的调度算法，将上传的终端数据均衡地发送到集群中的采集节点上，然后各个采集节点将采集到的数据缓存汇聚，再根据不同维度的业务逻辑传送到后端的云存储处理节点上进行融合汇总处理；9)配置管理服务器读取终端数据，并根据对用户分析的结果自动生成配置，在终端定时请求的时候下发给机顶盒。

上述步骤5)的数据处理策略包括数据接收、过滤、缓存、加密和上传。

上述步骤5)中，终端数据处理模块与配置管理服务器的通信方式为HTTP GET方式。

上述步骤7)中，终端数据处理模块与数据采集存储服务器的通信方式为HTTPPOST方式。

上述步骤8)的数据采集存储服务器采用了负载均衡集群和采集节点本地缓存的方式采集终端数据处理模块上传的数据。

本发明的终端数据采集方法具有以下优势：

1、独立运行。终端主应用模块和终端数据处理模块均为独立的进程程序，不受机顶盒其他部分程序运行的影响，也不增加主应用的故障排查复杂度。

2、动态个性化设置采集的项目内容。机顶盒根据接收到的服务平台发送的配置信息执行数据采集，实现设置动态智能化，可以根据实际情况灵活配置调整相关参数，控制上传速率和包大小、信号数据采集频率等。

3、多维度的终端数据信息的内容科学合理，包括了基本的用户行为数据、定时获取的信号数据、故障数据、终端基本信息、CA信息等，获取了机顶盒终端在当前界面、播放当前节目、打开当前网页、是否有epg广告等。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的实施例，并非对本发明的限制。

图1是本发明一种基于广电网络的终端数据采集系统及采集方法的结构图。

图2是本发明的基于广电网络的终端数据采集系统及采集方法的控制框图。

图3是本发明的终端网络模块的控制框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明技术方案作进一步非限制性的详细描述。

本实施例的终端数据采集系统用于采集数字电视终端的数据，包括但不限于单双向节目收视数据、终端设备各种状态数据以及用户行为数据，具体可为：终端基本数据、CA数据、用户单向行为数据、用户双向行为数据、定时获取的信号信息数据、故障采集数据、双向维护数据等。

见图1，本实施例的终端数据采集系统包括：机顶盒、网络模块、数据采集存储服务器和配置管理服务器。其中，机顶盒和网络模块设置在用户家中，数据采集存储服务器和配置管理服务器设置在广电网络服务平台上，通过广电网络的双向网络相互通信。

机顶盒在出厂时就统一固化两个地址，分别是数据采集存储服务器地址和配置管理服务器地址，机顶盒通过数据采集存储服务器地址和配置管理服务器地址分别与数据采集存储服务器和配置管理服务器进行网络连接。

机顶盒内还设置有终端主应用模块和终端数据处理模块，该两个模块之间基于socket函数进行数据传输。终端主应用模块主要用于登录3A鉴权服务器，获取到3A配置表并解析出配置表中的配置管理服务器地址并发送给终端数据处理模块进行更新，同时接收和转发网络模块汇集来的终端数据。

终端数据处理模块分别与数据采集存储服务器和配置管理服务器通信。终端数据处理模块包括数据获取模块、配置获取模块和配置生效模块；其中的数据获取模块与终端主应用模块通信，接收终端数据；配置获取模块与配置管理服务器通信，配置获取模块携带机顶盒自身信息通过广电双向网络向配置管理服务器请求本机配置，配置管理服务器下发配置，配置获取模块接收配置信息；配置生效模块根据接收到的配置信息设置数据处理策略，包括数据过滤清洗、加密、缓存和上传频率等。

见图3，广电网络的网络连接有两种形态种类，一种是i-PON光纤入户，另一种是同轴电缆入户，因此网络模块可为ONU网络模块或线缆调制解调器(CM)。采用i-PON光纤入户时，ONU网络模块通过万兆广播接收模块与光纤耦接。采用同轴电缆入户时，线缆调制解调器(CM)与同轴电缆耦接。至于其他的附属网络设备也应当设置，如交换机、高频头等，这些附属网络设备的作用及连接方式是本领域技术人员熟知的。基于广电网络双向网络传输数据，随着广电网络双向化达到一定规模，海量的机顶盒终端已经具备双向网络传送功能，同时在广电网络公司双向内网中传输数据，保障了数据的安全可靠。

数据采集存储服务器用于接收并存储终端数据处理模块上传的终端数据，供以后分析使用。配置管理服务器用于负责确定各终端的配置参数、响应终端的请求并下发对应的配置。

本实施例的终端采集系统包括机顶盒、网络模块、数据采集存储服务器和配置管理服务器，其中的机顶盒和网络模块组成数字电视终端，数据采集存储服务器和配置管理服务器组成广电网络服务平台。本系统采集多维数据的内容不仅包括单双向节目收视数据，还包括终端设备各种状态数据、用户行为数据。通过采集有效的数字电视终端数据，更好地为用户服务，增强智慧广电实力，提升业务的ARPU值是本系统的目的。

本实施例还公开一种基于广电网络的终端数据采集方法，包括如下步骤：

1)广电网络中心搭设数据采集存储服务器和配置管理服务器，数据采集存储服务器采用负载均衡集群+采集节点本地缓存的方式，使用一个负载均衡的服务器集群来采集和存储终端上传的数据，配置管理服务器可以自动设置或者管理员手动设置各个机顶盒的配置策略，预留接口给智能分析系统，可实现根据终端数据分析的结果，动态智能生成配置信息下发给各机顶盒。

2)在机顶盒上统一固化两个地址，分别是数据采集存储服务器地址和配置管理服务器地址，同时还设置终端主应用模块和终端数据处理模块，该两个模块相互独立运行，不受机顶盒其他部分模块运行的影响，也不增加主应用的故障排查复杂度。

3)机顶盒开机，终端主应用模块和终端数据处理模块启动，通过网络模块与广电网络中心通信；

4)终端主应用模块登录3A鉴权服务器，获取到3A配置表，解析其中的配置管理服务器地址并发送给终端数据处理模块进行更新；如果配置表中没有配置管理服务器地址，则表示地址无改变，不需要更新；

5)终端数据处理模块基于配置管理服务器地址与配置管理服务器通信，通信方式为HTTP GET方式。终端数据处理模块携带自身信息，通过广电双向网络向配置管理服务器请求本机配置，配置管理服务器获得请求后下发配置，终端数据处理模块接收配置信息并根据接收到的配置信息设置数据处理策略，策略包括数据接收、过滤、缓存、加密和上传，同时也可以根据实际情况灵活配置调整相关参数，控制上传速率和包大小、信号数据采集频率等。

6)网络模块汇集终端数据到终端主应用模块，终端数据为多维数据，包括但不限于：终端基本数据、CA数据、用户单向行为数据、用户双向行为数据、定时获取的信号信息数据、故障采集数据、双向维护数据等。

7)终端主应用模块将静态终端数据(终端基本数据、CA数据)存放在内存，由终端数据处理模块读取上报；终端主应用模块将动态终端数据(用户单向行为数据、用户双向行为数据、定时获取的信号信息数据、故障采集数据、双向维护数据)通过socket函数发送给终端数据处理模块，终端数据处理模块根据数据处理策略对数据进行处理，即，灵活地对终端数据进行接收、过滤、加密等，然后根据时效的不同进行数据缓存或者直接发送上传到数据采集存储服务器。终端数据处理模块与数据采集存储服务器的通信方式为HTTP POST方式。

8)数据采集存储服务器集群中的调度器根据预先设置好的调度算法，将上传的终端数据均衡地发送到集群中的采集节点上，然后各个采集节点将采集到的数据缓存汇聚，再根据不同维度的业务逻辑传送到后端的云存储处理节点上进行融合汇总处理。数据采集存储服务器所获得的数据用于收视率分析、用户行为分析、终端状态统计分析、终端故障远程维护分析和网络质量分析，形成了针对收视用户的特有的RFM数据模型、用户的因子分析类等。

通过采集多维度终端数据，把数据按情况分类，尽可能采集各特征数据，为后续AI大数据分析打下基础。系统把数据分成如下几个维度的数据包：

9)配置管理服务器读取终端数据，并根据对数据分析的结果自动生成配置，在终端定时请求的时候下发给机顶盒，形成一个循环。

10)考虑有长期不关机情况，按照配置参数要求，机顶盒定时向配置管理服务器申请获取配置；

11)检测机顶盒是否通过HDMI接电视机，检测HDMI的EDID信息，上报电视机屏幕开关状态。

本实施例的终端数据采集系统和采集方法，对不同数据进行多重策略对待并设置为配置信息，根据灵活的个性化的配置把海量的多维度的终端状态、机顶盒(用户)行为信息、网络状态等数据发送到服务平台进行机器学习和数据挖掘，可以及时获取用户的行为、分析用户的需求，公司据此及时调整和优化经营策略，有的放矢地为用户提供更好服务，促进消费的升级，增加用户粘性。

同时，通过对多维度数据分析基础上，从直播、点播、互动等多个角度数据分析及时了广电业务运营的情况。综合用户订购、套餐等数据进行深度的挖掘，结合广电业务的特点，形成了针对收视用户的特有的RFM数据模型、用户的因子分析类等。基于多个维度进行用户的画像、用户价值的分析，内容标签和相关的数据输出，为业务的定向营销提供支撑，及时调整和优化经营策略，有的放矢地为用户提供更好服务。数据应用范围广泛，是大数据采集的一个重要数据来源，可以挖掘很多的应用，例如，一类是采集网络信息数据，可以根据网络数据感知网络质量，提前知道了了解网络质量好坏，对网络及时整改和故障排除，智能化感知网络一切，给用户提示用户体验。第二，就是用户收视行为，可以根据用户行为，为以后精准推送相关数字电视产品和实物商品给用户打下坚实基础。第三，机顶盒远程维护数据采集，把机顶盒运行数据采集，分析机顶盒健康状态等等，提前知道机顶盒的生命周期信息等。

需要指出的是，上述较佳实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于广电网络的终端数据采集系统，其特征在于包括：机顶盒、网络模块、数据采集存储服务器和配置管理服务器；

其中，机顶盒和网络模块设置在用户家中，数据采集存储服务器和配置管理服务器设置在广电网络服务平台上，通过广电网络的双向网络相互通信；

机顶盒在出厂时就统一固化两个地址，分别是数据采集存储服务器地址和配置管理服务器地址，机顶盒通过数据采集存储服务器地址和配置管理服务器地址分别与数据采集存储服务器和配置管理服务器进行网络连接；

机顶盒内还设置有终端主应用模块和终端数据处理模块，该两个模块之间基于socket函数进行数据传输，终端主应用模块主要用于登录3A鉴权服务器，获取到3A配置表并解析出配置表中的配置管理服务器地址并发送给终端数据处理模块进行更新，同时接收和转发网络模块汇集来的终端数据；终端数据处理模块分别与数据采集存储服务器和配置管理服务器通信，终端数据处理模块包括数据获取模块、配置获取模块和配置生效模块，其中的数据获取模块与终端主应用模块通信，接收终端数据，配置获取模块与配置管理服务器通信，配置获取模块携带机顶盒自身信息通过广电双向网络向配置管理服务器请求本机配置，配置管理服务器下发配置，配置获取模块接收配置信息；配置生效模块根据接收到的配置信息设置数据处理策略，包括数据过滤清洗、加密、缓存和上传频率；

所述数据采集存储服务器用于接收并存储终端数据处理模块上传的终端数据；

所述配置管理服务器用于读取并分析终端数据，自动或手动生成配置信息并下发给终端数据处理模块。

2.根据权利要求1所述的基于广电网络的终端数据采集系统，其特征在于：所述网络模块为ONU网络模块或线缆调制解调器，ONU网络模块通过万兆广播接收模块与光纤耦接，线缆调制解调器与同轴电缆耦接。

3.一种基于广电网络的终端数据采集方法，其特征在于：包括如下步骤：

1)广电网络搭设服务平台，包括数据采集存储服务器和配置管理服务器；

2)在机顶盒上统一固化两个地址，分别是数据采集存储服务器地址和配置管理服务器地址，同时还设置终端主应用模块和终端数据处理模块；

3)机顶盒开机，终端主应用模块和终端数据处理模块启动，通过网络模块分别与数据采集存储服务器和配置管理服务器；

4)终端主应用模块登录3A鉴权服务器，获取到3A配置表，解析其中的配置管理服务器地址并发送给终端数据处理模块进行更新；

5)终端数据处理模块基于配置管理服务器地址与配置管理服务器通信，终端数据处理模块向配置管理服务器请求配置，然后接收配置信息，并根据接收到的配置信息设置数据处理策略；

6)网络模块汇集终端数据到终端主应用模块；

7)终端主应用模块将静态终端数据存放在内存，由终端数据处理模块读取上报；终端主应用模块将动态终端数据通过socket函数发送给终端数据处理模块，终端数据处理模块根据数据处理策略对数据进行处理，然后基于数据采集存储服务器地址并上传到数据采集存储服务器；

8)数据采集存储服务器集群中的调度器根据预先设置好的调度算法，将上传的终端数据均衡地发送到集群中的采集节点上，然后各个采集节点将采集到的数据缓存汇聚，再根据不同维度的业务逻辑传送到后端的云存储处理节点上进行融合汇总处理；数据采集存储服务器所获得的数据用于收视率分析、用户行为分析、终端状态统计分析、终端故障远程维护分析和网络质量分析，形成了针对收视用户的特有的RFM数据模型、用户的因子分析类，通过采集多维度终端数据，把数据按情况分类，为后续AI大数据分析打下基础，系统把数据分成如下几个维度的数据包：

9)配置管理服务器读取终端数据，并根据对用户分析的结果自动生成配置，在终端定时请求的时候下发给机顶盒。

4.根据权利要求3所述的基于广电网络的终端数据采集方法，其特征在于：所述步骤5)中，数据处理策略包括数据接收、过滤、缓存、加密和上传。

5.根据权利要求3所述的基于广电网络的终端数据采集方法，其特征在于：所述步骤5)中，终端数据处理模块与配置管理服务器的通信方式为HTTP GET方式。

6.根据权利要求3所述的基于广电网络的终端数据采集方法，其特征在于：所述步骤7)中，终端数据处理模块与数据采集存储服务器的通信方式为HTTP POST方式。

7.根据权利要求3所述的基于广电网络的终端数据采集方法，其特征在于：所述数据采集存储服务器采用了负载均衡集群和采集节点本地缓存的方式采集终端数据处理模块上传的数据。

Images