CN109756761A - 基于智能电视的行为大数据获取系统及方法 - Google Patents
基于智能电视的行为大数据获取系统及方法 Download PDFInfo
- Publication number
- CN109756761A CN109756761A CN201910038145.3A CN201910038145A CN109756761A CN 109756761 A CN109756761 A CN 109756761A CN 201910038145 A CN201910038145 A CN 201910038145A CN 109756761 A CN109756761 A CN 109756761A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- service
- smart television
- cleaning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及大数据领域，其公开了一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。该系统包括智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务。本发明采用基于libpcap实现的NET SDK捕获流经网卡的原始数据，根据清洗规则对数据进行简单清洗之后，上传到云上的数据接收处理服务。从而可以在网络传输层收集用户APP内使用行为数据，而无需通过单个APP集成收集。
Description
技术领域
本发明涉及大数据领域，具体涉及一种基于智能电视的行为大数据获取系统及方法。
背景技术
在智能电视网络内容服务场景中，涉及牌照方、硬件厂商、应用提供方与内容提供方。由于集成方案原因，大部分用户行为数据集中在应用提供方。作为硬件厂商和牌照方，只能从Launcher中直接获得有限的行为数据，而对于应用内的行为数据，几乎无法获取。因此，用户行为数据的完整性、准确性、时效性都无法保障，造成了个性化的产品运营服务成为一句空话。
硬件厂商如何通过系统层面，独立于应用之外，以简单高效的方式采集所有音视频播放行为数据，成为了各厂商的迫切需求。
发明内容
本发明所要解决的技术问题是：提供一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。
本发明解决上述技术问题所采用的技术方案是：
基于智能电视的行为大数据获取系统，包括智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；
所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；
所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；
所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；
所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；
所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；
所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；
所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；
所述用户认证服务，提供对数据上报的终端用户的认证；
所述数据接收服务，提供对上报的数据接收功能；
所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；
所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。
作为进一步优化，所述登录认证模块在首次登录成功后，获得数据加密密钥，在数据上传时，通过该密钥对数据进行加密。
作为进一步优化，所述终端管理包括：绑定关系管理、认证密钥管理和终端黑名单。
作为进一步优化，所述清洗规则按照协议类型设置或者由关键字组成。
作为进一步优化，所述数据上传模块根据后端配置要求，选择传输协议将清洗后的数据上传给后台数据处理服务。
作为进一步优化，所述数据上传支持实时上传、批量打包上传和批量打包压缩上传；当传输异常时，先持久化到本地，待下次上传数据时一并上传。
作为进一步优化，所述传输协议支持FTP协议、HTTP协议、TFTP协议、UDP协议和HTTPS协议。
作为进一步优化，所述NET SDK模块中内置规则解析引擎，根据后端配置的清洗规则，解析生成数据捕获模块所需的过滤规则，数据捕获模块根据过滤规则进行数据捕获；再根据清洗规则定义，由数据清洗模块清洗不需要的数据，获得数据上传模块所需格式的数据。
此外，本发明还提供了一种基于智能电视的行为大数据获取方法，应用于上述系统中，其包括以下步骤：
a.智能电视上的NET SDK模块启动；
b.向云端服务器发起身份认证；
c.创建上传线程；
d.从云端服务器获取配置文件；
e.对配置文件进行解密和校验；
f.根据配置文件设置过滤参数；
g.读取网络数据；
h.通过二次过滤抓取数据；
i.将合法数据缓存，并且循环读取网络数据；
j.由上传线程实时监测缓存区数据；
k.当读取到缓存区合法数据后组织上传。
作为进一步优化，步骤a中，所述NET SDK模块在当天首次启动时，进行清洗规则检查和更新。
本发明的有益效果是：采用基于libpcap(数据包捕获函数库)实现的NET SDK捕获流经网卡的原始数据，根据清洗规则对数据进行简单清洗之后，上传到云上的数据接收处理服务。从而可以在网络传输层收集用户APP内使用行为数据，而无需通过单个APP集成收集。在当前智能电视OTT行业中，让内容运营方具备了获取用户行为的能力，从而可以基于这些数据满足定制化服务和个性化运营增值业务等场景；通过本方案厂家可以满足但不限于如下业务需求：研究用户行为，洞察广告投放策略，制定内容运营策略，定制产品服务等。
附图说明
图1为本发明的基于智能电视的行为大数据获取系统框架图；
图2为本发明的基于智能电视的行为大数据获取方法流程图。
具体实施方式
本发明旨在提出一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。本发明通过底层网络数据抓取集合私有化数据包捕获函数库，在电视机系统层面获得需要信息，从而实现对第三方应用的管理监控。
如图1所示，本发明中基于智能电视的行为大数据获取系统，包括智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；
所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；
所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；
所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；
所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；
所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；
所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；
所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；
所述用户认证服务，提供对数据上报的终端用户的认证；
所述数据接收服务，提供对上报的数据接收功能；
所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；
所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。
在具体实现上，由于账户信息在SDK分发时以密文的形式在配置文件中配置，无需人工输入用户名、密码。初始化(首次验证通过)之后，与终端MAC地址绑定，以后验证MAC和密码的合法性。登录成功之后，获得数据加密密钥，数据上传时用该密钥对数据进行加密。
NET SDK模块中内置有规则解析引擎，根据后端配置的清洗规则，解析生成数据捕获模块所需的过滤规则，数据捕获模块根据过滤规则进行数据捕获；再根据清洗规则定义，由数据清洗模块清洗不需要的数据，获得数据上传模块所需格式的数据。这里的根据过滤规则进行数据捕获以及根据清洗规则定义对不需要的数据进行清洗即为“二次过滤”，目的在于获得准确的所需要的数据。其中的清洗规则可以按照协议类型设置或者由关键字组成。
数据上传模块在进行上传时，可以根据后端配置要求，选择传输协议将清洗后的数据上传给后台数据处理服务。其中，所述传输协议支持FTP协议、HTTP协议、TFTP协议、UDP协议和HTTPS协议。所述数据上传支持实时上传、批量打包上传和批量打包压缩上传；当传输异常时，先持久化到本地，待下次上传数据时一并上传。
后台处理服务中的各个部分完成以下功能：
用户认证服务，用于验证上报终端是否合法，首次登录时完成终端ID与密码绑定，SDK版本检查。如果用户合法，返回会话ID及数据清洗规则。
数据接收服务为一个高可靠的数据接收服务，支持FTP，TFTP，HTTP，HTTPS，UDP协议上报的数据。接收后优先持久化到本地，再从本地转发到大数据平台。
数据转发/存储服务支持以文件方式存储数据或是将数据投递到队列进行转发。转发时基于本地文件扫描，事件通知，队列消费方式对外转发。
配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。所述终端管理包括：绑定关系管理、认证密钥管理和终端黑名单。
基于上述系统，本发明实现的基于智能电视的行为大数据获取方法如图2所示，其包括以下步骤：a.智能电视上的NET SDK模块启动；b.向云端服务器发起身份认证；c.创建上传线程；d.从云端服务器获取配置文件；e.对配置文件进行解密和校验；f.根据配置文件设置过滤参数；g.读取网络数据；h.通过二次过滤抓取数据；i.将合法数据缓存，并且循环读取网络数据；j.由上传线程实时监测缓存区数据；k.当读取到缓存区合法数据后组织上传。
Claims (10)
1.基于智能电视的行为大数据获取系统，其特征在于，包括：
智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；
所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；
所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；
所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；
所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；
所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；
所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；
所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；
所述用户认证服务，提供对数据上报的终端用户的认证；
所述数据接收服务，提供对上报的数据接收功能；
所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；
所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。
2.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，
所述登录认证模块在首次登录成功后，获得数据加密密钥，在数据上传时，通过该密钥对数据进行加密。
3.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，
所述终端管理包括：绑定关系管理、认证密钥管理和终端黑名单。
4.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，
所述清洗规则按照协议类型设置或者由关键字组成。
5.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，
所述数据上传模块根据后端配置要求，选择传输协议将清洗后的数据上传给后台数据处理服务。
6.如权利要求5所述的基于智能电视的行为大数据获取系统，其特征在于，
所述数据上传支持实时上传、批量打包上传和批量打包压缩上传；当传输异常时，先持久化到本地，待下次上传数据时一并上传。
7.如权利要求5所述的基于智能电视的行为大数据获取系统，其特征在于，
所述传输协议支持FTP协议、HTTP协议、TFTP协议、UDP协议和HTTPS协议。
8.如权利要求1-7任意一项所述的基于智能电视的行为大数据获取系统，其特征在于，
所述NET SDK模块中内置规则解析引擎，根据后端配置的清洗规则，解析生成数据捕获模块所需的过滤规则，数据捕获模块根据过滤规则进行数据捕获；再根据清洗规则定义，由数据清洗模块清洗不需要的数据，获得数据上传模块所需格式的数据。
9.基于智能电视的行为大数据获取方法，应用于如权利要求1-8任意一项所述的系统，其特征在于，包括以下步骤：
a.智能电视上的NET SDK模块启动；
b.向云端服务器发起身份认证；
c.创建上传线程；
d.从云端服务器获取配置文件；
e.对配置文件进行解密和校验；
f.根据配置文件设置过滤参数；
g.读取网络数据；
h.通过二次过滤抓取数据；
i.将合法数据缓存，并且循环读取网络数据；
j.由上传线程实时监测缓存区数据；
k.当读取到缓存区合法数据后组织上传。
10.如权利要求9所述的基于智能电视的行为大数据获取方法，其特征在于，
步骤a中，所述NET SDK模块在当天首次启动时，进行清洗规则检查和更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910038145.3A CN109756761A (zh) | 2019-01-16 | 2019-01-16 | 基于智能电视的行为大数据获取系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910038145.3A CN109756761A (zh) | 2019-01-16 | 2019-01-16 | 基于智能电视的行为大数据获取系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109756761A true CN109756761A (zh) | 2019-05-14 |
Family
ID=66405879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910038145.3A Pending CN109756761A (zh) | 2019-01-16 | 2019-01-16 | 基于智能电视的行为大数据获取系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109756761A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324600A (zh) * | 2020-02-04 | 2020-06-23 | 杭州电子科技大学 | 数据清洗方法及装置 |
| CN115203192A (zh) * | 2022-09-15 | 2022-10-18 | 北京清众神州大数据有限公司 | 一种基于可视化数据的清洗方法、装置及相关组件 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105472412A (zh) * | 2015-11-20 | 2016-04-06 | 四川长虹电器股份有限公司 | 一种区分智能电视状态的大数据处理方法 |
| US20160226778A1 (en) * | 2014-06-13 | 2016-08-04 | International Business Machines Corporation | Packet i/o support for a logical switch router architecture |
| CN106611345A (zh) * | 2015-10-23 | 2017-05-03 | 北京国双科技有限公司 | 一种采集用户行为数据的方法及装置 |
| CN106933472A (zh) * | 2017-05-20 | 2017-07-07 | 南京西桥科技有限公司 | 一种基于手机app的用户行为数据采集系统及其控制方法 |
| CN106982393A (zh) * | 2017-03-21 | 2017-07-25 | 上海星红桉数据科技有限公司 | 基于海量跨屏收视行为数据的采集汇聚方法 |
| CN108574605A (zh) * | 2017-03-07 | 2018-09-25 | 中国移动通信有限公司研究院 | 一种用户行为数据的采集方法及装置 |
-
2019
- 2019-01-16 CN CN201910038145.3A patent/CN109756761A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160226778A1 (en) * | 2014-06-13 | 2016-08-04 | International Business Machines Corporation | Packet i/o support for a logical switch router architecture |
| CN106611345A (zh) * | 2015-10-23 | 2017-05-03 | 北京国双科技有限公司 | 一种采集用户行为数据的方法及装置 |
| CN105472412A (zh) * | 2015-11-20 | 2016-04-06 | 四川长虹电器股份有限公司 | 一种区分智能电视状态的大数据处理方法 |
| CN108574605A (zh) * | 2017-03-07 | 2018-09-25 | 中国移动通信有限公司研究院 | 一种用户行为数据的采集方法及装置 |
| CN106982393A (zh) * | 2017-03-21 | 2017-07-25 | 上海星红桉数据科技有限公司 | 基于海量跨屏收视行为数据的采集汇聚方法 |
| CN106933472A (zh) * | 2017-05-20 | 2017-07-07 | 南京西桥科技有限公司 | 一种基于手机app的用户行为数据采集系统及其控制方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324600A (zh) * | 2020-02-04 | 2020-06-23 | 杭州电子科技大学 | 数据清洗方法及装置 |
| CN115203192A (zh) * | 2022-09-15 | 2022-10-18 | 北京清众神州大数据有限公司 | 一种基于可视化数据的清洗方法、装置及相关组件 |
| CN115203192B (zh) * | 2022-09-15 | 2023-03-03 | 北京清众神州大数据有限公司 | 一种基于可视化数据的清洗方法、装置及相关组件 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11582057B2 (en) | Multi-services gateway device at user premises | |
| US8843618B2 (en) | Cloud service information overlay | |
| US11924058B2 (en) | Extensible analytics and recommendation engine for network traffic data | |
| US11206534B2 (en) | Method and apparatus for managing bundles of smart secure platform | |
| WO2008083387A2 (en) | Activation, intialization, authentication, and authorization for a multi-services gateway device at user premises | |
| CN103201984B (zh) | 用于基于isn存储器的覆盖网络的动态配置的系统和方法 | |
| CN104601589B (zh) | 一种接入广播电视系统的方法、终端和网络侧服务器 | |
| US20220060900A1 (en) | Method and apparatus for managing and verifying certificate | |
| CN109756761A (zh) | 基于智能电视的行为大数据获取系统及方法 | |
| CN103580962A (zh) | 一种为家庭网关用户提供定制化网络服务的系统及方法 | |
| US11683421B2 (en) | Resolving unsatisfactory QoE for an application for 5G networks or hybrid 5G networks | |
| US20230082301A1 (en) | MEASURING QoE SATISFACTION IN 5G NETWORKS OR HYBRID 5G NETWORKS | |
| CN110401619B (zh) | 一种信息管理方法、终端及服务器 | |
| CN114666554A (zh) | 一种边缘网关云服务管理系统 | |
| CN103348632A (zh) | 用于访问家庭中的多媒体的方法 | |
| US20230081673A1 (en) | DETERMINING QoE REQUIREMENTS FOR 5G NETWORKS OR HYBRID 5G NETWORKS | |
| CN108449562A (zh) | 一种在网络硬盘录像机中添加网络摄像机的方法及装置 | |
| CN104184700A (zh) | 数字刊物的数据传输系统和数据传输方法 | |
| CN107888670B (zh) | 一种基于物联网的智能社区信息亭平台 | |
| CN104581225A (zh) | 互联网电视平台系统 | |
| CN109565341A (zh) | 用于安装条件访问系统信息的方法和装置 | |
| CN105959788A (zh) | 机顶盒的无线路由模块参数设置方法及机顶盒 | |
| CN115914754A (zh) | 数据处理方法、系统、电子设备及计算机存储介质 | |
| FR3042364A1 (fr) | Systeme et procede de communication pour repartir la transmission de donnees sur plusieurs dispositifs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
| RJ01 | Rejection of invention patent application after publication |