CN108462888B

CN108462888B - 用户电视及上网行为的智能关联分析方法及系统

Info

Publication number: CN108462888B
Application number: CN201810208571.2A
Authority: CN
Inventors: 宋晶科; 林峰; 陈春; 臧砺寒
Original assignee: Jiangsu Broadcasting Cable Information Network Co ltd
Current assignee: Jiangsu Broadcasting Cable Information Network Co ltd
Priority date: 2018-03-14
Filing date: 2018-03-14
Publication date: 2021-01-19
Anticipated expiration: 2038-03-14
Also published as: CN108462888A

Abstract

本发明公开了一种用户电视及上网行为的智能关联分析方法及系统。该方法首先采集不同系统与户电视及上网行为相关的数据；然后将不同系统的数据关联起来，形成反应用户订购、消费、收视行为和上网行为的完整信息链；再对关联后的数据进行数据建模，得到多维统计数据、标签和用户画像；最后利用建立的数学模型进行客户洞察和营销服务，提供企业经营分析所需的主题分析报表，以及用户服务所推荐的内容和产品。本发明通过关联规则对用户电视及上网行为进行智能关联，打破了数据孤岛，形成了用户收视行为与用户上网行为的完整信息链，便于更全面地了解用户，提高营销服务的精准性和服务质量。

Description

用户电视及上网行为的智能关联分析方法及系统

技术领域

本发明涉及大数据技术，具体涉及一种用户电视及上网行为的智能关联分析方法及系统。

背景技术

在三网融合与移动互联网趋势下，电视用户体验要求越来越高，用户行为更加多样，如何利用好大数据技术、将现有的大量业务数据、行为数据产生更高的价值，对企业的运营、业务拓展提供支撑与指导，是企业转型创新的重要方向。在这样的新形势下，需要对江苏有线用户电视及上网行为数据智能关联分析。

但目前，用户电视收视行为数据与用户上网行为数据数据量非常大，且分布在不同的系统中，现在没有系统能够存储海量和用户电视收视行为数据和用户上网行为数据，也没有系统能够计算处理这些海量的数据，没有数据关联规规则，数据是分离的，不能够形成完整的用户信息链。

发明内容

为了解决上述问题，本发明的目的在于提供一种用户电视及上网行为的智能关联分析方法及系统，通过数据的智能关联分析，有效地融合数据，为智能运营提供支撑。

实现本发明目的的技术解决方案为：用户电视及上网行为的智能关联分析方法，包括如下步骤：

步骤1、采集不同系统与户电视及上网行为相关的数据；

步骤2、将不同系统的数据关联起来，形成反应用户订购、消费、收视行为和上网行为的完整信息链；

步骤3、对关联后的数据进行数据建模，得到多维统计数据、标签和用户画像；

步骤4、利用建立的数学模型进行客户洞察和营销服务，提供企业经营分析所需的主题分析报表，以及用户服务所推荐的内容和产品。

用户电视及上网行为的智能关联分析系统，包括数据采集与解析模块、数据计算与存储模块、数据服务与管控模块、客户洞察模块和营销服务模块，其中：

数据采集与解析模块，用于采集、解析用户电视收视行为数据和上网行为数据；

数据计算与存储模块，用于对解析的用户电视收视行为数据和上网行为数据进行存储和关联，建立多维统计结果、标签和用户画像；

数据服务与管控模块，用于对关联的用户电视收视行为数据和上网行为数据进行数据质量管理、监控和可视化；

客户洞察模块，用于根据关联数据提供企业经营分析所需的主题分析报表；

营销服务模块，用于根据关联数据提供用服务推荐内容和产品。

本发明与现有技术相比，其显著优点：本发明通过关联规则对用户电视及上网行为进行智能关联，打破了数据孤岛，形成了用户收视行为与用户上网行为的完整信息链，便于更全面地了解用户，提高营销服务的精准性和服务质量。

附图说明

图1是本发明用户电视及上网行为的智能关联分析方法流程图。

图2是本发明各系统数据关联的原理图。

图3是本发明用户电视及上网行为的智能关联分析系统的功能架构图。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明方案。

如图1所示，用户电视及上网行为的智能关联分析方法，包括数据采集、数据关联、数据建模和数据应用，具体步骤如下：

步骤1、数据采集：采集不同系统与户电视及上网行为相关的数据。本发明采用FTP文件的接口方式采集各种数据，为系统提供数据源，接口对接的系统如下：

1)认证系统接口

从认证系统获取用户宽带账号信息、用户登录IP地址信息、时间戳信息、认证记录信息等。

2)DNS系统接口

从DNS系统获取网络访问信息，包括用户登录IP地址信息、服务地址信息、域名解析地址信息、用户源端口信息、域名信息、查询类型信息、时间戳信息等。

3)BOSS系统接口

从BOSS系统获取用户基本信息、用户宽带账号信息、登录IP地址信息、客户基本信息、地址信息、用户产品订购信息、用户套餐订购信息、用户缴费信息、用户账户、余额、出销账信息、CA卡信息等。

4)宽带伴侣系统接口

从宽带伴侣系统获取用户上网行为日志信息、用户登录IP地址信息、时间戳信息。

5)拨测系统接口

从拨测系统获取服务器浏览信息、服务器视频观看信息等。

6)上网行为数据

采集上网网页的上行流量、下行流量、用户登录IP地址信息、时间戳信息。

7)收视行为数据

采集机顶盒的开关机信息、收看直播数字电视频道信息、点播视频日志数据、CA卡信息。

步骤2、数据关联：由于数据分别来自不同系统，而且不同系统的数据并没有强关联关系，需要对数据进行分析处理，将不同系统的数据关联起来，形成反应用户订购、消费、收视行为和上网行为的完整信息链。本发明采用一定的关联规则，使不同系统间的数据能关联起来，具体为：

步骤2.1、采用数据关联规则进行不同系统间的数据关联，如图2所示。

1)BOSS系统数据与认证系统数据通过用户宽带账号信息进行关联；

2)BOSS系统数据与收视行为数据通过CA卡信息进行关联；

3)DNS系统数据、上网行为数据、认证系统数据、宽带伴侣系统数据根据用户登录IP地址信息加时间戳信息进行数据关联；

4)上网网页以及视频体验数据属于拔测系统数据，自成一体，不与其它数据源进行关联；

通过以上关联规则，采集的数据都进行了关联。

步骤2.2、对不符合规则的数据进行分类存储。

1)有认证系统信息，但是没有DNS信息的，这类数据我们统计到用户上网时间，以及某一周期内用户上网次数等数据；

2)有DNS和网管信息，但是缺少认证系统信息的，这类数据可以统计到用户访问的URL，用户访问网站类型等。

步骤3、数据建模：对关联后的数据进行数据建模，根据数据应用场景，进行两类建模：

1)数据仓库建模

采用数据分层的模式，对关联后的数据进行多维建模，实现不同维度粒度的统计数据，满足客户洞察、营销服务对不同粒度数据输出的需要。

2)数据挖掘建模

通过数据挖掘方法进行用户画像，对内容、产品进行标签建设，为客户洞察、营销服务提供基础数据。

步骤4、数据应用：利用建立的数学模型进行客户洞察和营销服务，一是提供企业经营分析所需的主题分析报表，以图表的方式可视化，二是支撑营销服务，提供用户服务所推荐的内容和产品。

1)客户洞察

客户洞察是主题分析，主要是广电用户发展主题分析、广电收入主题分析、广电套餐主题分析、广电市场主题分析、广电用户上网行为主题分析、宽带网络状态主题分析、电视收视指标主题分析、宽带伴侣主题分析等。

2)营销服务

营销服务主要是产品推荐，产品推荐系统提供新品推荐、热门推荐、关联推荐、个性化推荐、组合推荐等功能，以便更高效地发现和满足用户的个性化需求，使产品能够提供更好的用户体验。

如图3所示，用户电视及上网行为的智能关联分析系统，包括数据采集与解析模块、数据计算与存储模块、数据服务与管控模块、客户洞察模块和营销服务模块，其中：数据采集与解析模块，用于采集、解析用户电视收视行为数据和上网行为数据；数据计算与存储模块，用于对解析的用户电视收视行为数据和上网行为数据进行存储和关联，建立多维统计系统和标签系统与用户画像；数据服务与管控模块，用于对关联的用户电视收视行为数据和上网行为数据进行数据质量管理、监控和可视化；客户洞察模块，用于根据关联数据提供企业经营分析所需的主题分析报表；营销服务模块，用于根据关联数据提供用服务推荐内容和产品，下面详细介绍各模块功能。

1)数据采集与解析模块，借助大数据平台的采集工具，构建解析规则库和规则引擎，以实现对数据文件的内容编码的自动解析，识别异常编码。同时，构建第三方数据融合和用户唯一标识匹配，实现异构数据源得合并和交换。

2)数据计算与存储模块，将采集到的数据存储在大数据平台，主要实现多维统计和标签系统与用户画像的存储和计算。多维统计即对维度数据和指标数据建立多维分析模型，定义指标字典表、维度表、维度统计表。采用业界比较成熟的数据分层体系来构建多维数据的处理过程，采集到的数据放在STG层，然后进行格式标准化、剔除垃圾数据等预处理环节后进入DWD层，DWD层可以说是明细级表单数据，通常详单数据均来自该层，进一步按照地区、时间等维度的不同层级，将DWD向上汇聚到DWA层，该层拥有清晰的维度数据表和事实数据表，DWA层的数据依然在HDFS上进行存储，为了便于应用报表即席查询，会将待查询的数据同步到HBase等NoSQL数据库中，并按照专题需求合并成几张大宽表，该层为ST层，即数据集市层。该处理过程使用大数据平台的ETL工具实现，由于该过程是一个离线过程，但也要保证DWD层的及时性，所以我们采用Spark来加速数据的汇聚过程，由ETL工具进行调度执行。多维统计主要为常规的数据仓库分析，理论基础和技术能力都比较成熟，是报表系统的数据基础。而标签系统与用户画像则是通过对业务内容和用户行为进行打标签来实现精准营销和智能推荐的基础。在本系统中，我们会通过爬虫获取媒体内容的介绍、评论和粉丝互动等非结构化数据，综合提取对业务内容的特征标签，并通过对用户基本属性的纠错和用户在机顶盒上的行为来提取用户的特征标签。标签的提取需要实现人工打标签的流程化审批和通过机器学习算法来实现标签的自动提取，并通过推荐算法的正向反馈和负向反馈调整标签的准确性。在标签系统的基础上，将用户静态属性和标签作为特征变量，实现用户分群，最终构建各个用户群的典型性用户特征，即用户画像。用户画像需要接受服务层传过来的匹配请求，返回需要推荐的媒体资源和广告，提升用户的转化率。

3)数据服务与管控模块，是对整个系统的稳定性和易用性的保障，主要包括接口管理、元数据管理、数据质量管理、安全管控等功能子模块。其中元数据管理和数据质量管理是最为重要的功能，元数据主要记录了大数据平台数据表和字段的描述信息，以及对指标的定义和描述，报表元数据以xml文件的方式将报表的数据源、表格、图标、分析模型、字段描述等元素存储在元数据管理系统中，便于报表的再次编辑和跨系统移植、离线操作。数据质量管理是对报表数据自上而下的质量管控，可以通过元数据定义的规则进行数据质量巡检，评估数据的准确性、完整性、合理性等，最终生成数据质量报告，并且可以对数据质量结果设置预警阈值，超过阈值的条件可以通过邮件、短信等方式进行预警。接口管理是通过界面的方式模拟调用Rest API接口的工具，可以使用户快速掌握Rest API的使用方法。安全管控，主要包括用户管理、访问权限控制和数据脱敏。用户管理是指对访问该系统的用户的管理，包括用户的增删改、冻结、解冻等操作，以及组织架构和角色分配。访问权限控制是通过Token的方式来校验访问用户所具备的权限，包括页面功能点权限和数据权限，数据权限可以实现按域授权。数据脱敏是对用户隐私数据、财务数据按照一定的算法进行加密或混淆，但依然保持唯一性。

4)客户洞察模块，通过灵活智能的报表工具实现专题的定制化开发，主要由分析专题和报表工具两个子模块构成。分析专题是通过报表工具定制化开发实现。报表工具主要有Portal门户、报表模板定制和分析模型构成，Portal门户基于JSR268规范的门户系统，可以实现多个Portlet的集中化管理，并可以将报表的图表作为Portlet嵌入Portal门户中。报表模板定制可以基于已经实现的报表模板定制报表，可以让用户选择数据源、生成数据表格、分析图来生成一张报表，默认继承报表的条件选择、报表订阅、下载等常用的辅助功能。分析模型主要有同比分析、环比分析、对比分析、TopN排名等常用的分析方法，这些分析方法是报表工具的主要构成部分。

5)营销服务模块，是在用户画像、标签库为基础进行个性化推荐。用户画像是进行用户经营、精准分析和个性化营销服务的基础。通过收视行为、网行为和消费行为，对用户特征进行分析和画像。标签库包括内容标签和用户标签。标签库的建设与业务场景息息相关，需要根据业务场景不同建立相应的标签，以标签对数据进行分类。但标签库的建设不是一蹴而就的，随着数据分析场景的变化和用户分析的深入，需要不断的调整增加。因此对标签库的要求是建立一套统一的标签管理体系，方便定义扩展审核标签，不断进行完善。同时，需要建立标签的爬虫工具，不断的爬取互联网关键词，来逐步丰富标签体系的建设。个性化推荐系统的建设依赖于用户画像和标签库的完善，推荐算法和相关标签数据选择，需要根据推荐的效果进行不断的循环改进。

Claims

1.用户电视及上网行为的智能关联分析方法，其特征在于，包括如下步骤：

步骤1、采集不同系统的用户电视及上网行为相关的数据；

步骤4、利用建立的数学模型进行客户洞察和营销服务，提供企业经营分析所需的主题分析报表，以及用户服务所推荐的内容和产品；

步骤1中采用FTP文件的接口方式采集不同系统数据，包括：

认证系统接口数据：认证系统的用户宽带账号信息、用户登录IP地址信息、时间戳信息、认证记录信息；

DNS系统接口数据：DNS系统的用户登录IP地址信息、服务地址信息、域名解析地址信息、用户源端口信息、域名信息、查询类型信息、时间戳信息；

BOSS系统接口数据：BOSS系统的用户基本信息、用户宽带账号信息、登录IP地址信息、客户基本信息、地址信息、用户产品订购信息、用户套餐订购信息、用户缴费信息、用户账户、余额、出销账信息、CA卡信息；

宽带伴侣系统数据：宽带伴侣系统的用户上网行为日志信息、用户登录IP地址信息、时间戳信息；

拨测系统接口数据：拨测系统的服务器浏览信息、服务器视频观看信息；

上网行为数据：上网网页的上行流量、下行流量、用户登录IP地址信息、时间戳信息；

收视行为数据：机顶盒的开关机信息、收看直播数字电视频道信息、点播视频日志数据、CA卡信息；

步骤2中采用用户宽带账号信息、CA卡信息、用户登录IP地址信息、时间戳信息组合的关联规则进行数据关联：

1)根据用户宽带账号信息关联BOSS系统数据和认证系统数据；

2)根据CA卡信息关联BOSS系统数据和收视行为数据；

3)根据用户登录IP地址信息加时间戳信息关联DNS系统数据、上网行为数据、认证系统数据和宽带伴侣系统数据；

4)拔测系统数据，不与其它数据源进行关联。

2.根据权利要求1所述的用户电视及上网行为的智能关联分析方法，其特征在于，步骤3根据数据应用场景对数据进行建模，包括以下并列的两部分：

1)数据仓库建模：

采用数据分层的模式，对关联后的数据进行多维建模，实现不同维度粒度的统计数据，满足客户洞察、营销服务对不同粒度数据输出的需要；

2)数据挖掘建模

3.用户电视及上网行为的智能关联分析系统，其特征在于，包括数据采集与解析模块、数据计算与存储模块、数据服务与管控模块、客户洞察模块和营销服务模块，其中：

数据计算与存储模块，用于对解析的用户电视收视行为数据和上网行为数据进行存储和关联，建立多维统计数据、标签和用户画像；

营销服务模块，用于根据关联数据提供用服务推荐内容和产品；

数据采集与解析模块中，采用FTP文件的接口方式采集不同系统数据，包括：

数据计算与存储模块中，采用用户宽带账号信息、CA卡信息、用户登录IP地址信息、时间戳信息组合的关联规则进行数据关联：

1)根据用户宽带账号信息关联BOSS系统数据和认证系统数据；

2)根据CA卡信息关联BOSS系统数据和收视行为数据；

4)拔测系统数据，不与其它数据源进行关联。

4.根据权利要求3所述的用户电视及上网行为的智能关联分析系统，其特征在于，所述数据计算与存储模块采用分布式文件系统架构实现用户电视收视行为数据和用户上网行为数据的存储，利用内存计算框架实现对用户电视收视行为数据和用户上网行为数据的关联和计算。

5.根据权利要求3所述的用户电视及上网行为的智能关联分析系统，其特征在于，数据服务与管控模块包括接口管理子模块、元数据管理子模块、数据质量子模块和安全管控子模块，其中：接口管理子模块用于通过界面的方式模拟调用Rest API接口；元数据管理子模块用于记录数据表和字段的描述信息，以及对指标的定义和描述；数据质量子模块用于评估报表数据的准确性、完整性和合理性；安全管控子模块用于进行用户管理、访问权限控制和数据脱敏。