CN106570174B - 运行于cmmb超级热点业务平台的大数据分析方法及系统 - Google Patents

Abstract

本发明涉及一种运行于CMMB超级热点业务平台的大数据分析方法，所述方法至少包括：数据收集模块通过网络持续接收设备层的运营数据和应用层中多个用户相关的访问日志用户数据；将目标用户行为数据输入至数据统计分析模块完成各种数据统计分析，得出用户行为数据统计分析结果；根据结果建立具有用户行为数据本体模型，并对用户行为数据本体模型进行推理，从而进一步进行用户最新兴趣数据预测；预测对不同的用户所属归类，并依据用户所属归类与其用户归类相匹配的推送的广告及相关内容。该方法实现用户数据持续收集、分析、挖掘；建立用户模型以及预测、获悉用户潜在需求；最终达到与用户完成基于内容运营的持续良性互动。

Description

运行于CMMB超级热点业务平台的大数据分析方法及系统

技术领域

本发明涉及CMMB视频技术领域，具体涉及一种运行于CMMB超级热点业务平台的大数据分析方法及系统。

背景技术

大数据是规模巨大和复杂的数据集，大数据技术以任何系统的全部数据资源为对象并从中发现数据之间表现的相关性关系的信息处理技术，目前已经广泛应用于互联网的流程优化、目标化消息及广告推送、用户个性化服务与改善等方面，成为了网络服务背后强大的后台支撑。

现有通过大数据进行用户行为分析的技术应用，现有大数据系统分析用户在使用网络资源时表现出来的规律、个性化的习惯，其目的在于监视、预测、甚至控制用户行为，而用户兴趣是用户的个性化特点针对网络资源的具体表现。针对用户行为分析，可提取用户兴趣，了解其特点，一方面可以进行用户个性化定制与推送，为网站访问者提供更加主动的、智能化的服务；另一方面，从用户行为的不同表现，发现其兴趣和偏好，可以优化页面之间组织关系，完善网站系统架构，从而减轻用户寻找信息的负担，使其操作更加简单，节约时间和精力。如专利CN104462213A公开的基于大数据的用户行为分析方法及系统，专利CN105447186A公开的一种基于大数据平台的用户行为分析系统，可实现对可量化的用户行为信息的准确计量，并且实现针对一系列相互关联的用户行为进行全面的统计分析。但将大数据分析运用到CMMB超级热点业务平台的技术仍较为鲜见；或者大多存在一些问题：首先，大多集中于挖掘WEB日志，但这些日志并不足以及时描述用户访问网站时的情景；其次，基于CMMB超级热点业务平台的庞大在线用户产生的实时行为和信息量的巨大，现有大数据系统不能很好满足海量数据的高效分析和多功能呈现。

发明内容

本发明的目的在于克服现有技术中的缺陷，设计一种运行于CMMB超级热点业务平台的大数据分析方法及运用该方法的系统，该分析方法和系统能实现数据采集、数据查询、数据统计、结果呈现、结果导出、角色管理等核心功能，可为业务运营、产品优化等提供科学、全面的数据支持。

为实现上述目的，本发明所采用的技术方案是一种运行于CMMB超级热点业务平台的大数据分析方法，至少包括以下步骤：

S1、数据收集模块通过网络持续接收设备层的运营数据和应用层中多个用户相关的访问日志用户数据，并存储至数据库；

S2、通过json方式调用数据库的目标用户行为数据，并将目标用户行为数据输入至数据统计分析模块的Hadoop集群，由Hadoop集群完成各种数据统计分析，得出用户行为数据统计分析结果；根据结果建立具有用户特有的行为类型值、行为属性值与行为对象内容值的用户行为数据本体模型，并对用户行为数据本体模型进行推理，从而进一步进行用户最新兴趣数据预测；

S3、应用模块根据用户行为数据本体模型及用户最新兴趣预测对不同的用户所属归类，并依据用户所属归类查找广告管理系统中与其用户归类相匹配的推送的广告及相关内容，返回应用层。

其中一个具体的优选方案，步骤S2中，调用的目标用户行为数据基于Hapood架构，利用Map/Reduce并行计算方法分析目标用户，对目标用户数据特征进行关联、清洗处理，将关联数据生成表征一个关联数据组的组用户行为数据值，并进行统计归类，得出数据统计结果；数据统计分析模块对关联后的组用户行为数据中的行为类型值、组行为属性值与组行为对象内容值提取表示特定用户的用户行为特征参数。

进一步的，数据统计分析模块比对预设的标准人条件限定标准和提取的表示特定用户的用户行为特征参数，逆向辨别用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型。

在另一个方案中，步骤S2中还包括：调用数据库的特定设备或产品的运营数据，并将运营数据输入至Hadoop集群，基于Hapood架构，采用并行运算模型完成特定目标设备或产品的运营数据特征分析和关联，将关联数据生成表征一个关联数据组的组目标运营数据值，并根据组目标运营数据值进行持续聚合。

本发明另一方面还提供了一种运行于CMMB超级热点业务平台的大数据系统，所述系统至少包括：

数据收集模块，用于通过网络持续接收设备层的设备或产品运营数据和应用层中多个用户相关的访问日志用户数据；

数据管理模块，用于为数据收集模块和数据统计分析模块的接口界面，用于实现分布式数据存储管理、容错策略管理和API接口；

数据统计分析模块，用于完成各种数据统计分析，得出数据统计分析结果；针对设备或产品运营数据进行持续聚合整理，优化运营手段；针对目标用户行为信息建立用户行为数据本体模型，以及根据用户行为数据本体模型的推理进行用户最新兴趣数据预测；

应用模块，用于根据用户行为数据本体模型及预测对不同的用户所属归类，并根据用户归类相匹配策略推送广告及相关内容。

进一步的，所述数据统计分析模块包括：

信息解析单元，用于从所述数据管理模块抽取特定对象的特征数据值，并解析该特定对象中的各种特征数据值；

信息关联单元，用于根据解析后的特定对象的目标特征数据值，确定该目标特征数据值与该特定对象的其它特征数据值之间的关联性；

信息清洗单元，用于对特定对象的目标特征数据值及该目标特征数据值与其他特征数据值的关联性进行重新审查和校验；

信息统计单元，用于将多个特征对象的关联数据生成表征一个关联数据组的组特征对象数据值，并按照预设类别进行统计归类；

特征分析单元，用于对特定对象的目标特征数据值提取，以表示特定对象的特征参数；

聚合模块，用于获得全部对象的目标特征参数，计算对象之间的目标特征参数相似度，并且根据相似度进行对象归类；

数据模型建立单元，根据标准条件限定标准和特定用户中提取的特征参数比对，逆向辨别特定用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型。

在整个CMMB技术平台支持运营团队对于用户数据持续积累、分析、挖掘的基础上，本发明运行于CMMB超级热点业务平台的大数据分析方法和系统支持用户数据持续收集、分析、挖掘；支持基于数据分析结果建立用户模型以及预测、获悉用户潜在需求；实现与用户完成基于内容运营的持续良性互动。

另一方面，本发明大数据分析方法和系统还支持基于用户需求分析，对视频内容(基础内容、特色内容、本地内容)和应用服务来源的持续聚合、主题整理和多样化编辑，支持内容体系的持续优化；实现内容运营手段的持续完善。

本发明运行于CMMB超级热点业务平台的大数据分析方法和系统以服务更“生动”具有“粘性”为目标，对平台用户使用信息数据进行多维度，多方面的数据挖掘与分析，根据用户自身的特性进行智能的判别以达到平台业务的人性化，科学化的推送。

此外，该分析方法和系统还支持技术平台及产品功能的持续改进，对于当地运营团队、运营商平台、用户终端、第三方应用服务与分渠道管理和推广等方面的灵活合作。

附图说明

图1为运行于CMMB超级热点业务平台的大数据分析方法的示意图；

图2为运行于CMMB超级热点业务平台的大数据系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种运行于CMMB超级热点业务平台的大数据分析方法，实现采集设备、运营、产品功能、用户行为等全方面立体化的数据内容，并根据不同层面的合作需要，运营、产品需要，进行数据挖掘与分析。如图1所示，该方法至少包括以下步骤：

S1、数据收集模块通过网络持续接收设备层的运营数据和应用层中多个用户相关的访问日志用户数据，并存储至数据库；

S2、通过json方式调用数据库的目标用户行为数据，并将目标用户行为数据输入至数据统计分析模块的Hadoop集群，由Hadoop集群完成各种数据统计分析，得出用户行为数据统计分析结果；根据结果建立具有用户特有的行为类型值、行为属性值与行为对象内容值的用户行为数据本体模型，并对用户行为数据本体模型进行推理，从而进一步进行用户最新兴趣数据预测；

S3、应用模块根据用户行为数据本体模型及用户最新兴趣预测对不同的用户所属归类，并依据用户所属归类查找广告管理系统中与其用户归类相匹配的推送的广告及相关内容，返回应用层。

其中，在步骤S2的具体方法包括：

(1)调用的目标用户行为数据基于Hapood架构，利用Map/Reduce并行计算方法分析目标用户，对目标用户数据特征进行关联、清洗处理，将关联数据生成表征一个关联数据组的组用户行为数据值，并进行统计归类，得出数据统计结果。

(2)数据统计分析模块对关联后的组用户行为数据中的行为类型值、组行为属性值与组行为对象内容值提取表示特定用户的用户行为特征参数。

(3)数据统计分析模块比对预设的标准人条件限定标准和提取的表示特定用户的用户行为特征参数，逆向辨别用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型。

此外，步骤S2中还包括对视频内容(基础内容、特色内容、本地内容)和应用服务来源的持续聚合、主题整理和多样化编辑，具体方法为：调用数据库的特定设备或产品的运营数据，并将运营数据输入至Hadoop集群，基于Hapood架构，采用并行运算模型完成特定目标设备或产品(视频内容或应用服务)的运营数据特征分析和关联，将关联数据生成表征一个关联数据组的组目标运营数据值，并根据组目标运营数据值进行持续聚合。

在上述步骤S2中，所述数据统计分析包括对特定用户行为数据和综合数据的统计分析处理。

所述特定用户行为数据包括统计特定用户的节目收视情况、时间段的活跃度和点击量、以及浏览路径和消费习惯。

所述综合数据包括对比相邻时间段的特定用户量、用户活跃度和点击量的统计；统计不同版本APP使用情况；根据查询的新增、留存和活跃用户的访问情况，统计用户的使用频率和使用时长；统计各用户中各个频道访问情况；统计系统运行过程中出现的错误列表。其中，所述对比相邻时间段的用户量、用户活跃度和点击量的统计的具体方法为：对比今天和昨天的新增用户、活跃用户和综合点击量的情况；对比今天和昨天各个时段的新增用户和综合点击量的情况；对比新增用户、活跃用户、总用户和综合点击量的每日趋势。

在具体的应用过程中，本发明的大数据分析方法还可包括：在步骤S2中，得出的数据统计分析结果通过信息展示模块的可交互的可视化展现方式实时显示分析表单、条形图和线形图。

本发明另一个实施例中提供了一种运行于CMMB超级热点业务平台的大数据系统，用于实现上述分析方法。该大数据系统一方面支持用户数据持续收集、分析、挖掘；基于数据分析结果建立用户模型；预测、获悉用户潜在需求；与用户完成基于内容运营的持续良性互动。另一方面支持对视频内容和应用服务来源的持续聚合、主题整理和多样化编辑，支持内容体系的持续优化；内容运营手段的持续完善。

具体实施方式如图2所示，所述系统至少包括：

数据收集模块10，用于通过网络持续接收设备层的设备或产品运营数据和应用层中多个用户相关的访问日志用户数据；

数据管理模块20，用于为数据收集模块10和数据统计分析模块30的接口界面，用于实现分布式数据存储管理、容错策略管理和API接口；

数据统计分析模块30，用于完成各种数据统计分析，得出数据统计分析结果；针对设备或产品运营数据进行持续聚合整理，优化运营手段；针对目标用户行为信息建立用户行为数据本体模型，以及根据用户行为数据本体模型的推理进行用户最新兴趣数据预测；

应用模块40，用于根据用户行为数据本体模型及预测对不同的用户所属归类，并根据用户归类相匹配策略推送广告及相关内容。

其中，所述数据统计分析模块30包括信息解析单元31、信息关联单元32、信息清洗单元33、信息统计单元34、特征分析单元35、聚合单元36以及数据模型建立单元37。

信息解析单元31用于从所述数据管理模块抽取特定设备或产品的运营信息，解析运营对象内容值及属性值；以及从所述数据管理模块抽取特定用户的全部用户行为信息，解析该特定用户行为中的行为类型值、行为属性值与行为对象内容值。

信息关联单元32用于根据特定设备或产品的某一运营信息的具体内容值即属性值，确定该运营信息与该特定设备或产品的其他运营信息之间的关联性；以及根据特定用户的某一用户行为信息的具体行为类型值与行为对象内容值，确定该用户行为信息与该特定用户的其它用户行为信息之间的关联性。

信息清洗单元33，用于对特定对象的目标特征数据值及该目标特征数据值与其他特征数据值的关联性进行重新审查和校验；

信息统计单元34用于将多个设备或产品的运营信息关联数据生成表征一个关联数据组的组运营数据值，并按照预设类别进行统计归类；以及将多个用户行为信息的关联数据生成表征一个关联数据组的组用户行为数据值，并按照预设类别进行统计归类。

特征分析单元35用于对特定设备或产品的运营信息提取，以表示该设备或产品的运营特征参数；以及对特定用户的组用户行为类型值、组行为属性值与组行为对象内容值，提取表示特定用户的用户行为特征参数。

聚合模块36用于获得多个设备或产品的运营信息特征参数，计算设备或产品之间的运行信息特征参数相似度，并且根据特征参数相似度进行用户归类；以及获得全部用户的用户行为特征参数，计算用户之间的用户行为特征参数相似度，并且根据所述用户之间的用户行为特征参数相似度进行用户归类。

数据模型建立单元37根据标准人条件限定标准和特定用户行为中提取的特征参数比对，逆向辨别用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型。

在一个具体的运用实施例中，所述系统还包括信息展示模块50，用于通过可交互的可视化技术将经过表征后的用户行为数据分析结果、各类详情数据分层级进行综合、实时的展现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种运行于CMMB超级热点业务平台的大数据分析方法，其特征在于，至少包括以下步骤：

S1、数据收集模块通过网络持续接收设备层的运营数据和应用层中多个用户相关的访问日志用户数据，并存储至数据库；

S2、通过json方式调用数据库的目标用户行为数据，并将目标用户行为数据输入至数据统计分析模块的Hadoop集群，由Hadoop集群完成各种数据统计分析，得出用户行为数据统计分析结果；根据结果建立具有用户特有的行为类型值、行为属性值与行为对象内容值的用户行为数据本体模型，并对用户行为数据本体模型进行推理，从而进一步进行用户最新兴趣数据预测；

S3、应用模块根据用户行为数据本体模型及用户最新兴趣预测对不同的用户所属归类，并依据用户所属归类查找广告管理系统中与其用户归类相匹配的推送的广告及相关内容，返回应用层；

其中，步骤S2中，调用的目标用户行为数据基于Hapood架构，利用Map/Reduce并行计算方法分析目标用户，对目标用户数据特征进行关联、清洗处理，将关联数据生成表征一个关联数据组的组用户行为数据值，并进行统计归类，得出数据统计结果；数据统计分析模块对关联后的组用户行为数据中的行为类型值、组行为属性值与组行为对象内容值提取表示特定用户的用户行为特征参数；数据统计分析模块比对预设的标准人条件限定标准和提取的表示特定用户的用户行为特征参数，逆向辨别用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型；

步骤S2中还包括：调用数据库的特定设备或产品的运营数据，并将运营数据输入至Hadoop集群，基于Hapood架构，采用并行运算模型完成特定目标设备或产品的运营数据特征分析和关联，将关联数据生成表征一个关联数据组的组目标运营数据值，并根据组目标运营数据值进行持续聚合。

2.如权利要求1所述的运行于CMMB超级热点业务平台的大数据分析方法，其特征在于，步骤S2中，所述数据统计分析包括对特定用户行为数据和综合数据的统计分析处理，所述特定用户行为数据包括统计特定用户的节目收视情况、时间段的活跃度和点击量、以及浏览路径和消费习惯；

所述综合数据包括对比相邻时间段的特定用户量、用户活跃度和点击量的统计；统计不同版本APP使用情况；根据查询的新增、留存和活跃用户的访问情况，统计用户的使用频率和使用时长；统计各用户中各个频道访问情况；统计系统运行过程中出现的错误列表。

3.如权利要求2所述的运行于CMMB超级热点业务平台的大数据分析方法，其特征在于，所述对比相邻时间段的用户量、用户活跃度和点击量的统计的具体方法为：对比今天和昨天的新增用户、活跃用户和综合点击量的情况；对比今天和昨天各个时段的新增用户和综合点击量的情况；对比新增用户、活跃用户、总用户和综合点击量的每日趋势。

4.如权利要求1所述的运行于CMMB超级热点业务平台的大数据分析方法，其特征在于，所述方法还包括：步骤S2中，得出的数据统计分析结果通过信息展示模块的可交互的可视化展现方式实时显示分析表单、条形图和线形图。

5.一种采用权利要求1所述方法的运行于CMMB超级热点业务平台的大数据系统，其特征在于，所述系统至少包括：

数据收集模块(10)，用于通过网络持续接收设备层的设备或产品运营数据和应用层中多个用户相关的访问日志用户数据；

数据管理模块(20)，用于为数据收集模块(10)和数据统计分析模块(30)的接口界面，用于实现分布式数据存储管理、容错策略管理和API接口；

数据统计分析模块(30)，用于完成各种数据统计分析，得出数据统计分析结果；针对设备或产品运营数据进行持续聚合整理，优化运营手段；针对目标用户行为信息建立用户行为数据本体模型，以及根据用户行为数据本体模型的推理进行用户最新兴趣数据预测；

应用模块(40)，用于根据用户行为数据本体模型及预测对不同的用户所属归类，并根据用户归类相匹配策略推送广告及相关内容。

6.如权利要求5所述的运行于CMMB超级热点业务平台的大数据系统，其特征在于，所述数据统计分析模块包括：

信息解析单元(31)，用于从所述数据管理模块(20)抽取特定对象的特征数据值，并解析该特定对象中的各种特征数据值；

信息关联单元(32)，用于根据解析后的特定对象的目标特征数据值，确定该目标特征数据值与该特定对象的其它特征数据值之间的关联性；

信息清洗单元(33)，用于对特定对象的目标特征数据值及该目标特征数据值与其他特征数据值的关联性进行重新审查和校验；

信息统计单元(34)，用于将多个特征对象的关联数据生成表征一个关联数据组的组特征对象数据值，并按照预设类别进行统计归类；

特征分析单元(35)，用于对特定对象的目标特征数据值提取，以表示特定对象的特征参数；

聚合模块(36)，用于获得全部对象的目标特征参数，计算对象之间的目标特征参数相似度，并且根据相似度进行对象归类；

数据模型建立单元(37)，根据标准条件限定标准和特定用户中提取的特征参数比对，逆向辨别特定用户身份角色，进而进行用户生活轨迹模糊分析，建立多维度限定的多样化用户行为数据本体模型。

7.如权利要求5所述的运行于CMMB超级热点业务平台的大数据系统，其特征在于，所述系统还包括信息展示模块(50)，用于通过可交互的可视化技术将经过表征后的用户行为数据分析结果、各类详情数据分层级进行综合、实时的展现。

Images