CN114328762A - 大数据处理方法 - Google Patents

Abstract

本发明涉及一种大数据处理方法，包括获取视频服务系统终端的实时数据，实时数据为用户的行为数据；对实时数据进行主题归类，生成主题行为数据包；对主题行为数据包进行解析，生成第一字段数据组；判断第一字段数据组中的字段是否为正常；若否，发送第一字段数据组至异常主题行为数据包集合中；若是，获取视频服务系统服务器的业务数据；关联第一字段数据组和业务数据，并生成第二字段数据组；发送第二字段数据组至数据仓库存储等待应用接口调用。本发明的大数据处理方法对实时上报数据进行实时流式处理，将非正式数据转化成可供应用接口实时调用的正式数据，从而节约计算和存储资源，加速生成运营策略，提高运营效果。

Description

大数据处理方法

技术领域

本发明涉及数据处理领域，尤其涉及一种大数据处理方法。

背景技术

交互式网络电视(IPTV)是一种在宽带网络专网上传送包括交互式网络电视、图形和数据等内容，为家庭用户提供包括数字电视在内的多种交互式服务的新媒体业务。

IPTV于2001年在北美首次商用，亚洲香港电讯盈科在2003年9月推出了基于DSL的数字电视业务，百视通2006年上海浦东试点了IPTV业务。2010年，全国IPTV用户数量只有600万户，到2018年1月公布的数据，IPTV用户总数已超过1.2亿户，占领超过全国家庭电视1/3以上的份额。目前IPTV用户数仍以每年30％以上的速度在增长。

目前IPTV系统分成离线和实时两个模块进行大数据的处理，两个模块中存在大量的重复处理链路，从而造成计算和存储资源的浪费。实时模块的数据处理主要针对的数据大屏等单个指标的输出情况，而数据报表等指标则是通过离线模块来实现，离线模块采用的T+1离线处理模式，报表及各类指标为定时输出，由于存在上报数据的延时，往往会导致运营策略的滞后，运营效果不理想。

除了IPTV系统，其他视频服务系统，例如OTT(Over-The-Top)系统的大数据处理中，也会有同样的问题出现。如何解决上述问题，是本发明将重点探讨的。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种大数据处理方法，对实时上报数据进行实时流式处理，将非正式数据转化成可供应用接口实时调用的正式数据，从而节约计算和存储资源，加速生成运营策略，提高运营效果。

为实现上述目的，本发明提供了一种大数据处理方法，所述方法包括：

获取视频服务系统终端的实时数据，所述实时数据为用户的行为数据；

对所述实时数据进行主题归类，生成主题行为数据包；

对所述主题行为数据包进行解析，生成第一字段数据组；

判断所述第一字段数据组中的字段是否为正常；

若否，发送所述第一字段数据组至异常主题行为数据包集合中；

若是，获取视频服务系统服务器的业务数据；

关联所述第一字段数据组和业务数据，并生成第二字段数据组；

发送所述第二字段数据组至数据仓库存储等待应用接口调用。

优选的，对所述主题行为数据包进行解析，生成第一字段数据组之前，所述方法还包括；

判断所述主题行为数据包是否为预设数据格式；

若是，对所述主题行为数据包进行解析，生成第一字段数据组；

若否，发送所述主题行为数据包至所述异常主题行为数据包集合中。

优选的，所述主题行为数据包的类型包括：页面浏览主题行为数据包、推荐位点击主题行为数据包、开机主题行为数据包、用户在线心跳主题行为数据包、直播主题行为数据包、点播主题行为数据包、回看主题行为数据包

优选的，所述对所述主题行为数据包进行解析，生成第一字段数据组，具体为：对所述主题行为数据包进行数据库的字段解析，生成第一字段数据组。

优选的，所述判断所述第一字段数据组中的字段是否为正常，具体为：判断所述第一字段数据组中的关键字段是否信息为空、传值异常或乱码。

优选的，根据所述第一字段数据组的主题行为数据包的类型判断是否需要将所述第一字段数据组和业务数据进行关联；

优选的，关联所述第一字段数据组和业务数据，并生成第二字段数据组，具体为：取第一字段数据组中字段和业务数据中字段的并集，生成第二字段数据组。

优选的，所述发送所述第二字段数据组至数据仓库存储等待应用接口调用，具体为：所述第二字段数据组根据数据获取日期分区存储于所述数据仓库。

优选的，所述发送所述第二字段数据组至数据仓库存储等待应用接口调用，具体为：发送多个所述第二字段数据组至多个服务器的数据仓库进行分布式存储。

本发明实施例提供的大数据处理方法，对实时上报数据进行实时流式处理，将非正式数据转化成可供应用接口实时调用的正式数据，从而节约了计算和存储资源，加速生成运营策略，提高了运营效果。

附图说明

图1为本发明实施例提供的一种大数据处理方法流程图之一；

图2为本发明实施例提供的一种大数据处理方法流程图之二。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

视频服务系统可以包括IPTV系统、OTT系统或其它基于网络的智能电视系统。本发明的方法可以应用于上述提及的各视频服务系统中。为方便表述，以下用在IPTV系统作为具体举例，进行说明。可以理解的是，本方法可以同样用于OTT或其它基于网络的智能电视系统中。

图1为本发明实施例提供的一种大数据处理方法流程图之一，如图1所示，包括如下步骤：

步骤110，获取视频服务系统终端的实时数据，实时数据为用户的行为数据。

具体的，视频服务系统终端可以包括IPTV终端、OTT终端或其它基于网络的智能电视终端，本发明以IPTV终端作为具体举例，进行说明。IPTV系统在正常运行中，用户操作用户操控设备或者在观看视频服务系统的过程中，均会通过IPTV终端上报用户的行为数据。上报的行为包括：用户开机行为、浏览电子节目指南(Electronic Program Guide，EPG)页面行为、点播行为、直播行为、回看行为、用户在线心跳行为等，上报的行为数据以预先设定的数据格式进行传输，用户的在线心跳行为是通过心跳探针预设上报时间段来进行数据上报，比如每间隔5分钟或10分钟上报一次，该间隔根据系统数据的实时性要求来具体设置，不做具体限定。可选的，上报的行为数据以JSON格式进行上报，上报的行为数据字段根据上报的不同行为预先设置。在一个具体的例子中，当用户发生开机行为时，上报的内容字段包括：用户IPTV账号、机顶盒串号、机顶盒型号、城市代码、用户ip、模板名称、用户所属分组、用户所属能力平台、用户所属运营商、探针版本号、EPG模式、对象类型、城市代码原始值。优选的，用户的行为数据可通过Flume系统来进行收集，。

步骤120，对实时数据进行主题归类，生成主题行为数据包。

具体的，IPTV系统是针对多个海量用户，因此同时有海量上报的实时数据，将每个上报的同主题的数据放到同一个消息队列中，将海量数据进行主题归类分布式处理，进行归类后的数据可以以统一接口服务的方式将归类数据直接供给多个数据消费方使用。

优选的，主题行为数据包的类型包括：页面浏览主题行为数据包、推荐位点击主题行为数据包、开机主题行为数据包、用户在线心跳主题行为数据包、直播主题行为数据包、点播主题行为数据包、回看主题行为数据包。

步骤130，对主题行为数据包进行解析，生成第一字段数据组。

具体的，对主题行为数据包进行数据库的字段解析，生成第一字段数据组。主题行为数据包是以获取行为数据时预设的数据格式进行归类的，如JSON格式。当主题行为数据包以JSON格式发送时，将JSON格式的主题行为数据包逐条解析映射成对应的数据库表字段的数据，生成第一字段数据组。

在一个优选的例子中，如图2所示，步骤130之前还包括：

步骤210，判断主题行为数据包是否为预设数据格式。

若是，进行步骤130。

步骤220，若否，发送主题行为数据包至异常主题行为数据包集合中。

具体的，预设数据格式便于采集的实时数据的传输，优选的，数据格式定义为JSON，JSON数据结构简单，易解析。当传输的一条主题行为数据包非预设数据格式，放弃该条数据包，并发送至异常主题行为数据包集合中,当同类型错误数据包到达预设阈值时，可对错误数据包日志进行错误分析，以解决系统问题。

步骤140，判断第一字段数据组中的字段是否为正常。

步骤150，若否，发送第一字段数据组至异常主题行为数据包集合中。

具体的，判断第一字段数据组中的关键字段是否信息为空、上传值异常或乱码。由于在一条上报的实时数据中，包含多个字段，可以根据最终应用接口不同业务的需求，定义第一字段数据组中的关键字段，对于每个行为数据都具备基础字段，比如运营商、用户账号、地区、版本不予考虑，只对关键字段内的数据进行判断，第一字段数据组中的多个关键字段需要满足同时无异常的情况即判断为正常，否则为异常。通过对关键字段的判断将每条上报数据进行清洗，避免下一步对无效数据的处理。判断为无效的第一字段数据组发送至异常主题行为数据包集合中，进行日志记录，可供查询和进一步故障处理。

步骤160，若是，获取视频服务系统服务器的业务数据。

步骤170，关联第一字段数据组和业务数据，并生成第二字段数据组。

具体的，当第一字段数据组中的关键字段为正常时，获取视频服务系统服务器的业务数据。在IPTV业务中，上级平台将业务数据以数据流的方式下发给各省平台的数据库，业务数据包括媒资工单主题数据、用户信息主题数据、订购主题数据等。视频服务系统从省平台的数据库进行业务数据的第一次采集时进行全量采集放入数据库对应字段内，可选的，对应的字段包括：运营商、用户账号、频道代码、区域等。当业务数据没发生变化时，系统只实时采集行为数据，同时实时监控省平台数据库内的业务数据是否有变化，如果发生变化，则将变化的部分进行采集后放入数据库对应的字段内。

在一个优选的例子中，步骤170之前还包括：

根据第一字段数据组的主题行为数据包的类型判断是否需要将第一字段数据组和业务数据进行关联。

具体的，在根据主题行为数据包解析出来的第一字段数据组中，有一类第一字段数据组中的字段可以直接供应用接口调用，比如：开机主题行为数据包的类型是开机，开机类型的数据对应的字段属性不需要额外的业务数据，因此该开机主题行为数据包解析完成后可直接入数据仓库等待调用。有一类需要进一步关联业务数据的字段再提供给应用接口调用，比如：点播主题行为数据包的类型是点播，点播类型的数据需要关联业务数据，以供应用接口调用。在一个具体的例子中，业务数据中的字段包括：频道名称、频道代码、频道分组、频道类型；直播主题行为数据包解析后的第一字段数据组的字段包括：运营商、用户账号、频道代码和区域。当应用端口需要获取当日某直播频道的播放次数和播放人数时，通过第一字段数据组的字段无法满足业务需求，第一字段数据组的字段中没有频道名称，做数据展示时不能用频道代码进行展示，必须要用中文名称，因此需要将业务数据的字段关联到第一字段数据组中，生成第二字段数据组。在一个优选的例子中，取第一字段数据组中字段和业务数据中字段的并集，生成第二字段数据组。当上述具体例子中的直播主题行为数据包解析后的第一字段数据组的字段与业务数据的字段取并集，生成第二字段数据组后的字段包括：频道名称、频道代码、频道分组、频道类型、运营商、用户账号、频道代码和区域。进行关联后的行为数据具备业务数据的字段后，应用接口通过计算24小时内某频道的点播行为次数并进行展示时，通过第二字段数据组的频道名称字段可获取频道的中文名称，并在展示终端进行中文名称的展示。

步骤180，发送第二字段数据组至数据仓库存储等待应用接口调用。

具体的，应用接口包括：数据大屏接口、数据分析接口、用户画像接口、推荐系统接口、外部接口服务。通过

在又一个优选的例子中，第二字段数据组根据数据获取日期分区存储于数据仓库。

具体的，数据仓库按时间进行分区成不同的目录对第二字段数据组进行数据存储，每个分区的数据之间是相互隔离的，当应用接口需要调用某天的数据组时，数据仓库不会扫描其它天的数据，可以快速的找到目标数据组，以提高应用接口的工作效率。

在又一个优选的例子中，发送多个第二字段数据组至多个服务器的数据仓库进行分布式存储。

具体的，在持续生成多个第二字段数据组并进行存储时，按预设的规则进行分布式存储，可选的，按时间段分布式存储或按轮询的方式进行存储等。在一个应用轮询方式分布式存储的具体例子中，假设有3台分布式服务器用于第二字段数据组的存储，分别为服务器1、服务器2、服务器3，依次有A、B、C、D、E、F六条第二字段数据组要放入服务器的存储仓库，则A、B、C分别放入服务器1、服务器2、服务器3，D、E、F分别放入服务器1、服务器2、服务器3，依次类推，将多条第二字段数据组分布式存放。当应用接口端需要进行数据计算可以同时利用各个节点服务器的数据仓库资源进行分布式计算，以提高计算效率；同时当接口调用第二字段数据组进行计算要用到其它服务器的内存和CPU资源时，如果数据放在一台服务器，在进行计算时需要调用存储数据服务器上的计算资源到其它服务器后再计算，会增加数据传输量，计算时间加长，同时容易造成数据读写链路的堵塞，而采用分布式存储的方式则可解决以上问题。

在一个具体的例子中，步骤180之后，应用系统通过应用接口调用第二字段数据组包括：

确定应用接口的入参和返回结果集。

具体的，应用接口提供的接口服务包括：数据大屏接口、数据分析接口、用户画像接口、推荐系统接口、外部接口服务。应用系统包括：数据大屏模块、实时监控模块、行为分析模块、收视分析模块、统计报表模块，其中，数据大屏模块包括：总览单元、热力图单元、节目实时数据单元、频道实时数据单元；实时监控模块包括：实时用户数据单元、实时收视数据单元、实时订购数据单元和各区域数据指标单元；行为分析模块包括：页面分析单元、推荐位单元、搜索热词单元；收视分析模块包括：频道直播单元、频道回看单元和节目点播单元；统计报表模块包括：触发订购报表单元、页面访问报表单元、推荐位报表单元、用户活跃数据报表单元、频道直播报表单元、频道回看报表单元和节目点播报表单元。在一个具体的例子中，当收视分析模块需要调用数据时，需要调用的接口服务有数据分析接口、用户画像接口、推荐系统接口，将所述接口地址写入到视频分析模块的接口服务中，并根据频道直播单元、频道回看单元和节目点播单元所需要的数据生成返回结果集的字段。

根据入参和返回结果集生成接口指令。

具体的接口指令包括访问接口地址和读取返回结果集的字段。

根据接口指令获取参数和返回结果值。

具体的，当应用模块需要调用相关数据进行计算时，根据接口指令到指定的地址访问相关接口，获取返回结果集设置的字段值。

本发明实施例提供的大数据处理方法，通过对视频用户的实时数据进行实时的获取、分类、解析、按规则清洗、关联和入库的流式处理，通过过数据的分布式批量变流处理，减少数据传输，提高计算效率；入库数据通过统一接口服务进行提取，降低了数据提取难度，提高了应用端的开发效率。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种大数据处理方法，其特征在于，所述大数据处理方法包括：

获取视频服务系统终端的实时数据，所述实时数据为用户的行为数据；

对所述实时数据进行主题归类，生成主题行为数据包；

对所述主题行为数据包进行解析，生成第一字段数据组；

判断所述第一字段数据组中的字段是否为正常；

若否，发送所述第一字段数据组至异常主题行为数据包集合中；

若是，获取视频服务系统服务器的业务数据；

关联所述第一字段数据组和业务数据，并生成第二字段数据组；

发送所述第二字段数据组至数据仓库存储等待应用接口调用。

2.根据权利要求1所述的大数据处理方法，其特征在于，对所述主题行为数据包进行解析，生成第一字段数据组之前，所述方法还包括；

判断所述主题行为数据包是否为预设数据格式；

若是，对所述主题行为数据包进行解析，生成第一字段数据组；

若否，发送所述主题行为数据包至所述异常主题行为数据包集合中。

3.根据权利要求1所述的大数据处理方法，其特征在于，所述主题行为数据包的类型包括：页面浏览主题行为数据包、推荐位点击主题行为数据包、开机主题行为数据包、用户在线心跳主题行为数据包、直播主题行为数据包、点播主题行为数据包、回看主题行为数据包。

4.根据权利要求1所述的大数据处理方法，其特征在于，所述对所述主题行为数据包进行解析，生成第一字段数据组，具体为：

对所述主题行为数据包进行数据库的字段解析，生成第一字段数据组。

5.根据权利要求1所述的大数据处理方法，其特征在于，所述判断所述第一字段数据组中的字段是否为正常，具体为：

判断所述第一字段数据组中的关键字段是否信息为空、传值异常或乱码。

6.根据权利要求1所述的大数据处理方法，其特征在于，所述方法还包括：

根据所述第一字段数据组的主题行为数据包的类型判断是否需要将所述第一字段数据组和业务数据进行关联。

7.根据权利要求1所述的大数据处理方法，其特征在于，关联所述第一字段数据组和业务数据，并生成第二字段数据组，具体为：

取第一字段数据组中字段和业务数据中字段的并集，生成第二字段数据组。

8.根据权利要求1所述的大数据处理方法，其特征在于，所述发送所述第二字段数据组至数据仓库存储等待应用接口调用，具体为：

所述第二字段数据组根据数据获取日期分区存储于所述数据仓库。

9.根据权利要求1或8所述的大数据处理方法，其特征在于，所述发送所述第二字段数据组至数据仓库存储等待应用接口调用，具体为：

发送多个所述第二字段数据组至多个服务器的数据仓库进行分布式存储。

Images