CN114915847A - 一种面向iptv智能终端的数据预处理方法和系统 - Google Patents

Abstract

本发明提供了一种面向IPTV智能终端的数据预处理方法和系统。由预处理策略配置模块进行数据预处理策略配置；由采集模块进行用户观影数据和行为数据采集并存储在存储模块中；由预处理模块基于所述策略对所采集的用户数据进行数据预处理；并由上报模块将经预处理的数据上报给汇聚处理模块。本发明充分利用IPTV智能终端本身的计算能力和存储能力，把用户数据下沉到IPTV智能终端进行预处理，减少占用服务器资源和网络资源同时可以高效处理用户的观影数据和行为数据。

Description

一种面向IPTV智能终端的数据预处理方法和系统

技术领域

本发明涉及IPTV领域，尤其涉及一种基于边缘计算面向IPTV智能终端的数据预处理方法和系统。

背景技术

随着交互式网络电视IPTV业务不断发展，IPTV用户规模日渐扩大，IPTV节目也越来越多。相比使用移动端设备观看视频而言，IPTV业务可以向用户提供高速、超高清大屏和较好的音效等的观影体验。

但相比移动端设备而言，IPTV也具有弱点，除了便携性不足的先天缺陷之外，向用户提供个性化节目推荐的能力也相比如移动端的APP而言较弱。

为了提升用户使用体验，提高用户使用粘性，如何为IPTV业务用户群体提供精准的个性化的影视节目推荐，是IPTV业务需要研究的重要课题。而提供精准的个性化推荐的前提是采集海量的用户的观影数据和行为数据，准确把握用户的观影习惯和偏好。

目前IPTV数据采集一般采用在IPTV智能终端的视频播放界面进行功能性埋点，直接采集用户的观影数据和行为数据，上报到服务器进行数据处理和分类。由于IPTV用户群体数量较大，且每个用户的观影数据和行为数据的数据量也较大，需要投入较多的中心服务器资源来进行海量数据处理，或者采取中心服务器加边缘服务器的方式来处理，网络资源的消耗也比较大，效率较低。实际上，采集的用户数据中包含大量的无效数据，无谓地浪费了网络资源和服务器资源。

因此，需要一种减少占用服务器资源和网络资源同时可以高效处理用户的观影数据和行为数据的方法和系统，以满足不同业务和数据采集场景的需求。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。

本发明充分利用IPTV智能终端本身的计算能力和存储能力，把用户的数据下沉到由IPTV智能终端自行进行预处理。IPTV智能终端从服务器获取数据预处理策略，采集并自行分析和预处理相关的数据，生成预定的数据格式再上传至服务器。这种基于边缘计算的架构，投入较少的服务器资源即可到达传统IPTV内容数据采集的效果，有效提高了投入产出比。

本发明提供了一种面向IPTV智能终端的数据预处理系统，包括：在IPTV智能终端处的采集模块、存储模块、与存储模块通信地连接的预处理模块，与预处理模块通信地连接的上报模块；以及在IPTV平台处的数据采集系统中的与预处理模块通信地连接的预处理策略配置模块、与上报模块通信地连接的汇聚处理模块。

采集模块采集用户数据并存储在存储模块中；预处理策略配置模块配置数据预处理策略，包括数据过滤规则、数据拆分和合并规则、数据格式化规则，以及数据分类和统计规则；预处理模块基于数据预处理策略对存储模块中的用户数据(包括用户的观影数据和行为数据)进行预处理，包括清洗、过滤、拆分、合并、格式化、分类和统计，将经预处理的用户数据通过上报模块发送到汇聚处理模块。

其中，预处理模块进行清洗和过滤包括去除未达到有效观影时长的用户数据，预处理模块进行分类包括按照年龄对用户的观影影片进行分类。

本发明提供了一种面向IPTV智能终端的数据预处理方法，包括：在IPTV平台处的数据采集系统中进行数据预处理策略配置；在IPTV智能终端处进行用户数据采集；在IPTV智能终端处，基于配置的数据预处理策略，对所采集的用户数据进行数据预处理；以及数据上报，将经预处理的数据上报之数据采集系统。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。

图1是根据本发明的基于边缘计算面向IPTV智能终端的数据预处理系统的示意框图；

图2是根据本发明的基于边缘计算面向IPTV智能终端的数据预处理方法的流程图。

附图中的流程图和框图显示了根据本申请的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

具体实施方式

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

根据本发明的IPTV智能终端的数据预处理方法和系统，由数据采集系统配置数据预处理策略，IPTV智能终端获取并执行该数据预处理策略，最终将预处理后的数据上报给数据采集系统。

本发明的IPTV智能终端的数据预处理方法和系统有效地利用了IPTV智能终端的计算能力和存储能力，提前去除无效的数据，减少数据采集系统海量数据处理的复杂度，提升了数据处理的效率。

图1是根据本发明的基于边缘计算面向IPTV智能终端的数据预处理系统的示意框图。

该系统包括：

在客户端的IPTV智能终端100处的采集模块110、预处理模块120、存储模块130和上报模块140，以及

在服务器端的IPTV平台处的数据采集系统300处的预处理策略配置模块310和汇聚处理模块320。

数据采集系统300处的预处理策略配置模块310与预处理模块120通信地连接，用于配置数据预处理策略，并将配置好的策略发送到在IPTV智能终端100处的数据预处理模块120用于对采集的用户数据进行预处理。该预处理策略可包括但不限于，例如：

·数据过滤规则，用于提前去除一些无效数据，例如用户可能试看了多个影片的片段，然后才选定了一个影片进行完整观看，未被选中观看的试看信息并不能代表用户的偏好，这些过短的观影时间的对应的数据对于准确把握用户的观影习惯和偏好并无益处，可以将其预先清洗过滤，减少后续数据处理的复杂程度，提升效率；

·数据的拆分和合并规则，例如用户有可能将一个电影分在两天进行观看，这种情况下，存在某些相同字段的观影数据信息，就可以预先进行合并，减小后期的数据处理量，提升效率；

·数据格式化规则，将不同格式的观影数据按规定格式进行格式化，获得统一的预定标准格式的数据，也可以减小后期的处理量，进一步提升效率；

·数据分类和统计规则，用于统计用户观影影片的分类和观影时长；分类可以按照年龄属于少儿、老年和青年分类，其它方式的分类方式也是可以构想的，比如按照节目的类型为综艺、纪实、新闻、娱乐、电视购物进行分类，或者按照影片的类型是科幻、悬疑、爱情、历史、警匪，亦或是国产、欧美、日韩等进行分类。多种类型的分类方式可以同时使用，以获得更为精准的用户偏好判断；例如有效时长可以为半小时，这一阈值标准可以根据分类不同进行调整，存在数据合并时，观影时长可以进行累计。

IPTV智能终端100处的采集模块110与存储模块130通信地连接，用于在IPTV智能终端的视频播放界面进行功能性埋点，采集用户的观影数据和行为数据，加密后存储在IPTV智能终端本地的存储模块130中；

IPTV智能终端100处的预处理模块120分别与预处理策略配置模块310、存储模块130和上报模块140通信地连接，用于基于从预处理策略配置模块310接收的配置好的数据预处理策略对存储在存储模块130的用户观影数据和行为数据进行预处理，包括清洗、过滤、拆分、合并、格式化等等，获得经预处理的数据提供给上报模块140；

IPTV智能终端100处的上报模块140分别与预处理模块120和汇聚处理模块320通信地连接，用于将预处理模块120预处理后的数据上报给数据采集系统300中的汇聚处理模块320。

数据采集系统300处的汇聚处理模块320汇聚和处理IPTV智能终端100的上报模块140所上报的经预处理的数据。

这种将用户数据下沉到由IPTV智能终端自行进行预处理的基于边缘计算的架构，充分利用IPTV智能终端本身的计算能力和存储能力，投入较少的服务器资源即可到达传统IPTV内容数据采集的效果。

图2是根据本发明的基于边缘计算面向IPTV智能终端的数据预处理方法的流程图。该方法主要包括以下步骤：

S210：数据预处理策略配置—在数据采集系统处配置数据预处理策略，提供给IPTV智能终端用于进行数据预处理；

为满足不同业务和内容推荐场景的需求，数据预处理策略可自行定义。例如，可以是统计用户观影影片的分类和观影时长。

分类可以按照年龄，有效时长可以例如为半小时，超过半小时的影片才示为有效观影，根据分类进行累计。如：观影节目属于少儿分类且观看了半小时的，计数加1，老年和青年分类可以按相同的规则或其它不同的规则进行累计。考虑到少儿节目本身时长较短，有些可能一集仅为20分钟，则可调整有效时长为15分钟，而不是统一的半小时。

同时，其它方式的分类方式也是可以构想的。比如按照节目的类型为综艺、纪实、新闻、娱乐、电视购物进行分类，或者按照影片的类型是科幻、悬疑、爱情、历史、警匪，亦或是国产、欧美、日韩等进行分类。多种类型的分类方式可以同时使用，以获得更为精准的用户偏好判断。

S220：用户数据采集—由IPTV智能终端采集和存储用户的观影数据和行为等数据，包括但不限于观影节目及其观影时长和观影时长占节目总时长的百分比，也可以包括用户是否出现了频繁的快进操作等，并将数据加密后存储在IPTV智能终端本地；

S230：数据预处理—由IPTV智能终端从数据采集系统获取数据预处理策略，依据策略按用户观影节目的分类对用户数据进行预处理，形成最终待上报的经预处理的数据；

S240：数据上报—由IPTV智能终端将经预处理的用户数据上报至数据采集系统。

本发明提出的基于边缘计算面向IPTV智能终端的数据预处理架构，将数据采集系统海量数据预处理部分下沉到每个IPTV智能终端处理，有效的利用了IPTV智能终端的能力，提升了数据采集系统数据处理的效率。其中，数据预处理策略可自行定义，满足不同业务和内容推荐场景的需求。

以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种面向IPTV智能终端的数据预处理系统，包括：

在IPTV智能终端处的采集模块、存储模块、与所述存储模块通信地连接的预处理模块，与所述预处理模块通信地连接的上报模块；以及

在IPTV平台处的数据采集系统中的与所述预处理模块通信地连接的预处理策略配置模块、与所述上报模块通信地连接的汇聚处理模块；其中

所述采集模块采集用户数据并存储在存储模块中，所述预处理策略配置模块配置数据预处理策略，所述预处理模块基于所述数据预处理策略对存储模块中的所述用户数据进行预处理，将经预处理的用户数据通过所述上报模块发送到所述汇聚处理模块。

2.如权利要求1所述的数据预处理系统，其特征在于，所述用户数据包括用户的观影数据和行为数据。

3.如权利要求1所述的数据预处理系统，其特征在于，所述数据预处理策略包括数据过滤规则、数据拆分和合并规则、数据格式化规则，以及数据分类和统计规则。

4.如权利要求1所述的数据预处理系统，其特征在于，所述预处理模块基于所述数据预处理策略对存储模块中的所述用户数据进行清洗、过滤、拆分、合并、格式化、分类和统计。

5.如权利要求4所述的数据预处理系统，其特征在于，所述预处理模块进行所述清洗和过滤包括去除未达到有效观影时长的用户数据，所述预处理模块进行所述分类包括按照年龄对用户的观影影片进行分类。

6.一种面向IPTV智能终端的数据预处理方法，包括：

在IPTV平台处的数据采集系统中进行数据预处理策略配置；

在所述IPTV智能终端处进行用户数据采集；

在所述IPTV智能终端处，基于配置的数据预处理策略，对所采集的用户数据进行数据预处理；以及

数据上报，将经预处理的数据上报之所述数据采集系统。

7.如权利要求6所述的方法，其特征在于，所述用户数据包括用户的观影数据和行为数据。

8.如权利要求6所述的方法，其特征在于，所述数据预处理策略配置包括配置数据过滤规则、数据拆分和合并规则、数据格式化规则，以及数据分类和统计规则。

9.如权利要求6所述的方法，其特征在于，所述数据预处理包括基于所述数据预处理策略对存储模块中的所述用户数据进行清洗、过滤、拆分、合并、格式化、分类和统计。

10.如权利要求9所述的方法，其特征在于，所述清洗和过滤包括去除未达到有效观影时长的用户数据，所述分类包括按照年龄对用户的观影影片进行分类。

Images