CN110351608A - 一种广电用户收视行为数据切片系统、架构及方法 - Google Patents

一种广电用户收视行为数据切片系统、架构及方法 Download PDF

Info

Publication number
CN110351608A
CN110351608A CN201910651988.0A CN201910651988A CN110351608A CN 110351608 A CN110351608 A CN 110351608A CN 201910651988 A CN201910651988 A CN 201910651988A CN 110351608 A CN110351608 A CN 110351608A
Authority
CN
China
Prior art keywords
data
slice
user
radio
viewing behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910651988.0A
Other languages
English (en)
Inventor
柴剑平
王妍
王晨阳
王绪滕
常小宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201910651988.0A priority Critical patent/CN110351608A/zh
Publication of CN110351608A publication Critical patent/CN110351608A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种广电用户收视行为数据切片系统、架构及方法，采用Hadoop分布式技术实现了广电大数据交易的数据切片处理功能，同时将各维度数据统计结果动态展示于前端页面，便于数据拥有者更加便捷清晰的掌握数据详情、收视变化趋势，以及直观性快速定价。用户可以按照需求在页面点击按钮进行数据不同维度切片，存储及下载切片数据，用于数据交易以及定价研究，系统以三台服务器作为底层集群环境，实现数据并发读取、统计计算、切片等功能，数据处理过程快捷高效。

Description

一种广电用户收视行为数据切片系统、架构及方法
技术领域
本发明涉及大数据技术领域，更具体的说是涉及一种广电用户收视行为数据切片系统、架构及方法。
背景技术
随着机顶盒业务的升级创新，双向网机顶盒已经应用于千家万户，用户的收视行为数据可以定期采集回传。广电大数据的出现催生了广告精准营销，个性节目推荐，用户肖像刻画等扩展业务，电视台、广告商、政府、企业、网络运营商等多部分的应用拓展，使得广电大数据发挥了更大的价值。面对庞大且持续增长的用户行为数据，高效的数据采集、存储、处理分析及合理应用成为最关键的问题。
目前，广电行业未涉及针对广电用户行为数据的切片技术应用，在数据交易中更多的是买家提出需求，卖家针对需求提取数据进行清洗封装，再上架出售，这一过程对于卖家而言会造成时间和经济成本等资源的大量消耗。
因此，如何提供一种将数据清洗、拼接、统计计算、切片、可视化等功能封装于系统中，数据卖家通过便捷操作便可以获取种类繁多的数据产品，同时具备按需提取功能的系统、架构及方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了广电用户收视行为数据切片系统、架构及方法，采用Hadoop分布式技术实现了广电大数据交易的数据切片处理功能，同时将各维度数据统计结果动态展示于前端页面，便于数据拥有者更加便捷清晰的掌握数据详情、收视变化趋势，以及直观性快速定价。用户可以按照需求在页面点击按钮进行数据不同维度切片，存储及下载切片数据，用于数据交易以及定价研究。系统以三台服务器作为底层集群环境，实现数据并发读取、统计计算、切片等功能，数据处理过程快捷高效。
为了实现上述目的，本发明提供如下技术方案：
一种广电用户收视行为数据切片系统，包括：数据文件传输模块、数据切片功能模块和数据可视化模块；其中，所述数据文件传输模块将采集的用户数据与节目单数据传输给所述数据切片功能模块，并通过所述数据可视化模块进行展示。
优选的，在上述一种广电用户收视行为数据切片系统中，所述数据文件传输模块包括数据存储单元、数据处理单元和数据输出单元；用户数据与节目单数据上传后存储在所述数据存储单元内；所述数据处理单元将用户数据与节目单数据按照固定规则进行文件拼接得到用户收视行为数据；所述数据输出单元将所述用户收视行为数据输出。
优选的，在上述一种广电用户收视行为数据切片系统中，还包括：帮助说明模块；所述帮助说明模块内置使用说明和注意事项。
优选的，在上述一种广电用户收视行为数据切片系统中，所述数据切片功能模块根据不同的特征属性进行切片处理。
优选的，在上述一种广电用户收视行为数据切片系统中，所述特征属性包括：时间、地区、用户行为、频道和节目。
一种广电用户收视行为数据切片系统的架构，包括为表示层、控制层、业务层、数据层；表示层：负责用户页面展示；控制层：负责管理任务流以及数据的传输；业务层：负责系统功能模块的具体实现逻辑；数据层：数据层为Hadoop分布式集群环境，负责数据的存储、读取、计算操作；所述表示层、所述控制层、所述业务层、所述数据层彼此通信与配合。
一种广电用户收视行为数据切片方法，包括如下具体步骤：
将用户数据与节目单数据进行数据清洗，并进行数据拼接得到用户收视行为数据；
所述用户收视行为数据进行切片处理；
数据可视化模块显示切片数据。
优选的，在上述一种广电用户收视行为数据切片方法中，所述切片处理根据特征属性的个数分为单维度数据切片和组合维度数据切片。
优选的，在上述一种广电用户收视行为数据切片方法中，所述单维度数据切片具体步骤包括：用户选择切片维度，后台自动执行切片程序；切片程序第一步：遍历检索切片属性的个数；第二步：自定义各属性输出流路径；第三步：输出切片数据。
优选的，在上述一种广电用户收视行为数据切片方法中，所述组合维度数据切片：切片条件选择界面点击地区输入框，选择的地区编号；频道输入框选择频道名称；时间输入框选择日期，进行切分；提交切分请求后，后台执行数据切分并输出，用户可以在输出路径直接获取切片数据。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种广电用户收视行为数据切片系统、架构及方法，将数据清洗、拼接、统计计算、切片、可视化等功能封装于系统中，数据卖家通过便捷操作便可以获取种类繁多的数据产品，对数据交易流程中待交易数据处理以及定价研究提出数据切片系统的设计，数据切片系统的功能是在数据交易流程的起始端将待交易数据进行切片处理，按照数据不同属性，将数据进行进一步分区别类，按照切片数据各自的价值分别出售给数据购买方。广电用户数据涉及地域、时间、用户、收视行为、频道和节目等不同的基础维度数据；7大收视指标的描述性统计分析数据以及不同需求方的广告投放和节目推荐等通用报告和个性报告的分析数据等。面对海量数据，全维度和细颗粒度的数据切片既可以为数据价值评估提供模型参数指标支撑，同时能够最大化用户需求和效用。
本发明与现有技术相比，技术效果在于：
第一：便于交易。帮助数据交易双方开展小额数据交易，提升数据交易便捷性，便于存储及传递，数据产品多样化。
第二：快速定价。帮助数据交易双方细化定价策略，增加专项数据定价以及快速定价策略，提供颗粒度数据支持。
第三：便捷取用。集数据清洗、切片、统计、可视化于一体，分布式架构环境支撑，实现数据快捷取用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的特征属性切片示意图；
图2附图为本发明平台部署示意图；
图3附图为本发明系统开发架构图；
图4附图为本发明数据处理流程图；
图5附图为本发明单维度切片功能操作流程图；
图6附图为本发明可视化展示示意图；
图7附图为本发明系统界面示意图；
图8附图为本发明组合维度切片功能操作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种广电用户收视行为数据切片系统、架构及方法，采用Hadoop分布式技术实现了广电大数据交易的数据切片处理功能，同时将各维度数据统计结果动态展示于前端页面，便于数据拥有者更加便捷清晰的掌握数据详情、收视变化趋势，以及直观性快速定价。用户可以按照需求在页面点击按钮进行数据不同维度切片，存储及下载切片数据，用于数据交易以及定价研究。系统以三台服务器作为底层集群环境，实现数据并发读取、统计计算、切片等功能，数据处理过程快捷高效。
(1)数据切片策略
如图1所示，时间维度：按照时间划分为年、季度、月、周、日。时间维度切片包含以上5个切片功能：年切片、季度切片、月切片、周切片、日切片。
地区维度：地区切片功能按照国内某省地区划分。
收视行为维度：收视行为切片功能按照收视行为划分为直播、点播、回看、其它四种数据切片，其它包括开机行为、关机行为、心跳、错误数据等。
频道维度：按照频道划分，频道维度有三个切片功能，频道切片、卫视频道切片、央视频道切片。通过频道切片功能批量获取不同频道的切片数据。
节目维度：按照节目名称划分，节目维度有三个切片功能：节目切片、节目类型切片、节目子类型切片。节目切片功能可以自动识别原始数据中包含节目个数，根据节目名称批量产出各节目数据切片。
(2)平台部署
如图2所示，本发明采用Hadoop为底层处理环境，HDFS为数据文件存储系统，MapReduce为数据处理的编程模型，YARN为集群资源分配组件，SSM框架为整体应用的开发架构，Java为后台开发语言，SpringMVC为数据及功能传递模块。
(3)系统架构设计
系统整体架构为表示层、控制层、业务层、数据层。如下图3所示：四个模块各自负责相应的职能，彼此通信与配合，共同完成整个系统的功能。四个模块的具体职能如下：1)表示层：负责用户页面展示。2)控制层：负责管理任务流以及数据的传输。3)业务层：负责系统功能模块的具体实现逻辑。4)数据层：数据层为Hadoop分布式集群环境，负责数据的存储、读取、计算等操作。
(4)数据处理流程
数据处理流程首先进行数据清洗、文件格式统一，然后将用户数据与节目单数据按照既定规则进行文件拼接得到用户收视行为数据，最后按照各个维度实现相应切片功能与统计计算。具体流程设计图如图4所示。
其中，文件拼接所采用的数据是国内某省机顶盒用户的影视收视数据，包括用户数据与节目单数据，两个数据文件格式不同、字段不同，拼接处理后使得两个数据文件统一格式后按照相同字段拼接不同字段，介绍如下：用户数据文件以文本文档格式存储，具体字段如下表5-1所示。
表5-1收视数据字段
节目单数据以表格格式存储，节目单数据的具体字段如下表5-2所示。
表5-2节目单数据字段
首先进行数据清洗，将不符合要求的用户数据与节目单数据进行处理；其次将清洗之后的数据进行文件格式统一，均转化为文本格式，以便后续数据处理；最后将用户数据与节目单数据按照既定规则进行文件拼接得到用户收视行为数据，使得用户数据与其所观看节目数据进行整合。数据拼接过程由mapreduce程序完成，拼接的条件如下：
1)用户数据的收视频道编号与节目数据的频道编号相同。
2)用户数据的收视流入时间大于节目开始时间。
3)用户数据的收视流入时间小于节目结束时间。
4)用户数据的收视日期等于节目播出日期。
拼接后数据字段如表5-3所示：
表5-3拼接后数据字段
数据清洗的步骤包括：
第一步：缺失值清洗(根据缺失值重要性决定清洗方法为：1、删除含缺失值的收视数据；2、特殊值补充。)；
第二步：去掉不需要的字段(删除收视数据与节目单数据中无关字段)；
第三步：格式清洗(统一文本格式，统一字段顺序安排)。
(5)功能模块设计
根据系统功能需求，广电用户行为数据切片系统的功能模块设计包括以下四个部分：数据切片功能模块、数据文件传输模块、数据可视化模块、帮助说明模块。以下将具体介绍各模块实现的功能效果。
1)数据文件传输模块。此模块的作用是：一方面，用户在使用前上传需要处理的用户数据文件和节目单数据文件。文件上传后会保存在HDFS中，用户可以通过命令行语句查看，也可以在Hadoop内部浏览器进行查看。另一方面，对于处理后的切片数据文件进行下载操作。
2)数据切片功能模块。此模块的作用就是按照切片策略制定的五大维度对数据进行切片处理以及组合切片输出。切片功能包括单维度数据切片和组合维度数据切片两个功能。
A：单维度切片功能设计。本文研究的单维度数据切片功能要实现的效果是根据数据各维度的不同属性进行分区切片，获取某单一维度的批量切片数据。单维度切片功能操作流程如图5所示。
首先用户选择切片维度，点击切片按钮，通过Spring MVC功能传递，后台自动执行切片程序。切片程序第一步通过Map方法遍历数据，检索到切片属性的个数。第二步通过Record Writer定义各属性输出流路径。第三步自定义OutputFormat重载Record Writer方法，输出切片数据。切片程序执行完成后，用户可在Hdfs查看下载切片数据。
B：组合维度切片功能设计。在组合维度切片功能切片条件选择界面点击地区输入框，选择想要选择的地区编号，频道输入框选择频道名称，时间输入框选择日期，点击切分按钮即可完成操作。提交切分请求后，后台执行数据切分并输出，执行完毕后页面跳转为True页面，用户可以在输出路径直接获取切片数据。组合维度切片功能类似于数据库数据查询功能，任意组合时间、频道、地区三个切分条件，即可输出一个满足条件的数据文件。
具体实现步骤介绍如下，如图8所示：
第一步：组合维度条件选择。WEB页面程序提供三个下拉框，分别选择切分的频道、地区、时间条件，命名为ChannelSelect、AreaSelect、TimeSelect，作为数据筛选条件。
第二步：与单维度数据切片功能不同，组合维度数据切片功能依赖于前端页面反馈的切分条件，而切分条件的传递则由Spring MVC框架完成，后台程序在Web Controller获取切片条件。
第三步：编写Mapper端。Mapper端的代码功能即实现数据按切分条件进行筛选输出，从WEB Controller获取到ChannelSelect、AreaSelect、TimeSelect，通过嵌套IF从句进行条件筛选。因为底层数据有一个特点，直播收视数据拼接到直接频道信息，所以每条数据长度大于9，而其他收视数据无法拼接到直播频道信息，所以数据长度小于6。第一个IF从句筛选条件为数据长度小于等于6且频道切分条件为空，如果返回值为True，说明数据为非直播数据，可以进行时间和地区切分条件的筛选；如果返回值为False，说明数据存在三种情况：非直播数据且频道筛选条件不为空，直播数据且频道筛选条件为空，直播数据且频道筛选条件不为空，所以进行下一级IF判定。True线路第二级IF判定条件为：地区筛选条件为空或地区编号等于地区筛选条件，同时满足时间筛选条件为空或时间等于时间筛选条件，满足这个IF判定说明数据为满足切分条件的数据，进行数据写出，不满足IF判定说明数据不满足切分条件，数据不写出。False线路第二级IF判定条件为：数据长度大于9，即返回False说明数据为非直播数据且频道筛选条件不为空，不满足切分条件，不写出；返回True说明为直播数据，进入第三级IF判定；第三级IF判定条件为同时满足：地区筛选条件为空或地区编号等于地区筛选条件，时间筛选条件为空或时间等于时间筛选条件，频道筛选条件为空或频道名称等于频道筛选条件，即满足判定条件的为满足切分条件的直播数据，数据写出。
第四步：编写Driver部分。Driver部分作为程序提交的端口，说明所有描述的Job对象，声明Mapper类、Driver类、定义输入输出数据类型、声明输入输出文件路径。当页面有切分请求时，被Web Controller程序调用执行。
3)数据可视化模块
数据可视化模块，即系统的前台页面展示模块。系统页面展示的目的，一方面是方便用户操作系统，便捷执行系统功能，得到切片数据；另一方面，对于系统的输入的用户收视行为数据以及输出的各维度切片数据，进行数据可视化展示，便于用户对底层数据以及输出数据有更清晰的认知，对于选取哪一维度的切片数据有参考价值，同时，对于了解收视数据所展示的收视变化趋势以及基础收视指标，比如：收视率、到达率等，可以更加直观的展示。实现效果如图6所示。
4)帮助说明模块
此模块的设立是为了帮助用户快速学习使用此系统。此模块包括使用说明和注意事项两项。对于如何在集群中启动系统，如何操作系统，如何下载以及查看数据文件都会有详细的解释说明，节约用户的时间成本。
(6)系统首页界面
如图7所示：主要展示功能包括：系统名称、总收视人次数、收视指标、全国收视地图。
左侧能够用来选择特征属性，包括时间、地区、收视行为、频道和节目五个维度，以及组合切片功能和帮助说明；其中，时间维度页面主要展示时间维度的收视情况，包括24小时收视趋势图、周收视雷达图、月收视面积图、时间维度切片按钮。时间切片按钮包括年切片、季度切片、月切片、周切片以及日切片。
地区切片页面的展示内容包括地域分布收视用户数对比图、地域分布收视户次数对比图、地域分布收视折线图、地区切片按钮。
收视行为维度页面展示包括直播-点播收视人次趋势图、各收视行为收视数据统计结果展示、收视行为切片按钮。
频道维度展示包括：排行榜前十频道收视用户及收视人次对比图、收视前三频道信息表、频道类别占比图、频道切片按钮。切片按钮包括频道切片、央视频道切片、卫视频道切片三个按钮。
节目维度的页面展示包括：节目类型占比图、各节目类型收视人次对比图、节目子类个数折线图、节目子类占比图、节目切片按钮，切片按钮包括节目切片、节目类型切片、节目子类型切片三个功能按钮。
组合维度切片：三个选择框分别代表三个切分条件，本文研究的数据切片系统在组合切片模块提供三个切分条件，分别为地区、频道、时间。当点击选择框时，弹出下拉菜单，菜单内容为自动检测数据文件中包含的该属性所有情况，选择任意条件或者不选择均可，点击切分按钮，控制器获取任务，输出切片数据文件。
帮助说明按钮：页面展示操作文档，包括系统启动及使用过程中必备步骤说明以及操作方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种广电用户收视行为数据切片系统，其特征在于，包括：数据文件传输模块、数据切片功能模块和数据可视化模块；其中，所述数据文件传输模块将采集的用户数据与节目单数据传输给所述数据切片功能模块，并通过所述数据可视化模块进行展示。
2.根据权利要求1所述的一种广电用户收视行为数据切片系统，其特征在于，所述数据文件传输模块包括数据存储单元、数据处理单元和数据输出单元；用户数据与节目单数据上传后存储在所述数据存储单元内；所述数据处理单元将用户数据与节目单数据按照固定规则进行文件拼接得到用户收视行为数据；所述数据输出单元将所述用户收视行为数据输出。
3.根据权利要求1所述的一种广电用户收视行为数据切片系统，其特征在于，还包括：帮助说明模块；所述帮助说明模块内置使用说明和注意事项文档。
4.根据权利要求2所述的一种广电用户收视行为数据切片系统，其特征在于，所述数据切片功能模块根据用户收视行为数据的特征属性进行切片处理。
5.根据权利要求4所述的一种广电用户收视行为数据切片系统，其特征在于，所述特征属性包括：时间、地区、用户行为、频道和节目。
6.一种广电用户收视行为数据切片系统的架构，其特征在于，包括为表示层、控制层、业务层、数据层；表示层：负责用户页面展示；控制层：负责管理任务流以及数据的传输；业务层：负责系统功能模块的具体实现逻辑；数据层：数据层为Hadoop分布式集群环境，负责数据的存储、读取、计算操作；所述表示层、所述控制层、所述业务层、所述数据层彼此通信与配合。
7.一种应用权利要求1-5任一项的广电用户收视行为数据切片系统的方法，其特征在于，包括如下具体步骤：
将用户数据与节目单数据进行数据清洗，并进行数据拼接得到用户收视行为数据；
所述用户收视行为数据进行切片处理；
数据可视化模块显示切片数据。
8.根据权利要求7所述的一种广电用户收视行为数据切片方法，其特征在于，所述切片处理根据特征属性的个数分为单维度数据切片和组合维度数据切片。
9.根据权利要求8所述的一种广电用户收视行为数据切片方法，其特征在于，所述单维度数据切片具体步骤包括：用户选择切片维度，后台自动执行切片程序；切片程序第一步：遍历检索切片属性的个数；第二步：自定义各属性输出流路径；第三步：输出切片数据。
10.根据权利要求8所述的一种广电用户收视行为数据切片方法，其特征在于，所述组合维度数据切片：切片条件选择界面点击地区输入框，选择的地区编号；频道输入框选择频道名称；时间输入框选择日期，进行切分；提交切分请求后，后台执行数据切分并输出，用户可以在输出路径直接获取切片数据。
CN201910651988.0A 2019-07-18 2019-07-18 一种广电用户收视行为数据切片系统、架构及方法 Pending CN110351608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910651988.0A CN110351608A (zh) 2019-07-18 2019-07-18 一种广电用户收视行为数据切片系统、架构及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910651988.0A CN110351608A (zh) 2019-07-18 2019-07-18 一种广电用户收视行为数据切片系统、架构及方法

Publications (1)

Publication Number Publication Date
CN110351608A true CN110351608A (zh) 2019-10-18

Family

ID=68179282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910651988.0A Pending CN110351608A (zh) 2019-07-18 2019-07-18 一种广电用户收视行为数据切片系统、架构及方法

Country Status (1)

Country Link
CN (1) CN110351608A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757354A (zh) * 2020-06-15 2020-10-09 武汉理工大学 一种基于竞争博弈的多用户切片资源分配方法
CN112235610A (zh) * 2020-10-14 2021-01-15 广州欢网科技有限责任公司 直点播节目收视分布的分析方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956049A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 数据输出控制方法及装置
CN106649773A (zh) * 2016-12-27 2017-05-10 北京大数有容科技有限公司 一种大数据协同分析工具平台
CN108416620A (zh) * 2018-02-08 2018-08-17 杭州浮云网络科技有限公司 一种基于大数据的画像数据的智能社交广告投放平台
KR20190027122A (ko) * 2017-09-06 2019-03-14 전북대학교산학협력단 네트워크 공격 패턴 분석 및 방법
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956049A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 数据输出控制方法及装置
CN106649773A (zh) * 2016-12-27 2017-05-10 北京大数有容科技有限公司 一种大数据协同分析工具平台
KR20190027122A (ko) * 2017-09-06 2019-03-14 전북대학교산학협력단 네트워크 공격 패턴 분석 및 방법
CN108416620A (zh) * 2018-02-08 2018-08-17 杭州浮云网络科技有限公司 一种基于大数据的画像数据的智能社交广告投放平台
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖红江 等: "多源异构收视大数据平台架构及应用探究", 《广播与电视技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757354A (zh) * 2020-06-15 2020-10-09 武汉理工大学 一种基于竞争博弈的多用户切片资源分配方法
US11716748B2 (en) 2020-06-15 2023-08-01 Wuhan University Of Technology Multi-user slice resource allocation method based on competitive game
CN112235610A (zh) * 2020-10-14 2021-01-15 广州欢网科技有限责任公司 直点播节目收视分布的分析方法、装置和系统

Similar Documents

Publication Publication Date Title
US7664680B2 (en) Method and apparatus for creating contextual auction feeds
CN101828393B (zh) 基于媒体的推荐
CN100536560C (zh) 在视频点播平台上管理、转换和显示视频内容的系统和方法
US20160119678A1 (en) Multi source and destination media discovery and management platform
CN103034517A (zh) 浏览器控制工具加载方法和装置
EP1689184A2 (en) Method and system enabling web content searching from a remote set-top control interface or device
US20090164408A1 (en) Method, System and Computer Program for Managing Delivery of Online Content
US8972875B2 (en) Relevance bar for content listings
CN102279851A (zh) 一种智能导航方法、装置和系统
CN103034518A (zh) 加载浏览器控制工具的方法及浏览器
CN102771135A (zh) 用于通过使用因特网内容向导访问内容的系统和方法
CN103577596A (zh) 基于当前浏览页面的关键词搜索方法及装置
WO2008134373A1 (en) Virtual channels
CN104135685A (zh) 网页视频的播放信息的显示方法和显示装置
US20070050228A1 (en) Schedule management
CN103577392A (zh) 基于当前浏览页面的关键词推送方法及装置
CN103577595A (zh) 基于当前浏览页面的关键词推送方法及装置
CN106415644A (zh) 动态内容项创建
CN110351608A (zh) 一种广电用户收视行为数据切片系统、架构及方法
US12038914B2 (en) Data aggregator graphical user interface
CN111125518A (zh) 家电信息推荐的系统及方法
WO2010033616A2 (en) Scalable method for contextual information updates and notification
US20100030618A1 (en) System and method for visualizing a marketing strategy
US8281245B1 (en) System and method of preparing presentations
US20220292144A1 (en) Provision of different content pages based on varying user interactions with a single content item

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018