CN102790914A - 一种获取生成用户关注度高的网络视频精华的系统及方法 - Google Patents

一种获取生成用户关注度高的网络视频精华的系统及方法 Download PDF

Info

Publication number
CN102790914A
CN102790914A CN2012102300853A CN201210230085A CN102790914A CN 102790914 A CN102790914 A CN 102790914A CN 2012102300853 A CN2012102300853 A CN 2012102300853A CN 201210230085 A CN201210230085 A CN 201210230085A CN 102790914 A CN102790914 A CN 102790914A
Authority
CN
China
Prior art keywords
network video
internet video
user
module
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102300853A
Other languages
English (en)
Other versions
CN102790914B (zh
Inventor
熊晓飞
卢学裕
姚健
潘柏宇
卢述奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Youku Network Technology Beijing Co Ltd
Original Assignee
1Verge Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 1Verge Internet Technology Beijing Co Ltd filed Critical 1Verge Internet Technology Beijing Co Ltd
Priority to CN201210230085.3A priority Critical patent/CN102790914B/zh
Publication of CN102790914A publication Critical patent/CN102790914A/zh
Application granted granted Critical
Publication of CN102790914B publication Critical patent/CN102790914B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种获取生成用户关注度高的网络视频精华的系统及方法。该方法包括：网络视频播放器，发送记录该用户观看网络视频的开始时间点与观看网络视频的结束时间的请求消息，将请求消息上传至分布式文件系统模块；分布式文件系统模块，用于将输入的请求消息转换为供控制模块中的Map-reduce算法处理的字符串格式数据；控制模块，用于执行Map-reduce算法，输出针对同一日和同一网络视频的最多观看开始时间和最多观看结束时间数据；网络视频截取模块，根据控制模块的数据截取网络视频。采用本发明技术方案，通过上述模块处理以后可以生成用户关注度最高的网络视频精华。

Description

一种获取生成用户关注度高的网络视频精华的系统及方法
技术领域
本发明涉及网络媒体、网络视频领域，尤其涉及一种用于获取并生成用户关注度高的网络视频精华的方法及其系统。
背景技术
随着互联网与网络视频网站的发展，越来越多的用户上网看网络视频。而对于一些看网络视频时间很少的用户，如何为他提供更优质的网络视频，快速抓住用户眼球，并节省用户更多的时间是越来越重要的。
目前在很多长网络视频中，更多的用户更喜欢看长网络视频中的一个固定开始与结束时间的精华片段，比如：某场足球比赛中的精彩进球，某部电视剧或电影中最精彩的部分，某部综艺中最搞笑的片段等等。通过本发明可以有效的为用户提供这些网络视频的精华，以解决前述的技术问题。
本发明应用于获取并生成用户关注度最高的网络视频精华。以采集用户观看网络视频时间点的行为数据，分析用户关注度最高的的网络视频时间点，来生成网络视频的精华。
发明内容
为了达到上述目的，本发明提供了一种获取生成用户关注度高的网络视频精华的方法及系统，其中该系统包括：网络视频播放器，用于发送记录该用户观看开始时间点与结束时间点的请求消息，将请求消息上传至分布式文件系统模块；分布式文件系统模块，用于将输入的请求消息转换为供控制模块中的Map-reduce算法处理的字符串格式数据；控制模块，用于通过控制命令调用并执行Map-reduce算法，输出针对一时间段内某一网络视频的最多观看开始时间和最多观看结束时间数据；网络视频截取模块，根据控制模块的数据截取网络视频。
更进一步，该系统中的控制模块针对一时间段内指定分类的所有网络视频输出最多观看开始时间和最多观看结束时间数据。
更进一步，当需要截取网络视频的长度小于一个最短长度或大于一个最长长度时控制模块控制网络视频截取模块不进行任何截取网络视频操作。
本发明提供的一种获取生成用户关注度高的网络视频精华的方法，该方法包括以下步骤：步骤(1)当用户开始观看网络视频时，通过播放器发出用户观看网络视频的请求信息，信息中记录了用户观看网络视频的开始时间；步骤(2)每当用户结束观看时，播放器会发出记录有该网络视频的观看结束时间的请求信息；步骤(3)将所述请求信息保存到分布式文件系统中，通过分布式文件系统生成供Map-reduce算法处理的表示每个网络视频观看的开始时间与结束时间的字符串格式；步骤(4)控制模块通过控制命令调用Map-reduce算法并进行Map-reduce算法处理，获得一时间段内某一网络视频的最多观看开始时间和最多观看结束时间；步骤(5)控制网络视频截取模块根据最多的观看开始时间和最多的观看结束时间来生成网络视频精华。
本发明具有以下优点：能够分析海量数据准确的截取网络视频精华，引导用户观看。
附图说明
图1是本发明实施例中网络视频数据采集模块的结构示意图。
图2是本发明实施例中分布式文件系统模块的结构示意图。
图3是本发明实施例中控制模块调用Map reduce算法的示意图。
图4是根据本发明的方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明所述一种获取生成用户关注度高的网络视频精华的系统结构图，该系统包括了网络视频播放器、分布式文件系统模块、网络视频截取模块、控制模块。
其中分布式文件系统采用Hadoop框架，一个分布式系统基础架构。用户可以开发分布式程序。充分利用集群的威力高速运算和存储数据。
Hadoop框架实现了一个分布式文件系统(Hadoop Distributed FileSystem)，简称HDFS。该系统结构如图2所示。HDFS有着高容错性的特点，它提供高传输率(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。
每当用户点击观看某个网络视频时，收集该用户观看行为，记录该用户观看开始时间点与结束时间点，以上时间点数据通过网络视频播放器发送请求消息来实现。将用户行为数据上传至HDFS中以便分析。
采用分布式文件系统模块分析用户行为数据，输出字符串格式的数据以便供控制模块中map-reduce算法处理，控制模块通过控制命令调用map-reduce算法并根据Map-reduce算法得到分析结果，将结果保存于数据库中作为任务队列，根据数据库中的任务队列进行网络视频的截取工作。
Map reduce算法：
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。结构如图3所示。算法原理是：指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(化简)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
Map-Reduce主要包括两个步骤：Map和Reduce
每一步都有key-value对作为输入和输出：
map阶段的key-value对的格式是由输入的格式所决定的，如果是默认的文本输入格式TextlnputFormat，则每行作为一个记录进程处理，其中key为此行的开头相对于文件的起始位置，value就是此行的字符文本。
map阶段的输出的key-value对的格式必须同reduce阶段的输入key-value对的格式相对应。
初始时：
Map1(第一次Map)：
Map函数通过输入的字符串格式数据进行处理获得Key1-value1对的输出值如下(Key1表示日期、网络视频ID；Value1表示观看结束时间。每条记录输出都是固定的)输出值例如：2012328ID、260。观看结束时间为该网络视频的260秒。
Reduce1(第一次Reduce)：
在reduce过程，将map过程中的输出，按照相同的key1将value1放到同一个列表中作为reduce的输入。
计算相同Key1下的Value1中观看的结束时间点的次数最多的是哪个时间点，会得到一个最多的结束时间以及观看次数(例如网络视频观看结束时间第260秒是最多的观看结束时间点，被观看了3000次)。
Reduce1的结果：
Key1：日期、网络视频ID
Value1：最多的观看结束时间点(260秒)
将结果输出保存。
更进一步，这里的日期可以设置为某一时间段。
Map2：
将Reduce1的结果作为Map2函数的输入，Map2函数输出Key2-value2对。
其中：
Key2：日期、网络视频ID、最多的观看结束时间点(260秒)
Value2：用户观看开始时间点
Reduce2(第二次Reduce)：
在第二次reduce过程中，将map2过程中的输出，按照相同的key2将value2放到同一个列表中作为reduce2的输入。
计算相同Key2下的Value2中观看的开始时间点的次数最多的是哪个时间点，会得到一个最多的开始时间以及观看次数(例如230秒是观看开始到260秒次数最多的开始时间点)。即可得到该网络视频230秒到260秒为精华片段。
因此，reduce2可以统计出在最多观看结束时间的用户动作中出现最多的观看开始时间。
然后我们将结果保存到数据库中用做任务队列，以便根据精华片段开始与结束时间控制网络视频截取模块生成网络视频精华。
通过本发明的技术实现可以为一些看网络视频时间很少的用户，提供精华片段，节省用户更多的时间，增加用户黏性，引导用户观看更多网络视频。
本发明的方法包括以下步骤：
1.当用户开始观看网络视频时，通过播放器发出用户观看网络视频的请求信息，信息中记录了用户观看网络视频的开始时间；
2.每当用户结束观看时，播放器会发出用户结束观看时记录该网络视频的观看结束时间的请求信息；
3.将用户请求的原始信息保存到Hdfs中，通过Hdfs生成供Map-reduce算法处理的表示每个网络视频观看的开始时间与结束时间的字符串格式；
4.控制模块通过控制命令调用Map-reduce算法并进行Map-reduce算法处理，获得一时间段内某一网络视频的最多的观看开始时间和最多的观看结束时间；
5.控制网络视频截取模块根据最多的观看开始时间和最多的观看结束时间来生成网络视频精华。
更进一步，步骤4中是获得一时间段内指定分类的所有网络视频的最多观看开始时间和最多观看结束时间数据。
更进一步，当需要截取网络视频的长度小于一个最短长度或大于一个最长长度时不进行任何截取网络视频操作。正如在图4中所示称为过滤规则。
以上是对本发明的优选实施例进行的详细描述，但本领域的普通技术人员应该意识到，在本发明的范围内和精神指导下，各种改进、添加和替换都是可能的。这些都在本发明的权利要求所限定的保护范围内。

Claims (6)

1.一种获取生成用户关注度高的网络视频精华的系统，其特征在于：该系统包括：
网络视频播放器，用于发送记录该用户观看开始时间点与结束时间点的请求消息，将请求消息上传至分布式文件系统模块；
分布式文件系统模块，用于将输入的请求消息转换为供控制模块中的Map-reduce算法处理的字符串格式数据；
控制模块，用于通过控制命令调用并执行Map-reduce算法，输出针对同一时间段内某一网络视频的最多观看开始时间和最多观看结束时间数据；
网络视频截取模块，根据控制模块的数据截取网络视频。
2.根据权利要求1所述的系统，其特征在于：控制模块针对一时间段内指定分类的所有网络视频输出最多观看开始时间和最多观看结束时间数据。
3.根据权利要求1或2所述的系统，其特征在于：当需要截取网络视频的长度小于一个最短长度或大于一个最长长度时控制模块控制网络视频截取模块不进行任何截取网络视频操作。
4.一种获取生成用户关注度高的网络视频精华的方法，其特征在于：该方法包括以下步骤：
步骤(1)当用户开始观看网络视频时，通过播放器发出用户观看网络视频的请求信息，信息中记录了用户观看网络视频的开始时间；
步骤(2)每当用户结束观看时，播放器会发出记录有该网络视频的观看结束时间的请求信息；
步骤(3)将所述请求信息保存到分布式文件系统中，通过分布式文件系统生成供Map-reduce算法处理的表示每个网络视频观看的开始时间与结束时间的字符串格式；
步骤(4)通过控制模块的控制命令调用Map-reduce算法并进行Map-reduce算法处理，获得一时间段内某一网络视频的最多观看开始时间和最多观看结束时间；
步骤(5)控制网络视频截取模块根据最多的观看开始时间和最多的观看结束时间来生成网络视频精华。
5.根据权利要求4所述的方法，其特征在于：步骤(4)中获得一时间段内指定分类的所有网络视频的最多观看开始时间和最多观看结束时间数据。
6.根据权利要求4或5所述的方法，其特征在于：当需要截取网络视频的长度小于一个最短长度或大于一个最长长度时不进行任何截取网络视频操作。
CN201210230085.3A 2012-07-04 2012-07-04 一种获取生成用户关注度高的网络视频精华的系统及方法 Expired - Fee Related CN102790914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210230085.3A CN102790914B (zh) 2012-07-04 2012-07-04 一种获取生成用户关注度高的网络视频精华的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210230085.3A CN102790914B (zh) 2012-07-04 2012-07-04 一种获取生成用户关注度高的网络视频精华的系统及方法

Publications (2)

Publication Number Publication Date
CN102790914A true CN102790914A (zh) 2012-11-21
CN102790914B CN102790914B (zh) 2015-02-11

Family

ID=47156198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210230085.3A Expired - Fee Related CN102790914B (zh) 2012-07-04 2012-07-04 一种获取生成用户关注度高的网络视频精华的系统及方法

Country Status (1)

Country Link
CN (1) CN102790914B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883478A (zh) * 2015-06-17 2015-09-02 北京金山安全软件有限公司 视频处理方法及装置
CN108134947A (zh) * 2017-12-25 2018-06-08 横琴国际知识产权交易中心有限公司 一种视频截取方法及装置
CN115086028A (zh) * 2022-06-14 2022-09-20 张永 一种基于区块链的数据安全采集方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075795A (zh) * 2010-12-21 2011-05-25 深圳市同洲电子股份有限公司 热点电视节目发布的方法及系统
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置
CN102521232A (zh) * 2011-11-09 2012-06-27 Ut斯达康通讯有限公司 一种互联网元数据的分布式采集处理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置
CN102075795A (zh) * 2010-12-21 2011-05-25 深圳市同洲电子股份有限公司 热点电视节目发布的方法及系统
CN102521232A (zh) * 2011-11-09 2012-06-27 Ut斯达康通讯有限公司 一种互联网元数据的分布式采集处理系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883478A (zh) * 2015-06-17 2015-09-02 北京金山安全软件有限公司 视频处理方法及装置
CN104883478B (zh) * 2015-06-17 2018-11-16 北京金山安全软件有限公司 视频处理方法及装置
CN108134947A (zh) * 2017-12-25 2018-06-08 横琴国际知识产权交易中心有限公司 一种视频截取方法及装置
CN115086028A (zh) * 2022-06-14 2022-09-20 张永 一种基于区块链的数据安全采集方法

Also Published As

Publication number Publication date
CN102790914B (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
US20230138614A1 (en) Methods and systems for monitoring content subscription usage on many devices
EP3739527B1 (en) On-device machine learning platform
US20180373778A1 (en) Feedback loop content recommendation
CN105989129B (zh) 实时数据统计方法和装置
US20170103133A1 (en) Recommendation method and device
US9781479B2 (en) Methods and systems of recommending media assets to users based on content of other media assets
AU2021202157B2 (en) Methods and systems for managing content subscription data
CN104850640A (zh) 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN103390038A (zh) 一种基于HBase的构建和检索增量索引的方法
CN107038218B (zh) 报表处理方法和系统
Johnson et al. Desktop and mobile web page comparison: characteristics, trends, and implications
CN105933736A (zh) 一种日志处理方法及装置
US20140149326A1 (en) Post-processed content recommendation
CN106815254A (zh) 一种数据处理方法和装置
CN103491176A (zh) 微博自动发布方法及系统
CN101694649A (zh) 集群监控的报表生成系统及方法
CN104392474A (zh) 一种生成、展示动画的方法及装置
CN102790914B (zh) 一种获取生成用户关注度高的网络视频精华的系统及方法
CN104899278A (zh) 一种Hbase数据库数据操作日志的生成方法及装置
CN109284324A (zh) 基于Apache Oozie框架处理大数据的流程任务的调度装置
Zhang et al. Duasvs: A mobile data saving strategy in short-form video streaming
CN104731564A (zh) 系统接口调用记录的生成方法和装置
CN106101831A (zh) 视频向量化方法及装置
CN104346378B (zh) 一种实现复杂数据处理的方法、装置及系统
US20170280195A1 (en) Methods and systems of recommending media assets to users viewing over-the-top content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee after: Youku network technology (Beijing) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: 1VERGE INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200619

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: Youku network technology (Beijing) Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150211

Termination date: 20200704