CN105191331A - 确定视频中的兴趣水平 - Google Patents

确定视频中的兴趣水平 Download PDF

Info

Publication number
CN105191331A
CN105191331A CN201480014181.1A CN201480014181A CN105191331A CN 105191331 A CN105191331 A CN 105191331A CN 201480014181 A CN201480014181 A CN 201480014181A CN 105191331 A CN105191331 A CN 105191331A
Authority
CN
China
Prior art keywords
key frame
video
interest level
frame
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480014181.1A
Other languages
English (en)
Inventor
A·马丁
D·多文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105191331A publication Critical patent/CN105191331A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

分析视频以标识用于多个帧的兴趣水平。基于对多个帧中的每个帧的内容或者其它客户端多么经常地查看帧或者在查看帧之时采取动作的分析来确定兴趣水平。对帧聚类并且为聚类中的每个聚类确定关键帧位置。向关键帧给予比非关键帧更高的缓冲优先级。基于关键帧兴趣水平使对关键帧的缓冲优先。也利用关键帧以使得客户端能够在关键帧与很可能让用户感兴趣的查看内容之间向前跳过或者向后跳过。

Description

确定视频中的兴趣水平
技术领域
本发明总体上涉及视频取回和回放，并且特别地涉及标识很可能让用户感兴趣的视频的节段并且生成用于那些节段的关键帧。
背景技术
内容主控服务向用户提供对视频和其它类型的媒体内容的在线访问。用户请求来自主控服务的视频，主控服务然后向用户的客户端设备传输视频。客户端设备通常将在内容已经被完全地下载到客户端设备之前、仅在视频已经被充分地缓冲之后开始回放。这允许用户当在回放期间带宽充分时更快地开始查看视频而无中断。在加载视频以用于回放时，视频播放器通常按照视频将按照这一顺序播放的顺序以时间线性方式加载视频文件而无用户中断。然而，用户可以跳过视频的已经被加载的某个部分以在更晚部分处开始观看，从而造成在视频播放器再次缓冲视频以用于回放之时回放的中断。
发明内容
视频由视频主控服务器分析以标识用于视频中的多个帧中的每个帧的兴趣水平。帧的兴趣水平是由一个或者多个定量因子确定的品质因数(figureofmerit)。一个因子类型代表在以非线性方式访问视频的帧时的用户行为、比如客户端多么经常地通过跳跃或者查找到视频的显示帧的时间位置来访问视频。例如反复地在视频中查找、但是然后停止并且让回放继续使对回放继续的位置感兴趣的强指示符。另一因子类型基于视频的可听和可视内容以及标识可能让客户端的用户感兴趣的时间位置、比如有显著运动的帧、景物改变、音频音量或者内容改变等。基于这些因素，为帧或者帧集合计算兴趣水平。然后通过具有超过兴趣阈值的兴趣水平来标识在多个帧内的一个或者多个帧作为关键帧。可以使用标识的关键帧以使视频的哪些部分优先在视频由客户端加载时自动地缓冲。也可以使用关键帧信息以使内容分发优化优先。自动地缓冲的部分可以在关键帧开始或者包含关键帧。缓冲的部分的长度可以被设置成默认值或者给予如下因素来确定，这些因素可以包括在时间上位于关键帧附近的帧的兴趣水平。附加地，视频播放器可以在它接受对于向前或者向后跳过的请求时使用关键帧以无论请求哪一个都自动地向前或者向后移动回放点到视频中的最近关键帧、由此提供可变跳过特征。在一个实施例中，对关键帧的标识可以允许广告在视频中被放置在可能让用户感兴趣的关键帧之前。相似地，由关键帧标识的视频部分可以要求付费查看，而非关键帧视频部分或者关键帧视频部分的子集可以作为预览免费地可用。
在说明书中描述的特征和优点不是囊括，并且具体而言，许多附加特征和优点将按照附图、说明书和权利要求书而为本领域普通技术人员所清楚。另外，应当注意在说明书中使用的言语已经主要出于可读性和指导目的而加以选择并且可以尚未被选择用于界定或者限制公开的主题内容。
附图说明
图1是根据一个实施例的系统架构的框图。
图2是图示用于用作根据一个实施例的客户端的计算机的是你的框图。
图3是图示根据一个实施例的关键帧模块的具体视图的框图。
图4使图示根据一个实施例的客户端的视频播放器的具体视图的框图。
图5是图示根据一个实施例的标识和存储视频的关键帧的方法的流程图。
图6是图示根据一个实施例的利用接收的关键帧标识以增强视频回放的方法的流程图。
具体实施方式
计算系统自动地标识视频中的很可能让用户感兴趣的关键帧，并且利用关键帧以通过实现视频向客户端设备的非线性下载来增强用户的查看体验，从而使得用户可以在视频的开始之后立即地开始查看关键帧，以及实现从当前帧向最近关键帧的可变向前跳过和向后跳过。关键帧如在本申请中讨论的那样是被标识为很可能或者已经证明了让用户高度感兴趣的视频帧的视频帧。这不会与在指代除了在视频压缩中其本身之外未参考任何帧而被编码的帧时使用“关键帧”混淆。这也不会与在参照附图时使用“关键帧”混淆，这些附图定义动画和摄制中的任何流畅过渡的起点和终点。无论是否涉及到任何压缩或者动画，都可以使用如在本申请中讨论的标识兴趣水平的关键帧。附图和以下描述仅通过例示来描述某些实施例。本领域技术人员将从以下描述容易地认识到可以运用这里所示的结构和方法的备选实施例而未脱离这里描述的原理。现在将具体参照若干实施例，在附图中图示了这些实施例的示例。注意，只要实用，就可以在图中使用相似或者相同的标号，并且相似或者相同的标号可以指示相似或者相同的功能。
图1图示了用于确定和利用关键帧的系统环境。视频主控服务100包括前端web服务器140、视频服务模块110、用户分析模块120、关键帧模块130、视频数据库155、用户访问日志160和关键帧贮存库165。视频主控服务100连接到网络180。图1还包括运行视频播放器125的客户端123。客户端123也连接到网络180。
并未示出许多常规特征(比如防火墙、负荷平衡器、应用服务器、故障转移服务器、网络管理工具等等)以免模糊系统的特征。用于实施系统的适当设备是在www.youtube.com处发现的YOUTUBETM服务；其它视频主控服务也是已知的，并且可以被适配用于根据这里公开的教导来操作。术语“服务”代表被适配用于使用任何联网协议来供应内容的任何计算机系统，而并未旨在于限于经由因特网或者HTTP协议上传或者下载的内容。一般而言，在一个实施例中被描述为在服务器侧上被执行的功能如果适合则也可以在其它实施例中在客户端侧上被执行。附加地，归于特定部件的功能可以由一起操作的不同的或者多个的部件执行。
这里描述的服务器和模块被实施为在包括CPU、存储器、网络接口、外围接口和其它已知部件的服务器类计算机上执行的计算机程序。计算机本身在一些实施例中运行常规专有或者开源操作系统(比如MicrosoftWindows、MacOS、Linux等)、具有一般高性能CPU、吉字节或者更多的存储器以及吉字节、太字节或者更多的盘存储装置。当然，可以使用其它类型的计算机，并且预计随着将来开发更强大计算机，可以根据这里的教导而配置她们。在图2中图示了适当计算机的示例。可以从在有形计算机可读存储介质(例如，RAM、硬盘或者光/磁介质)中存储的计算机程序产品提供由单元中的任何单元实施的功能。比如图2中所图示计算机的操作和结构的细节是已知的并且这里未加以重复。
客户端123经由网络180连接到前端服务器140，网络180通常是因特网，但是也可以是包括但不限于LAN、MAN、WAN、移动、有线或者无线网络、专有网络或者虚拟专有网络的任何组合的任何网络。尽管示出了仅三个客户端123，但是应理解可以支持很大数目(例如，数百万个)的客户端并且这些客户端可以在任何时间与视频主控服务100通信。客户端123可以包括多种不同计算设备。客户端设备123的示例是个人计算机、数字助理、个人数字助理、蜂窝电话、移动电话、平板计算机、智能电话或者膝上型计算机。如本领域普通技术人员将清楚的那样，本发明不限于以上列举的设备。
客户端123包括通过浏览器(未示出)的视频播放器125或者包括允许客户端123呈现在视频主控服务100上提供的数字内容的专用应用。适当浏览器例如包括MicrosoftInternetExplorer、NetscapeNavigator、MozillaFirefox、AppleSafari和GoogleChrome。客户端125、视频播放器125和/或浏览器可以包括用于实现视频回放以及增强用户界面的HTML或者Javascript。浏览器也可以包括或者支持用于视频播放器的插件(例如，来自AdobeSystem,Inc.的FlashTM)或者被适配用于在视频主控服务100中使用的视频文件格式的任何其它播放器。备选地，视频可以由从浏览器分离的程序访问。适当专用视频播放器包括Quicktime和WindowsMediaPlayer。
数字内容项目可以例如包括视频、音频或者视频和音频的组合。为了方便和描述一个实施例的目的，数字内容项目将被称为“视频”、“视频文件”或者“视频项目”，但是这一术语未旨在于对数字内容项目类型的限制。其它适当数字内容项目类型包括音频文件(例如，音乐、播客、音频书等)、多媒体演示等等。
视频主控服务100提供已经由视频主控服务100的其他用户上传或者可以已经由视频主控服务运营商或者由第三方提供的视频。客户端123可以基于关键词或者其它元数据来搜索视频。在一个实施例中，这些请求由前端服务器140接收作为查询并且向视频服务模块110提供。
视频数据库155存储向客户端123提供的视频。在一个实施例中每个视频具有视频标识符(ID)。每个视频文件具有包括视频ID、作者、标题、描述和关键字的关联元数据，如可用则可以包括附加元数据。在一个实施例中，与视频关联的元数据包括关键帧位置。备选地。关键帧元数据可以被存储在关键帧数据库165中。为了这一讨论的目的，将讨论如存储在关键帧数据库165中的关键帧位置。
用户访问日志160存储描述用户的访问和与视频的交互的访问数据。访问数据指示用户是否观看了整个视频、观看了用于特定持续时间的视频、跳过了视频、跳跃到了视频中的位置、观看了视频的部分、向上滚过或者向下滚过了包括视频的网页、与其他用户共享了视频、向播放列表添加了视频、标记了视频、阻止了来自播放列表或者视频汇集的视频、收藏了视频、向视频给予了喜爱评级(例如，使用FACEBOOKTM账户来“喜爱”了视频或者使用GOOGLE+TM账户来为视频“+1”)、向视频给予了不喜欢评级(例如，“拇指向下”)。在一个实施例中，用户访问日志160或者与用户访问日志160关联的另一实体向用户提供用于选择退出让用户的访问数据被收集和/或与视频主控服务100中的其它模块或者其它服务共享的机会。用户分析模块120被配置为从客户端123接收描述用户的访问和与视频的交互的访问数据。向用户访问日志160传输接收的访问数据以用于存储。
关键帧数据库165存储与在视频数据库155中存储的视频关联的关键帧位置。对于视频数据库155中的每个视频，关键帧数据库165存储关键帧位置和关联部分长度的列表，这些关键帧位置和关联补偿长度界定视频的很可能让用户感兴趣的部分。视频数据库155可以不具有从数据库中的一些视频存储的关键帧位置和关联信息。关键帧由它的帧号、时间码或者其它编索引值指示。部分的长度由部分中的帧数或者部分中的时间量或者用作部分的结束的帧的标识符指示。附加地，在一个实施例中，与每个关键帧位置一起存储指示关键帧相对于其它关键帧的重要性的关键帧兴趣水平。
基于用户已经表明或者很可能表明对视频的某些帧的兴趣的测量在视频中标识关键帧。关键帧模块130可以被配置为关于与给定的视频的用户交互来处理用户日志，并且确定视频中的帧的访问兴趣水平。关键帧模块130也可以对视频的内容执行分析并且基于标识很可能让用户感兴趣的音频或者可视内容来确定视频中的帧的兴趣水平。附加地，关键帧模块130可以执行启发法分析或者本领域中已知的其它方法以确定来自用户的很可能兴趣水平。可以单独地或者组合地考虑视频的音频和可视内容二者以确定帧的对应兴趣水平。可以独立地或者组合地利用对视频内容的分析和对用访问历史的分析以标识关键帧或者指派兴趣水平。关键帧模块130基于帧的内容兴趣水平和访问兴趣水平来标识用于给定的视频的关键帧和对应部分长度。关键帧模块130在关键帧数据库165中存储关键帧和对应部分长度。
视频服务模块110被配置为在视频数据库155中搜索满足来自客户端123的查询的视频并且向客户端123提供视频。视频服务模块也从关键帧数据库165取回与视频关联的关键帧信息并且基于关键帧信息来使应当缓冲的视频的哪些节段优先。在一个实施例中，客户端123或者视频播放器125可以基于从视频主控服务100接收的信息执行缓冲请求。附加地，可以基于对关键帧的标识来执行边缘高速缓存。例如，如果为第一用户缓冲视频的部分，则视频的该部分可以被边缘高速缓存到内容服务器，该内容服务器更接近或者以别的方式更好地能够服务于缓冲视频的该部分的后续用户。视频服务模块110支持对用于视频的任何有字段数据(包括它的标题、描述、元数据、作者、类别等等)的搜索。备选地，用户可以基于类别(比如查看最多的视频、体育、动物或者汽车)来浏览视频列表。例如，用户可以浏览与汽车有关的视频的列表并且从列表选择查看哪些视频。
在向客户端123用流传输视频时，视频服务模块110被配置为如本领域所知缓冲视频的在当前回放位置附近的当前部分以实现回放而无中断。一般地，初始当前位置在视频的开头或者附近。在缓冲用于实现流畅回放的视频的足够部分之后，视频服务模块110基于与视频关联的关键帧信息使缓冲优先，从而使得用户可以切换到视频的包括关键帧的部分而未等待缓冲。在一个实施例中，在缓冲视频的当前部分之后，由关键帧位置和关联部分长度标识的关键帧部分被优先按照时间顺序缓冲。在另一实施例中，关键帧部分基于它们的在关键帧数据库165中存储的关联关键帧兴趣水平而被优先和缓冲。首先缓冲具有最高关键帧兴趣水平的关键帧部分，以此类推。在缓冲了所有关键帧部分之后，视频服务模块继续按照时间顺序缓冲视频的未缓冲的帧。
图3是图示根据一个实施例的关键帧模块130的具体视图的框图，该关键帧模块130是执行这一功能的一个装置。在一些实施例中，以与这里描述的方式不同的方式在模块之中分布功能。另外，功能可以由视频主控服务100的其它实体执行或者数据由这些其它实体存储。关键帧模块被配置为确定和在关键帧数据库165中存储关键帧位置。在一个实施例中，关键帧模块被配置为在所有视频初始地被存储在视频数据库中时对它们执行分析。另外，可以在更新用户访问历史和其它有关数据时周期性地执行关键帧分析。
视频取回模块310被配置为从视频数据库155接收视频和从用户访问日志160接收与视频关联的用户访问信息以便对视频执行分析并且确定视频的关键帧部分。
访问分析模块312被配置为分析由视频取回模块310接收的用户访问信息并且确定用于视频的帧的访问兴趣水平。例如，访问分析模块312分析用户已经在视频中跳到的帧以及每个这样的跳到已经出现的次数。访问分析模块312标识用户访问日志160中的在用户正观看正由访问分析模块312分析的视频之时出现的用户动作。在一个实施例中，从用户请求允许存储或者传输动作报告到访问分析模块312。在一个实施例中，访问兴趣水平被存储并且与其用户访问正由访问分析模块312分析的视频中的每个帧或者时间码关联。基于由用户执行的和从用户访问日志160取回的动作增加或者减少用于每个帧的访问兴趣水平。例如，用户跳到视频中的特定时间码(比如在视频的1：18.00标记)造成访问分析模块增加与视频的1：18.00标记关联的访问兴趣。相反言地，用户跳离视频的1：18.00标记可以使得访问分析模块312减少1：18.00标记的访问兴趣水平。由于用户可能未在精确地相同帧采取相同动作，所以多组帧可以被一起分析和评级。附加地，处理后步骤可以评估所有帧的兴趣水平以标识高兴趣区域并且例如在兴趣水平峰值或者略微地在兴趣水平上升之前选择适当关键帧。在一个实施例中，如果跳到时间码将访问兴趣增加1并且跳离时间码将访问时间减少1，则访问兴趣水平可以在比跳到时间码的用户更多的用户从时间码跳开时是消极的或者小于初始化的值。在另一实施例中，可以分离地维持跳到位置和跳离视频位置的分离计数，并且可以基于在计数之间的比率来确定访问兴趣水平。可以积极地影响兴趣水平的其它动作包括暂停、缓慢运动、调整的回放速率、倒回、跳回某一秒数、跳回到章节的开头或者通过指定视频中的起点的链接开始回放。相似地，可以消极地影响兴趣水平的动作包括停止、快进、前跳某一秒数或者前跳到章节的开头。
可以使用隐式用户动作和显式用户动作二者以调整与某个时间码或者帧关联的访问兴趣。从用户输入显式反馈主要地为了指示对视频的积极反应或者消极反应的目的。可以从用户输入中推断隐式积极反馈或者消极反馈，但是输入本身可以具有不同主要功能。例如，隐式动作可以包括喜爱、不喜爱、共享或者收藏视频。执行显式动作的时间码可以用来调整在该时间码处的访问兴趣水平。在一个实施例中，受显式动作影响的时间码可以由延迟时间调整。例如，如果积极显式动作在2:05.00出现，则可以假设用户对视频的在先部分做出了反应并且可以调整用于时间码1:55.00而不是2:05.00的访问兴趣水平。在一个实施例中，应用于显式动作时间码的修改是由视频主控服务100设置的默认时间。隐式动作可以包括跳过视频中的位置或者在视频的某个时间位置暂停。
内容分析模块314被配置为分析取回的视频并且通过对取回的视频的可视和音频内容执行分析来确定用于视频的帧的内容兴趣水平。在一个实施例中，标识某些声音或者可视线索以指派内容兴趣水平。某些声音或者可视元素由视频主控服务110的管理者指明以对它们在其中被检测到的帧的内容兴趣水平具有积极或者消极效果。标识可视或者音频对象将对内容兴趣水平具有的数值效果可以相似地在执行自动化的分析之前由视频主控服务110的管理者定义。在一个实施例中，声音和可视元素的组合也可以使得内容兴趣水平被修改。声音识别软件被配置为检测正在被分析的视频中的声音(比如汽车引擎噪声或者射击)。声音(比如很可能让用户感兴趣的声音)增加它们在其中被检测到的帧的内容兴趣水平。例如，射击的声音可以由关键帧模块检测并且指示视频的对应帧很可能让用户感兴趣。在一个实施例中，可以利用启发式分析方法和/或机器学习以确定音频或者可视对象是否很可能让用户感兴趣。可以使用来自其它内容的关键帧中的模式以检测感兴趣的模式。
相似地，对视频的可视元素执行分析。分析可以包括景物改变或者运动检测。也可以对视频的个别帧利用图像识别软件以检测视频中的对象。对象(比如汽车、飞机或者滑雪板)可以被视频主控服务的管理者视为对兴趣水平具有积极效果或者消息效果。例如，如果在视频的某个帧中检测到汽车，则在用户更可能对视频的该帧感兴趣时增加用于该帧的内容兴趣水平。也可以使用人和动物二者的存在、不存在和存在程度以确定兴趣水平。在一个实施例中，可以利用识别软件(例如，NEVENVISION)以执行图像识别从而实现对兴趣水平的指派。相似地，可以在对视频的分析和对兴趣水平的确定中使用任何已知或者定制的图像或者声音识别算法。
兴趣水平模块316利用由访问分析模块312确定的帧的访问兴趣水平和由内容分析模块314确定的帧的内容兴趣水平。可以单独地或者组合地使用访问兴趣水平和内容兴趣水平以确定总兴趣水平。在一个实施例中，在逐个帧基础上组合视频中的帧的访问兴趣水平和内容兴趣水平，从而使得视频中的每个帧或者时间码具有总兴趣水平。可以对两个兴趣水平的值求和而无修改。附加地，可以缩放兴趣水平之一或者二者以调整在计算用于帧的总兴趣水平时对每个兴趣水平类型设定的重要性。例如，可以基于用于由访问分析模块312在确定用于视频的帧中的每个帧的访问兴趣水平时考虑的视频的用户交互数目增加或者减少访问兴趣水平在确定总兴趣水平时的权值。
关键帧标识模块318基于由兴趣水平模块316计算的兴趣水平确定关键帧信息。基于帧的总兴趣水平和帧的相互邻近度将帧分组成多组帧。在一个实施例中，可以相对于视频的帧的总兴趣水平确定分组兴趣阈值。在视频的长度的某个百分比内具有超过分组兴趣阈值的总兴趣水平的一系列帧然后可以形成组。组的关键帧位置是组中的帧，比如在组的中间的帧或者有最高总兴趣水平的帧。在一个实施例中，关键帧标识模块318将关键帧标识为在组中的被发现具有高于阈值的兴趣水平的帧之前出现的帧。缓冲然后可以在关键帧位置开始并且捕获视频的所有很可能感兴趣的帧。在另一实施例中，基于帧的兴趣水平对帧执行基于执行基于质心的聚类以将关键帧位置标识为分组的形式。可以在视频中的关键帧位置之前缓冲视频以便缓冲如下帧，这些帧上至视频的很可能让用户感兴趣的帧。例如，可以使用k均值聚类算法以标识兴趣水平的聚类和每个聚类的质心，每个质心是关键帧位置。如果选择的k均值算法需要预先指定聚类的数目，则可以基于视频长度选择聚类数目。
对于每个标识的关键帧位置，确定部分长度，该部分长度指示围绕关键帧位置的多少视频应当与在关键帧位置处的视频一起被缓冲。由关键帧位置和对应部分长度标识的视频部分被称为关键帧部分。部分长度可以由从关键帧位置延伸、以关键帧位置为中心或者以别的方式包括关键帧位置的帧的数目标识。在一个实施例中，部分长度是从关键帧位置向前延伸默认持续时间的默认值。相似地，部分长度也可以从关键帧位置向后或者从关键帧位置向后和向前延伸默认值。在另一实施例中，基于在关键帧位置附近的帧的兴趣水平确定关键帧位置的部分长度。例如，如果帧超过绝对兴趣阈值或者相对于在关键帧位置处的兴趣水平的兴趣水平阈值则可以在部分长度中包括它们。在另一实施例中，由于每个关键帧位置是由k均值聚类算法确定的聚类的质心，所以在视频的由部分长度标识的关键帧部分中包括在关键帧位置的聚类中包括的所有帧。
附加地，对于每个关键帧位置，在关键帧位置处的总兴趣水平被存储为关键帧兴趣水平。附加地，可以基于在关键帧部分长度内的所有帧的总兴趣水平来计算关键帧兴趣水平。例如，对在部分长度内的所有帧的总兴趣水平求平均。在关键帧数据库中存储关键帧位置、部分长度和关键帧兴趣水平作为关键帧。
图4是图示了根据一个实施例的客户端123的视频播放器125的具体视图的框图。在一些实施例中，以与这里描述的方式不同的方式在模块之中分布功能。另外，功能可以客户端100的其它实体执行或者数据由这些其它实体存储。视频播放器125被配置为显示从视频主控服务100取回的视频并且利用关键帧位置以增强用户体验。
视频流传输模块410被配置为向客户端123用流传输来自视频主控服务100的视频。在一个实施例中，视频流传输模块410也被配置为接收与正被用流传输的视频关联的关键帧位置。在一个实施例中，接收关键帧位置作为用流传输的视频的元数据。在另一实施例中，从关键帧数据库165取回关键帧位置。视频流传输模块410被配置为基于关键帧位置来缓冲用流传输的视频的部分。例如，取代完全地按时间缓冲，视频流传输模块410缓冲用流传输的视频的足够开头以开始回放，并且然后根据关键帧信息来使缓冲视频的关键帧部分优先。如先前描述的那样，可以按时间缓冲关键帧部分或者基于它们的关键帧兴趣水平使它们优先。
视频回放模块412显示用于客户端123的用户的视频。在一个实施例中，用图形显示(例如，在视频的时间线上指示)在视频关键帧位置和/或关键帧部分中位于何处。附加地，可以用图形显示已经被缓冲的视频的哪些部分。视频回放模块412允许用户查找或者跳到视频的某些节段。在一个实施例中，视频回放模块412也实现视频中的向前和/或反向可变跳过。可变跳过允许客户端123的用户在选择无论哪个方向上跳到视频中的最近关键帧位置。基于拖动、指针、触摸或者点击的查找也可以“对齐”到关键帧位置或者在关键帧部分内的最近帧。在一个实施例中，这如果关键帧位置或者部分在选择的位置的阈值内则出现。这实现根据很可能让用户感兴趣的关键帧部分对在查找操作之后的回放位置的调整。这在由用户使用的查找方法具有如在一些触屏设备中常见的一些缺陷时特别地重要。在一个实施例中，已经缓冲了由视频回放模块412对齐到的视频部分，但是在其它实施例中，无论缓冲是否已经出现都可以基于兴趣水平信息对齐到视频部分。
在一个实施例中，视频回放模块412被配置为在光标沿着视频的时间线移动之时显示视频的缩略图。显示的缩略图对应于视频的在光标的在时间线上的位置附近的帧。在一个实施例中，显示的缩略图是与光标的在时间线上的当前位置最近的关键帧的缩略图或者部分地基于关键帧的位置。附加地或者备选地，当用户在时间线上点击以跳到视频的以缩略图为特征的节段时显示的缩略图可以影响视频中的关键帧的标识。跳到视频的由时间线中的缩略图指示的节段可以指示选择的视频节段让用户感兴趣。
用户访问模块监视客户端123或者客户端123的用户的动作并且将动作存储为访问数据。访问数据指示用户是否观看了整个视频、观看了用于特定持续时间的视频、跳到了视频中的位置、观看了视频的部分、跳过了视频，上滚或者下滚了包括视频的网页、与其他用户共享了视频、向播放列表添加了视频或者各种其它动作。在一个实施例中，向视频主控服务100传输存储的访问数据一用于存储在用户访问日志160中。在另一实施例中，视频主控服务100可以直接地确定由用户采取的动作而未显式标识和传输客户端123的动作。
图2是图示了用于用作根据一个实施例的视频主控服务器100或者客户端123的计算机200的示例的高级框图。图示了耦合到芯片组204的至少一个处理器202。芯片组204包括存储器控制器集线器220和输入/输出(I/O)控制器集线器222。存储器206和图形适配器212耦合到存储器控制器集线器220，并且显示设备218耦合到图形适配器212。存储设备208、键盘210、指点设备214和网络适配器216耦合到I/O控制器集线器222。计算机200的其它实施例具有不同架构。例如，存储器206在一些实施例中直接地耦合到处理器202。
存储设备208是非瞬态计算机可读存储介质，比如硬驱动、紧致盘只读存储器(CD-ROM)、DVD或者固态存储器设备。存储器206保持由处理器202使用的指令和数据。指点设备214与键盘210组合用来向计算机200中输入数据。图形适配器212在显示设备218上显示图像和其它信息。在一些实施例中，显示设备218包括用于接收用户输入和选择的触屏能力。网络适配器216将计算机系统200耦合到网络121。计算机200的一些实施例具有与图2中所示部件不同的或者其它的部件。例如，视频主控服务100可以由多个刀片服务器形成并且缺乏显示设备、键盘和其它部件。
计算机200被适配用于执行用于提供这里描述的功能的计算机程序模块。如这里所用，术语“模块”是指用来提供指定的功能的计算机程序指令和/或其它逻辑。因此，可以在硬件、固件或者软件中实施模块。在一个实施例中，由可执行计算机程序指令形成的程序模块被存储在存储设备208上、加载到存储器206中并且由处理器202执行。
图5是图示了根据一个实施例的标识和存储视频的关键帧的方法的流程图。尽管这一描述将方法的步骤归于关键帧模块130中的模块，但是其它实体可以在其它实施例中执行步骤中的一些或者所有步骤。附加地，方法可以按照不同顺序执行步骤或者包括不同步骤。
视频取回模块310从视频数据库155取回510视频并且从用户访问日志160取回用户访问历史。用于多个用户的访问历史然后由访问分析模块分析512以确定用于取回的视频的一个或者多个帧的访问兴趣水平。在一个实施例中，分析512可以被执行为进行中的过程或者实时出现而不是访问历史用户访问日志。视频的音频和可视内容由内容分析模块314分析514以标识视频的很可能让用户感兴趣的部分，并且为取回的视频的一个或者多个帧指派内容兴趣水平。兴趣水平模块316通过组合在步骤512和514中确定的访问兴趣水平和内容兴趣水平来确定516用于视频中的每个帧的总兴趣水平。对帧的总兴趣水平分组并且标识518关键帧信息。在关键帧数据库165中存储518关键帧位置和部分长度。
图6是图示了根据一个实施例的利用接收的关键帧标识以增强视频回放的方法的流程图。尽管这一描述将方法的步骤归于视频播放器125，但是其它实体可以在其它实施例中执行步骤中的一些或者所有步骤。附加地，方法可以按照不同顺序执行步骤或者包括不同步骤。
视频播放器125标识610用于从视频主控服务100用流传输的视频。从视频主控服务100或者从视频元数据取回612用于标识的视频的关键帧信息。向用户显示614可变倒回选项，从而允许用户在任一方向上跳到最近关键帧位置。视频播放器缓冲618视频。在已经充分地缓冲了视频以用于在当前位置处连续回放时，视频播放器125继续缓冲并且使由关键帧位置和部分长度标识的关键帧部分优先。缓冲关键帧部分的顺序可以根据关键帧位置的关键帧兴趣水平。
以上描述的一些章节在算法过程或者操作方面描述实施例。这些算法描述和表示常由数据处理领域技术人员用来向本领域其他技术人员有效地传达他们的工作实质的手段。这些操作在功能上、计算上或者逻辑上被描述之时被理解为由包括用于由处理器或者等效电路、微代码等执行的指令的计算机程序实施。另外，将这些功能操作布置称为模块也已经证实有时是便利的而不失一般性。可以在软件、固件、硬件或者其任何组合中体现描述的操作及其关联模块。
如这里所用，对“一个实施例”或者“一实施例”的任何引用意味着结合该实施例被描述的特定单元、特征、结构或者特性被包括在至少一个实施例中。短语“在一个实施例中”在说明书中的各处出现未必都是指相同实施例。
可以使用表达“耦合”和“连接”及其派生来描述一些实施例。应当理解，这些术语并未旨在于作为彼此的同义词。例如，可以使用术语“连接”来描述一些实施例以指示两个或者更多单元相互直接物理或者电接触。在另一示例中，可以使用术语“耦合”来描述一些实施例以指示两个或者更多单元直接物理或者电接触。然而，术语“耦合”也可以意味着两个或者更多单元未相互直接接触、但是仍然相互配合或者交互。实施例在本文中不受限制。
如这里所用，术语“包括”、“具有”或者其任何其它变化旨在于覆盖非穷举的包括。例如，包括要素列表的过程、方法、物品或者装置未必仅限于那些要素，而是可以包括未明确地列举的或者这样的过程、方法、物品或者装置固有的其它要素。另外，除非相反明示，“或者”指代包括意义的或者而不是穷举意义的或者。例如，以下各项中的任一项满足条件A或者B：A为真(或者存在)并且B为假(或者不存在)、A为假(或者不存在)并且B为真以及A和B均为真(或者存在)。
此外，运用对“一个/一种”的使用以描述这里的实施例的要素和部件。这样做仅为了方便并且给出了公开内容的一般意义。应当将这一描述解读为包括一个或者至少一个，并且单数除非明显的是另有含义则也包括多个。
在阅读本公开内容时，本领域技术人员将认识到用于如下系统和方法的更多附加备选结构和功能设计，该系统和方法用于生成和利用视频中的关键帧。因此，尽管已经图示和描述了特定实施例和应用，将理解，本发明不限于这里公开的精确构造和部件，并且可以在这里公开的方法和装置的布置、操作和细节上做出本领域技术人员将清楚的各种修改、改变和变化而未脱离在所附权利要求中定义的精神实质和范围。

Claims (22)

1.一种标识关键帧的计算机实施的方法，包括：
接收用于视频的用户访问数据；
为所述视频中的多个帧中的每个帧基于所述用户访问数据来确定访问兴趣水平；
分析所述视频的内容以确定用于所述视频中的所述多个帧中的每个帧的内容兴趣水平；
基于所述访问兴趣水平和内容兴趣水平来确定用于所述多个帧中的每个帧的总兴趣水平；
基于所述多个帧中的每个帧的所述兴趣水平来对所述多个帧分组以形成多个帧组；
标识与所述帧组中的每个帧组中的所述帧之一对应的多个关键帧位置；以及
在关键帧数据库中存储所述多个关键帧位置。
2.根据权利要求1所述的方法，其中分析所述视频的所述内容以确定内容兴趣水平包括使用声音识别来标识所述视频中的声音。
3.根据权利要求1所述的方法，其中分析所述视频的所述内容以确定内容兴趣水平包括使用图像识别来标识所述视频中的对象。
4.根据权利要求1所述的方法，其中确定所述访问兴趣水平包括标识积极用户动作和消极用户动作。
5.根据权利要求1所述的方法，其中关键帧位置的数量基于所述视频的长度。
6.根据权利要求1所述的方法，还包括：
确定用于每个关键帧位置的部分长度，所述部分长度和关键帧位置标识关键帧部分，所述关键帧部分标识多个帧。
7.根据权利要求6所述的方法，其中所述关键帧部分被客户端优先用于缓冲。
8.根据权利要求6所述的方法，还包括：
确定用于每个关键帧部分的关键帧部分兴趣水平，所述关键帧部分兴趣水平基于在每个关键帧部分中包括的所述帧的所述兴趣水平。
9.根据权利要求7所述的方法，其中所述关键帧部分至少基于所述关键帧部分兴趣水平而被优先用于缓冲。
10.根据权利要求7所述的方法，其中所述关键帧部分兴趣水平基于所述关键帧位置和在所述关键帧部分中的其它帧的所述总兴趣水平而被确定。
11.根据权利要求7所述的方法，其中缓冲的关键帧部分被边缘高速缓存到内容服务器以用于向后续客户端缓冲。
12.一种非瞬态计算机可读存储介质，具有在其中体现的用于标识关键帧位置的可执行计算机程序指令，所述指令包括用于以下操作的指令：
接收用于视频的用户访问数据；
为所述视频中的多个帧中的每个帧基于所述用户访问数据来确定访问兴趣水平；
分析所述视频的内容以确定用于所述视频中的所述多个帧中的每个帧的内容兴趣水平；
基于所述访问兴趣水平和内容兴趣水平来确定用于所述多个帧中的每个帧的总兴趣水平；
基于所述多个帧中的每个帧的所述兴趣水平来对所述多个帧分组以形成多个帧组；
标识与所述帧组中的每个帧组中的所述帧之一对应的多个关键帧位置；以及
在关键帧数据库中存储所述多个关键帧位置。
13.根据权利要求12所述的计算机可读存储介质，其中分析所述视频的所述内容以确定内容兴趣水平包括使用声音识别来标识所述视频中的声音。
14.根据权利要求12所述的计算机可读存储介质，其中分析所述视频的所述内容以确定内容兴趣水平包括使用图像识别来标识所述视频中的对象。
15.根据权利要求12所述的计算机可读存储介质，其中确定所述访问兴趣水平包括标识积极用户动作和消极用户动作。
16.根据权利要求11所述的方法，其中关键帧位置的数量基于所述视频的长度。
17.根据权利要求12所述的计算机可读存储介质，还包括用于以下操作的指令：
确定用于每个关键帧位置的部分长度，所述部分长度和关键帧位置标识关键帧部分，所述关键帧部分标识多个帧。
18.根据权利要求17所述的计算机可读存储介质，其中所述关键帧部分被客户端优先用于缓冲。
19.根据权利要求17所述的计算机可读存储介质，还包括用于以下操作的指令：
确定用于每个关键帧部分的关键帧部分兴趣水平，所述关键帧部分兴趣水平基于在每个关键帧部分中包括的所述帧的所述兴趣水平。
20.根据权利要求18所述的计算机可读存储介质，其中所述关键帧部分至少基于所述关键帧部分兴趣水平而被优先用于缓冲。
21.根据权利要求18所述的计算机可读存储介质，其中所述关键帧部分兴趣水平基于所述关键帧位置和在所述关键帧部分中的其它帧的所述总兴趣水平而被确定。
22.根据权利要求18所述的计算机可读存储介质，其中缓冲的关键帧部分被边缘高速缓存到内容服务器以用于向后续客户端缓冲。
CN201480014181.1A 2013-03-14 2014-03-14 确定视频中的兴趣水平 Pending CN105191331A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/830,941 US9307269B2 (en) 2013-03-14 2013-03-14 Determining interest levels in videos
US13/830,941 2013-03-14
PCT/US2014/026909 WO2014152066A1 (en) 2013-03-14 2014-03-14 Determining interest levels in videos

Publications (1)

Publication Number Publication Date
CN105191331A true CN105191331A (zh) 2015-12-23

Family

ID=51534835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480014181.1A Pending CN105191331A (zh) 2013-03-14 2014-03-14 确定视频中的兴趣水平

Country Status (4)

Country Link
US (2) US9307269B2 (zh)
EP (1) EP2974347A4 (zh)
CN (1) CN105191331A (zh)
WO (1) WO2014152066A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166817A (zh) * 2019-06-24 2019-08-23 北京奇艺世纪科技有限公司 一种数据缓存方法及相关设备
CN111601116A (zh) * 2020-05-15 2020-08-28 杨凯 基于大数据的直播视频广告插入方法及系统
CN115150657A (zh) * 2021-03-31 2022-10-04 腾讯科技（深圳）有限公司 多媒体播放方法、装置、终端及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US9769530B2 (en) * 2013-05-30 2017-09-19 Verizon and Redbox Digital Entertainment Services, LLC Video-on-demand content based channel surfing methods and systems
US10032477B2 (en) 2014-02-27 2018-07-24 Rovi Guides, Inc. Systems and methods for modifying a playlist of media assets based on user interactions with a playlist menu
US10121187B1 (en) * 2014-06-12 2018-11-06 Amazon Technologies, Inc. Generate a video of an item
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US20160127807A1 (en) * 2014-10-29 2016-05-05 EchoStar Technologies, L.L.C. Dynamically determined audiovisual content guidebook
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US10440076B2 (en) * 2015-03-10 2019-10-08 Mobitv, Inc. Media seek mechanisms
US10620810B2 (en) * 2015-05-15 2020-04-14 Spotify Ab Method and a system for performing scrubbing in a video stream
US9646655B2 (en) * 2015-08-31 2017-05-09 Fuji Xerox Co., Ltd. Systems and methods for interaction-based analysis and visualization of remote collaboration sessions
US9639560B1 (en) 2015-10-22 2017-05-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
US9652676B1 (en) * 2015-12-21 2017-05-16 International Business Machines Corporation Video personalizing system, method, and recording medium
US9787862B1 (en) 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
CN105589974B (zh) * 2016-02-04 2019-05-17 通号通信信息集团有限公司 基于Hadoop平台的监控视频检索方法和系统
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US10229719B1 (en) * 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
CN105959310B (zh) * 2016-07-01 2019-09-10 北京小米移动软件有限公司 帧定位方法和装置
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US11627350B2 (en) * 2016-12-30 2023-04-11 Tivo Solutions Inc. Advanced trick-play modes for streaming video
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10560508B2 (en) 2017-03-15 2020-02-11 International Business Machines Corporation Personalized video playback
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10063939B1 (en) 2017-04-26 2018-08-28 International Business Machines Corporation Intelligent replay of user specific interesting content during online video buffering
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US10511888B2 (en) 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
US10390110B2 (en) 2017-11-08 2019-08-20 Roku, Inc. Automatically and programmatically generating crowdsourced trailers
US10531138B2 (en) * 2017-11-08 2020-01-07 Roku, Inc. Automatically and programmatically generating scene change markers
TWI657697B (zh) 2017-12-08 2019-04-21 財團法人工業技術研究院 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
US11539992B2 (en) * 2018-02-28 2022-12-27 Google Llc Auto-adjust playback speed and contextual information
US11276433B2 (en) * 2020-06-10 2022-03-15 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
CN113011919B (zh) * 2021-03-10 2024-02-02 腾讯科技（深圳）有限公司 识别兴趣对象的方法及装置、推荐方法、介质、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
CN101588493A (zh) * 2008-05-23 2009-11-25 波尔图科技有限责任公司 流媒体适应性段预取的系统和方法
US20100077435A1 (en) * 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743347B2 (en) * 2001-11-19 2010-06-22 Ricoh Company, Ltd. Paper-based interface for specifying ranges
US6963378B2 (en) 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
US20040098744A1 (en) 2002-11-18 2004-05-20 Koninklijke Philips Electronics N.V. Creation of a stereotypical profile via image based clustering
US8392834B2 (en) * 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
US20070061195A1 (en) 2005-09-13 2007-03-15 Yahoo! Inc. Framework for selecting and delivering advertisements over a network based on combined short-term and long-term user behavioral interests
US8094997B2 (en) * 2006-06-28 2012-01-10 Cyberlink Corp. Systems and method for embedding scene processing information in a multimedia source using an importance value
US8307395B2 (en) 2008-04-22 2012-11-06 Porto Technology, Llc Publishing key frames of a video content item being viewed by a first user to one or more second users
US7603682B1 (en) * 2008-10-07 2009-10-13 International Business Machines Corporation Digest video browsing based on collaborative information
US8245249B2 (en) * 2009-10-09 2012-08-14 The Nielson Company (Us), Llc Methods and apparatus to adjust signature matching results for audience measurement
KR20110047768A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
US20130179931A1 (en) * 2010-11-02 2013-07-11 Daniel Osorio Processing, storing, and delivering digital content
TW201236444A (en) * 2010-12-22 2012-09-01 Seyyer Inc Video transmission and sharing over ultra-low bitrate wireless communication channel
US9615126B2 (en) * 2011-06-24 2017-04-04 Google Technology Holdings LLC Intelligent buffering of media streams delivered over internet
US9554184B2 (en) * 2012-12-04 2017-01-24 24/7 Customer, Inc. Method and apparatus for increasing user engagement with video advertisements and content by summarization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
CN101588493A (zh) * 2008-05-23 2009-11-25 波尔图科技有限责任公司 流媒体适应性段预取的系统和方法
US20100077435A1 (en) * 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166817A (zh) * 2019-06-24 2019-08-23 北京奇艺世纪科技有限公司 一种数据缓存方法及相关设备
CN111601116A (zh) * 2020-05-15 2020-08-28 杨凯 基于大数据的直播视频广告插入方法及系统
CN111601116B (zh) * 2020-05-15 2021-05-14 浙江盘石信息技术股份有限公司 基于大数据的直播视频广告插入方法及系统
CN115150657A (zh) * 2021-03-31 2022-10-04 腾讯科技（深圳）有限公司 多媒体播放方法、装置、终端及存储介质
WO2022206530A1 (zh) * 2021-03-31 2022-10-06 腾讯科技（深圳）有限公司 多媒体播放方法、装置、终端及存储介质
US11943510B2 (en) 2021-03-31 2024-03-26 Tencent Technology (Shenzhen) Company Ltd Multimedia playback method, apparatus, terminal, and storage medium
CN115150657B (zh) * 2021-03-31 2024-05-28 腾讯科技（深圳）有限公司 多媒体播放方法、装置、终端及存储介质

Also Published As

Publication number Publication date
US9307269B2 (en) 2016-04-05
WO2014152066A1 (en) 2014-09-25
US9973788B2 (en) 2018-05-15
EP2974347A1 (en) 2016-01-20
EP2974347A4 (en) 2016-10-26
US20140282661A1 (en) 2014-09-18
US20160182921A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
CN105191331A (zh) 确定视频中的兴趣水平
US11983389B2 (en) Adaptive background playback behavior
US11194882B1 (en) Behavior based optimization for content presentation
US10430452B2 (en) Adaptive music and video recommendations
CN109845278B (zh) 动态地修改用于变化数据的执行环境
US10261669B2 (en) Publishing electronic documents utilizing navigation information
US9355168B1 (en) Topic based user profiles
US10115433B2 (en) Section identification in video content
CN108012584B (zh) 提供适合于仅音频回放的视频内容的方法、系统和介质
CN104782138B (zh) 缩略图图像选择系统、方法及计算机可读介质
US9078036B2 (en) Mechanism to evaluate the geographic popularity of geographically-located user-generated content items
US9503500B2 (en) Systems and methods of classifying content items
US11089342B1 (en) Thumbnail of content video to provide context to ad video playback
US10321177B2 (en) Computer system and method for streaming video with dynamic user features
US20140289241A1 (en) Systems and methods for generating a media value metric
KR20190045372A (ko) 온라인 소셜 네트워크에서의 비디오 키프레임 디스플레이
JP6767499B2 (ja) モデルを使用したコンテンツ配信の最適化
US10083232B1 (en) Weighting user feedback events based on device context
CN106462878B (zh) 用于在媒体内容的后台呈现期间呈现广告的方法、系统和介质
US10609109B1 (en) Delivery of personalized digital content in real time
US10515399B1 (en) System, method and medium for utilizing current and historical device context information to determine content item recommendations
JP2019502180A (ja) デジタルコンテンツのバイアススクラッバー
JP6745404B2 (ja) コンテンツ提供方法を実行するために記録媒体に保存されたコンピュータプログラム、その方法及びその装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20151223

RJ01 Rejection of invention patent application after publication