CN110892728A - 包括增强元数据的视频内容图形 - Google Patents

包括增强元数据的视频内容图形 Download PDF

Info

Publication number
CN110892728A
CN110892728A CN201880046319.4A CN201880046319A CN110892728A CN 110892728 A CN110892728 A CN 110892728A CN 201880046319 A CN201880046319 A CN 201880046319A CN 110892728 A CN110892728 A CN 110892728A
Authority
CN
China
Prior art keywords
video
metadata
node
enhanced metadata
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880046319.4A
Other languages
English (en)
Other versions
CN110892728B (zh
Inventor
格雷戈里·约翰·贝林厄姆
威廉·A·麦克纳马拉
布朗东·C·富特旺勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Home Box Office Inc
Original Assignee
Home Box Office Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Home Box Office Inc filed Critical Home Box Office Inc
Publication of CN110892728A publication Critical patent/CN110892728A/zh
Application granted granted Critical
Publication of CN110892728B publication Critical patent/CN110892728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/10—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor having a sequence of storage locations each being individually accessible for both enqueue and dequeue operations, e.g. using random access memory
    • G06F5/12—Means for monitoring the fill level; Means for resolving contention, i.e. conflicts between simultaneous enqueue and dequeue operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

所描述的技术涉及向客户端设备发送与视频相关的元数据，例如，诸如隐藏流中的描述该视频的一部分的事件。在一个或更多个实现方式中，增强元数据包括用于构建关系图形的一部分的节点。这允许感兴趣客户端在特征回放和与元数据进行交互之间切换。此外，可以执行通过增强元数据的搜索以找到匹配的视频部分，并且可以通过访问增强元数据中的信息来组装一个或更多个视频的摘要或精彩场面。

Description

包括增强元数据的视频内容图形
相关申请的交叉引用
本主题申请要求于2017年5月30日提交的题为“VIDEO CONTENT GRAPH INCLUDINGENHANCED METADATA”的美国申请第15/608,530号的优先权，其全部内容通过引用并入本文中。
背景技术
客户端用户通常经由诸如数据项的菜单(例如，按钮、图块、图标和/或文本)的用户接口与信息交互，客户端用户可以通过该菜单做出期望的选择。例如，客户端用户可以观看包含数据项——表示由内容提供者提供的诸如电影或电视节目的视频内容——的可滚动菜单，并且与菜单项交互以选择用于观看的电影或电视节目。
通常，只有相对基本的信息对用户可用。例如，在视频选择相关的示例中，除了电影的标题之外，电影的关联数据可以(或者可以不)包括用户在决定是否选择内容来观看时可能希望具有的评级、表示电影的图像、情节摘要、主要演职人员和剧组信息等。
一些用户可能期望更多的信息，而不仅仅是为了做出选择决定。例如，虽然特定的每周电视连续剧的忠实粉丝可能无论如何都会选择并且观看下一集，但是他们还可能对诸如演员访谈、故事、关于实际影片场所的信息等附加内容感兴趣。然而，目前，这样的用户通常需要单独地浏览互联网以寻找他们希望从某个或某些其他第三方源可获得的内容。
发明内容
提供本发明内容是为了以简化的形式介绍一系列代表性构思，在下面的具体实施方式中进一步描述这些构思。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。
简言之，本文描述的技术的一个或更多个方面涉及使视频的各部分与增强元数据的子集关联，其中增强元数据的每个子集描述视频的对应部分中的至少一个动作。各方面包括：将视频流送至客户端设备；确定视频的哪个部分正在被流送；选择增强元数据的、与视频的正在被流送的部分对应的选定子集；以及将增强元数据的选定子集下载至客户端设备。
在结合附图考虑以下详细描述时，其他的优点可以变得明显。
附图说明
本文中描述的技术通过示例的方式示出并且不限于附图，在附图中相同的附图标记指示相同的元件，并且在附图中：
图1是根据一个或更多个示例实现方式的与数据服务通信以获得与图形节点对应的数据的客户端设备的示例框图表示，图形节点包括客户端用户可以与其交互的增强元数据节点。
图2是根据一个或更多个示例实现方式的包括增强元数据子图形的节点的示例客户端图形的一部分的表示。
图3是根据一个或更多个示例实现方式的包括示例增强元数据节点的示例客户端图形的一部分的表示。
图4是根据一个或更多个示例实现方式的可以在增强元数据节点内维护的一些示例信息的表示。
图5是根据一个或更多个示例实现方式的可以在增强元数据事件和子事件节点内维护的一些示例信息的表示。
图6是根据一个或更多个示例实现方式的用户接口的示例，用户可以与该用户接口交互以提交基于图形的请求，以便获得包括增强元数据的、用于选择的更多交互数据。
图7是根据一个或更多个示例实现方式的流式视频的一个或更多个部分可以如何使对应描述性增强元数据与其相关联的示例。
图8是根据一个或更多个示例实现方式的可以如何将增强元数据与视频(和音频)数据相关联地流送至客户端设备的示例表示。
图9是示出根据一个或更多个示例实现方式的可以由数据服务采取以流送视频和伴随的增强元数据的示例逻辑/步骤的流程图。
图10是示出根据一个或更多个示例实现方式的可以由客户端设备平台或其他软件采取以缓存增强元数据的示例逻辑/步骤的流程图。
图11是表示根据一个或更多个示例实现方式的、本文中描述的主题的各方面可以并入其中的示例计算环境的框图。
具体实施方式
本文描述的技术的各方面一般地涉及：维护用于客户端交互的各种数据，作为节点和边的图形；以及以用户可能期望的某种方式利用增强元数据来增强该图形。例如，一旦选择了一段视频内容(例如，电影或电视剧集(有时被称为特征)、记录片、用户上传的内容等)以供观看，则与该内容相关的增强元数据可以作为增强元数据节点集(一个或更多个节点)被下载至客户端设备以提供与该内容对应的增强的交互体验。作为更具体的示例，与视频内容的某个部分(例如，一系列帧)的实际视频帧(例如，浪漫插曲、打斗等)相关联的描述性信息可以具有与视频相关联地流送至客户端设备的一个或更多个增强元数据节点；一个或更多个这样的节点可以链接至其他信息节点，例如，在该视频部分中出现的演员的访谈、与该视频部分相关的真实或虚构地图、摄像装置剪辑数据等。这些其他信息节点可以链接至另外的其他节点，以此类推。因此，视频可以具有被维护作为增强交互元数据图形节点集的与其对应的数据，其中视频的任何部分通常具有对应的相关联的增强元数据图形节点子集，该子集还可以具有(经由节点边)到相关数据的链接。
在一个或更多个方面中，通过下载例如伴随选定视频的隐藏流中的元数据，使得诸如与视频内容相关的增强的附加量的数据对于客户端用户可用。这种伴随的增强元数据通常对应于视频内容，并且通常是由内容提供者支持和管理的信息，但是也可以从外部提供一些信息。隐藏的、通常与视频流并行的数据流避免了在视频可以被播放之前必须下载可能大量的数据——这可能延迟回放。隐藏流可以是单独的流，并且/或者伴随的分组报头数据等可以指定接收到的数据块是视频回放数据还是一些增强元数据。
以增强元数据的示例方式，一旦选择了特征，则除了实际视频之外，还可以下载与角色、事件、地图、民俗、背景故事等相关的更复杂且可能非特征性的元数据，而不是仅提供传统的元数据(例如，标题、图像URL、评级、信用等)来选择特征。这允许感兴趣客户端探索更多的信息，以及播放视频并且在以常规回放模式观看视频回放和与元数据进行交互之间切换。例如，特定剧集的观看者可以进行交互以暂停回放并且观看相关场景地点的地图，查看当前场景中的特定演员处于什么样的其他特征，等等。替选地，观看者可以(至少暂时地)将观看屏幕的部分专用于增强元数据的可见表示以及/或者利用增强元数据的可见表示覆盖观看屏幕的部分，以便在观看增强内容的同时观看回放。
此外，即使没有选择某段内容和/或对增强元数据的任何并行(或预)下载，也可以允许观看者在数据服务中搜索与数据服务的整体可用内容的某个子集相关的增强元数据。例如，观看者可以指示特定连续剧，并且搜索该连续剧的角色X参与剑战的剧集、场景、剪辑和/或事件(例如，在剪辑内)。通过这种搜索，观看者可以获得对该角色的剑战事件的编制，例如，可以经由交互列表单独选择的相关视频部分或者更直接地编制成连续视频流以便一起观看其全部(或者观看其中的某个进一步缩小的子集)的视频部分。注意，如本文中所使用的，可以以任意数目的方式(包括任意方式)来划分视频内容，并且涉及这样的视频内容划分的术语(例如，“章节”、“场景”、“剪辑”、“事件”等)在本文中仅以一般意义使用，并且不旨在精确地传达有时在电影制作领域中使用的任何严格的定义。
在一个示例实现方式中，可以通过使每个事件(或一些事件)包括利用信息标记或链接至描述该事件的其他信息的增强元数据节点来实现丰富搜索。注意，本文中使用的“事件”通常是视频内容的相对精细的粒度级别；例如，剪辑可以由一个或更多个事件组成，场景由一个或更多个剪辑组成，以此类推直到某个更高的级别，例如连续剧的一季的剧集、整个连续剧本身、电影章节、整个电影、包含该电影以及类似电影的流派，以此类推直到数据服务的可用内容的全集。尽管如此，可行的是，在事件内具有子事件，在事件中具有多个剪辑等，甚至具有比子事件更细粒度的内容，例如，向下至其单个视频帧或图像。
在一个或更多个实现方式中，视频部分(例如，事件)描述可以通常利用名词和动词来描述；例如，连续剧Z、第2季、第6集、场景8、剪辑3、事件2：[角色＝A，角色＝B，场所＝城堡…，动作＝争论，动作＝打斗，动作＝剑战，动作＝刺…]。名词和动词可以具有有限的词汇表，其中经由同义词词典(thesaurus)、词典等将大量搜索项映射到词汇表。名词可以被绑定至动词，使得搜索结果更准确；通过使用上述示例，角色X、Y和Z可能出现在角色X和Y参与剑战但是角色Z未参与剑战的事件中，并且因此如果针对角色X和Y的名词被绑定至动词剑战而针对角色Z的名词未被绑定至动词剑战，则利用角色Z的剑战对事件的搜索不会返回该事件。还可以使用形容词和/或副词，例如[“大声的”对话，“血腥的”打斗等]。
场景剪辑和/或事件通常具有相关联的场所，但可能不具有相关联的角色；例如，暴风雨的海洋场景可能预示着前方会有麻烦，可能但并非一定针对一个或更多个隐含的角色。与场所一起，场景剪辑和/或事件通常具有相关联的动作，即使节点的识别的动作是“静止”、“摄像装置摇摄”、“摄像装置缩放”等；例如，场景可以示出很少或没有运动发生的平和牧场。
注意，虽然分层布置的数据结构可以提供一些类似的增强元数据并且因此是一种可能的实现方式，但是图形通常通过允许任何节点链接至任何其他节点来允许更多的灵活性，并且因此提供对更大量的信息的访问。例如，数据服务可以将任何元数据节点链接至表示内容或增强内容——包括通过内容提供者(其与独立的第三方源相反，但也可能与第三方源结合或者例如在第三方信息可靠且被良好支持的情况下可能独立)可获得并且支持的内容——的任何其他节点。作为更具体的示例，内容提供者可以提供下述增强内容，该增强内容允许观看从多个不同的摄像装置剪辑捕获的相同场景、被拍摄但从公开发布版本中去除的场景、替选场景、在一个国家发布但在另一个国家未发布的场景等。可以实现这一点的一种方式是具有针对内容的同一部分的替换元数据节点(例如，摄像装置1事件节点和摄像装置2事件节点)。可以例如经由快乐结局场景元数据节点中的信息与悲伤结局场景元数据节点中的信息，使用户能够选择替选场景、剪辑和/或事件(例如，电影的不同结局)。通过参考包含该场景、剪辑或事件的信息的不同元数据节点中的信息，可以使用相对于观看者的年龄或偏好信息的评级等来自动选择场景、剪辑或事件而不是另一个场景、剪辑或事件。
利用增强元数据，观看者可以选择仅观看剧集的精彩场面/摘要，例如由导演选择的或者可能由其他观看者以某种方式选择的精彩场面/摘要，包括具有类似简况/人口统计的精彩场面/摘要。例如，对于流式视频，存在内容提供者已知的一定量的观看者信息，例如章节选择、倒回和快进数据、先前搜索等以及诸如社交媒体输入的外部信息。观看者的行为和反馈通常是可用的，其可以用于确定其他观看者认为对于剧集的精彩场面最重要的内容。
应当理解，本文中的任何示例都是非限制性的。例如，一些示例涉及与从传送电影、电视节目、纪录片等的流服务中对视频内容(包括音频)的客户端选择/搜索有关的元数据。然而，本文描述的技术独立于任何特定类型的内容或元数据，并且还独立于将这样的元数据呈现为对象的可视表示等的任何特定用户接口。因此，本文中描述的任何实施方式、方面、概念、结构、功能或示例都是非限制性的，并且可以以通常提供数据通信和数据处理方面的益处和优点的各种方式使用该技术。
在一个或更多个实现方式中，由每个客户端构建节点的图形，其中每个图形节点表示经由数据服务可用的底层数据的一部分；(如本文所使用的，“图形”由节点之间的关系形成，而不管是否可视地表示为节点和边)。针对给定客户端的节点的集合包括当前与该客户端相关的可用数据服务的数据的子集，例如客户端用户接口显示的节点以及通常当前未显示的一些缓存的节点和可能无法显示但维护用于其他节点的数据的节点。
因此，基于用户交互以及自动化处理，使用相关节点的图形，客户端软件平台会根据需要请求一个或更多个图形节点以获得其数据。客户端请求可以是针对数据服务(例如，经由互联网耦接至客户端的客户端接口前端数据服务)的请求处理部分。前端数据服务解释每个请求并且利用请求的数据作出响应，在一个或更多个实现方式中，所请求的数据可以从前端缓存或经由后端数据服务(包括从后端缓存和/或后备数据源)来获得。以这种方式，客户端软件根据需要构建客户端图形的相关部分，这通常在资源使用和获得快速响应方面是高效的。注意，图形节点可以在客户端处被缓存，由此当需要数据时，客户端平台首先可以尝试使用客户端缓存的数据，而不向数据服务的请求处理部分提出请求。
图1是表示可以用于处理对包括增强元数据节点的图形节点的客户端请求以形成客户端图形的示例部件的框图。通常，客户端图形包括表示用户接口的某一交互部分的用户接口节点的集合，例如，表示根(主)菜单、流派菜单、电视剧菜单等的节点。客户端设备可以至少在存储器允许时缓存当前未被用于表示交互内容的节点。例如，具有对应的流派节点的“流派”菜单可以包含“喜剧”交互元素(具有对应的喜剧节点)以及其他交互元素；如果用户导航到“喜剧”菜单，然后返回到“流派”菜单，则可以缓存流派菜单和流派菜单的其他子节点，以避免在用户在菜单之间导航时重新下载它们。
然而，注意，此时不需要下载增强元数据节点(尽管可能存在例外，例如对于非常流行的节目或者基于先前的用户行为)。相反，与流式视频内容类似，当针对选定特征节点等选择回放时或者响应于用户搜索或其他特定请求，下载增强元数据节点。
如图1中所例示的，客户端设备102运行客户端平台软件104，该客户端平台软件104从数据服务110接收图形节点106，包括经由图形相关请求108来接收。注意，客户端设备102最初——例如，当客户端设备102的客户端用户利用数据服务110进行认证时——可以自动地接收与类型化节点对应的一个或更多个起始节点。例如，当用户在客户端设备102上登录时，客户端设备102可以接收客户端平台软件104在成功认证时期望的用户图形节点、根图形节点等。以这种方式，客户端平台104可以通过利用通过其用户可以导航至其他位置的按钮、图标、图块等呈现基于根节点的根菜单等(例如主/根菜单)来呈现初始用户接口元素。注意，因为在一个或更多个实现方式中根图形节点是针对交互用户接口112的起始点，因此除根图形节点之外，由根图形节点所引用的一个或更多个节点可以被预先自动传送给客户端。然而，注意，这仅是一个可能的优化，并且替选地，客户端设备可以被配置成请求任何需要的数据，包括启动时的根图形节点以及作为根图形节点的子节点的节点等。
在一个或更多个实现方式中，客户端软件程序的UI元素等可以向客户端平台(例如，在数据服务级别)请求数据项，而不需要知道节点或者知道底层数据如何被维护、组织、检索等。例如，表示电视节目的图块对象可以以简单的方式向客户端平台软件发送针对与标题ID(其在一个或更多个实现方式中也是图形节点ID)对应的标题的请求，并且取回标题。可以理解的是，在UI级别之下，客户端平台软件从与该ID对应的(特征类型)图形节点获得标题；如本文中所述，图形节点数据可以从客户端缓存获得，但是如果没有被缓存，则通过从数据服务请求图形节点来获得。
如以上所述，每个节点可以引用形成图形114(例如，通常被保持在客户端缓存116或其他合适的数据存储装置中)的一个或更多个其他节点。例如当节点被呈现为交互用户接口112上的对象的可见表示时，客户端图形114根据需要通过获得用于这些其他节点的数据来被构建。图形节点数据的示例可见表示可以包括菜单、图块、图标、按钮、文本等。注意，在一个或更多个节点(例如基于很快被需要的统计可能性)实际需要之前预先缓存所述一个或更多个节点是可行的；例如，当节点XYZ被下载时，也得到节点EFG，这是因为得到节点XYZ的许多用户接下来倾向于想要节点EFG。
此外，如将理解的，某些图形节点(通常是增强元数据图形节点)可以结合视频内容被自动地流送至客户端设备102。例如，视频内容的某个部分(例如，某个场景)可以具有增强元数据图形节点，所述增强元数据图形节点描述被自动流送至客户端设备102以包括在其图形中的特定部分。这允许客户端用户切换到以某种方式和与视频部分相关的增强元数据图形节点交互，而不必按需请求那些增强元数据图形节点；那些增强元数据图形节点有利地已经存在于客户端设备图形114/缓存116中以用于高效的用户交互。
通常，客户端图形114包括从数据服务110可获得的整体数据的客户端相关子集；(数据服务处的可获得数据可以被视为整体虚拟图形，而不管实际上如何维护)。因为在客户端平台104中底层数据形成客户端图形114，客户端图形114的至少一部分可以被表示为用户接口112上的元素，因此用户可以进行交互以接收(例如，流式视频服务的)数据服务110已决定使其可用的针对任何关系的数据，所述任何关系包括非常不同种类的数据之间的关系和/或对于某些用户可以看起来不相关的关系。随着时间的消逝，数据服务110可以根据期望来添加、去除或改变这样的引用，例如，以基于用户反馈和/或随着新的节点和/或图形节点类型变得可用而链接在新的关系中。
为了获得节点106，客户端平台104例如经由客户端接口前端数据服务118、通过诸如互联网120的网络与数据服务110对接。可以存在可以针对设备和/或平台软件版本定制的应用编程接口(API)122，以允许各种类型的客户端设备和/或各种软件平台版本经由两个实体都理解的协议与前端数据服务118通信。
前端数据服务118可以包括以由客户端平台软件104期望的方式返回所请求的节点106的多个负荷平衡的物理和/或虚拟服务器(未单独示出)。对图形节点的请求中的一些可以与客户端平台软件104在单个图形节点中期望的多个子请求对应；例如，对表示特征(电影)的图块图形节点的请求可以与对标题(呈文本形式)、诸如URL的图像引用、评级、情节摘要等的子请求对应。对用户的“观看列表”的请求可以与对多个图块的子请求对应。数据服务110基于每个图形节点的类型来理解如何根据需要从可能的各种源获得数据子部分并且将数据子部分组装成单个图形节点以响应对图形节点的客户端请求。
对应的图形节点可以被包含在一个或更多个前端缓存124中，这允许来自多个客户端的相似的请求被高效地满足。例如，每个负荷平衡的服务器可以具有包含频繁或最近请求的数据的内存缓存，并且/或者可以存在由前端服务器共享的一个或更多个前端缓存。通常将数据缓存为完整的图形节点(例如，与来自多个子请求的数据对应的图块)，但是可行的是，将至少一些数据缓存在子部分中，这些子部分被聚合以提供完整图形节点。
一些或全部请求的数据可以不被缓存(或可以被缓存但是已过期)在(一个或更多个)前端缓存124中。对于这样的需要的数据，在一个或更多个实现方式中，前端数据服务118被耦接(例如，经由网络126，其可以包括内联网和/或互联网)以向后端数据服务132提出对数据130的请求128。
后端数据服务132类似地可以包括以由前端数据服务118期望的方式返回请求的数据的多个负荷平衡的物理和/或虚拟服务器(未单独示出)。请求的数据可以被包含在一个或更多个后端数据缓存134中。例如，每个负荷平衡的后端服务器可以具有包含所请求的数据的内存缓存，并且/或者可以存在由后端服务器共享的一个或更多个后端缓存。
对于到达后端数据服务132但是不能从任何后端缓存134满足的请求，后端数据服务132进一步被耦接(例如，经由内联网和/或互联网120)以向一个或更多个各种后备数据源140(1)至140(n)发送对数据138的请求136。这样的数据源140(1)至140(n)的非限制性示例可以包括可以实际上以任何合适的格式保持数据的键值存储、关系数据库、文件服务器等。针对图形节点数据的客户端请求可以与多个子请求对应，并且这些子请求可以去往后备数据源；数据服务110被配置成根据需要以适当格式向不同的后备数据源140(1)至140(n)提出对数据的请求。此外，一个数据存储装置的数据可以覆盖另一数据存储装置的数据；例如，用于电视节目的数据可以包括从一个数据存储装置获得的通用图像URL，然而类“编辑”数据存储装置可以利用例如用于一些非特征性剧集的不同的图像覆盖该通用图像。注意，在一个或更多个实现方式中，非缓存数据源140(1)至140(n)可以使用实现公共缓存接口的封装器，由此从后端数据服务132的角度来看，可以像另一缓存一样对待每个远程数据源140(1)至140(n)。
图2示出了包含根菜单节点222和用户节点223的简化的用户接口图形220示例的概念。根菜单节点222具有一些例示的子节点224至226，并且用户菜单节点(例如，作为用户指定的收藏夹)耦接至也是连续剧菜单226的子节点的连续剧节点235。例如，当被呈现在显示屏上时，每个节点可以可视地表示为菜单、菜单项、图像、文本、视频等。
子节点224至226又可以具有子节点，例如流派菜单224的分别与动作、浪漫和喜剧节点对应的子节点230至232以及连续剧菜单226的“连续剧”子节点234和235。如图2所示，通常的连续剧菜单节点具有一个或更多个“季”子节点，例如节点237和238，其中每个季子节点具有“剧集”子节点，例如与该季的剧集对应的节点242和243。注意，在图2中，为了更清楚地说明，省略了一些子节点(例如，用于动作流派、连续剧Z、连续剧Y/季1的子节点)等。
最终通过遍历该图形(例如，通过子菜单的用户选择)，到达以下菜单节点，该菜单节点具有包含可播放内容项(例如，例如表示可用于回放的电影的可选择菜单项)的信息的节点。例如，节点240表示图2中的某个电影“X”。还可以响应于搜索查询来返回可选择项。
在图2的示例中，节点240链接至回放节点250和增强元数据节点252。选择节点250引起回放视频内容(框260)，而如果增强元数据节点252可用，则选择增强元数据节点252允许用户导航到增强元数据图形262中并且在该增强元数据图形262内导航。注意，如本文所述，用于播放视频内容的用户选择也可以自动地触发增强元数据图形262的至少一部分的并行或通常并行的下载。
图3示出了剧集的示例部分图形表示330，其中剧集由节点332表示。关于如何播放剧集视频的信息(例如，视频播放器所需的任何信息，例如可以对应于图2中的回放节点250的在何处恢复已经开始的视频的回放)可以存在于节点334中。注意，这样的信息不需要作为图形中的节点来维护，而是在该示例中存在于节点334中。
图3中还示出了增强元数据图形，在该示例中增强元数据图形具有包括时间线节点336的最顶层节点，该时间线节点336是场景节点(在该示例中为三个)338至340的父节点。例如，时间线节点可以跟踪场景的顺序以及诸如每个场景内的剪辑的可能的进一步信息等。对于任何内容片段，例如通常对于电影(并且有时对于剧集)，取决于编剧/导演/编辑想如何划分内容的部分，章节节点等可以存在于场景节点之上(或代替场景节点)。
在图3的示例图形330中是场景节点338至340。由节点338表示的场景1被划分成由子节点341至343表示的三个剪辑。场景2和场景3均可以具有一个或更多个类似的“剪辑”节点。应当注意，相同的事件节点可以(经由边参考数据)绑定至多个剪辑节点，例如，剪辑2节点342和剪辑3节点343均链接至事件1节点E1；(这是图形可能比分级结构更有利的另一个原因)。替选地，事件节点(例如，E4)可以是多个剪辑节点(例如，C4和C5)的父节点，并且例如，事件节点可以是场景节点的直系子节点(例如，事件4节点E4是场景3节点340的子节点)。例如，诸如角色之间的对话的单个事件可以由示出一个角色的一个剪辑和示出另一角色的另一剪辑以及示出两个角色的可能又一剪辑等组成。如果在任何节点中维护对应的帧数据，则对应的帧数据可以是不连续帧的集合。为了避免太多的复杂性，如果需要，则可以使用实际上包含相同冗余数据的单独的不同的节点。
在图3的示例中，例示了剪辑3(节点343)具有三个不同的事件节点E1至E3。因此，例如，如果剧集讲述在虚构世界中发生的故事，则场景1可以在一个王国中，场景1的剪辑3可以在宫殿中，其中诸如角色入场(事件1)、角色之间的争论(事件2)和打斗(事件3)的事件由该剪辑内的单独节点表示。可以容易地理解，场景和剪辑通常在拍摄期间已经由例如导演/编辑决定，并且因此在增强元数据图形中具有表示每个场景及其一个或更多个剪辑的节点通常相对简单地实现。剪辑内的不同事件(如果有的话)可以以某种其他方式来决定，例如由想要将剪辑分割成特定片段(例如，本文所例示的不同动作(进场、争论、打斗))的内容提供者雇员的团队来决定。如将理解的，在需要时，将剪辑节点(或可能的场景节点)进一步划分成事件节点有利于丰富的、更精确定位的搜索、更不同的视频摘要、到其他相关内容的更准确链接等。
例如，事件节点可以包括关于事件的特定信息，其包括出现哪个角色或哪些角色、事件在哪里发生以及事件中发生了什么。如上所述，名词和动词可以描述事件的这些方面。
注意，如本文中所述，增强元数据节点是可搜索的，因此可能需要搜索引擎所理解的一些约定。例如，为了使搜索引擎遍历每个可能相关的节点，任何内容片段可能需要由至少单个章节节点来表示，该章节节点具有作为至少一个单个剪辑节点的父节点的至少单个子场景节点，以此类推向下至最低级别的节点。替选地，可以使用其中搜索引擎知道以最顶层节点开始并跟随仅需要的子节点的约定；因此，如果需要，则少至单个节点可以包含整个内容片段的信息，其中在章节、场景、剪辑和该剪辑内的事件之间没有基于节点的区分，这可能适合于非常短的视频。
图4示出了剪辑节点440的示例，剪辑节点440包括经由标识那些事件节点的边数据作为其子节点中的两个的事件节点442和443。事件节点442和443还被示出为具有到演员节点445至447和地图节点449的边以及到其他节点的可能许多其他边。注意，尽管在图4的简化示例中未明确示出，但是一个或更多个实现方式中的边相关数据可以包括指定任何特定关系的信息，例如，节点440可以包括其为节点442的父节点的信息；类似地，节点442可以包括其为节点440的子节点的信息。
节点的相关子集包含与当前选择的视频相关和/或与连接的内容集合(例如，可以搜索到的剧集或电影的集合)相关的各种数据。因此，在图4的示例中，可以看到，由节点440表示的在该示例中标识为www的某个剪辑中具有三个事件ggg、zzz和aaaa，包括在图4中由节点442和443可见地表示其数据的事件zzz和aaaa。可以搜索事件节点中的名词和动词，或者与事件节点中的名词和动词交互，和/或可以跟随边以从其他节点获得信息。
注意，在图4的简化示例中，名词没有明确地与动词联系起来。然而，通过将名词分组给动词来将名词与动词联系起来是简单的，例如包括布尔运算符连接关系，例如[动作＝打斗OR剑战]AND[角色＝Joe OR角色＝Moe OR场所＝宫殿OR子场所＝楼梯]。一些运算符可以是隐式的而不是显式的。
可以容易地理解，可以使用代码，而非包含实际的人类可读名词和动词的节点；例如，如同每个角色一样，术语“打斗”可以被赋予在数据服务内唯一的某个字母/数字代码。这有利于将节点的数据绑定至不同语言的词典等。类似地，可以区分具有完全相同姓名的两个角色或演员，同样可以区分具有相同名称的两个电影(原版的与改编的)、具有相同名称的两个场所等。因此，如本文所使用的，节点的信息中维护的任何内容(例如，名词、动词、副词、形容词、某些动作、场所、演员、标题、角色等)可以是实际文本或映射到可以从其获得适当文本/图形/音频/图像数据/视频的适当数据集的代码等。
尽管图4中未示出，但是可以在事件节点中存在对捕获的视频事件的简要描述；例如对于节点443：
“Joe和Moe在宫殿宴会厅中被介绍并且发生争论之后，进入了沿着宫殿楼梯向下的剑战。”
代替直接包括描述，这样的描述可以从对另一数据集的参考(例如，到与观看者的偏好语言匹配的音频和/或文本的数据存储装置的URL)中获得。
利用这样的信息，增强元数据图形允许用户查看重要的、丰富的信息，并且还有利于丰富的、更精确定位的搜索。考虑到当代对内容的搜索通常受限于通过标题、演员、流派和其他非常高级的信息来搜索。例如，“Game of
Figure BDA0002362516360000131
(权力的游戏)”(
Figure BDA0002362516360000132
电视剧)的观看者可能想要搜索以找到“君临城(King's Landing)”(Game of
Figure BDA0002362516360000133
中的虚构的首都)中的所有场景。目前，使用传统的元数据，只有当“君临城”碰巧在剧集的标题中时，用户才可以取回某个或某些剧集的集合。
相比之下，利用增强元数据图形，观看者可以请求搜索引擎找到在特定增强元数据节点(例如，图4的示例中的事件节点)处描述的内容下面的内容。利用增强元数据图形，用户可以例如指定要搜索的内容的任何集合的范围，例如整个连续剧、该连续剧内的季、特定剧集或剧集的子集(例如，第一季和第二季中的所有剧集等)。一旦确定了搜索范围，搜索可以向下到达任何适当的级别，例如事件级别，例如，找到特定角色X出现在“君临城”中的所有事件。为此，可以例如在包括增强元数据图形的数据服务的图形中的每个剧集链接的节点上进行搜索，以关于搜索查询确定在该剧集内是否发生相关的场景、剪辑和/或事件。
因此，通过使用上述示例，用户可以在整个连续剧的剧集或一季(或季的子集)的剧集中、或在单个剧集内关于角色X是否出现进行搜索。如本文中所述，观看者可以进一步缩小这样的搜索，例如，以找到角色X执行了某个动作(例如，参与打斗)的场景。如果用适当的元数据填充(或链接至适当的元数据)，则增强元数据图形中的元数据可以回答这样的查询，并且提供例如角色X参与打斗的每个剧集ID、每个这样的事件的场景编号、剪辑编号和准确帧范围的信息。另一示例搜索可以是搜索其中某位著名演员W骑马(与搜索范围内的请求的准则匹配的演员和动作)的流派为“西部”的所有电影(搜索范围)。
转到另一方面，除了用户指定的搜索准则之外，可以通过基于增强元数据图形中的信息自动地找到和生成/编制相关视频内容来为观看者将剧集(或多个剧集)的精彩场面/摘要放在一起。可以通过自动搜索增强元数据图形节点以根据每个用户的选择、陈述的偏好、其他观看者的反馈、内容提供者团队的偏好(例如，通过标记他们认为重要的事件)等选择内容来组装摘要。例如，事件节点的数据可以包含“摘要”是或否标记，由此剧集摘要可以经由包含设置为是的标记的事件来组装，例如：[场景1，剪辑2，事件3；场景2，事件8，剪辑3和4；…]。
代替标记，一些“被认为”的摘要/精彩场面重要性值(例如，从一至十的范围)可以被包括在每个事件节点(或其他节点)的元数据内，使得用户可以得到某个用户指定的阈值以上的事件的子集；(代替在节点内维护标记或重要性值，这样的数据可以以其他方式与节点相关联，例如经由单独的数据库)。在图4中，经由包含重要性值＝2的事件442的数据以及包含重要性值＝7的事件443的数据，例示了节点包含的重要性值。重申一下，这样的值可以以任何方式或组合数目的方式来确定，例如，由内容提供者(作者、导演、编辑团队等)来设置，通过用户偏好数据(“精彩场面打斗和战斗”)、搜集的用户历史(用户经常倒回打斗事件)、其他用户动作(许多用户已经请求重放该事件，这些用户可能是与当前观看者具有类似的人口统计的用户)等来设置。诸如当日时间、星期几、观看者的人口统计、评级、当前新闻事件、社交媒体内容等的状态数据也可以用于替换或补充用于确定任何节点等的这样的重要性值的其他方式。可以存在多于一个这样的值，例如基于用户的精彩场面重要性值、数据服务指定的摘要重要性值等。
关于生成摘要，例如，一旦为要概括的事件的相关集合确定了值集合，则使用这样的摘要值的另一种方式是基于用户想要花费多少时间观看摘要而自动提供摘要。例如，用户可以请求最重要事件的非常快(大约两分钟)的摘要，并且数据服务可以计算近似满足期望时间的重要性阈值，例如，仅摘要值为九和十的事件；如果用户请求五分钟，则仅摘要值在七以上的事件等，对于值为六的事件可能进行一些随机或基于时间的选择，以便更好地近似所请求的时间。替选地，独立于实际时间，可以基于重要性值来组装诸如主要、中等和次要摘要的一些其他选择准则；例如，主要摘要选择了具有八至十的值的事件，中等摘要选择了具有五至十的值的事件，次要摘要选择了值从三至十的事件。可以使用任何其他方式来使用这些值或标记以做出包括决定。
注意，在对事件进行选择和排序时，摘要/精彩场面视频的自动选择可以遵循其所需的任何规则(可能受观看者输入的约束)，并且例如不需要遵循内容的原始时间线。例如，一个角色(或地点)的重要场景可以是摘要的部分A，后面是作为部分B的另一个角色(或地点)的重要场景，即使在实际剧集中摘要的部分B的一些场景、剪辑或事件在部分A的一些场景、剪辑或事件之前。
转到另一方面，图5是事件552可以如何被分成多个子事件的表示；示出了标记为554和555的两个子事件。在图5的示例中，考虑用两个不同的摄像装置(例如，相对于角色，一个在头顶上方，一个在眼睛高度)拍摄相同的事件。因此，对于该事件存在两个(或更多个)不同的视频帧集合，每个视频帧集合由子事件节点554或555表示。用户偏好或一些其他选择数据(例如，诸如当日时间、最后显示的摄像装置的相对摄像装置角度等的状态数据)可以用于在它们之间进行选择和/或覆盖导演的默认选择。
以类似的方式，代替从不同的摄像装置角度提供相同的内容，子事件可以针对给定事件提供要显示的完全不同的内容。例如，对于电影，一个观看者可能得到快乐结局，另一个观看者可能得到悲伤结局，而又一个观看者可能得到没有答案的结局。这三个结局中的每一个可以具有其在增强元数据图形中的不同子事件节点中标识的相关帧。相对于场景/剪辑/事件评级的用户年龄可以用于在不同内容之间选择。
在该示例中，为了在子事件中进行选择，当到达实际视频数据需要被插入缓存器中或者从缓存器取出以进行回放的点时，数据服务可以参考增强元数据图形来选择使用哪个实际视频数据(例如，帧)。该决定可以在客户端侧在下载替换视频流之后，或者可以在服务器侧通过在发送之前选择一个流或另一个流来进行。包括经由一个或更多个缓存器的替换内容选择的概念在标题为“STREAMING MEDIA STATE MACHINE”的美国专利申请序列号15/135,783中描述，该申请被转让给本申请的受让人，并且其全部内容通过引用并入本文中。
可以容易地理解，图5中描绘的子事件554和555包含如图4中的事件节点442和443中的一些所包含的冗余信息。如果这样的冗余信息在父节点的子节点中一致，则这样的冗余信息可以用父节点中的该信息的单个实例来替换，其中子节点有效地继承父节点的信息以用于搜索和区别于其他节点的目的。尽管这可能使遍历图形(例如，用于搜索)复杂化，因为搜索机制等必须可能遍历不同级别的节点以找到可能共同继承的数据，但是在某些情况下，这可以显著减少图形或部分图形中的总数据量。
转到另一方面，增强元数据图形不限于特定连续剧、季或剧集(或电影、或电影章节等)的对应元数据。如图3中一般地(并且经由图4中的边数据)表示的，增强元数据图形(以及常规客户端图形)的任何节点可以根据需要由数据服务链接至可以从数据服务获得的任何其他节点。这允许将诸如包括演员的真实世界实体、实际拍摄场所(虚构的王国可以经由增强元数据图形链接至拍摄该虚构的王国的欧洲的实际场所)、实际摄像装置等的概念与诸如角色、虚构的地点、虚构的地图、视点(头顶上方的摄像装置角度与面向前方的摄像装置角度)等虚构的实体绑定在一起。因此，例如，和与任何适当节点的数据的交互对应的观看者选择可以链接至演员的真实姓名或艺名，从一个连续剧中的演员的角色链接至另一世界(例如，连续剧或电影)中的相同演员的角色，等等。当存在这样的边时，用户可以经由该图形查看关于拍摄场景、剪辑和/或事件的实际场所(例如，地图、照片等)的信息；然后，用户可以返回到原始视频，或者选择在更多增强元数据之间导航、开始新视频(原始视频的摘要、完全不同的视频、完全不同的视频的摘要)等。
更进一步，增强元数据图形允许虚构世界之间的交叉。例如，基于漫画书角色的电影有时包含另一个虚构世界的角色的一个或更多个配角或“客串明星”出现。节点之间的边可以对这种交叉出现建模。类似地，诸如医疗、警察和消防剧的电视节目有时使角色交叉到彼此的剧集中，例如，从警察剧获知的受伤警察角色在医疗剧中客串相同的角色。通过简单地提供连接元数据中的节点的适当边，增强元数据图形能够向用户提供在每个这样的虚构世界中的大量期望信息以及真实世界中的信息中导航的简单方式。注意，如果数据服务使得这样的信息/内容经由到增强元数据图形的链接可用，则用户可以获得从公开发布的版本编辑出的内容的信息(并且可能观看内容)。可行的是，当在客户端的图形中包括定制数据(包括到其他节点的边)时，用户经由用户工具等来定制一些节点。
总之，用户可以以多种方式与增强元数据图形交互。本文中描述的一种方式是基于准则选择的节点经由摘要/精彩场面视频来交互。另一种方式是通过例如经由自由格式文本搜索或在帮助下(例如来自有效搜索项的下拉菜单等)进行搜索。搜索的范围/起始点可以由用户选择，例如从图形中的最顶层的(例如，根或用户)菜单到根菜单下面的任何级别。
又一可能类型的用户交互是与元数据图形节点/其中的数据的(至少一些)的呈现的可见表示的用户交互。图6示出了各种菜单对象660(a)至660(d)的假设用户接口，这些假设用户接口例如可以基于作为包含具有一些子事件(和/或可能子剪辑)节点的场景节点的示例增强元数据图形的一部分的一些数据。在图6中，电影选择菜单630(a)(例如，通过从根菜单导航到流派菜单再到特定流派选择而到达)提供了多个交互按钮，这些交互按钮可以是链接至电影或其他信息的交互图块(可能包括文本以外的信息)。在该简化示例中，从电影选择菜单660(a)，用户与图块或按钮662交互以选择标题为“X”的电影，这导航到菜单660(b)，用户可以从菜单660(b)做出关于该电影的选择。选项包括“播放”选项(按钮664)、“更多…”选项(按钮666，例如，用户可以通过按钮666读取/观看关于电影的更多内容)以及“增强内容”选项(按钮668)，在该示例中，按钮668向用户提供对与电影对应的增强元数据图形节点集中的信息的访问。还示出了用于导航回到先前菜单或其他画面(例如，搜索条目页面)的后退箭头按钮。
在该示例中，用户从菜单660(b)中选择“增强内容”选项(按钮668)，这改变成示出由按钮671至673表示的场景的菜单660(c)，每个按钮显示作为其一部分的代表性图像。为了简洁的目的，在该特定示例中仅三个场景可用，并且场景3具有三个事件或剪辑；(例如，没有章节)。
在该示例中，用户选择场景3(按钮673)，这提供菜单660(d)，用户可以通过菜单660(d)选择甚至更具体的内容(例如，对应于场景3中的由按钮675至677表示的事件(或剪辑))，每个按钮具有伴随的文本描述和代表性图像。选择按钮675至677中的一个可以例如提供场景的详细文本和/或音频描述、一个或更多个另外的图像、用于仅播放该事件的帧或其某个子集的“播放部分”按钮等。“更多…”按钮678例如通过由一个或更多个进一步的菜单链接至场景中的演员的演员数据、地图、角色数据等而允许与相关元数据的进一步交互。
图6仅是一种简化的假设方式，其中用户可以更直接地导航通过关于视频内容的选定片段的增强内容元数据节点集，以及通过跟随与选定视频内容直接相关联的链接之外的链接(节点边)来导航到其他元数据节点。另一种方式是通过搜索，包括如本文中所描述的那样例如通过选择搜索的范围(例如，连续剧A、第1季)并且找到与该范围内的搜索项匹配的事件，或者使搜索生成摘要。
与增强内容元数据信息交互的又一种方式是通过在视频回放正在发生或在某一点处暂停/停止时进行交互。该点处的增强内容可以以任何数量的已知方式来显示，例如，缩小主视频并使用现在可用的画面真实区域来显示元数据、以文本和/或图形(例如，具有某种不透明度)的形式覆盖元数据、用增强内容元数据的全屏来替换主视频等，以允许结合所显示的元数据在视频被暂停/停止或者继续播放时与所显示的数据交互。
当选择在回放期间交互时，通常的用户最初想要看到与当前回放位置相关的至少一些元数据，例如当用户暂停时正在显示的宫殿的平面图、城市地图等等。通常的用户也不希望等待很长时间才开始交互。然而，因为客户端设备的存储和带宽是有限的，因此与完整视频相关联的整个增强元数据图形通常不被缓存在客户端设备上。相反，类似于视频缓存器，增强元数据图形的当前与流式视频的位置相关的部分可以例如在并行或基本上并行的隐藏流中被下载至客户端缓存。
图7示出了流式视频770，其每个部分(例如，帧集772)对应于该流式视频的增强元数据节点集776的子集774。在图7的示例中，一些增强元数据节点的滑动“窗口”777可以被下载至客户端设备以用于缓存，使得客户端缓存包括增强元数据，该增强元数据通常对应于当前在客户端设备视频缓存器中的视频数据以及可能一些最近播放的视频部分。在该示例中，整个第一场景S1可以使其增强元数据节点在窗口777中分组在一起，作为用于缓存/缓存驱逐的单元(不管需要多少数据分组来流送增强元数据节点)。注意，如果不能作为一个单元分组在一起，则发送增强元数据节点的顺序可以是有用的，使得首先发生缓存有用的子图形，而驱逐较旧的增强元数据节点不太可能驱逐仍然需要的内容。因此，例如，在情景1中，第一剪辑的最低级别节点(事件节点E1、E2和E3)在场景1的剪辑1节点之前并且在场景1节点之前被发送，随后是剪辑2的事件1节点和剪辑2节点。在该示例中，在前五个增强元数据节点被流送之后，三个事件节点、剪辑1节点和场景1节点中的信息可用于交互；如果在视频事件完成时随着新节点的加入而需要驱逐增强元数据节点，则最旧的节点是很可能不再需要的事件1节点等。
注意，像任何资源受限的实体一样，数据服务本身可能不会在任何时间处都维护视频的增强元数据节点的全集(并且像晦涩电影的一些提供内容可能根本不具有或者仅具有有限量的增强元数据)。因此，在数据服务维护的增强元数据节点778中，数据服务可以(或者可以不)维护视频的整个节点集776以及一些直接链接的节点780和间接链接的节点782。相反，数据服务可以根据需要或在预期其需要的情况下，例如根据在各个数据源786(1)至(786(n))处维护的数据来按需组装(框784)增强元数据节点。这些数据源786(1)至786(n)通常不以节点形式维护数据，并且任何节点可能需要使其数据从不同的数据源获得。因此，数据服务可以根据需要或在预期其不久会需要的情况下将各种数据处理成一个或更多个增强元数据节点。
图7中还示出了搜索引擎790，该搜索引擎790被配置成接收客户端搜索请求(例如，搜索范围和一个或更多个搜索准则)并且返回在元数据节点中找到的信息，例如，哪些视频的哪些视频部分(例如，帧)与搜索请求匹配。图7中还示出了摘要/精彩场面视频生成器792，该摘要/精彩场面视频生成器792使用元数据节点基于某个范围和/或选择准则来生成视频。
关于客户端缓存器和缓存，在图8的示例实现方式中，客户端设备880例如经由内容分发网络从数据服务882接收多个流。因此，为了使增强元数据的子集与在客户端设备上正在播放的视频对应，数据服务例如在单独的元数据流中将当前相关的增强元数据节点下载至客户端设备的缓存器。这通常与视频流(如音频流)并行地或基本上并行地完成，但可能到不同的端口。也可行的是，使到相同端口但具有不同数据的组合的流交织，例如基于报头数据分类到适当的缓存器。
通常，客户端在视频缓存器884中缓存视频数据，并且在音频缓存器886中缓存音频数据(用于左和右声道、前和后声道、低音炮等的不同缓存，和/或在某些场景中可以存在辅助音频，但是在图8中未示出)。可以是分离的视频/音频回放部件(框887)可以以一般常规的方式操作以产生音频/视频输出。
增强元数据流被示出为被发送至增强元数据缓存器888，其中增强元数据流经由增强元数据图形处理890被处理成客户端图形892。注意，缓存器884、886和888以及其中的框(例如，分组数据)的所示大小不旨在表示实际的相对大小。如下面参照图10所述，增强元数据图形处理部件890可以维护跟踪数据结构894，例如节点标识符的FIFO队列，使得可以经由与其他缓存的数据不同的策略在缓存中管理增强元数据节点。
可以容易地理解，为了一般地对应于当前正在播放的视频，在视频播放时，客户端设备通常被配置成利用当前更相关的增强元数据替换当前不太相关的增强元数据。缓存大小考虑可以用作关于“过去”增强元数据节点以及关于缓存一定量的“未来”增强元数据节点的驱逐/替换准则的一部分。此外，某些增强元数据节点以及更传统的图形节点可以(至少在某种程度上)独立于视频流的当前位置而被缓存，例如，图形节点被认为更重要并且因此更可能在任何给定时刻被交互用户使用。
以这种方式，可以执行传统的视频回放，其中缓存中的增强元数据通常与视频同步。与缓存器大小、缓存大小等对应的设备类型信息以及所使用的视频压缩类型可以被传送至不同设备/设备类别的数据服务/通常被不同设备/设备类别的数据服务所知，并且被用于确定相对于视频分组和音频分组多久发送一次增强元数据分组，使得它们通常被同步。如果视频回放暂停或停止，则可以将增强元数据流/下载修改(例如，增大)到缓存中存在空间的程度，以便提供预期的前进或倒回操作，以及/或者以便预期用户想要与增强元数据交互。如可以容易地理解的那样，图8仅是一个示例，并且可以替选地使用在保持信息同步的同时下载单独的信息的许多其他方式中的任何一种。
下载两个(或更多个)单独的增强元数据流(例如，较高优先级流和较低优先级流)也是可行的。例如，为了节省带宽，如果使用两个增强元数据流，则在下载较低优先级流之前，可以首先将增强元数据分组的较高优先级流下载达到某个限制。类似的机制是以不同的交织比将较高优先级流分组相对于较低优先级流的分组交织，例如，三个较高优先级流分组对每一个较低优先级流分组。
图9是示出可以由数据服务采取的用于结合流式视频数据(未单独描述音频)将增强元数据流送至客户端设备的示例步骤的流程图。步骤902表示确定正在播放的流送的视频中的位置，而步骤904格式化和流送适当的视频分组；步骤902和904可以是传统上执行的用于将视频流送到客户端视频缓存器中的操作。
可以与步骤904并行或基本上并行地执行的步骤906和908使用视频中的位置来确定要流送增强元数据的与视频对应的哪个子集。步骤908表示格式化和流送与在步骤904处被流送的视频分组对应的适当增强元数据分组。
通常，除非视频缓存器填满或者用户执行某一动作以停止回放，否则视频位置前进并且继续流送视频和相关联的元数据，如步骤910和912所表示。可以暂停回放的示例用户动作包括中止视频、停止视频、快进或倒回视频等；(在步骤910处，到达视频的结尾可以被认为是停止视频)。本文中未描述以某种其他方式结束视频(例如，设备重新启动、网络断开)等。
在步骤910处检测到这样的事件或状态时，可以可选地执行步骤914以在步骤916处扩展客户端缓存中的元数据的量，例如直到达到某个缓存大小限制或元数据扩展限制。如上所述，元数据的这种扩展可以是预期用户此时想要与元数据交互，由此预先缓存附加的增强元数据可以改进客户端用户的增强元数据交互体验。
图10是示出可以由客户端设备(例如，图8的增强元数据图形处理部件886)采取以管理关于增强元数据的客户端缓存的示例步骤的流程图。图10的示例逻辑仅是管理关于缓存的增强元数据的许多可能方式中的一种；该逻辑与单个客户端缓存一起工作，该单个客户端缓存维护传统用户接口节点(例如，菜单、子菜单、项目)和增强元数据节点(例如，针对如本文所述的场景、剪辑、事件等)两者。这允许包含传统用户接口节点和增强元数据节点的单个(部分)图形被缓存，这是因为增强元数据节点(例如，经由剧集、时间线节点或电影、时间线节点)链接至传统用户接口节点中的一个或更多个。
步骤1002表示客户端设备接收在增强元数据流缓存器上的一个或更多个增强元数据分组。步骤1004从分组中提取一个或更多个增强元数据节点。步骤1006选择第一增强元数据节点。注意，每个节点具有在数据服务内唯一的标识符(ID)。
步骤1008是评估节点是否是到达增强元数据流的特殊节点的可选步骤，例如，如在节点的报头或数据中通过标记等标记的那样。经由步骤1008，如果服务认为这样的节点在某种程度上(例如，独立于其伴随的视频部分，或者可能很快被客户端用户需要)是重要的，则(在步骤1018处)缓存这样的节点。这允许增强元数据流获得在客户端缓存中缓存的根据常规缓存策略被驱逐/使得过期的图形节点，这与如本文所述的用于驱逐与视频的当前缓存或播放部分相关联的增强元数据节点/使其过期的策略相反。
如果不是特殊节点，则步骤1010将增强元数据节点的ID添加到FIFO队列或其他适当的数据结构。步骤1012评估队列是否达到其极限。
如果未达到队列极限，则缓存增强元数据节点。相比之下，如果达到队列极限，则在步骤1014处从队列中移除增强元数据节点标识符(例如，如果是FIFO队列，则移除最旧的)，并且在步骤1016处从缓存中移除该对应的(例如，最旧的)节点。注意，此时不需要实际地从缓存中移除该节点，但是可以标记该节点以供驱逐，给予该节点过期的时间戳等，由此清除处理或较新的节点可以在需要缓存空间时替换该节点。步骤1018缓存增强元数据节点，如果需要的话，可能重写移除的节点的空间。
步骤1020针对接收到的每个其他增强元数据节点重复该处理。当没有增强元数据节点剩余时，该处理结束，直到更多的增强元数据节点被流送到增强元数据节点缓存器中。
可以容易地理解，图10的示例步骤允许客户端设备平台软件确定其自己的关于通常要维护多少增强元数据的限制。以这种方式，具有较少资源的设备可以在缓存中具有较小的队列/较少的增强元数据，而具有较多资源的设备可以在缓存中具有较大的队列/较多的增强元数据。带宽也可以是考虑因素，例如，仅当视频缓存继续时，才允许增强元数据。类似地，数据计划可以是考虑因素，如果受限的话，可能经由用户输入来确定数据计划；例如，如果下载元数据将导致用户产生费用，则除非特别需要，否则不下载元数据。
如上所述，替代如图10中那样单独地处理增强元数据节点以进行缓存和移除，可以一起处理增强元数据节点的组。例如，包括整个场景的增强元数据节点的子图形可以被视为关于被一起从缓存驱逐的单元(并且当添加到缓存时可能被视为组)。诸如哪些节点被分组在一起的数据可以与增强元数据节点一起作为特殊信息“元节点”等被流送，例如，不被缓存为节点，而是被保存为跟踪数据结构894(图8)的一部分，直到组被驱逐。
如可以看到的，本文描述了以下技术：流送或以其他方式下载与流送的视频相关的元数据，从而允许用户选择性地与元数据交互以获得增强的用户体验。用户可以在任何链接之间导航或者直接在图形节点上转动以查看数据，例如，地图、相同场景的不同剪辑、相同剪辑的不同摄像装置视图、事件描述(文本和演职人员/剧组访谈)、诸如传记文本和访谈的演员和角色信息、该演员(或角色)出现在什么场景中的摘要等。
该图形允许不同环境(例如，真实世界(摄像装置、实际场所和演员))与替换世界(例如，虚构世界和角色)之间的关系。虚构世界可以彼此相关。即使事件是从最终版本中剪辑的，观看者也可以通过跟随链接来看到事件。该图形允许丰富的搜索。通过基于一个或更多个选择准则来自动生成相关内容，可以为观看者将电影和/或剧集的摘要或精彩场面放在一起。
一个或更多个方面涉及使视频的各部分与增强元数据的子集关联，增强元数据的每个子集描述视频的对应部分中的至少一个动作。在将视频流送至客户端设备时，本文描述了：确定视频的哪个部分正在被流送；选择增强元数据的、与视频的正在被流送的部分对应的选定子集；以及将增强元数据的选定子集下载至客户端设备。
将增强元数据的选定子集下载至客户端设备可以包括：在与流式视频流并行或基本上并行的流中流送增强元数据的子集。
增强元数据可以能够被配置为图形的节点；确定视频的哪个部分正在被流送可以包括：确定帧的集合，并且选择增强元数据的与视频的正在被流送的部分对应的选定子集可以包括：基于帧的集合来选择至少一个增强元数据节点。选择增强元数据的选定子集可以包括：选择至少一个增强元数据节点，所述至少一个增强元数据节点包括描述视频的对应部分中的动作的信息。选择增强元数据的选定子集可以包括：选择至少一个增强元数据节点，所述至少一个增强元数据节点包括描述视频的对应部分中的角色或场所或者角色和场所两者的信息。
所描述的技术允许：接收在增强元数据内搜索信息的请求；基于该请求来确定搜索范围；基于搜索范围来确定增强元数据的要搜索的一个或更多个范围内子集；基于请求中的一个或更多个搜索准则搜索一个或更多个范围内子集以得到匹配信息；以及返回标识通过搜索确定的任何匹配信息的对请求的响应。
所描述的技术允许：接收生成摘要或精彩场面视频的请求；定位增强元数据的、与摘要或精彩场面视频对应的一个或更多个相关子集；以及使用一个或更多个相关子集中的信息来生成摘要或精彩场面视频。
此外，在将视频流送至客户端设备之前，可以基于用户交互将增强元数据的至少一个子集下载至客户端设备，以提供在客户端设备上呈现增强元数据的子集的至少一部分的可见表示，并且允许与可见表示进行用户交互。
一个或更多个方面涉及视频内容提供者的数据服务，其中数据服务被配置成将视频流送至客户端。数据服务还被配置成将与增强元数据节点对应的信息发送至客户端，包括：选择增强元数据节点的、与视频的部分相关的子集；以及将该子集与视频的正在被流送的部分相关联地发送至客户端。
增强元数据节点可以包括章节节点、场景节点、剪辑节点和/或事件节点中的至少一个。增强元数据节点的与视频的部分相关的子集可以利用与至少一个动词和一个名词对应的信息来描述视频的该部分。增强元数据节点可以包括至少两个或更多个替换节点，这些替换节点都与视频的同一部分相关。
数据服务可以被配置成搜索增强元数据节点中的至少一些，以标识与一个或更多个搜索准则匹配的一个或更多个视频部分。数据服务可以被配置成生成摘要或精彩场面视频，包括：访问增强元数据节点中的至少一些中的信息，以选择用于摘要或精彩场面视频的一个或更多个视频部分。数据服务可以被配置成将来自一个或更多个数据源的数据组装成增强元数据节点。
客户端可以接收增强元数据节点的子集并且将该子集作为客户端图形的一部分进行缓存。
一个或更多个方面涉及在客户端设备处接收流送的视频的部分以及在客户端设备处接收增强元数据，其中增强元数据与流送的视频的该部分对应。本文描述了将增强元数据缓存在客户端设备缓存中，以及允许与增强元数据中的信息进行用户交互。接收流送的视频的该部分与接收与流送的视频的该部分对应的增强元数据可以在客户端设备处并行地或基本上并行地发生。可以根据增强元数据驱逐策略，从客户端设备缓存中移除至少一些其他增强元数据。
本文还描述了以下能力：向提供增强元数据的实体发送包括搜索范围信息以及一个或更多个搜索准则的搜索请求；以及从该实体接收搜索结果。搜索结果可以基于搜索范围内的对增强元数据的搜索，其中搜索结果包括标识满足一个或更多个搜索准则的至少一个视频部分的信息。
示例计算设备
本文中描述的技术可以应用于能够运行程序和进程的任何设备或一组设备(机器)。因此，可以理解的是，个人计算机、膝上型计算机、手持式、便携式和其他计算设备以及包括手机、平板/板型电脑、游戏/娱乐控制台等的各种计算对象考虑结合包括本文所例示的实现方式的各种实现方式一起使用。包括物理和/或虚拟机的服务器同样是合适的设备/机器。因此，下面在图11中描述的通用计算机构仅是计算设备的一个示例。
实现方式可以部分地经由操作系统来实现，以由设备或对象的服务开发者使用，和/或包括在进行操作以执行本文中描述的各种实现方式的一个或更多个功能方面的应用软件内。软件可以在由诸如客户端工作站、服务器或其他设备的一个或更多个计算机执行的诸如程序模块的计算机可执行指令的一般上下文中描述。本领域技术人员将认识到，计算机系统具有可以用于传送数据的各种配置和协议，并且因此不认为特定的配置或协议是限制性的。
因此，图11示出了适合的计算系统环境1100的示例，其中可以实现本文中描述的实现方式中的一个或更多个方面，尽管如上表明，计算系统环境1100仅是合适的计算环境的一个示例，而不旨在对使用范围或功能提出任何限制。此外，计算系统环境1100不旨在被解释为具有与示例计算系统环境1100中所示的部件的任何一个或组合有关的任何依赖性。
参照图11，用于实现一个或更多个实现方式的示例设备包括计算机1110的形式的通用计算设备。计算机1110的部件可以包括但不限于处理单元1120、系统存储器1130以及系统总线1122，该系统总线1122将包括系统存储器的各种系统部件耦接至处理单元1120。
计算机1110通常包括各种机器(例如，计算机)可读介质并且可以是能够由诸如计算机1110的机器访问的任何可用介质。系统存储器1130可以包括诸如只读存储器(ROM)和/或随机存取存储器(RAM)的易失性和/或非易失性存储器以及硬盘驱动器介质、光存储介质、闪存介质等形式的计算机存储介质。作为示例而非限制，系统存储器1130还可以包括操作系统、应用程序、其他程序模块和程序数据。
用户可以通过一个或更多个输入设备1140将命令和信息输入至计算机1110中。监视器或其他类型的显示设备也经由诸如输出接口1150的接口连接至系统总线1122。除了监视器之外，计算机还可以包括能够通过输出接口1150连接的其他外围输出设备，例如扬声器和打印机。
计算机1110可以在使用至诸如远程计算机1170的一个或更多个其他远程计算机的逻辑连接的联网或分布式环境中操作。远程计算机1170可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点或任何其他远程介质消费或传输设备，并且可以包括上面相对于计算机1110描述的任何或所有元件。图11中描绘的逻辑连接包括诸如局域网(LAN)或广域网(WAN)的网络1172，但是也可以包括其他网络/总线。这样的联网环境在家庭、办公室、企业范围的计算机网络、内联网和互联网中是常见的。
如上所述，尽管已经结合各种计算设备和网络架构描述了示例实现方式，但是基本构思可以应用于期望实现这种技术的任何网络系统和任何计算设备或系统。
此外，存在实现相同或类似功能的多种方式，例如，适当的API、工具包、驱动器代码、操作系统、控件、独立或可下载的软件对象等，这使得应用和服务能够利用本文中提供的技术。因此，从API(或其他软件对象)的角度以及从实现如本文中描述的一个或更多个实现方式的软件或硬件对象来考虑本文中的实现方式。因此，本文中描述的各种实现方式可以具有完全在硬件中、部分在硬件中并且部分在软件中以及完全在软件中的各方面。
本文中使用词语“示例”来表示用作示例、实例或说明。为了避免疑义，本文中公开的主题不受这样的示例的限制。此外，本文中作为“示例”描述的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例结构和技术。此外，就使用术语“包括”、“具有”、“包含”以及其他类似词语而言，为了避免疑义，这些术语旨在以类似于作为开放过渡词的术语“包括”的方式是包含性的，而且在权利要求中使用时不排除任何附加或其他元件。
如上所述，本文中描述的各种技术可以结合硬件或软件或者在适当的情况下结合硬件和软件的组合来实现。如本文中使用的，术语“部件”、“模块”、“系统”等同样旨在表示与计算机有关的实体，要么是硬件、硬件和软件的组合、软件、要么是执行中的软件。例如，部件可以是但是不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例来说，运行在计算机上的应用和计算机两者可以是部件。一个或更多个部件可以驻留在执行的进程和/或线程内，并且部件可以被本地化在一个计算机上以及/或者分布在两个或更多个计算机之间。
关于几个部件之间的交互描述了上述系统。可以理解的是，这样的系统和部件可以包括那些部件或指定的子部件、指定的部件或子部件中的一些和/或另外的部件，以及根据前述的各种置换和组合。子部件也可以被实现为通信地耦接至其他部件的部件，而不是被包括在父部件(分级)中。此外，可以注意到，一个或更多个部件可以被组合成提供综合功能的单个部件或被划分成若干分离的子部件，并且可以提供任何一个或更多个中间层(例如管理层)以通信地耦接至这样的子部件以提供集成功能。本文中描述的任何部件还可以与本文中未具体描述但是本领域技术人员通常已知的一个或更多个其他部件相互作用。
鉴于本文中描述的示例系统，可以参照各个附图的流程图表/流程图来理解可以根据描述的主题实现的方法。虽然为了简化说明的目的，方法被示出并且描述为一系列框，但是应当理解和认识到，各种实现方式不受框的顺序的限制，这是因为一些框可以以不同的顺序发生和/或与本文中描绘和描述的其他框同时发生。在经由流程图表/流程图示出了非顺序的或分支的流程的情况下，可以理解的是，可以实现得到相同或相似结果的各种其他分支、流程路径和框的顺序。此外，一些所示框在实现本文中描述的方法时是可选的。
结论
虽然本发明易于进行各种修改和替选构造，但是其某些示出的实现方式在附图中示出并且已经在上面进行了详细描述。然而，应当理解的是，并不旨在将本发明限制于所公开的具体形式，而是相比之下，意图在于涵盖落入本发明的精神和范围内的所有修改、替选构造和等同方案。
除了本文中描述的各种实现方式以外，应当理解，可以使用其他类似的实现方式，或者在不偏离所描述的实现方式的情况下可以针对描述的一个或更多个实现方式进行修改和添加以用于执行对应的一个或更多个实现方式的相同或等同功能。更进一步地，多个处理芯片或更多个设备可以共享本文中描述的一个或更多个功能的性能，并且类似地，可以在多个设备上实现存储。因此，本发明不限于任何单个实现方式，而是应在广度、精神和范围上根据所附权利要求书进行解释。

Claims (20)

1.一种方法，包括：
使视频的各部分与增强元数据的子集关联，所述增强元数据的每个子集描述所述视频的对应部分中的至少一个动作；
将所述视频流送至客户端设备；
确定所述视频的哪个部分正在被流送；
选择所述增强元数据的、与所述视频的正在被流送的部分对应的选定子集；以及
将所述增强元数据的所述选定子集下载至所述客户端设备。
2.根据权利要求1所述的方法，其中，将所述增强元数据的所述选定子集下载至所述客户端设备包括：在与流式视频流并行或基本上并行的流中流送所述增强元数据的所述子集。
3.根据权利要求1所述的方法，其中，所述增强元数据能够被配置为图形的节点，其中，确定所述视频的哪个部分正在被流送包括：确定帧的集合，并且其中，选择所述增强元数据的、与所述视频的正在被流送的部分对应的选定子集包括：基于所述帧的集合来选择至少一个增强元数据节点。
4.根据权利要求3所述的方法，其中，选择所述增强元数据的所述选定子集包括：选择包括下述信息的至少一个增强元数据节点，所述信息描述所述视频的所述对应部分中的动作。
5.根据权利要求3所述的方法，其中，选择所述增强元数据的所述选定子集包括：选择包括下述信息的至少一个增强元数据节点，所述信息描述所述视频的所述对应部分中的角色或场所或者角色和场所两者。
6.根据权利要求1所述的方法，还包括：接收在所述增强元数据内搜索信息的请求；基于所述请求来确定搜索范围；基于所述搜索范围来确定所述增强元数据的、要搜索的一个或更多个范围内子集；基于所述请求中的一个或更多个搜索准则搜索所述一个或更多个范围内子集以得到匹配信息；以及返回标识通过所述搜索确定的任何匹配信息的对所述请求的响应。
7.根据权利要求1所述的方法，还包括：接收生成摘要或精彩场面视频的请求；定位所述增强元数据的、与所述摘要或精彩场面视频对应的一个或更多个相关子集；以及使用所述一个或更多个相关子集中的信息来生成所述摘要或精彩场面视频。
8.根据权利要求1所述的方法，在将所述视频流送至所述客户端设备之前，还包括：基于用户交互将所述增强元数据的至少一个子集下载至所述客户端设备；在所述客户端设备上呈现所述增强元数据的所述子集的至少一部分的可见表示；以及允许与所述可见表示进行用户交互。
9.一种系统，包括视频内容提供者的数据服务，所述数据服务被配置成将视频流送至客户端，所述数据服务还被配置成将与增强元数据节点对应的信息发送至所述客户端，包括：选择所述增强元数据节点的、与视频的一部分相关的子集；以及将所述子集与所述视频的正在被流送的部分相关联地发送至客户端。
10.根据权利要求9所述的系统，其中，所述增强元数据节点包括：章节节点、场景节点、剪辑节点或事件节点中的至少一个，或者章节节点、场景节点、剪辑节点或事件节点的任何组合。
11.根据权利要求9所述的系统，其中，所述增强元数据节点包括均与所述视频的同一部分相关的至少两个或更多个替选节点。
12.根据权利要求9所述的系统，其中，所述增强元数据节点的、与所述视频的所述部分相关的子集利用与至少一个动词和一个名词对应的信息来描述所述视频的所述部分。
13.根据权利要求9所述的系统，其中，所述数据服务被配置成搜索所述增强元数据节点中的至少一些，以标识与一个或更多个搜索准则匹配的一个或更多个视频部分。
14.根据权利要求9所述的系统，其中，所述数据服务被配置成生成摘要或精彩场面视频，包括：访问所述增强元数据节点中的至少一些中的信息，以选择用于所述摘要或精彩场面视频的一个或更多个视频部分。
15.根据权利要求9所述的系统，其中，所述数据服务被配置成将来自一个或更多个数据源的数据组装成增强元数据节点。
16.根据权利要求9所述的系统，其中，所述客户端接收所述增强元数据节点的所述子集并且将所述子集缓存作为客户端图形的一部分。
17.一个或更多个机器可读存储介质，所述一个或更多个机器可读存储介质具有机器可执行指令，所述机器可执行指令在被执行时执行步骤，所述步骤包括：
在客户端设备处接收流送的视频的一部分；
在所述客户端设备处接收增强元数据，所述增强元数据与流送的视频的所述部分对应；
将所述增强元数据缓存在客户端设备缓存中；以及
允许与所述增强元数据中的信息进行用户交互。
18.根据权利要求17所述的一个或更多个机器可读存储介质，其中，接收流送的视频的所述部分与接收与流送的视频的所述部分对应的所述增强元数据在所述客户端设备处并行地或基本上并行地发生。
19.根据权利要求17所述的一个或更多个机器可读存储介质，具有另外的机器可执行指令，所述另外的机器可执行指令包括：根据增强元数据驱逐策略，从所述客户端设备缓存中移除至少一些其他增强元数据。
20.根据权利要求17所述的一个或更多个机器可读存储介质，具有另外的机器可执行指令，所述另外的机器可执行指令包括：向提供所述增强元数据的实体发送包括搜索范围信息以及一个或更多个搜索准则的搜索请求；以及从所述实体接收搜索结果，所述搜索结果基于所述搜索范围内的对所述增强元数据的搜索，其中，所述搜索结果包括标识满足所述一个或更多个搜索准则的至少一个视频部分的信息。
CN201880046319.4A 2017-05-30 2018-05-02 包括增强元数据的视频内容图形 Active CN110892728B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/608,530 2017-05-30
US15/608,530 US11023417B2 (en) 2017-05-30 2017-05-30 Video content graph including enhanced metadata
PCT/US2018/030718 WO2018222334A1 (en) 2017-05-30 2018-05-02 Video content graph including enhanced metadata

Publications (2)

Publication Number Publication Date
CN110892728A true CN110892728A (zh) 2020-03-17
CN110892728B CN110892728B (zh) 2022-09-27

Family

ID=62223271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046319.4A Active CN110892728B (zh) 2017-05-30 2018-05-02 包括增强元数据的视频内容图形

Country Status (8)

Country Link
US (2) US11023417B2 (zh)
EP (1) EP3632123A1 (zh)
JP (1) JP7163316B2 (zh)
KR (1) KR102497588B1 (zh)
CN (1) CN110892728B (zh)
CA (1) CA3065770A1 (zh)
MX (1) MX2019014317A (zh)
WO (1) WO2018222334A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023417B2 (en) 2017-05-30 2021-06-01 Home Box Office, Inc. Video content graph including enhanced metadata
US10715883B2 (en) 2017-09-06 2020-07-14 Rovi Guides, Inc. Systems and methods for generating summaries of missed portions of media assets
EP3732887A1 (en) * 2017-12-29 2020-11-04 Rovi Guides, Inc. Systems and methods for providing a storyline selection interface
US11252483B2 (en) 2018-11-29 2022-02-15 Rovi Guides, Inc. Systems and methods for summarizing missed portions of storylines
US11474943B2 (en) * 2018-12-21 2022-10-18 Home Box Office, Inc. Preloaded content selection graph for rapid retrieval
US11829294B2 (en) * 2018-12-21 2023-11-28 Home Box Office, Inc. Preloaded content selection graph generation
US11475092B2 (en) * 2018-12-21 2022-10-18 Home Box Office, Inc. Preloaded content selection graph validation
US11204924B2 (en) 2018-12-21 2021-12-21 Home Box Office, Inc. Collection of timepoints and mapping preloaded graphs
US11474974B2 (en) * 2018-12-21 2022-10-18 Home Box Office, Inc. Coordinator for preloading time-based content selection graphs
US11269768B2 (en) 2018-12-21 2022-03-08 Home Box Office, Inc. Garbage collection of preloaded time-based graph data
US11573961B2 (en) * 2019-07-10 2023-02-07 Microsoft Technology Licensing, Llc Delta graph traversing system
US11157554B2 (en) 2019-11-05 2021-10-26 International Business Machines Corporation Video response generation and modification
CN111680189B (zh) * 2020-04-10 2023-07-25 北京百度网讯科技有限公司 影视剧内容检索方法和装置
US10924636B1 (en) 2020-04-30 2021-02-16 Gopro, Inc. Systems and methods for synchronizing information for videos
CN112333560A (zh) * 2020-08-25 2021-02-05 深圳Tcl新技术有限公司 网页视频解析播放方法、装置、设备及可读存储介质
CN114004347A (zh) * 2021-08-30 2022-02-01 平头哥(上海)半导体技术有限公司 用于加速图神经网络属性访问的硬件加速器、系统和方法
US11785314B2 (en) * 2021-11-04 2023-10-10 Rovi Guides, Inc. Systems and methods to enhance segment during trick play
US20230237095A1 (en) * 2022-01-21 2023-07-27 Dell Products L.P. Metadata for Graph Connected Databases
WO2023188940A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 画像ファイル、情報処理装置、撮像装置、及び生成方法
JP2024060693A (ja) * 2022-10-20 2024-05-07 Ｔｖｓ Ｒｅｇｚａ株式会社 番組情報配信システムおよびテレビ受信機

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060757A1 (en) * 2003-09-17 2005-03-17 Suh Jong Yeul Apparatus and method of broadcast service for transporting scene information
US20050120390A1 (en) * 2003-10-31 2005-06-02 Akihiro Nonoyama Method and apparatus for digital video distributing
CN101467151A (zh) * 2006-06-16 2009-06-24 诺基亚公司 用于提供元数据条目的方法、设备和计算机程序产品
JP2010166537A (ja) * 2009-01-14 2010-07-29 Yahoo Japan Corp メタデータを活用するデジタルビデオ受信装置、携帯情報機器、番組関連情報活用システム及びそれらの制御方法
CN101923883A (zh) * 2009-06-16 2010-12-22 索尼公司 内容再现装置、内容提供装置和内容分发系统
US8176518B1 (en) * 2002-08-30 2012-05-08 Rovi Technologies Corporation Systems and methods for providing fantasy sports contests based on subevents
US8856283B2 (en) * 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
US20150341611A1 (en) * 2014-05-20 2015-11-26 Lg Electronics Inc. Video data processing method and device for display adaptive video playback
CN105210376A (zh) * 2013-03-14 2015-12-30 谷歌公司 使用音频流识别与当前播放的电视节目相关联的元数据
US20150378998A1 (en) * 2005-11-09 2015-12-31 Ramp Holdings, Inc. Methods and apparatus for merging media content
US20160127440A1 (en) * 2014-10-29 2016-05-05 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
US20160198239A1 (en) * 2015-01-05 2016-07-07 Sony Corporation Personalized integrated video user experience
CN106028065A (zh) * 2016-06-22 2016-10-12 东方有线网络有限公司 基于元数据控制的互动电视收看效果增强系统的实现方法
CN106170096A (zh) * 2015-05-18 2016-11-30 泽普实验室公司 基于云视频共享的多角度视频编辑
US20170104838A1 (en) * 2015-10-13 2017-04-13 Home Box Office, Inc. Batching data requests and responses

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2202979A1 (en) 2002-04-12 2010-06-30 Mitsubishi Denki Kabushiki Kaisha Hint information describing method for manipulating metadata
US20060129908A1 (en) 2003-01-28 2006-06-15 Markel Steven O On-content streaming media enhancement
JP2005222329A (ja) 2004-02-05 2005-08-18 Ntt Communications Kk メタデータ付与装置、メタデータ付与方法およびメタデータ付与プログラム
JP5739531B2 (ja) 2010-07-27 2015-06-24 テルコーディア テクノロジーズ インコーポレイテッド ３次元形状のファセット上の関連メディアセグメントの対話型の投影および再生
US20160261921A1 (en) * 2012-11-21 2016-09-08 Dante Consulting, Inc Context based shopping capabilities when viewing digital media
US20140282690A1 (en) 2013-03-12 2014-09-18 International Business Machines Corporation Pre-Defined Streaming Media Buffer Points
US20150248918A1 (en) 2014-02-28 2015-09-03 United Video Properties, Inc. Systems and methods for displaying a user selected object as marked based on its context in a program
JP5852171B2 (ja) 2014-05-09 2016-02-03 株式会社Ｊストリーム コンテンツ付加情報提供システム
US9998799B2 (en) 2014-08-16 2018-06-12 Sony Corporation Scene-by-scene plot context for cognitively impaired
JP6697854B2 (ja) 2015-07-02 2020-05-27 Jcc株式会社 映像コンテンツ閲覧装置、映像コンテンツ閲覧システム、映像コンテンツ閲覧方法、及びコンピュータプログラム
US11023417B2 (en) 2017-05-30 2021-06-01 Home Box Office, Inc. Video content graph including enhanced metadata

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8176518B1 (en) * 2002-08-30 2012-05-08 Rovi Technologies Corporation Systems and methods for providing fantasy sports contests based on subevents
US20050060757A1 (en) * 2003-09-17 2005-03-17 Suh Jong Yeul Apparatus and method of broadcast service for transporting scene information
US20050120390A1 (en) * 2003-10-31 2005-06-02 Akihiro Nonoyama Method and apparatus for digital video distributing
US20150378998A1 (en) * 2005-11-09 2015-12-31 Ramp Holdings, Inc. Methods and apparatus for merging media content
CN101467151A (zh) * 2006-06-16 2009-06-24 诺基亚公司 用于提供元数据条目的方法、设备和计算机程序产品
JP2010166537A (ja) * 2009-01-14 2010-07-29 Yahoo Japan Corp メタデータを活用するデジタルビデオ受信装置、携帯情報機器、番組関連情報活用システム及びそれらの制御方法
CN101923883A (zh) * 2009-06-16 2010-12-22 索尼公司 内容再现装置、内容提供装置和内容分发系统
US8856283B2 (en) * 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
CN105210376A (zh) * 2013-03-14 2015-12-30 谷歌公司 使用音频流识别与当前播放的电视节目相关联的元数据
US20150341611A1 (en) * 2014-05-20 2015-11-26 Lg Electronics Inc. Video data processing method and device for display adaptive video playback
US20160127440A1 (en) * 2014-10-29 2016-05-05 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
US20160198239A1 (en) * 2015-01-05 2016-07-07 Sony Corporation Personalized integrated video user experience
CN106170096A (zh) * 2015-05-18 2016-11-30 泽普实验室公司 基于云视频共享的多角度视频编辑
US20170104838A1 (en) * 2015-10-13 2017-04-13 Home Box Office, Inc. Batching data requests and responses
CN106028065A (zh) * 2016-06-22 2016-10-12 东方有线网络有限公司 基于元数据控制的互动电视收看效果增强系统的实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李冬秀: ""视频元数据及其互操作研究"", 《现代情报》 *

Also Published As

Publication number Publication date
WO2018222334A1 (en) 2018-12-06
CA3065770A1 (en) 2018-12-06
KR102497588B1 (ko) 2023-02-07
US20210263891A1 (en) 2021-08-26
JP7163316B2 (ja) 2022-10-31
US20180349368A1 (en) 2018-12-06
US11023417B2 (en) 2021-06-01
US11960446B2 (en) 2024-04-16
CN110892728B (zh) 2022-09-27
JP2022137126A (ja) 2022-09-21
JP2022137125A (ja) 2022-09-21
EP3632123A1 (en) 2020-04-08
MX2019014317A (es) 2020-08-13
JP2020523825A (ja) 2020-08-06
KR20200019633A (ko) 2020-02-24

Similar Documents

Publication Publication Date Title
CN110892728B (zh) 包括增强元数据的视频内容图形
US11681736B2 (en) System and method for tagging a region within a frame of a distributed video file
US8903863B2 (en) User interface with available multimedia content from multiple multimedia websites
US9762943B2 (en) Techniques for generating and providing personalized dynamic live content feeds
US8244707B2 (en) Method and apparatus for providing supplemental video content for third party websites
US8713618B1 (en) Segmenting video based on timestamps in comments
US8301596B2 (en) Method and apparatus for providing supplemental video content for third party websites
US20160323629A1 (en) Method and system to navigate viewable content
US20070074254A1 (en) Locating content in a television environment
US20140245334A1 (en) Personal videos aggregation
JP6920475B2 (ja) デジタルビデオコンテンツの修正
US11360826B2 (en) Virtual graph nodes
JP7502371B2 (ja) 拡張メタデータを含むビデオコンテンツグラフ
JP7502372B2 (ja) 拡張メタデータを含むビデオコンテンツグラフ
US20140310237A1 (en) Building a digital media library from two or more separate digital media sources
Tjondronegoro et al. Delivering a fully interactive mobile TV
Sukeda et al. Cocktail Interface: Server-based user interface for seamless access to various kinds of digital content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant