CN113574901B - 用于在客户端设备处定制和合成视频馈送的系统和方法 - Google Patents

用于在客户端设备处定制和合成视频馈送的系统和方法 Download PDF

Info

Publication number
CN113574901B
CN113574901B CN202080007164.0A CN202080007164A CN113574901B CN 113574901 B CN113574901 B CN 113574901B CN 202080007164 A CN202080007164 A CN 202080007164A CN 113574901 B CN113574901 B CN 113574901B
Authority
CN
China
Prior art keywords
video feed
user
data elements
data
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080007164.0A
Other languages
English (en)
Other versions
CN113574901A (zh
Inventor
E·施瓦茨
M·纳奎因
G·谢尔比亚克
K·哈奈斯
C·D·埃伯索尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infinite Sports Ltd
Original Assignee
Tianshi Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/747,440 external-priority patent/US11140328B2/en
Application filed by Tianshi Machinery Co ltd filed Critical Tianshi Machinery Co ltd
Priority claimed from PCT/US2020/022767 external-priority patent/WO2020160563A1/en
Publication of CN113574901A publication Critical patent/CN113574901A/zh
Application granted granted Critical
Publication of CN113574901B publication Critical patent/CN113574901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/64Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for providing detail information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/30Aspects of broadcast communication characterised by the use of a return channel, e.g. for collecting users' opinions, for returning broadcast space/time information or for requesting data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用于在客户端设备处提供定制的合成视频馈送的过程的实施例包括:从远程服务器接收背景视频馈送;(经由通信接口)接收与一个或多个用户特定特性相关联的内容;以及至少部分地基于接收到的内容来确定一个或多个数据元素。该过程包括:生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少将一个或多个数据元素的对应部分与背景视频馈送的对应部分进行匹配;以及在客户端设备的显示设备上显示合成视频馈送。

Description

用于在客户端设备处定制和合成视频馈送的系统和方法
其他申请的交叉引用
本申请要求于2019年3月15日提交的题为“SYSTEMS AND METHODS FORCOMPOSITING A VIDEO FEED AT A CLIENT DEVICE”的美国临时专利申请第62/819,428号的优先权。
本申请是2020年1月20日提交的题为“SYSTEMS AND METHODS FOR PARTITIONINGA VIDEO FEED TO SEGMENT LIVE PLAYER ACTIVITY”的美国专利申请第16/747,440号的部分继续申请,该美国专利申请第16/747,440号要求于2019年1月22日提交的题为“SYSTEMSAND METHODS FOR PARTITIONING A VIDEO FEED TO SEGMENT LIVE PLAYER ACTIVITY”的美国临时专利申请第62/795,020号的优先权,并且要求于2019年2月6日提交的题为“SYSTEMS AND METHODS FOR PARTITIONING A VIDEO FEED TO SEGMENT LIVE PLAYERACTIVITY”的美国临时专利申请第62/802,186号的优先权。上述申请出于所有目的通过引用并入本文中。
背景技术
诸如新闻广播和体育事件(诸如橄榄球和足球)之类的视频是最受欢迎的娱乐形式之一。流行的方法是在用户设备上流送视频馈送(video feed)。常规的视频流使用远程编译并且在全球范围内传送的多个数据层。例如,广播室接收视频馈送、音频馈送和图形,并且将它们编译成经编译的视频馈送,该经编译的视频馈送然后被传送到远程设备。经编译的视频馈送会消耗大量数据,这是因为音频和图形与该馈送的视频部分是不可分离的。附加地,终端用户不能够将视频馈送个人化,这是因为终端用户可以要么接收经编译的视频馈送,要么选择根本不接收视频馈送,而不是可选地接收视频馈送简短的部分。
发明内容
公开了用于提供定制的合成视频馈送(composite video feed)的技术(包括系统、处理器和计算机程序产品)。在各种实施例中,用于定制和合成视频馈送的过程包括:从远程服务器接收背景视频馈送;接收与一个或多个用户特定特性相关联的内容;以及至少部分地基于接收到的内容来确定一个或多个数据元素。该过程包括:生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少将一个或多个数据元素的对应部分与背景视频馈送的对应部分进行匹配;以及在客户端设备的显示设备上显示合成视频馈送。
在各种实施例中,用于处理以定制和合成视频馈送的过程包括:从远程服务器接收背景视频馈送;从与背景视频馈送的第一帧相关联的带时间戳的元数据来确定该第一帧的第一时间戳;以及接收与一个或多个用户特定特性相关联的内容。该内容包括:与背景视频帧相关联的带时间戳的元数据、以及具有落入由第一时间戳确定的时间范围内的时间戳的数据。该过程包括:至少部分地基于接收到的内容来确定一个或多个数据元素。该过程包括:生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少部分地基于相应数据元素的时间戳和相应背景视频帧的时间戳的一致性(concordance),来至少将一个或多个数据元素的对应部分与背景视频馈送的对应部分进行匹配。该过程包括:在客户端设备的显示设备上显示合成视频馈送。所生成的合成视频馈送包括时间匹配帧,其中每个时间匹配帧被覆盖有与相应背景视频帧时间匹配的数据元素。使用本文中公开的技术所定制和编译的视频对于终端用户是个人化的。
附图说明
在以下详细描述和附图中公开了本发明的各种实施例。
图1是图示了用于提供定制的合成视频馈送的系统的实施例的框图。
图2是图示了用于定制和合成视频馈送的过程的实施例的流程图。
图3是图示了用于定制和合成视频馈送的过程的实施例的流程图。
图4A示出了在客户端设备处定制和合成的新闻广播的示例。
图4B示出了在客户端设备处定制和合成的新闻广播的示例。
图5A示出了在客户端设备处定制和合成的体育事件的示例。
图5B示出了在客户端设备处定制和合成的体育事件的示例。
图5C示出了在客户端设备处定制和合成的体育事件的示例。
图6是图示了用于定制和合成视频馈送的系统的实施例的框图。
图7A示出了图示用于定制和合成视频馈送的系统的实施例的框图。
图7B示出了图示用于定制和合成视频馈送的系统的实施例的框图。
图8是图示了跟踪设备的实施例的框图。
图9是图示了跟踪设备管理系统的实施例的框图。
图10是图示了统计系统的实施例的框图。
图11是图示了赔率管理系统的实施例的框图。
图12是图示了用户设备的实施例的框图。
图13示出了包括根据本公开实施例的跟踪系统的组件的赛局场地(field ofplay)的示例环境。
图14是图示了根据一些实施例的用于定制和合成视频馈送的编程计算机系统的功能图。
图15是图示了用于定制和合成实况体育运动的视频馈送的过程的实施例的流程图。
图16示出了橄榄球比赛的定制的合成视频馈送的示例。
图17示出了橄榄球比赛的定制的合成视频馈送的示例。
具体实施方式
本发明可以以众多方式来实现,包括作为过程;装置;系统;物质组成;被体现在计算机可读存储介质上的计算机程序产品;和/或处理器,诸如被配置成执行存储在耦合到处理器的存储器上和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中,这些实现方式或者本发明可以采用的任何其他形式可以被称为技术。一般而言,在本发明的范围内,所公开的过程的步骤次序可以更改。除非另行陈述,否则被描述为被配置成实行任务的诸如处理器或存储器之类的组件可以被实现为被临时配置成在给定时间实行该任务的通用组件、或被实现为被制造成实行该任务的特定组件。如本文中所使用的,术语“处理器”指代被配置成处理数据(诸如计算机程序指令)的一个或多个设备、电路和/或处理核心。
下面提供了本发明的一个或多个实施例的详细描述、以及图示了本发明原理的附图。结合这样的实施例描述了本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求限定,并且本发明涵盖众多替代方案、修改和等同物。在以下描述中阐述了众多具体细节,以便提供对本发明的全面理解。这些细节是出于示例的目的而提供的,并且本发明可以根据权利要求来实践,而无需这些具体细节中的一些或全部细节。出于清楚性目的,没有详细描述与本发明有关的技术领域中已知的技术材料,使得不会不必要地使本发明晦涩难懂。
图1是图示了用于提供定制的合成视频馈送的系统的实施例的框图。该示例性系统包括:一个或多个客户端设备150、服务器100、以及一个或多个内容创建器140。每个客户端设备和内容创建器被配置成经由通信接口(未示出)与服务器100通信。
一个或多个用户设备150便于终端用户与本公开的各种系统进行交互。用户设备可以是任何类型的计算设备,包括但不限于智能电话、平板电脑、OTT盒、台式计算机或智能电视。图16中示出了用户设备的示例。终端用户通过向服务器100发送查看视频内容(诸如,新闻广播、实况体育事件或电视节目)的请求来与其他系统组件进行交互。服务器以所请求的内容做出响应,并且视频馈送的部分可以使用下面进一步描述的技术针对特定用户的偏好而被定制。在各种实施例中,服务器100存储用户简档102,该用户简档102跟踪用户偏好,该用户偏好可以基于用户指定的兴趣(例如,在登记时)、诸如浏览历史之类的用户习惯、以及可以使用包括已知机器学习技术的各种技术随时间学习到的其他用户特性。服务器100还存储可以周期性地推送到客户端设备、或者响应于对数据的查询而发送到客户端设备的内容。背景内容104包括:由内容创建器140创建或捕获的内容,诸如下面进一步描述的背景视频馈送。附加内容109包括:可以用来扩充背景视频馈送的数据元素,诸如交互式数据元素。该数据元素可以从背景视频馈送中提取(例如,隔离或突出显示橄榄球队伍中的特定运动员的镜头(footage))、生成(例如,比赛/运动员统计数据(stats))或其组合。
作为一个示例,正在观看新闻广播的用户A对公司X的实时股票价格感兴趣。在用户A的设备内,新闻广播被呈现和定制成显示公司A的股票价格。假设用户B对公司X不感兴趣,而是对公司Y感兴趣。在用户B的设备内,新闻广播被呈现和定制成显示公司Y的股票价格。作为另一个示例,用户A正在观看实况橄榄球比赛,并且对运动员U感兴趣。在用户A的设备内,橄榄球比赛被呈现和定制成突出显示运动员U,例如,通过显示该比赛中聚焦于运动员U在场地上的动作的镜头来进行。用户B对运动员U不感兴趣,而是对运动员V感兴趣。在用户B的设备内,橄榄球比赛被呈现和定制成突出显示运动员V。
一个或多个内容创建器140创建被分发到客户端设备150的内容,诸如视频、音频、文本、图像等等。作为非限制性示例,内容创建器创建诸如财经新闻之类的新闻广播、诸如真人秀之类的各种领域的电视节目、以及包括实况体育运动的体育事件。例如,一个或多个相机140-1至140-S捕获事件(其可以是实况事件)的图像和/或视频,该图像和/或视频然后由本公开的系统利用。在一些实施例中,相机140包括一个或多个高分辨率相机。作为非限制性示例,一个或多个高分辨率相机包括:具有1080p分辨率到8K分辨率的相机。
上述组件可选地通过通信网络而互连。虚线框中的元件可选地组合为单个系统或设备。当然,计算机系统的其他拓扑结构也是可能的。例如,在一些实现方式中,任何所图示的设备和系统实际上可以构成在网络中链接在一起的若干个计算机系统,或者可以是云计算环境中的虚拟机或容器。此外,在一些实施例中,所图示的设备和系统不是依赖于物理通信网络,而是在彼此之间无线地传输信息。照此,图1所示的示例性拓扑结构仅用于以本领域技术人员容易理解的方式来描述本公开的实施例的特征。
既然已经描述了该系统的一般拓扑结构,将描述用于在客户端设备处合成和定制视频馈送(例如,视频呈现)的方法。
图2是图示了用于定制和合成视频馈送的过程的实施例的流程图。该过程可以由客户端设备实行,该客户端设备诸如是图1所示的用户设备1(150-1)或用户设备R(150-R)。
该过程开始于接收背景视频馈送(202)。该背景视频馈送可以是任何类型的内容,包括但不限于实况事件、新闻广播、或广告。实况事件的视频馈送是在实况事件发生时接收到的,或者事件的视频馈送是在实况事件已经发生之后接收到的(例如,视频馈送是视频点播(VOD)),诸如对实况事件的记录。关于图4A和图4B进一步描述了新闻广播的示例。关于图5A-5C进一步描述了实况体育事件的示例。
在一些实施例中,视频馈送包括音频部分(例如,由相应广播设备140捕获的音频)。因此,在一些实施例中,由相应客户端设备接收到的视频馈送包括帧和音频的合成(例如,由客户端设备接收到的视频馈送包括音频部分和图像部分)。然而,本公开不限于此。例如,在一些实施例中,相应客户端设备接收视频馈送(例如,多个帧)和音频馈送(例如,多个音频片段或部分)作为单独的馈送。在相应用户设备处接收到馈送之前拆分视频馈送的音频部分允许用户设备的终端用户取决于用户的用户偏好设置来定制、启用或禁用合成视频馈送的音频部分和/或隐藏字幕部分。例如,可以使音频音轨(各种语言、背景音乐、旁白等)符合用户的特性。背景视频馈送可以与在204处接收到的内容一起被接收,或者可以与在204处接收到的内容单独地(不相关联地)被接收。
该过程接收与一个或多个用户特定特性相关联的内容(204)。客户端设备从远程服务器接收该内容。该定制可以由服务器和/或客户端设备实行。在一些实施例中,客户端设备基于用户特定特性来确定要请求什么内容。例如,客户端设备在本地查找与用户偏好相关联的内容,并且向服务器发送针对感兴趣内容的请求。在一些实施例中,是服务器基于用户特定特性来确定要发送什么内容。例如,客户端向服务器发送用户标识符(诸如用户姓名或人群(demographic group)),并且服务器使用该用户标识符、通过使用将用户特性映射到该特定用户感兴趣的内容的查找表或其他数据库来查找该用户感兴趣的内容。
在各种实施例中,服务器以该服务器和/或用户/客户端设备设置所确定的间隔将内容推送到客户端设备。在各种实施例中,客户端设备使用内容请求从服务器拉取内容。例如,客户端设备使用通信接口从远程服务器请求该内容。在各种实施例中,当用户开始使用用户设备(或用户设备上的客户端应用程序)时,代表用户自动做出该请求。例如,当用户登录到幻想体育app、电视节目查看app等等时,针对内容的请求被中继到服务器。在各种实施例中,用户经由客户端设备上的用户接口发起请求。例如,在使用客户端设备查看电视节目时,用户选择感兴趣的对象,诸如体育事件中的运动员或队伍、公司股票代号符号、真人TV秀中的角色,以生成针对关于感兴趣对象的内容(附加信息)的请求。
在一些实施例中,从计算机系统接收到的多个数据元素包括由该查询请求的多个数据元素。然而,本公开不限于此。例如,在一些实施例中,第一多个数据元素由该查询请求,并且因此第二多个数据元素从计算机系统被接收到(例如,仅第一多个数据元素中的数据元素的子集可用)。然而,如下面进一步描述的,在一些实施例中,响应于该查询而接收到的每个数据元素包括:落在(例如,被包括在)特定时间范围内的相关联的带时间戳的元数据(例如,时间范围是从特定日的1:04 PM到1:06 PM,并且因此,作为该查询的结果而接收到的数据元素包括与该特定日的1:04 PM到1:06 PM之间中的时间相关联的元数据)。在一些实施例中,从图1、6或10所示的系统的一个或多个数据存储(例如,历史训练数据存储214、情形存储228等)接收多个数据元素。在一些实施例中,多个数据元素在本地存储在用户设备上。在一些实施例中,多个数据元素包括在本地存储在用户设备上的一个或多个数据元素、以及存储在图1、6或10所示的计算机系统上的一个或多个数据元素(例如,历史数据存储214、情形存储228等)。
该过程至少部分地基于接收到的内容来确定一个或多个数据元素(206)。可以基于客户端设备的偏好设置(例如,用户偏好设置)来确定数据元素。例如,用户偏好设置指示用户对天气感兴趣,因此天气数据元素将被包括在合成视频馈送中。数据元素可以是交互式的,从而允许用户选择数据元素以查看针对用户偏好而附加定制的内容。因此,该查询包括针对覆盖有视频馈送的帧的天气数据元素的请求。用户偏好设置可以存储在用户设备内或远程服务器处。
用户偏好设置可以以各种方式来确定。例如,机器学习过程通过分析用户在一段时间内的活动来确定特定设置的趋势。作为另一个示例,与覆盖在视频馈送上的图形数据元素的可见性(affordance)区域的用户交互指示了用户偏好。用户与图形数据元素(例如,嵌入的图形)进行交互,诸如触摸视频馈送上的滚动条,以获得关于该滚动条的更多信息、或将图形数据元素的状态从可见变为关闭。使查询请求数据元素符合用户偏好设置允许针对相应用户将合成视频馈送个人化。该查询还优化了相应用户设备接收到的数据量,这是因为用户指示要排除(或不请求)的数据元素不会被用户设备接收到。另外,使得终端用户能够与合成视频馈送交互并且改变哪些数据元素被覆盖到馈送上允许终端用户进一步使查看体验个人化。
该过程生成针对用户特定特性而定制的合成视频馈送,包括通过至少将一个或多个数据元素的对应部分与背景视频馈送的对应部分进行匹配(208)。可以异步地或以时间同步的方式将数据元素与背景视频馈送的对应部分进行匹配,如下面进一步描述的。
该过程在客户端设备的显示设备上显示合成视频馈送(209)。该合成视频馈送可以在客户端设备的用户接口上输出,以结合(例如,覆盖有)向一般观众广播的背景视频馈送来示出符合特定用户兴趣的信息。
在一些实施例中,使用第一交换协议来实行通信(接收步骤202和206以及请求步骤204),该第一交换协议提供了用于接收背景视频馈送的部分、并且组装数据元素和/或视频馈送的部分以形成合成视频馈送(例如,视频呈现)的通信系统。在一些实施例中,第一交换协议是超文本传输协议(HITP)实时流送协议(例如,HLS协议)。在一些实施例中,第一交换协议是实时消息传递协议(RTMP)。在一些实施例中,第一交换协议按照动态时间段(例如,从10秒到60秒)来对接收视频馈送进行延迟(例如,在接收视频馈送时引发等待时间)。
在一些实施例中,连续地接收背景视频馈送(例如,相应客户端设备与图1所示的计算机系统连续通信以接收视频馈送)。在一些实施例中,由相应用户设备以分组或块的形式接收视频馈送(例如,相应用户设备以10秒的块来接收视频馈送)。在各种实施例中,如关于图15进一步描述的那样来实行时间同步的匹配。
在一些实施例中,根据对客户端设备的带宽的确定来进行视频馈送的接收、内容请求的发送或其组合。例如,在一些实施例中,客户端设备的带宽是动态的,并且取决于许多因素(例如,网络的带宽、广播系统的带宽等)而改变。
在一些实施例中,该方法进一步包括:使用客户端设备(例如,用户设备150)的带宽来给可视化缓冲区(例如,可视化缓冲区模块)的大小定尺寸。在一些实施例中,响应于带宽降级的确定,使用客户端设备的带宽来给可视化缓冲区的大小定尺寸会增加可视化缓冲区的大小。此外,响应于带宽改善的确定,使用客户端设备的带宽来给可视化缓冲区的大小定尺寸会减少可视化缓冲区的大小。这种给可视化缓冲区的大小定尺寸允许多个时间匹配帧被动态地发布到可视化缓冲区。例如,在一些实施例中,减小发布到可视化缓冲区的时间匹配帧的数量会减少客户端设备上的负载。
在一些实施例中,根据对客户端设备的带宽的确定来进行视频馈送的接收、查询的发送或其组合。例如,在一些实施例中,客户端设备的带宽是动态的,并且取决于许多因素(例如,网络106的带宽、广播系统150的带宽等)而改变。
图3是图示了用于定制和合成视频馈送的过程的实施例的流程图。该过程可以由诸如图1所示的服务器100之类的服务器来实行。
该过程开始于接收针对与一个或多个用户特定特性相关联的内容的请求(352)。服务器使用通信接口接收数据和向远程客户端设备发送数据。
该过程基于请求来确定内容,包括通过查找与该请求相关联的内容(354)。该内容可以包括数据和/或元数据,其中数据可以由客户端直接输出或者由客户端后处理以用于在合成视频馈送中输出。作为非限制性示例,数据包括图形、文本或音频。元数据定义了如何在合成视频馈送中输出数据,诸如视觉效果(诸如alpha光晕)、速度、方向、刷新率、退出条件和交互规则。
该过程可以通过使用简档来追踪请求或用户偏好。例如,如果该请求附有用户特定特性,则这些特性被存储在追踪特定用户的兴趣和/或行为的用户简档中。如上所述,在一些实施例中,服务器使用由客户端设备发送的用户标识符、通过使用将用户特性映射到该特定用户感兴趣的内容的查找表或其他数据库来查找该用户感兴趣的内容。
该过程响应于内容请求向远程客户端设备发送所确定的内容(356)。该内容可以通过任何类型的通信接口或网络来发送。
用于定制和合成视频馈送的过程能在各种环境中找到应用。下图示出了新闻广播的示例。
图4A示出了在客户端设备处定制和合成的新闻广播的示例。在该示例中,定制数据元素是新闻广播中显示的文本滚动。背景视频403是新闻播音员正在朗读关于全球公共卫生发展的突发新闻。新闻广播可以是预先录制的或者可以是现场直播的,并且用于定制的技术可以应用于任一种情形。如所示出的,背景视频具有各种部分,包括插图框(“突发新闻”),该插图框可以显示附加的视频,诸如来自在现场采访不同人的记者的内容。
底部文本滚动407示出了当前股票价格。该突发新闻对各种公司的股票价格产生了影响,降低了邮轮公司(CRUS)和航空公司(WINGS)的价格,同时增加了远程办公公司(TLWK)和清洁用品公司(SANI)的价格。查看该新闻广播的用户可能对一些公司特别感兴趣,例如,如果他是TLWK(由数据元素405表示)的投资者的话。
文本滚动407是数据元素的示例,该数据元素是与背景视频馈送的一部分匹配的(一个或多个)数据元素的示例。背景视频403和文本滚动407一起形成合成视频。用户可以与该视频交互,以获得进一步的感兴趣的信息。例如,用户可以选择数据元素405来显示与TLWK相关的附加视频或信息,如下图中所示。
视频时间戳将该文本滚动实例化(爬虫)。基于个体用户简档和视频时间戳,周期性地从服务器请求针对爬虫的数据,将其下载到客户端,并且然后在本地呈现。针对爬虫的格式可以作为标记被包括在内。爬虫的行为(速度、方向、交互规则、刷新周期、退出条件(使爬行消失的内容))可以作为各种代码命令被包括在该下载中。
图4B示出了在客户端设备处定制和合成的新闻广播的示例。在该示例中,定制数据元素是分支视频,该分支视频显示了关于用户感兴趣的主体的深入报道。背景视频馈送或合成视频馈送可以响应于与合成视频馈送的一个或多个数据元素(例如,特定股票代号)的用户交互而被更新。图4B示出了在用户已经选择了数据元素(模块)405之后的用户接口的状态。诸如框元素之类的模块是本地呈现的数据。针对模块的格式化可以是嵌入的标记。当用户触摸或点击模块之一(数据元素405)时,它触发了新视频流(例如,数据元素409)的打开。显示了该公司今年的销售额与跟去年相同时间范围内的销售额相比的图表。该图表可以附有其他多媒体,诸如解释TLWK股票价格何时上涨的解说。用以显示定制数据元素的方式仅仅是说明性的,而不意图是限制性的。例如,数据元素409可以显示在用户接口的其他部分(诸如,“突发新闻”插图)中,可以填充整个屏幕,或者可以被快速拍摄(snap)以占据用户接口中的更多/更少空间。也可以显示其他定制数据元素。例如,用户可以同时查看关于TLWK的数据元素和关于SANI的另一个数据元素。这允许用户在仍然查看背景视频的同时注视许多感兴趣的对象/主题。例如,用户可以在背景视频播放的同时研究关于TWLK的深入报道,并且当另一条突发新闻影响SANI的股票价格时,则用户可以容易地退出TWLK深入报道,并且将注意力转向SANI。
数据元素可以是其他类型的多媒体,诸如采用针对特定用户而定制的语言的音轨和/或针对特定用户而定制的音乐。作为另一个示例,背景视频馈送可以是广告,并且可以例如基于用户的地理位置(税收可能因地区而不同)或基于特定用户的生活成本或感知价值来针对用户定制诸如价格之类的数据元素(例如,文本串)/使该数据元素针对用户。
用于定制和合成视频馈送的过程能在各种环境中找到应用。下图示出了实况体育事件的示例。
图5A-5C示出了在客户端设备处定制和合成的体育事件的示例。在一些实施例中,实况事件是体育事件(例如,第一队伍与第二队伍之间的体育事件)。例如,在一些实施例中,实况事件是第一队伍与第二队伍之间的橄榄球比赛、足球比赛、网球比赛、水球比赛等。视频馈送包括多个帧(例如,由相应相机140捕获的帧)。视频馈送可以包括静态的帧数(例如,每秒16、24、28或60帧)或动态的帧数。视频的每秒动态帧数可以根据网络和/或客户端设备的带宽。
用户偏好设置指示针对要覆盖到视频馈送(503)上的一个或多个图形数据元素(例如,509或511)、和/或视频馈送的取向或优选相机的偏好。例如,在一些实施例中,用户偏好设置指示用户更喜欢从第一相机(例如,景观(landscape)相机视图)而不是第二相机(例如,部分景观相机视图)接收视频馈送。此外,用户偏好设置指示用于显示图形数据元素509的偏好,该图形数据元素509标识了与相应主体505有关的各种信息。用户偏好设置指示用于显示如下图形数据元素的偏好,该图形数据元素包括例如球的位置(例如,球的位置信息)、当前的球携带者、主体的行进路径(例如,球在比赛期间的行进路径)、比赛时钟数据元素507、赛局时钟数据元素、和/或比赛状态数据元素。
在一些实施例中,用户偏好设置指示用于显示提供投资平台(例如,投资模块718)的图形数据元素的偏好。在一些实施例中,用户偏好设置指示用于显示提供基于文本的信息(例如,天气信息、新闻等)的数据元素的偏好。因此,使得用户能够将视频馈送个人化,并且与其交互,以使查看体验符合他们的特定偏好。这还允许用户设备通过防止不必要地传送用户已经指示对其不感兴趣的数据流,来优化从计算机系统(例如,图1所示的系统)接收到的数据量。
该多个数据元素包括多个比赛时钟数据元素(例如,比赛时钟元素的数组和相关联的元数据)、比赛状态数据元素(例如,比赛状态元素的数组和相关联的元数据)、位置信息数据元素(例如,一个或多个主体的位置信息的数组和相关联的元数据)、图形数据元素(例如,多个嵌入的图形、诸如新闻和/或天气之类的多个文本数据元素、以及相关联的元数据)、文本数据元素(例如,新文章、天气信息等)、体育事件在匹配的时间戳值处的得分等。
该多个数据元素可以包括数据元素的一个或多个数组。例如,在一些实施例中,该多个数据元素包括比赛时钟数据的数组和相关联的时间戳。在一些实施例中,该多个数据元素包括赛局时钟数据的数组和相关联的时间戳。在一些实施例中,该多个数据元素中的每个数据元素被提供为数据数组。然而,表1描绘了由图1所示的计算机系统存储的比赛时钟数据元素的示例性数组、比赛状态数据元素的示例性数组、以及与每个相应数组相关联的带时间戳的元数据。
表1 比赛时钟数据元素和比赛状态数据元素的示例性数组
示例性比赛时钟数据元素(节:分钟:秒) 示例性比赛状态数据元素(当前进攻) 示例性带时间戳的元数据(小时:分钟:秒)
1:15:00 第一次进攻 00:00:00
1:14:59 第一次进攻 00:00:01
1:14:58 第一次进攻 00:00:02
1:14:58 第二次进攻 00:00:03
1:14:58 第二次进攻 00:00:04
1:14:57 第二次进攻 00:00:05
1:14:56 第三次进攻 00:00:06
1:14:55 第三次进攻 00:00:07
1:14:54 第一次进攻 00:00:08
1:14:54 第一次进攻 00:00:09
1:14:54 第一次进攻 00:00:10
本文中公开的技术可以在体育事件流送环境中找到应用。下图示出了用于捕获背景视频馈送、以及确定可以与背景视频馈送一起以定制方式显示以迎合用户偏好的内容的系统和过程的示例。
图6是图示了用于定制和合成视频馈送的系统的实施例的框图。与图1相比,系统600包括附加的元素,以便于实况体育事件的视频定制和合成。系统600包括通信接口107和处理器100(其类似于图1的服务器100,除非另行描述)。通信接口107被配置成接收在竞赛中第一组(一个或多个)参与者和第二组(一个或多个)参与者中的一个或两者的一个或多个参与者的带时间戳的位置信息。在各种实施例中,带时间戳的位置信息由遥测跟踪系统在该竞赛期间捕获。在该示例中,遥测跟踪系统由(一个或多个)跟踪设备300-1至300-P、(一个或多个)锚设备120-1至120-Q、以及可选地(一个或多个)相机140-1至140-S组成,如下文进一步描述的,它们由跟踪器管理系统400管理。
处理器100耦合到通信接口107,并且被配置成:例如在当前竞赛正在进行的同时,在时间点处和/或到该时间点为止来计算第一组参与者和第二组参与者中的一个或两者中的一个或多个参与者中的每一个的第一协变量参数。每个相应的第一协变量参数是从本竞赛中的第一组或第二组的一个或多个参与者中的对应参与者在该时间点处的带时间戳的位置信息中导出的。
在各种实施例中,处理器100包括:用于跟踪多个主体的跟踪管理系统400以及用于管理各种统计数据的统计系统500。跟踪设备管理系统400便于管理该系统的一个或多个跟踪设备300和一个或多个锚设备120。统计系统500存储和/或生成各种统计数据,以用于预测诸如实况体育事件之类的竞赛的结果,提供对体育事件和其他类似活动中的各种情况或结果投资的赔率(odds)。在各种实施例中,跟踪管理系统400和统计系统500包括:运行在处理器100和/或单独的或可能是单独的系统上的软件引擎或模块,每个包括和/或运行在包括处理器100的一个或多个处理器上。
在各种实施例中,系统600包括:用于管理赔率的赔率管理系统600以及多个用户设备700-1至700-R。尽管赔率管理系统600被示为在处理器100外部,但是在一些实施例中,赔率管理系统被包括在处理器中。赔率管理系统600便于确定体育事件中的结果的赔率,并且管理与预测实况赛事的结果有关的各种模型。
在一些实施例中,该系统包括一个或多个用户设备700,这些用户设备700便于终端用户与本公开的各种系统(诸如赔率管理系统600)进行交互。此外,在一些实施例中,系统600包括:一个或多个相机140,这些相机140捕获实况事件的实况图像和/或视频,然后由本公开的系统利用这些实况图像和/或视频。在一些实施例中,相机140包括一个或多个高分辨率相机。作为非限制性示例,一个或多个高分辨率相机包括具有1080p分辨率、1440p分辨率、2K分辨率、4K分辨率或8K分辨率的相机。
上述组件可选地通过通信网络而互连。虚线框中的元件可选地被组合为单个系统或设备。当然,计算机系统600的其他拓扑结构也是可能的。例如,在一些实现方式中,任何所图示的设备和系统实际上可以构成在网络中链接在一起的若干个计算机系统,或者可以是云计算环境中的虚拟机或容器。此外,在一些实施例中,所图示的设备和系统不是依赖于物理通信网络106,而是在彼此之间无线传输信息。因此,图6所示的示例性拓扑结构仅用于以本领域技术人员将容易理解的方式来描述本公开的实施例的特征。
在一些实现方式中,通信网络106对以下各项彼此进行互连:管理一个或多个跟踪设备300和一个或多个锚120的跟踪设备管理系统400、统计系统500、赔率管理系统600、一个或多个用户设备700和一个或多个相机140、以及可选的外部系统和设备。在一些实现方式中,通信网络106可选地包括互联网、一个或多个局域网(LAN)、一个或多个广域网(WAN)、其他类型的网络或这样的网络的组合。
网络106的示例包括:万维网(WWW)、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及通过无线通信的其他设备。无线通信可选地使用多个通信标准、协议和技术中的任何一个,包括全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息传递(例如,可扩展消息传递和出席协议(XMPP)、利用扩展的即时消息传递和出席的会话发起协议(SIMPLE)、即时消息传递和出席服务(IMPS))和/或短消息服务(SMS)或任何其他合适的通信协议,包括截至本文档的申请日尚未开发的通信协议。
在各种实施例中,处理器100包括:便于预测竞赛的结果的机器学习引擎210(参见图7A)。下图更详细地描述了包括机器学习引擎的处理器100的示例。
图7A和图7B示出了图示用于定制和合成视频馈送的系统的实施例的框图。如图7A中描绘的,锚设备阵列120从一个或多个跟踪设备300接收遥测数据230。为了在从一个或多个跟踪设备300接收遥测时使误差最小化,锚设备阵列120优选地包括至少三个锚设备。在锚设备阵列内包括至少三个锚设备120允许使用来自接收相应ping的至少三个锚的组合数据对从相应跟踪设备300接收到的每个ping(例如,遥测数据230)进行三角测量。关于用于从跟踪设备接收ping的系统和方法及其优化的附加细节和信息将在下文中、特别是参考至少图3和图4更详细地描述。
在所示的示例中,由锚阵列120从一个或多个跟踪设备300接收到的遥测数据230包括位置遥测数据232。位置遥测数据232提供了针对相应跟踪设备300的位置数据,该位置数据描述了跟踪设备在空间区域内的位置。在一些实施例中,该位置遥测数据232被提供为描述了每个相应跟踪设备300的位置的一个或多个笛卡尔坐标(例如,X坐标、Y坐标和/或Z坐标),尽管在替代实施例中使用描述了每个相应跟踪设备300的位置的任何坐标系(例如,极坐标等)。
由锚阵列120从一个或多个跟踪设备300接收到的遥测数据230包括:动力学遥测数据234。动力学遥测数据234提供了与相应跟踪设备的各种运动学有关的数据。在一些实施例中,该动力学遥测数据234被提供为相应跟踪设备300的速度、相应跟踪设备的加速度和/或相应跟踪设备的加加速度(jerk)。另外,在一些实施例中,上述值中的一个或多个是从相应跟踪设备300的加速度计(例如,图8的加速度计317)确定的,和/或是从相应跟踪设备的位置遥测数据232中导出的。另外,在一些实施例中,锚阵列120从一个或多个跟踪设备300接收到的遥测数据230包括生物计量遥测数据236。生物计量遥测数据236提供与关联于相应跟踪设备300的每个主体有关的生物计量信息。在一些实施例中,该生物计量信息包括主体的心率、温度(例如,皮肤温度、时间温度等)等等。
在一些实施例中,锚阵列120将上述遥测数据(例如,位置遥测232、动力学遥测234、生物计量遥测236)传送到遥测解析系统240。因此,在一些实施例中,遥测解析系统240将遥测数据(例如,数据流244)传送到机器学习引擎210和/或实时数据打包器246,用于进一步处理和分析。
在一些实施例中,实时数据打包器246通过使用与相应数据相关联的一个或多个时间戳来同步一个或多个数据源(例如,来自遥测解析系统240、比赛统计输入系统250、机器学习引擎210等的流送数据244)。例如,在一些实施例中,数据源提供了与真实世界时钟时间戳相关联的数据(例如,事件发生在下午1:17的真实世界时间并且与其相关联)。在一些实施例中,数据源提供了与关于实况体育事件的比赛时钟时间戳相关联的数据(例如,事件在第二节还剩2分15秒的情况下发生)。此外,在一些实施例中,数据源提供了与真实世界时钟时间戳和比赛时钟时间戳两者相关联的数据。经由时间戳对数据源的同步允许本公开的设计者提供具有附加的准确性层次的服务,特别是在对实况事件的结果投注和投资的情况下。例如,在一些实施例中,提供给用户设备700的数据(例如,图7B的流送数据280和/或直接数据282)描述了对橄榄球比赛中的下一赛局投资(例如,赔率)。为了确定用户设备700的终端用户是否在预定的时间窗口内(例如,在下一赛局的投球之前)投资,分析从用户设备接收到的和/或传送到用户设备的比赛时钟和真实世界时间数据,并且验证、拒绝或保持该投资以供进一步考虑。
在一些实施例中,机器学习引擎210接收来自本公开的各种源的数据,以便预测实况体育事件的未来结果,并且生成统计数据以供分析和使用。例如,在一些实施例中,机器学习引擎210的数据源包括位置数据阵型(formation)分类器212,在下文中被称为“神经网络”,位置数据阵型分类器212在比赛中的任何给定时间点处提供与运动员的各种配置和阵型有关的信息。例如,在一些实施例中,阵型分类器212解析遥测数据230以分析运动员的预投球(pre-snap)阵型。对预投球遥测数据230的分析允许阵型分类器212确定比赛的各种状态和状况,诸如比赛的进攻、比赛内的位置规则违反(例如,越位、非法运动等)等等。此外,在一些实施例中,阵型分类器212分析在赛局开始之后接收到的遥测数据230,以便进一步生成与每个阵型如何演变有关的数据和信息(例如,预期跑动路线相比于实际跑动路线、预期阻挡指派相比于动作阻挡指派、运动员在整个赛局的速度、在整个赛局中两个运动员之间的距离等)。
在一些实施例中,机器学习引擎210包括历史训练数据存储214。历史数据存储214提供与每个特定体育运动(例如,图10的体育运动历史数据508)、与该特定体育运动相关联的每个特定队伍(例如,图10的队伍历史数据510)、和/或与该特定体育运动和/或队伍相关联的每个特定运动员(例如,图10的运动员历史数据514)有关的历史数据和信息。在一些实施例中,该数据最初被用作针对机器学习引擎210的训练数据集。然而,本公开不限于此,因为该数据还可以用来进一步扩充由机器学习引擎210和本公开的其他系统提供的特征和服务。
另外,在一些实施例中,机器学习引擎210包括用来预测体育事件的未来结果并且提供体育事件的分析的各种模型220。在一些实施例中,机器学习引擎210的模型220包括期望点数(expected point)模型222。期望点数模型222经由数值来提供在该事件处得到针对特定赛局的点数的可能性。在一些实施例中,机器学习引擎210的模型220包括获胜概率模型224,该获胜概率模型224提供该事件的每个参与队伍获胜的可能性、或在该事件处的获胜与失败队伍之间的任何给定点数分布的可能性。另外,在一些实施例中,机器学习引擎210的模型220包括基于运动员的胜于替换(wins above replacement,WAR)模型226。WAR模型226提供相应运动员添加到其对应队伍的贡献值(例如,运动员1向相应队伍提供值1,并且运动员2向相应队伍提供值2,因此运动员2对相应队伍更有价值)。
在一些实施例中,机器学习引擎210包括情形存储228。情形存储228是各种情形细节和/或统计数据的高速缓存,该高速缓存在真实比赛场景期间被快速访问。对情形存储228的快速访问防止了迟延(lag),否则将会由于为了获得相同的信息来查询不同的数据库和系统(例如,位置数据阵型分类器212、历史训练数据214等)而引发该迟延。关于机器学习引擎以及其中的组件的附加细节和信息(包括各种上述数据存储和模型)将在下文中、特别是参照至少图10和11更详细地描述。
机器学习引擎210将其中的各种数据库和模型的各种赔率和输出传送到赔率管理系统600。在与机器学习引擎210通信时,赔率管理系统600向用户设备700提供体育事件处针对未来事件的各种投资和预测性赔率,同时还实时更新这些赔率以反映比赛的当前情形和统计数据。
如图7B中描绘的,在一些实施例中,系统600包括比赛统计输入系统250。比赛统计输入系统250被配置成用于至少提供:赛局内数据(in play data)254,其在橄榄球的示例情况下描述了该比赛在给定赛局期间的状态(例如,弱侧接球者按post路线进行跑动);以及赛局结束数据256,其描述了该比赛在给定赛局之后的状态(例如,赛局导致在对手42码线处的第一次进攻)。在一些实施例中,统计输入系统250的数据与世界和比赛时钟242相关联,并且因此被传送到遥测解析系统240和/或机器学习引擎210。在一些实施例中,比赛统计输入系统250被阵型分类器212包括在内。
在一些实施例中,各种数据被传送到应用编程接口(API)服务器260。该数据可以包括流送数据244、赛局结束数据256、来自赔率管理系统600的数据或其组合。因此,API服务器260便于该系统的各种组件、一个或多个用户设备700和主统计数据库270之间的通信,以便提供本公开的各种特征和服务(例如,比赛的流、针对统计数据的请求、对赛局投资等)。API服务器260与一个或多个用户设备700之间的通信包括通过通信网络106向每个相应用户设备700提供流送数据280和/或直接数据282、以及从每个相应用户设备接收各种请求284。作为非限制性示例,流送数据280包括:跟踪“遥测”数据,包括运动员的xyz坐标或运动员的加速度计数据,直接数据282包括时钟、得分或剩余暂停(timeout)。
在一些实施例中,主统计数据库270包括对于机器学习引擎210已知的对于用户可获得的一些或所有统计数据。主统计数据库定期地更新,诸如在每个赛局或每几个赛局结束时更新。例如,在一些实施例中,仅对于机器学习引擎210已知的统计数据的一部分期望可由用户获得,并且因此被存储在主统计数据库270中。然而,本公开不限于此。例如,在一些实施例中,主统计数据库270被机器学习引擎270所包含。虚线框中的元件可选地被组合为单个系统或设备。
既然已经大体上描述了系统600的基础设施,将参照图3来描述示例性跟踪设备300。
图8是图示了跟踪设备的实施例的框图。在各种实现方式中,在下文中也被称为“跟踪器”的跟踪设备包括:一个或多个处理单元(CPU)374、存储器302(例如,随机存取存储器)、可选地由一个或多个控制器388访问的一个或多个磁盘存储装置和/或永久设备390、网络或其他通信接口(其可以包括RF电路)384、加速度计317、一个或多个可选的强度传感器364、可选的输入/输出(I/O)子系统366、用于互连上述组件的一个或多个通信总线313、以及用于给上述组件供电的电源供给376。在一些实现方式中,使用诸如高速缓存之类的已知计算技术与非易失性存储器390无缝地共享存储器302中的数据。在一些实现方式中,存储器302和/或存储器390实际上可以托管在跟踪设备300外部的计算机上,但是该计算机可以由跟踪设备300使用网络接口384通过互联网、内联网或其他形式的网络或电子线缆(在图7中图示为元件106)来电子地访问。
在各种实施例中,除了(一个或多个)加速度计317之外,图8中图示的跟踪设备300还包括磁力计和/或GPS(或GLONASS或其他全球导航系统)接收器,用于获得关于跟踪设备300的位置和/或取向(例如,肖像或景观)的信息。
应当领会的是,图8中图示的跟踪设备300仅是可以用于获得对应主体的遥测数据(例如,位置遥测232、动力学遥测234和生物计量遥测236)的设备的一个示例,并且跟踪设备300可选地具有比所示的组件更多或更少的组件,可选地组合两个或更多个组件,或者可选地具有不同的组件配置或布置。图8所示的各种组件以硬件、软件、固件或其组合(包括一个或多个信号处理和/或专用集成电路)来实现。
图8中图示的跟踪设备300的存储器302可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪速存储器设备或其他非易失性固态存储器设备。由跟踪设备300的其他组件(诸如,(一个或多个)CPU 374)对存储器302的访问可选地由存储器控制器388来控制。
在一些实施例中,(一个或多个)CPU 374和存储器控制器388可选地在单个芯片上实现。在一些其他实施例中,(一个或多个)CPU 374和存储器控制器388在单独的芯片上实现。
网络接口384的射频(RF)电路接收和发送RF信号,也被称为电磁信号。在一些实施例中,RF电路384将电信号转换成电磁信号/从电磁信号转换电信号,并且经由电磁信号与通信网络和其他通信设备进行通信,该其他通信设备诸如是一个或多个锚设备120和/或跟踪设备管理系统400。RF电路384可选地包括用于实行这些功能的众所周知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块(SIM)卡、存储器等等。在一些实施例中,RF电路384可选地与通信网络106通信。
在一些实施例中,网络接口(包括RF电路)384经由超宽带(UWB)技术进行操作,该技术允许跟踪设备300在拥挤空间区域(诸如实况体育事件)中与锚设备阵列120通信。在一些实施例中,跟踪设备300以预定中心频率(例如,6.55 GHz±200 mHz,产生大约6.35 GHz到大约6.75 GHz的总传输频率范围)来传输低功率(例如,近似1毫瓦(mW))信号。如本文中使用的,这些通信和传输在下文中被称为“ping”。对于UWB的讨论,参见Jiang等人在2000年的“Ultra-Wide Band technology applications in construction:a review”(Organization,Technology and Management in Construction 2(2),207-213)。
在一些实施例中,电源供给358可选地包括功率管理系统、一个或多个电源(例如,电池、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED))、以及与这样的跟踪设备300中的功率的生成、管理和分配相关联的任何其他组件。在一些实施例中,遥测数据230包括与相应跟踪设备300的电源供给358有关的信息,诸如电池消耗或直到跟踪设备需要更多功率为止的预期时间段。
在一些实现方式中,用于跟踪相应主体的跟踪设备300的存储器302存储:
• 操作系统304(例如,ANDROID、iOS、DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS或诸如VxWorks之类的嵌入式操作系统)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、功率管理等)的各种软件组件和/或驱动程序,并且便于各种硬件和软件组件之间的通信;
• 跟踪设备标识符模块305,其存储用于标识相应跟踪设备300的数据,包括跟踪设备标识符306和可选的跟踪设备组标识符307;以及
• 跟踪设备ping模块308,其存储与相应跟踪设备的ping速率有关的数据和信息,跟踪设备ping模块308包括:
o 瞬时ping速率310,其描述相应跟踪设备300当前以其操作的当前ping速率,
o 最小ping速率312,其描述相应跟踪设备300可以以其操作的最小ping速率,
o 最大ping速率314,其描述相应跟踪设备300可以以其操作的最大ping速率,
o 阈值ping速率316,其描述相应跟踪设备300可以以其操作的最小ping速率,以及
o 可变ping速率标志318。
跟踪设备标识符模块305存储与从多个跟踪设备(例如,跟踪设备1 300-1、跟踪设备2 300-3……跟踪设备P 300-P)中标识相应跟踪设备300有关的信息。在一些实施例中,由跟踪设备标识符模块305存储的信息包括:跟踪设备标识符(ID)306,该跟踪设备标识符(ID)306包括表示相应跟踪设备300的唯一ID(例如,序列号或代码)。在一些实施例中,跟踪设备ID模块305包括跟踪设备组ID 307,该跟踪设备组ID 307将相应跟踪设备300指定给一个或多个跟踪设备组(例如,图9的跟踪设备组418-2)。另外,在一些实施例中,由相应跟踪设备300传送的ping包括跟踪设备ID模块305的数据,从而允许锚设备阵列120标识从多于一个跟踪设备接收到的ping。关于跟踪设备300的分组的附加细节和信息将在下面、特别是参照至少图9更详细地描述。
跟踪设备ping模块308存储与相应跟踪设备300的各种ping参数和状况有关的数据和信息,以及便于管理ping。例如,在一些实施例中,跟踪设备ping模块308管理相应跟踪设备300的瞬时ping速率310(例如,将瞬时ping速率310管理成是10赫兹(HZ))。在一些实施例中,跟踪设备300被配置有一个或多个ping速率限制,包括最小ping速率312和最大ping速率314中的一个或两者,它们定义了跟踪设备300可以传输ping的最大和最小ping速率。例如,在一些实施例中,最小ping速率312和/或最大ping速率314可以由跟踪设备管理系统400基于带宽限制、活动跟踪设备300的数量、以及预期活动的类型(例如,体育运动和/或事件类型、预期主体活动等)中的一个或多个来设置。当配置有一个或两个ping速率限制时,跟踪设备ping模块308进行操作以在最小ping速率312与最大ping速率314之间调整瞬时ping速率310。因此,跟踪管理系统400的自动优化可以与跟踪设备300的自动ping速率调整结合地使用。在一些实施例中,跟踪设备ping模块308被配置成将来自加速度计317的检测到的运动与预定义阈值316进行比较。因此,ping模块308根据检测到的运动大于预定义阈值316的确定来增加瞬时ping速率310(例如,直到瞬时ping速率310达到最大ping速率314)。类似地,ping模块308根据检测到的运动小于阈值ping速率316的确定来降低瞬时ping速率310(例如,直到瞬时ping速率310达到最小ping速率312)。
在一些实施例中,ping模块310包括由跟踪设备管理系统400来配置(例如,无线地设置)的可变ping速率标志318,该可变ping速率标志318基于所确定的活动来确定ping模块308是否自动地改变瞬时ping速率310。例如,跟踪设备管理系统400可以针对与当前没有在赛局场地上参与的运动员相关联的一个或多个跟踪设备300将可变ping速率标志318设置为“假”,其中,例如即使运动员正在积极地热身,瞬时ping速率310也保持在低速率。跟踪设备管理系统400针对在赛局场地上积极参与的一个或多个运动员将可变ping速率标志318设置为“真”。另外,在一些实施例中,基于相应跟踪设备的位置来动态配置每个跟踪设备300。例如,根据跟踪设备300在赛局场地内的确定(例如,如果运动员正在积极地参与比赛),而不是跟踪设备在赛局场地之外的确定(例如,如果运动员没有积极地参与比赛)。
利用跟踪设备ping模型308和/或跟踪设备300内的传感器(例如,加速度计317和/或可选的传感器364)增加了系统600(例如,锚阵列120、遥测解析系统240、跟踪设备管理系统400等)跟踪与该跟踪设备一起设置的主体的可靠性。
如先前所述,在一些实施例中,每个跟踪设备300提供遥测数据230,该遥测数据230由靠近相应跟踪设备300的各种锚120来接收和传送。该遥测数据包括位置遥测数据232(例如,X、Y和/或Z坐标)、动力学遥测数据234(例如,速度、加速度和/或加加速度)和/或生物计量遥测数据236(例如,心率、运动员的身体属性,诸如肩宽等)。
在一些实施例中,比赛中的每个主体被配备有多于一个跟踪设备300,以便增加从跟踪设备接收到的关于该主体的数据的准确性。例如,在一些实施例中,相应主体的左肩和右肩两者都配备有跟踪设备300,每个这样的跟踪设备正常运作并且具有到锚120的至少一个子集的位点线(line of site)。因此,在一些实施例中,来自左和右跟踪设备300的数据使它们的遥测数据230被组合以形成单个带时间戳的对象。该单个对象组合了来自两个跟踪设备300的位置数据,以创建相应运动员的位置的中心线表示。此外,该中心线计算的位置提供了运动员在赛局场地上的位置中心的更准确表示。另外,在如上所述的那样创建了单个运动员对象之前,使用来自定位在运动员的左肩和右肩上的两个跟踪设备300的相对位置数据允许系统600确定运动员正在面对的方向(例如,旋转)。在各种实施例中,包括旋转数据极大地简化了从以下数据中创建化身(avatar)的任务,该数据是通过在比赛期间记录遥测数据230、和/或建立可以用来更好地预测比赛中的未来事件或比赛本身的最终结果的复杂协变量而创建的。
在一些实施例中,跟踪设备300具有在图8中所描绘的设备中找到的任何或所有电路、硬件组件和软件组件。为了简洁和清楚起见,仅示出了跟踪设备300的可能组件中的几个,以更好地强调安装在跟踪设备300上的附加软件模块。
图9是图示了跟踪设备管理系统的实施例的框图。跟踪设备管理系统400与一个或多个跟踪设备300和锚120相关联。跟踪设备管理系统400包括:一个或多个处理单元(CPU)474、外围设备接口470、存储器控制器488、网络或其他通信接口484、存储器402(例如,随机存取存储器)、用户接口478(该用户接口478包括显示器482和输入480(例如,键盘、小键盘、触摸屏等))、输入/输出(I/O)子系统466、用于互连上述组件的一个或多个通信总线413、以及用于给上述组件供电的电源供给系统476。
在一些实施例中,输入480是触敏显示器,诸如触敏表面。在一些实施例中,用户接口478包括一个或多个软键盘实施例。软键盘实施例可以包括所显示图标上的符号的标准(QWERTY)和/或非标准配置。
应当领会的是,跟踪设备管理系统400仅仅是可以用于与各种跟踪设备300接合的系统的一个示例,并且跟踪设备管理系统400可选地具有比所示的组件更多或更少的组件,可选地组合了两个或更多个组件,或者可选地具有不同的组件配置或布置。图9所示的各种组件以硬件、软件、固件或其组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器402可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪速存储器设备或其他非易失性固态存储器设备。管理系统400的其他组件(诸如,(一个或多个)CPU 474)对存储器402的访问可选地由存储器控制器488控制。
外围设备接口470可以用来将管理系统的输入和输出外围设备耦合到(一个或多个)CPU 474和存储器402。一个或多个处理器474运行或执行存储在存储器402中的各种软件程序和/或指令集,以实行针对管理系统400的各种功能并且处理数据。
在一些实施例中,外围设备接口470、(一个或多个)CPU 474和存储器控制器488可选地在单个芯片上实现。在一些其他实施例中,它们可选地在单独的芯片上实现。
在一些实施例中,电源系统476可选地包括功率管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED)等)、以及与便携式设备中的功率的生成、管理和分配相关联的任何其他组件。
如图9中图示的,跟踪设备管理系统的存储器402优选地存储以下各项:
• 操作系统404(例如,ANDROID、iOS、DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS或诸如VxWorks之类的嵌入式操作系统)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动程序,并且便于各种硬件和软件组件之间的通信;以及
• 跟踪设备管理器模块406,用于便于对一个或多个跟踪设备300的管理,该跟踪设备管理器模块包括:
o 跟踪设备标识符存储408,用于存储与每个相应跟踪设备410-1有关的相关信息,包括跟踪设备标识符306和跟踪设备ping速率414,以及
o 跟踪设备分组存储416,用于便于对一个或多个跟踪设备组307的管理。
跟踪设备标识符存储408包括与每个相应跟踪设备410-1有关的信息,包括每个相应跟踪设备300的跟踪设备标识符(ID)306、以及相应跟踪设备与其相关联的跟踪设备组307。例如,在一些实施例中,第一跟踪设备组307-1与每个相应主体的左肩相关联,并且第二跟踪设备组307-2与每个相应主体的右肩相关联。此外,在一些实施例中,第三跟踪设备组307-3与每个相应主体的第一位置(例如,接收器、防御端、安全等)相关联,并且第四跟踪设备组307-4与第二位置相关联。跟踪设备300的分组307允许利用特定ping速率(例如,用于运行回退的更快ping速率)来指定特定的组。跟踪设备300的分组307还允许特定组与不与相应组相关联的其他跟踪设备隔离,这在查看由该组的跟踪设备提供的遥测数据230的表示中是有用的。与跟踪设备和跟踪设备管理系统有关的附加信息可在题为“ObjectTracking System Optimization and Tools.”的美国专利第9,950,238号中找到。
图10是图示了统计系统的实施例的框图。根据本公开,统计系统500存储并且确定各种统计数据。统计系统500包括:一个或多个处理单元(CPU)574、外围设备接口570、存储器控制器588、网络或其他通信接口584、存储器502(例如,随机存取存储器)、用户接口578(该用户接口578包括显示器582和输入580(例如,键盘、小键盘、触摸屏等))、输入/输出(I/O)子系统566、用于互连上述组件的一个或多个通信总线513、以及用于给上述组件供电的电源供给系统576。
在一些实施例中,输入580是触敏显示器,诸如触敏表面。在一些实施例中,用户接口578包括一个或多个软键盘实施例。软键盘实施例可以包括所显示图标上的符号的标准(QWERTY)和/或非标准配置。
应当领会的是,统计系统500仅仅是可以用于开始和确定各种统计数据的系统的一个示例,并且统计系统500可选地具有比所示的组件更多或更少的组件,可选地组合了两个或更多个组件,或者可选地具有不同的组件配置或布置。图10所示的各种组件以硬件、软件、固件或其组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器502可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪速存储器设备或其他非易失性固态存储器设备。统计系统500的其他组件(诸如,(一个或多个)CPU 574)对存储器502的访问可选地由存储器控制器588控制。
外围设备接口570可以用来将管理系统的输入和输出外围设备耦合到(一个或多个)CPU 574和存储器502。一个或多个处理器574运行或执行存储在存储器502中的各种软件程序和/或指令集,以实行统计系统500的各种功能并且处理数据。
在一些实施例中,外围设备接口570、(一个或多个)CPU 574和存储器控制器588可选地在单个芯片上实现。在一些其他实施例中,它们可选地在单独的芯片上实现。
在一些实施例中,电源系统576可选地包括功率管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED)等)、以及与便携式设备中的功率的生成、管理和分配相关联的任何其他组件。
如图10中图示的,远程用户设备的存储器502优选地存储以下各项:
• 操作系统504(例如,ANDROID、iOS、DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS或诸如VxWorks之类的嵌入式操作系统)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动程序,并且便于各种硬件和软件组件之间的通信;
• 位置阵型分类器212,用于确定和分析运动员的阵型;
• 历史训练数据存储214,用于存储与每个体育运动508有关的各种统计数据,其中,每个体育运动508包括一个或多个队伍512的各种队伍历史数据510、以及一个或多个运动员516的各种运动员统计数据514;以及
• 情形存储228,用于存储与运动员的阵型和比赛情形有关的数据。
位置阵型分类器212(有时简称为阵型分类器)提供与运动员在比赛中的任何给定时间点处的各种状态和阵型有关的信息。例如,在一些实施例中,阵型分类器212解析遥测数据230以便确定预投球阵型。因此,一旦确定了阵型,并且解析了遥测数据230,就可以确定阵型的子类别(例如,具有定义了不同回跑的不同子类别的I-阵型)。此外,在一些实施例中,阵型分类器212充当虚拟裁判,并且确定在比赛或赛局中是否发生了违规,诸如运动员越位、中立区违规、非法运动、非法阵型等等。在一些实施例中,阵型分类器212包括橄榄球比赛中的各种阵型的一个或多个表,诸如进攻组阵型的第一个表、防守组阵型的第二个表、以及特勤组(special team)阵型的第三个表。在一些实施例中,上述阵型的表提供了由表2、表3和表4所描述的一些或所有阵型。
表2 示例性进攻组橄榄球阵型
示例性阵型
双翼阵型
清空后场阵型
球门线阵型
I阵型
手枪(Pistol)阵型
分立双跑卫(Pro set)阵型
短传球(Short punt)阵型
散弹枪(shotgun)阵型
单回退(Single set back)阵型
单翼阵型
T阵型
后卫散开(Tackle spread)阵型
V阵型
胜利阵型
翼式T阵型
叉骨阵型
表3 示例性防守组橄榄球阵型
示例性阵型
38阵型
46阵型
2-5阵型
3-4阵型
4-3阵型
4-4阵型
5-2阵型
5-3阵型
6-1阵型
6-2阵型
七人线阵型
五分卫阵型
十分卫阵型
四分卫阵型
半美元阵型
表4 示例性特勤组橄榄球阵型
示例性阵型
点球(Field goal)阵型
回攻(Kick return)阵型
开球(Kickoff)阵型
踢球(Punt)阵型
附加地,在一些实施例中,阵型分类器212通过比较由球提供的遥测数据230和最接近球的运动员的遥测数据来确定球携带者。同样地,在一些实施例中,确定哪个队伍拥有球是以类似的方式来进行的。另外,在一些实施例中,阵型分类器212通过分析从运动员提取的遥测数据230并且将其与赛局场地的已知边界进行比较来确定运动员是否在比赛的边界内。以此方式,阵型分类器212解析遥测数据230以提供比赛的得分记录表和/或自动彩色评论(color commentary)。
虽然阵型分类器212被标记为“神经网络”,但是应当领会的是,阵型分类器212模块不必使用神经网络分类器来实行队伍阵型的分类。在一些实施例中,阵型分类器212模块实际上利用了可以从遥测数据中辨别队伍阵型的任何分类方案。例如,在一些实施例中,阵型分类器212利用最近邻算法来实行队伍阵型的分类。在其他实施例中,阵型分类器212利用聚类来实行队伍阵型的分类。在一些实施例中,如关于图2和图3中所描述的方法和特征所公开的,由阵型分类器212对阵型类别的澄清(elucidation)被用作预测当前实况比赛的结果(例如,赢/输、点数分布等)的统计模型中的协变量。
更详细地,在一些实施例中,阵型分类器212基于逻辑回归算法、神经网络算法、支持向量机(SVM)算法、朴素贝叶斯算法、最近邻算法、提升树算法、随机森林算法或决策树算法。
作为非限制性示例,阵型分类器212基于逻辑回归算法、神经网络算法、支持向量机(SVM)算法、朴素贝叶斯算法、最近邻算法、提升树算法、随机森林算法或决策树算法。当用于分类时,SVM利用距经标记的数据最远的超平面来分离给定的一组二进制标记数据训练集。对于其中不可能进行线性分离的情况,SVM可以与“内核”的技术结合地工作,这自动实现了到特征空间的非线性映射。SVM在特征空间中找到的超平面对应于输入空间中的非线性决策边界。基于树的方法将特征空间划分成一组矩形,并且然后在每个矩形中拟合模型(比如常数)。在一些实施例中,决策树是随机森林回归。可以用作本方法的阵型分类器212的一个特定算法是分类和回归树(CART)。可以用作本方法的阵型分类器212的其他特定决策树算法包括但不限于ID3、C4.5、MART和随机森林。
在一些实施例中,历史数据存储214存储与每个体育运动508、体育联赛内的每个队伍510以及相应运动员512有关的统计数据。如先前所述,在一些实施例中,存储在历史数据存储214中的数据被用作用于机器学习引擎210和/或信息分类器212的训练数据集。例如,在一些实施例中,存储在历史数据存储214中的数据被用作联赛开始时的初始数据集,如从类似联赛的其他数据集推断出的那样(例如,如果运动员是职业新秀,则使用大学橄榄球统计数据),或者如果正在生成新的统计数据,则存储在历史数据存储214中的数据被用来创建数据点(例如,先前未知的统计数据变得相关)。另外,在一些实施例中,来自先前进行的比赛的数据被存储在历史数据存储214中。
在一些实施例中,情形存储228包括:存储在作为信息的高速缓存的机器学习引擎210的一个或多个数据库中的数据。情形存储228的该高速缓存允许快速查询和利用数据,而不是必须查询每个相应的数据库。在一些实施例中,情形存储288针对每个相应的比赛创建新的数据高速缓存。然而,本公开不限于此。
图11是图示了赔率管理系统的实施例的框图。根据本公开,赔率管理系统600存储并且确定各种赔率。赔率管理系统600包括:一个或多个处理单元(CPU)674、外围设备接口670、存储器控制器688、网络或其他通信接口684、存储器602(例如,随机存取存储器)、用户接口678(该用户接口678包括显示器682和输入680(例如,键盘、小键盘、触摸屏等))、输入/输出(I/O)子系统666、用于互连上述组件的一个或多个通信总线613、以及用于给上述组件供电的电源供给系统676。
在一些实施例中,输入680是触敏显示器,诸如触敏表面。在一些实施例中,用户接口778包括一个或多个软键盘实施例。软键盘实施例可以包括所显示图标上的符号的标准(QWERTY)和/或非标准配置。
应当领会的是,赔率管理系统600仅是可以用于开始和确定各种统计数据的系统的一个示例,并且赔率管理系统600可选地具有比所示的组件更多或更少的组件,可选地组合两个或更多个组件,或者可选地具有不同的组件配置或布置。图11中所示的各种组件以硬件、软件、固件或其组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器602可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪速存储器设备或其他非易失性固态存储器设备。赔率管理系统600的其他组件(诸如(一个或多个)CPU 674)对存储器602的访问可选地由存储器控制器688控制。
外围设备接口670可以用来将管理系统的输入和输出外围设备耦合到(一个或多个)CPU 674和存储器602。一个或多个处理器674运行或执行存储在存储器602中的各种软件程序和/或指令集,以实行赔率管理系统600的各种功能并且处理数据。
在一些实施例中,外围设备接口670、(一个或多个)CPU 674和存储器控制器688可选地在单个芯片上实现。在一些其他实施例中,它们可选地在单独的芯片上实现。
在一些实施例中,电源系统676可选地包括功率管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED)等)、以及与便携式设备中的功率的生成、管理和分配相关联的任何其他组件。
如图11中图示的,远程用户设备的存储器602优选地存储以下各项:
• 操作系统604(例如,ANDROID、iOS、DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS或诸如VxWorks之类的嵌入式操作系统)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动程序,并且便于各种硬件和软件组件之间的通信;
• 用于存储一个或多个预测或结果模型的建模引擎200,该建模引擎包括:
o 预期点数模型模块222,用于确定比赛中的场景的预期点数值,
o 获胜概率模型224,用于确定赢得比赛的可能性,以及
o 基于运动员的胜于替换模型模块226,用于进行确定;
o 实时比赛情形模块614,用于接收和传送与当前正在进行的比赛有关的信息;以及
o 赔率管理模块616,用于便于各种赔率和投注系统的管理。
如先前所述,建模引擎200包括:用于生成统计数据和预测体育事件处的结果的各种算法和模型。在一些实施例中,这些模型包括针对比赛的每个赛局提供数值的预期点数模型222。例如,如果导致触地得分(touchdown)的比赛中的击球(drive)具有包括5码冲阵(rush)、94码传球(pass)和1码冲阵的赛局,即使1码冲阵导致了触地得分,94码传球在击球中也有更重要得多的作用。因此,在一些实施例中,5码冲阵被分配0.5的预期点数值,94码传球被分配5.5的预期点数值,并且1码冲阵被分配1的预期点数值,其中高值指示更重要或定义了赛局的比赛。在一些实施例中,建模引擎200使用根据本公开收集的遥测数据来预测比赛的结果(例如,赢/输、点数分布等),如关于图2和图3描述的方法和特征所公开的那样。
在一些实施例中,实时比赛情形模块614接收与比赛中发生的情形有关的信息。然后,该信息被用于调整上述模型中的各种权重和值。例如,如果四分卫扭伤他的脚踝并且必须从散弹枪位置进行每一个赛局,则四分卫的这种不移动将通过实时比赛情形模块614反映在比赛模型220中。
图12是图示了用户设备的实施例的框图。根据本公开,用户设备是与终端用户相关联的远程用户设备700。用户设备700包括:一个或多个处理单元(CPU)774、外围设备接口770、存储器控制器788、网络或其他通信接口784、存储器702(例如,随机存取存储器)、用户接口778(该用户接口778包括显示器782和输入780(例如,键盘、小键盘、触摸屏等))、输入/输出(I/O)子系统766、可选的加速度计717、可选的GPS 719、可选的音频电路772、可选的扬声器760、可选的麦克风762、诸如用于检测用户设备700上的接触强度的一个或多个可选传感器764(例如,触敏表面,诸如设备700的触敏显示系统)、和/或光学传感器、用于互连上述组件的一个或多个通信总线713、以及用于给上述组件供电的电源系统776。
在一些实施例中,输入780是触敏显示器,诸如触敏表面。在一些实施例中,用户接口778包括一个或多个软键盘实施例。软键盘实施例可以包括所显示图标上的符号的标准(QWERTY)和/或非标准配置。
应当领会的是,用户设备700仅是可以由终端用户使用的多功能设备的设备的一个示例,并且用户设备700可选地具有比所示的组件更多或更少的组件,可选地组合两个或更多个组件,或者可选地具有不同的组件配置或布置。图12所示的各种组件以硬件、软件、固件或其组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器702可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪速存储器设备或其他非易失性固态存储器设备。用户设备700的其他组件(诸如(一个或多个)CPU 774)对存储器702的访问可选地由存储器控制器788控制。
外围设备接口770可以用来将管理系统的输入和输出外围设备耦合到(一个或多个)CPU 774和存储器702。一个或多个处理器774运行或执行存储在存储器702中的各种软件程序和/或指令集,以实行针对用户设备700的各种功能并且处理数据。
在一些实施例中,外围设备接口770、(一个或多个)CPU 774和存储器控制器788可选地在单个芯片上实现。在一些其他实施例中,它们可选地在单独的芯片上实现。
在一些实施例中,音频电路772、扬声器760和麦克风762在用户与设备700之间提供音频接口。音频电路772从外围设备接口770接收音频数据,将音频数据转换成电信号,并且将电信号传输到扬声器760。扬声器760将电信号转换成人类可听的声波。音频电路772还接收由麦克风762从声波转换的电信号。音频电路772将电信号转换成音频数据,并且将音频数据传输到外围设备接口770以用于处理。可选地,音频数据由外围设备接口770从存储器702和/或射频电路784中检索和/或传输到存储器702和/或射频电路784。
在一些实施例中,电源系统776可选地包括:功率管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、功率故障检测电路、功率转换器或逆变器、功率状态指示器(例如,发光二极管(LED)等)、以及与便携式设备中的功率的生成、管理和分配相关联的任何其他组件。
如图12中图示的,远程用户设备的存储器702优选地存储以下各项:
• 操作系统704(例如,ANDROID、iOS、DARWIN、RTXC、LINUX、UNIX、OS X、WINDOWS或诸如VxWorks之类的嵌入式操作系统)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动程序,并且便于各种硬件和软件组件之间的通信;
• 电子地址706,其用来在与本公开的各种系统和设备进行通信期间标识特定用户设备;
• 用户信息存储708,其存储与关联于对应用户设备700的相应用户有关的附属信息,诸如包括用户名、用户密码、访问令牌等的用户访问信息;
• 比赛馈送模块710,用于查看比赛的各种表示,包括白板馈送模块712、化身馈送模块714和视频馈送模块716,以及用于查看与比赛有关的各种统计数据;以及
• 投资模块718,其便于对比赛场景投资。
在一些实施例中,投资模块718使用根据本公开收集的遥测数据来使用扩展协变量(例如,赢/输、点数分布等)来预测当前比赛的结果,如关于图2和图3所述的方法和特征所公开的那样。在一些实施例中,投资模块718使用根据本公开收集的遥测数据来针对当前实况比赛中的未来比赛事件提供赔率。
图13示出了包括根据本公开实施例的跟踪系统的组件的赛局场地的示例环境。该跟踪系统可以被包括在内容创建器140中,以跟踪和/或捕获事件的视频。示例性环境(例如,体育场906)900。环境900包括其中进行比赛(例如,橄榄球比赛)的赛局场地902。环境900包括区域904,该区域904包括赛局场地902和紧接在赛局场地周围的区域(例如,包括没有参与比赛的主体(诸如主体930-1和主体940-1)的区域)。环境900包括锚设备阵列120(例如,锚设备1201-1、锚设备120-2……锚设备120-Q),这些锚设备从与比赛的相应主体相关联的一个或多个跟踪设备300接收遥测数据。如图9中图示的,在一些实施例中,锚设备阵列与遥测解析系统240(例如,图9的跟踪器管理系统400)进行通信(例如,经由通信网络106进行通信)。此外,在一些实施例中,一个或多个相机140(例如,相机140-1)捕获用于形成虚拟再现的体育事件的图像和/或视频。在图13中,标记930表示比赛的第一队伍的主体,而标记940表示比赛的第二队伍的主体。
图14是图示了根据一些实施例的用于定制和合成视频馈送的编程计算机系统的功能图。如将显而易见的那样,其他计算机系统架构和配置可以用于实行所描述的视频合成和定制技术。包括如下所述的各种子系统的计算机系统1400包括至少一个微处理器子系统(也被称为处理器或中央处理单元(CPU)(1402))。例如,处理器1402可以通过单芯片处理器或通过多个处理器来实现。在一些实施例中,处理器1402是控制计算机系统1400的操作的通用数字处理器。在一些实施例中,处理器1402还包括一个或多个协处理器或专用处理器(例如,图形处理器、网络处理器等)。使用从存储器1410检索的指令,处理器1402控制对在输入设备(例如,图像处理设备1406、I/O设备接口1404)上接收到的输入数据的接收和操纵、以及控制在输出设备(例如,显示器1418)上的数据的输出和显示。
处理器1402与存储器1410双向耦合,该存储器1410可以包括例如一个或多个随机存取存储器(RAM)和/或一个或多个只读存储器(ROM)。如本领域中公知的,存储器1410可以用作通用存储区、临时(例如,便笺式)存储器和/或高速缓冲存储器。除了用于在处理器1402上操作的过程的其他数据和指令之外,存储器1410还可以用来以数据对象和文本对象的形式存储输入数据和经处理的数据、以及存储编程指令和数据。还如本领域中公知的,存储器1410通常包括由处理器1402用来实行其功能的基本操作指令、程序代码、数据和对象(例如,经编程的指令)。例如,存储器1410可以包括以下所述的任何合适的计算机可读存储介质,其取决于例如数据访问需要是双向的还是单向的。例如,处理器1402还可以直接地并且非常迅速地在存储器1410中包括的高速缓冲存储器中检索和存储频繁需要的数据。
可移除大容量存储设备1412为计算机系统1400提供附加数据存储容量,并且可选地双向(读取/写入)或单向地(只读)耦合到处理器1402。固定大容量存储装置1420还可以例如提供附加的数据存储容量。例如,存储设备1412和/或1420可以包括计算机可读介质,诸如磁带、闪速存储器、PC-CARDS、诸如硬盘驱动器(例如,磁性、光学或固态驱动器)之类的便携式大容量存储设备、全息存储设备和其他存储设备。大容量存储装置1412和/或1420一般存储通常不处于由处理器1402活动使用中的附加编程指令、数据等等。将领会的是,大容量存储装置1412和1420内所保留的信息如果需要的话可以用标准方式被并入,作为存储器1410(例如,RAM)的一部分、作为虚拟存储器。
除了提供对存储子系统的处理器1402的访问之外,总线1414还可以用于提供对其他子系统和设备的访问。如所示的,这些可以包括显示器1418、网络接口1416、输入/输出(I/O)设备接口1404、图像处理设备1406以及其他子系统和设备。例如,图像处理设备1406可以包括相机、扫描仪等;I/O设备接口1404可以包括用于与以下各项交互的设备接口:触摸屏(例如,支持手势解释的电容式触摸屏)、麦克风、声卡、扬声器、键盘、定点设备(例如,鼠标、手写笔、人类手指)、全球定位系统(GPS)接收器、加速度计,和/或用于与系统1400交互的任何其他适当的设备接口。多个I/O设备接口可以结合计算机系统1400一起使用。I/O设备接口可以包括通用和定制的接口,该通用和定制的接口允许处理器1402发送数据,并且更典型地从其他设备接收数据,该其他设备诸如是键盘、定点设备、麦克风、触摸屏、换能器读卡器、读带器、语音或手写识别器、生物测定读取器、相机、便携式大容量存储设备和其他计算机。
网络接口1416允许处理器1402通过使用如所示的网络连接而耦合到另一个计算机、计算机网络或电信网络。例如,通过网络接口1416,处理器1402可以从另一个网络接收信息(例如,数据对象或程序指令),或在实行方法/过程步骤的过程中将信息输出到另一个网络。通常被表示为将在处理器上执行的指令序列的信息可以从另一个网络接收并且输出到另一个网络。接口卡或类似的设备、以及通过处理器1402实现(例如,在处理器1402上执行/实行)的适当软件可以用来将计算机系统1400连接到外部网络,并且根据标准协议来传递数据。例如,本文中公开的各种过程实施例可以在处理器1402上执行,或者可以结合共享一部分处理的远程处理器、跨诸如互联网、内联网网络、或局域网之类的网络而被实行。附加的大容量存储设备(未示出)也可以通过网络接口1416连接到处理器1402。
此外,本文中公开的各种实施例进一步涉及具有计算机可读介质的计算机存储产品,该计算机可读介质包括用于实行各种计算机实现的操作的程序代码。该计算机可读介质包括:可以存储此后可以由计算机系统读取的数据的任何数据存储设备。计算机可读介质的示例包括但不限于:磁性介质,诸如磁盘和磁带;光学介质,诸如CD-ROM磁盘;磁光介质,诸如光盘;以及特殊配置的硬件设备,诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)以及ROM和RAM设备。程序代码的示例包括以下两者:如例如由编译器产生的机器代码,或包含可以通过使用解译器来执行的较高级代码的文件(例如,脚本)。
图14所示的计算机系统只是适用于本文中公开的各种实施例的计算机系统的示例。适合于这种使用的其他计算机系统可以包括附加或较少的子系统。在一些计算机系统中,子系统可以共享组件(例如,对于基于触摸屏的设备,诸如智能电话、平板电脑等,I/O设备接口1404和显示器1418共享触摸屏幕组件,该触摸屏幕组件既可以检测用户输入,又可以向用户显示输出)。此外,总线1414说明用于链接子系统的任何互连方案。还可以利用具有不同子系统配置的其他计算机架构。
现在将描述提供具有实况体育内容的定制合成视频数据的过程的另一个示例。
图15是图示了用于定制和合成实况体育运动的视频馈送的过程的实施例的流程图。除非另行说明,否则每一个步骤与图2所述的步骤类似。
参考框1501,该过程接收实况事件的视频馈送。例如,实况活动涉及两名运动员或两个队伍之间的比赛。在各种实施例中,该过程从远程服务器接收背景视频馈送。实况事件的视频馈送可以在客户端设备上显示的用户接口的背景中播放,并且因此被称为背景视频馈送。
参考框1503,该过程从与背景视频馈送的第一帧相关联的带时间戳的元数据来确定该第一帧的第一时间戳。视频馈送的每一帧与对应于时间点(例如,参考时间点、本地时间点等)的带时间戳的元数据相关联。在一些实施例中,视频馈送的每个部分(例如,图形/文本部分、音频部分)与带时间戳的元数据相关联。将视频馈送与带时间戳的元数据相关联允许来自一个或多个数据源的匹配的数据元素(数据元素的同步)(例如,比赛状态数据元素、比赛时钟数据元素、历史数据元素等)与视频馈送进行合成(例如,覆盖有视频馈送),并且按时间次序来回放。因此,每个数据元素与带时间戳的元数据一起存储,使得在视频馈送的传输期间,数据元素可以与在该事件(包括实况事件)期间发生的视频馈送进行合成。
根据对相应帧的时间戳的确定,向计算机系统传送(例如,发送)查询(例如,通过API服务器传送针对由图1所示的系统存储的数据元素的请求)。在一些实施例中,该查询包括(例如,指定)时间范围限制。例如,在一些实施例中,该查询针对在时间范围内的由计算机系统存储的一个或多个数据元素。在一些实施例中,该时间范围基于相应帧的所确定的时间戳。例如,在一些实施例中,时间范围是从所确定的时间戳的时间到未来的时间点(例如,从所确定的时间戳的时间到未来的10秒、未来的20秒、未来的30秒……未来60秒等)。在一些实施例中,时间范围是动态时间范围。例如,在一些实施例中,动态时间范围取决于相应用户设备的带宽和/或视频馈送模块716的带宽(例如,可视化缓冲模块720的大小和/或带宽)。如果确定相应用户设备700和/或视频馈送模块716的带宽相对低,则缩短动态时间范围,使得该查询接收较少数据作为响应,以便不使用户设备和/或视频馈送模块过载。
参考框1505,该过程向远程系统查询由第一时间戳确定的时间范围内的数据元素。在一些实施例中,该多个数据元素包括多个比赛时钟数据元素(例如,比赛时钟元素的数组和相关联的元数据)。在一些实施例中,该多个数据元素包括多个比赛状态数据元素(例如,比赛状态元素的数组和相关联的元数据)。在一些实施例中,该多个数据元素包括多个位置信息数据元素(例如,一个或多个主体的位置信息的数组和相关联的元数据)。在一些实施例中,该多个数据元素包括多个图形数据元素(例如,多个嵌入的图形、诸如新闻和/或天气之类的多个文本数据元素、以及相关联的元数据)。在一些实施例中,该多个数据元素包括多个文本数据元素(例如,新文章、天气信息等)。在一些实施例中,相应的比赛状态数据元素是在匹配的时间戳值处的体育事件的得分。在一些实施例中,该多个数据元素包括上述数据元素的组合。
在一些实施例中,该方法进一步包括:使用客户端设备(例如,用户设备700)的带宽来给可视化缓冲区(例如,可视化缓冲区模块720)的大小定尺寸。在一些实施例中,响应于带宽降级的确定,使用客户端设备的带宽来给可视化缓冲区的大小定尺寸会增加可视化缓冲区的大小。此外,响应于带宽改善的确定,使用客户端设备的带宽来给可视化缓冲区的大小定尺寸会减少可视化缓冲区的大小。这种给可视化缓冲区的大小定尺寸允许多个时间匹配帧被动态地发布到可视化缓冲区。例如,在一些实施例中,减小发布到可视化缓冲区的时间匹配帧的数量会减少客户端设备上的负载。
参考框1507,该方法包括:从响应于所传送的查询的远程计算机系统接收多个数据元素。在一些实施例中,从计算机系统接收到的多个数据元素包括由该查询请求的多个数据元素。然而,本公开不限于此。例如,在一些实施例中,第一多个数据元素由该查询请求,并且因此第二多个数据元素从计算机系统被接收到(例如,仅第一多个数据元素中的数据元素的子集可用)。然而,在一些实施例中,响应于该查询而接收到的每个数据元素包括落在(例如,被包括在)特定时间范围内的相关联的带时间戳的元数据(例如,时间范围是从特定日的1:04 PM到1:06 PM,并且因此,作为该查询的结果而接收到的数据元素包括与该特定日的1:04 PM到1:06 PM之间中的时间相关联的元数据)。在一些实施例中,从系统的一个或多个数据存储(例如,历史数据存储214、情形存储228等)接收该多个数据元素。在一些实施例中,该多个数据元素在本地存储在用户设备上。在一些实施例中,该多个数据元素包括在本地存储在用户设备上的一个或多个数据元素、以及存储在计算机系统上的一个或多个数据元素(例如,历史数据存储214、情形存储228等)。
参考框1509,该过程基于分别与数据元素和帧相关联的时间戳的一致性来匹配视频馈送的个体帧,以获得时间匹配帧。作为(例如,通过API服务器260传送的)该查询的结果而接收到的多个数据元素中的个体数据元素与视频馈送的多个帧中的个体帧相匹配。基于与该多个帧中的相应帧相关联的每个时间戳和与该多个数据元素中的相应数据元素相关联的每个时间戳的一致性来匹配相应帧和相应数据元素。例如,关于表4中阐述的示例,比赛时钟数据元素的数组和比赛状态数据元素的数组中的每一个由用户设备从计算机系统接收。使用与这些数据元素数组中的每一个相关联的带时间戳的元数据,对应的比赛时钟数据元素和比赛状态数据元素与具有相同时间戳的视频馈送的相应帧相匹配。这种匹配获得多个时间匹配帧。例如,视频馈送的一帧被确定为具有00:00:06的时间戳。因此,具有00:00:06的相关联的带时间戳的元数据的对应比赛时钟数据元素和对应比赛状态数据元素与该帧相匹配,以获得时间匹配帧。该多个时间匹配帧中的每个相应时间匹配帧被覆盖有该多个数据元素中与相应时间匹配帧时间匹配的一个或多个数据元素。在一些实施例中,该一个或多个数据元素的覆盖包括在视频馈送上合成嵌入的图形(例如,嵌入的滚动条、嵌入的得分板、嵌入的天气状态等)。在一些实施例中,该覆盖包括:将相应数据元素与可见性区域相关联,这将在下面更详细地描述。
在一些实施例中,基于与多个帧中的相应帧相关联的每个时间戳和与多个数据元素中的相应数据元素相关联的每个时间戳的一致性,将该多个数据元素中的个体数据元素与该多个帧中的个体帧进行匹配包括:将多个比赛时钟数据元素中具有匹配的时间戳值的相应比赛时钟数据元素标识为相应帧。该相应比赛时钟数据元素(例如,图17的数据元素1304-4)被覆盖在该相应帧上,由此形成一个或多个时间匹配帧中的时间匹配帧。
在一些实施例中,基于与多个帧中的相应帧相关联的每个时间戳和与多个数据元素中的相应数据元素相关联的每个时间戳的一致性,将该多个数据元素中的个体数据元素与该多个帧中的个体帧进行匹配包括:将多个比赛状态数据元素中具有匹配的时间戳值的相应比赛状态数据元素标识为相应帧。该相应比赛状态数据元素(例如,数据元素1304-1、1304-2、1304-3、1304-5等)被覆盖在该相应帧上,由此形成一个或多个时间匹配帧中的时间匹配帧。
在一些实施例中,多个数据元素包括多个位置信息数据元素(例如,遥测数据230)。该多个位置信息数据元素中的每个位置信息数据元素是第一多个运动员或第二多个运动员中的一个或多个运动员的带时间戳的位置信息。由遥测跟踪系统(例如,跟踪器管理系统400)在实况事件处捕获带时间戳的位置信息。因此,基于与多个帧中的相应帧相关联的每个时间戳和与多个数据元素中的相应数据元素相关联的每个时间戳的一致性,将该多个数据元素中的个体数据元素与该多个帧中的个体帧进行匹配包括:将多个位置信息数据元素中具有匹配的时间戳值的相应位置信息数据元素标识为相应帧。该相应位置信息数据元素被覆盖在该相应帧上,由此形成一个或多个时间匹配帧中的时间匹配帧。
在一些实施例中,遥测跟踪系统(例如,遥测管理系统400)包括多个跟踪设备(例如,跟踪设备300)。每个跟踪设备被配置成提供多个信号(例如,遥测数据230)。第一和第二多个运动员中的每个运动员与该多个跟踪设备中的一个或多个跟踪设备相关联。三个或更多个接收器(例如,锚设备120)被配置成接收由该多个跟踪设备提供的信号。计算机系统(例如,遥测管理系统400和/或遥测解析系统240)被配置成基于由三个或更多个接收器接收到的多个信号来确定第一和第二多个运动员中的每个运动员的带时间戳的位置和/或动力学信息(例如,位置遥测232、动力学遥测234、生物计量遥测236)。该确定构造了多个位置信息数据元素。
在一些实施例中,该多个时间匹配帧中的相应时间匹配帧的一个或多个数据元素的覆盖进一步包括:将相应时间匹配帧与在客户端设备上运行的应用程序内的对应可见性区域相关联。例如,在一些实施例中,如果数据元素包括图形(例如,嵌入的图形),则可见性区域与该图形相关联。每个可见性区域被配置成使得相应用户设备700的终端用户能够与相应数据元素交互。例如,在一些实施例中,如果终端用户与关联于相应数据元素的可见性区域进行交互(例如,通过相应用户设备700的输入780提供触摸输入),则根据该交互做出决策。在一些实施例中,该决策是显示菜单(例如,统计数据的菜单或选择、队伍的赛季结果的菜单等)。例如,在一些实施例中,如果终端用户与图10的数据元素210交互,则在用户设备上显示(例如,在视频馈送上覆盖)描绘了与相应主体有关的统计数据选择的菜单。在一些实施例中,终端用户与覆盖的数据元素的交互更改了数据元素的可见性状态(例如,可见或开启(ON),以及不可见或关闭(OFF))。
在一些实施例中,在范围从0.01秒到0.1秒的容差内进行相应帧和一个或多个相应数据元素的匹配。例如,在0.0167秒(例如,60帧每秒)的容差内进行匹配。例如,如果相应帧被确定为具有{00小时:02分钟:25秒:39毫秒}的时间戳,并且匹配的容差是5毫秒,则包括时间范围在从{00小时:02分钟:25秒:26毫秒}到{00小时:02分钟:25秒:46毫秒}的相关联的带时间戳的元数据的每个数据元素与该相应帧匹配。然而,本公开不限于此。例如,在一些实施例中,如果相应帧被确定为具有{00小时:02分钟:25秒:39毫秒}的时间戳,并且匹配的容差为10毫秒,则包括时间范围在从{00小时:02分钟:25秒:39毫秒}到{00小时:02分钟:25秒:49毫秒}的相关联的带时间戳的元数据的每个数据元素与该相应帧匹配。
参考框1511,将包括覆盖的数据元素的时间匹配帧发布到可视化缓冲区(例如,可视化缓冲区模块720)。如先前所述,可视化缓冲区提供帧、数据元素和/或时间匹配帧的队列(例如,优先级队列),以供合成从而形成合成视频馈送。
在一些实施例中,可视化缓冲区保存一秒到一分钟之间的时间匹配帧,包括一个或多个时间匹配帧。在一些实施例中,可视化缓冲区保存二十秒到五分钟之间的时间匹配帧,包括一个或多个时间匹配帧。
在各种实施例中,该过程至少部分地基于接收到的内容来确定一个或多个数据元素。该过程生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少部分地基于相应数据元素的时间戳和相应背景视频帧的时间戳的一致性,来至少将一个或多个数据元素的对应部分与背景视频馈送的对应部分进行匹配。该过程在客户端设备的显示设备上显示合成视频馈送,其中,所生成的合成视频馈送包括时间匹配帧,其中每个时间匹配帧被覆盖有与相应背景视频帧时间匹配的数据元素。
在各种实施例中,该过程经由通信接口接收与一个或多个用户特定特性相关联的内容,其中,该内容包括与背景视频帧相关联的带时间戳的元数据、以及具有落入由第一时间戳确定的时间范围内的时间戳的数据。基于用户简档和/或先前的行为,不同的元数据可用于不同的用户,上面描述了其示例。
下图示出了背景视频和覆盖数据元素的示例,其中背景视频是来自实况体育事件的镜头,并且覆盖数据元素是用户(实况体育事件的观看者)可以与之交互的各种统计数据、运动员信息等等。
图16和图17示出了用于橄榄球比赛的定制的合成视频馈送的示例。在一些实施例中,一个或多个用户偏好设置指示针对要覆盖在视频馈送上的一个或多个图形数据元素和/或视频馈送的取向或优选相机的偏好。例如,在一些实施例中,用户偏好设置指示用户更喜欢从第一相机140-1(例如,图16的全景观相机视图)而不是第二相机140-2(例如,图17的部分景观相机视图)接收视频馈送。此外,在一些实施例中,用户偏好设置指示用于显示图形数据元素1210的偏好,该图形数据元素1210标识了与相应主体有关的各种信息。在一些实施例中,用户偏好设置指示用于显示标识了球的位置(例如,球的位置信息)的图形数据元素1220的偏好。在一些实施例中,用户偏好设置指示用于显示指示当前的球携带者的图形数据元素1230的偏好。在一些实施例中,用户偏好设置指示要显示指示了主体的行进路径(例如,球在比赛期间的行进路径)的图形数据元素1240的偏好。在一些实施例中,用户偏好设置指示要显示提供了比赛状态信息的图形数据元素1304的偏好,该图形数据元素1304诸如是比赛时钟数据元素1304-4、赛局时钟数据元素1304-5和/或比赛状态数据元素(例如,元素1304-1、1304-2和/或1304-3)。在一些实施例中,用户偏好设置指示要显示提供了投资平台(例如,投资模块718)的图形数据元素1300-B的偏好。在一些实施例中,用户偏好设置指示要显示提供了基于文本的信息(例如,天气信息、新闻等)的数据元素1306的偏好。因此,使得用户能够将视频馈送个人化并且与其交互,以使查看体验适合他们的特定偏好。这还允许用户设备通过防止不必要地传送用户已经指示对其不感兴趣的数据流,来优化从计算机系统接收到的数据量。
尽管出于理解清楚的目的已经对前述实施例进行了一些详细描述,但是本发明不限于所提供的细节。有许多实现本发明的替代方式。所公开的实施例是说明性的,而不是限制性的。

Claims (19)

1.一种客户端设备,其包括:
通信接口;
耦合到通信接口的处理器,所述处理器被配置成:
从远程服务器接收背景视频馈送;
经由通信接口接收与一个或多个用户特定特性相关联的内容;
至少部分地基于接收到的内容来确定一个或多个数据元素,其中数据元素还包括由客户端设备发送的查询请求获取的数据元素,所述查询请求包括时间范围限制,时间范围是动态时间范围,所述动态时间范围取决于所述客户端设备的带宽;
生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少将所述一个或多个数据元素的对应部分与所述背景视频馈送的对应部分进行匹配;以及
在客户端设备的显示设备上显示所述合成视频馈送。
2.根据权利要求1所述的设备,其中:
远程服务器被配置成至少部分地基于一个或多个用户特定特性来查找所述内容;以及
经由通信接口将所述内容发送到设备。
3.根据权利要求1所述的设备,其中,所述一个或多个数据元素是交互式的,并且生成所述合成视频馈送包括将所述交互式数据元素覆盖在所述背景视频馈送上。
4.根据权利要求1所述的设备,其中,接收到的内容是:
用于在所述合成视频馈送中输出的数据,包括以下各项中的至少一个:图形、文本或音频;以及
与如何在所述合成视频馈送中输出所述数据相关联的元数据。
5.根据权利要求1所述的设备,其中,所述背景视频馈送包括:实况体育事件的视频馈送。
6.根据权利要求1所述的设备,其中,所述数据元素包括以下各项中的至少一个:比赛时钟、比赛状态或用户感兴趣的主体的位置信息。
7.根据权利要求1所述的设备,其中:
所述背景视频馈送包括在第一队伍与第二队伍之间的实况体育事件的视频馈送,所述第一队伍包括第一多个运动员,并且所述第二队伍包括第二多个运动员;
所述数据元素包括与第一多个运动员或第二多个运动员中的一个或多个运动员相关联的带时间戳的位置信息数据元素,所述带时间戳的位置信息数据元素由遥测跟踪系统在实况体育事件处捕获;以及
至少将所述一个或多个数据元素的对应部分与所述背景视频馈送的对应部分进行匹配包括:
将所述位置信息数据元素中具有匹配的时间戳值的相应位置信息数据元素标识为与相应帧匹配;以及
将所述相应位置信息数据元素覆盖在所述相应帧上,由此在所述合成视频馈送中形成时间匹配帧。
8.根据权利要求1所述的设备,其中,通信接口被配置成执行以下操作中的至少一个:周期性地请求内容,以及周期性地接收背景视频馈送的部分。
9.根据权利要求1所述的设备,其中:
所述数据元素包括文本;以及
在显示设备上呈现合成视频馈送包括:与背景视频馈送一起显示文本滚动。
10.根据权利要求9所述的设备,其中:滚动的速度、方向、刷新率、退出条件和交互规则中的至少一个至少部分地基于从远程服务器接收到的内容确定。
11.根据权利要求1所述的设备,其中,所述处理器进一步被配置成:响应于与所述合成视频馈送的一个或多个数据元素的用户交互来更新背景视频馈送或合成视频馈送中的至少一个。
12.根据权利要求1所述的设备,其中:
所述背景视频馈送是广告;以及
所确定的数据元素包括针对特定用户而定制的价格。
13.根据权利要求1所述的设备,其中,所述数据元素包括采用针对特定用户而定制的语言的音频。
14.根据权利要求1所述的设备,其中,所述数据元素包括针对特定用户而定制的音乐。
15.一种客户端设备,其包括:
通信接口;
耦合到通信接口的处理器,所述处理器被配置成:
从远程服务器接收背景视频馈送;
从与所述背景视频馈送的第一帧相关联的带时间戳的元数据来确定所述第一帧的第一时间戳;
经由通信接口接收与一个或多个用户特定特性相关联的内容,其中,所述内容包括与背景视频馈送的背景视频帧相关联的带时间戳的元数据、以及具有落入由第一时间戳确定的时间范围内的时间戳的数据;
至少部分地基于接收到的内容来确定一个或多个数据元素,其中数据元素还包括由客户端设备发送的查询请求获取的数据元素,所述查询请求包括时间范围限制,时间范围是动态时间范围,所述动态时间范围取决于所述客户端设备的带宽;
生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过至少部分地基于相应数据元素的时间戳和相应背景视频帧的时间戳的一致性,来至少将所述一个或多个数据元素的对应部分与所述背景视频馈送的对应部分进行匹配;以及
在客户端设备的显示设备上显示合成视频馈送,其中,所生成的合成视频馈送包括时间匹配帧,其中每个时间匹配帧被覆盖有与相应背景视频帧时间匹配的数据元素。
16.一种服务器,其包括:
处理器,所述处理器被配置成:
接收针对与一个或多个用户特定特性相关联的内容的请求;
基于所述请求来确定内容,包括通过至少部分地基于所述请求来查找内容;以及
响应于所述内容的请求,将所确定的内容发送到远程客户端设备;其中,客户端设备生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过将数据元素与背景视频馈送的对应部分进行匹配,其中数据元素包括由客户端设备发送的查询请求获取的数据元素,所述查询请求包括时间范围限制,时间范围是动态时间范围,所述动态时间范围取决于所述客户端设备的带宽;以及
存储器,其耦合到所述处理器,并且被配置成将一个或多个用户特定特性存储在用户简档中。
17.根据权利要求16所述的服务器,其中,远程客户端设备被配置成至少部分地基于接收到的内容来确定所述数据元素。
18.一种用于在客户端设备处定制和合成视频馈送的方法,其包括:
从远程服务器接收背景视频馈送;
请求与一个或多个用户特定特性相关联的内容;
响应于内容请求,从远程服务器接收内容;
至少部分地基于接收到的内容来确定数据元素,其中数据元素还包括由客户端设备发送的查询请求获取的数据元素,所述查询请求包括时间范围限制,时间范围是动态时间范围,所述动态时间范围取决于客户端设备的带宽;
生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过将数据元素与背景视频馈送的对应部分进行匹配;以及
在客户端设备的显示器上输出合成视频馈送。
19.一种包括计算机指令的非暂时性计算机可读存储介质,所述计算机指令当被执行时使得计算设备用于:
从远程服务器接收背景视频馈送;
请求与一个或多个用户特定特性相关联的内容;
响应于内容请求,从远程服务器接收内容;
至少部分地基于接收到的内容来确定数据元素,其中数据元素还包括由客户端设备发送的查询请求获取的数据元素,所述查询请求包括时间范围限制,时间范围是动态时间范围,所述动态时间范围取决于客户端设备的带宽;
生成针对一个或多个用户特定特性而定制的合成视频馈送,包括通过将数据元素与背景视频馈送的对应部分进行匹配;以及
在客户端设备的显示器上输出合成视频馈送。
CN202080007164.0A 2019-03-15 2020-03-13 用于在客户端设备处定制和合成视频馈送的系统和方法 Active CN113574901B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962819428P 2019-03-15 2019-03-15
US62/819428 2019-03-15
US16/747440 2020-01-20
US16/747,440 US11140328B2 (en) 2019-01-22 2020-01-20 Systems and methods for partitioning a video feed to segment live player activity
PCT/US2020/022767 WO2020160563A1 (en) 2019-01-22 2020-03-13 Systems and methods for customizing and compositing a video feed at a client device

Publications (2)

Publication Number Publication Date
CN113574901A CN113574901A (zh) 2021-10-29
CN113574901B true CN113574901B (zh) 2024-02-13

Family

ID=76321145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007164.0A Active CN113574901B (zh) 2019-03-15 2020-03-13 用于在客户端设备处定制和合成视频馈送的系统和方法

Country Status (5)

Country Link
EP (1) EP3939331A4 (zh)
JP (1) JP7343588B2 (zh)
CN (1) CN113574901B (zh)
CA (1) CA3120594C (zh)
MX (1) MX2021006250A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024059895A1 (en) * 2022-09-23 2024-03-28 Rodd Martin Systems and methods of client-side video rendering
CN117560538B (zh) * 2024-01-12 2024-03-22 江西微博科技有限公司 基于云平台的交互式语音视频的服务方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428458A (zh) * 2009-06-30 2012-04-25 维里逊专利及许可公司 自动定制用户与媒体内容应用的交互体验
CN108140041A (zh) * 2016-04-22 2018-06-08 谷歌有限责任公司 针对视频搜索的观看时间聚类

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631327B2 (en) * 2001-08-08 2009-12-08 Accenture Global Services Gmbh Enhanced custom content television
JP2003348424A (ja) * 2002-05-27 2003-12-05 Sony Corp 動きトラッキング装置およびその方法
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
US8019271B1 (en) * 2006-12-29 2011-09-13 Nextel Communications, Inc. Methods and systems for presenting information on mobile devices
US9510044B1 (en) * 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
US8477046B2 (en) * 2009-05-05 2013-07-02 Advanced Technologies Group, LLC Sports telemetry system for collecting performance metrics and data
WO2011021632A1 (ja) * 2009-08-19 2011-02-24 株式会社インターネットテレビジョン 情報提供システム
WO2014189485A1 (en) * 2013-05-20 2014-11-27 Intel Corporation Elastic cloud video editing and multimedia search
US9440152B2 (en) * 2013-05-22 2016-09-13 Clip Engine LLC Fantasy sports integration with video content
JP2016005015A (ja) * 2014-06-13 2016-01-12 大日本印刷株式会社 コンテンツ配信システム及びコンテンツ配信装置
US20160191945A1 (en) * 2014-12-24 2016-06-30 Sony Corporation Method and system for processing video content
WO2016199527A1 (ja) * 2015-06-11 2016-12-15 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
US9965900B2 (en) * 2016-09-01 2018-05-08 Avid Technology, Inc. Personalized video-based augmented reality
US10939169B2 (en) * 2017-05-25 2021-03-02 Turner Broadcasting System, Inc. Concurrent presentation of non-programming media assets with programming media content at client device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428458A (zh) * 2009-06-30 2012-04-25 维里逊专利及许可公司 自动定制用户与媒体内容应用的交互体验
CN108140041A (zh) * 2016-04-22 2018-06-08 谷歌有限责任公司 针对视频搜索的观看时间聚类

Also Published As

Publication number Publication date
EP3939331A1 (en) 2022-01-19
CA3120594A1 (en) 2020-08-06
JP2022519990A (ja) 2022-03-28
CA3120594C (en) 2023-07-18
CN113574901A (zh) 2021-10-29
JP7343588B2 (ja) 2023-09-12
MX2021006250A (es) 2021-09-08
EP3939331A4 (en) 2022-11-16

Similar Documents

Publication Publication Date Title
US11172248B2 (en) Systems and methods for customizing and compositing a video feed at a client device
US12083439B2 (en) Interaction interleaver
AU2020216550B2 (en) Systems and methods for customizing and compositing a video feed at a client device
US10412467B2 (en) Personalized live media content
US10824444B2 (en) Methods and systems for analyzing and presenting event information
CA3120303C (en) Systems and methods for partitioning a video feed to segment live player activity
US20090064017A1 (en) Tuning/customization
WO2020154306A1 (en) Systems and methods for making use of telemetry tracking devices to enable event based analysis at a live game
US20160353252A1 (en) Techniques to facilitate a live audience experience on a computing device
CN113574901B (zh) 用于在客户端设备处定制和合成视频馈送的系统和方法
US11918912B2 (en) Systems and methods for providing a real-time representation of positional information of subjects
CN109074359A (zh) 使用模型优化内容分发
US20220224958A1 (en) Automatic generation of augmented reality media
WO2024145648A1 (en) Systems and methods for a transformer neural network for player and team predictions for sports
WO2024145649A1 (en) Systems and methods for combining top-down and bottom-up team and player prediction for sports

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: California, USA

Patentee after: Infinite Sports Ltd.

Country or region after: U.S.A.

Address before: California, USA

Patentee before: Tianshi Machinery Co.,Ltd.

Country or region before: U.S.A.