CN107615766A - 用于创建和分配多媒体内容的系统和方法 - Google Patents

用于创建和分配多媒体内容的系统和方法 Download PDF

Info

Publication number
CN107615766A
CN107615766A CN201680032912.4A CN201680032912A CN107615766A CN 107615766 A CN107615766 A CN 107615766A CN 201680032912 A CN201680032912 A CN 201680032912A CN 107615766 A CN107615766 A CN 107615766A
Authority
CN
China
Prior art keywords
video content
event
input video
content
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680032912.4A
Other languages
English (en)
Other versions
CN107615766B (zh
Inventor
丹尼尔·史克曼
舒姆里克·约菲
哈伊姆·贾勒
阿维夫·阿尔农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiss Sports Science And Technology Co Ltd
Original Assignee
Weiss Sports Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weiss Sports Science And Technology Co Ltd filed Critical Weiss Sports Science And Technology Co Ltd
Publication of CN107615766A publication Critical patent/CN107615766A/zh
Application granted granted Critical
Publication of CN107615766B publication Critical patent/CN107615766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47Detecting features for summarising video content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036Time code signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

系统和方法可以分析输入视频内容以产生分析结果。在输入视频内容中捕获的事件可以基于分析结果来识别。可以确定输入视频内容的包括事件的片段的开始时间和结束时间,并且可以通过将该片段包括在输出视频内容中来生成输出视频内容。

Description

用于创建和分配多媒体内容的系统和方法
发明领域
本发明大体上涉及多媒体内容的创建和呈现。更具体地,本发明涉及用于使视频剪辑与相关的元数据、音频数据和其它内容同步的方法、设备和系统。
背景
用户可用的多媒体内容量以很快的速度不断增加。例如,大量的视频剪辑(一些长度相当长)通常可用于体育赛事,例如篮球或足球比赛。但是,用户可能只想看到视频剪辑中的特定事件或元素。例如,体育粉丝可能只想看到他或她最喜欢的选手、诸如进球的重要的事件、或比赛的亮点(highlight)。然而,使用当前的系统和方法,用户需要花费相当多的时间观看整个视频剪辑才能看到感兴趣的部分。
概述
在一些实施例中,可以接收输入视频内容并对其进行分析以产生分析结果。在输入视频内容中捕获的事件可以基于分析结果来识别。可以确定输入视频内容的包括事件的片段的开始时间和结束时间,并且可以通过将该片段包括在输出视频内容中来生成输出视频内容。
分析输入视频内容可包括识别以下中的至少一个:转换、比赛得分、源摄像机的变化、特写、选手或对象的移动、摄像机的摇摄、倾斜和变焦、摄像机的视场的扩大和缩小、面部识别和识别选手或对象的数字。输入视频可以包括体育赛事。
输入视频可以包括音频内容,并且分析输入视频内容以产生分析结果可以包括分析所包括的音频内容。输入视频可以包括文本内容,并且分析输入视频内容以产生分析结果可以包括分析所包括的文本内容。
可以接收与输入视频内容相关的数据,所接收的数据可以包括以下中的至少一个:不包括在输入视频内容中的音频内容和文本内容。产生分析结果可基于分析所接收的数据。所接收的数据可以包括结构化数据和/或自由文本(free text)。自由文本可以包括隐藏式字幕和/或抄本(transcript)。
在视频内容中捕获的多个事件可以被识别,并可以基于分析结果和基于至少一个准则与相应的多个评级进行关联。输入视频内容的一个或更多个片段可以基于片段的一个或更多个相应评级被包括在输出视频内容中。
多个事件可以包括在输出视频剪辑中,使得输出视频剪辑包括与以下中的至少一个有关的叙述(narrative):选手、时序方面、体育赛事的进度和得分。输出视频剪辑中可以包括多个事件,使得输出视频剪辑包括亮点。
接收的数据可以与输入视频内容同步以产生同步的外部数据,并且可以基于同步的外部数据在输入视频内容中识别事件。可以基于接收的数据确定时间指示,并且可以定义输入视频内容的、包括事件的片段的开始时间和结束时间,使得片段包括在时间指示中指示的时间。
可以接收或确定输入视频内容的类别,并且可以基于该类别选择在输出视频内容中包括多个事件中的一个或更多个。可以识别输入视频内容中的多个事件,并且可以基于输出视频内容的目标受众选择在输出视频内容中包括一个或更多个事件或者事件的部分。选择在输出视频内容中包括一个或更多个事件或者事件部分可以基于输出视频内容的期望长度。
可以生成与输入视频内容相关的元数据,并且在输出视频内容中包括输入视频内容的一个或更多个片段可以基于元数据。事件可以与评级相关联是基于用户的输入的。
基于网页中的文本的语义分析,系统和方法可以选择在输出视频内容中包括一个或更多个事件,并且输出视频内容可以嵌入在网页中。片尾(outros)、中间图形和片头(intros)中的一个可以被获取或生成,并且可以被包括在输出视频内容中。重放和慢动作效果之一可以在输入视频内容中被识别,并且可以与一个或更多个识别的事件相关联。重放或慢动作效果可以在输出视频内容中放置在相关联的事件附近。
辅助输入视频内容可以与输入视频内容同步,并且至少输入视频内容的一个片段和辅助输入视频内容的一个片段可以被包括在输出视频内容中。输入视频内容可以与远程系统使用的视频内容同步;与事件的开始时间和结束时间相关的信息可以被发送到远程系统;并且远程系统可以使用该信息来产生远程视频输出内容。
内容可以被发送到远程系统,并且远程系统可以在视频输出内容中包括所发送的内容。远程视频输出内容可以是广播质量视频内容。可以确定在输入视频内容中捕获的事件的开始时间和结束时间;可以对输入视频内容的第一片段进行编码,第一片段包括开始时间并且直到关键帧;可以直接复制输入视频内容的第二片段,第二片段包括关键帧和结束时间,并且可以通过连接第一片段和第二片段来生成输出视频内容。
可以确定在输入视频内容中捕获的一个或更多个事件的开始时间和结束时间;可以通过编码包括事件的片段的部分来生成一个或更多个编码的事件片段;编码的事件片段中的一个或更多个可以被缓存,并且对于多个输出视频内容对象中的每个输出视频内容对象,缓存的编码的事件片段可以通过以下方式被重新使用:编码一个或更多个转换视频片段以产生编码的转换片段,以及通过连接一个或更多个编码的转换片段和一个或更多个缓存的编码的事件片段来产生输出视频内容对象。
附图简述
关于本发明的主题,在说明书的结束部分中被特别指出并被明确要求保护。然而,当与附图一起阅读时,通过参考以下详细描述,可就操作的组织和方法以及其对象、特征和优点来最好地理解本发明。本发明的实施例通过示例的方式被示出且并不限于附图中的图形,其中,相似的参考数字指示相应的、类似的或相似的元件,且其中:
图1示出根据本发明的实施例的示例性计算设备的高级方框图;
图2示出根据本发明的实施例的示例性系统;
图3示出根据本发明的实施例的示例性系统;
图4图示根据本发明的实施例的元数据对象、事件对象以及音频内容与视频剪辑的同步;
图5是根据本发明的实施例的示例性屏幕截图;
图6示出根据本发明的实施例的嵌入内容;
图7示出根据本发明的实施例的创建事件的视频剪辑的方法;以及
图8示出根据本发明的实施例的流程。
应当认识到,为了说明的简单和清楚起见,图中所示的元素不一定精确地或按比例绘制。例如,为了清楚起见,一些元件的尺寸可能相对于其它元件被扩大,或者几个物理组件可以被包括在一个功能块或元件中。此外,在认为适当的情况下,参考数字可在图中重复以指示相应或类似的元素。
发明的具体实施方式
在以下详细描述中,阐述了许多具体细节以便提供对本发明的透彻理解。然而,本领域技术人员将理解,在没有这些具体细节的情况下可以实践本发明。在其它实例中,公知的方法、程序以及组件、模块、单元和/或电路没有详细描述,以便不使本发明模糊。关于一个实施例描述的一些特征或元素可以与关于其它实施例描述的特征或元素组合。为了清楚起见,可能不重复讨论相同或相似的特征或元素。
虽然本发明的实施例在这方面不受限制,但是使用诸如例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“建立”、“分析”、“检查”等的术语的讨论可以指计算机、计算平台、计算系统或其它电子计算设备的操作和/或过程,该操作和/或过程将表示为计算机的寄存器和/或存储器内的物理(例如,电子)量的数据操纵和/或转换为类似地表示为计算机的寄存器和/或存储器或者可存储用于执行操作和/或过程的指令的其它信息非暂时性存储介质内的物理量的其它数据。虽然本发明的实施例在这方面不受限制,但是如本文所使用的术语“多个(plurality)”和“多个(a plurality)”可以包括例如“多个(multiple)”或“两个或更多个”。在整个说明书中可以使用术语“多个(plurality)”或“多个(a plurality)”来描述两个或更多个组件、设备、元件、单元、参数等。本文中使用的术语集可以包括一个或更多个项目。除非另有明确指示,本文描述的方法实施例不限于特定的顺序或序列。另外,所描述的方法实施例或其元素中的一些可以同步、在同一时间点或同时地发生或执行。
参考图1,其示出根据本发明的一些实施例的示例性计算设备的高级方框图。计算设备100可以包括控制器105、操作系统115、存储器120、储存器130、输入设备135和1个输出设备140,控制器105可以例如是中央处理单元处理器(CPU)、芯片或者任何合适的计算设备或与计算有关的设备。
操作系统115可以是或可以包括被设计和/或配置为执行涉及协调、调度、仲裁、监督、控制或以其它方式管理计算设备100的操作(例如,调度软件程序的执行或者启用软件程序或其他模块或单元进行通信)的任务的任何代码段。操作系统115可以是商业操作系统。因此,至少包括(或共享)本文所述的控制器105、存储器120和可执行代码125的模块或单元可以容易地进行通信、共享数据和以其它方式交互。
存储器120可以是或可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双数据速率(DDR)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或者其它合适的存储器单元或储存单元。存储器120可以是或可以包括多个可能不同的存储器单元。存储器120可以是计算机或处理器的非暂时可读介质,或者计算机或处理器的非暂时存储介质,例如RAM。
可执行代码125可以是任何可执行代码,例如应用、程序、进程、任务或脚本。可执行代码125可以由可能在操作系统115的控制下的控制器105执行。例如,可执行代码125可以是使事件、元数据、音频内容和视频剪辑同步以生成或创建输出多媒体内容的应用。在一些实施例中,可以使用类似于可以使一个或更多个控制器105协作执行所需任务的可执行代码125的多个代码段来完成使事件、元数据、音频内容和视频剪辑同步以生成或创建输出多媒体内容。控制器105可以被配置为例如通过执行代码或软件(例如,存储在存储器120中的代码或软件)来执行本文所讨论的方法。控制器105可以是或包括本文讨论的模块的功能,诸如,音频分析模块310、同步模块315、用户界面模块320、评级模块325和其它模块。视频剪辑可以例如是电影或一系列图像帧,该一系列图像帧在按顺序观看时,示出具有典型音频的运动图像。内容可以是用户想要收听或观看的数据,通常是媒体数据,例如视频剪辑或录音、音频剪辑等。
储存器130可以是或可以包括例如硬盘驱动器、软盘驱动器、光盘(CD)驱动器、CD可记录(CD-R)驱动器、通用串行总线(USB)设备或其它合适的可移动和/或固定的存储单元。内容可以存储在储存器130中,并且可以从储存器130加载到存储器120中,内容可在存储器120中由控制器105处理。例如,元数据、音频内容和视频剪辑可以存储在储存器130中,并且可以从储存器130加载到存储器120中,元数据、音频内容和视频剪辑可以在存储器120中由控制器105检查和处理,控制器105可基于所加载的数据进一步创建新的视频剪辑。
输入设备135可以是或可以包括鼠标、键盘、触摸屏或触摸板或者任何合适的输入设备。将认识到,如块135所示,任何适当数量的输入设备可以可操作地连接到计算设备100。输出设备140可以包括一个或更多个显示器、扬声器和/或任何其它合适的输出设备。将认识到,如块140所示,任何合适数量的输出设备可以可操作地连接到计算设备100。如块135和140所示,任何适用的输入/输出(I/O)设备可以连接到计算设备100。例如,可以在输入设备135和/或输出设备140中包括有线或无线网络接口卡(NIC)、打印机、显示器、通用串行总线(USB)设备或外部硬盘驱动器。
本发明的一些实施例可以包括诸如计算机或处理器的非暂时可读介质或计算机或处理器的非暂时性存储介质的物品,诸如例如,编码、包括或存储指令(例如,计算机可执行指令)的存储器、磁盘驱动器或USB闪存,该指令在由处理器或控制器执行时执行本文公开的方法。例如,根据一些实施例的系统可以包括诸如储存器120的储存介质、诸如可执行代码125的计算机可执行指令以及诸如控制器105的控制器。
根据本发明的一些实施例的系统可以包括类似于设备100的多个设备。根据本发明的一些实施例的系统可以包括组件,诸如但不限于,多个中央处理单元(CPU)或任何其它合适的多用途或特定的处理器或控制器、多个输入单元、多个输出单元、多个存储器单元和多个储存单元。根据一些实施例,系统可以另外包括其它合适的硬件组件和/或软件组件。在一些实施例中,系统可以包括或可以是例如一个或更多个个人计算机、移动计算机、膝上型计算机、服务器计算机、网络设备或任何其它合适的计算设备。
根据一些实施例,本文描述或提到的系统、模块或单元可以包括被包括在本文所述的设备100中的元件。例如,根据一些实施例,如本文所述的生成视频剪辑的系统可以包括控制器105、存储器120和可执行代码125。
类似于可执行代码125的多个可执行代码段可以被加载到存储器120中并由控制器105执行。例如,如本文所述创建视频剪辑的实施例可以包括使元数据和视频剪辑同步的同步模块、对视频剪辑的片段进行评级的评级模块、分析音频内容的音频分析模块以及本文所述的其它模块或单元。
术语“视频剪辑”是本领域已知的。如本文所述,术语“视频剪辑”涉及一系列图像帧,其在被依次观看时给出运动图像的印象。视频剪辑可以包括可以与视频剪辑的视觉内容一起提供的音频内容。
参考图2,其示出了根据本发明的实施例的示例性系统200。如所示,系统200可以包括服务器210。如所示,服务器210可以可操作地连接到可以存储元数据对象的数据库220。如所示,服务器210可以可操作地连接到视频档案230。视频档案230可以存储视频剪辑。如输入215所示,服务器210可以被提供有可以包括视频流或视频剪辑和元数据的输入。视频档案230可以存储输入视频内容(例如,从互联网接收的或从广播服务接收的输入视频内容)和由如本文所述的系统200创建的视频剪辑。系统200的各个部分,例如服务器210、数据库220等,可以被构造成诸如图1所示的包括处理器等的系统。
如所示,输入215可以包括视频内容。例如,包括在输入215中的输入视频可以是由服务器210使用本领域已知的实时消息传送协议(RTMP)或者使用超文本传输协议(HTTP)直播流式传输(HLS)来接收的因特网协议(IP)视频流。可以使用任何其它系统或方法来向服务器210提供如输入215所示的输入视频剪辑。
如输入215所示的视频的馈送或输入可以以任何标准或专有视频编码进行编码。视频的馈送、输入或流可以是编码的视频,但也可以是未压缩格式或视频的任何数字格式。服务器210可以将输入视频内容例如以本领域已知的HTTP直播流式传输(HLS)块的形式存档在视频档案230上。服务器210可以使用任何媒体服务器存档功能来存档输入视频内容。例如,视频档案230可以是根据数字储存器的任何格式储存视频内容的基于云的储存器。
如输入215所示的视频的馈送或输入可以是例如从直播数字频道实时提供的直播视频流,或者其可以是例如来自HLS档案的视频文件或视频的非直播视频。如输入215所示的视频的馈送或输入可以包括可以根据任何格式创建的视频文件。例如,可以使用H.264、MP4或其它编码格式以及本领域已知的任何视频容器。
本文所提到的用于数据对象的元数据(或数据对象的元数据)可以是或可以包括描述或提供除了数据对象的主要数据(例如,视频剪辑本身)外的其它数据的其它信息的一个或更多个数据元素。例如,视频剪辑的元数据可以是其长度、服务器接收它的时间、剪辑的特定时间或在视频剪辑中看到了谁(例如,视频中显示的选手的姓名可以包含在元数据中),或剪辑中会发生了什么(诸如“3分篮”)。其它元数据可以是或可以包括对视频片段中所示的事件或与视频剪辑相关的任何其它信息进行评论的用户的数量。如本文所述,作为输入(例如,在输入215中)接收的元数据可以储存在可以与视频剪辑或与其它内容相关联的元数据对象中。
包括在输入215中的元数据可以是根据本领域已知的可扩展标记语言(XML)或任何其它格式的数据进行格式化的信息或数据。包括在输入215中的元数据可以从任何数据提供商或来源接收,例如,元数据可以从体育馆统计策展人和/或视频跟踪系统来接收。元数据可以从专业比赛分析系统、非专业的或业余的或本领域已知的为其它目的创建的任何类型的数据(诸如针对博彩业创建的数据)接收。例如,元数据可以从体育比赛中发生的事件的统计馈送中接收。元数据可以包括在商品数据馈送中或从其中接收,该商品数据馈送可以例如从类似OPTA、Stats Inc.、SportsData等的数据提供商获取。元数据可以是任何专有或标准的数据结构或格式。
虽然本文主要描述了体育赛事,但是应当理解,根据本发明的实施例的系统和方法可以与任何其它适用的内容相关。例如,可以考虑用于识别其它视频内容(而不仅仅是体育)中的事件的自动化的系统和方法。因此,可以使用除了由215所示那些之外的其它来源。例如,可以为包含音乐内容、新闻或任何其它话题或主题的视频创建元数据和事件对象并使对象与视频剪辑相关联。因此,应当理解,本发明的范围不受限于如本文所述的接收和处理的视频剪辑中的内容的类型。
包括在输入215中的元数据可以包括例如来自可以在相关视频源中显示的体育比赛的事件。例如,元数据可以包括事件的参数和描述,例如可以在相关或相关联的视频剪辑中显示的体育赛事的得分、犯规和时间信息。
如所示,输入215可以包括音频内容。例如,如输入215所示的由服务器210接收的音频内容可以是或可以包括来自电视和无线电台的音轨和广播,或者从互联网或作为所接收的视频源的音轨(HLS,或者视频已经到达的任何其它格式)接收的音频内容。如进一步所示,输入215可以包括可以(例如,使用本领域已知的文本分析技术)进行分析的隐藏式字幕(或说明字幕)。例如,可以基于分析隐藏式字幕化数据来创建与视频相关的元数据。
云计算、云架构和/或基于云的计算通常指通过如本领域已知的互联网提供服务。在一些实施例中,云架构可以通过在云上提供诸如服务器210的多个计算设备来实现。例如,服务器210的数量可以是动态的,例如,可以基于需求来启动或终止虚拟服务器。例如,基于输入215待完成的工作可以被放置在“任务”的队列中,并且如果队列增长超过阈值,则在云上可以启动服务器210的附加实例来处理负载,当队列大小减小到低于第二阈值时,可以终止服务器。
参考图3,其示出了根据本发明的实施例的系统300。如所示,系统300可以包括本文所述的服务器210、数据库220和视频档案230。如所示,系统300可以包括音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析单元340。如所示,系统300可以包括可以使得服务器210、数据库220、视频档案230、音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析单元340彼此进行通信的网络350。例如,图3所示的一些模块可以是远程的,并且可以通过网络与系统300的其它组件进行通信。例如,网络350可以是互联网或局域网(LAN)。在一些实施例或其它配置中,音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析单元340中的一些或甚至全部可以包括在服务器210中。因此,本文描述的方法可以由服务器执行,例如,服务器210可以接收输入视频内容;分析输入视频内容以产生分析结果;基于分析结果识别在输入视频内容中捕获的事件;确定输入视频内容的、包括事件的片段的开始时间和结束时间;并且服务器210可以通过在输出视频内容中包括片段来生成输出视频内容。
例如,在一些实施例中,音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析340中的一些(或甚至全部)可以被包括在服务器210中,或可操作地连接到服务器210。例如,服务器210可以是或可以包括与设备100类似的一个或更多个设备,并且音频分析模块310、同步模块315、用户界面模块320、评级模块325、视频分析单元340和社交聊天模块330可以是或者可以包括诸如计算设备100的设备的组件。
音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析340可以是或可以包括软件、硬件、固件或其任何组合。例如,同步模块315可以是安装在服务器210中的专用集成电路(ASIC)板或芯片,评级模块325可以是安装在服务器210中的组件,其包括如本领域已知的现场可编程门阵列(FPGA)组件,等等。
同步模块315或服务器210可以在视频广播上执行事件(体育和非体育)的自动识别,并且可以自动地使元数据与视频内容同步。在一些实施例中,事件、元数据和/或音频内容与视频剪辑的同步包括将数据对象(例如,本文描述的事件和元数据对象)与视频剪辑的特定的时间、片段或部分相关联。例如,为了使事件与视频剪辑同步,包括与事件相关的信息的事件对象与视频剪辑的片段相关联。在一些实施例中,指向视频剪辑的片段的指针或其它引用被包括在包括与事件相关的信息的事件对象中或与其相关联。本文进一步例如参照图4所示的事件对象415和452描述事件对象。
一般而言,本文所提到的事件涉及在现实中出现或发生的事件。例如,在橄榄球比赛中得分或“达阵”可以是事件。本文所提及的事件对象可以是储存与事件相关的信息的任何对象或构造。例如,由根据本发明的实施例的系统或方法生成的事件对象可以是储存或包括与事件相关的信息的存储器(例如,易失性存储器、磁盘等)中的对象。例如,事件对象可以包括事件的时间、事件的持续时间、显示事件的视频文件中的所关心的时间(therespected time)等。事件对象可以包括与事件相关的元数据,例如,描述事件的任何数据或信息可以被包括在事件对象中。本文所提及的元数据可以是与事件相关或描述事件的任何数据。
在一些实施例中,同步模块315根据到达服务器210的时间对输入视频和接收到的事件的信息编索引。例如,时间戳与在服务器210处接收到的元数据、音频内容和视频内容相关联。根据一些实施例的初始同步过程或方法可以包括识别在元数据馈送中描述的事件的时间戳、生成事件的事件对象并且使事件对象与在被存档的视频馈送中所关心的时间同步。例如,描述事件的元数据馈送中的信息可以被包括在事件对象中,其可以基于信息的到达时间或接收时间与视频剪辑相关联。初始同步过程可以根据时间戳和事件类型或根据其它指示使每个事件与估计的“开始时间”和“结束时间”相关联。例如,可以根据估计的开始时间和结束时间来设置事件对象中的“开始时间”和“结束时间”。
与视频剪辑相关联或相关的元数据可以存储在元数据对象中。本文所提到的元数据对象可以是能够储存、检索和修改值的任何合适的数据结构或构造。例如,元数据对象可以是储存在数据库220中的列表中的文件或条目。例如,数据库220可以是或可以包括结构化查询语言(SQL)数据库或其它类型的数据库系统,例如,本领域已知的NoSQL数据库。
元数据对象可以包括可以被修改、设置或清除的多个字段。元数据对象可以包括使元数据对象与视频剪辑的片段相关联的多个指针或时间戳。
本文所提到的事件对象可以是能够储存、检索和修改值的任何合适的数据结构或构造。例如,事件对象可以是储存在数据库220中的列表中的文件或条目。事件对象可以包括可以被修改、设置或清除的多个字段。事件对象可以包括使事件对象与视频剪辑的片段相关联的多个指针或时间戳,或与其相关联。例如,事件对象可以包括指示相关实际事件何时(相对于视频剪辑)开始和结束的开始时间和结束时间。在事件对象中描述的事件可能在时间上重叠,例如,第一事件的开始时间可以在第二事件的开始时间之后但在第二事件的结束时间之前。
在实施例中,事件对象和元数据与视频剪辑的同步、关联或相关性可以通过设置将事件对象或元数据与视频剪辑中的时间或片段链接的指针来完成。例如,可以设置将事件对象和/或元数据对象与视频剪辑中的时间或片段链接的指针,以使事件和元数据与剪辑同步。在另一个实施例中,事件和/或元数据对象与视频剪辑的同步、关联或相关性是通过将值(例如,诸如“从视频开始的秒23”的时间戳)输入到事件或元数据对象中来完成的。在实施例中,事件对象中的信息可用于将源视频的片段剪切成与由事件对象描述或在事件对象中描述的事件相关(并且可能与附加事件或事件对象相关)的单独的视频文件。例如,使用(例如,如在相关联的或相关的事件对象中所指示的)事件的开始时间和结束时间可以从源或输入视频剪辑中剪辑出片段。
另外参考图4,其图示了元数据、事件和音频内容与视频剪辑的同步。在本发明的一些实施例中,可以通过将元数据包括在元数据对象中并通过使用元数据和音频内容来创建事件对象来执行和/或实现元数据、事件和音频内容与视频剪辑的同步。元数据对象和事件对象可以与视频剪辑同步,例如通过使元数据对象和事件对象与视频剪辑中的片段或时间相关联。例如,视频420可以是时间索引的,并且元数据对象和事件对象可以与视频剪辑的特定的索引或时隙相关联。任何相关信息可以包括在事件对象和/或元数据对象中。例如,如本文所述在输入215中接收到的元数据可以被包括在事件对象和/或元数据对象中。元数据可以是接收(例如,包括在输入215中)的信息,或者它可以是由系统或方法生成的信息。例如,基于对音频内容的分析,可以推断诸如事件实际发生的时间、得分的选手等的元数据,并且反映这种推断的元数据可被包括在元数据对象和/或事件对象中。例如,元数据可以是基于视频和图像分析生成的信息,或者它可以是作为来自用户界面系统320的输入接收的信息。
如片段421、422、423、424、425、426、427和430所示,视频420中的时间片段可以被识别并进行标记。例如,片段421、422等可以表示秒、分钟或毫秒。任何时间分辨率可用于对视频剪辑进行时间索引。音频内容、事件和元数据可以根据任何时间分辨率与视频剪辑相关联、同步或相关。如元数据对象441、442和443所示,与视频剪辑420相关的元数据可以被包括在可以与视频420中的部分、片段或时隙相关联的元数据对象中。与视频剪辑420相关的元数据可以被包括在可被包括在事件对象中或指向其的元数据对象中。
在一些实施例中,元数据对象可以指向视频剪辑中的特定的时间或时刻(例如,通过与特定的秒、时刻或从比赛的开始/比赛中的偏移相关联)。例如,“开始时间”的元数据对象可以指向特定时刻。在一些实施例中,元数据对象可以例如以与本文所述的事件相关联的事件对象相同的方式指向事件或与其相关联。例如,诸如“扣篮”的事件的元数据对象可以指向整个事件或与整个事件相关联(例如,元数据对象与示出从开始时间到结束时间的事件的整个片段相关联)。例如,为了使元数据对象与事件相关联,元数据对象可以与事件对象相关联。例如并且如图所示,元数据对象442可以指向事件对象451(因此与事件对象451相关联),使得元数据对象442中的任何元数据与事件对象451描述的事件相关联。单个元数据对象可以与多个事件对象相关联,并且单个事件对象可以与多个元数据对象相关联。如(例如,通过从元数据对象442延伸的箭头)所示,元数据对象可以与事件对象相关联以及与视频的片段或时隙相关联。虽然未示出,但是事件对象可以与多个元数据对象相关联以及与视频的一个或更多个片段或时隙相关联。通常,任何对象(例如,事件对象和元数据对象)可以与任何数量的其它对象(例如,与一个或更多个事件或元数据对象)相关联以及与视频流或音频流的一个或更多个片段或时隙(例如,音频片段411)相关联。为了清楚和简单起见,图4中未示出所有可能的关联,然而,应当理解,图4所示的任何元素可以使用指针或本文所述的其它技术与图4所示的任何一个或更多个元素相关联。
如事件对象450所示,事件可以被识别并且可以与视频420相关联。事件对象可以与开始时间和结束时间相关联。开始时间和结束时间可以与事件对象相关联。例如,表示事件的对象可以包括事件的开始时间和结束时间。例如并且如所示,由事件对象451描述的事件可以具有作为视频420的片段423的开始时间和作为视频420的片段425的结束时间。类似地,事件对象452在时间或片段427处开始,并在时间或片段430处结束。尽管示为指向片段,但是开始时间和结束时间可以是绝对值,例如,视频剪辑中的特定秒,例如,从视频剪辑开始以来经过的秒数(例如,本领域已知的偏移)。例如,开始时间和结束时间可以是从视频剪辑的开始的时间偏移,并且可以指向视频中的特定帧。
例如,基于相关元数据或基于(例如,通过视频分析单元340)处理视频内容,可以在视频剪辑中识别事件。可以基于处理音频内容(例如,通过音频分析单元310处理视频的音轨或无线电广播)来识别事件。如所描述的,事件对象可以包括值、指针、定义、参数和类别。例如,可以为不同的体育定义不同的事件类别或类型,并且事件对象可以与类别相关联(例如,在篮球中,事件类型可以是“3分篮”,事件参数可以是“做到”或“错过”,附加的描述可以是“运球过人”或“接球投篮”。篮球中的其它事件类型可以是“犯规”、“助攻”、“篮板球”等)。如所描述的,两个或更多个事件对象可以与视频剪辑的重叠部分或甚至相同的部分或片段相关联,从而反映实际事件的时间上的重叠。例如,如图4所示,可以由两个事件对象来表示在视频420的秒425中发生的两个事件。
在一些实施例中,初始同步可以包括确定事件的关于视频剪辑的时间并使事件与视频剪辑相关。例如,同步可以包括确定事件的关于剪辑的开始时间的时间,或者同步可以是或基于剪辑内的另一个时间量度。初始同步调整可以根据它预先设置所有事件的同步。例如,基于事件被接收、识别或确定的时间,描述事件的事件对象与视频相关。初始同步可以包括例如基于元数据的到达时间或者基于元数据被服务器210接收的时间使元数据与视频相关。初始同步可以包括根据同步信息或输入来调整所有其它事件(或事件对象)的开始时间和结束时间的偏移。所有事件的初始同步调整可以通过视频分析、图形分析、外部数据输入、众包数据、手动输入或任何其它方式来完成。
同步单元或模块315可以例如通过调整事件对象和元数据对象与视频剪辑的关联来执行事件、元数据和/或音频内容与视频剪辑的同步、关联或相关性的微调。同步、关联或相关性的微调可以包括调整将事件对象与视频剪辑链接的指针,或者其可以包括修改事件对象中的数据。例如,如所述,指示事件的开始时间和结束时间的数据可以包括在表示事件的对象中,因此可以修改数据以便微调事件时间与视频剪辑的相关性。例如,基于初始同步(例如,基于与事件相关的数据的到达服务器210处的时间),事件的开始时间可以在事件对象中被设置到(例如,从剪辑的开始测量的)视频剪辑的秒23。接下来,基于如本文所述的微调,事件的开始时间可以被设置到视频剪辑的秒26。可以如本文所述使用指针或修改事件对象中的数据来设置事件的开始(和结束)时间。微调可以基于从音频分析单元310接收的输出。例如,基于由音频分析单元310识别的比赛中的人群的声音(例如,吼叫),可以确定实际得分的时间,并且可以相应地调整事件或元数据对象。如所描述的,使用的音频数据可以是无线电音频(例如,在录制或直播无线电节目中)或包括在视频剪辑中的音频。例如,文本到语音的处理或技术可以用于处理音频数据,以便确定事件、时间相关方面等。隐藏式字幕通常是叠加在多媒体演示上的文本内容,例如,本领域已知的字幕。隐藏式字幕的文本分析可用于识别事件、生成元数据对象和/或微调初始同步。系统300可以使用视频检测、图像处理、视频处理、图形分析、重放的识别和检测、音频的分析和检测来创建将事件链接到视频剪辑的片段的精确指针。例如,事件可以是或可以包括足球比赛中的任意球。基于指示任意球的数据的到达,可以将该事件的初始时间设置为比赛的秒127。然而,在微调过程中,音频分析或视频检测可能会揭示任意球的时间实际上是进入比赛中的秒118。因此,可以将事件的开始时间改变为秒118。例如,可以在微调过程中修改(例如,如从事件对象451延伸的箭头所示的)指针。
微调过程可以使用几种技术和算法来微调事件的同步,使得它们与相关视频剪辑中的正确时间相关。微调过程可以创建起初不存在(或之前不存在)的新事件,或者基于传入的数据馈送未被起初设置的新事件。例如,基于视频处理、图形分析、重放的识别和检测或音频分析,同步模块315可以识别先前未知(例如,未向服务器210报告或未由服务器210接收)的事件。微调过程可以包括分析视频以改进视频剪辑的事件和元数据的精度和内容。例如,每帧或每组帧(或视频中的任何时间段)可以经历若干处理算法。微调过程可以检查和处理整个视频、帧的特定序列或视频中的每个帧。
在一些实施例中,微调过程可以使用图像处理、光学字符识别(OCR)或任何其它图形分析方法来识别体育广播比赛的图形。例如,图形分析可用于根据视频剪辑中所示的时钟的图形来确定比赛中的事件的分和秒。
可以使用与预先已知的图形套件进行比较来完成图像处理。例如,数据库可以包括选手的图像,并且过程可以基于储存的图像来识别视频中的选手。图形分析可用于识别视频中的其它事件,诸如得分、选手统计数据、事件中所涉及的选手、发生的事件的类型等。结合数据库220中储存的数据,使用图形分析产生的信息可以用于理解在视频剪辑(例如,在体育赛事的广播中的视频剪辑)的视频中出现的指示、文本和数字的类型。应当理解,也可以在不使用预先已知的图形的情况下完成图像处理。
图像处理和视频检测可用于使用面部识别和球衣号码识别(例如,通过视频分析单元340和同步模块315)识别选手。同步模块315可以使用第三方解决方案或内部解决方案。可以通过与预先存储在数据库中的图像的比较或者通过与视频剪辑中的其它数据的比较来完成面部识别。例如,使用图像处理结果,同步模块315可以识别帧中的选手是在先前帧中看到的同一选手。预先储存的图像或其它数据可以来自任何来源,例如互联网。例如,选手的图像可以从互联网获得、存储在数据库220中,并随后由同步模块315使用来识别视频剪辑中的选手。
可以例如通过视频分析单元340使用视频处理和视频分析来识别在球场上发生的事情。例如,球场上的区域可以通过字段标记、选手位置或可以从视频剪辑中提取的任何其它数据来识别。
同步模块315可以使用重放识别来确定或识别重放的“开始时间”和“结束时间”。可以使用例如本领域已知的隐马尔可夫模型(HMM)来识别重放慢动作,或者例如,可以使用帧比较或者视频或广播图形来识别重放以指示重放。重放识别可识别慢动作和重放。可以基于识别重放来创建“重放”事件。例如,本文描述的事件对象可以包括类型字段或属性,并且基于识别重放,可以创建事件,并且可以将其类型设置为“重放”。
同步模块315可以使用音频分析来检测评论员什么时候说话、呼喊或者是沉默的。同步模块315可以使用音频分析来更好地确定事件的“开始时间”和“结束时间”。语音到文本和文本分析可以例如由同步模块315使用,以便使事件与视频剪辑同步。例如,如果评论员具体地指示在比赛中发生的事件的时间,则同步模块315可以修改相关联的事件对象(例如,调整事件对象中的时间基准或指针),使得事件对象与事件的时间相关联。
在一些实施例中,系统可以包括如所示的用户界面模块320。用户界面模块320可以提供可由用户使用的图形用户界面(GUI)来修改例如存储在数据库220中的诸如元数据对象中的元数据、事件和其它数据的任何数据。例如,质量控制可以由用户界面模块320支持,用户界面模块320可以使用户或专家能够手动地修改事件或元数据,或者能够为视频剪辑创建和存储新的事件或元数据。
例如,用户界面模块320可以使用户能够在需要的情况下调整事件数据和时间指针。用户界面模块320可以根据任何规则或准则对事件进行分类,并且可以根据任何分类的规则或准则将视频剪辑的事件呈现给用户。例如,可以按重要性对事件进行分类和显示,使得高调的事件首先显示或在顶部显示。随着事件或元数据被服务器210接收或者随着他们如本文所述被创建,用户界面模块320可以实时地呈现事件或元数据。
通过提供如所描述的界面,用户界面模块320使用户能够确保在创建和识别事件和元数据的自动化过程中没有错误。用户界面模块320可以从用户接收输入,并且可以修改或创建在数据库220中的事件、元数据或其它信息。因此,用户界面模块320实现了从用户接收输入并修改元数据和事件的质量控制过程。
用户界面模块320可以提供基于网络的界面,其在事件及其视频、与视频同步的日期和时间由本文所述的自动化过程识别时示出它们。用户界面模块320可以提供管理控制台,其使用户或操作者能够观看每个事件并调整事件、视频、数据和时间指针,以便校正可能发生的任何故障。
用户界面模块320可以在事件发生时或者按照预定的顺序将其呈现在显示器、屏幕或控制台上。例如,用户界面模块320可以提供管理控制台,其可仅跟踪正在被分析的特定比赛,并呈现按时间顺序出现的事件,或者用户界面模块320可以在显示器上呈现在同时被分析的许多不同比赛的事件。事件可以按照重要性的顺序呈现,更有决定性的事件类型首先出现。管理控制台可以使质量控制管理人员能够确认事件、删除事件等。用户界面模块320可以与数据库220交互,并且可以修改其中的任何数据。例如,基于来自质量管理人员的输入,用户界面模块320可以删除事件对象或元数据对象,可以修改事件的开始时间等等。
用户界面模块320可以使质量控制能够通过众包来完成。在一些实施例中,用户界面单元320的第一实例可以使用户能够与如所述的系统进行交互,并且用户界面单元320的第二实例可以实现如所述的质量控制。例如,用户界面模块320可以在互联网上呈现视频剪辑和相关联的事件和元数据,并且可以从互联网用户或体育粉丝接收输入。基于体育粉丝或其它用户的输入,用户界面模块320可以校正视频的数据或时间戳中的错误。例如,用户界面模块320可以访问数据库220并基于从诸如互联网用户的人群接收的输入来修改其中的任何数据。
用户界面模块320可以提供基于网络的界面,或者它可以经由另一种方法(例如,移动应用或平板应用)与用户交互,使这样设备的用户能够观看视频剪辑和相关联的事件。用户界面模块320可以使任何设备上的用户能够提供输入(例如,事件数据的校正)。由用户界面模块320呈现视频和相关的事件和元数据可以被实现为对体育粉丝的享受免费、或者用于支付、或用于物理或虚拟奖励。例如,用户界面模块320可以使用玩游戏(本领域中已知为游戏化(gamification))的元素来接收来自用户的输入。
评级单元或模块325可以根据预配置的规则、阈值或准则对事件进行评级。评级单元或模块325可以修改或创建在数据库220中的元数据和事件。例如,存储事件数据的对象可以包括等级水平(例如,介于1和5之间的数字),并且评级单元325可以通过改变事件对象中的等级来修改事件的等级。如本文将进一步描述的,评级单元或模块325可以根据从用户接收的输入(例如,通过用户界面单元320提供的手动输入)、序列分析、众包、音频分析、社交聊天分析和/或视频分析对事件进行评级。
评级单元或模块325可以检查音频内容(例如,由服务器210作为输入接收的无线电上的比赛的广播或视频剪辑的音轨),并且可以基于音频内容对事件进行评级。例如,如果事件发生时评论员呼喊或人群噪音高,则事件可以评级高。评级单元或模块325可以根据比赛的顺序对事件进行评级,例如,包括导致平局的得分的事件可以比其它得分评级高。评级单元或模块325可以根据社交聊天对事件进行评级。例如,社交聊天单元330可以监视诸如Tweeter或Facebook的社交媒体或平台,并且向评级单元或模块325通知聊天的等级或类型,并且评级单元或模块325可以根据社交聊天使高评级与事件相关联。
一般而言,评级可以指示事件的重要性。除非另外描述,评级可以定义哪些待观看的事件更重要、更有趣或更美妙。事件可以基于评级来分类。例如,基于重要性对事件进行分类,事件的评级值可以被检查,并且可以根据它们的等级水平或评级值对事件进行分类(并呈现或提供)。例如,用户界面单元320可以使用由评级单元325设置的评级值,以便基于他们的评级向用户呈现事件。
评级单元325可以使用来自任何来源的数据来对事件进行评级。例如,评级单元325可以使用来自数据提供商或来自互联网的数据,其包括与事件有关的社交聊天和粉丝的评论。评级模块可以使用事件对象数据库来通过使用可以将某些事件定义为更重要的算法来确定事件的评级。例如,在比赛的最后3秒内获得的、赢得比赛的3分投篮可以获得高评级。评级模块可以使用音轨通过人群或评论员的高音量来确定较高评级。评级模块可以分析谈论某个事件的社交聊天文本,并根据社交评论给予其更高的评级。评级单元325可以接收来自用户的输入并根据输入来对事件进行评级。用户界面单元320可以使用户能够对事件进行评级,并且评级单元325可以从用户界面320接收用户输入,并根据输入对事件进行评级。质量管理者或人员可以例如使用用户界面单元320设置或修改评级。在另一种情况或实施例中,管理员可以提供事件数据,该事件数据在视频剪辑的片段中被识别时,引起根据一些实施例的系统或方法使高评级与所描述的片段相关联。
评级单元325可以通过分析比赛中的事件序列来设置或修改事件的等级。例如,在接近第4节结束的势均力敌的篮球比赛中的关键的3分球可以被评级单元325识别为重要的,评级单元325可以相应地将该事件设置为高评级。
评级单位325可以使用各种其它指示来识别更重要和令人兴奋的事件或时刻。例如,重要事件的指示可以是评论员的音量的等级。例如,如果评论者呼喊,该事件被评级单元325确定为可能是重要的、有趣的或美妙的,因此,评级单元325可以将该事件设置为高评级。在另一种情况下,评级单元325可以使用人群噪声的等级来确定事件的评级。
评级单元325可以基于对与比赛相关的社交媒体聊天的分析来设置评级。例如,社交中的聊天的量或评论数量可以用于确定事件的评级。例如,评级单元325可以基于与事件相关的社交网络中的评论的数量或速率来升高事件的评级。社交媒体内容的分析可以包括分析情绪或情感,并可以基于在社交平台上表达的情绪等级来设置事件的评级。例如,如果确定社交网络中的用户对事件感到兴奋,则评级单元325可以为事件设置高评级。
评级单元325可以基于从用户接收的输入来设置评级。例如,用户界面单元320可以使用户能够观看比赛并对事件进行评级。评级单元325可以从用户界面单元320接收用户的输入,并且可以基于用户的输入对事件进行评级。
社交聊天单元330可以针对与正在进行的体育赛事有关的粉丝的帖子或当前正在广播的其他直播广播来监视社交媒体(例如,Twitter、Facebook等),并且可以分析帖子或其它社交媒体内容。来自社交聊天单元330的输出可以用于充实事件元数据、提高数据的准确性并优化事件的评级。
例如,可以识别和使用涉及特定的选手、团队、比赛或事件的社交媒体帖子和评论,以便为视频剪辑或评级事件扩展或创建元数据。例如,可以将帖子的上下文和内容以及帖子发布的时间与事件的数据和时间进行比较,然后可以基于帖子的数据和时间修改事件。引起许多评论的事件可以被认为更重要或更有趣,因此它们的评级可以提高。事件的数量和表达的情感可用于确定事件的评级。
社交聊天单元330可以“听取”社交平台上的聊天,并使用聊天来充实事件对象元数据。例如,人们的评论可以有助于事件的评级。在另一种情况下,社交响应可以是事件的指示,并且社交聊天单元330可以基于社交聊天来创建事件对象。
社交聊天单元330可以生成对其可以进行分析的评论的社交媒体响应。响应可以包括在评论的上下文中的事件或者几个事件的视频。例如,社交聊天单元330可以被配置为响应于某粉丝评论在社交网络上自动发布或推特某些事件的视频。例如,响应于粉丝说“什么TD!49号上啊!”的评论,系统可以(根据实时同步)发布具有所关心的达阵的视频响应,其中可能还包括文本帖子。
社交聊天单元330可以生成社交媒体内容,并且可以分析对生成的社交媒体内容的响应。例如,社交聊天单元330可以被配置为在社交网络视频上自动发布某些事件的评论或推特,并且可以进一步分析用户对自动的评论或推特的响应。例如,为了得到用户关于事件的输入,社交聊天单元330可以发布预定义的评论(被设计用于引起用户做出响应),诸如“你看到那个动作了吗?”或“刚才发生了什么?”在发布评论之后,社交聊天单元330可以监视用户的响应,并且系统可以使用响应来更新或创建如本文所述的元数据或事件。
用户界面单元320可被配置为访问和修改数据库220中的数据。用户界面单元320可以被配置为修改或删除数据库220中的数据,或向其中添加数据。用户界面单元320可以操纵数据库220中的视频剪辑、元数据和事件。因此,数据库220中的任何数据都可以由如本文所述的用户界面单元320操纵。
用户界面单元320可以基于来自用户的输入来操纵数据库220中的数据,例如,用户界面单元320可以提供基于网络的界面,例如,使用户能够使用本领域已知的网页浏览器与系统300进行交互。因此,用户界面单元320可以由用户使用来创建、编辑和发布视频剪辑。用户界面单元320可以使用户能够直接访问数据库220上的任何数据。例如,使用用户界面单元320,用户可以复制与第一视频剪辑相关联的元数据对象440中的一个或更多个,并使复制的元数据对象与另一个视频剪辑相关联。用户界面单元320可以使用户能够改变指针,使得与视频的第一时隙相关联的事件与另一个不同的时隙相关联(从而有效地校正事件的时间)。例如,基于用户输入,用户界面单元320可以改变来自事件对象451的指针,使得相关事件的结束时间不是时隙425而是时隙426。用户界面单元320可以使用户能够修改元数据对象中的数据。例如,如果包括在元数据对象442中的选手的姓名是错误的,则用户可以更正该姓名。
用户界面单元320可以以多种模式或多种功能操作。例如,在第一模式中,用户界面单元320可以如所描述的那样为用户服务,而在第二模式中,用户界面单元320可以使管理员或专业人员能够上传内容、执行质量控制或以其它方式管理系统。根据一些实施例,系统可以包括以不同模式或功能操作的用户界面单元320的多个实例。用户界面单元320可以向用户呈现视频剪辑的列表,并且使用户能够选择剪辑或例如通过将如本文所述的两个或更多个剪辑连接在一起或通过使用在线视频编辑界面来创建新剪辑。
使用在线编辑引擎或单元可以创建新剪辑。例如,内容生成单元335可以使用在线编辑单元或引擎。在线编辑引擎可以适用于拍摄多个视频并编辑它们、将它们拼接在一起、插入或应用视频效果、转换、添加音轨、片头和结尾等。在线编辑引擎可以是基于云的模块化视频编辑系统,其从数据库220中检索数据,并使用检索到的数据来创建新的视频剪辑或其它内容。视频编辑可以通过算法或方法自动完成,或者可以通过用户使用用户界面320来启用。
用户界面单元320可以使用户能够通过与发布平台的现有集成将视频直接发布到数字平台。例如,基于来自用户的输入,用户界面单元320可以将所选择的视频剪辑上传到社交网络或平台,例如,上传到Twitter、Facebook、YouTube等。例如,用户界面单元320可以使视频剪辑从数据库220上传到社交网络。
参考图5,其示出了根据本发明的一些实施例的可以呈现给用户的屏幕的示例性屏幕截图。如所示,界面可以使用户能够访问、修改或以其它方式控制数据库220中的元数据和事件,从而实现对剪辑的在线、近直播的编辑和即时发布。如所示,基于网络的用户界面或其它用户界面可以呈现数据库中的事件以及它们相应的元数据和视频。可以使用不同的数据和视频时间戳对事件进行编辑。可以例如通过组合或连接多个剪辑生成新剪辑。
如所示,用户可以选择将事件或剪辑直接从平台发布(例如,供另一个人使用或普通分发或使用)到其它数字平台。例如,如本领域已知的,用户界面单元320可以使用应用编程接口(API)来将视频剪辑上传到社交网络。例如,发布功能可以用一组自动和/或用户生成的参数将视频上传到YouTube。视频剪辑也可以使用专有视频播放器或者标准或第三方的视频播放器,或者诸如YouTube或承载(host)视频文件并播放它们的在线视频平台(诸如Brightcove、Ooyala和Kaltura)的播放器来实时推特。该发布可以是到特定帐户,或者到可以由用户/客户使用的公共社交媒体帐户或平台。
如按钮530所示,用户可以选择社交网络并将视频剪辑上传到所选择的社交网络。如输入字段和按钮525所示,用户可以改变剪辑的各种参数。如过滤器区域所示,用户可以使用诸如时间、事件等的各种参数来搜索剪辑。如事件515所示,与视频剪辑相关的事件可以被呈现和由用户选择。如直播编辑520所示,用户可以创建他或她自己的视频,例如通过连接两个或更多个剪辑、添加或编辑事件、添加或编辑剪辑的元数据等。例如,用户可以使姓名和描述与事件相关联并发布所描述的视频和事件。
用户界面单元320可以使用户能够挑选几个事件并将它们拼接成一个剪辑。这可以在用户界面内使用简化的在线编辑界面来实现,该简化的在线编辑界面使连接两个或更多个视频剪辑能够创建新剪辑。用户界面单元320可以实现添加或编辑事件和剪辑的音轨。它也可以实现创建对剪辑的视频效果。用户界面单元320可以实现向视频添加片头(sting)和片尾(slate)。在一些实施例中,用户界面单元320用作介于用户和可以在线进行编辑的后台模块或引擎(单元335)之间的接口,例如,用户界面单元320可以使用户能够与内容生成单元335和/或本文描述的在线编辑引擎交互或向其提供输入。在线编辑引擎或系统可被编程为基于算法或方法,或者基于预定的定义或时间帧,例如在没有任何来自用户的输入的情况下在其自身上或自动地创建剪辑(例如,创建带有所有“扣篮”事件的视频的每日剪辑)。
用户界面单元320可以使用户能够创建新事件并且手动地使元数据(例如,姓名、描述、标签和缩略图)与事件相关联。用户界面单元320可以使用户能够使事件与开始时间和结束时间相关联。可以使用用户界面单元320发布或编辑新创建的事件。可以使用用户界面单元320搜索并找到任何事件、新创建的事件或编辑的剪辑。例如,用户界面单元320可以实现在元数据中执行文本搜索、基于时间的搜索、过滤事件等。用户界面单元320可以与任何单元或模块(例如,图3所示和在本文中所述的单元中的任何一个)交互。因此,可以经由用户界面单元320提供对系统300中的单元的任何输入,并且可以通过用户界面单元320提供由系统300的单元生成的任何输出。例如,可以使用用户界面单元320访问包括与体育赛事相关的信息的任何文件或内容对象(例如,储存在数据库中的视频)。在适用的情况下,数据库中的与体育赛事有关的任何内容对象或文件可以被实时播放或存档,并且可以以所描述的任何方式使用来创建新创建的剪辑、查找现有剪辑、编辑和发布它们。
内容生成单元335可以根据有关制作的预定义规则自动创建或生成新的视频剪辑。内容生成单元335可以例如基于条件或统计阈值来自动识别亮点。例如,可以根据在比赛中得分超过25分的选手的所有投篮创建新的视频剪辑。内容生成单元335可以包括在线编辑系统或单元(例如,本文所述的在线编辑引擎)或者可以与其进行交互。内容生成单元335可以根据用户的输入自动创建或生成新的视频剪辑。例如,内容生成单元335可以从用户接收输入并创建如参照图5所描述的视频剪辑。
新的视频剪辑可以是或可以包括不同体育的“故事情节”,以便创建相关的、专业的和有趣的亮点包,讲述比赛的故事。内容生成单元335可以创建“浓缩的”比赛。规则和条件可以用于跨比赛,使内容生成单元335能够创建每日、每周、每月和每季节的视频。内容生成单元335可以使用本文描述的评级方法。例如,包括在故事情节或浓缩的视频中的片段可以基于他们的评级来选择。
内容生成单元335可以对表示与运动的统计相关的视频中的重要时刻的事件进行分类。例如,得分的数值可以是阈值,因此,在单场篮球比赛中得分超过25分的选手可以达到可以定义如何在该特定比赛中创建该选手的事件的亮点视频的阈值。另一个示例可以是结束于获胜的零秒投篮的势均力敌的比赛,内容生成单元335可以创建视频亮点来讲述比赛的“故事”、挑选比赛中的关键的投篮和重要的转变时刻,并创建有趣的剪辑。
内容生成单元335可以创建不同长度的视频剪辑来讲述故事。例如,根据每个事件的重要性(或评级),较短的剪辑可以具有不同的事件,或忽略插入到较长的剪辑中的一些。例如,内容生成单元335使用每个事件的评级,以便确定事件是否将被包括在摘要或故事情节剪辑中。内容生成单元335可以创建“浓缩的”视频剪辑,该视频剪辑可以是较长的亮点剪辑,其示出了比赛中的每个重要动作,基本上将整个比赛“浓缩”为短的剪辑(例如,在12分钟的剪辑中带有每个投篮和重要的瞬间的整个篮球比赛)。
系统和方法的实施例可以检查或分析文本信息或内容或其它信息或内容,基于分析的信息的内容创建视频剪辑,并将所创建的视频剪辑包括在文本或内容中。例如,内容生成单元335或系统300中的另一单元可以使用文本分析或自然语言处理(NLP)来在文本帖子和文章中提取关键参数,诸如人物、运动员、事件、体育比赛、对象、含义,并确定上下文参数。内容生成单元335可以将提取的数据与数据库220中的事件和元数据实时进行比较,并且可以创建匹配和相关的视频。制作的视频可以被放置或者被包括在文本帖子或文章、社交和博客帖子中。因此,根据一些实施例,系统和方法可以基于文本或其它内容的内容、含义或上下文来包括文本或其它信息中的视频剪辑。
任何文本分析系统或方法可用于识别文本中的参数和对象,诸如对体育比赛、或体育运动员、某个事件或团队的提及。可以确定上下文。例如,可以确定文本是否是比赛的描述、选手的社交生活的描述等等。分析文本或内容(例如,网页中的内容)可以通过本领域已知的爬虫、安装在网络浏览器中的插件或任何其它方法来完成。任何内容可以是适用的。例如,可以如本文所述分析诸如网页、博客和社交媒体帖子的内容,可以基于分析来创建视频剪辑,并且所创建的视频剪辑可以被插入、包括或植入所分析的内容中。
如本文所述插入到内容中的视频的视频回放可以使用标准播放器、专有播放器或在线视频平台来完成。视频可以使用小组件或插件来聚合到许多网站或社交媒体平台,以分析相关视频和将其嵌入(例如,插入或植入)视频播放器。例如,通过使视频播放器中包含小组件或其它软件模块,视频可以嵌入到视频播放器中。
参考图6,图示了根据本发明的实施例的将视频剪辑包括在文本内容中的自动化方法。如所示,原始文本内容610可以通过将视频剪辑插入到原始文本内容610中而被转换为新内容620或由新内容620替代。如框630所示,模块或插件可以分析原始内容(例如,网页)中的文本,理解或确定上下文,创建视频剪辑并将视频剪辑嵌入原始内容对象中。如框640所示,方法的实施例可以包括识别原始内容中的对象和参数。如框640所示,方法的实施例可以包括提取或识别原始内容中的特定术语,并使用识别的或提取的术语来创建视频剪辑。如框650所示,方法的实施例可以包括在原始内容中嵌入视频剪辑。例如并如图所示,原始内容可以被重新排列,使得视频剪辑符合原始内容。
音频分析模块310可以例如分析体育评论员的语音。音频分析模块310可以从体育比赛的无线电或电视(TV)广播中提取比赛详情(play-by-play)和描述。音频分析模块310可以使用语音到文本技术识别或确定事件序列(例如,比赛详情序列)。根据一些实施例,系统和方法可以使用评论员的广播描述来创建或更新本文所描述的事件和评级。
语音到文本技术可以用于(例如,通过音频分析模块310)识别体育广播中的事件并充实事件的元数据。例如,可以分析如由输入210所示提供的来自TV和无线电台的音轨和广播。可以创建广播的抄本。在一些实施例中,例如在隐藏式字幕馈送包括广播中所说的所有内容的抄本的情况下,可以通过在TV广播中捕获隐藏式字幕化的馈送来获取抄本。
描述比赛的评论员可以指出选手的姓名、得分和在比赛中发生的事件。因此,抄本可以包括完整描述事件的实际顺序和时间以及诸如分数、选手的动作等的元数据的比赛的比赛详情故事。(由系统300中的专用单元执行的)应用于抄本的文本分析可以识别事件及其元数据。
使用如本文所述的音频输入或内容获得的数据可用于创建如本文所述的事件和元数据。使用如本文所述的音频输入和音频处理获得的数据可用于改善精确事件,识别错误并支持质量控制过程。例如,由事件对象452描述的事件的开始时间可以最初设置为时隙426。然而,基于评论员的评论,可以确定事件实际上在时隙427发生,并且可以相应地修改事件的开始时间。
社交聊天单元330可以从用户获得输入,并且来自用户的输入可用于创建或更新事件和元数据。收集来自用户的输入在本文可以称为众包。众包使用户(例如,体育粉丝)能够使用可获利的界面(基于网页、应用、移动或连接的电视)观看事件,并提供可用于创建本文描述的事件和元数据的输入。众包可用于如本文所述的评级事件和元数据中。例如,观看比赛的用户可以指示选手的姓名、得分的时间或者与比赛或事件相关联的任何类型的数据。用户也可以对事件进行评级。
用户界面320可以向用户提供输出、任务和得分的比赛化界面。用户可以只为享受而贡献,或者可以尝试实现目标。激励或奖励可以是虚拟商品、实物,或甚至可以是付款。包括在系统300中的众包界面可以是基于网络的界面,桌面或膝上型电脑界面,平板电脑界面或移动界面,智能TV界面或任何其它界面。可以实时收集来自用户的输入,例如,比赛进行时可以从用户获得的与比赛相关的输入。在其它情况下,可以获得关于存档的比赛的来自用户的输入。
系统和方法的实施例可以为梦幻体育选手自动创建个性化视频,总结每个梦幻团队的亮点和结果。例如,根据一些实施例,系统和方法可以根据团队的名单或团队的统计来创建包括真实的个人亮点的视频剪辑。
系统和方法的实施例可以创建包括图形的视频,该图形创建具有为每个粉丝定制的自动叙述的个性化视频。例如,根据一些实施例,由系统创建的个性化视频可以包括粉丝的个人梦幻联赛团队的当前结果的概况。例如,本文描述的在线编辑引擎可以包括在用于创建视频剪辑并且如本文所述使用的系统中。可以为新创建的视频剪辑生成个性化的叙述音轨。新创建的视频剪辑和音频内容可以如本文所述被个性化。根据本发明的实施例,由系统或方法创建的视频可以包括梦幻名单中的每个选手的视频镜头。如所述创建的视频可以包括个性化音轨,显示统计信息和/或其可以包括个性化消息或赞助商消息。例如,内容生成单元335可以使用数据库220中的数据来创建包括梦幻联赛或梦幻团队名单中的选手的视频亮点的视频剪辑。
使用数据库220中的数据,内容生成单元335可以创建包括数据和统计信息(包括例如,来自梦幻联赛和梦幻联赛的表格的数据)的图形的视频剪辑。例如,自动创建的视频剪辑可以包括最新的比赛结果,以及梦幻联赛对决中的结果,赢家和输家和/或积累的得分。
自动创建的视频剪辑可以针对各种梦幻联赛格式进行调整和更改。自动创建的视频剪辑可以适用于不同的梦幻联赛运动。自动创建的视频剪辑可以根据所选择的主题或故事情节。自动创建的视频剪辑可以被个性化。例如,个性化视频或梦幻视频可以是近期事件的回顾。自动创建的视频剪辑可以包括未来的推荐或用于决策制定的统计信息,或任何其它信息。自动创建的视频剪辑可以包括选手的实际视频亮点,包括但不限于梦幻选手的名单中列出的选手。自动创建的视频剪辑可以示出每个选手在梦幻比赛中的统计信息和他自己的结果。自动创建的视频剪辑可以将视频亮点中的每个选手的表现示出为视频的一部分。
可以使用After Effect、Flash或任何其它视频技术来渲染自动创建的视频的图形。可以使用可以在文本数据和图像中变化的预定的主题和图形以及改变来自数据库的视频事件来完成对视频进行渲染。可以使用After Effect API或任何其它视频编辑软件或者通过专有的内部编辑软件来渲染视频。
自动创建的视频剪辑可以包括个性化音轨。可以预先记录音频,并且可以根据正在生成的个性化视频的内容将音轨的区块连接起来。例如,体育运动员和梦幻选手的姓名可以预先记录在多个变体中,可以记录数字,并且可以根据所需的输出预先记录并连接适合梦幻视频的主题的许多故事情节。任何记录的信息可以存储在数据库220中,并且如本文所述进行访问或使用。
自动创建的视频剪辑可以包含梦幻选手的个性化消息,包括梦幻推荐、或广告商和赞助商的促销产品、或其它信息。可以针对每个梦幻视频和每个梦幻选手来调整和更改消息。自动创建的梦幻视频剪辑可以传送给在梦幻联赛的应用或网络界面内的梦幻选手,或者可以在专用应用中、或在网站中、通过电子邮件或任何其它方式单独传送。
可以根据任何格式存储或编码输入视频或原始视频。例如,输入215可以包括来自直播馈送和/或来自存档系统的视频剪辑。存档系统可以对视频或其它内容进行编码。例如,存档系统可以压缩视频剪辑。
原始视频剪辑的压缩(或以其它方式更改格式)是已知的或称为编码。将视频剪辑的格式从第一格式更改为第二格式在本领域中已知为转码。通常,编码和转码是需要检查每帧中的数据、执行各种计算等的计算繁重的过程。相比之下,本领域中称为“直接复制”的复制视频的片段是不需要大量的计算资源的相对简单的过程。直接复制可以用于仅在开始从如本领域所指的并在本文解释的关键帧复制时复制视频的片段。根据本发明的实施例的系统和方法实现了根据输入编码的视频剪辑创建视频剪辑的快速且有效的过程。
根据本发明的实施例的系统和方法可以确定例如如本文所述的在输入视频内容中捕获的事件的开始时间和结束时间。根据本发明的实施例的系统和方法可以在输入视频内容中识别在开始时间之后的第一关键帧(或者最接近开始时间的关键帧,或者恰好在开始时间之后的关键帧),并且可以对输入视频内容的第一片段编码,使得第一片段包括开始时间并直到第一关键帧。根据本发明的实施例的系统和方法可以直接复制输入视频内容的第二片段,其中第二片段包括关键帧和结束时间,并且系统和方法还可以通过连接第一片段和第二片段来生成输出视频内容。
参考图7,图示了根据本发明的实施例的创建事件的视频剪辑的方法。如开始时间715和结束时间725所示,可以确定输入视频705中的事件的开始时间和结束时间。例如,输入视频705可以类似于视频420,并且开始时间715和结束时间725可以是如参考图4所描述的在事件对象451中描述的事件的开始时间和结束时间。
可以使用本领域已知的关键帧对输入视频705进行编码。通常,关键帧可以是用作参考的帧(例如,视频序列或剪辑内的图像帧),使得编码视频中的后续帧仅存储相比于关键帧的改变或增量。例如,关键帧可以包括帧中的每个像素的信息,并且随后的帧仅存储相对于关键帧而改变的像素的信息。
为了创建与在时间715开始并在时间725结束的事件相关的视频剪辑,根据本发明的一个实施例的方法可以包括识别最接近事件的开始时间的关键帧。在一些实施例中,在开始时间之前和之后即刻识别关键帧。根据一些实施例,方法可以包括对从开始时间到最近的下一个关键帧的片段转码。例如,从开始时间715到关键帧720的片段被变换、编码或转码。例如,可以在开始时以关键帧生成新的视频剪辑或电影,其中帧715在视频705中。例如,使用关键帧710和从关键帧710到开始时间715的帧的改变,可以产生新的关键帧,并且可以将其用作在开始时间715处的帧,使得生成编码片段730。例如,编码片段或部分730可以被放置在缓冲区或文件中。
根据一些实施例,方法可以包括将紧跟在起始时间之后的第一关键帧(720)的部分直接复制到结束时间(725)。例如并如所示,通过直接复制的片段735,输入视频的一部分可以被复制到例如缓冲区或文件中。
为了生成与事件相关的视频剪辑,方法的实施例还可以包括连接编码的部分(例如,部分730)和直接复制的片段(例如,片段735)。例如并且如图所示,可以通过连接编码的片段730和复制的片段735来产生输出视频剪辑740。
片段730和735的连接可以使用直接复制来完成。片段730和735可以具有完全相同的格式并且在视频编码的每个准则中都相同,以使直接复制能够将片段连接成视频剪辑740。
参考图8,示出了根据本发明的一些实施例的流程。如框810所示,可以接收输入视频内容。例如,服务器210可以将视频420作为输入视频内容接收。如框815所示,可以分析输入视频内容并且可以产生分析结果。例如,在实施例中,输入视频可以由音频分析模块310分析,并且可以产生识别音频事件或信息(例如,人群的吼叫,裁判的哨声等)(和/或包括音频事件或信息的时间)的分析结果。
在另一个或相同的实施例中,输入视频可以由视频分析单元340分析,并且可以产生分析结果,其识别可以在输入视频中看到的事件或信息(例如,篮球赛中的扣篮、犯规、得分等)(和/或包括该事件或信息的时间)。
如框820所示,基于分析结果,可以识别在输入视频内容中捕获的事件。例如并且如所描述的,音频分析模块310和视频分析单元340可以适于分析输入的视频内容并识别其中所描述的事件。如框825所示,可以识别或确定包括事件的(输入视频的)片段或部分,并且可以确定片段或部分的开始时间和结束时间。包括事件的片段或部分的开始时间和结束时间可以被记录,例如,记录在本文所述的元数据对象440中和/或一个或更多个事件对象450中。
如框830所示,输出视频内容可以通过在输出视频内容中包括输入视频的片段或部分来生成,其中片段或部分包括识别的事件。例如,片段421、422和425可以是事件在其中被识别的片段,并且片段421、422和425可以被包括在输出视频内容中。
如本文所述,被识别并用于生成输出视频剪辑或内容的事件可以是当拍摄、制作或捕获输入视频时发生的事件。例如,在一些实施例中,通过分析所描述的输入视频内容来识别的事件可以是比赛的得分(例如,篮球比赛中的两分或三分的得分可以被识别为事件)、选手或团队的移动(例如,团队到防守位置的移动、两人往返传球等等可以是被识别为事件的移动)。例如,基于面部识别或基于选手所穿的制服上的号码(在本领域中也称为运动衫号码(jersey number)、衬衫号码(shirt number)、卫衣号码(sweater number)、制服号码(uniform number)或球衣号码(squad number))确定的对象或选手的外观可以是在生成如所述的输出视频中识别、记录并使用的事件。
在一些实施例中,可以通过分析输入视频内容来识别输入视频内容中的效果或应用到输入视频内容的修改。可以使用(例如,使用视频或其他分析)所识别的输入视频内容中的效果或应用到输入视频内容的修改,以便生成元数据和/或识别事件。
例如,可以识别插入到(或包括在)输入视频中的任何一种转换效果。在其它情况下,例如,当多于一个摄像机用于捕获输入视频时,可以识别用于捕获输入视频的源摄像机的改变。在其它实施例中,摄像机的特写、摇摄、倾斜和/或变焦(PTZ效果)中的任何一种可以被识别并用于生成元数据,识别事件或以其它方式用于生成所述的输出视频内容。在又一其它情况下,根据本发明的实施例的系统和方法可以识别输入视频内容中的效果、操作或其它相关信息,例如,用于捕获视频的摄像机的视场的扩大和/或缩小。因此,可以基于输入视频中的任何方面、效果或信息(例如,应用于输入视频的修改或信息,而不管由输入视频捕获的实际事件如何)来生成输出视频。如所述,输入视频可以包括诸如篮球比赛、赛车或赛马等的体育赛事。
如所描述的,通过本发明的实施例可以识别输入视频内容的、其中的、或与其相关的效果、操作、来源和摄像机操纵或操作,并且可以使用所识别的效果、操作和其它元素来识别事件、事件的开始时间和/或结束时间或者与事件相关的任何其它元数据。例如:在篮球中的“扣篮”事件期间,服务器210可以使用识别或确定从广角图像到选手特写的场景/摄像机变化来确定它是“扣篮”事件的结束(例如,从广视图到特写视图的变化是“剪切”视频以便生成事件的片段的良好位置),因此,基于识别所描述的摄像机效果,服务器210可以确定“扣篮”事件的结束在特写开始后1秒钟。
在另一种情况下,识别摄像机向球场的一侧移动可以通过服务器210来确定,以指示进攻比赛正在进行中。当识别到摄像机例如在球场(例如篮球场)的一侧处停止其运动之后,并随后开始向着球场的另一侧移动回去,服务器210可以确定进攻结束,并且另一团队现在处于进攻状态。因此,可以基于摄像机移动、视场变化等来识别事件(例如,得分、扣篮、进攻等)。特别地,可以基于摄像机效果、移动等来识别和/或确定事件的开始时间和/或结束时间。
如所描述的,输入视频内容可以包括音频内容,并且分析输入视频内容以产生分析结果可以包括分析所包括的音频内容。例如,如本领域已知的,可以(例如,通过包括麦克风的摄像机)捕获比赛或其它场景的视频和音频,因此,所描述的输入视频内容可以包括可以配备有输入视频的一个或更多个嵌入式音轨。因此,本发明的实施例可以分析用输入视频捕获和/或嵌入在其中的音频内容,以及/或者本发明的实施例可以分析单独从输入视频捕获的、并且可能与输入视频分开提供的音频内容。如所描述的,无论在何处或何时需要,本发明的实施例都可以使音频内容与输入视频同步。例如,同步模块315可以使与输入视频单独接收的外部音轨同步,使得外部音轨中的声音可以与在输入视频中识别的事件相关。
在一些实施例中,输入视频可以包括文本内容,并且分析输入视频内容以产生分析结果可以包括分析所包含的文本内容。例如,可以在输入视频中包括或嵌入隐藏字幕或其它文本,并且视频分析单元340可以分析嵌入的文本内容,以便识别事件或生成所描述的分析结果。例如,可以在嵌入在输入视频420中的文本内容中识别术语“扣篮”或“进球”,并且实施例可以基于识别嵌入文本中的这些术语来识别(或搜索)输入视频420中的事件。例如,可以基于识别被包括在输入视频420中的隐藏式字幕或说明字幕中的词“扣篮”来识别“扣篮”类型的事件。例如,基于与输入视频内容相关的类别、分类、类型或其它信息,一组术语可用于识别事件。例如,如果输入视频内容是一场篮球比赛,则在文本内容中发现的术语“扣篮”可以使实施例识别或搜索事件,并且如果输入视频内容是一场足球比赛,则在文本内容中发现的术语“进球”可以使实施例识别或搜索事件。因此,可以基于输入视频内容来选择用于搜索或识别事件的一组术语和规则。因此,基于(例如,从用户接收的或通过分析输入视频内容确定的)与输入视频内容相关的类别、分类、类型或其它信息,可以选择一组术语,并且可以使用该术语以便识别事件。例如,“篮球”的类别可以使发明选择诸如“扣篮”和“得分”的术语,在输入中搜索所选择的术语,并基于发现所述的输入中的术语来识别事件。
通过所描述的本发明的实施例接收和使用的文本内容可以包括结构化数据。例如,结构化数据可以是或可以包括XML或JavaScript对象标记(JSON)。结构化数据可以包括文本(例如“扣篮”)和/或结构化数据可以包括事件ID(例如,扣篮事件的ID),在ID的情况下,服务器210可以使用ID和映射、表或列表,以便基于在接收的结构化数据中包括(或指示)的ID来确定事件。
本发明的一些实施例可以接收与输入视频有关的任何数据,并且可以基于分析所接收的数据来产生分析结果。具体地说,所接收的数据可以是输入视频以外的任何数据。例如,用于产生输入视频剪辑或内容的分析结果的接收数据可以是未包括在输入视频内容中的音频内容和/或文本内容。例如,接收的(本文也称为外部的)数据可以是结构化数据和自由文本。接收的自由文本可以是例如隐藏式字幕和/或抄本。例如,在一些实施例中,比赛的抄本可以从互联网或从抄本的提供商获得,并且实施例可以使抄本与输入视频同步,并使用同步的抄本来产生所描述的分析结果。在一些情况下,隐藏式字幕或说明字幕可能不需要同步,例如,它们可以与所接收的输入视频内容同步并嵌入在其中,在这种情况下,本发明的实施例可以容易地分析隐藏式字幕或说明字幕来产生分析结果和/或识别所描述的事件。
本发明的一些实施例可以在输入视频中识别多个事件,并且可以基于分析输入视频的结果和一组规则或准则使多个事件与相应的多个评级相关联。例如,包括篮球比赛中的“扣篮”的多个事件可以被识别(并且可以被给予“扣篮”的事件类型)。基于指示第一特定选手的第一规则,包括第一特定选手的“扣篮”事件可以与比其它“扣篮”事件更高的评级相关联。实施例可以基于不同的规则对同一组事件进行不同的评级。例如,在上述“扣篮”示例中,指示或优先考虑第二特定或不同的选手的第二规则可以使实施例将包括第二选手的“扣篮”事件与高于包括第一选手的“扣篮”事件的评级相关联。因此,事件的评级可以基于规则或基于期望的或要求的输出视频。如进一步描述的,事件的评级可以基于输出视频的目标受众和/或与输出视频相关的任何其它方面。将注意到,相同的事件集合可以基于不同的规则而被不同地评级。例如,在上述示例性“扣篮”情况下,可以基于指示选手、比赛中的时间、比赛的得分等的不同规则对同一组“扣篮”事件进行不同地评级。例如,规则可以使高评级关联到第4节的扣篮或得分,并使较低评级关联到第一节的扣篮或得分。因此,评级事件可以基于与选手、时间、得分和/或任何其它方面或用户的输入相关的规则。
一些实施例可以基于来自用户的输入使事件与评级相关联。例如,如果许多用户对比赛中的事件进行评论(例如,在网站或社交网络中),则实施例可以提高该事件的评级。例如,如果特定事件在网站中或用户给无线电台的电话中频繁地提到,则可以提高事件的评级。在又一其它实施例中,可以使用问卷或其它方法来接收用户对比赛中的事件或时机的输入,并且可以基于输入对事件进行评级。
在一些实施例中,可以语义地分析来自用户(例如,在网页、论坛或社交网络等中)的文本,并且可以基于文本的语义分析来选择要包括在输出视频剪辑中的基础(based)事件。例如,通过语义地分析网页中的文本,实施例可以确定在比赛的特定时刻发生的感兴趣的事件。例如,认识到比赛的23分18秒的时间被网业中聊天的用户频繁地提到,可使实施例确定出现在所提到的时间处的重要的或感兴趣的事件,并且还可使实施例将覆盖所提到的时间的片段包括在基于比赛的输入视频创建的输出视频剪辑中。例如,基于上述示例性时间,可以在输出视频中包括覆盖比赛的23分10秒到23分30秒的片段。
本发明的一些实施例可以基于评级来产生输出视频。例如,实施例可以通过基于它们各自的评级选择一组事件来生成输出视频。例如,可以通过仅选择具有最高评级的事件包括在输出视频中来生成输出视频。在另一种情况下,如果预先知道输出视频的长度,则实施例可以迭代地选择要包括在输出视频中的具有最高评级的事件,直到达到输出视频的长度。例如,假设输出视频的长度已知为24秒,并且进一步假设实施例已经在输入视频中使:具有长度为12秒的一个事件与评级9相关联;具有长度为4秒的两个事件与评级7相关联;具有长度为4秒的一个事件与评级5相关联,并且实施例使输入视频中的所有其它事件与评级为4或更小的评级相关联。在这种示例性情况下,为了创建长度为24的输出视频,实施例可以首先选择在输出视频中包括具有评级9的事件,基于输出视频的所得到的长度来确定更多事件可以包括在其中,选择具有评级7的两个事件,确定所得到的输出视频是20秒长并且因此可以包括附加事件,选择包括评级为5的事件,确定达到所需长度并提供所得到的输出视频。因此,多个事件可以与相应的多个评级相关联,并且可以通过基于多个评级中的至少一些评级在输出视频内容中包括输入视频内容的一个或更多个片段(例如,选择在输出视频中包括输入视频中的顶级评级的事件)来创建输出视频内容。
本发明的一些实施例可以通过识别输入视频内容中的多个事件来产生输出视频;以及基于准则或规则选择在所述输出视频内容中包括多个事件中的一个或更多个。例如,规则可以指示感兴趣的特定选手,因此可以选择所指示的选手出现(或被示出)的要包括在输出视频中的事件。规则或准则可以指示或优先考虑特定时间部分(例如,比赛的结束比比赛的开始更感兴趣),因此,来自指示的时间(例如,篮球比赛的第4节)的更多事件可以被选择包括在输出视频中。
应当注意,如所描述的,识别输入视频中的事件可以基于规则或准则。例如,提供给一些实施例的、指示感兴趣的特定选手的规则可以使一些实施例识别包括该选手的事件。因此,根据本发明的实施例的系统和方法可以基于规则和准则来识别事件,并且还可以基于(可能不同的)一组规则或准则,从所识别的事件中选择要包括在输出视频中的一些事件。
本发明的一些实施例可以产生输出视频,使得输出视频包括或描绘输入视频内容的叙述。例如,叙述可以是或可以与以下任何一个有关:选手、时序方面、体育赛事的进展、结局、结果或得分。例如,制作叙述可以包括在输出视频中包括与得分有关的事件、当比赛中的比分咬的很紧时、当团队领先时的所有发生的事件(occurrences)或时间等。例如,通过检查比赛得分的进度或演变(如所描述的,基于输入视频的分析或基于外部数据),可以选择描绘与得分相关的叙述的事件并将其包括在输出视频中。类似地,为了创建与选手相关的叙述,可以选择包括选手的事件等等。
本发明的一些实施例可以产生输出视频,使得选择在所述输出视频内容中包括多个所识别的事件中的一个或更多个事件,使得输出视频内容包括与以下中的至少一个相关的亮点:选手、时序方面、体育赛事的进度和得分。例如,为了产生与选手相关的亮点的剪辑,可以选择包括选手的事件。与比赛的得分或进展相关的亮点的剪辑可以通过选择包括以下项的事件来创建:失败队伍获得领先、篮球比赛中的三分、足球比赛中的进球、达阵等。提供给系统的规则可以与正在处理的输入视频的类型有关。例如,与篮球比赛相关的输入视频有关的规则可以使系统能够(例如,通过确定得分选手的位置)识别三分投篮,而与足球比赛相关的规则使系统能够识别选手在越位。
如所描述的,本发明的实施例可以接收外部数据并在产生输出视频剪辑或内容时使用该外部数据。通常,本文所指的外部数据可以包括未包括在输入视频内容中的任何数据。例如,除了作为输入视频420接收的视频帧和音轨之外的任何数据可以被称为或在本文中被认为是外部数据。例如,外部数据可以是从无线电台接收的音轨,或者可以是从网站或社交网络收集的文本。
本发明的一些实施例可以使接收到的外部数据与输入视频内容同步,以产生同步的外部数据,并且可以使用同步的外部数据,以便识别输入视频中的事件和/或使用同步的外部数据,以便选择要包含在输出视频内容或剪辑中的事件。例如,可以接收为广播比赛的无线电生成的音轨。根据本发明的实施例的系统和方法可以通过确定接收到的音轨中的特定时间(或与开始的偏移)与输入视频剪辑中的特定时间(或与开始的偏移)相关或者与其对应来使所接收的音轨与输入视频剪辑或内容同步。可以采用各种方法和逻辑以便使外部数据与输入视频同步。例如,如果外部数据是文本数据,则识别诸如“在时间2:34发生的犯规”的短语可用于使文本与输入视频中比赛的时间2:34同步。在另一种情况下,基于外部音轨中的锚点(anchor)的短语或单词,输入视频中的事件可以与外部音轨相关。在又一其它情况下,可以使用与外部数据(例如,指示外部数据与体育赛事的相关性的信息)相关的并与外部数据一起接收的元数据。
应当注意,识别事件可以基于外部数据。例如,可以使用从网站下载并包括“这是犯规”的时间标记文本,以便确定包括由文本的时间戳指示的时间处发生的犯规的事件。本发明的实施例可以使用数据的类型以便识别、确定或标记事件和/或以便基于所描述的事件创建输出视频内容。例如,如所述接收和处理的结构化数据(例如,XML或JSON数据)可以包括“犯规”的ID和比赛中发生犯规的时间。因此,可以基于结构化数据或其它外部数据来识别事件,可以确定输入视频内容中的事件的开始时间和/或结束时间,并且可以根据或基于所述的结构化数据或其它数据来创建或更新事件对象和/或元数据对象。
基于接收到的数据确定的时间指示可用于识别事件和/或确定事件的开始时间和结束时间中的至少一个。例如,可以使用在外部音轨中听到的人群的吼叫,以便确定事件开始。可以使用准则,以便基于外部数据来确定开始时间或结束时间。例如,使用规定事件的固定的时间的规则,如果在165秒听到裁判员的哨声,则实施例可以确定事件的开始时间为160,以及事件的结束时间为170(例如,规则规定事件在哨声5秒钟前开始并在哨声5秒后结束)。在其它情况或实施例中,可以将事件的开始时间确定为事件在外部接收的数据中被识别的时间,例如,将事件的开始时间设置为听到裁判员的哨声的时间。应当注意,识别事件和/或确定事件的开始时间和结束时间可以基于许多规则、准则和/或配置参数。例如,除了如上所述的基于外部数据确定事件的开始时间之外,可以基于其它准则来设置或确定事件的结束时间,例如,事件的结束是当特定选手不再出现在输入视频中或其它条件被满足时。因此,本发明的一些实施例可以基于所接收的数据(例如,接收到的外部数据)来确定时间指示,并且可以使用该时间指示来确定事件的开始时间和结束时间中的至少一个。
在一些实施例中,可以使用规则来基于输入视频内容来定义、生成或创建输出视频内容。例如,规则可以规定输出视频内容包括特定类型的事件、与特定评级相关联的事件等。例如,规则可以与选手、时序方面和/或体育赛事的进度相关,并且基于规则,可以例如由服务器210选择要包括在输出视频内容中的事件。例如,基于指示特定选手的规则,服务器210可以在输出视频剪辑中包括所指示的选手参与或被示出的事件。规则可以与输入或输入视频的任何方面相关,例如,规则可以与转换、比赛得分、源摄像机的变化、特写、选手或对象的移动、摄像机的摇摄、倾斜和变焦、摄像机的视场的扩大和缩小、面部识别和识别选手或对象的数字等。因此,可以使用规则来使服务器210创建所描述的输出视频内容,使得输出视频内容符合规则。
例如,在一些实施例中,可以识别一组事件,并且可以基于诸如本文所述的元数据对象和/或事件对象的对象来定义、描述和使用事件。可以使用规则来选择要包括在输出视频剪辑或内容中的事件。例如,在已经如所描述的那样识别、确定和/或分类一组事件之后,可以使用两个或更多个不同的规则(或规则集合),以便创建两个或多个不同的输出视频内容对象或剪辑。例如,使用在输入视频剪辑中识别的相同的事件集合,第一规则可以选择用于创建第一输出视频内容的第一个事件子集,并且第二不同的规则可用于从同一事件集合中选择用于创建第二输出视频内容的第二事件子集。
本发明的一些实施例可以基于接收到的外部数据来确定时间指示;并且可以确定在输入视频内容中的片段的开始时间和/或结束时间,其中片段包括事件。例如并且如所描述的,基于社交网络或用户聊天中的文本,实施例可以确定在比赛的特定时刻(分钟或秒)得了分,并且可以相应地定义或设置事件的开始时间。实施例可以使用开始时间和结束时间来定义或选择输入视频的片段。例如,实施例可以基于音轨来确定事件在时间22:45(当把比赛的分和秒表示为分:秒时)开始,并且该实施例还确定事件在时间22:55结束,那么10秒的片段(在22:45开始并在22:55结束)可以与事件相关联。如果例如基于评级或过滤器确定事件将被包括在输出视频中,则上述示例中讨论的10秒片段可以被包括在输出视频中。
实施例可以确定或接收输入视频的类别,并且包括在输出视频中的事件可以基于类别。例如,类别可以是比赛类型(例如,篮球、足球、曲棍球等),或者类别可以是“新闻”、“政治”、“自然”等。基于类别,可以在输入视频中识别事件和/或选择要包括在输出视频中的事件。例如,在产生输出视频剪辑或内容时,不同的规则可以用于不同的类别,例如,第一组规则或准则可以用于第一类别,并且第二组规则或准则可以用于第二类别。例如,对于体育的类别,规则可能规定人群的吼叫指示事件,但是对于政治类别,人群的吼声可以被忽略,并且规则可以规定词“选举”指示事件。以类似的方式,评级事件可以基于与类别相关的规则。因此,用于识别和选择事件的规则和准则可以与输入视频内容的类别有关或基于输入视频内容的类别。
可以例如由服务器210使用规则或一组规则或准则,以便定义和/或创建输出视频内容。例如,如所描述的,在识别事件之后,服务器210可以使用规则,以便选择哪些事件将被包括在输出视频剪辑中。例如,规则可以与本文描述的评级相关,例如,规则可以规定仅具有高于阈值的评级的事件将被包括在输出视频剪辑中。
可以例如由服务器210使用规则、过滤器或准则,以便决定是否、如何和/或何处发布输出视频内容。例如,基于规则,服务器210可以在数字目标中发布输出视频剪辑(或将其发布到数字目标)。例如,基于规则,服务器210可以在社交网络、在线视频平台、网页等中发布输出视频剪辑。例如,规则可以指出最近的篮球比赛的事件将例如在比赛后的2天内被发布在网站中。因此,根据本发明的实施例的系统和方法可以自动生成视频内容(例如,比赛的亮点),并且系统和方法还可以自动地上传或发布生成的内容。例如,包括比赛的亮点的视频剪辑可以由所述的服务器210自动地创建,并且可以由服务器210自动地上传到网站或社交平台。
基于输出视频内容的目标受众,本发明的一些实施例可以识别输入视频中的事件和/或选择要包括在输出视频中的事件。例如,如果目标受众是特定团队的粉丝,则规则可以优先考虑包括该团队成员的事件或包含团队明星的事件。例如,针对特定的国家或地区创建的输出视频剪辑可以包括捕获在该国家或地区出生的选手的事件。可以由本发明的实施例使用表征目标受众的任何其它方面或信息(例如,目标受众的兴趣、目标受众的偏好等),以便定义用于识别或评级在输入视频中事件的规则。可以由本发明的实施例使用表征目标受众的任何信息来选择要包括在输出视频中的输入视频中的事件或片段。如所述,规则可用于在输出视频中选择和包括事件。例如,第一组规则可用于识别或评级输入视频中的事件,并且第二组不同的规则可用于选择所识别的事件并将所选择的事件包括在所描述的输出视频剪辑或内容中。
本发明的一些实施例可以基于输出视频内容的期望长度来选择在输出视频内容中包括一个或更多个事件或者事件的部分。例如,期望的长度可以基于规则,或者其可以基于从用户接收的规范。例如,规则可以包括阈值,并且还可以规定或指示特定类别的输出视频剪辑的长度不能长于阈值。应当理解,如所描述,与制作的输出视频的长度相关的任何逻辑可以被包括在如所描述的规则中。例如,规则可以指定输出视频关于类别、比赛、选手、目标受众等的最大长度或最小长度。
例如,如果输出视频的长度将为32秒(例如,客户端请求32秒的比赛的亮点或概况),则实施例可以检查所识别的事件(或其相关联的片段)的长度,并选择用于创建输出视频的事件的数量,使得输出视频长32秒。例如,实施例可以升序地选择要包括在输出视频中的顶端或最高评级的事件,直到达到期望的长度。例如,输入视频剪辑中评级最高的5个事件可以被包括在第一输出视频内容或剪辑中,并且只有同一输入视频剪辑的评级最高的3个事件可以被包括在第二较短的输出视频内容或剪辑中。
本发明的一些实施例可以生成与输入视频内容相关的元数据,并且在输出视频内容中可以基于元数据包括输入视频内容的一个或更多个片段。例如,为网球比赛的输入视频剪辑生成的元数据可以是通过检查得分而生成的文本或短语“决胜局”。为示出狩猎旅行(safari)的视频剪辑生成的元数据可以包括从互联网获得的数据,例如,大象群体、狮子的狩猎习惯或方法等。任何(例如,文本或图形)元数据可以通过本发明的实施例生成或获得,并且可以被包括在输出视频剪辑或内容中。
本发明的一些实施例可以通过在网页中插入、包括或嵌入视频内容来修改网页。例如,本发明的一些实施例可以语义地或以其它方式分析网页中的文本和内容(例如,如本文所述),并且可以基于分析的结果来选择视频剪辑的一个或更多个片段并将所选择的片段插入、包括或嵌入到网页中。如所述为网页选择的片段可以用于创建输出剪辑,并且输出剪辑可以被插入、包括或嵌入在网页中。
在一些实施例中,除了在输出视频内容中包括输入视频内容的部分或片段之外,可以获得或生成附加内容,并且附加内容可以包括在输出视频中。例如,可以是充当对主题、话题、片段的介绍或充当整个输出视频剪辑或内容的介绍的片段或剪辑的片头可以由本发明的实施例生成,并且可以例如在输出视频内容的开始处或恰好在输出视频剪辑中的片段或部分之前被插入到输出视频剪辑中。在其它情况或实施例中,可以在输出视频内容或剪辑中的所选择的片段或事件之间插入中间图形片段或内容。在又一其它实施例或情况中,可以通过本发明的实施例来插入对片段下结论或对输出视频下结论的片尾部分。
选择用于插入到输出视频内容中的内容可以由本发明的实施例自动完成。例如,基于如本文所述识别或确定的输入视频的类别,内容生成单元335可以选择视频内容或剪辑,并将所选择的内容作为片头、中间图形或者作为片尾插入到输出视频中。例如,如果输入视频与篮球相关,并且还知道目标受众包括比赛中的一个团队的粉丝,则内容生成单元335可以针对片头选择该团队的明星的视频剪辑,针对中间图形选择团队的历史比赛的剪辑等等。要包括在输出视频剪辑或内容中的内容,例如,用于生成和包括诸如片头、中间图形或片尾的元素的内容,可以存储在数据库(例如,数据库220)中,并且内容生成单元335可以基于规则和/或基于内容的元数据从数据库中选择内容。例如,特定的团队或选手的视频剪辑可以与描述剪辑的元数据相关联,使得如果给定团队的名称或选手的姓名,则内容生成单元335可以如本文所述容易地从数据库中选择相关视频内容并使用所选择的视频。
任何规则或配置参数可以用于选择用于插入到输出视频内容或剪辑中的(输入视频内容之外的)外部视频或图形内容。例如,可以由内容生成单元335基于本文所述的输出视频内容的期望长度来选择片头或片尾的长度,例如,可以由内容生成单元335选择片头和/或片尾,使得输出视频剪辑保持在期望的长度。内容生成单元335可以基于如本文所述的任何用户输入来选择要包括在输出视频中的外部视频或图形内容,例如,如果对网页聊天或其它用户输入的分析指示对特定的选手或团队有高度的兴趣,那么内容生成单元335可以选择使用特定的选手或团队的视频或图形内容来生成片头或片尾。
对输入视频内容的分析可以包括识别应用于输入视频内容的各种效果和/或修改。例如,可以由视频分析单元340在输入视频内容中识别诸如重放和慢动作效果的效果,并且可以(例如,通过在元数据对象中包括该效果、其类型、偏移、长度等的指示)标记识别的效果。视频分析单元340可以使在输入视频内容中识别的效果与在输入视频内容中识别的事件相关联。例如,输入视频剪辑中的(例如,在输入视频剪辑的时间18:23处显示的)三分得分的重放可以由视频分析单元340与(例如,在输入视频剪辑的时间18:01处显示的)三分的得分的实际事件相关联。例如,可以使用(例如,从元数据对象到所描述的片段的)指针,以便使应用于输入视频的效果和/或修改与在输入视频中识别的事件相关联。因此,本发明的实施例可以将效果和/或修改重新定位在输出视频内容中,例如,通过将具有效果的片段插入到所描述的输出视频内容的选定偏移中。
在一些实施例中,可以(例如,使用所描述的开始时间和结束时间)识别并标记包括应用于输入视频内容的效果和/或修改的片段,并且片段可以被重新定位在输出视频中,使得它放置在包括实际事件的片段附近。例如,内容生成单元335可以在输出视频内容中将事件的重放放置在实际事件附近(例如,紧跟在实际事件之后)。例如,如果在输入视频内容中,扣篮本身之后25秒出现扣篮的重放,则内容生成单元335可以将重放放置在输出视频内容中,使得其在扣篮事件结束时开始。在一些实施例中,内容生成单元335可以在输出视频内容中加入或拼接在输入视频中发现的效果和/或修改和事件,使得效果和/或修改和相关事件按顺序显示或者一起显示,例如,使得在事件之后立即显示事件的重放。
与输入视频内容相关的外部数据可以是第二或附加的视频内容。例如,输入视频内容(本文也称为主输入视频内容)可以从第一源或摄像机(例如,网络或视频广播的提供商)接收,以及有关或相关的第二或附加的视频内容可以从第二来源或摄像机(例如,在线网络流)接收。同步模块315可以使第二或附加的输入视频内容与第一(或主)输入视频内容同步,使得例如使用主输入视频内容中的事件的开始时间,事件可以容易地在第二(或辅助)或附加的视频内容中识别和/或从第二(或辅助)或附加的视频内容中提取。在一些实施例中,同步模块315可以生成同步的辅助或第二视频内容,使得为主视频内容生成的元数据、指针和所有其它信息可以容易地用于对同步的辅助视频内容执行本文所描述的操作。
内容生成单元335可以使用同步的第二视频内容,以便在输出视频内容中包括同步的第二视频内容的一个或更多个片段。例如,在识别了如本文描述的事件之后,内容生成单元335可以通过在输出视频内容中包括由第一摄像机捕获的事件的片段(例如,在主视频剪辑中提供)并且还在输出视频内容中包括由第二摄像机捕获的相同事件的片段(例如,从互联网或在线服务获得)来生成包括事件的多个视图的输出视频内容。
本发明的一些实施例使远程系统、服务器或单元能够使用由本文所述的系统生成和/或识别的一些信息或甚至全部信息。在一些实施例中,系统和方法可以向远程系统或单元发送或以其它方式提供如本文所述生成和/或识别的任何相关的信息或数据。例如,服务器210可以向远程系统发送元数据对象440和事件对象450以及与输入视频内容和/或输出视频内容相关的任何其它信息。如本文所述,使用与输入视频内容和/或输出视频内容相关的信息和数据并应用逻辑,远程系统可以执行如本文所述生成输出视频的方法。例如,音频分析模块310、同步模块315、用户界面模块320、评级模块325、社交聊天模块330、内容生成单元335和视频分析单元340中的一些或甚至全部可以包括在远程系统中,并且因此,远程系统可以生成如本文所述的输出视频。
在一些实施例中,可以例如由服务器210基于第一(本地)输入视频内容来生成诸如元数据对象440和事件对象450的数据和信息,并且数据(例如,元数据对象440和事件对象450)可以由远程系统使用来基于另一个第二(远程)输入视频内容生成输出视频内容。例如,服务器210可以向远程系统发送数据或参数,该数据或参数使远程系统能够将其自己的输入视频内容与服务器210使用的输入同步,使得可以使用如本文所述的元数据和指针以便基于远程输入视频内容来创建输出视频。
当考虑广播质量视频内容时,可以实现将能够创建如所描述的输出视频剪辑的信息导出(例如,导出元数据对象440和事件对象450)的一个优点。例如,服务器210可以基于具有相对低的分辨率(例如,720P或1080P)的输入视频生成和/或识别并存储用于创建输出视频的信息(例如,元数据对象440和事件对象450),将信息(例如,元数据对象440和事件对象450)提供给远程系统,并且远程系统可以基于具有高分辨率(例如,4K或其它高分辨率或者如本领域已知的高带宽内容)的输入视频使用该信息来创建输出视频内容。因此,通过将数据(例如,元数据对象440和事件对象450)导出到远程系统,实施例可以实现远程系统基于任何输入内容格式或分辨率重新使用导出的数据来创建输出视频内容。例如,如所描述的导出数据克服了传送大量数据(如广播质量视频内容的情况)例如到服务器210的需要,而是服务器210可以提供如所描述的所需数据并且广播质量视频内容的实际有效载荷不需要被传送,因为远程系统可以容易地使用诸如元数据对象440和事件对象450的数据以便基于广播质量视频内容来创建输出视频。
例如,服务器210可以(例如,以帧、偏移的形式和/或本领域已知的其它方法)发送用于使由服务器210使用的输入视频内容与由远程系统使用的输入视频内容同步的信息。服务器210可以向远程系统发送(例如,包括在元数据对象440和事件对象450之一中的)事件的开始时间和结束时间。因此,远程系统可以通过执行如本文所述的逻辑来生成包括事件的输出视频。远程系统可以使用如本文所述的任何规则或准则和/或用户输入或其它输入,因此,可以基于任何输入视频内容由远程系统创建如本文所述创建的任何输出视频内容,例如,210可以使用低分辨率输入视频内容来生成数据并将数据提供给远程系统,并且远程系统可以使用来自服务器210的数据来使用广播质量、高清晰度或高带宽视频作为输入来创建输出视频内容。
在一些实施例中,除了发送到远程系统的诸如元数据对象440和事件对象450的数据和信息之外,系统和方法可以向远程系统发送视频或其它内容,并且远程系统可以将该内容包括在由远程系统生成的输出视频内容中。例如,远程系统可以以与辅助或附加的视频内容可以由如本文所述的实施例使用的方式类似的方式来使用由服务器210发送的视频内容。例如,远程系统可以使用从服务器210接收的视频内容和其自己的输入视频的片段来创建输出剪辑。
在一些实施例中,包括事件的片段可以被编码,并且可进一步被缓存或存储。缓存或存储的编码的片段可以被重新用于生成视频剪辑,而不必对其重新进行编码。例如,可以如本文所述来确定在输入视频内容中捕获的一个或更多个事件的开始时间和结束时间。
实施例(例如,服务器210)可以通过对包括事件的片段的部分进行编码来生成一个或更多个编码的事件片段。例如,如果包括或捕获事件的片段在时间20开始并在时间30结束,则可以通过对在时间21开始并在时间29结束的输入视频内容的部分(或子片段)进行编码来为事件生成编码的事件片段。因此,缓存的编码的事件片段可以是片段的编码的部分,其由与事件相关联的片段按时间顺序(time-wise)包含或界定或被包括在与事件相关联的片段中。如所描述的,可以缓存或存储一个或更多个编码的事件片段,使得它们可以如所述的重复使用。
内容生成单元335可以对待用作转换(例如,如本领域已知的剪辑之间的转换)的转换视频剪辑进行编码,从而创建编码的转换片段。在一些实施例中,内容生成单元335可以根据用于对缓存的编码的事件片段进行编码的相同格式或协议通过对转换视频片段进行编码来生成编码的转换片段。为了创建输出视频,内容生成单元335可以连接一个或更多个编码的转换片段和一个或更多个缓存的编码的事件片段。因此,消除了为了创建包括转换的视频剪辑而对事件的子片段重新进行编码的需要,因此,可以大大改进生成具有转换效果的视频剪辑的过程,例如,比已知的系统和方法更快地完成并且实质上需要更少的计算资源。事件的子片段可以是包括事件的部分的视频剪辑或片段。例如,在时间5处开始并在时间15处结束的事件的子片段可以是覆盖时间6到时间14的片段。在一些实施例中,为了重新使用事件的相同的一个或更多个子片段来创建两个或更多个视频输出内容对象,服务器210可以对转换片段重新进行编码并连接重新编码的转换片段和子片段。因此,子片段可以重新用于创建多个视频剪辑,而不需要在每次使用它们时对它们重新进行编码。
在一些实施例中,使用开始时间和结束时间来定义事件的片段或使片段与事件相关联,通过对片段的子片段进行编码来产生编码的事件片段,例如使得子片段是包含在该片段中,缓存该子片段。可以使用如所描述的子片段来创建(并缓存)多个编码的事件片段。为了产生一个或更多个输出视频内容,例如内容生成单元335的实施例可以对一个或更多个转换视频片段进行编码,并连接一个或更多个编码的转换片段和一个或更多个缓存的编码的事件片段。
如所描述的,本发明的实施例解决了自动生成视频内容的以互联网为中心的挑战。如所描述的,系统和方法可以自动生成特定的视频内容,例如比赛的亮点,并且可以进一步提供生成的内容,例如,如所描述的在网站中发布内容。如所描述的,创建和使用特定的计算机相关的数据格式,例如,元数据对象和事件对象由本发明的系统和方法生成,并且如所描述的那样被使用。本发明的实施例改进了计算机化系统的操作。例如,可以通过使服务器执行如所描述的服务器210执行的操作来改进服务器的操作。因此,基于本申请改进的服务器可以自动生成如所描述的内容。应当注意,本发明的实施例不仅仅是操纵数据。如所描述的,本发明的实施例生成新的数据对象(例如,元数据对象和输出视频内容),并且使用生成的数据来提供如所描述的视频内容。
尽管本文已说明和描述了本发明的某些特征,但本领域技术人员可想到许多修改、替代、变化和等效体。因此,应当理解,所附权利要求旨在涵盖落入本发明的真实精神内的所有这样的修改和改变。
已经提出了各种实施例。当然,这些实施例中的每一个可以包括所呈现的其它实施例的特征,并且未具体描述的实施例可以包括本文所述的各种特征。

Claims (64)

1.一种记录视频内容中的事件的方法,所述方法包括:
接收输入视频内容;
分析所述输入视频内容以产生分析结果;
基于所述分析结果识别在所述输入视频内容中捕获的事件;
确定所述输入视频内容的片段的开始时间和结束时间,所述片段包括所述事件;以及
通过在输出视频内容中包括所述片段来产生所述输出视频内容。
2.如权利要求1所述的方法,其中,分析所述输入视频内容包括识别以下中的至少一个:转换、比赛得分、源摄像机的变化、特写、选手或对象的移动、摄像机的摇摄、倾斜和变焦、摄像机的视场的扩大和缩小、面部识别和识别选手或对象的数字。
3.如权利要求1所述的方法,其中,所述输入视频包括体育赛事。
4.如权利要求1所述的方法,其中,所述输入视频包括音频内容,并且其中,分析所述输入视频内容以产生分析结果包括分析所包括的音频内容。
5.如权利要求1所述的方法,其中,所述输入视频包括文本内容,并且其中,分析所述输入视频内容以产生分析结果包括分析所包括的文本内容。
6.如权利要求1所述的方法,包括接收与所述输入视频内容相关的数据,其中,所接收的数据包括以下中的至少一个:不被包括在所述输入视频内容中的音频内容和文本内容,并且其中,产生所述分析结果还基于分析所接收的数据。
7.如权利要求6所述的方法,其中,所接收的数据包括以下中的至少一个:结构化数据和自由文本。
8.如权利要求7所述的方法,其中,所述自由文本包括以下中的至少一个:隐藏式字幕和抄本。
9.如权利要求1所述的方法,包括:
识别在所述视频内容中捕获的多个事件;
基于所述分析结果并且基于至少一个准则,使所述多个事件与相应的多个评级相关联。
10.如权利要求9所述的方法,包括:
基于所述多个评级中的至少一些评级,在所述输出视频内容中包括所述输入视频内容的一个或更多个片段。
11.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;以及
基于准则选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件。
12.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;以及
选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件,使得所述输出视频内容包括叙述,其中,所述叙述与以下中的至少一个相关:选手、时序方面、体育赛事的进度和得分。
13.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;以及
选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件,使得所述输出视频内容包括与以下中的至少一个相关的亮点:选手、时序方面、体育赛事的进度和得分。
14.如权利要求7所述的方法,包括将所接收的数据与所述输入视频内容进行时间同步以产生同步的外部数据,并基于所述同步的外部数据来识别事件。
15.如权利要求14所述的方法,包括:
基于所接收的数据确定时间指示;以及
使用所述时间指示来确定以下中的至少一个:事件的开始时间和结束时间。
16.如权利要求14所述的方法,包括:
基于所接收的数据确定时间指示;以及
确定所述输入视频内容的、包括所述事件的片段的开始时间和结束时间,使得所述片段包括在所述时间指示中指示的时间。
17.如权利要求1所述的方法,包括:
确定所述输入视频内容的类别;以及
基于所述类别选择在所述输出视频内容中包括多个事件中的一个或更多个事件。
18.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;以及
基于所述输出视频内容的目标受众,选择在所述输出视频内容中包括一个或更多个事件或者事件的部分。
19.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;以及
基于所述输出视频内容的期望长度,选择在所述输出视频内容中包括一个或更多个p事件或者事件的部分。
20.如权利要求1所述的方法,包括:
生成与所述输入视频内容相关的元数据;以及
基于所述元数据在所述输出视频内容中包括所述输入视频内容的一个或更多个片段。
21.如权利要求9所述的方法,其中,使事件与评级相关联是基于来自用户的输入的。
22.如权利要求1所述的方法,包括:
识别所述输入视频内容中的多个事件;
基于网页中的文本的语义分析,选择在所述输出视频内容中包括一个或更多个事件;以及
将所述输出视频内容嵌入所述网页中。
23.如权利要求1所述的方法,包括:
基于所述输入视频内容并基于与所述输入视频内容相关的数据来生成或选择以下中的至少一个:片尾、中间图形和片头;以及
在所述输出视频内容中包括片尾、中间图形和片头中的至少一个。
24.如权利要求1所述的方法,包括在所述输入视频内容中识别重放和慢动作效果中的至少一个并使所述重放和慢动作效果中的所述至少一个与事件相关联。
25.如权利要求24所述的方法,包括:在所述输出视频内容对象中将以下中的至少一个放置在所相关联的事件附近:所述重放和所述慢动作效果。
26.如权利要求1所述的方法,包括:
接收第二输入视频内容;
使所述第二输入视频内容与所述输入视频内容同步;以及
在所述输出视频内容中包括所述输入视频内容的至少一个片段和所述第二输入视频内容的至少一个片段。
27.如权利要求1所述的方法,包括:
使所述输入视频内容与由远程系统使用的视频内容同步;
将与所述事件的开始时间和结束时间相关的信息发送到所述远程系统;以及
由所述远程系统使用所述信息来产生远程视频输出内容。
28.如权利要求27所述的方法,包括向所述远程系统发送内容并由所述远程系统将所述内容包括在所述远程视频输出内容中。
29.如权利要求27所述的方法,其中,所述远程视频输出内容是广播质量视频内容。
30.一种方法,包括:
接收输入视频内容;
确定在所述输入视频内容中捕获的事件的开始时间和结束时间;
对所述输入视频内容的第一片段进行编码,所述第一片段包括所述开始时间并直到关键帧;
直接复制所述输入视频内容的第二片段,所述第二片段包括所述关键帧和所述结束时间;以及
通过连接所述第一片段和所述第二片段来生成所述输出视频内容。
31.一种方法,包括:
接收输入视频内容;
确定在所述输入视频内容中捕获的一个或更多个事件的开始时间和结束时间;
通过对包括所述事件的片段的部分进行编码来产生一个或更多个编码的事件片段;
缓存所编码的事件片段的一个或更多个;以及
对于多个输出视频内容对象中的每一个,通过以下方式重新使用所缓存的编码的事件片段:
对一个或更多个转换视频片段进行编码以产生编码的转换片段,以及
通过连接一个或更多个编码的转换片段和所缓存的编码的事件片段中的一个或更多个来产生输出视频内容对象。
32.一种方法,包括:
接收输入视频内容;
确定在所述输入视频内容中捕获的一个或更多个事件的开始时间和结束时间;
对于所述一个或更多个事件中的每个事件:
使用所述开始时间和所述结束时间来定义用于所述事件的片段,
通过对子片段进行编码来产生编码的事件片段,所述子片段被包括在所述片段中,以及
缓存所述子片段;以及
通过对一个或更多个转换视频片段进行编码并连接一个或更多个编码的转换片段和所缓存的编码的事件片段中的一个或更多个来产生输出视频内容。
33.一种系统,包括:
存储器;以及
控制器,其被配置成:
接收输入视频内容;
分析所述输入视频内容以产生分析结果;
基于所述分析结果识别在所述输入视频内容中捕获的事件;
确定所述输入视频内容的、包括所述事件的片段的开始时间和结束时间;以及
通过在输出视频内容中包括所述片段来生成所述输出视频内容。
34.如权利要求33所述的系统,其中,分析所述输入视频内容包括识别以下中的至少一个:转换、比赛得分、源摄像机的变化、特写、选手或对象的移动、摄像机的摇摄、倾斜和变焦、摄像机的视场的扩大和缩小、面部识别和识别选手或对象的数字。
35.如权利要求33所述的系统,其中,所述输入视频包括体育赛事。
36.如权利要求33所述的系统,其中,所述输入视频包括音频内容,并且其中,分析所述输入视频内容以产生分析结果包括分析所包括的音频内容。
37.如权利要求33所述的系统,其中,所述输入视频包括文本内容,并且其中,分析所述输入视频内容以产生分析结果包括分析所包括的文本内容。
38.如权利要求33所述的系统,其中,所述控制器被配置为接收与所述输入视频内容相关的数据,其中,所接收的数据包括以下中的至少一个:不被包括在所述输入视频内容中的音频内容和文本内容,并且其中,产生所述分析结果还基于分析所接收的数据。
39.如权利要求38所述的系统,其中,所接收的数据包括以下中的至少一个:结构化数据和自由文本。
40.如权利要求39所述的系统,其中,所述自由文本包括以下中的至少一个:隐藏式字幕和抄本。
41.如权利要求33所述的系统,其中,所述控制器被配置为:
识别在所述视频内容中捕获的多个事件;以及
基于所述分析结果并基于至少一个准则,使所述多个事件与相应的多个评级相关联。
42.如权利要求41所述的系统,其中,所述控制器被配置为:
基于所述多个评级中的至少一些评级,在所述输出视频内容中包括所述输入视频内容的一个或更多个片段。
43.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;以及
基于准则选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件。
44.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;以及
选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件,使得所述输出视频内容包括叙述,其中所述叙述与以下中的至少一个相关:选手、时序方面、体育赛事的进度和得分。
45.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;以及
选择在所述输出视频内容中包括所述多个事件中的一个或更多个事件,使得所述输出视频内容包括与以下中的至少一个相关的亮点:选手、时序方面、体育赛事的进度和得分。
46.如权利要求38所述的系统,其中,所述控制器被配置为将所接收的数据与所述输入视频内容进行时间同步以产生同步的外部数据,并基于所述同步的外部数据来识别事件。
47.如权利要求46所述的系统,其中,所述控制器被配置为:
基于所接收的数据确定时间指示;以及
使用所述时间指示来确定以下中的至少一个:事件的开始时间和结束时间。
48.如权利要求46所述的系统,其中,所述控制器被配置为:
基于所接收的数据确定时间指示;以及
确定所述输入视频内容的、包括所述事件的片段的开始时间和结束时间,使得所述片段包括在所述时间指示中指示的时间。
49.如权利要求33所述的系统,其中,所述控制器被配置为:
确定所述输入视频内容的类别;以及
基于所述类别选择在所述输出视频内容中包括多个事件中的一个或更多个事件。
50.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;以及
基于所述输出视频内容的目标受众,选择在所述输出视频内容中包括一个或更多个事件或者事件的部分。
51.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;以及
基于所述输出视频内容的期望长度,选择在所述输出视频内容中包括一个或更多个p事件或者事件的部分。
52.如权利要求33所述的系统,其中,所述控制器被配置为:
生成与所述输入视频内容相关的元数据;以及
基于所述元数据在所述输出视频内容中包括所述输入视频内容的一个或更多个片段。
53.如权利要求42所述的系统,其中,使事件与评级相关联是基于来自用户的输入的。
54.如权利要求33所述的系统,其中,所述控制器被配置为:
识别所述输入视频内容中的多个事件;
基于网页中的文本的语义分析,选择在所述输出视频内容中包括一个或更多个事件;以及
将所述输出视频内容嵌入所述网页中。
55.如权利要求33所述的系统,其中,所述控制器被配置为:
基于所述输入视频内容并基于与所述输入视频内容相关的数据来生成或选择以下中的至少一个:片尾、中间图形和片头;以及
在所述输出视频内容中包括片尾、中间图形和片头中的至少一个。
56.如权利要求33所述的系统,其中,所述控制器被配置为在所述输入视频内容中识别重放和慢动作效果中的至少一个并使所述重放和慢动作效果中的所述至少一个与事件相关联。
57.如权利要求56所述的系统,其中,所述控制器被配置为在所述输出视频内容对象中将以下中的至少一个放置在所相关联的事件附近:所述重放和所述慢动作效果。
58.如权利要求33所述的系统,其中,所述控制器被配置为:
接收第二输入视频内容;
使所述第二输入视频内容与所述输入视频内容同步;以及
在所述输出视频内容中包括所述输入视频内容的至少一个片段和所述第二输入视频内容的至少一个片段。
59.如权利要求33所述的系统,其中,所述控制器被配置为:
使所述输入视频内容与由远程系统使用的视频内容同步;
将与所述事件的开始时间和结束时间相关的信息发送到所述远程系统;以及
由所述远程系统使用所述信息来产生远程视频输出内容。
60.如权利要求59所述的系统,其中,所述控制器被配置为将内容发送到所述远程系统,并且所述远程系统被配置为将所述内容包括在所述远程视频输出内容中。
61.如权利要求59所述的系统,其中,所述远程视频输出内容是广播质量视频内容。
62.一种系统,包括:
存储器;以及
控制器,其被配置成:
接收输入视频内容;
确定在所述输入视频内容中捕获的事件的开始时间和结束时间;
对所述输入视频内容的第一片段进行编码,所述第一片段包括所述开始时间并直到关键帧;
直接复制所述输入视频内容的第二片段,所述第二片段包括所述关键帧和所述结束时间;以及
通过连接所述第一片段和所述第二片段来生成输出视频内容。
63.一种系统,包括:
存储器;以及
控制器,其被配置成:
接收输入视频内容;
确定在所述输入视频内容中捕获的一个或更多个事件的开始时间和结束时间;
通过对包括所述事件的片段的部分进行编码来产生一个或更多个编码的事件片段;
缓存所编码的事件片段中的一个或更多个;以及
对于多个输出视频内容对象中的每一个,通过以下方式重新使用所缓存的编码的事件片段:
对一个或更多个转换视频片段进行编码以产生编码的转换片段,以及
通过连接一个或更多个编码的转换片段和所缓存的编码的事件片段中的一个或更多个来产生输出视频内容对象。
64.一种系统,包括:
存储器;以及
控制器,其被配置成:
接收输入视频内容;
确定在所述输入视频内容中捕获的一个或更多个事件的开始时间和结束时间;
针对所述一个或更多个事件中的每个事件:
使用所述开始时间和所述结束时间定义用于所述事件的片段,
通过对子片段进行编码来产生编码的事件片段,所述子片段被包括在所述片段中,以及
缓存所述子片段;以及
为了产生输出视频内容,对一个或更多个转换视频片段进行编码并连接一个或更多个编码的转换片段和所缓存的编码的事件片段中的一个或更多个。
CN201680032912.4A 2015-04-16 2016-04-17 用于创建和分配多媒体内容的系统和方法 Active CN107615766B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562148191P 2015-04-16 2015-04-16
US62/148,191 2015-04-16
PCT/IL2016/050402 WO2016166764A1 (en) 2015-04-16 2016-04-17 System and method for creating and distributing multimedia content

Publications (2)

Publication Number Publication Date
CN107615766A true CN107615766A (zh) 2018-01-19
CN107615766B CN107615766B (zh) 2020-06-26

Family

ID=57126582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032912.4A Active CN107615766B (zh) 2015-04-16 2016-04-17 用于创建和分配多媒体内容的系统和方法

Country Status (6)

Country Link
US (1) US11956516B2 (zh)
EP (1) EP3284261A4 (zh)
CN (1) CN107615766B (zh)
AU (3) AU2016249106A1 (zh)
IL (1) IL255066B2 (zh)
WO (1) WO2016166764A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491774A (zh) * 2018-03-12 2018-09-04 北京地平线机器人技术研发有限公司 对视频中的多个目标进行跟踪标注的方法和装置
CN108881191A (zh) * 2018-05-25 2018-11-23 广州酷狗计算机科技有限公司 媒体文件集合获取方法、装置、服务器及存储介质
CN109121022A (zh) * 2018-09-28 2019-01-01 百度在线网络技术(北京)有限公司 用于标记视频片段的方法及装置
CN110267116A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN110460869A (zh) * 2019-08-14 2019-11-15 咪咕文化科技有限公司 一种确定视频剪辑片段的方法、电子设备及存储介质
CN110753269A (zh) * 2018-07-24 2020-02-04 Tcl集团股份有限公司 视频摘要生成方法、智能终端及存储介质
CN111510787A (zh) * 2020-04-28 2020-08-07 Oppo广东移动通信有限公司 多媒体剪辑方法、装置、终端及存储介质
CN111757147A (zh) * 2020-06-03 2020-10-09 苏宁云计算有限公司 一种赛事视频结构化的方法、装置及系统
CN113810751A (zh) * 2020-06-12 2021-12-17 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN114363673A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置
CN115134631A (zh) * 2022-07-25 2022-09-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置
CN116830195A (zh) * 2020-10-28 2023-09-29 唯众挚美影视技术公司 用户生成的多媒体内容的自动化后期制作编辑

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6005716B2 (ja) * 2014-12-19 2016-10-12 株式会社Cygames 情報処理システム、サーバ、プログラム、及び情報処理方法
EP3298789A1 (en) * 2015-06-15 2018-03-28 Piksel, Inc. Synchronisation of streamed content
US9782678B2 (en) 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US10341405B2 (en) * 2015-12-29 2019-07-02 Facebook, Inc. Social networking interactions with portions of digital videos
CN106412634A (zh) * 2016-09-07 2017-02-15 华为技术有限公司 媒体文件推送方法、媒体文件服务器及媒体文件推送系统
US10795560B2 (en) 2016-09-30 2020-10-06 Disney Enterprises, Inc. System and method for detection and visualization of anomalous media events
CA3039783A1 (en) 2016-10-14 2018-04-19 Rovi Guides, Inc. Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event
US10631028B2 (en) 2016-12-19 2020-04-21 Sony Interactive Entertainment LLC Delivery of third party content on a first party portal
US10366132B2 (en) 2016-12-28 2019-07-30 Sony Interactive Entertainment LLC Delivering customized content using a first party portal service
US10123065B2 (en) * 2016-12-30 2018-11-06 Mora Global, Inc. Digital video file generation
US10419384B2 (en) * 2017-01-06 2019-09-17 Sony Interactive Entertainment LLC Social network-defined video events
US10382516B2 (en) * 2017-05-09 2019-08-13 Apple Inc. Detecting upscaled source video
US10237512B1 (en) 2017-08-30 2019-03-19 Assist Film, LLC Automated in-play detection and video processing
US11109075B2 (en) 2017-09-11 2021-08-31 Futuri Media, Llc System and method for production, distribution and archival of content
CN109672922B (zh) * 2017-10-17 2020-10-27 腾讯科技(深圳)有限公司 一种游戏视频剪辑方法及装置
US10757483B2 (en) * 2017-10-26 2020-08-25 Futurewei Technologies, Inc. Method and apparatus for data tracking and presenting
US10417500B2 (en) 2017-12-28 2019-09-17 Disney Enterprises, Inc. System and method for automatic generation of sports media highlights
US11043245B2 (en) * 2018-02-28 2021-06-22 Vertigo Media, Inc. System and method for compiling a singular video file from user-generated video file fragments
US11698927B2 (en) * 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
CN108900927A (zh) * 2018-06-06 2018-11-27 芽宝贝(珠海)企业管理有限公司 视频的生成方法及装置
US10887646B2 (en) * 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
US10834296B2 (en) * 2018-09-12 2020-11-10 Roku, Inc. Dynamically adjusting video to improve synchronization with audio
JP7007249B2 (ja) * 2018-09-28 2022-01-24 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
EP3912363A4 (en) * 2019-02-22 2022-09-28 Sportlogiq Inc. SYSTEM AND METHOD FOR CREATING VIDEO DIGEST ACCORDING TO A TEMPLATE
US11625987B2 (en) * 2019-03-12 2023-04-11 Fayble, LLC Systems and methods for generation of virtual sporting events
US20220391443A1 (en) * 2019-03-31 2022-12-08 Fantastic Athletes Corporation Systems methods and computer storage media for collecting and processing progressivistic metadata
GB201904514D0 (en) * 2019-03-31 2019-05-15 Peak Performance Results Ltd System methods and computer storage media for collecting and processing progressivistic metadata in sports
JP2021026562A (ja) * 2019-08-06 2021-02-22 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11099811B2 (en) 2019-09-24 2021-08-24 Rovi Guides, Inc. Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
WO2021145715A1 (en) * 2020-01-16 2021-07-22 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos
JP2023513095A (ja) * 2020-02-05 2023-03-30 ループ ナウ テクノロジーズ インコーポレイテッド 選択および表示のための機械学習によるビデオのキュレーション
US11343463B2 (en) 2020-03-06 2022-05-24 Johnson, J.R. Video script generation, presentation and video recording with flexible overwriting
BR112022022453A2 (pt) 2020-05-06 2023-01-03 Exa Properties L L C Método e competição de vídeo composto
US20220292160A1 (en) * 2021-03-11 2022-09-15 Jatin V. Mehta Automated system and method for creating structured data objects for a media-based electronic document
US20220321944A1 (en) * 2021-04-02 2022-10-06 Comcast Cable Communications, Llc Augmenting Content Items
US11750713B1 (en) * 2022-02-25 2023-09-05 Bankinvideos, Llc System and method for facilitating an online continuous multimedia contest

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100107080A1 (en) * 2008-10-23 2010-04-29 Motorola, Inc. Method and apparatus for creating short video clips of important events
WO2010057085A1 (en) * 2008-11-17 2010-05-20 On Demand Real Time Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
CN102547139A (zh) * 2010-12-30 2012-07-04 北京新岸线网络技术有限公司 一种新闻视频节目切分方法、新闻视频编目方法及系统
US20130326406A1 (en) * 2012-06-01 2013-12-05 Yahoo! Inc. Personalized content from indexed archives
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218492A1 (en) * 2005-03-22 2006-09-28 Andrade Jose O Copy and paste with citation attributes
US20080143875A1 (en) 2006-08-17 2008-06-19 Scott Stacey L Method and system for synchronous video capture and output
US20090132924A1 (en) * 2007-11-15 2009-05-21 Yojak Harshad Vasa System and method to create highlight portions of media content
WO2014183034A1 (en) 2013-05-10 2014-11-13 Uberfan, Llc Event-related media management system
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US10419830B2 (en) * 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100107080A1 (en) * 2008-10-23 2010-04-29 Motorola, Inc. Method and apparatus for creating short video clips of important events
WO2010057085A1 (en) * 2008-11-17 2010-05-20 On Demand Real Time Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
CN102547139A (zh) * 2010-12-30 2012-07-04 北京新岸线网络技术有限公司 一种新闻视频节目切分方法、新闻视频编目方法及系统
US20130326406A1 (en) * 2012-06-01 2013-12-05 Yahoo! Inc. Personalized content from indexed archives
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491774B (zh) * 2018-03-12 2020-06-26 北京地平线机器人技术研发有限公司 对视频中的多个目标进行跟踪标注的方法和装置
CN108491774A (zh) * 2018-03-12 2018-09-04 北京地平线机器人技术研发有限公司 对视频中的多个目标进行跟踪标注的方法和装置
CN108881191A (zh) * 2018-05-25 2018-11-23 广州酷狗计算机科技有限公司 媒体文件集合获取方法、装置、服务器及存储介质
CN110753269A (zh) * 2018-07-24 2020-02-04 Tcl集团股份有限公司 视频摘要生成方法、智能终端及存储介质
CN109121022A (zh) * 2018-09-28 2019-01-01 百度在线网络技术(北京)有限公司 用于标记视频片段的方法及装置
CN110267116A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN110460869B (zh) * 2019-08-14 2022-03-25 咪咕文化科技有限公司 一种确定视频剪辑片段的方法、电子设备及存储介质
CN110460869A (zh) * 2019-08-14 2019-11-15 咪咕文化科技有限公司 一种确定视频剪辑片段的方法、电子设备及存储介质
CN111510787A (zh) * 2020-04-28 2020-08-07 Oppo广东移动通信有限公司 多媒体剪辑方法、装置、终端及存储介质
CN111757147A (zh) * 2020-06-03 2020-10-09 苏宁云计算有限公司 一种赛事视频结构化的方法、装置及系统
CN113810751A (zh) * 2020-06-12 2021-12-17 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN113810751B (zh) * 2020-06-12 2022-10-28 阿里巴巴集团控股有限公司 视频处理方法及设备、电子设备及服务器
CN116830195A (zh) * 2020-10-28 2023-09-29 唯众挚美影视技术公司 用户生成的多媒体内容的自动化后期制作编辑
CN114363673A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置
CN114363673B (zh) * 2022-01-10 2022-12-27 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置
CN115134631A (zh) * 2022-07-25 2022-09-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置
CN115134631B (zh) * 2022-07-25 2024-01-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置

Also Published As

Publication number Publication date
IL255066B2 (en) 2024-04-01
US20180132011A1 (en) 2018-05-10
US11956516B2 (en) 2024-04-09
EP3284261A1 (en) 2018-02-21
EP3284261A4 (en) 2018-09-26
CN107615766B (zh) 2020-06-26
IL255066A0 (en) 2017-12-31
AU2021200219A1 (en) 2021-03-18
WO2016166764A1 (en) 2016-10-20
AU2016249106A1 (en) 2017-11-02
IL255066B1 (en) 2023-12-01
AU2023202043A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
CN107615766A (zh) 用于创建和分配多媒体内容的系统和方法
US10293263B2 (en) Custom content feed based on fantasy sports data
US11899637B2 (en) Event-related media management system
US11291920B2 (en) Interaction interleaver
US11082722B2 (en) Method and system for generating highlights from scored data streams
EP3488618B1 (en) Live video streaming services with machine-learning based highlight replays
US11323753B2 (en) Live video classification and preview selection
CN109922373B (zh) 视频处理方法、装置及存储介质
US9138652B1 (en) Fantasy sports integration with video content
US20170072321A1 (en) Highly interactive fantasy sports interleaver
US9056253B2 (en) Fantasy sports interleaver
US8995823B2 (en) Method and system for content relevance score determination
US11170819B2 (en) Dynamic video highlight
WO2021241430A1 (ja) 情報処理装置、情報処理方法、プログラム
US20210385558A1 (en) Video processing system and related methods
Jung et al. SportLight: statistically principled crowdsourcing method for sports highlight selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant