CN105052154A - 生成具有多个视点的视频 - Google Patents

生成具有多个视点的视频 Download PDF

Info

Publication number
CN105052154A
CN105052154A CN201480015916.2A CN201480015916A CN105052154A CN 105052154 A CN105052154 A CN 105052154A CN 201480015916 A CN201480015916 A CN 201480015916A CN 105052154 A CN105052154 A CN 105052154A
Authority
CN
China
Prior art keywords
video
photograph
virtual
ring
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480015916.2A
Other languages
English (en)
Other versions
CN105052154B (zh
Inventor
斯坦尼斯瓦夫·帕希科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201811481157.5A priority Critical patent/CN109905719B/zh
Publication of CN105052154A publication Critical patent/CN105052154A/zh
Application granted granted Critical
Publication of CN105052154B publication Critical patent/CN105052154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

可通过相机(例如，相机装置)捕获事件的视频。可处理视频以生成提供事件的不同视点的虚拟视频。可分析视频和虚拟视频以识别视频中的摇摄点。用户可在所识别的摇摄点处暂停视频，并且可被允许在视频和/或虚拟视频中的所识别的摇摄点期间环摄事件和/或事件地点。可通过基于视频和/或虚拟视频生成的环摄视频来提供环摄视图。用户可在暂停环摄视频的回放之后恢复查看视频和/或虚拟视频中的一个。用户还可在摇摄点期间在播放视频和/或虚拟视频的同时环摄事件和/或事件地点。

Description

生成具有多个视点的视频
背景技术
诸如智能电话、蜂窝电话、膝上型计算机、台式计算机、上网本、平板计算机等的计算装置常用于各种不同的目的。用户常常使用计算装置来使用、播放和/或消费数字媒体项目(例如，查看数字图像、观看数字视频、和/或收听数字音乐)。用户还使用计算装置来查看实时事件(例如，当前发生的事件)和/或先前事件(例如，先前发生并被记录的事件)的视频。事件可以是任何发生的事、公共场合、计划场合、私人场合和/或在时间点发生的任何活动。例如，事件可以是诸如篮球赛、橄榄球赛等的体育事件。在另一示例中，事件可以是记者招待会或者政治演说/辩论。
常常记录事件的视频，并且常常向用户提供视频以使得用户可查看这些事件。可从多个视点记录事件(例如，可从边线以及从场地的前端和后端记录橄榄球赛)。可将这多个视频提供给用户以允许用户从不同的视点和角度查看事件。
发明内容
在一个实施例中，提供一种方法，所述方法包括：接收事件的多个视频，其中，所述多个视频与所述事件的多个视点关联；接收所述事件的一个或多个虚拟视频，其中，所述一个或多个虚拟视频与所述事件的所述多个视点中的一个或多个关联；识别多个摇摄点，其中，所述多个摇摄点中的每个摇摄点与来自所述多个视频中的一个视频或者来自所述一个或多个虚拟视频中的一个虚拟视频关联；以及基于所述多个摇摄点生成所述事件的一个或多个环摄视频。
在一个实施例中，提供：用于接收事件的多个视频的装置，其中，所述多个视频与所述事件的多个视点关联；用于接收所述事件的一个或多个虚拟视频的装置，其中，所述一个或多个虚拟视频与所述事件的所述多个视点中的一个或多个关联；用于识别多个摇摄点的装置，其中，所述多个摇摄点中的每个摇摄点与来自所述多个视频中的一个视频或者来自所述一个或多个虚拟视频中的一个虚拟视频关联；以及用于基于所述多个摇摄点生成所述事件的一个或多个环摄视频的装置。在另一实施例中，提供：用于将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置的装置；用于接收用户输入的装置，所述用户输入指示改变为所述事件的不同视点的用户请求；用于基于所述用户输入识别下一视频或者下一虚拟视频的装置；用于识别所述下一视频或者所述下一虚拟视频中的下一摇摄点的装置；以及用于在所述下一摇摄点处将所述下一视频或者所述下一虚拟视频提供给所述客户端装置的装置。在另一实施例中，提供：用于将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置的装置；用于接收用户输入的装置，所述用户输入指示所述第一视频或者所述第一虚拟视频的回放应该被暂停；用于识别来自所述多个摇摄点中的第一摇摄点的装置；以及用于在所述下一摇摄点处暂停所述视频的回放的装置。在一个实施例中，提供：用于基于所述第一摇摄点识别来自所述一个或多个环摄视频中的第一环摄视频的装置以及用于将所述第一环摄视频提供给所述客户端装置的装置。
在一个实施例中，提供：用于接收第二用户输入的装置，所述第二用户输入指示所述第一环摄视频的回放应该被暂停；用于识别所述环摄视频中的第二摇摄点的装置；用于在所述第二摇摄点处暂停所述环摄视频的回放的装置；用于接收第三用户输入的装置，所述第三用户输入请求来自所述多个视频中的第二视频或者所述一个或多个虚拟视频中的第二虚拟视频的回放；用于基于所述第二摇摄点识别所述第二视频或者所述第二虚拟视频的装置；以及用于将所述第二视频或第二虚拟视频提供给所述客户端装置的装置。在另一实施例中，提供：用于生成第一环摄视频的装置，所述第一环摄视频提供在顺时针方向上环摄所述事件的所述事件的视图；以及用于生成第二环摄视频的装置，所述第二环摄视频提供在逆时针方向上环摄所述事件的所述事件的视图。
在另外的实施例中，还实现了用于执行上述实施例的操作的计算装置。另外，在本公开的实施例中，计算机可读存储媒介可存储用于执行本文所述的实施例的操作的指令。
以上发明内容是本公开的简要概述，以便提供对本公开的一些方面的基本理解。此发明内容不是本公开的详尽概述。它既不旨在识别本公开的关键或重要元素，也不旨在描绘本公开的特定实现方式的任何范围或者权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念作为稍后呈现的具体实施方式的前序。
附图说明
将从以下给出的具体实施方式以及本公开的各种实施例的附图更充分地理解本公开，然而，其不应用于将本公开限于特定实施例，而是仅用于说明和理解。
图1是图示出依据本公开的一个实施例的示例相机架构的框图。
图2是图示出依据本公开的一个实施例的视频、虚拟视频和环摄(panaround)视频的框图。
图3图示出依据本公开的一个实施例的示例系统架构。
图4是图示出依据本公开的一个实施例的示例图形用户界面(GUI)的示图。
图5是图示出依据本公开的一个实施例的图像模块的框图。
图6是图示出依据本公开的一个实施例的生成虚拟视频的方法的流程图。
图7A是图示出依据本公开的一个实施例的向客户端装置提供视频的方法的流程图。
图7B是图示出依据本公开的另一实施例的向客户端装置提供视频的方法的流程图。
图8是图示出依据本公开的另一实施例的向客户端装置提供视频的方法的流程图。
图9是可执行本文所述的操作中的一个或多个的示例计算装置的框图。
具体实施方式
以下公开阐述了众多具体细节，诸如特定系统、组件、方法等的示例，以便提供本公开的若干实施例的很好理解。然而，对于本领域技术人员而言将显而易见的是，本公开的至少一些实施例可在没有这些具体细节的情况下实践。在其它情况下，公知组件或方法未详细描述或者以简单框图形式呈现，以避免不必要地模糊本公开。因此，阐述的具体细节仅是示例。具体实现方式可不同于这些示例细节，并且仍预期将在本公开的范围内。
提供用于生成并提供事件和/或事件地点的视频的系统和方法。可通过相机(例如，相机装置)来捕获事件的视频。可处理视频以生成提供事件的不同视点的虚拟视频。可分析视频和虚拟视频以识别视频中的摇摄(pan)点。在一个实施例中，用户可暂停识别的摇摄点处的视频和/或虚拟视频，并且可被允许环摄视频和/或虚拟视频中在识别的摇摄点期间的事件和/或事件地点。可通过基于视频和/或虚拟视频生成的环摄视频来提供环摄视图。用户可在暂停环摄视频的回放之后恢复查看视频和/或虚拟视频中的一个。在另一实施例中，用户可在摇摄点(例如，时间周期)期间在播放视频和/或虚拟视频的同时环摄事件和/或事件地点。
图1是图示出依据本公开的一个实施例的示例相机架构100的框图。在一个实施例中，相机架构100可捕获(例如，拍摄)在事件地点105发生的事件的视频和/或图像序列。例如，相机架构100可捕获在事件地点105进行的篮球赛的视频和/或图像。在另一示例中，相机架构100可捕获在事件地点105进行的音乐会的视频和/或图像。在另一示例中，相机架构100可捕获在事件地点105进行的会议、辩论、新闻发布会和/或政治事件的视频和/或图像。在其它实施例中，事件和/或事件地点105可以是任何形状(例如，圆形、椭圆形、不规则形状等)。
相机架构100包括围绕事件地点设置的相机110A至110D。相机110A至110D可以是能够捕获和/或生成(例如，拍摄)对象115的图像(例如，照片)和/或视频(例如，图像序列)的物理和/或真实相机。在一个实施例中，相机110A至110D可按照特定速度和/或速率捕获视频和/或事件地点105(例如，事件地点处的事件)的图像。例如，相机110A至110D可按照每秒一百个图像或帧(FPS)或者30FPS的速率来捕获对象115的多个图像。相机110A至110D可以是数码相机，或者可以是胶片相机(例如，在物理胶片上捕获图像和/或视频的相机)。通过相机110A至110D捕获和/或生成的图像和/或视频也可被称作图像阵列。通过相机110A至110D捕获和/或生成的图像和/或视频可以为各种格式，包括(但不限于)运动图像专家组格式、MPEG-4(MP4)格式、格式、格式、格式、音频视觉交织(AVI)格式、Windows媒体视频(WMV)格式、H.264(h264，AVC)格式、超文本标记语言5(HTML5)视频格式、联合图像专家组(JPEG)格式、位图(BMP)格式、图形交换格式(GIF)、便携式网络图形(PNG)格式等。在一个实施例中，通过相机110A至110D中的一个或多个捕获的图像(例如，图像阵列)和/或视频可被存储在数据存储库中，诸如存储器(例如，随机存取存储器)、盘驱动器(例如，硬盘驱动器或闪存盘驱动器)和/或数据库(如下面结合图3和图5讨论的)。
相机110A设置在事件地点105的上边缘，相机110B设置在事件地点105的右边缘，相机110C位于事件地点105的下边缘，并且相机110D位于事件地点105的左边缘。相机110A至110D中的每一个位于向各个相机110A至110D提供事件地点105的特定视点的位置处。例如，如果在事件地点105处发生体育事件(例如，橄榄球赛)，则相机110A位于具有从边线之一的事件地点105的视点的位置中。尽管图1中图示出了四个相机(例如，相机110A至110D)，应该理解在其它实施例中，相机架构100中可包括任何数量的相机。例如，相机架构100可包括二十个相机或者五千个相机。在其它实施例中，相机的位置(以及因此，对于相机而言事件地点的视点)可变化。例如，相机110A至110D可按照各种不同的布局和/或位置围绕事件地点105布置(例如，两个相机沿着上边缘，而两个相机沿着下边缘)。
在一个实施例中，相机110A至110D的操作可彼此同步，并且相机110A至110D可按照同步或协调方式捕获事件地点105的图像和/或视频(例如，通过相机110A至110D捕获的视频可在时间上同步)。例如，相机110A至110D中的每一个可按照每秒三十帧/图像的速率捕获图像和/或视频。相机110A至110D中的每一个可在相同(或者基本上相同)的时间点捕获事件地点105(例如，事件地点处的事件)的图像和/或视频。例如，如果相机110A至110D在相同的时间(例如，时间T或者在零秒)开始捕获图像，则相机110A至110D可各自在时间T+l(例如，在一秒的1/30)捕获事件地点105的第一图像、在时间T+2(例如，在一秒的2/30)捕获对象115的第二图像、在时间T+3(例如，在一秒的3/30)捕获事件地点105的第三图像等。
在另一实施例中，可通过计算装置(诸如，图3所图示的媒体服务器)来处理和/或分析图像和/或视频，以生成或获得事件地点105的一个或多个虚拟视频和/或图像。虚拟视频可以是包括并非由物理(例如，实际)相机捕获和/或生成的帧和/或图像的视频。例如，虚拟视频可包括基于由物理相机(例如，实际相机)捕获的帧和/或图像而生成的帧和/或图像。在一个实施例中，媒体服务器可分析帧、图像和/或视频以生成事件地点105(例如，事件地点105处的事件)的3维环境和/或3维(3D)模型/网格。3D环境和/或3D模型/网格可以是限定对象的形状和/或边界的顶点、边和面的集合(例如，多边形形状或表面)。面可由各种多边形形状组成，诸如三角形、四边形、简单凸多边形、凹多边形和/或带有孔的多边形。
媒体服务器可基于事件地点105(例如，事件地点处的事件)的3D模型和/或网格来生成事件地点105的虚拟视频。例如，相机110A至110D可捕获(例如，生成和/或拍摄)篮球赛(例如，事件)的视频和/或图像。相机110A可从左侧视点捕获球员的视频，并且相机110B可从前方视点捕获球员的视频。媒体服务器可分析视频以生成包括该球员的篮球赛的3D环境和/或3D模型/网格。媒体服务器可基于来自相机110A和110B的视频和/或图像生成从左前方视点的球员的新视频(例如，虚拟视频)和/或新图像(例如，虚拟图像)。在一个实施例中，媒体服务器可在不生成3D环境和/或3D模型/网格的情况下生成虚拟视频。例如，在连续的源相机对(例如，相机110A和110B)之间，可使用视差估计算法来计算立体视差，以生成视差图。视差图可被视为深度分量，并且可与视频中的图像合并以创建红、绿、蓝、Z-深度(RGBZ)图像。RGBZ图像可用于计算和/或生成介于两个源相机的视点之间的中间视图(例如，虚拟相机120A)。在另一示例中，图像可被处理和/或分成片段，其中每个片段是可识别的单独的对象。然后将这些片段与来自其它相机的片段进行匹配。在创建虚拟图像时，整个场景可被旋转，并且片段可被移位至不同的地方并且适当地缩放。在另一示例中，各个片段可另外与旋转成比例地变化。
在其它实施例中，可使用任何算法、函数、方法和/或应用/程序来从由物理相机(例如，相机110A至110D)捕获的实际视频和/或图像生成虚拟视频和/或虚拟图像。例如，可使用诸如基于块的多视点立体软件(PMVS)的应用来生成虚拟视频和/或虚拟图像。在另一示例中，可使用诸如StereoBM或StereoSGBM算法、α扩展算法和/或使用置信传播和/或图分割的基于能量最小的算法的算法。
由媒体服务器生成的虚拟视频和/或图像可提供与物理和/或实际相机110A至110D的视点不同的事件地点105的视点。在一个实施例中，媒体服务器可从“虚拟相机”的视点生成事件地点105的虚拟视频和/或虚拟图像。虚拟相机可以是不存在物理和/或实际相机的事件和/或事件地点105的视点。返回参照图1，媒体服务器可基于相机110A至110D所捕获的实际视频和/或图像生成四个虚拟视频。第一虚拟视频可来自虚拟相机120A的视点，第二虚拟视频可来自虚拟相机120B的视点，第三虚拟视频可来自虚拟相机120C的视点，第四虚拟视频可来自虚拟相机120D的视点。在一个实施例中，来自虚拟相机120A至120D的视点的虚拟视频可以是由计算机生成的事件地点105的(例如，虚拟)视频，而非通过实际的物理相机(例如，相机110A至110D)捕获的实际视频。在一个实施例中，媒体服务器可在视频和/或虚拟视频中识别多个摇摄点。摇摄点可以是视频和/或虚拟视频中的时间、帧、图像、时间周期(例如，五秒、六十秒等的周期)、多个帧和/或多个图像，在那里用户被允许在观看视频和/或虚拟视频的同时暂停视频和/或虚拟视频并且/或者环摄事件地点105。如上所述，视频和/或虚拟视频可在时间上同步。视频和/或虚拟视频的摇摄点也可在时间上同步。例如，视频和/或虚拟视频的一组摇摄点(例如，每个视频和/或虚拟视频的一个摇摄点)可以在各个视频和/或虚拟视频内的相同时间处(例如，摇摄点可以在每个视频和/或虚拟视频进行到五秒钟时)和/或可以在事件地点处发生的事件中的相同时间处(例如，摇摄点可恰好在篮球赛中的球员投球之前)。
在一个实施例中，可基于用户输入来识别摇摄点。例如，查看事件地点105的(例如，事件的)视频和/或虚拟视频的用户可将视频和/或虚拟视频内的重要和/或感兴趣的时间点(例如，演讲的精彩部分、橄榄球赛中的触地得分等)识别为摇摄点。在另一实施例中，可通过将视频和/或虚拟视频内的某些帧和/或图像选为摇摄点来识别摇摄点。例如，每二十帧可为摇摄点。在另一示例中，每一个帧内编码帧(I帧)可为摇摄点。在另一示例中，每第三I帧可为摇摄点。在另一示例中，视频和/或虚拟视频内每隔五秒的块可为摇摄点。在另一实施例中，可使用可基于度量和/或规则处理视频和/或虚拟视频和一个或多个摇摄点的任何算法、函数、动作和/或操作来识别摇摄点。例如，可通过检测视频内的场景和/或景色的改变的场景检测算法来识别摇摄点。
由于摇摄点跨视频和/或虚拟视频在时间上同步(例如，在视频内的相同时间和/或在事件中的相同时间)，所以也可允许用户在摇摄点(例如，在该时间点)环摄事件地点105。例如，用户可正在观看通过相机110A捕获的视频。用户可暂停视频内的摇摄点处的视频。用户可绕事件地点105在顺时针和/或逆时针方向上(遵循图1所示的虚线)环摄事件地点105。例如，用户可在摇摄点处(例如，在特定时间)在顺时针方向和/或逆时针方向上(遵循图1所示的虚线)在事件地点105的不同视点之间移动。在环摄期间，用户的视点可指向事件地点105。在另一示例中，用户可正在观看通过相机110B捕获的视频。用户可在观看通过相机110B捕获的视频的同时朝着相机120B的视点摇摄，并且可从相机120B的视点切换为查看事件地点105的虚拟视频。
在一个实施例中，用户可在摇摄点期间和/或在摇摄点处在不同视频和/或虚拟视频之间切换。例如，可从虚拟相机120C的视点开始观看虚拟视频。用户可指示(经由用户界面上的按钮)用户希望朝左侧(例如，沿着虚线箭头在顺时针方向上)摇摄。媒体服务器可停止提供来自虚拟相机120C的视点的虚拟视频，并且可开始提供从用户指示用户希望摇摄至不同点的时间点开始由相机110D捕获的视频。
在另一实施例中，媒体服务器可基于事件的实际视频和/或图像和事件地点105的虚拟视频和/或图像生成事件地点105的附加视频(例如，视频流)和/或图像。如上所述，媒体服务器可识别事件地点105的视频和/或虚拟视频中的摇摄点。附加视频可向用户提供在识别的摇摄点处事件地点105的环摄视图。例如，附加视频可向用户提供在特定时间点的事件地点105的环摄视图。在一个实施例中，环摄视图可以是从事件地点105的外边缘和/或周边的事件地点105的视图。在另一实施例中，沿着图1所示的虚线箭头的方向环摄事件和/或事件地点105可被称作围绕事件和/或事件地点105旋转。所述附加视频也可被称作环摄视频。
媒体服务器可生成提供在摇摄点期间或在摇摄点处事件地点105的环摄视图的环摄视频(例如，附加视频)。例如，摇摄点可以在视频和/或虚拟视频进行了五秒处。媒体服务器可分析和/或处理视频和/或虚拟视频以生成提供在摇摄点期间和/或在摇摄点处(例如，在视频和/或虚拟视频中的五秒标记处)事件地点105的环摄视图的环摄视频。在一个实施例中，环摄视频(其提供在特定时间点事件地点105的环摄视图)可允许用户从多个视点和/或角度查看事件中的某些时间。例如，在橄榄球赛中，摇摄点可以恰好在球员将要得分之前。媒体服务器可生成提供在球员将要得分的时间点处事件地点和球员的环摄视图的环摄视频。这可允许用户从多个角度和视点(例如，从前方视点、后方视点、右侧视点、左侧视点、对角视点等)看到球员，这可向用户提供更有用、更具沉浸感和/或更具交互体验的事件。
在一个实施例中，媒体服务器可针对每个摇摄点生成一个环摄视频(例如，环摄视频)。例如，每个视频和/或虚拟视频可具有二十个摇摄点，并且这二十个摇摄点中的每一个可在时间上同步。媒体服务器可生成二十个环摄视频，每个摇摄点一个环摄视频。在另一实施例中，媒体服务器可针对每个摇摄点生成两个环摄视频。第一环摄视频可以在摇摄点处在顺时针方向上环摄事件地点105，并且第二环摄视频可以在摇摄点处在逆时针方向上环摄事件地点105，或者反之亦然。
如上所述，用户可在摇摄点处和/或在摇摄点期间在不同的视频和/或虚拟视频之间切换(例如，可从相机的视点朝着另一相机或虚拟相机的视点摇摄)。例如，用户可在摇摄点期间在查看由相机110D生成的视频与查看来自虚拟相机120D的视点的视频之间切换。另外如上所述，用户可暂停摇摄点处的视频，并且可开始查看在摇摄点处事件地点的环摄视频(例如，附加视频)。用户也可暂停环摄视频。在一个实施例中，当用户暂停环摄视频时，可不暂停环摄视频的回放直至环摄视频内到达围绕事件地点的某些位置。所述某些位置可以是相机(例如，相机110A至110D)和/或虚拟相机(例如，虚拟相机120A至120D)所在的位置(例如，附加摇摄点)。例如，用户可从相机110A的视点开始查看事件地点105的环摄视频。该环摄视频可以在顺时针方向上沿着图1中的虚线朝着虚拟相机120A的视点环摄事件地点105。如果当视点介于相机110A与虚拟相机120A之间时用户暂停环摄视频，则实际上可不暂停环摄视频的回放，直至到达虚拟相机120A的视点。在另一示例中，用户可从相机110D的视点开始查看事件地点105的环摄视频。该环摄视频可以在逆时针方向上沿着图1中的虚线朝着虚拟相机120C的视点环摄事件地点105。如果当视点介于虚拟相机120C与相机110C之间时用户暂停环摄视频，则实际上可不暂停环摄视频的回放，直至到达相机110C的视点。在一个实施例中，在查看环摄视频之后，用户可切换回查看视频和/或虚拟视频之一。例如，用户可提供指示用户希望停止环摄视频的回放并且恢复虚拟视频的回放的用户输入。媒体服务器可基于该用户输入提供来自虚拟视频的帧和/或图像。
在一个实施例中，虚拟视频和/或环摄视频可具有比相机110A至110D所生成的视频低的质量。例如，相机110A至110D可生成分辨率为1080P的视频。虚拟视频和/或环摄视频可具有720P的较低分辨率。在另一示例中，虚拟视频和/或环摄视频可具有比相机110A至110D所生成的视频少的颜色。在另一示例中，虚拟视频和/或环摄视频可具有比相机110A至110D所生成的视频小的帧频(例如，帧/秒)。
在一个实施例中，视频、虚拟视频和/或环摄视频可向用户提供事件和/或事件地点105的某些视点。视频、虚拟视频和/或环摄视频允许用户模拟事件和/或事件地点的3D查看体验。例如，用户可在某些时间点处(例如，在摇摄点处，如下面进一步讨论的)环摄事件和/或事件地点。由于3D查看体验在视频内的某些视点和/或某些时间周期(例如，在摇摄点)处可用，所以服务器(例如，媒体服务器)可模拟3D查看体验而无需使用更多资源(例如，处理电力、存储空间、网络带宽)，因为服务器可无需生成全3D环境。
在一个实施例中，相机110A至110D可实时地或者接近实时地捕获事件和/或事件地点105的视频。例如，当在事件地点中发生事件时，相机110A至110D可将所捕获的视频(例如，视频流)提供给媒体服务器。也可实时地或者接近实时地生成虚拟视频和/或环摄视频。例如，用户可暂停现场事件的视频，并且可环摄现场事件的不同视图(例如，来自虚拟相机的视图)，并且可从该不同的视图继续现场事件的视频的回放。媒体服务器可实时地或者接近实时地生成环摄视图和虚拟视频以允许用户环摄并且改变为事件和/或事件地点105的不同视图。在另一示例中，用户可查看通过物理相机(例如，相机110B)生成的事件的视频。在查看该视频的同时，用户可指示用户想要朝着右侧(例如，朝着虚拟相机120A)摇摄。媒体服务器可生成从虚拟相机120A的视点的事件和/或事件地点105的虚拟视频。
图2是图示出依据本公开的一个实施例的视频210、220、230和240、虚拟视频215、225、235和245以及环摄视频250和255的框图。如上所述，实际和/或物理相机可捕获、生成和/或获得事件地点(例如，如图1所示的事件地点)的视频。返回参照图1，相机110A可捕获和/或生成视频210，相机110B可捕获和/或生成视频220，相机110C可捕获和/或生成视频230，并且相机110D可捕获和/或生成视频240。视频210、220、230和240中的每一个包括多个帧和/或图像。例如，视频210包括帧210A至210X，视频220包括帧220A至220X，等等。另外，如上所述，媒体服务器可基于事件地点的实际视频来生成事件地点的虚拟视频。可基于视频210、220、230和240中的一个或多个来生成虚拟视频215、225、235和245。虚拟视频可提供事件地点的从虚拟相机的视图和/或视点。返回参照图1，虚拟视频215可来自虚拟相机120A的视点，虚拟视频225可来自虚拟相机120B的视点，虚拟视频235可来自虚拟相机120C的视点，并且虚拟视频245可来自虚拟相机120D的视点。视频215、225、235和245中的每一个包括多个帧和/或图像。例如，视频215包括帧215A至215X，视频225包括帧225A至225X，等等。在一个实施例中，虚拟视频215至245以及环摄视频250和255的质量可低于视频210至240中的一个或多个。例如，与视频210相比，虚拟视频215至245可具有较低的分辨率、较低的画面质量、较少的颜色等。
如上所述，媒体服务器可识别视频210至240和虚拟视频215至245中的摇摄点(例如，时间、图像和/或帧)。媒体服务器可生成向用户提供在摇摄点处事件地点105的环摄视图的附加视频(诸如，环摄视频250和255)。参照图2，媒体服务器可识别帧210B、215B、220B、225B、230B、235B、240B和245B处的摇摄点。帧210B、215B、220B、225B、230B、235B、240B和245B处的摇摄点可在时间上同步。例如，帧210B处的摇摄点可以是视频210进行了一分十八秒时，帧215B处的摇摄点可以是虚拟视频215进行了一分十八秒时，帧220B处的摇摄点可以是视频220进行了一分十八秒时，等等。媒体服务器可基于视频210至240以及虚拟视频215至245来生成环摄视频250。在一个实施例中，环摄视频可包括来自视频210至240和虚拟视频215至245的帧210B、215B、220B、225B、230B、235B、240B和245B。在另一实施例中，环摄视频可包括基于视频210至240和虚拟视频215至245中的帧和/或图像生成的新帧和/或新图像。例如，参照图1，环摄视频250可包括事件地点105(在摇摄点处)的帧和/或图像，其提供从介于相机110C和虚拟相机120C之间的角度的事件地点105的视点。
类似地，媒体服务器可识别帧210G、215G、220G、225G、230G、235G、240G和245G处的摇摄点。帧210G、215G、220G、225G、230G、235G、240G和245G处的摇摄点可在时间上同步(例如，每个摇摄点在视频210至240和虚拟视频215至245内的相同时间处)。媒体服务器可基于视频210至240和虚拟视频215至245来生成环摄视频255。例如，环摄视频可包括帧210G、215G、220G、225G、230G、235G、240G和245G，和/或可包括基于视频210至240和虚拟视频215至245中的帧和/或图像生成的新帧和/或新图像。
在一个实施例中，媒体服务器可识别摇摄点(例如，时间周期)，在该处允许用户在不同的相机和/或虚拟相机之间环摄(例如，在查看不同的视频和/或虚拟视频之间改变)。如图2所示，媒体服务器可识别摇摄点260。在摇摄点260期间，用户可在事件和/或事件地点的不同的视频和/或虚拟视频之间切换。例如，返回参照图1，用户可正在观看事件地点105的视频220(由相机110B生成)并且用户可处于视频200的帧220D。用户可指示(例如，通过按下用户界面上的按钮)用户想要向左朝着虚拟相机120B摇摄。媒体服务器可开始向用户提供在帧225D或225E开始的虚拟视频225。在另一实施例中，用户可指示用户想要朝着摇摄点之前的不同相机和/或虚拟相机摇摄。例如，返回参照图1，用户可正在观看虚拟视频235(从虚拟相机120C的视点)并且可处于视频235中的帧235C。在帧235C处，用户可指示用户想要朝着相机110D摇摄。由于用户没有到达视频235中的摇摄点260，所以媒体服务器可等待直至用户到达视频235中的帧235D(例如，直至视频235到达摇摄点)。媒体服务器可向用户(例如，向用户的客户端装置)提供在帧240D或240E开始的视频240。
在一个实施例中，媒体服务器还可识别环摄视频250和255中的摇摄点。环摄视频250和255中的摇摄点可以是环摄视频250和255内用户可暂停环摄视频250和255的回放的时间、时间周期、帧和/或图像。在一个实施例中，摇摄点可以是从相机和/或虚拟相机的视点提供事件地点105的视点的图像和/或帧。例如，返回参照图1，环摄视频250中的摇摄点可以是从相机110A至110D和/或虚拟相机120A至120D之一的视点提供事件地点的视点的帧。如图2所示，媒体服务器可识别环摄视频250中的帧210B、215B、220B、225B、235B、240B和245B处的摇摄点。返回参照图1，帧210B可从相机110A的视点提供事件地点105的视点，帧215B可从虚拟相机120A的视点提供事件地点105的视点，帧220B可从相机110B的视点提供事件地点105的视点，等等。
在一个实施例中，用户可提供指示应该停止环摄视频的回放并且应该恢复视频210至240或者虚拟视频215至245的回放的用户输入。例如，当播放环摄视频255时，用户可提供暂停帧230G处的环摄视频的回放的用户输入。用户可提供指示用户想要停止环摄视频的回放的附加输入。媒体服务器可开始向用户的客户端装置上的媒体观看器提供来自视频230的帧。例如，媒体服务器可开始提供从帧230G开始的视频230的帧。
在一个实施例中，通过实际相机生成的视频(例如，视频210至240)、虚拟视频(例如，虚拟视频215至245)和/或环摄视频(例如，环摄视频250和255)也可被称作视频流。媒体服务器(如图3所示)可将视频流(例如，视频、虚拟视频和/或环摄视频)提供给客户端装置以使得客户端装置可播放视频流。
图3图示出依据本公开的一个实施例的示例系统架构300。系统架构300包括相机110A至110D、耦接至网络305的数据存储库310、媒体服务器330、客户端装置340和350。网络305可包括公共网络(例如，互联网)、私有网络(例如，局域网(LAN)或广域网(WAN))、有线网络(例如，以太网)、无线网络(例如，802.11网络或Wi-Fi网络)、蜂窝网络(例如，长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机和/或其组合。
相机110A至110D可以是如图1所示的相机架构的部分。相机110A至110D可按照各种布局和/或位置围绕事件地点(例如，图1所示的事件地点105)设置。相机110A至110D中的每一个可位于向每个相机110A至110D提供事件地点的特定视点的位置处。相机110A至110D中的每一个可生成视频和/或图像。例如，返回参照图2，相机110A生成视频210，相机110B生成视频220，等等。视频210至240中的每一个可包括帧和/或图像。例如，视频220包括帧220A至220X。
媒体服务器330可以是一个或多个计算装置，诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、主机计算机、膝上型计算机、平板计算机、台式计算机等。媒体服务器330包括图像模块335。在一个实施例中，图像模块335可分析由相机110A至110D生成(并且存储在视频数据311的部分中)的视频，并且可生成一个或多个虚拟视频(如上面结合图1和图2讨论的)。所述一个或多个虚拟视频可以是围绕事件地点设置的一个或多个虚拟相机的视点的事件地点(例如，图1所示的事件地点105)的视频。在另一实施例中，图像模块335可识别存储在视频数据311中的视频和存储在虚拟视频数据312中的虚拟视频内的摇摄点。视频和/或虚拟视频中的摇摄点可在时间上同步。图像模块335还可生成提供在摇摄点处围绕事件地点的环摄视图的环摄视频(例如，附加视频)(如上面结合图1和图2所讨论的)。图像模块335还可基于用户输入允许用户在不同的视频和/或虚拟视频之间切换的时间周期期间(例如，在摇摄期间)环摄事件地点。
视频210至240(由相机110A至110D生成)被存储在数据存储库310中的视频数据311中。由图像模块335(如下所述)基于视频210至240生成的虚拟视频可被存储在数据存储库310中的虚拟视频数据312中。例如，返回参照图2，虚拟视频215、225、235和245可被存储在数据存储库310中的虚拟视频数据312中。由图像模块335(如下所述)基于视频210至240和/或虚拟视频生成的环摄视频可被存储在数据存储库310中的环摄视频数据313中。例如，返回参照图2，环摄视频250和255可被存储在数据存储库310中的环摄视频数据313中。在一个实施例中，数据存储库310可以是存储器(例如，随机存取存储器)、高速缓存、驱动器(例如，硬盘驱动器)、闪存驱动器、数据库系统、或者能够存储数据的另一类型的组件或装置。数据存储库310还可包括多个存储组件(例如，多个驱动器或多个数据库)，其也可跨越多个计算装置(例如，多个服务器计算机)。在一个实施例中，数据存储库310可包括多个事件和/或事件地点的视频、虚拟视频、环摄视频。例如，数据存储库310可包括橄榄球赛、记者招待会和/或政治辩论的视频、虚拟视频、环摄视频。
在一个实施例中，图像模块可从客户端装置340和/或350接收请求(例如，从媒体观看器341和/或351接收请求)以播放不同事件和/或不同地点的视频、虚拟视频、环摄视频。图像模块335可从客户端装置340和/或350接收指示事件和/或事件地点的数据。图像模块335可将事件和/或事件地点的视频、虚拟视频、环摄视频中的一个或多个提供给客户端装置340和/或350。在一个实施例中，在视频和/或虚拟视频的回放期间图像模块335可接收指示用户希望环摄事件和/或事件地点的用户输入。图像模块335可识别与用户想要改变至(例如，摇摄至)的视点对应的视频和/或虚拟视频。图像模块335可在视频和/或虚拟视频内的下一摇摄点处切换至所识别的视频和/或虚拟视频(如上面结合图2所讨论的)。在另一实施例中，图像模块335可接收指示用户希望暂停视频和/或虚拟视频的回放的数据(例如，用户输入)。基于该用户输入，图像模块335可在视频和/或虚拟视频中的下一摇摄点处暂停视频和/或虚拟视频的回放(例如，可停止提供或传输视频和/或虚拟视频的帧和/或图像)。图像模块335还可接收指示用户想要在摇摄点处环摄事件地点的附加数据(例如，附加用户输入)。基于该附加用户输入，图像模块335可将针对该摇摄点生成的环摄视频提供给客户端装置340和/或350。
在另一实施例中，图像模块335还可接收指示用户希望暂停环摄视频的回放的数据(例如，用户输入)。图像模块335可在环摄视频中的下一摇摄点处暂停环摄视频的回放(例如，可停止提供或传输环摄视频的帧和/或图像)。在一个实施例中，图像模块335可接收指示应该停止环摄视频的回放并且应该恢复视频和/或虚拟视频之一的回放的用户输入。例如，返回参照图2，当播放环摄视频250时，用户可提供指示用户想要在帧225B处停止暂停的环摄视频的回放的用户输入。图像模块335可开始将来自虚拟视频225的帧提供给用户的客户端装置上的媒体观看器。例如，图像模块335可开始提供从帧225B开始的虚拟视频225的帧。
在一个实施例中，图像模块335还可将包括GUI的媒体观看器提供给客户端装置340和/或350。例如，图像模块335可提供包括图2所示的GUI200的媒体观看器。在一个实施例中，图像模块335可向客户端装置340和/或350提供嵌入式媒体观看器(例如，嵌入网页中的播放器或HTML5播放器)。在另一实施例中，图像模块335可向客户端装置340和/或350提供独立式媒体观看器(例如，媒体播放器应用)。图像模块335可经由作为媒体观看器的一部分的GUI从用户接收用户输入。例如，图像模块335可接收指示用户想要暂停视频的回放的用户输入。图像模块335可停止向客户端装置340和/或350提供图像。在另一示例中，图像模块335可接收指示用户想要环摄事件地点的用户输入(来自媒体观看器341和/或351)。图像模块335可识别生成摇摄点的环摄视频，并且可将该环摄视频提供给客户端装置340和/或350(例如，提供给媒体观看器341和/或351)。在另一示例中，图像模块335可接收指示用户想要在视频的回放期间环摄的用户输入。图像模块可识别用户希望环摄的视点的虚拟视频和/或视频，并且可将在所识别的视频和/或虚拟视频中的下一摇摄点处开始的所识别的视频和/或虚拟视频提供给客户端装置350和/或350。
在一个实施例中，媒体服务器330可包括可使用自适应比特率流传送架构以将视频(例如，视频、虚拟视频、环摄视频)提供(例如，串流)给客户端装置340和/或350。通常，自适应比特率流传送架构可动态地将不同质量(例如，不同比特率)和不同部分的视频(例如，视频流)提供给客户端装置。不同的自适应比特率流传送架构的示例包括(但不限于)超文本传输协议动态自适应流传送(DASH)、HTTP直播流传送(HLS)等。
客户端装置340和350可各自包括诸如个人计算机(PC)、膝上型计算机、移动电话、智能电话、平板计算机、上网本计算机等的计算装置。客户端装置340包括媒体观看器341，并且客户端装置350包括媒体观看器351。在一个实施例中，媒体观看器341和/或351可以是允许用户查看诸如图像、视频、网页、文档等的内容的应用。例如，媒体观看器341可以是可访问、检索、呈现和/或导航由web服务器提供的内容(例如，诸如超文本标记语言(HTML)页面的网页、数字媒体项目等)的web浏览器。媒体观看器341可将内容(例如，网页、媒体播放器)渲染、显示和/或呈现给用户。媒体观看器341还可显示嵌入网页(例如，可提供关于在线商户所销售的产品的信息的网页)中的嵌入式媒体播放器(例如，播放器或HTML5播放器)。在另一示例中，媒体观看器341和/或351可以是允许用户查看数字媒体项目(例如，数字视频、数字图像、电子书等)的独立应用。可由媒体服务器330将媒体观看器341和351提供给客户端装置350和340。例如，媒体观看器341可以是嵌入媒体服务器330所提供的网页中的嵌入式媒体播放器。在另一示例中，媒体观看器351可以是从媒体服务器330下载的应用。
图4是图示出依据本公开的一个实施例的示例图形用户界面(GUI)400的示图。在一个实施例中，GUI400可以是媒体服务器(例如，下面结合图3示出并讨论的媒体服务器)所提供的媒体观看器的一部分。例如，GUI400可以是嵌入网页中的媒体观看器(例如，诸如播放器或超文本标记语言5(HTML5)播放器的嵌入式媒体观看器)的一部分，并且可由在客户端装置上执行的web浏览器来渲染GUI400。在另一实施例中，GUI400可以是可与网页分离的媒体观看器(例如，可以是独立媒体观看器)的一部分。例如，媒体观看器可以是在客户端装置上执行的单独应用。
GUI400包括可用于控制(事件地点105的)视频、虚拟视频和/或环摄视频或者其它媒体项目(例如，其它数字视频或者数字音乐)的回放/显示的媒体观看器控件。媒体观看器控件包括播放按钮421、暂停按钮422、倒回按钮423、快进按钮424和音量按钮425。播放按钮421可允许用户开始和/或重新开始视频、虚拟视频和/或环摄视频的回放。暂停按钮可允许用户暂停和/或取消暂停视频、虚拟视频和/或环摄视频的回放。倒回按钮423可允许用户将回放倒回、移动和/或跳转到视频、虚拟视频和/或环摄视频中的早前时间点。快进按钮424可允许用户将回放快进、移动和/或跳转到视频、虚拟视频和/或环摄视频中的后面时间点。GUI400还包括播放时间显示413、回放条411和回放滑块412。播放时间显示413可显示视频、虚拟视频和/或环摄视频的当前播放时间和/或总播放时间。例如，视频、虚拟视频和/或环摄视频的总播放时间(例如，总长度)可为2分30秒(例如，2:30)。当前播放时间可以是数字媒体项目的回放中的当前时间/位置(例如，1分53秒或1:53)。回放滑块412位于回放条411的与当前播放时间(例如，1:53)对应的区域上。回放滑块412可被调节(例如，拖曳)至回放条411的任何其它区域，以调节播放时间显示413中所示的当前播放时间。
GUI400包括可显示事件地点105的视频、虚拟视频和/或环摄视频的媒体部分405。例如，媒体部分405可以是GUI400的播放视频、虚拟视频或环摄视频的那部分。媒体部分405还可播放其它类型的视频、图像、音乐和/或其它媒体项目。媒体部分405还包括箭头441至442。在一个实施例中，用户在视频和/或虚拟视频的回放期间可使用箭头441至442来环摄事件和/或事件地点。例如，返回参照图2，用户可正在观看视频210并且可处于视频210中的帧210C处。用户可点击箭头441，并且媒体服务器可开始向客户端装置提供在帧215D处开始(例如，在下一摇摄点处开始)的虚拟视频215。在另一实施例中，当用户暂停视频和/或虚拟视频的回放时，用户可使用箭头441至442来发起事件地点105的环摄视频的回放。例如，返回参照图1，当用户点击箭头441时，媒体观看器可发送指示用户想要观看与当前摇摄点关联的事件地点105的环摄视频的数据。媒体服务器可识别环摄视频，并且可将来自在逆时针方向上移动的环摄视频的图像和/或帧提供给媒体观看器。在另一示例中，当用户点击箭头442时，媒体服务器可向媒体观看器识别在顺时针方向上移动的环摄视频。GUI400还包括按钮443。当用户激活和/或点击按钮443时，这可指示用户想要停止环摄视频的回放并且开始和/或恢复视频和/或虚拟视频的回放。在一个实施例中(图中未示出)，GUI400还可包括按钮(例如，放大镜按钮)，其允许用户在视频的回放期间放大和/或缩小。这可允许用户得到事件地点105的更近视图和/或更远视图。
音量按钮425可允许用户控制声音、音乐和/或视频中的其它可听噪声的音量。在一个实施例中，当用户点击和/或激活音量按钮425时可显示音量条431和音量滑块432。例如，音量条431和音量滑块432可能最初没有显示在GUI400中。在用户点击音量按钮425之后，音量条431和音量滑块432可被显示。用户可沿着音量条231向上和/或向下移动和/或滑动音量滑块432，以控制声音、音乐和/或视频中的其它可听噪声的音量。例如，用户可向上滑动音量滑块432以增大音量，或者可向下滑动音量滑块432以减小音量。
图5图示出依据本公开的一个实施例的图像模块的框图。图像模块335包括虚拟视频模块505、环摄视频模块510、摇摄点模块515、媒体观看器模块520和相机模块525。在不损失一般性的情况下，图像模块335中可包括更多或更少的组件。例如，这些模块中的两个可被组合成单个模块，或者这些模块中的一个可被分成两个或更多个模块。在一个实施例中，这些模块中的一个或多个可驻留于不同的计算装置(例如，不同的服务器计算机)上。
图像模块335在通信上耦接至数据存储库310。例如，图像模块335可经由网络(例如，经由如图3所示的网络505)耦接至数据存储库310。在另一示例中，图像模块335可直接耦接至驻留有图像模块335的服务器(例如，可直接耦接至媒体服务器330)。数据存储库310可以是存储器(例如，随机存取存储器)、高速缓存、驱动器(例如，硬盘驱动器)、闪存驱动器、数据库系统或者能够存储数据的另一类型的组件或装置。数据存储库310还可包括也可跨越多个计算装置(例如，多个服务器计算机)的多个存储组件(例如，多个驱动器或多个数据库)。如上面结合图4所讨论的，数据存储库310包括视频数据311、虚拟视频数据312和环摄视频数据313。
在一个实施例中，相机模块525可与来自相机架构(如图1所示)的相机通信。相机模块525可从相机架构中的相机接收视频(例如，图像和/或帧序列)并可将图像阵列存储在数据存储库310中。例如，返回参照图1和图2，相机模块525可接收通过相机110A至110D生成的视频(例如，图像阵列)。相机模块525可将视频存储在视频数据311中。
在一个实施例中，虚拟视频模块505可从围绕事件和/或事件地点设置的一个或多个虚拟相机的视点生成事件和/或事件地点的虚拟视频。例如，参照图1，虚拟视频模块505可从虚拟相机120C的视点生成事件地点105的虚拟视频。虚拟视频模块505可基于通过物理(例如，实际相机)捕获的一个或多个视频生成虚拟视频。
在一个实施例中，摇摄点模块515可识别视频和/或虚拟视频(存储在视频数据311和/或虚拟视频数据312中)内的摇摄点。摇摄点模块515可基于用户输入识别摇摄点。摇摄点模块515还可基于时间周期或者帧数来识别摇摄点。例如，摇摄点模块515可每十秒或者每二十帧识别一个摇摄点。摇摄点模块515还可使用任何数量的不同算法、函数、操作和/或度量来识别摇摄点。例如，摇摄点模块515可使用场景检测算法来识别摇摄点。摇摄点模块515还可识别环摄视频内的摇摄点。例如，摇摄点模块515可确定从物理相机或虚拟相机的视点提供事件地点的视图的摇摄点视频中的每个帧是摇摄点。
在一个实施例中，环摄视频模块510可生成事件和/或事件地点的环摄视频。例如，环摄视频模块510可在视频和/或虚拟视频中的摇摄点处生成环摄视频。环摄视频模块510可在环摄视频中使用来自视频和/或虚拟视频的实际帧和/或图像。环摄视频模块510还可在环摄视频中基于来自视频和/或虚拟视频的实际帧和/或图像生成新帧。
图6-8是图示出生成视频并将视频提供给客户端装置的方法的流程图。为了说明简单，所述方法被描绘和描述为一系列动作。然而，依据本公开的动作可按照各种顺序发生和/或与本文中没有呈现和描述的其它动作同时发生。另外，可能并非需要所有示出的动作以实现依据所公开的主题的方法。另外，本领域技术人员将理解和认识到，所述方法可另选地经由状态图或事件来表示为一系列相互关联的状态。
在一个实施例中，媒体观看器模块520可将媒体观看器提供给客户端装置(例如，图3所示的客户端装置340)。例如，媒体观看器模块520可将安装文件、软件组件/模块、二进制文件等提供给客户端装置，并且客户端装置可将该媒体观看器安装在客户端装置上。在另一示例中，媒体观看器模块520可将包括嵌入式媒体观看器(例如，播放器、HTML5播放器等)的网页提供给客户端。客户端装置可通过访问网页使用嵌入式媒体观看器来查看事件地点的视频、虚拟视频和环摄视频。
图6是图示出依据本公开的一个实施例的生成虚拟视频的方法的流程图。方法600可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，在处理器上运行以执行硬件仿真的指令)或其组合。在一个实施例中，方法600可由如图3和图5所示的图像模块执行。
参照图6，方法600开始于方框605，其中方法600接收多个视频。例如，方法600可接收通过实际相机(例如，图1所示的相机110A至110D)生成的视频。在方框610，方法600可接收和/或可生成虚拟视频。例如，方法600可接收由另一计算装置(例如，另一服务器)基于所述多个视频生成的虚拟视频。在另一示例中，方法600可基于所述多个视频生成虚拟视频。方法600可识别视频和虚拟视频中的多个摇摄点(方框615)。例如，方法600可基于识别摇摄点的用户输入(例如，基于识别事件的重要时间和/或部分的用户输入)来识别摇摄点。在另一示例中，方法600可将每隔视频中的I帧的摇摄点识别作为摇摄点。在另一示例中，方法600可每10秒识别一个摇摄点。在方框620，方法600基于所述多个摇摄点中的一个或多个来生成一个或多个环摄视频。例如，返回参照图2，方法600可在帧210B、215B、220B、230B、235B、240B或245B处基于一个或多个摇摄点生成环摄视频250。在方框620之后，方法600结束。
图7A是图示出依据本公开的一个实施例的将视频提供给客户端装置的方法700的流程图。方法700可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，在处理器上运行以执行硬件仿真的指令)或其组合。在一个实施例中，方法700可由如图3和图5所示的图像模块来执行。
参照图7A，方法700开始于方框705，其中方法700基于事件和/或事件地点的实际视频生成虚拟视频和环摄视频。例如，返回参照图2，方法700可基于视频210、220、230和240生成虚拟视频215、225、235和245。方法700还可基于视频210、215、220、225、230、235、240和245中的摇摄点生成环摄视频。在方框710，方法将视频或虚拟视频提供给客户端装置。例如，参照图1，用户可使用客户端装置来查看事件和/或事件地点105的视频并且可选择来自虚拟相机120C的视点的视频。方法700可将来自虚拟相机120C的视点的视频提供给客户端装置。方法700接收暂停视频或虚拟视频的回放的用户输入。方法700识别视频或虚拟视频中的下一摇摄点(在方框720)并且在下一摇摄点处暂停视频的回放(在方框725)。例如，返回参照图2，方法700可识别虚拟视频235中的帧235G处的摇摄点，并且可在帧235G处暂停虚拟视频235的回放。在方框730，方法700可基于下一摇摄点识别环摄视频。例如，返回参照图2，方法700可基于帧235G处的摇摄点识别环摄视频255。在另一示例中，方法700可基于摇摄点来生成环摄视频(如上面结合图2所讨论的)。在方框735，方法700将环摄视频提供给客户端装置。在方框735之后，方法700结束。
图7B是图示出依据本公开的另一实施例的将视频提供给客户端装置的方法750的流程图。方法750可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，在处理器上运行以执行硬件仿真的指令)或其组合。在一个实施例中，方法750可由如图3和图5所示的图像模块来执行。
参照图7A，方法750开始于方框755，其中方法750基于事件和/或事件地点的实际视频生成虚拟视频和环摄视频。在方框760，方法将视频或虚拟视频提供给客户端装置。例如，参照图1，用户可使用客户端装置来查看事件和/或事件地点105的视频并且可选择来自虚拟相机120C的视点的视频。方法750可将来自虚拟相机120C的视点的视频提供给客户端装置。在方框765，方法750接收改变视频或虚拟视频的视点的用户输入。例如，方法750可接收指示用户想要环摄事件和/或事件地点的用户输入。在方框770，方法750基于用户输入识别下一视频或虚拟视频。例如，如果用户指示用户想要向左摇摄，则方法750可识别来自当前视点左侧的相机或虚拟视频相机的视频或虚拟视频。在方框775，方法750可识别视频或虚拟视频中的下一摇摄点。在方框780，方法750将在下一点开始的下一视频或虚拟视频提供给客户端装置。在方框780之后，方法750结束。
图8是图示出依据本公开的另一实施例的将视频提供给客户端装置的方法800的流程图。方法800可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，在处理器上运行以执行硬件仿真的指令)或其组合。在一个实施例中，方法800可由如图3和图5所示的图像模块来执行。
参照图8，方法800开始于方框805，其中方法800将环摄视频提供给客户端装置。在方框810，方法800接收暂停环摄视频的回放的用户输入。方法800识别环摄视频中的摇摄点(方框815)。例如，返回参照图2，环摄视频250被提供给客户端装置，当用户按下暂停按钮时方法800可将帧220B识别为下一摇摄点。在方框820，方法800在该摇摄点处暂停环摄视频的回放。在方框825，方法800接收请求视频或虚拟视频的回放的附加用户输入。例如，方法800可接收指示用户已看完环摄视频并且想要继续观看视频和/或虚拟视频之一的用户输入。在方框830，方法800基于摇摄点识别视频或虚拟视频。例如，返回参照图2，如果用户在帧220B处暂停环摄视频的回放，则方法800可识别视频220。在方框835，方法800将视频或虚拟视频提供给客户端装置。在方框835之后，方法800结束。
图9图示出示例形式的计算装置900中的机器的示意性表示，在其内可执行一组指令，所述指令使得所述机器执行本文所讨论的方法中的任一个或多个。计算装置900可以是移动电话、智能电话、上网本计算机、机架式服务器、路由器计算机、服务器计算机、个人计算机、主机计算机、膝上型计算机、平板计算机、台式计算机等，在其内可执行一组指令，所述指令使得所述机器执行本文所讨论的方法中的任一个或多个。在另选实施例中，所述机器可连接(例如，联网)至LAN、内联网、外联网或互联网中的其它机器。所述机器可在客户端-服务器网络环境中以服务器机器的身份来操作。所述机器可以是个人计算机(PC)、机顶盒(STB)、服务器、网络路由器、交换机或网桥、或者能够执行指定将由该机器采取的动作的一组指令(按顺序或以其它方式)的任何机器。另外，尽管仅示出了单个机器，但是术语“机器”也将包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的任一个或多个方法的任何机器集合。
示例计算装置900包括经由总线930彼此通信的处理装置(例如，处理器)902、主存储器904(例如，只读存储器(ROM)、闪速存储器、动态随机存取存储器(DRAM)(诸如同步DRAM(SDRAM))、静态存储器906(例如，闪速存储器、静态随机存取存储器(SRAM))以及数据存储库918。
处理装置902表示一个或多个通用处理装置，诸如微处理器、中央处理单元等。更具体地讲，处理装置902可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器或者实现其它指令集的处理器、或者实现指令集的组合的处理器。处理装置902还可以是一个或多个专用处理装置，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理装置902被配置为执行图像模块926以用于执行本文所讨论的操作和步骤。
计算装置900还可包括可与网络920通信的网络接口装置908。计算装置900还可包括视频显示单元910(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入装置912(例如，键盘)、光标控制装置914(例如，鼠标)以及信号生成装置916(例如，扬声器)。在一个实施例中，视频显示单元910、字母数字输入装置912和光标控制装置914可被组合成单个组件或装置(例如，LCD触摸屏)。
数据存储库918可包括存储有具体实现本文所述的方法或功能中的任一个或多个的一组或多组指令(例如，图像模块926)的计算机可读存储介质928。图像模块926在其被计算装置900执行期间还可(完全或至少部分地)驻留于主存储器904内和/或处理装置902内，主存储器904和处理装置902也构成计算机可读媒介。所述指令还可经由网络接口装置908通过网络920而被传输或接收。
尽管在示例实施例中将计算机可读存储介质928示出为单个介质，术语“计算机可读存储介质”应该包括存储一组或多组指令的单个介质或多个媒介(例如，集中式或分布式数据库和/或关联的高速缓存和服务器)。术语“计算机可读存储介质”还将包括能够存储、编码或携载一组指令以由机器执行并且使得该机器执行本公开的任一个或多个方法的任何介质。术语“计算机可读存储介质”因此将包括(但不限于)固态存储器、光学媒介和磁媒介。
在以上描述中阐述了许多细节。然而对于获益于本公开的本领域普通技术人员而言将显而易见的是，本公开的实施例可在没有这些具体细节的情况下实践。在一些情况下，公知结构和装置以框图形式示出，而非详细示出，以避免模糊该描述。
在对于计算机存储器内的数据比特的操作的算法和符号表示方面呈现了具体实施方式的一些部分。这些算法描述和表示是数据处理领域的技术人员用来向本领域其他技术人员最有效地传达他们的工作实质的手段。这里并且一般设想算法为促成所需结果的自一致步骤序列。这些步骤是需要物理量的物理操纵的步骤。通常(但不是必需的)，这些量采取能够被存储、传送、组合、比较以及以其它方式操纵的电或磁信号的形式。已经证实有时方便的是(主要出于常用的原因)将这些信号称为比特、值、元素、符号、字符、项、数等。
然而，应当谨记，所有这些以及相似术语均将与适当的物理量关联，只不过是应用于这些量的方便标签。除非如从上文讨论中明显的那样另有具体指示，否则将理解，贯穿该描述，使用诸如“识别”、“接收”、“生成”、“提供”、“暂停”等术语的讨论可指计算机系统或类似电子计算装置的动作和处理，其将计算机系统的寄存器和存储器内被表示为物理(例如，电子)量的数据操纵并变换成计算机系统存储器或寄存器或者其它此类信息存储、传输或显示装置内被类似地表示为物理量的其它数据。
本公开的实施例还涉及一种执行本文的操作的设备。该设备可针对所需目的专门构造，或者可包括通过存储在计算机中的计算机程序来选择性地激活或重新配置的通用计算机。此类计算机程序可被存储在非瞬时性计算机可读存储介质中，诸如(但不限于)包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、闪速存储器、或者适合于存储电子指令的任何类型的媒介。
本文中使用词语“示例”或“示例性”来表示充当示例、实例或例示。本文中被描述为“示例”或“示例性”的任何方面或设计并非必然被解释为与其它方面或设计相比是优选或有利的。相反，使用词语“示例”或“示例性”旨在以具体方式呈现概念。如本申请中所用，术语“或”旨在表示包括性的“或”，而非排他性的“或”。即，除非另外指定或者从上下文显而易见，否则“X包括A或B”旨在表示任何自然的包括性排列。即，如果X包括A；X包括B；或者X包括A和B二者，则在任何前述情况下满足“X包括A或B”。另外，本申请和所附权利要求书中所使用的冠词通常应该被解释为表示“一个或多个”，除非另外指定或者从上下文显而易见是指单数形式。此外，术语“实施例”或“一个实施例”或“实现方式”或“一个实现方式”的使用始终不是意在表示同一实施例或实现方式，除非如此描述。另外，如本文所用的术语“第一”、“第二”、“第三”、“第四”等意指作为在不同元件之间进行区分的标签，而未必根据其数字表达而具有顺序含义。
本文所呈现的算法和显示并非固有地与任何特定计算机或其它设备相关。各种通用系统可与依据本文教导的程序一起使用，或者可证明方便的是构造更专业的设备以执行所需方法步骤。各种这些系统的所需结构将从以上描述而显而易见。另外，本公开没有参照任何特定编程语言来描述。将理解，可使用各种编程语言来实现如本文所述的公开的教导。
以上描述阐述了众多具体细节，诸如特定系统、组件、方法等的示例，以便提供本公开的若干实施例的更好理解。然而，对于本领域技术人员而言将显而易见的是，本公开的至少一些实施例可在没有这些具体细节的情况下实践。在其它情况下，公知组件或方法未详细描述或者以简单框图形式呈现，以避免不必要地模糊本公开。因此，以上阐述的具体细节仅是示例。具体实现方式可不同于这些示例细节，并且仍预期将在本公开的范围内。
将理解，以上描述旨在为例示性的而非限制性的。对于本领域技术人员而言在阅读并理解以上描述时许多其它实施例将显而易见。因此，本公开的范围应该参照所附权利要求以及这些权利要求所享有的等同物的全部范围来确定。

Claims (25)

1.一种方法，所述方法包括：
接收事件的多个视频，其中，所述多个视频与所述事件的多个视点关联；
接收所述事件的一个或多个虚拟视频，其中，所述一个或多个虚拟视频与所述事件的所述多个视点中的一个或多个关联；
识别多个摇摄点，其中，所述多个摇摄点中的每个摇摄点与来自所述多个视频中的一个视频或者来自所述一个或多个虚拟视频中的一个虚拟视频关联；以及
基于所述多个摇摄点生成所述事件的一个或多个环摄视频。
2.根据权利要求1所述的方法，其中，接收所述事件的所述一个或多个虚拟视频包括：
基于所述事件的所述多个视频生成所述事件的所述一个或多个虚拟视频。
3.根据权利要求1所述的方法，其中，所述事件的所述多个视频和所述一个或多个虚拟视频在时间上同步。
4.根据权利要求1所述的方法，其中，所述多个摇摄点中的每个摇摄点在所述多个视频和所述一个或多个虚拟视频中的相同时间点处。
5.根据权利要求1所述的方法，所述方法还包括：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示改变为所述事件的不同视点的用户请求；
基于所述用户输入识别下一视频或者下一虚拟视频；
识别所述下一视频或者所述下一虚拟视频中的下一摇摄点；以及
在所述下一摇摄点处将所述下一视频或者所述下一虚拟视频提供给所述客户端装置。
6.根据权利要求1所述的方法，所述方法还包括：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示所述第一视频或者所述第一虚拟视频的回放应该被暂停；
识别来自所述多个摇摄点中的第一摇摄点；以及
在下一摇摄点处暂停所述视频的回放。
7.根据权利要求6所述的方法，所述方法还包括：
基于所述第一摇摄点识别来自所述一个或多个环摄视频中的第一环摄视频；以及
将所述第一环摄视频提供给所述客户端装置。
8.根据权利要求7所述的方法，所述方法还包括：
接收第二用户输入，所述第二用户输入指示所述第一环摄视频的回放应该被暂停；
识别所述环摄视频中的第二摇摄点；
在所述第二摇摄点处暂停所述环摄视频的回放；
接收第三用户输入，所述第三用户输入请求来自所述多个视频中的第二视频或者来自所述一个或多个虚拟视频中的第二虚拟视频的回放；
基于所述第二摇摄点识别所述第二视频或者所述第二虚拟视频；以及
将所述第二视频或所述第二虚拟视频提供给所述客户端装置。
9.根据权利要求1所述的方法，其中，所述一个或多个环摄视频和所述一个或多个虚拟视频具有比所述多个视频低的质量。
10.根据权利要求1所述的方法，其中，生成一个或多个环摄视频包括：
生成第一环摄视频，所述第一环摄视频提供在顺时针方向上环摄所述事件的所述事件的视图；以及
生成第二环摄视频，所述第二环摄视频提供在逆时针方向上环摄所述事件的所述事件的视图。
11.根据权利要求1所述的方法，其中，所述多个摇摄点中的每个摇摄点包括帧内编码帧(I帧)。
12.根据权利要求1所述的方法，其中，所述多个摇摄点基于用户输入来识别。
13.一种设备，所述设备包括：
存储器，所述存储器存储数据；
处理器，所述处理器耦接到所述存储器，所述处理器：
接收事件的多个视频，其中，所述多个视频与所述事件的多个视点关联；
接收所述事件的一个或多个虚拟视频，其中，所述一个或多个虚拟视频与所述事件的所述多个视点中的一个或多个关联；
识别多个摇摄点，其中，所述多个摇摄点中的每个摇摄点与来自所述多个视频中的一个视频或者来自所述一个或多个虚拟视频中的一个虚拟视频关联；以及
基于所述多个摇摄点生成所述事件的一个或多个环摄视频。
14.根据权利要求13所述的设备，其中，所述多个摇摄点中的每个摇摄点在所述多个视频和所述一个或多个虚拟视频中的相同时间点处。
15.根据权利要求13所述的设备，其中，所述处理器还：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示改变为所述事件的不同视点的用户请求；
基于所述用户输入识别下一视频或者下一虚拟视频；
识别所述下一视频或者所述下一虚拟视频中的下一摇摄点；以及
在所述下一摇摄点处将所述下一视频或者所述下一虚拟视频提供给所述客户端装置。
16.根据权利要求13所述的设备，其中，所述处理器还：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示所述第一视频或者所述第一虚拟视频的回放应该被暂停；
识别来自所述多个摇摄点中的第一摇摄点；以及
在下一摇摄点处暂停所述视频的回放。
17.根据权利要求16所述的设备，其中，所述处理器还：
基于所述第一摇摄点识别来自所述一个或多个环摄视频中的第一环摄视频；以及
将所述第一环摄视频提供给所述客户端装置。
18.根据权利要求17所述的设备，其中，所述处理器还：
接收第二用户输入，所述第二用户输入指示所述第一环摄视频的回放应该被暂停；
识别所述环摄视频中的第二摇摄点；
在所述第二摇摄点处暂停所述环摄视频的回放；
接收第三用户输入，所述第三用户输入请求来自所述多个视频中的第二视频或者来自所述一个或多个虚拟视频中的第二虚拟视频的回放；
基于所述第二摇摄点识别所述第二视频或者所述第二虚拟视频；以及
将所述第二视频或所述第二虚拟视频提供给所述客户端装置。
19.根据权利要求13所述的设备，其中，所述处理器通过以下步骤生成一个或多个环摄视频：
生成第一环摄视频，所述第一环摄视频提供在顺时针方向上环摄所述事件的所述事件的视图；以及
生成第二环摄视频，所述第二环摄视频提供在逆时针方向上环摄所述事件的所述事件的视图。
20.一种具有指令的非瞬时性计算机可读存储介质，所述指令在被处理器执行时，使得所述处理器执行操作，所述操作包括：
接收事件的多个视频，其中，所述多个视频与所述事件的多个视点关联；
接收所述事件的一个或多个虚拟视频，其中，所述一个或多个虚拟视频与所述事件的所述多个视点中的一个或多个关联；
识别多个摇摄点，其中，所述多个摇摄点中的每个摇摄点与来自所述多个视频中的一个视频或者来自所述一个或多个虚拟视频中的一个虚拟视频关联；以及
基于所述多个摇摄点生成所述事件的一个或多个环摄视频。
21.根据权利要求20所述的非瞬时性计算机可读存储介质，其中，所述操作还包括：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示改变为所述事件的不同视点的用户请求；
基于所述用户输入识别下一视频或者下一虚拟视频；
识别所述下一视频或者所述下一虚拟视频中的下一摇摄点；以及
在所述下一摇摄点处将所述下一视频或者所述下一虚拟视频提供给所述客户端装置。
22.根据权利要求20所述的非瞬时性计算机可读存储介质，其中，所述操作还包括：
将来自所述多个视频中的第一视频或者来自所述一个或多个虚拟视频中的第一虚拟视频提供给客户端装置；
接收用户输入，所述用户输入指示所述第一视频或者所述第一虚拟视频的回放应该被暂停；
识别来自所述多个摇摄点中的第一摇摄点；以及
在下一摇摄点处暂停所述视频的回放。
23.根据权利要求22所述的非瞬时性计算机可读存储介质，其中，所述操作还包括：
基于所述第一摇摄点识别来自所述一个或多个环摄视频中的第一环摄视频；以及
将所述第一环摄视频提供给所述客户端装置。
24.根据权利要求23所述的非瞬时性计算机可读存储介质，其中，所述操作还包括：
接收第二用户输入，所述第二用户输入指示所述第一环摄视频的回放应该被暂停；
识别所述环摄视频中的第二摇摄点；
在所述第二摇摄点处暂停所述环摄视频的回放；
接收第三用户输入，所述第三用户输入请求来自所述多个视频中的第二视频或者来自所述一个或多个虚拟视频中的第二虚拟视频的回放；
基于所述第二摇摄点识别所述第二视频或者所述第二虚拟视频；以及
将所述第二视频或所述第二虚拟视频提供给所述客户端装置。
25.根据权利要求20所述的非瞬时性计算机可读存储介质，其中，生成一个或多个环摄视频包括：
生成第一环摄视频，所述第一环摄视频提供在顺时针方向上环摄所述事件的所述事件的视图；以及
生成第二环摄视频，所述第二环摄视频提供在逆时针方向上环摄所述事件的所述事件的视图。
CN201480015916.2A 2013-03-15 2014-03-13 生成具有多个视点的视频 Active CN105052154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811481157.5A CN109905719B (zh) 2013-03-15 2014-03-13 生成具有多个视点的视频

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/839,617 US9462301B2 (en) 2013-03-15 2013-03-15 Generating videos with multiple viewpoints
US13/839,617 2013-03-15
PCT/US2014/026821 WO2014152021A1 (en) 2013-03-15 2014-03-13 Generating videos with multiple viewpoints

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811481157.5A Division CN109905719B (zh) 2013-03-15 2014-03-13 生成具有多个视点的视频

Publications (2)

Publication Number Publication Date
CN105052154A true CN105052154A (zh) 2015-11-11
CN105052154B CN105052154B (zh) 2019-01-01

Family

ID=51527446

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480015916.2A Active CN105052154B (zh) 2013-03-15 2014-03-13 生成具有多个视点的视频
CN201811481157.5A Active CN109905719B (zh) 2013-03-15 2014-03-13 生成具有多个视点的视频

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811481157.5A Active CN109905719B (zh) 2013-03-15 2014-03-13 生成具有多个视点的视频

Country Status (5)

Country Link
US (2) US9462301B2 (zh)
EP (1) EP2974286A4 (zh)
JP (2) JP6441302B2 (zh)
CN (2) CN105052154B (zh)
WO (1) WO2014152021A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN110189564A (zh) * 2019-05-17 2019-08-30 南京医科大学 一种医疗技能考核系统及记录重现评价方法
CN110944119A (zh) * 2016-10-28 2020-03-31 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和程序
CN113396596A (zh) * 2018-12-26 2021-09-14 阿马特路斯株式会社 影像分发装置、影像分发系统、影像分发方法以及影像分发程序
CN113794936A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 一种精彩瞬间生成方法、装置、系统、设备和介质
CN113794836A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 一种子弹时间视频生成方法、装置、系统、设备和介质
CN113794844A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 自由视角视频采集系统、方法、装置、服务器和介质

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298885B1 (en) * 2014-06-04 2019-05-21 Xevo Inc. Redundant array of inexpensive cameras
US10999557B2 (en) 2013-06-04 2021-05-04 Xevo Inc. Redundant array of inexpensive cameras
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US10764655B2 (en) * 2014-04-03 2020-09-01 Nbcuniversal Media, Llc Main and immersive video coordination system and method
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP2016164961A (ja) 2014-10-30 2016-09-08 キヤノン株式会社 液体吐出装置、ナノインプリント装置、ナノインプリント用液体収容タンク、硬化物パターンの製造方法、光学部品の製造方法、回路基板の製造方法、インプリント用モールドの製造方法
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
US20160330408A1 (en) * 2015-04-13 2016-11-10 Filippo Costanzo Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
JP6669403B2 (ja) * 2016-06-03 2020-03-18 キヤノン株式会社 通信装置、通信制御方法および通信システム
JP6904673B2 (ja) * 2016-08-08 2021-07-21 キヤノン株式会社 画像配信装置
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
US10834374B2 (en) 2017-02-28 2020-11-10 Peking University Shenzhen Graduate School Method, apparatus, and device for synthesizing virtual viewpoint images
JP6971624B2 (ja) * 2017-05-11 2021-11-24 キヤノン株式会社 情報処理装置、制御方法、およびプログラム
JP7042571B2 (ja) * 2017-08-10 2022-03-28 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US10417744B2 (en) * 2017-09-20 2019-09-17 Amatelus Inc. Video distribution device, video distribution system, video distribution method, and video distribution program
JP6889371B2 (ja) * 2017-09-21 2021-06-18 株式会社ミクシィ 動画情報処理装置並びにその制御方法及び制御プログラム
CN109561240B (zh) 2017-09-24 2023-02-17 福希特公司 用于生成媒体资产的系统和方法
JP6427258B1 (ja) 2017-12-21 2018-11-21 キヤノン株式会社 表示制御装置、表示制御方法
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
US10841509B2 (en) * 2018-10-22 2020-11-17 At&T Intellectual Property I, L.P. Camera array orchestration
JP2020136776A (ja) * 2019-02-14 2020-08-31 キヤノン株式会社 画像生成システムおよび画像生成方法、制御装置および制御方法
US20200288098A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
JP2020205549A (ja) * 2019-06-18 2020-12-24 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP7249637B2 (ja) * 2019-08-08 2023-03-31 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
KR102222645B1 (ko) * 2019-10-29 2021-03-04 콘텐츠스퀘어 주식회사 휴대폰을 이용한 8k 촬영장치
KR102222648B1 (ko) * 2019-10-30 2021-03-04 콘텐츠스퀘어 주식회사 휴대폰을 이용한 자유시점 촬영장치
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
CN111447503A (zh) * 2020-04-26 2020-07-24 烽火通信科技股份有限公司 一种多视点视频的视点切换方法、服务器和系统
CN113572975B (zh) * 2020-04-29 2023-06-06 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
JP7458889B2 (ja) * 2020-05-08 2024-04-01 キヤノン株式会社 画像表示装置、制御方法、およびプログラム
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
WO2022075862A1 (en) * 2020-10-07 2022-04-14 BestSeat360 Limited A 360 media-streaming network, controller and process
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996019892A1 (en) * 1994-12-21 1996-06-27 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures
US20020118969A1 (en) * 2001-02-12 2002-08-29 Takeo Kanade System and method for stabilizing rotational images
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20060146138A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for synthesizing multiview videos
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020089587A1 (en) * 2000-05-18 2002-07-11 Imove Inc. Intelligent buffering and reporting in a multiple camera data streaming video system
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
WO2001089221A1 (en) * 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
US7589732B2 (en) * 2002-11-05 2009-09-15 Autodesk, Inc. System and method of integrated spatial and temporal navigation
GB2401272B (en) * 2003-04-30 2007-11-21 Hewlett Packard Development Co Method and apparatus for enhancing user interest in static digital images
US7999842B1 (en) 2004-05-28 2011-08-16 Ricoh Co., Ltd. Continuously rotating video camera, method and user interface for using the same
CN100355272C (zh) * 2005-06-24 2007-12-12 清华大学 一种交互式多视点视频系统中虚拟视点的合成方法
CN1331359C (zh) * 2005-06-28 2007-08-08 清华大学 交互式多视点视频系统中视频流的传输方法
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
KR20120084817A (ko) * 2007-11-09 2012-07-30 미쓰비시덴키 가부시키가이샤 디스크 형상 기록 매체, 영상 정보 재생 장치 및 영상 정보 재생 방법
US8384764B2 (en) * 2007-12-20 2013-02-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
CN101662693B (zh) * 2008-08-27 2014-03-12 华为终端有限公司 多视点媒体内容的发送和播放方法、装置及系统
KR101626486B1 (ko) * 2009-01-28 2016-06-01 엘지전자 주식회사 방송 수신기 및 비디오 데이터 처리 방법
US8237787B2 (en) * 2009-05-02 2012-08-07 Steven J. Hollinger Ball with camera and trajectory control for reconnaissance or recreation
GB0907870D0 (en) * 2009-05-07 2009-06-24 Univ Catholique Louvain Systems and methods for the autonomous production of videos from multi-sensored data
US8363109B2 (en) 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US8823797B2 (en) * 2010-06-03 2014-09-02 Microsoft Corporation Simulated video with extra viewpoints and enhanced resolution for traffic cameras
JP5835932B2 (ja) 2010-07-02 2015-12-24 キヤノン株式会社 画像処理装置、及びその制御方法
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
CN102592275B (zh) * 2011-12-16 2013-12-25 天津大学 虚拟视点绘制方法
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996019892A1 (en) * 1994-12-21 1996-06-27 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures
US20020118969A1 (en) * 2001-02-12 2002-08-29 Takeo Kanade System and method for stabilizing rotational images
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20060146138A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for synthesizing multiview videos
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944119A (zh) * 2016-10-28 2020-03-31 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和程序
US11128813B2 (en) 2016-10-28 2021-09-21 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
CN110944119B (zh) * 2016-10-28 2022-04-26 佳能株式会社 图像处理系统、图像处理方法和存储介质
CN107835434A (zh) * 2017-06-09 2018-03-23 越野族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN113396596A (zh) * 2018-12-26 2021-09-14 阿马特路斯株式会社 影像分发装置、影像分发系统、影像分发方法以及影像分发程序
CN113396596B (zh) * 2018-12-26 2023-07-25 阿马特路斯株式会社 影像分发装置、影像分发系统、影像分发方法以及介质
CN110189564A (zh) * 2019-05-17 2019-08-30 南京医科大学 一种医疗技能考核系统及记录重现评价方法
WO2020233446A1 (zh) * 2019-05-17 2020-11-26 南京医科大学 一种医疗技能考核系统及记录重现评价方法
CN113794936A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 一种精彩瞬间生成方法、装置、系统、设备和介质
CN113794836A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 一种子弹时间视频生成方法、装置、系统、设备和介质
CN113794844A (zh) * 2021-09-09 2021-12-14 北京字节跳动网络技术有限公司 自由视角视频采集系统、方法、装置、服务器和介质
CN113794836B (zh) * 2021-09-09 2023-10-13 北京字节跳动网络技术有限公司 一种子弹时间视频生成方法、装置、系统、设备和介质

Also Published As

Publication number Publication date
US10405009B2 (en) 2019-09-03
CN105052154B (zh) 2019-01-01
JP6441302B2 (ja) 2018-12-19
WO2014152021A1 (en) 2014-09-25
US20140270706A1 (en) 2014-09-18
JP6662986B2 (ja) 2020-03-11
US9462301B2 (en) 2016-10-04
EP2974286A4 (en) 2016-10-26
CN109905719B (zh) 2021-05-07
EP2974286A1 (en) 2016-01-20
JP2016517672A (ja) 2016-06-16
US20170026667A1 (en) 2017-01-26
JP2019054537A (ja) 2019-04-04
CN109905719A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN105052154A (zh) 生成具有多个视点的视频
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
WO2020083021A1 (zh) 视频录制方法、视频播放方法、装置、设备及存储介质
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US20190013047A1 (en) Identifying interesting portions of videos
CN108900857B (zh) 一种多视角视频流处理方法和装置
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
KR20220031894A (ko) 데이터 스트림을 동기화하기 위한 시스템 및 방법
WO2023169297A1 (zh) 动画特效生成方法、装置、设备及介质
DE112019000271T5 (de) Verfahren und vorrichtung zur verarbeitung und verteilung von live-virtual-reality-inhalten
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
CN109982096A (zh) 一种360°vr内容播控系统及方法
KR20180131687A (ko) 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
US11902603B2 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
US20240137588A1 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
KR101816446B1 (ko) 평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법
CN116980637A (zh) 直播数据的处理系统、电子设备、存储介质及程序产品
KR101769660B1 (ko) 영상 처리 장치 및 영상 처리 방법
Nie et al. Walking into panoramic and immersive 3d video
CN115619901A (zh) 一种素材剪辑方法、装置、电子设备和存储介质
JP2011254232A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant