CN103931199B - 多媒体片段的生成 - Google Patents

多媒体片段的生成 Download PDF

Info

Publication number
CN103931199B
CN103931199B CN201280055762.0A CN201280055762A CN103931199B CN 103931199 B CN103931199 B CN 103931199B CN 201280055762 A CN201280055762 A CN 201280055762A CN 103931199 B CN103931199 B CN 103931199B
Authority
CN
China
Prior art keywords
fragment
angle
media
camera
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055762.0A
Other languages
English (en)
Other versions
CN103931199A (zh
Inventor
C·潘得加斯特
G·阿戈诺利
B·米内
M·弗雷施尔
K·麦苏塔
I·U·克函
K·M·卡森
Z·B·明杰克
M·斯特恩
V·德马科
M·D·迪豪斯
L·拉萨尔
M·A·伊顿二世
S·M·普尔
J·P·麦考门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN103931199A publication Critical patent/CN103931199A/zh
Application granted granted Critical
Publication of CN103931199B publication Critical patent/CN103931199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends

Abstract

本发明提供一种多媒体编辑应用程序。所述应用程序接收对相同事件的若干媒体片段的选择以用于创建多查看媒体片段。基于与所述媒体片段一起存储的识别所述媒体片段的来源的元数据，所述应用程序将所述片段自动分配至至少两个不同组(静态图片及视频)。对于每个组而言，通过使用诸如时间戳或当日时间的定时元数据，所述应用程序沿着时间轴对所述片段排序，对所述不同片段进行初始同步，并且通过比较分配至不同组的片段的所述元数据来调整所述组的所述同步。

Description

多媒体片段的生成
背景技术
数字图形设计、图像编辑、音频编辑以及视频编辑应用程序(即，媒体编辑应用程序)为平面设计师、媒体艺术家、电影和电视导演以及其他用户提供必要的工具以创建各种媒体内容。此类应用程序的例子包括Final和两者均由Apple，Inc.出售。这些应用程序赋予用户以各种方式将不同的媒体内容编辑、组合、转换、叠加以及拼接在一起以创建所得媒体项目的能力。所得媒体项目指定了用于创建媒体演示文件的多个文本、音频、图像和/或视频内容元素的特定顺序组合。
各种媒体编辑应用程序通过电子手段促成此类组合。具体地讲，计算机或具有处理器和计算机可读存储媒体的其他电子设备执行媒体编辑应用程序。这样，计算机生成图形界面，由此设计师数字地调控媒体内容的图形表示，从而产生所需的结果。
在一些情况下，导演、剪辑师等可使用多个不同摄像机从多个不同角度拍摄单个场景。将许多媒体片段手动编辑成时间轴，尝试弄清片段应如何对齐和裁剪，以及不同摄像机之间在哪里进行切换可能是一个困难且耗时的过程。此外，如果剪辑师已在时间轴上或在多个不同的媒体项目中的多个位置上进行该过程，则剪辑师将会对是否应进行任何更改而犹豫不决，因为这将需要在多个地方进行相同的校正。
发明内容
本发明的一些实施例提供了一种媒体编辑应用程序，该媒体编辑应用程序允许用户创建多摄像机媒体片段，所述多摄像机媒体片段包括由多个不同媒体捕捉设备(例如，同时从不同角度记录场景的若干摄像机)捕捉的若干媒体片段。当用户指定媒体编辑应用程序使用媒体片段的特定集合来创建多摄像机媒体片段时，应用程序使用媒体片段的元数据来将该集合中的媒体片段自动分配至不同的组(例如，每个不同的摄像机为一组)，使每组中的片段排序并间隔开(例如，按时间顺序，在片段之间具有间隙)，并且使各组中的片段同步(例如，使第一组中的片段的捕捉时间与第二组中的片段的捕捉时间对齐)。当用户将此类多摄像机片段添加至组合演示文件时，媒体编辑应用程序在参照已创建的多摄像机片段的演示文件中创建新的片段实例，使得对多摄像机片段的修改将影响组合演示文件中的片段实例。媒体编辑应用程序提供各种用户界面工具以用于编辑多摄像机片段以及组合演示文件中的片段的实例。
在一些实施例中，用户指定若干不同媒体片段(例如，视频片段、音频片段、静态图像等)，由所述若干不同媒体片段生成多摄像机片段。媒体编辑应用程序自动将指定的媒体片段分类成组(在本文中有时称为“角度”或“摄像机角度”)。一些实施例使用媒体片段的元数据(例如用户输入的角度或摄像机名称或者自动生成的摄像机信息)来将媒体片段分类成组(例如，为用于捕捉不同媒体片段的每个摄像机创建一个组)。对于已分类的片段，应用程序自动生成每个不同的组的片段的有序序列。在一些实施例中，应用程序利用片段元数据来执行排序(例如，由用于捕捉媒体片段的捕捉设备生成的定时数据)，只要元数据符合表明其匹配正确排序的特定标准。除对片段排序之外，媒体编辑应用程序将序列内的片段间隔开，在捕捉设备未捕捉媒体时(例如，当摄像机在拍摄之间关闭时的时间)插入时间间隙。
在生成每个组的序列之后，媒体编辑应用程序在不同组之间使序列同步。即，应用程序使序列对齐，使得由第一捕捉设备在特定时间捕捉的内容与第二捕捉设备在相同时间捕捉的内容对齐。一些实施例使用与用于对一个或多个组定序的定时元数据相同的定时元数据来使不同组同步。在指示第一设备捕捉片段的时间的信息与来自第二设备的对应信息(例如，时间代码数据或当日时间信息)具有相同格式时，应用程序使用该信息来对齐片段，只要定时信息符合指示应在设备之间比较信息的某些标准。在一些实施例中，在使用片段元数据来执行组的此初步同步之后，媒体编辑应用程序使用由多个设备捕捉的音频数据来对同步进行微调。即，应用程序对由多个设备(例如，不同摄像机的麦克风)捕捉的类似音频进行识别并将该音频对齐。由于来自特定摄像机的音频和视频彼此绑定，因此这就具有也将来自不同设备的视频对齐的效果。
在由若干不同的媒体片段创建多摄像机媒体片段时，一些实施例的媒体编辑应用程序生成参照数据结构以用于多摄像机媒体片段。在一些实施例中，该参照数据结构存储与分配有片段的每个组有关的信息。应用程序将参照数据结构存储为一系列嵌套式片段结构，每个组存储在参照片段结构内单独的片段结构中。然后用于特定组的片段结构为分配至组的片段存储片段结构的有序集合，在一些实施例中使用间隙结构来指示片段之间的间隔。此外，参照片段结构还存储指示不同组之间的同步的信息。
媒体编辑应用程序提供具有编辑显示区域的图形用户界面(GUI)以用于编辑参照多摄像机媒体片段。在一些实施例中，该编辑显示区域为组合显示区域，其还用于将组合媒体演示文件(还称作“媒体项目”或“组合媒体项目”)创建并编辑成媒体片段的序列(例如，沿着时间轴布置的片段的序列)。在该编辑显示区域内，用户可对多摄像机媒体片段内的片段的组进行命名，添加或删除组，添加或从组中移除片段，移动序列内的单个媒体片段(例如，以执行组的附加对齐)，更改多摄像机片段内组的顺序，对单个片段或多摄像机片段中的片段的组应用效果(例如，变换、像素修改等)等。在一些实施例中，组合显示区域为无轨显示区域以用于编辑组合演示文件，同时为多摄像机片段的不同组提供轨道外观。
如所提及的，一些实施例的组合显示区域用于将媒体项目创建为由用户布置的媒体片段的序列。媒体编辑应用程序的用户可将多摄像机媒体片段添加至媒体项目。然后媒体编辑应用程序向其定义的媒体项目中添加参照所述参照片段的多摄像机片段的片段实例。片段实例将多摄像机片段的有序组中的一者指示为活动组(在一些实施例中，实例指示活动音频组和活动视频组两者)。在针对多摄像机片段实例所占用的组合显示区域中的位置(例如，时间)来渲染组合演示文件时，媒体编辑应用程序检索对应于活动组的片段的源内容。
在一些实施例中，片段实例继承了参照多摄像机片段的属性，以及片段实例的活动组的属性。片段实例还可应用其自身所具有的属性例如，一些实施例的多摄像机片段参照将具有其自身的格式和帧频，所述格式和帧频均被片段实例继承。活动组将在片段参照中具有其序列，且用户可对活动组中的片段应用效果。然后用户可对片段实例中的活动组应用附加的效果，这将不会影响其他实例(即使是相同活动组内的那些)。此外，用户可在片段实例上设放置重新定时效果、标记物或关键词，无论对于实例而言哪个组是活动的，所述重新定时效果、标记物或关键词均保持与片段实例在一起。虽然针对多摄像机媒体片段描述了这些参照片段，但一些实施例还包括针对单个媒体片段或合成媒体片段的参照片段。在媒体编辑应用程序对片段实例进行渲染时，应用程序首先应用参照片段的属性(例如，效果)，然后应用片段实例的属性。
在添加至组合演示文件时，可类似于演示文件中的其他媒体片段来编辑多摄像机媒体片段实例。然而，在一些实施例中，媒体编辑应用程序为此类多摄像机媒体片段提供附加的或不同的编辑功能性。例如，一些实施例的媒体编辑应用程序为用户提供多种不同的方法以修改对于组合演示文件中的片段实例而言是活动的组。用户可选择片段实例以产生不同组的下拉菜单或生成允许用户循环通过来自不同组的视频或图像的显示区域。
此外，一些实施例在GUI中提供多摄像机片段查看器(或“角度查看器”)。多摄像机片段查看器允许用户同时查看来自单个多摄像机媒体片段的多个不同组的内容(例如，视频图像)。用户可使用查看器切换片段实例的活动组或将片段实例分成具有不同活动组的两个单独的实例。一些实施例提供GUI项，所述GUI项允许用户确定在查看器中选择特定组是否将使片段实例的音频、视频或音频和视频两者切换(或拆分且切换)至特定选定组。在一些实施例中，GUI项针对不同类型的内容(例如，音频、视频或两者)具有不同的颜色(或其他指示项，例如图案、符号等)，并且这些颜色反映为在查看器中围绕活动组的内容(例如，正在回放的视频图像)以及在查看器中所示的组的集合中的突出显示。当在多摄像机片段中存在比在查看器中所存在的可用显示更多的组时，一些实施例显示组的可选集，用户可选择组的可选集以轮流通过组的不同集合。
上述发明内容旨在用作对本发明的一些实施例的简单介绍。其并非意味着对在本文档中公开的所有发明主题的介绍或概述。随后的具体实施方式以及具体实施方式所参照的附图将进一步描述发明内容中所述的实施例以及其他实施例。因此，为了理解本文档所描述的所有实施例，需要充分理解发明内容、具体实施方式和附图。此外，要求保护的主题不限于发明内容、具体实施方式及附图中的示例性细节，而是由所附权利要求限定，这是因为要求保护的主题能够以其他特定形式实施而不脱离本主题的精神。
附图说明
在所附的权利要求中阐述了本发明的新颖特征。然而，出于说明的目的，在以下附图中阐释了本发明的若干实施例。
图1示出了具有创建和使用多摄像机媒体片段的能力的媒体编辑应用程序的图形用户界面(“GUI')。
图2示出了用户将多摄像机片段的实例添加至在图1的组合显示区域中创建的组合演示文件中。
图3示出了一些实施例的媒体编辑应用程序的GUI。
图4示出了在一些实施例的媒体编辑应用程序的GUI中创建新项目。
图5概念性地示出了媒体资产的资产数据结构以及包含媒体资产的事件的事件数据结构。
图6概念性地示出了针对导入的媒体文件由一些实施例的媒体编辑应用程序创建的片段对象的嵌套式序列。
图7示出了项目名称为“新项目”的包括四个片段的时间轴。
图8概念性地示出了用于图7所示的项目的数据结构的子集。
图9概念性地示出了嵌套在概念时间轴中的图8的对象。
图10概念性地示出了用于由媒体片段集合来生成多摄像机媒体片段的一些实施例的过程。
图11示出了用于创建多摄像机媒体片段的用户输入。
图12概念性地示出了用于将片段分配至多摄像机媒体片段的不同角度的过程。
图13概念性地示出了将九个片段的集合分配至多摄像机媒体片段的三个不同角度。
图14概念性地示出了用于针对多摄像机媒体片段的各种角度来生成有序片段的序列的一些实施例的过程。
图15示出了对得自图13的片段的定序。
图16概念性地示出了用于利用定时元数据来执行多摄像机媒体片段的初始同步的一些实施例的过程。
图17示出了使用图13所示的片段的元数据来对齐得自图15的序列。
图18概念性地示出了用于横跨多摄像机媒体片段内的一组角度对媒体片段进行同步的一些实施例的过程。
图19示出了得自图17的角度的音频同步。
图20概念性地示出了在一些实施例的媒体编辑应用程序的事件中创建的多摄像机媒体片段的数据结构的子集。
图21示出了一些实施例的图形用户界面(“GUI')中的角度编辑器显示区域的打开。
图22示出了经过三个阶段的GUI，在所述三个阶段中打开多摄像机预览显示区域并且访问显示区域的选项。
图23示出了通过沿着片段的轨道移动该片段而进行的第一角度轨道中的媒体片段与第二角度轨道中的片段的手动对齐。
图24示出了用户根据一些实施例改变多摄像机媒体片段的监视角度。
图25示出了用户针对多摄像机参照片段的各种角度而启用和禁用音频。
图26概念性地示出了用于回放(或浏览)在角度编辑器中打开的多摄像机媒体片段的一些实施例的过程。
图27示出了使用一定的功能来将选定的片段与角度编辑器中不同角度的片段自动同步。
图28示出了用于对角度编辑器中的片段进行同步的帧匹配技术的使用。
图29示出了用户将角度添加至GUI中的多摄像机媒体片段。
图30示出了用户对图29的GUI中的多摄像机媒体片段的角度进行重命名。
图31示出了用户删除图29的GUI中的多摄像机媒体片段的角度。
图32示出了用户对图29的GUI中的多摄像机媒体片段的角度进行重新排序。
图33示出了将来自效果显示区域的黑白效果应用到角度编辑器中的片段。
图34示出了用户将多摄像机媒体片段添加至媒体项目。
图35概念性地示出了定义包括多摄像机片段实例的媒体项目的数据结构的子集。
图36示出了用户将多摄像机片段添加至媒体项目的实例。
图37示出了用户针对组合显示区域中的多摄像机片段而打开角度编辑器。
图38-41示出了选定的片段以及选定片段后检查器显示区域的不同选项卡。
图42示出了用户针对检查器中的选定片段实例切换活动视频角度。
图43示出了如在用户正在组合显示区域中编辑媒体项目时所显示的一些实施例的角度查看器。
图44A-D示出了使用角度查看器来编辑媒体项目中的多摄像机片段的各种实施例。
图45概念性地示出了用于在用户使用角度查看器来切分片段实例时修改媒体项目的数据结构的一些实施例的过程。
图46示出了在查看器显示四个角度预览显示时改变角度查看器的尺寸的效果。
图47示出了使用菜单来切换组合显示区域中选定的多摄像机片段实例的视频角度。
图48示出了在一些实施例的组合显示区域中切换视频角度的不同方式。
图49示出了使用菜单来切换组合显示区域中选定的多摄像机片段实例的活动音频角度。
图50示出了删除组合显示区域中的隔断编辑以将两个多摄像机片段实例组合成单个实例。
图51示出了用户对由隔断编辑分隔的两个片段实例的音量水平的修改。
图52示出了用户将视频效果应用到一对片段实例以及组合显示区域中。
图53和54示出了两个标准媒体片段和两个多摄像机片段参照之间的编辑点处应用的默认裁剪编辑的差异，在所述两个多摄像机片段参照中，编辑点为隔断编辑。
图55概念性地示出了用于渲染来自通过媒体项目中的多摄像机片段实例的图像的一些实施例的过程。
图56概念性地示出了包括各种媒体片段(包括多摄像机片段实例)的媒体片段的时间轴。
图57概念性地示出了用于得自图56的媒体项目的特定图像的渲染图。
图58概念性地示出了一些实施例的媒体编辑应用程序的软件架构。
图59概念性地示出了电子系统，用该电子系统来实施本发明的一些实施例。
具体实施方式
在以下描述中，出于说明的目的，阐述了许多细节、实例和实施例。但是，本领域的普通技术人员将认识到，本发明不限于所阐述的实施例，并且可在没有所讨论的具体细节和实例中的一些的情况下实践本发明。在其他情况下，以方框图形式示出熟知的结构和设备，以便不会以不必要的细节模糊本发明的描述。
本发明的一些实施例提供了一种媒体编辑应用程序，该媒体编辑应用程序允许用户创建多摄像机媒体片段，所述多摄像机媒体片段包括由多个不同媒体捕捉设备(例如，同时从不同角度记录场景的若干摄像机)捕捉的多个媒体片段。当用户指定媒体编辑应用程序使用媒体片段的特定集合来创建多摄像机媒体片段时，应用程序使用媒体片段的元数据来将该集合中的媒体片段自动分配至不同的组(例如，每个不同的摄像机为一组)，使每组中的片段排序并间隔开(例如，按时间顺序，在片段之间具有间隙)，并且使横跨各组中的片段同步(例如，使第一组中的片段的捕捉时间与第二组中的片段的捕捉时间对齐)。当用户将此类多摄像机片段添加至组合演示文件时，媒体编辑应用程序在参照已创建的多摄像机片段的演示文件中创建新的片段实例，使得对多摄像机片段的修改将影响组合演示文件中的片段实例。媒体编辑应用程序提供各种用户界面工具以用于编辑多摄像机片段以及组合演示文件中的片段的实例。
在一些实施例中，媒体片段是表示一段源媒体(例如，包含在视频文件中的视频、包含在音频文件或视频文件中的音频、静态图像等)的数据结构。媒体编辑应用程序向用户提供这些片段的图形表示，用户使用这些片段通过在组合显示区域中将这些片段编辑在一起来创建组合媒体演示文件(还称为媒体项目)。一些实施例的多摄像机片段为特定类型的媒体片段，其将来自多个不同捕捉设备的媒体片段合并并将这些媒体片段在片段结构内对齐。
对于本发明的一些实施例，图1示出了具有创建和使用多摄像机媒体片段的能力的媒体编辑应用程序的图形用户界面(“GUI”)100。具体地讲，该图示出了在两个阶段110和120的GUI100。GUI100包括媒体库105、项目显示区域115以及预览显示区域125。媒体库105显示可供用户用于创建媒体项目的媒体片段集合的表示。在不同的实施例中，媒体片段可能显示得不同。例如，媒体库105中的媒体片段106-108显示来自它们表示的视频的一个缩略图图像，并且在缩略图下方显示片段名称和摄像机元数据两者。其他实施例可显示片段名称。媒体片段106和108(分别为“片段A”和“片段C”)两者均来自“摄像机1”，而媒体片段107(“片段B”)来自“摄像机2”。该摄像机名称元数据可(例如，在导入到媒体编辑应用程序中时)从源视频自动产生或可以是用户输入的。
项目显示区域115(还称为组合显示区域)提供由媒体编辑应用程序的用户创建的媒体项目的视觉表示。具体地，其沿着时间轴显示表示添加至媒体项目的媒体片段的一个或多个媒体片段表示。在一些实施例中，如这里所示，时间轴中的视频片段的表示显示来自每个视频片段的一个或多个图像。用户可选择媒体库105中的片段并将片段添加至项目显示区域115中创建的项目中。
预览显示区域125显示来自媒体库105中的媒体片段或者项目显示区域115中的项目的预览图像。视频片段和媒体项目两者均表示图像的序列，并且媒体编辑应用程序根据用户输入在预览显示区域中播放这些图像。在一些实施例中，用户通过在时间轴中的项目上移动播放头135到来查看媒体项目。在图1的阶段110中，播放头135在项目的大约2.5秒标记处，并且应用程序在预览显示区域125中显示对应于项目中该时间的图像。
如阶段110中所示，用户已选择媒体库105中的所有三个片段106-108，并且已激活包括“创建多摄像机片段”选项的菜单130。虽然该操作示出为正在被光标执行的选择操作，但本领域的普通技术人员将认识到，可通过使用触摸屏操作来执行类似的操作，并且此外，可在一些实施例的GUI中执行附加的操作(例如，拖放项、使用热键等)以实现该相同的结果。实际上，本申请示出了以特定方式(例如，用光标)执行的许多此类操作，并且本领域的普通技术人员将认识到，在各种不同实施例中，可以各种不同方式通过各种不同输入设备来执行这些操作。
在一些实施例中，其使用选定的片段来开始多摄像机片段创建过程。媒体编辑应用程序自动将指定的媒体片段分类成组(在本文中有时称为“角度”或“摄像机角度”)。一些实施例使用片段的元数据(例如用户输入的角度或摄像机名称或者自动生成的摄像机信息)来将媒体片段分类成不同的组(例如，为用于捕捉不同媒体片段的每个摄像机创建一个组)。在这种情况下，这三个选定的片段96-108包括指示它们来自“摄像机1”或“摄像机2”的元数据。媒体编辑应用程序利用该元数据来将片段分类成两个组(摄像机的每一者对应一个组)。
对于已分类成组的片段，应用程序自动生成每个不同的组的片段的有序序列。一些实施例利用片段元数据来执行这种排序(例如，由用于捕捉媒体片段的捕捉设备生成的定时数据)，只要元数据符合表明其匹配正确排序的特定标准。除对片段排序之外，媒体编辑应用程序将序列内的片段间隔开，在捕捉设备未捕捉媒体时(例如，当摄像机在拍摄之间关闭时的时间)插入时间间隙。在图1所示的例子中，应用程序检查媒体片段106和108的元数据以确定片段被捕捉的顺序以及第一片段结束与第二片段开始之间的时间。
在生成每个组的序列之后，媒体编辑应用程序在不同组之间使序列同步。即，应用程序使序列对齐，使得由第一捕捉设备在特定时间捕捉的内容与第二捕捉设备在相同时间捕捉的内容对齐。一些实施例使用与用于对一个或多个组定序的定时元数据相同的定时元数据来使不同组同步。在指示第一设备捕捉片段的时间的信息与来自第二设备的对应信息(例如，时间代码数据或当日时间信息)具有相同格式，并且定时信息符合指示应在设备之间比较信息的某些标准时，则应用程序使用该信息来对齐片段。在一些实施例中，在使用片段元数据来执行组的初步同步之后，媒体编辑应用程序验证组已正确地同步，并且使用由多个设备捕捉的音频数据来对同步进行微调。即，应用程序对由多个设备(例如，不同摄像机的麦克风)捕捉的类似音频进行识别并将该音频对齐。由于来自特定摄像机的音频和视频彼此绑定，因此这就具有还将来自不同设备的视频对齐的效果。其GUI在图1中示出的媒体编辑应用程序自动将片段107(来自“摄像机2”的片段)的定时与片段106和108(来自“摄像机1”的片段)的定时同步。
图1的阶段120示出了在媒体编辑应用程序已创建由片段表示109所表示的多摄像机媒体片段之后的GUI100。除显示媒体库105中选定的片段表示109之外，GUI100还包括用于与多摄像机媒体片段交互的一些实施例的附加特征。具体地讲，GUI100显示用于在组合显示区域115中编辑的多摄像机媒体片段，并且显示多摄像机片段查看器(或“角度查看器”)140。
组合显示区域115中的多摄像机媒体片段编辑显示装置显示了多摄像机片段109中的两组媒体片段。将这两个组标记为“摄像机1”和“摄像机2”，并且示出了沿着单个时间轴布置的每个组的片段。虽然在一些实施例中，组合显示区域是用于编辑组合演示文件的无轨显示区域，但应用程序为多摄像机媒体片段中的每一组提供了单独轨道的外观。第一组包括“片段A”和“片段C”，如图所示，“片段A”为大约六秒钟长(从零秒的时间运行到六秒的时间)，而“片段C”短一点(从大约8.5秒的时间运行到12.5秒的时间)。分配至“摄像机2”组的“片段B”比其他两个片段中的任一者都稍长，并且在时间轴上从大约1.5秒运行到九秒。第二组的片段不在零时开始，因为媒体编辑应用程序已使用与源视频以及片段的音频一起存储的定时元数据来自动将两个组的片段彼此对齐，如上文所述。
在该编辑显示区域内，用户可对多摄像机媒体片段内的片段的组进行命名，添加或删除组，添加或从组中移除片段，移动序列内的单个媒体片段(例如，以执行组的附加对齐)，更改多摄像机片段内组的顺序，对单个片段或多摄像机片段中的片段的组应用效果(例如，变换、像素修改等)等。
多摄像机片段查看器140允许用户同时查看来自单个多摄像机媒体片段的多个不同组的内容(例如，视频图像)。在一些实施例中，当在组合显示区域中示出不同组的轨道时，查看器显示每一组的对应于播放头135的位置的预览图像。预览显示区域125显示各组中一者的预览图像。在一些实施例中，选择(例如，由用户)特定组以用于在预览显示区域中回放。然而，在用户将光标(或类似的位置指示项)移动到组合显示区域中的特定片段上时，应用程序在预览显示区域中显示来自该特定片段的图像，而不会同时显示来自选定组的图像。在这种情况下，“摄像机1”为选定的组，并且因此媒体编辑应用程序在预览显示区域125中显示来自该组的对应于播放头135的时间的视频图像。此外，查看器在编辑组合演示文件中的多摄像机片段时提供功能性，这将在下文中通过参照图2进行描述。
在由若干不同的媒体片段创建多摄像机媒体片段(例如，多摄像机媒体片段109)时，一些实施例的媒体编辑应用程序生成参照数据结构以用于多摄像机媒体片段。在一些实施例中，该参照数据结构存储与分配有片段的每个组有关的信息。应用程序将参照数据结构存储为一系列嵌套式片段结构，每个组存储在参照片段结构内单独的片段结构中。然后用于特定组的片段结构为分配至组的片段存储片段结构的有序集合，在一些实施例中使用间隙结构来指示片段之间的间隔。此外，参照片段结构还存储指示不同组之间的同步的信息。
对于已创建的多摄像机媒体片段，用户可将多摄像机媒体片段添加至媒体项目。然后媒体编辑应用程序向媒体项目中添加参照所述参照片段的多摄像机片段的片段实例。片段实例将多摄像机片段的有序组中的一者指示为活动组(在一些实施例中，实例指示活动音频组和活动视频组两者)。在针对多摄像机片段实例所占用的组合显示区域中的位置(例如，时间)来渲染组合演示文件时，媒体编辑应用程序检索对应于活动组的片段的源内容。
在一些实施例中，片段实例继承了参照多摄像机片段的属性，以及片段实例的活动组的属性。片段实例还可应用其自身所具有的属性例如，一些实施例的多摄像机片段参照将具有其自身的格式和帧频，所述格式和帧频均被片段实例继承。活动组将在片段参照中具有其序列，且活动组中的片段可应用效果。然后用户可对片段实例中的活动组应用附加的效果，这将不会影响其他实例(即使是相同活动组内的那些)。此外，用户可在片段实例上放置重新定时效果、标记物或关键词，无论对于实例而言哪个组是活动的，所述重新定时效果、标记物或关键词均保持与片段实例在一起。虽然针对多摄像机媒体片段描述了这些参照片段，但一些实施例还包括针对单个媒体片段或合成媒体片段的参照片段。在媒体编辑应用程序对片段实例进行渲染时，应用程序首先应用参照片段的属性(例如，效果)，然后应用片段实例的属性。
图2示出了用户将多摄像机片段109的实例添加至通过两个阶段210和220在组合显示区域115中创建的组合演示文件中。在第一阶段中，用户已选择片段109并且将该片段拖动到组合显示区域115中。通过执行该拖放操作，用户将多摄像机片段109的实例编辑到演示文件中。在一些实施例中，用户通过用户界面按钮、热键、选择菜单选项等，而不是通过拖放操作，来将片段添加至时间轴。
第二阶段220示出了组合演示文件现在包括多摄像机片段的实例。此外，在组合显示区域115中示出的片段表示包括指示片段实例的活动视频和音频组的信息。在这种情况下，活动视频组为摄像机2，且活动音频组为摄像机1。如该例子中的情况，在一些实施例中，片段实例可具有用于视频和音频的不同活动组。在这种情况下，应用程序使用来自用于音频的一个组的片段以及来自用于视频的不同组的片段来渲染演示文件。
在添加至组合演示文件时，可类似于演示文件中的其他媒体片段来编辑多摄像机媒体片段实例。然而，在一些实施例中，媒体编辑应用程序为此类多摄像机媒体片段提供附加的或不同的编辑功能性。例如，一些实施例的媒体编辑应用程序为用户提供多种不同的方式以切换对于组合演示文件中的片段实例而言活动的组。用户可选择片段实例以产生不同组的下拉菜单或生成允许用户循环通过来自不同组的视频或图像的显示区域。
GUI100还包括多摄像机片段查看器140，多摄像机片段查看器140显示多摄像机片段中对应于该片段中的特定时间的多个不同组的图像。在播放头135位于组合显示区域115中多摄像机片段实例中的特定时间上时，查看器140中所示的视频图像对应于多摄像机片段的该特定时间处的图像。如上文所指出的那样，多摄像机查看器140可用于在组合显示区域中编辑多摄像机片段实例。
例如，用户可使用查看器切换片段实例的活动组或者将片段实例分成具有不同活动组的两个单独的实例。GUI项240允许用户确定在查看器中选择特定组是否将使片段实例的活动音频和/或视频组切换(或拆分且切换)至特定选定组。在一些实施例中，GUI项针对不同类型的内容(例如，音频、视频或两者)具有不同的颜色(或其他指示项，例如图案、符号等)，并且这些颜色反映为在查看器中围绕活动组的内容(例如，正在回放的视频图像)以及在查看器中所示的组的集合中的突出显示。在这种情况下，按钮表示A、V和A/V，并且这些符号(“A”和“V”)在查看器中所示的组预览中以及在集245中示出。当在多摄像机片段中存在比在查看器中所存在的可用显示更多的组时，一些实施例显示组的可选集。用户可选择集中的一者以轮流通过组的不同集合。在这种情况下，由于仅存在两个组，因此用户不需要在不同集合之间切换。
图1和2示出了在一些实施例的媒体编辑应用程序中创建和使用多摄像机片段的实例。在下文中描述了若干个更详细的实施例。部分I描述了一些实施例的媒体编辑应用程序的图形用户界面。部分II描述了由一些实施例的媒体编辑应用程序使用的数据结构。接着，部分III描述了多摄像机媒体片段的创建。然后部分IV描述了编辑多摄像机参照片段，而部分V描述了编辑媒体项目中的多摄像机片段实例。部分Ⅵ描述了一些实施例的媒体编辑应用程序如何渲染多摄像机媒体片段。然后部分VII描述了一些实施例的媒体编辑应用程序的软件架构。最后，部分VIII描述了电子系统，用该电子系统来实施本发明的一些实施例。
I.媒体编辑应用程序图形用户界面
上述附图示出了用于媒体编辑应用程序的简化图形用户界面(“GUI')。图3示出了一些实施例的媒体编辑应用程序的GUI300，与上文所述的那些GUI相比，GUI300具有附加的特征。本领域的普通技术人员将认识到，图形用户界面300仅是用于此类媒体编辑应用程序的多个可能GUI中的一者。实际上，GUI300包括若干显示区域，所述多个显示区域可调节尺寸、可打开或关闭、可替换为其他显示区域(例如，如图1和2所示的角度查看器)等。GUI300包括片段库305、片段浏览器310、时间轴315、预览显示区域320、检查器显示区域325、附加的媒体显示区域330和工具栏335。
片段库305包括一组文件夹，用户通过其来访问已导入到媒体编辑应用程序中的媒体片段。在一些实施例中，用户可将媒体文件导入到应用程序中，此时针对已导入的文件创建媒体片段。可从摄像机、外部驱动器(例如，外部硬盘驱动器、闪存存储器驱动器、网络驱动器等)或媒体编辑应用程序在其上进行操作的设备的内部驱动器中导入这些文件。导入时片段数据结构的创建将在下文在部分II中进一步详细描述。
一些实施例根据其上存储有由片段表示的导入的媒体文件的设备(例如，诸如内部或外部硬盘驱动器的物理存储设备、诸如硬盘驱动器分区的虚拟存储设备等)来组织片段库305中的媒体片段。一些实施例还允许用户基于创建(例如，摄像机记录)由片段表示的媒体的日期来组织媒体片段。如图所示，片段库305包括来自2009年的存储在硬盘(在这种情况下，媒体编辑应用程序其上运行的设备引导盘)上的媒体片段。
在存储设备和/或日期内，用户可将媒体片段分组成“事件”或媒体片段的有组织的文件夹。例如，用户可赋予事件描述性的名字，其表示在事件中存储了什么媒体(例如，片段库305中示出的“假期”事件可能包括来自假期的视频片段)。在一些实施例中，对应于这些片段的媒体文件存储在映射片段库中示出的文件夹的文件存储结构中。
在片段库内，一些实施例允许用户执行各种片段管理动作。这些片段管理动作可包括在事件之间移动片段、创建新事件、将两个事件合并在一起、复制事件(在一些实施例中，这会创建事件中的片段所对应的媒体的复制副本)、删除事件等。此外，一些实施例允许用户创建事件的子文件夹。这些子文件夹可包括基于标签(例如，关键字标签)而过滤的媒体片段。例如，在假期事件中，示出雕像的所有媒体片段均被用户用“雕像”关键字标注，并且在“假期”文件夹下是该标签的关键字项。
片段浏览器310允许用户查看来自片段库305的选定文件夹(例如，事件)的片段。如该例子中所示，在片段库305中选择事件文件夹“假期”，并且属于该事件的片段在片段浏览器310中显示。在一些实施例中，用户可通过在浏览器中选择若干片段并且然后选择多摄像机片段创建选项来在片段浏览器310中创建多摄像机片段。该创建过程将在下文部分III中详细描述。
一些实施例将片段显示为缩略图幻灯片，如该实例中所示。通过将光标(或触摸屏上的手指)在缩略图的某一者上(例如，利用鼠标、触摸板、触摸屏等)移动，用户可浏览片段。即，在用户将光标放在缩略图幻灯片内的特定水平位置时，媒体编辑应用程序使该水平位置与相关的媒体文件中的时间相关联，并针对该时间显示来自媒体文件的图像。此外，在一些实施例中，用户可命令应用程序回放缩略图幻灯片中的媒体文件。
此外，浏览器中片段的缩略图在片段下显示表示媒体文件的音频的音频波形。在一些实施例中，当用户浏览或回放缩略图幻灯片时，音频也会播放。
片段浏览器的许多特征是用户可修改的。例如，在一些实施例中，用户可修改显示的缩略图尺寸、音频波形所占用的缩略图的百分比、当用户浏览媒体文件时音频是否回放等中的一者或多者。此外，一些实施例允许用户在片段浏览器中以列表视图而不是幻灯片视图查看片段。在该视图中，片段呈现为列表(例如，具有片段名称、持续时间等)。一些实施例还在浏览器中(例如，在列表上方)以幻灯片视图显示来自列表的选定片段，使得用户可浏览或回放该选定片段。
时间轴315(还称作组合显示区域或项目显示区域)提供正由媒体编辑应用程序的用户创建的媒体项目的视觉表示。具体地讲，其显示表示一个或多个媒体片段(其是组合演示文件的一部分)的一个或多个几何形状。一些实施例的时间轴315包括主通道350(还称作“脊”、“主合成通道”或“中央合成通道”)以及一个或多个次级通道355-365(还称作“锚通道”)。脊350表示在一些实施例中不具有任何间隙的媒体的主序列。锚通道中的片段沿着脊(或沿着一不同的锚通道)锚固至特定位置。锚通道可用于合成(例如，如在绿幕中所做的将一个图像的像素与不同图像的像素组合在一起)、花絮剪切(即，从主视频剪切出其片段在锚通道中的不同视频)、音频片段或其他组合演示文件技术。
用户可将来自片段浏览器310中的媒体片段添加到时间轴315中，以便将片段添加至在时间轴中表示的项目中。在时间轴内，用户可对媒体片段执行进一步编辑(例如，四处移动片段、拆分片段、裁剪片段、应用效果至片段等)。如上所述，当将多摄像机片段添加至时间轴时，时间轴中的该片段参照片段浏览器中的参照片段。除多摄像机片段之外，一些实施例还为其他片段(例如为合成片段、单个片段等)实施此类参照片段。
时间轴中片段的长度(即，水平跨距)为由片段表示的媒体的长度的函数。当时间轴断成时间增量时，媒体片段在时间轴中占有特定时间长度。如图所示，在一些实施例中，时间轴内的片段示出为一系列图像。针对片段显示的图像的数量根据时间轴中片段的长度以及片段的尺寸而变化(因为每个图像的纵横比将保持恒定)。
与片段浏览器中的片段一样，用户可浏览时间轴或回放时间轴(时间轴的一部分或者整个时间轴)。在一些实施例中，回放(或浏览)未在时间轴片段中示出，而在预览显示区域320中示出。
预览显示区域320(还称为“查看器”)显示来自媒体文件的用户正在浏览、回放或编辑的图像。这些图像可来自于时间轴315中的项目或来自于片段浏览器310中的媒体片段。在该例子中，用户一直在浏览时间轴315中的项目，因此应用程序在预览显示区域320中显示对应于播放头340的时间的图像。如图所示，一些实施例在显示区域内尽可能大地显示图像同时保持图像的纵横比。
在一些实施例中，预览显示区域320还包括视频编辑和回放工具。包括用于后退、快进、播放/暂停等的可选项。此外，一些实施例包括用于对已添加至媒体项目中的图像(例如，视频图像)的尺寸和形状进行编辑的一组工具370。在该例子中，这些工具370包括变换工具、修剪工具及扭曲工具。当选择变换可选项时，用户可修改输出图像内源图像的高度和宽度。当选择修剪可选项时，用户可选择在输出图像中显示的源图像的部分。当选择扭曲可选项时，用户可扭曲输出图像中的源图像的形状。
检查器显示区域325显示关于选定项的详细属性并允许用户修改那些属性中的一些或全部。选定项可为片段、组合演示文件、效果等。在这种情况下，选择片段浏览器310中的片段345，因此检查器显示关于该媒体片段的信息。该信息包括选定片段的片段名称、文件格式、分辨率(1920×1080)、帧频(29.97fps)、创建的日期、音频信息等。在一些实施例中，根据所选的项的类型(例如，视频片段、音频片段、静态图像、多摄像机片段、媒体项目等)来显示不同的信息。一些实施例在检查器中可包括不同的标签(例如，视频、音频及信息标签)。
附加的媒体显示区域330显示各种类型的附加媒体，例如视频效果、转换、静态图像、标题、音频效果、标准音频片段等。在一些实施例中，一组效果由一组可选的GUI项表示，其中每个可选的GUI项表示特定效果。在一些实施例中，每个可选的GUI项还包括应用有特定效果的缩略图图像。显示区域330当前正显示用户可应用到片段的视频效果。
工具栏335包括各种可选项以用于编辑项目、修改在一个或多个显示区域中显示何种应用程序等。工具栏的右侧包括用于修改在附加的媒体显示区域330中显示的媒体的类型的各种可选项。所示的工具栏335包括用于(当前选定的)视频效果、媒体片段之间的可视转换、照片、标题、生成器及背景等的项。此外，工具栏335包括切换检查器显示区域325的显示的检查器可选项以及用于应用重新定时操作到片段、调节颜色和其他功能的项。
工具栏335的左侧包括用于媒体管理和编辑的可选项。提供可选项以用于将来自片段浏览器310的片段添加至时间轴315。在一些实施例中，不同的可选项可用于将片段添加至脊的末端、在脊中的选定点(例如，播放头的位置)处添加片段、在选定点处添加锚固片段、对时间轴中的媒体片段执行各种裁剪操作等。除其他选项之外，一些实施例的媒体管理工具允许用户将选定片段标记为收藏并添加关键字标签至片段浏览器中的片段。
在一些实施例中，时间轴315可与其他显示区域切换。在一些实施例中，在该显示区域中显示专用于编辑选定的多摄像机参照片段的时间轴。虽然时间轴315是具有主通道和若干锚通道的无轨显示区域，但一些实施例仍将多摄像机参照片段显示为轨道集合，参照片段的每个组(或角度)对应一个轨道。
此外，GUI300还包括项目库切换项375，当选定时，项目库切换项375将时间轴315替换为GUI中的项目库。一些实施例的项目库显示用户可选择和编辑的当前项目的列表。在一些实施例中，选择项目库中的项目中的一者会使时间轴315将项目库替换为选定项目的表示。此外，一些实施例允许用户通过项目库来创建新的媒体项目。
图4示出了在一些实施例的媒体编辑应用程序的GUI中使用项目库400通过三个阶段410-430创建新项目。具体地，所述阶段示出了项目创建对话框405的打开以及该对话框的用户创建新项目。
第一阶段410示出了项目库400，如所提及的，项目库400可占据媒体编辑应用程序GUI的与时间轴315相同的部分。GUI包括项目库/时间轴切换项415(类似于图3所示的切换项375)以及新项目GUI项425，项目库/时间轴切换项415允许用户在GUI的该部分中的时间轴与项目库之间切换，新项目GUI项425的选择开始了创建新项目的过程。一些实施例提供这些选项作为不同类型的可选项、作为菜单选择、作为热键选择或它们的组合。
项目库400在其左侧显示项目的列表。在这种情况下，存在两个先前已创建的项目。与项目的名称一起，库400还显示关于项目的信息。在这种情况下，该信息包括项目创建的日期、项目的长度以及项目的帧频。其他实施例可显示其他信息，例如项目编辑的最后时间、输出格式、输出分辨率等。对于每个项目，库将幻灯片显示为用于该项目的图像集合。在一些实施例中，这些图像表示来自组合演示文件的在整个项目中均匀间隔的帧。如在阶段410处所示，用户已将光标放在新项目用户界面项425上并选择该项以创建新项目。
第二阶段420示出了在用户选择新项目项425时出现的对话框405。该对话框允许用户输入关于新项目的信息。用户可输入项目的名称(在这种情况下为“项目2”)、选择项目的默认事件并设置视频属性、渲染属性及音频属性。在一些实施例中，默认事件是在用户将媒体文件从除事件之外的源中编辑到项目中时项目将媒体文件自动导入到的事件。例如，用户可能将视频或音频文件(例如，从其桌面或其他文件夹)拖放到项目的时间轴中。在一些实施例中，这样做将使应用程序将文件自动导入为默认事件的资产。
如图所示，用户还可选择将添加至项目的第一片段的视频属性用作该项目的视频属性，或选择该项目的自定义属性。在图4所示的情况下，用户已选择设置自定义属性。格式栏让用户选择项目的格式(例如，1080p、1080i、720p、各种标准定义格式等)。在一些实施例中，分辨率和速率栏中呈现的选项取决于所选择的格式，以便确保与定期使用的视频格式相匹配的设置。例如，对于选定的1080p HD而言，分辨率选项为1920×1080、1440×1080和1280×1080，而帧频为23.98、24、25、29.97、30、50、59.94和60帧每秒。其他格式更有限：例如，如果用户选择NTSC SD，则仅23.98和29.97帧每秒的帧频可用作选项。相反，用户可选择基于添加至项目的第一视频片段来自动设置媒体项目的属性。
音频和渲染属性包括渲染格式(在这种情况下，虽然其他选项是可用的，但用户已选择Apple ProRes422)。在一些实施例中，渲染格式是用于对预备用于简化回放(即，提前预备且在回放中使用)的文件进行高速缓存的编码格式。音频属性包括音频采样率，以及在音频信道的环绕声与立体声之间选择。用户还可选择使用默认设置(在这种情况下，当前选择的选项)。一些实施例提供选项以用于使用来自最近创建或编辑的项目的设置。
第三阶段430示出了用户在对话框405中选择OK项以创建具有对话框中所示的属性的新项目“项目2”的结果。项目库现在示出第三项目，新创建的“项目2”。此时，用户尚未将任何媒体片段添加至该项目，因此其幻灯片是空白的。对于创建的新项目，用户可将媒体片段添加至该项目，并且一些实施例的媒体编辑应用程序将在必要时应用时空一致效果至这些片段。
II.媒体编辑应用程序数据结构
上述部分描述了一些实施例的媒体编辑应用程序的用户界面中的各个项，包括事件、媒体片段和项目。事件包括可添加至项目的媒体片段。在一些实施例中，媒体编辑应用程序创建并存储各种数据结构以表示这些不同的项。下面的部分描述了用于定义根据一些实施例的媒体片段和项目的数据结构；本领域的普通技术人员将认识到，媒体片段、媒体项目等的各种不同数据结构可用于媒体编辑应用程序的不同实施例中。
一些实施例在文件导入到媒体编辑应用程序中时创建用于每个媒体文件的初始数据结构集合。当一起导入媒体文件的集合时，一些实施例的媒体编辑应用程序生成媒体片段并关于是将片段添加至现有事件还是创建用于片段的新事件而提示用户。在提交于2011年5月19日且名称为“Data Structures for a Media-Editing Application'的美国专利申请No.13/111,912中进一步详细地描述了一些实施例的导入过程，所述专利申请以引用的方式并入本文。
对于每个导入的媒体文件，应用程序创建一系列数据结构。在一些实施例中，应用程序创建用于文件添加至的事件中的每个文件的资产数据结构。资产存储对文件的参照以及在导入时创建的任何附加的文件(例如，媒体文件的转码版本、关于媒体文件的分析数据等)。应用程序还创建存储对资产以及包含资产的事件的参照的组件片段数据结构。当导入的文件包含音频数据和视频数据两者时，一些实施例创建用于视频和音频组件片段，组件片段的每一者均参照相同的资产。当情况就是这样时，应用程序创建包含组件片段的另一片段数据结构。
图5概念性地示出了媒体资产500的资产数据结构以及包含媒体资产的事件的事件数据结构505。在该例子中，资产所参照的的媒体文件为具有音频信道的视频文件(例如，“.mov'文件)。事件数据结构505包括事件ID、资产的列表以及片段的列表。事件数据结构在一些实施例中可包括附加的栏，例如事件名称、事件日期(其可源于资产信息)等。事件数据结构505可以是包括作为用文件定义的对象的资产和片段的CoreData(SQLite)数据库文件、包括作为用文件定义的对象的资产和片段的XML文件等。
媒体资产500包括资产ID510、源文件元数据515以及对各种文件的参照。这些文件包括原始导入的媒体文件530、媒体文件的任何转码版本(例如，高分辨率版本535和低分辨率版本540)以及关于媒体文件的任何分析数据(例如，对源视频中其中具有人的图像进行识别的人物检测数据文件545、存储自动颜色平衡数据的颜色校正文件550、识别和校正视频中的摄像机抖动的抖动校正文件555、音频校正文件等)。
元数据在一些实施例中是关于源文件及其存储媒体的信息。如图所示，源文件元数据515包括文件类型(例如，音频、视频、电影、静态图像等)、文件格式(例如，“.mov'、“.avi'等)、源设备(即，创建媒体的设备，例如在其上捕捉电影文件的特定类型的摄像机)、文件创建日期(例如，捕捉视频的日期)、UUID(由诸如摄像机的媒体创建设备生成的唯一标识符)、视频属性520的集合、音频属性525的集合、时间代码以及附加的元数据。不同类型(或制造商)的摄像机以不同方式创建不同的UUID。在一些实施例中，只要所有UUID均是唯一的，则UUID可以是各种数据的散列，例如摄像机ID、记录时间(例如，摄像机的用户开始记录的时间)、记录的持续时间等。此外，不同设备以不同方式生成时间代码。一些摄像机使用连续的时间代码，在连续的时间代码中每个记录的视频在先前视频停止之后开始一帧，而其他摄像机则使用与实际时间并行的时间代码(即，在时间代码之间留有间隙以反映摄像机关闭的时间)。又其他的摄像机针对每个记录的视频将时间代码重设为零。
一些实施例的视频属性520包括诸如以下的属性：采样率、帧频、图像的尺寸(或分辨率)(即，水平方向上像素的数目以及像素的行的数目)、像素纵横比(即，像素的形状，其可为正方形(HD视频)或矩形的(例如，比率为10：11的NTSC4：3视频))、像素转换(在上述以引用的方式并入的美国专利申请No.13/111,912中详细描述)以及于其中定义图像的像素值的颜色空间(例如，用于HD的ITU-R BT.709、用于SD的ITU-RBT.601等)。
一些实施例的音频属性525包括采样率(即，每秒音频样本的数目，通常为48kHz)、存储在基础媒体文件中的音频轨道的数目以及存储在基础媒体文件中的音频信道的数目。在一些实施例中，资产可附加地存储修改一个或多个视频或音频属性的覆写数据。例如，即使存储在资产中的文件的元数据指示视频的帧频为23.98帧每秒，用户仍可输入媒体文件实际上具有24帧每秒的帧频。在向用户呈现或者在应用程序内使用时，将使用覆写并且媒体文件将被当作具有24fps的帧频。
如上所述，当媒体编辑应用程序导入媒体文件时，一些实施例创建数据结构的嵌套式集合。图6概念性地示出了针对导入的媒体文件由一些实施例的媒体编辑应用程序创建的片段对象的嵌套式序列。在一些实施例中，该图所示的片段对象的每一者均是相同类的构件，虽然对象可以是不同子类。其片段结构在图6中示出的媒体文件是存储音频信息和视频信息两者的电影文件。
该图示出了序列605、群集610以及两个组件615和620。如所提及的，在一些实施例中，序列605、群集610及组件615和620是片段对象(或锚固对象)的子类。一些实施例针对导入事件的每个媒体文件在事件对象中创建序列(其可为另一片段对象或不同类别的对象)。序列605存储序列ID、序列属性的集合以及群集对象610。序列ID是序列对象的唯一标识符。在一些实施例中，序列属性包括分辨率、帧频以及序列的其他视频和音频属性。对于事件片段，这些属性通常基于基础媒体(即，存储在通过群集和组件片段所链接的资产中的信息)。
群集对象610为片段对象的有序阵列。在片段导入到事件中的情况下，与对象610的情况一样，群集在阵列中存储一个或多个组件片段。通常，群集在阵列中存储视频组件片段，如这里所示；然后将任何附加的组件(通常一个或多个音频组件)锚固至该视频组件。此外，群集对象610存储群集ID、总范围以及裁剪范围。群集ID是群集对象的唯一标识符。片段对象的总范围基于其包含的对象指示对象的最大范围，而裁剪范围根据用户编辑指示对象在其父对象中的实际范围。在一些实施例中，群集对象存储总范围的值，因为总范围是分配至所有类型的片段对象的变量，但该范围实际上不被应用程序使用。相反，应用程序基于群集所包含的对象动态地计算总范围(与每次在将片段添加至群集时更新范围值相反)。另一方面，一些实施例不更新群集对象中的总范围。群集对象610的阵列包含媒体组件615。在一些实施例中，群集对象在其阵列中可同时包含组件片段对象和附加的群集。
在上述文段中以及本文档的其他地方，第一对象(例如，群集对象610)被描述为包含第二对象(例如，群集对象610的阵列中的媒体组件615)。在一些实施例中，第一对象通过存储对对象的参照(例如，指针)来包含第二对象。在一些实施例中，该参照被存储为强指针。
所示媒体组件包括视频组件615和音频组件620。组件的每一者存储组件ID、源媒体范围(即，总范围)、裁剪范围、资产参照(其参照诸如资产500以及包含资产的事件的资产)以及任务设置。任务设置是用于片段的设置且存储在视频和音频组件上(即，在组件级上)。一些实施例提供任务选项(例如，音频组件的音乐、对话及效果；视频组件的视频和标题)的集合以及允许用户输入自定义任务选项(例如，法语、英语等)。用户然后可导出不包括具有某些任务例如，移除所有法语音频)的片段的组合演示文件。
对于参照媒体资产的组件片段，总范围是源媒体的持续时间。在一些实施例中，裁剪范围是用户通过各种用户编辑(例如，裁剪编辑)而选择的范围并且指示总范围内的开始时间以及持续时间。裁剪范围通常是总范围的子集(即，不包括在总范围之外的时间)。然而，在一些实施例中，应用程序可使用范围扩展器来使裁剪范围扩展超过总范围(例如，当需要部分转换时，或当对齐的音频比视频稍长时)。一些实施例将使用例如视频文件的第一图像和最后图像来生成视频图像，以填入所需的额外范围。在片段初始导入到应用程序中时，总范围和裁剪范围将通常相等，因为用户完全未编辑片段。
视频组件615包括包含音频组件620的锚固项集合。如上文通过参照图3的用户界面300中的时间轴315所述，在一些实施例中，片段可锚固至其他片段。当在时间轴上移动特定片段时，锚固至该特定片段的任何片段均连同其一起移动。每个片段可具有许多锚固片段，并且可锚固至单个片段。在媒体片段具有音频和视频组件的情况下，一些实施例将音频组件锚固至视频组件。因此，视频组件对象615在其锚固项目集合中包含音频组件(并且如果存在附加的音频组件，则可能包括许多此类项目)，而音频组件对象620包括参照其所锚固至的视频组件的父项。此外，子(锚固)对象存储指示两个值的锚偏移。第一值是在子对象锚固至的父对象中的位置，第二值是在子对象中的锚的偏移。在已导入媒体文件的情况下，音频和视频组件将同时开始，并且因此两个锚偏移值均为零。然而，如果例如在两个组件的录制中存在微小偏移并且用户必须相对于视频来调节音频，则可修改该情况。
上述图5和6示出了用于媒体编辑应用程序中的导入到事件中的对象的数据结构。当将媒体片段添加至媒体项目、嵌套在合成片段内等时，由媒体编辑应用程序创建的数据结构可更复杂。
图7示出了项目名称为“新项目”的包括四个片段705-720的时间轴700。片段705-715在项目序列的主合成通道中，而片段720在进入片段710大约26秒处锚固至片段710。片段710是自身包括两个片段的合成片段。
图8概念性地示出了用于图7所示的项目的数据结构的子集。在一些实施例中，图8的数据结构全部包含在包含单个序列800的项目数据结构内。在一些实施例中，用于时间轴中的项目的项目数据结构是包括事件数据结构的相同类的子类。虽然事件数据结构可包含多个序列(即，事件中的每个片段对应一个序列)，但项目数据结构仅包含单个序列。
序列800包括主群集数据结构803，主群集数据结构803自身存储包含对应于时间轴700中的片段705-715的三个群集805-815。此外，第四片段720作为群集的锚固项包含在群集810内。为简单起见，该图中未示出组件对象。序列800包括序列ID、序列属性835以及主群集803。序列属性835包括项目的视频属性集合，例如分辨率、帧频及其他附加的属性(例如，格式、渲染属性、音频属性等)。如先前的部分I所示，在一些实施例中，用户在创建项目时设置这些属性。
主群集803包括群集ID、范围(即，上文所述的总范围和裁剪范围)、效果栈(在一些实施例中，其表示视频效果栈和音频效果栈)以及媒体片段阵列。在一些实施例中，阵列基于时间轴中的位置而排序并且仅包括在群集的主通道中的媒体片段。媒体编辑应用程序假设在这些项之间不存在间隙，并因此在项之间不需要定时数据。如图所示，这些片段中的每一者均被表示为群集。在将存储在事件中的片段(例如，图6中所示的片段)添加至时间轴中的项目时，一些实施例移除序列容器数据结构(例如，结构605)并将剩余的结构(即，群集及其组件)复制到时间轴群集中。效果栈存储应用至媒体片段的效果集合。这些效果可包括自动应用的速率及空间一致效果、用户发起的变换、修剪及扭曲效果、用户应用的像素操控效果(即，根据不同的算法修改片段的图像的像素值的效果等)。
片段805、815和820是已从片段浏览器添加至时间轴的单个片段，并且因此自身不包括群集。类似于群集610，这些对象包括ID、范围、效果栈以及媒体组件(例如，具有锚固至视频组件的一个或多个音频组件的视频组件)的阵列。
片段810为合成片段，除群集ID、范围和效果栈之外，该合成片段还在其阵列中包括多个片段。具体地，片段810包括两个媒体片段825和830。在合成片段内，两个片段均在群集的主通道中，并且因此一者跟随下一者。这些片段对象未在该图中示出，但片段的每一者均类似于片段805，因为片段每者均包括媒体组件的阵列。此外，片段对象810包括锚固项目集合(在这种情况下仅包括一个项目，片段820)。一些实施例针对每个群集包括锚固项目集合，所述锚固项目对于图8中示出的其他对象而言是空的。存储在片段820中的锚偏移指示片段820有26秒锚固到片段810中，并且该锚在片段820的开始处。在一些实施例中，这些时间参照片段的裁剪范围。
图9概念性地示出了嵌套在概念时间轴中的对象800-830。如图所示，群集对象825和830嵌套在群集810内部，群集810连同其他群集对象805、815和820一起嵌套在主群集对象803内部。序列的主群集对象803自身嵌套在序列对象800内部。
该图示出了各个片段以及片段的持续时间(范围)之间的锚固关系。最低级群集805、815、825和830每者均具有锚固至视频组件的音频组件。虽然未示出，但群集820还可具有相同的视频/音频设置，或可仅为视频组件(或仅为音频组件)。虽然所示的对象的每一者均具有单个音频组件，但本领域的普通技术人员将认识到，一些实施例将具有多个音频组件(例如，如果摄像机将若干音频轨道记录为单独的文件并将所述文件与视频文件一起作为单个片段的一部分而导入)。
该图还示出了片段820至片段810的锚固。在一些情况下，将使多个片段锚固至相同的主通道片段，并且多个锚固片段在时间上可重叠。在这种情况下，可使用多个次级通道。一些实施例为每个片段对象分配通道编号，所述通道编号指示片段对象在群集内的通道。
在一些实施例中，分配所有主通道对象的通道编号为零，其中主通道上方的通道获得增大的编号，并且主通道下方的通道获得减小(负)的编号。例如，单独的音频片段可锚固至主通道中的片段并且显示在主通道下方。在这种情况下，在主群集803内，锚固片段820的通道编号为1。在一些实施例中，通道编号指示视频的合成顺序。虽然可相当容易地组合(混合)两个音频文件，但却不能同时显示来自两个视频文件的图像。因此，一些实施例在较低通道编号片段上合成更高的通道编号片段。如果在两个片段之间未同时定义合成效果，则将显示更高通道中的片段。然而，可使用各种合成模式和效果来组合图片(例如，诸如差集、变暗、正片叠底等将两个图像的像素信息进行组合的合成模式，以及诸如缩放顶层图像以获得画中画、将颜色遮罩应用于顶层图像等的效果)。
较低级嵌套群集中的项将还具有参照它们在群集内的通道顺序的通道编号。例如，群集对象810具有两个片段825和830，每个片段的通道编号均为零。然而，该群集对象可在多个通道中具有锚固片段。出于在渲染时合成的目的，群集810内的项将根据群集内的排序而初始合成，然后将在主群集内根据主群集的排序来合成所述初始合成的输出。类似地，对于最低级群集(例如，群集805)的每一者，视频组件全部被分配至通道零，并且音频组件被分配至通道-1。
图9还示出了各个片段对象的范围(例如，持续时间)。对于最低级群集及其组件(例如，群集805、815、825、830和820)，总范围是组件参考的媒体的全长，而裁剪范围是基于用户编辑(例如，裁剪编辑)的该范围的子集。在这种情况下，群集815和825完全未裁剪，而群集805在两侧上裁剪，且群集830的开始被裁剪。
对于群集810，总范围是其主通道片段的裁剪范围的总和，在这种情况下，主通道片段为群集825和830。因此，变量总范围2＝裁剪范围A+裁剪范围B。在这种情况下，群集810不单独裁剪，使得其裁剪范围等于其总范围。这就意味着，虽然在片段830内存在更多的媒体，但在编辑主群集803时，媒体编辑应用程序将不允许用户增加片段810的持续时间超过总范围2的持续时间。然而，用户可打开时间轴中的片段810并应用裁剪编辑于片段825和830中的任一者。对这些片段的裁剪范围的修改将影响片段810的总范围。此外，在主群集803内，用户可修改片段810的裁剪范围以缩短片段。从开始处的裁剪将使得更少的群集825的媒体用于组件演示文件中，而从结尾处的裁剪将使得更少的群集830的媒体用于组合演示文件中。
上图示出了某些类型的片段对象的各种属性。本领域的普通技术人员将认识到，一些实施例可使用片段对象的附加的不同子类。例如，一些实施例在事件数据结构中存储参照片段。当用户将片段添加至媒体项目时不是复制这些片段，而是媒体编辑应用程序在用于媒体项目的群集中创建片段实例。该片段实例类似于群集片段，但不包含其自身的片段。相反，片段实例参照事件中的参照片段。然后，在该媒体项目(或其他媒体项目)中的所有片段实例中反映对参照片段的任何编辑。下文将针对多摄像机片段详细地描述参照片段，但一些实施例包括针对附加的类型的片段(例如，单个视频片段、合成片段等)的参照片段。
此外，一些实施例存储生成器(创建其自身的视频图像而不是修改现有的视频图像的效果)、片段之间的转换、试听栈(可彼此换出的片段集合)、标记物以及作为片段对象的关键字。上文所述的数据结构(例如，片段对象、资产对象、事件对象、项目对象等)被媒体编辑应用程序的一些实施例用于在应用程序的GUI中显示信息并且渲染项目，以及用于确定是否将空间或时间一致效果应用于片段。
III.多摄像机片段创建
前面的部分描述了一些实施例的媒体编辑应用程序的用户界面以及被应用程序用于存储关于某些媒体片段、媒体项目等的信息的数据结构。此类媒体编辑应用程序可具有生成并使用多摄像机媒体片段的能力，并且可包括特定于此类片段的特征。
如上文所述，一些实施例生成多摄像机媒体片段，其包括由多个不同媒体捕捉设备捕捉的若干媒体片段。媒体编辑应用程序使用存储在媒体片段中的元数据由单个媒体片段来自动生成这些多摄像机片段。在一些实施例中，生成过程使用默认多摄像机片段生成算法，或者基于用户的优选设置输入来调整算法。
图10概念性地示出了用于通过媒体片段集合来生成多摄像机媒体片段的一些实施例的过程1000。由响应于用户输入，一些实施例的媒体编辑应用程序执行过程1000，所述用户输入指示由其生成多摄像机片段的片段集合。将参照图11来描述该过程，图11示出了用于通过五个阶段1110-1150来创建此类多摄像机媒体片段的用户输入。
如图所示，过程1000以(在1005处)接收用于多摄像机片段的片段集合开始。在一些实施例中，这些片段可以是存储在事件中的任何片段(例如，视频片段、静态图像、音频片段等)，包括合成片段或先前生成的多摄像机片段。一些实施例需要所有片段存储在相同的事件中，而其他实施例允许用户将来自多个事件的片段组合成单个多摄像机片段。一些实施例限制用于生成多摄像机片段的片段类型，以防止对合成片段或多摄像机片段的使用，所述合成片段或多摄像机片段可自身具有由多个不同设备捕捉的内容。
图11的第一阶段1110示出了片段浏览器1105，片段浏览器1105示出了若干媒体片段。用户已选择这些片段并打开下拉菜单(例如，经由右键单击、两指点击或其他此类选择输入)。如图所示，用户已将光标定位在“新多摄像机片段”的菜单选项上。由于选择了该菜单选项，第二阶段1120示出了为用户提供用于多摄像机片段的若干选项的对话框1115。用户可对片段设置标题、输入开始时间代码、设置视频属性以及设置音频及渲染属性。在一些实施例中，视频属性包括格式(例如，720p HD)、尺寸(例如，1280×720)及帧频(例如，30p)。用户可基于常用片段属性(例如，选定片段中最常见的属性、特定片段的属性等)来设置这些属性，或提供自定义设置(例如，如图4针对新项目所示)。
对话框1115还允许用户选择应用程序是否将使用其默认设置来创建多摄像机片段，或应用程序是否应优选某个元数据以用于将选定片段分配至角度、对角度内的片段排序以及对角度进行同步。此外，对话框提供用于确定应用程序是否应使用音频数据来执行二级同步的选项。如在阶段1120中所示，用户正在选择自定义选项以便查看这些各种选择。
返回至图10，过程1000接着使用片段元数据来将集合中的片段的每一者(在1010处)分配至特定角度。下文将参照图12详细地描述该操作。在一些实施例中，角度是其内容由相同设备捕捉的片段的组。例如，导演可能同时使用四台摄像机来拍摄场景，以便捕捉该场景的四个不同角度(例如，正面拍摄、特写、俯拍等)。
如在图11的阶段1130处所示，在一些实施例中，所使用的元数据包括摄像机角度(例如，用户提供的用于片段的元数据)和/或摄像机名称(例如，由媒体编辑应用程序在片段的内容导入时针对片段自动生成的信息)。此外，应用程序允许用户选择将每个片段放置在其自身的角度中。
接着，该过程(在1015处)针对每个角度生成已分配的片段的序列。即，该过程(例如，使用当日时间或时间代码元数据)确定角度中的片段的顺序，然后根据该元数据将这些片段在时间上间隔开。下文将参照图14详细地描述该操作。如在图11的阶段1140处所示，在一些实施例中，所使用的元数据可包括片段的时间代码及当日时间(或创建日期，如上文在部分II中所述)。各种不同的算法可被不同的实施例用于将该元数据转译为已定序的角度。
然后过程1000使多摄像机片段中不同角度的序列同步(在1020处)。同步操作旨在使同时记录的内容在多角度片段内在时间上对齐。因此，相同动作的俯拍拍摄和特写拍摄理想上应在片段中对准，使得在片段内的特定时间处，每个角度的视频图像显示动作中的相同时间。如在图11的第五阶段1150处所示，应用程序可将当日时间或时间代码元数据用于同步，以及用于将每个角度中第一片段的开始或角度的片段中的第一标记物对准。与定序一样，各种不同的算法可被不同的实施例用于将定时元数据转译为已对齐的角度。除通过元数据同步之外，一些实施例使用音频数据来执行二级同步。这些实施例(在初始元数据同步之后)从不同角度在时间上比较彼此靠近的片段的音频部分以识别匹配的音频，然后使用任何匹配的音频来进一步对齐片段。下文将参照图16和18详细地描述同步操作。
A.将片段分配至角度
如上所述，当用户选择由其生成多摄像机媒体片段的若干片段时，媒体编辑应用程序首先基于摄像机元数据来将所述若干片段分配至一个或多个角度。图12概念性地示出了用于此类将片段分配至多摄像机媒体片段的不同角度的过程1200。将参照图13描述过程1200，图13概念性地示出了将九个片段1305-1345的集合分配至多摄像机媒体片段的三个不同角度。
过程1200以(在1205处)接收片段集合开始，所述片段待分配至用于多摄像机媒体片段的不同角度。这些可以是由用户选择的片段集合，并且片段的内容可能已由若干不同的设备或单个设备捕捉。在一些实施例中，媒体片段可能是视频片段、音频片段、静态图像或其他内容。例如，媒体片段集合可包括由一个或两个不同的摄像机拍摄的视频(具有伴随的音频)、由又另一不同的摄像机拍摄的静态图像以及由与任何摄像机分开的麦克风记录的仅音频片段。
在一些情况下，片段将存储关于其表示内容的元数据。这些元数据(除诸如视频或音频属性的其他数据之外)可包括与捕捉内容的设备以及内容何时被捕捉有关的信息。图13概念性地示出了具有其元数据的九个片段1305-1345。这些片段包括五个视频片段1305-1325和四个静态图像1330-1345。视频片段包括角度ID(“广角拍摄”及“特写”)，角度ID是用户输入的元数据。在一些实施例中，用户可选择媒体片段(例如，在片段浏览器中)并通过检查器显示区域输入片段的角度ID(或摄像机ID)。此外，视频片段包括开始和结束时间代码信息以及当日开始时间信息。静态图像包括摄像机ID(“10101”)和Exif(可交换图像文件格式)日期，该日期是指示捕捉图像的日期和时间的数据。
返回图12，过程1200(在1210处)选择来自接收的媒体片段集合中未分配的片段。一些实施例以片段在其事件中存储的顺序、以按片段名称的字母顺序、以一些其他顺序或以随机顺序来选择片段。当然，最初所有的片段都是未分配的。
然后该过程使用片段元数据来(在1215处)识别用于选定的片段的角度。在一些实施例中，媒体编辑应用程序可使用各种不同的元数据来识别用于特定片段的角度。在不存在通过用户进行的优选输入的情况下，一些实施例在与片段数据结构一起存储的数据中优选用户输入的角度ID，然后是用户输入的摄像机名称(在一些实施例中在导入时指定)，然后是在导入时自动生成的摄像机ID，然后在先前的数据无一可用时，则转向与源文件一起存储的其他元数据(例如，制造商ID或设备名称)。如果该元数据无一可用，则应用程序将片段分配至其自身的角度。就图13所示的片段而言，视频片段1305-1325每者均具有角度ID，而静态图像1330-1345每者均具有摄像机ID。在这种情况下，视频片段角度ID为用户输入的信息，而用于静态图像的摄像机ID为自动生成的数据。
然后该过程(在1220处)确定是否已针对多摄像机片段中的角度创建集合。在一些实施例中，该过程检查片段的每个可用元数据片，以确定是否可将片段分配至现有角度。例如，如果第一片段具有摄像机ID而不具有角度ID，并且第二片段具有角度ID以及与第一片段相同的摄像机ID，则应用程序将基于第二片段的摄像机ID来分配该第二片段，而不是仅检查角度ID并将第二片段分配至新角度，因为用于该角度ID的角度尚不存在。另一方面，一些实施例将始终使用第一信息片，片段具有用于该第一信息片的值。因此，在刚刚所提及的情况下，此类实施例将基于第二片段的角度ID将该第二片段分配至新角度。如果片段不具有任何种类的角度识别元数据，则片段将被分配至其自身的角度。
在已针对角度创建集合时，该过程(在1225处)将选定的片段添加至与已识别的角度相关联的片段集合。另一方面，在尚不存在针对角度创建的集合时，该过程(在1230处)针对已识别的角度创建集合并且将选定的片段添加至该集合。在一些实施例中，媒体编辑应用程序将这些片段集合暂时存储在易失性存储器(例如，RAM)中，同时执行多摄像机片段创建过程的附加操作(即，排序和同步)。在一些此类实施例中，直到集合被排序才针对片段集合实际上创建媒体编辑应用程序数据结构，此时应用程序在用于多摄像机片段的数据结构中生成多摄像机片段的角度。此类多摄像机片段的结构在下文中进行详细描述。
然后过程1200(在1235处)确定附加的片段是否保留以分配至不同的角度。当附加的片段保留时，过程返回至1210以选择另一未分配的片段以用于分配至一角度。一旦所有的片段均已被分配，过程1200便结束。
除示出了具有相应元数据的不同片段之外，图13还示出了片段至三个不同角度的分配。假设片段1305-1345以从“片段1”到“片段9”的顺序分配，媒体编辑应用程序首先选择片段1305，创建角度“广角拍摄”1350，并且将片段1305分配至该角度1350。接着，应用程序基于片段1310的角度ID将该片段分配至新角度“特写”1355。对于第三片段1315，不需要新角度，因为该片段也具有角度ID“广角拍摄”，并因此被分配至已存在的角度1350。视频片段被分配至如图所示的这两个角度1350和1355，然后应用程序开始处理静态图像。
应用程序针对片段1330将摄像机ID识别为“10101”，确定这是针对该片段的用于角度分配的唯一元数据，并且以这个名称创建新角度1360。在一些实施例中，摄像机ID、摄像机名称或甚至片段名称可用于命名角度，而其他实施例在用于分配至角度的片段的该角度ID元数据不存在时，创建诸如“角度3”的通用角度名称。如图所示，四个静态图像片段1330-1345均具有相同的摄像机ID，并因此应用程序将这四个片段分配至角度1360。
如所提及的，在一些实施例中，这些角度此时在片段创建过程中存在于易失性存储器中。其他实施例在角度分配过程期间创建多摄像机片段结构(下文参照图20描述)，并且在由过程1200创建角度(或类似的角度分配过程)时在该片段结构内创建角度。
B.角度定序
在将针对多摄像机片段选择的片段分配至多摄像机片段的不同组(角度)之后，一些实施例的媒体编辑应用程序在所述组内对片段排序或定序。图14概念性地示出了用于针对多摄像机媒体片段的各个角度来生成有序片段的序列一些实施例的过程1400。将参照图15描述过程1400，图15示出了得自图13的片段1305-1345的定序。
过程1400以(在1405处)接收片段集合开始，所述片段被分配至用于多摄像机片段的不同角度。在一些实施例中，这些片段已通过媒体编辑应用程序使用过程1200或类似的过程来分配至角度。这些片段可以是具有延长的持续时间的片段(例如，视频片段和音频片段)或可仅具有瞬时时间的片段(例如，由单个帧组成的静态图像)。
如图13所示，媒体片段可存储关于其所参照的源视频的定时元数据。例如，视频片段1305-1325包括时间代码(“TC”)信息和当日时间(“ToD”)信息。例如，用于片段11305的元数据指示时间代码在01：00：00：00(以时：分：秒：帧的格式给出)开始，并且在01：10：00：00结束，持续了正好十分钟的持续时间。当日时间信息指示该片段的拍摄在11年5月25日下午5：35开始。在一些实施例中，如图所示，摄像机将记录精确至秒的当日时间。然而，当日时间信息将通常不考虑帧，而时间代码以帧级(即，秒的分数)存储信息并因此更精确。此外，该实例仅示出当日开始时间。许多摄像机仅记录开始时间或结束时间，而不是记录两者。为记录片段的持续时间，摄像机记录开始时间代码信息和结束时间代码信息(也可基于帧频和帧的数量来确定持续时间)。因此，媒体编辑应用程序将使用当日时间来识别片段的开始时间和时间代码以得出持续时间。
接着过程1400(在1410处)选择与特定角度相关联的片段集合。如上文所述，在一些实施例中，将片段与不同角度相关联的信息此时存储在易失性存储器中，在这种情况下，应用程序从存储器中检索该信息以便评估片段。该过程可以诸如创建角度的顺序或随机顺序的特定顺序来评估角度。一些实施例也可并行地评估角度，同时针对多个角度执行操作1415-1425。
该过程(在1415处)识别用于片段的选定集合的定时元数据的可用集合。针对视频(或音频)片段，一些实施例首先识别选定角度中的片段是否可使用时间代码来定序。为了这样做，媒体编辑应用程序的不同实施例对媒体片段的时间代码应用不同的标准。例如，在一些实施例中应用程序应用的第一测试是片段中任一者的时间代码是否重叠。就图13的角度1355(“特写”)而言，这两个片段都在00：00：00：00的时间代码处开始，因此时间代码不提供任何有用的排序信息。如果不存在重叠，则应用程序确定所有片段的时间代码的总跨度是否大于阈值持续时间(例如，一小时、一天、三天等)。例如，如果片段在时间代码中相隔100小时，则它们将可能不会形成具有该信息的有用的多摄像机片段序列。
此外，如果所有片段在集合中的另一片段结束之后(或者，在一些实施例中，在先前片段结束的一秒之内)开始一个帧，则一些实施例将不使用时间代码。这通常指示使用连续时间代码的摄像机，但其在不记录时不滚动时间代码，并因此将不对应于实际时间(对于基于数字磁带的记录而言是常见的)。然而，在这种情况下，一些实施例的媒体编辑应用程序将使用来自时间代码的排序(即，第一片段应先于第二片段)，因为该排序最可能是可靠的。在情况就是这样时，为了间隔片段，应用程序将尝试使用当日时间信息。
如果不能使用时间代码信息，则应用程序将尝试使用当日时间信息。如所提及的，当日时间不如时间代码精确，因为当日时间通常不以帧级来记录时间。就角度1355(“特写”)中的片段而言，时间代码信息对于两个片段而言都在0处开始，因此应用程序将出于排序和间隔的目的而使用当日时间信息(同时使用时间代码来确定持续时间)。片段1310在5：36：00PM时开始并且具有正好七分钟的持续时间，而片段1320在5：55：00PM处开始并且具有十八分钟和十九帧的持续时间，因此在当日时间信息中不存在重叠。一些实施例也将阈值持续时间测试应用于当日时间，要求从第一片段的开始到最后片段的结束的持续时间不跨越超过阈值持续时间(例如，一个小时、一天、三天等)。例如，一个片段可能标记为在1990年拍摄，而另一片段来自2011年，但用户实际上需要具有21年的长度的多摄像机片段是不可能的。
如果时间代码和当日时间两者均被确定为不合适，然而应用程序将尝试至少使用该信息来按顺序放置片段，即使是该信息可能不会有助于沿时间轴正确地间隔片段。在第一片段日期为1990年而第二片段来自2011年的实例中，应用程序将使第一片段排序在第二片段之前。如果根本没有当日时间信息可用，则应用程序基于可找到的任何其他元数据(例如由片段表示的源文件的导入日期)来按顺序放置片段。
对于不具有持续时间(或者，更准确地说，具有一个帧的持续时间)的静态图像，一些实施例在捕捉图像时最初查看Exif数据(由摄像机根据用于记录图像元数据的标准化格式生成的数据)以找到日期和时间。在该信息不可用时，应用程序将转向创建日期(其可为图像文件的导入日期)以对静态图像片段排序。通常，用于静态图像的元数据以秒级保存时间，并因此由单个摄像机接连捕捉的多个静态图像可能具有指示所述静态图像为同时拍摄的元数据。
在已识别元数据的情况下，该过程根据定时元数据的已识别集合来(在1420处)对媒体片段集合排序。如前所述，可基于时间代码、当日时间信息或应用程序可由片段识别并用于排序的其他信息来对媒体片段排序。在一些实施例中，媒体片段存储在多摄像机媒体片段结构内的锚固群集的阵列中，如下文参照图20所述。
此外，只要用于选定角度的片段的定时信息通过指示其精确度的标准，该过程便根据定时元数据的已识别集合(在1425处)将间隙插入有序集合中媒体片段之间。在定时信息无一通过该标准时，一些实施例不会将任何间隙片段插入序列中，并且仅以先后顺序留下片段。
然而，在可用信息可能指示片段的间隔时，媒体编辑应用程序沿时间轴将片段间隔开并在片段之间插入间隙。如果第一片段在五分钟标记处结束并且第二片段在六分钟标记处开始，则应用程序在两个片段之间插入一分钟的间隙。由于用于存储多摄像机片段的数据结构的实质，在一些实施例中，这些间隙作为单独的片段结构存储在表示角度的锚固群集的阵列内。
图15示出了有序角度1350-1360。角度1350和1355包含视频片段。为了对三个片段1305、1315和1325在其角度1350内排序，一些实施例的媒体编辑应用程序使用时间代码(因为这个信息未重叠并且包含在四十分钟的持续时间内)。如图所示，角度1350在01：00：00：00的时间代码处从片段1305开始。在十分钟之后，该片段结束并且间隙片段开始，直至当片段1325开始仅持续不到十分钟时的01：15：00：12标记。另一间隙片段在二十五分钟标记处开始，直至片段1315在01：28：54：02的时间代码处开始。对于三十七分钟的全长度而言，该片段持续大约八分钟。
“特写”角度1355仅包含两个片段1310和1320。然而，对于这些片段而言，时间代码不提供有用的信息，因为捕捉所述片段的摄像机在00：00：00：00的时间代码处开始每个已捕捉的视频。然而，当日时间信息的确提供有用的定时元数据。如图所示，第一片段1310在5：36：00PM处开始，并且时间代码指示该第一片段具有七分钟的持续时间。角度的阵列中的下一个为大间隙片段，该大间隙片段持续直至第二片段1320在5：55：00PM处开始。片段1320的持续时间为十八分钟和十九帧(例如，如果帧频为24fps，则为一秒的19/24)。因此，角度1355的总长度为三十七分和十九帧。
角度1350和1350仅包括可具有延长的持续时间的视频片段。对于具有单个帧的持续时间的静态图像，一些实施例通过延长静态图像的持续时间直至有序序列中的下一个片段的开始时间来在图像之间填入间隙。在多个静态图像具有相同的开始时间(例如，因为所述静态图像是以每秒可捕捉多个图像的快拍摄像机来拍摄)时，一些实施例识别片段的有序集合中的下一个开始时间(再由具有相同时间的图像共享之后)并将指定时间内的图像间隔开。例如，如果八个图像具有1：00：00PM的时间并且下一个图像具有1：00：01PM的时间，则八个图像将在时间轴中在1：00：00PM的一秒内均匀地散布(例如，在24fps下每者将具有3个帧的持续时间)。在一些实施例中，为确定具有相同开始时间的图像的顺序，媒体编辑应用程序查看图像的文件名称，所述文件名称通常由摄像机按数字顺序自动命名(例如，“IMG_0035”、“IMG_0036”等)。
如图13所示，用于静态图像片段的Exif日期为用于片段1345的5：40：00PM，用于片段1330的5：42：30，用于片段1340的5：50：00以及用于片段1335的5：55：00，全部在11年5月25日。这些时间全部在阈值持续时间内(只要阈值持续时间长于15分钟)，并因此Exif时间通过用于对片段排序以及在时间轴中识别片段的开始点的标准。
图15示出了沿着用于角度“10101”1360的时间轴的四个片段1330-1345。在这种情况下，时间轴在5：40PM处开始，该时间为第一图像片段1345的时间。该片段具有两分钟三十秒的持续时间，直至下一个图像片段1330在5：42：30PM开始。接着，片段1340在5：50PM处开始。该片段在5：55PM处结束，此处最后的片段1335开始。在一些实施例中，如图所示，该片段一直具有开放式持续时间，直至角度的同步之后。在同步之后，静态图像片段的持续时间将延伸直至多摄像机片段结束，这将取决于角度1350和1355的长度和同步。代替使静态图像片段延伸至下一个片段的开始时间，一些实施例向片段分配固定持续时间(例如，一分钟)，如果另一片段在该持续时间结束之前开始，则可自动缩短该固定持续时间。
返回至图14，在将间隙片段插入到当前角度中以便生成该角度的定序之后，该过程1400(在1430处)确定需要定序的任何附加的角度是否保留。一旦该过程对所有角度排序并定序，过程1400便结束。当附加角度保留时，该过程返回至1410以选择下一个角度并且确定用于该角度的序列。
如所提及的，在一些实施例中媒体编辑应用程序将这些角度或片段的有序序列作为群集片段结构存储在多摄像机媒体片段结构内。在一些实施例中，该多摄像机片段结构为包括间隙元素的群集，角度群集结构的每一者均锚固到的该间隙元素。一些实施例的媒体编辑应用程序针对角度的每一者单独生成序列，然后一旦生成全部序列便对所述序列进行同步。
C.初始同步
在将用于多摄像机媒体片段的媒体片段分配至角度并然后生成用于角度中每一者的序列之后，一些实施例的媒体编辑应用程序对角度进行同步。在一些实施例中，这涉及两个单独的操作：使用定时元数据(例如，用于单个排序和定序角度的数据)进行的初始同步和使用音频数据进行的同步的微调。图16概念性地示出了用于利用定时元数据来执行初始同步的一些实施例的过程1600。将参照图17描述过程1600，图17示出了使用图13中所示的片段1305-1345的元数据而进行的对得自图15的序列1350-1360的对齐。
过程1600以(在1605处)接收角度的集合开始，每个角度中的片段在序列中排序。如上所述，一些实施例将这些角度中的每一者作为锚固群集片段结构存储在多摄像机片段结构(其自身为群集结构)内。在一些实施例中，序列已通过过程1400或类似过程生成。角度可能全部根据相同类型的元数据(例如，时间代码)定序或使用不同类型的元数据定序(例如，如在图15中，一个角度使用时间代码定序，另一角度用当日时间信息定序，并且第三角度借助Exif日期定序)。此外，在一些情况下，角度中的至少一者将具有按顺序而不是散开的片段(例如，因为片段唯一可用的定时信息不被视为对间隔开片段而言是足够可靠的)。
接着，过程1600(在1610处)选择角度中的第一个，并将选定的角度放置在已同步的角度的集合中。在一些实施例中，已同步的角度的集合为已被评估并调整其在多摄像机片段中的开始时间用于与其他角度对齐的角度的集合。在一些实施例中，为了将第一角度与第二角度对齐，媒体编辑应用程序在序列的开始处插入间隙片段，以用于第一角度和第二角度中较晚开始的一者。由于在该阶段过程1600尚未评估角度中的任一者，因此不存在用其将第一角度同步的角度，并因此该过程将该第一选定角度中的第一片段设置为起始于多摄像机媒体片段的时间零处。即，第一选定角度此时不具有在其开始处插入的间隙片段。
然后该过程(在1615处)选择未评估角度中的一者作为当前角度。如果在多摄像机片段中仅存在一个角度，则当然不需要进行同步。在一些实施例中，媒体编辑应用程序以角度存储在多摄像机片段群集数据结构中的顺序来选择这些角度。例如，在图15中所示的例子中，媒体编辑应用程序可能首先选择“广角拍摄”角度1350，并且将该角度设置为其初始同步的角度，然后接着选择“特写”角度1355以将该角度与“广角拍摄”角度对齐。在一些实施例中，将不同的角度每者均作为锚固群集存储在多摄像机群集数据结构中，并且每者均具有通道编号以指示顺序。一些实施例从最高或最低通道编号开始选择角度。
接着，过程1600(在1620处)确定是否有可用于使当前角度与已同步的角度的集合中的角度的至少一者同步的片段的定时元数据。在一些实施例中，该定时元数据可为时间代码或者当日时间(创建日期)，与角度定序过程一样。一些实施例首先确定时间代码是否可用于同步，因为时间代码具有比当日时间更高的精确度(因为时间代码使用帧的增量，而当日时间仅使用完整的秒增量)。然而，除专业设置之外，多个不同的摄像机将不通常使其时间代码同步。专业设置可运行(例如，无线地、经由有线连接)附接至单个时间代码同步器的多个摄像机。然而，对于许多用户而言，第一摄像机的时间代码与第二摄像机的时间代码无关。
为了确定是否可使用时间代码数据将两个角度同步，一些实施例首先确定时间代码是否用于对所述两个角度进行排序。如果时间代码不可用于对角度排序(例如，由于角度内的片段的时间代码重叠)，则应用程序将不使用时间代码数据来同步角度。例如，用于“特写”角度1355的时间代码数据不可用于对该角度的片段定序，并因此将不用于使角度1355与“广角拍摄”角度1350同步。在角度的两者均使用时间代码数据定序时，则应用程序将用于所述角度中的一者的时间代码与用于另一角度的时间代码进行比较。一些实施例要求第一角度的时间代码至少部分地与第二角度的时间代码重叠，以便使用时间代码数据，而其他实施例则要求时间代码跨越的总时间不大于阈值持续时间(例如，一小时、二十四小时、七十二小时等)。即，如果第一角度的时间代码从01：00：00：00运行到03：00：00：00，同时第二角度的时间代码从22：00：00：00运行到26：00：00：00，则这在一些实施例中将超过二十四小时阈值。其他实施例比较时间代码的两个集合之间的间隙(在以上例子中为十九个小时)，而不是比较跨越的总时间与阈值持续时间。
一些实施例将当前选定角度的时间代码数据与已同步的每个角度进行比较，以确定当前选定角度是否可与其他角度中的任一者同步。例如，可使用当日时间信息来同步前两个角度，但可使用时间代码信息来使第三角度与前两个角度中的一者同步。在可使用时间代码数据来使当前角度与特定其他角度同步时，该过程使用该时间代码数据。然而，在不能使用时间代码数据来使当前角度与角度中的任一者同步时，则一些实施例的媒体编辑应用程序将尝试使用当日时间信息。
如上文针对时间代码数据所述，一些实施例对当日时间信息的使用应用类似的约束条件，例如要求当前角度的跨度至少部分地重叠或在与其进行比较的另一角度的阈值持续时间内。如果用户已将他所有的不同摄像机设置为正确时间，则当日时间数据将通常重叠(至少在通过多个摄像机同时拍摄场景的情况下)，并因此是可用的。例如，虽然实例“特写”角度1355的时间代码信息不是可用的，但其片段1310和1320(从5：36PM运行到6：13PM)的当日时间信息与“广角拍摄”角度1350的片段1305、1325和1315(从5：35PM运行到6：12PM)的当日时间信息重叠。如在前面的部分中，时间代码信息仍可用于确定片段的持续时间(并因此确定角度的持续时间)。
如上所述，静态图像使用其Exif数据或在Exif数据不可用时使用创建当日时间信息来排序。媒体编辑应用程序以与以上述方式(即，确定第一角度的时间跨度是否与另一角度的时间跨度重叠或接近)类似的方式将这些类型的数据的时间戳与其他角度中视频或音频片段的当日时间信息进行比较。此外，一些实施例可包括相同角度的静态图像和视频/音频片段(例如，当数字摄像机同时用于拍摄静态图像和拍摄视频)。在这种情况下，Exif日期可连同视频的当日时间信息一起被视为用于排序和同步目的的相同种类的元数据。
在定时元数据(或时间代码或当日时间信息)可用于使当前选定角度与其他角度中的至少一者同步时，则该过程(在1625处)使用定时元数据来使当前角度与已同步的角度的集合同步。因此，例如，如果两个角度已使用其时间代码进行同步，但当前选定角度仅包括与其他两个角度中的一者的当日时间信息重叠的当日时间信息，则应用程序将尝试使用该角度的当日时间信息而不是其时间代码来使当前角度与具有重叠当日时间信息的角度同步。如果第一角度具有当日时间信息，第二角度同时具有当日时间信息和时间代码信息，并且第三角度仅具有时间代码信息，则在一些实施例中，应用程序能够通过使第一角度和第三角度两者均与第二角度同步来将这三个角度一起同步。
在一些实施例中，使角度与角度的集合同步涉及在角度中的一者或多者的开始处插入(或调节)间隙片段，除非当前选定角度正好与集合中的最早角度在相同的时间处开始。在当前角度比已同步的角度中的任一者在更早的时间处开始时，则应用程序在其他角度的开始处插入长度等于当前角度的偏移的间隙。如果这些角度中的一者已具有间隙片段，则应用程序将该间隙延长偏移的长度。在当前角度在其他角度中的至少一者之后开始时，应用程序在当前选定角度的开始处插入长度等于偏移的间隙。
如图17所示，在将“特写”角度1355与“广角拍摄”角度1350进行同步时，应用程序在“特写”角度1355的开始处插入一分钟间隙，因为该“特写”角度在5：36处开始(与“广角拍摄”角度1350的5：35相比)。第三角度“10101”1360在5：40处开始，因此应用程序在该角度的开始处插入五分钟间隙。此外，应用程序使静态图像片段1335的持续时间延长超出十八分钟(从5：50到6：13PM)。一些实施例不会将在角度中为最后片段的静态图像片段一直延长到媒体片段的结尾，相反，会在静态图像上放置最大长度(例如，一分钟、五分钟等)。
另一方面，在过程1600不能找到用于准确同步当前选定角度的定时元数据时，该过程(在1630处)将角度与已同步的角度的集合进行同步而不使用定时元数据。在一些实施例中，应用程序在与具有最早开始时间的角度的第一片段相同的时间开始角度的第一片段。在一些实施例中，这简单地通过不在表示角度的群集的开始处插入间隙片段来实现。只要角度群集的锚偏移保持为零，则不从间隙片段开始的任何角度将在多摄像机媒体片段中具有最早的开始时间。
如图11的阶段1150处所示，一些实施例允许用户选择媒体编辑应用程序在每个角度的第一片段的开始处对所有角度进行同步。在用户选择该选项而不是查看用于同步的定时元数据时，应用程序使用定时元数据(或由用户指定)来对不同角度进行排序，然后简单地对齐角度，使得所述角度每者均在相同的时间开始。在一些实施例中，所述对齐是通过不在角度中的任一者的开始处插入间隙片段来简单地执行，因为角度全部以相同的锚偏移(0，0)锚固到间隙片段，如下文参照图20所述。
此外，应用程序允许用户选择经由每个角度中的第一标记物对角度进行同步。用户可在片段上设置标记物，其在一些实施例中存储为具有一个帧持续时间的片段数据结构，其在片段中特定时间处锚固至已标记的片段。在选择了该选项的情况下，应用程序将识别每个有序角度中的第一标记物，然后在必要时在角度的开始处插入间隙片段，使得这些标记物对齐。这允许用户对来自若干摄像机的每一者的一个片段中的特定帧进行识别，并且标记该帧以用于与其他此类帧对齐。在用户从多个不同角度拍摄场景时，其可能是特别有用的，并且可识别一具体帧为在不同角度中表示完全相同时间。
返回至图16，在对当前角度进行同步之后，过程1600(在1635处)确定附加角度是否保留以同步。在所有角度已同步时，过程结束。否则，该过程返回至1615以选择下一个角度，并将该角度与其他先前已同步的角度进行同步。
过程1600为用于使用定时元数据(或如果定时元数据未提供足够的信息，则使用其他标准)来对角度进行同步的一些实施例的过程的一个概念性实例。其他实施例使用可与过程1600一定程度地不同的同步过程的不同变型形式。例如，一些实施例最初尝试使用时间代码信息来同时对所有角度进行同步。该过程根据应用程序所使用的标准(在一些实施例中，该标准可为默认设置或用户确定的设置)来确定各角度的所有时间代码是否在某种程度上彼此重叠(即，在总时间代码中是否存在任何间隙，将每个角度当作连续块)，或所有时间代码是否适合在特定的时间范围(例如，一天)内。在时间代码数据符合所需标准时，应用程序使用这些时间代码来将所有数据对齐。在一些实施例中，在仅存在一个或两个异常值角度时，应用程序使用其他的角度的时间代码来对其他角度进行同步，然后将异常值角度与最早角度的第一片段的开始对齐。
在角度中的至少一者的时间代码未通过用于同步的标准时，一些实施例改为尝试将当日时间信息用于所有角度。然后应用程序将类似标准应用于角度的当日时间信息(确定是否所有角度均重叠或是否所有角度均在阈值持续时间内)。如果所有角度均可与当日时间信息对齐，则媒体编辑应用程序使用该当日时间信息来对角度进行同步。如果当日时间信息不能用于所有角度，则不同的实施例可应用不同的选项。
例如，一些实施例使用通过用于最大数量的角度的有效性标准的任何元数据来对所述角度进行同步，然后尝试使用当日时间信息来将其他角度与已同步的角度中的任一者进行同步。不具有可用定时元数据的任何角度将在多角度片段开始处开始。如将在部分IV中所述，一些实施例允许用户在应用程序自动创建多摄像机片段之后手动地将角度重新对齐。
D.微调同步
除了基于单个片段的定时元数据来对多摄像机媒体片段的角度进行同步之外，一些实施例还使用不同角度中的片段之间的音频比较来微调所述对齐。在一些实施例中，媒体编辑应用程序比较来自不同角度的在时间上重叠的片段，以便识别具有相同(或类似)音频或音频的相同(或类似)部分的片段。然后应用程序可确定两个片段的音频之间的偏移，并且将片段中的一者重新对齐以补偿偏移。在提交于2011年2月2日名称为“AutomaticSynchronization of Media Clips'的美国专利申请No.13/019,986中详细地描述了用于分析音频以便对片段进行同步的一些实施例的过程，所述专利申请以引用的方式并入本文。不是比较整个片段(其可能是处理密集型过程)，一些实施例假设初始同步将精确到特定阈值(例如，五秒、一分钟、两分钟等)之内，并仅在多摄像机媒体片段的时间轴中比较在该阈值内的一个片段的音频和其他片段的音频。
图18概念性地示出了用于在多摄像机媒体片段内的角度的集合中对媒体片段进行同步的一些实施例的过程1800。将参照图19描述过程1800，图19示出了通过四个阶段1910-1940进行的角度1350-1360的微调音频同步。
过程1800以(在1805处)接收多摄像机媒体片段的已同步角度的集合开始。在一些实施例中，已使用过程1600或类似的对齐过程基于角度的媒体片段的定时元数据来对角度(媒体片段的组)进行了同步。如上所述，一些实施例将这些角度作为群集片段结构存储在自身为群集片段结构的多摄像机片段结构内。片段可能全部为具有伴随音频的视频片段(例如，具有音频组件锚固至其的视频组件的片段，如上文在部分II中所述)，或包括不具有视频组件的多个音频片段、不具有音频组件的视频片段以及静态图像片段(其通常缺少音频组件)。在图19所示的例子中，仅前两个角度1350和1355包含具有音频数据的片段，并因此仅这些片段将通过音频同步来调节。
该过程(在1810处)选择多摄像机媒体片段的总时间轴中的第一未锁定片段。在一些实施例中，该过程选择在时间轴的开始处开始并朝着时间轴的结尾移动的片段，一次一个地将片段锁定到位。在本上下文中，说片段被锁定意思是过程1800已评估该片段并且将不再沿着多角度媒体片段的总时间轴移动该片段。一旦片段被锁定，其他片段便可沿着时间轴移位以将其音频与锁定片段的音频对齐。
该过程(在1815处)确定选定片段是否与不同角度(即，除选定片段所属的角度之外的角度)的任何锁定片段重叠。即，应用程序识别多摄像机媒体片段的总时间轴中的当前选定片段的跨度是否与已被标记为锁定的任何片段的跨度重叠。在一些实施例中，为节省工艺，媒体编辑应用程序仅比较重叠片段的音频，而不是将每个片段的音频与不同角度的所有其他片段的音频进行比较。在选定片段不与任何锁定片段重叠时，过程(在1840处)锁定该选定片段。由于在选择第一片段时不存在锁定片段，因此应用程序自动将该第一片段锁定到位。
图19的第一阶段1910示出了最初第一片段1305被锁定。在该图中，锁定片段以实线示出，而尚未锁定的片段以虚线绘出。因此，其他四个视频片段(具有伴随音频)在第一阶段1910以虚线绘出。角度1360的片段因其不是音频同步的候选者而示出为锁定的，因为所述片段表示不具有伴随音频的静态图像。
在选定片段与不同角度的至少一个锁定片段重叠时，过程(在1820处)分析选定片段以及所有重叠锁定片段的音频。在一些情况下，这将是许多片段(在存在许多角度时)，其中一些将通过先前该过程的重复而已彼此对齐。再次参照图19，所选择的下一个片段为片段1310，该片段与锁定片段1305重叠。如图所示，这两个片段均包括可彼此比较的音频组件。
一些实施例的媒体编辑应用程序使用上述以引用方式并入的美国专利申请No.13/019,986中详细描述的过程来比较两个片段的音频。简言之，一些实施例的算法使用交互相关或相位相关来比较两个音频片段，从而产生指示两个片段的所有可能时间偏移的匹配的可能性的相关函数。因此，该相关函数的峰值指示两个音频信号的最可能的对齐。
不是使用针对每对音频片段的整个持续时间来计算此类相关函数所需的广泛处理资源，一些实施例生成最高至最大偏移(例如，两分钟)的函数。通过使用定时数据来执行初始同步，媒体编辑应用程序增加音频将已接近被同步的可能性，其中对齐上的错误是由于不具有在不同设备上完美对齐的时钟或时间代码(由于设备设置中的人为错误、时钟漂移等)。
除了比较两个重叠片段的音频之外，一些实施例还比较这两个片段的先前生成的波形数据。在一些实施例中，媒体编辑应用程序自动生成用于包含音频信息的每个片段的音频波形数据。应用程序使用该生成的数据来显示片段的音频波形(例如，在片段浏览器或组合显示区域中)。当该波形数据可用时，应用程序针对类似性来比较这两个片段的波形。在许多情况下，与比较音频数据相比，该比较可明显更快地执行。因此，一些实施例使用音频波形数据与音频数据的组合来确定不同时间偏移的相关性。例如，一些实施例最初使用音频波形信息来粗略估计两个片段的峰值相关性偏移，然后用音频数据进一步微调该偏移。
例如，一些实施例针对每500(或100、1000等)个音频样本生成波形数据点。因此，由波形数据的偏移可被当作精确到500个样本内(如果音频采样率为48kHz，然后，其为1/96秒，或对于24fps的视频而言为1/4帧)。然后应用程序在已识别偏移周围使用小范围的音频偏移(例如，五秒、十秒等)，以更精确地识别两个片段的峰值偏移。
在将选定片段的音频(和/或波形数据)与重叠锁定片段的每一者进行比较之后，该过程(在1825处)计算最佳匹配锁定片段与选定片段的偏移。如上所述，在一些实施例中，所述比较中的每一者均生成指示(i)产生最佳相关性的两个片段的偏移以及(ii)该峰值相关性指示匹配的可能性的峰值偏移相关值。一些实施例识别选定片段与产生最高匹配可能性(例如，20％、75％、90％等)的重叠片段中的任一者之间的偏移。
然后该过程(在1830处)确定该最佳匹配片段是否具有用于同步的足够高的相关可能性。一些实施例使用最小阈值相关值来防止在存在低概率的指示匹配的音频时媒体编辑应用程序使片段移位离开初始同步。例如，一些实施例需要至少50％相关可能性，或甚至70％可能性，以便使音频移位，虽然其他实施例不需要如此高的相关可能性。
如所提及的，一些实施例生成最高至最大偏移的相关值。一些实施例最初使用第一最大偏移(例如，10秒)并确定峰值偏移是否具有足够高的相关性。当该偏移处的相关性不高于阈值时，该过程扩展范围并计算最高至第二较大最大偏移(例如，2分钟)的相关值。如果峰值相关值仍不高于阈值可能性，则该过程将范围扩大至两个片段的整个范围。此时，如果峰值偏移不具有足够高的相关性，则该过程假设不存在匹配。
除了确定峰值偏移是否具有足够高的相关性之外，一些实施例还识别多个峰值(例如，采样范围内的10-20个峰值)。然后应用程序比较最高峰值与其他峰值，以确保所找到的最大相关性大于比其他峰值高的第二阈值。即，应用程序确定峰值偏移与范围中的其他偏移相比是否明显更可能对齐。如果差值不够大(即，不超过第二阈值)，则过程不将偏移视为匹配。
在甚至最佳匹配片段也不超过阈值相关值时，该过程在不重新对齐片段的情况下(在1840处)锁定当前选定片段。然而，在最佳匹配片段具有足够高的相关可能性时，该过程(在1835处)使当前选定片段的角度中的所有未锁定片段移位峰值偏移时间。因此，角度中的任何先前锁定片段(其已与其他锁定片段同步)均不移位，但一些实施例的应用程序实现其他未锁定片段应移位相同偏移的推测(例如，在捕捉该角度中的片段的设备的时钟关闭一致的持续时间的情况下)。
为了使未锁定片段移位，一些实施例调节在选定片段之前的间隙片段的持续时间(缩短间隙片段的持续时间以便移动选定片段在时间轴中较早，并延长持续时间长度以便移动选定片段在持续时间中更晚)。一些实施例可使其中发现选定片段的可能匹配的具体实例中的锁定片段移位，其中偏移量可移动选定片段，使得锁定片段与角度中的较早片段重叠。在用于选定片段的将使片段移动到重叠位置中的相关值大于锁定片段的最高相关值时，一些实施例将“释放”锁定片段并根据需要将其在时间上移动得更早，以允许选定片段的对齐(例如，通过移除选定片段与锁定片段之间的间隙，然后在锁定片段前面缩短间隙)。
在一些情况下，媒体编辑应用程序要求以等于单个帧的持续时间的离散量(例如，一秒的1/24或1/30)来使视频移位。然而，音频记录通常以小得多的增量(例如，一秒的1/48,000)采样。在一些实施例中，应用程序在音频采样边界的层级上确定偏移量，然后将视频移位至最近的帧边界。对于音频，一些实施例使已移位的音频稍微偏移小于视频帧的增量，使得已移位片段的音频与其所匹配的音频更紧密地对齐。
图19的第一阶段1910示出了当前选定片段1310的音频稍微偏移锁定片段1305的音频。如箭头所示，媒体编辑应用程序将片段1310和片段1320在多摄像机媒体片段的时间轴中移得更早，其结果在阶段1920中示出。为了执行该偏移，应用程序修改在角度1355中的片段1310之前的间隙片段的持续时间。
在使片段移位之后，过程1800(在1840处)锁定选定片段。在一些实施例中，如上所述，这涉及(例如，在易失性存储器中)设置片段锁定的标记并在执行音频同步的同时不应再移动标记。然后该过程(在1845处)确定任何附加的未锁定片段是否保留以评估。当附加片段保留时，该过程返回至1810以选择多摄像机媒体片段中的下一个未锁定片段。一旦所有的片段均已对齐，过程1800便结束。
图19的第二阶段1920示出了媒体编辑应用程序还在不移动片段1325的情况下锁定片段1325。该片段是在对齐片段1310之后所选择的下一个片段，但不与其他角度中的任何锁定片段重叠。因此，应用程序锁定该片段并继续移动以评估下一个片段1320。第二阶段1920示出了片段1320的音频稍微偏移片段1325的音频。因此，应用程序使片段1320在时间轴中偏移得稍微更晚(在一些实施例中，通过增加片段1310与片段1320之间的间隙片段的持续时间)。
第三阶段1930示出了应用程序已使片段1320在多摄像机片段时间轴中移动得稍微更晚并锁定了片段1320。此外，该图示出了第一角度1350中的片段1315的音频稍微偏移现已锁定片段1320的音频。因此，应用程序将片段1315在多摄像机媒体片段的时间轴中移动得更早(通过减少片段1325与片段1315之间的间隙片段的持续时间)。
第四阶段1910示出了在音频同步过程之后的多摄像机媒体片段的三个角度的时间轴。本领域的普通技术人员将认识到，在许多情况下，多摄像机媒体片段将具有不止两个具有音频片段的轨道，并且每个轨道具有不止两个或三个片段。在此类片段中，由于每个单个片段在总多摄像机片段时间轴内对齐，因此同步将传播通过多摄像机片段(例如，如阶段1920-1940中针对片段1325、1320和1315所示)。
E.多摄像机参照片段的数据结构
上述子部分参照了由媒体编辑应用程序创建的多摄像机媒体片段数据结构。对于一些实施例，图20概念性地示出了在媒体编辑应用程序的事件中创建的多摄像机媒体片段所包含的数据结构的子集。如上文所提及的，在一些实施例中，应用程序在应用程序的事件数据结构中存储参照多摄像机片段，然后定义一个或多个媒体项目中的实例片段，所述一个或多个媒体项目参照所述参照片段且从所述参照片段继承属性。图20中所示的参照多摄像机媒体片段2000为此类参照片段的例子。在一些实施例中，参照片段仅用于多摄像机媒体片段。然而，其他实施例允许参照片段(并且相应地，参照所述参照片段的片段实例)用于任何合成片段或甚至用于所有类型的片段。因此，本领域的普通技术人员将认识到，本文针对多摄像机媒体片段所述的参照片段的属性也可适用于其他类型的片段。
如图所示，定义多摄像机媒体片段的片段对象的嵌套序列在结构上类似于图6所示的对象。该图示出了序列2005、角度实例2012、参照群集2000(多摄像机媒体片段)、由参照群集2000包含的间隙片段2007、多摄像机媒体片段的角度群集2010中的一者以及角度群集2010的片段2015中的一者。在一些实施例中，该图所示的片段对象的每一者均是相同类别的构件，虽然对象可以是不同子类的。图20所示的数据结构的集合可能是参照图10所述的多摄像机片段创建过程的输出。
如在部分II中所示，一些实施例针对事件中的每个媒体文件在事件对象内创建序列。这不仅包括导入到事件中的片段，而且还包括在事件中创建的合成片段或多摄像机片段。序列2005为用于事件片段的此类序列的例子。与图6的序列605一样，序列2005存储序列ID、序列属性的集合以及角度实例对象2012。在一些实施例中，序列属性包括分辨率、帧频以及序列的其他视频和音频属性。如图11所示，一些实施例为用户提供自定义多摄像机片段的这些序列属性或从媒体片段继承用于生成多摄像机媒体片段的序列属性的选项。
角度实例2012为包含(或涵盖)参照群集2000的对象。此外，角度实例2012指示当将多摄像机片段添加至时间轴中的序列时所使用的活动视频角度以及活动音频角度。在一些实施例中，这些活动角度可通过媒体编辑应用程序的用户选择(例如，通过角度查看器或检查器)。角度实例数据结构，如在时间轴序列中所用，将在下文中进一步详细地描述。
如上所述，参照群集2000可被视为多摄像机片段对象。本领域的普通技术人员将认识到，这仅是实施此类片段对象的许多可能方法中的一种。参照群集对象2000是类似于图6的群集对象610或图8的群集对象810的群集对象(合成片段对象)，并且类似地包括群集ID。为了表明群集为多摄像机片段，对象包括多摄像机标记。这指出媒体编辑应用程序在片段上的显示多摄像机指示项，以及提供与多摄像机片段相关的功能性(在以下部分中描述)。参照群集2000在其阵列中包括不具有内容的单个间隙片段2007。
间隙片段2007包括群集ID、不具有内容的间隙组件以及总范围和裁剪范围。在一些实施例中，间隙片段为组件或生成器，而不是群集。无论间隙片段如何实施，间隙片段均不参照任何实际媒体，但相反产生纯黑色输出。在一些实施例中，间隙片段2007的持续时间基于片段中最长角度的长度而变化。
在一些实施例中，角度作为连接的故事情节存储，所述连接的故事情节是锚固至参照群集中的间隙片段的群集。在一些实施例中，已连接的故事情节锚固至间隙片段的开始(即，具有偏移0，0)。如图所示，间隙片段2007包括三个锚固项(角度1、2和3)。
这些锚固项每者自身均是针对多摄像机媒体片段的角度中的一者存储信息的群集。在这种情况下，多摄像机片段包括三个角度。这些角度的第二者由群集片段2010表示，另外两者将具有类似结构(在其各自的阵列中具有不同的片段)。如图所示，群集片段2010包括角度ID、由间隙片段分隔的两个内容片段的有序阵列、总范围和裁剪范围、偏移为0，0(因为每个角度均锚固至间隙片段2007的开始)的父间隙片段(间隙片段1)的锚固信息以及指示多摄像机媒体片段中的锚固项的顺序的通道编号(在这种情况下，为2)。然而，一些实施例使用非零锚偏移来同步多摄像机片段内的角度，而不是在角度的开始处插入间隙片段。
角度ID是标识角度的唯一ID。在一些实施例中，角度群集2010还存储用户可更改的角度名称。即使当用户更改角度名称时，角度ID仍保持恒定，使得媒体编辑应用程序不需要更新参照角度的任何片段实例。
阵列包括以时间顺序布置的角度的所有片段。在这种情况下，角度仅具有两个片段(片段2A和片段2B)。除非片段在多摄像机片段时间轴中完全不分隔(例如，由于定时元数据不可用于间隔角度中的片段)，否则应用程序在片段之间插入间隙片段以便使多摄像机片段时间轴中的片段间隔开。此外，当第一片段在多摄像机片段时间轴的开始之后的某点处开始时，一些实施例将间隙片段作为阵列中的第一片段而插入。就角度2010而言，片段2A在总时间轴的时间零处开始，并因此该片段是阵列中的第一片段(即，没有间隙片段来开始阵列)。
如图所示，片段2015(片段2A)是类似于片段610的群集片段，该群集片段在其阵列中具有单个媒体组件(例如，视频组件)以及锚固至第一组件(为简单起见未示出)的第二组件(例如，音频组件)。与上文在部分II中详细地描述的片段610一样，这些组件自身是参照媒体资产数据结构的片段结构。在一些实施例中，角度群集的阵列内的片段还可为包含附加群集的合成片段。其他实施例仅允许在多摄像机片段内包含组件(例如片段2015)的简单群集片段。
IV.编辑多摄像机参照片段
上述部分描述了(使用媒体编辑应用程序的默认设置或来自用户的优选输入)由若干媒体片段自动创建多摄像机媒体片段。一旦媒体编辑应用程序创建了多摄像机片段，用户便可编辑参照多摄像机片段以及将多摄像机片段的实例添加至媒体项目(在项目的主合成通道中以及次级锚通道中)。这些实例片段每者均具有活动音频角度和活动视频角度，活动音频角度和活动视频角度确定实际上是部分媒体项目的多摄像机媒体片段内容。用户可以各种不同的方式来切换活动角度，或在特定帧边界处将片段实例切分成两个片段实例以便允许从一个角度到下一个角度的无缝切换。
如图所述，在一些实施例中，用户可手动地编辑存储在事件中的多摄像机参照片段。在一些实施例中，媒体编辑应用程序提供显示区域以用于手动地调节角度内的片段(例如，对齐片段)，将效果应用于参照片段中的片段，重命名、添加以及删除角度，在多摄像机片段内对角度重新排序等。在一些实施例中，该多摄像机片段编辑显示区域是用于多摄像机片段的具体版本的组合显示区域，其不显示不同角度所锚固至的间隙片段，并且将角度的每一者显示为单独的轨道。
图21示出了通过两个阶段2110和2120打开一些实施例的图形用户界面(“GUI')2100中的此类显示区域。第一阶段2110连同相同事件中的各种其他片段一起示出了包括多摄像机片段2115的片段浏览器2105。一些实施例在缩略图(在这种情况下，四个正方形)上显示指示项以向用户指示该片段为多摄像机片段。在该阶段中，用户已选择多摄像机片段2115并为该片段启动下拉菜单(例如，通过右键单击、双指点击或其他用户输入)。如图所示，用户正处于为片段选择选项“在角度编辑器中打开”的过程。
第二阶段2120示出了所得的GUI2100。上文在部分I中参照图3描述了GUI2100中的许多显示区域：片段库、片段浏览器2105、预览显示区域(当前不显示任何预览图像)以及检查器显示区域(由于GUI中未选择项目，因此当前不显示任何信息)。
此外，GUI2100包括多摄像机编辑显示区域2125。编辑显示区域2125显示打开用于编辑的选定多摄像机媒体片段的位置和名称(在这种情况下，位置为“新事件10-28-11”并且名称为“新多摄像机片段”)。该编辑显示区域显示用于选定多摄像机媒体片段中的角度的每一者的单独轨道。在这种情况下，角度包括至少“Amir”、“Nathaniel”、“Viega'和“Matt”，因为这些是其轨道至少部分地在图中示出的角度。媒体编辑应用程序识别选定多摄像机媒体片段的每个不同角度并在编辑显示区域中为角度创建轨道。如在前面的部分中所述，一些实施例使用部分I中所述的无轨系统的数据模型来将角度存储为群集片段，但对角度进行转变以作为轨道显示在多摄像机片段编辑器中，因为每个角度均可被当作具有与其他角度中的片段分开(虽然与其他角度中的片段同步)的片段的序列。
以下部分将描述还称为角度编辑器的多摄像机编辑显示区域的各种特征。在描述这些特征之前，将先介绍还称为角度查看器的多摄像机预览显示区域。图22示出了三个阶段2210-2230中的GUI2200，在所述三个阶段中，打开多摄像机预览显示区域并访问显示区域的选项。在第一阶段中，GUI2200与GUI2100相似，包括预览显示区域2205。用户已打开下拉菜单2215并且正在从菜单中选择“显示角度查看器”的选项。
第二阶段2220示出了在GUI2200中的该选择的结果。媒体编辑应用程序减小预览显示区域2205的尺寸并在该区域中的被主预览显示区域2205先前占用的部分中显示角度查看器2225。在一些实施例中，片段库、片段浏览器、角度查看器及预览显示区域可全部隐藏并且使其宽度变化以便为这些区域中的一者或其他提供更多显示空间。此外，本领域的普通技术人员将认识到，GUI的不同配置也是可能的(例如，在顶部或底部中具有不同的显示区域，或GUI中不同顺序的显示区域)。角度查看器，如上文参照图1和2所述，为多个角度提供预览显示，应用程序将来自多摄像机媒体片段的不同角度的同时视频图像输出到所述多个角度中。
第三阶段2230示出了在用户打开角度查看器2225的设置菜单时角度查看器的特写。在该阶段，角度查看器显示来自当前在角度编辑器中打开的多角度片段的前四个角度的视频图像。四个预览窗口显示来自四个不同角度的每一者中的片段的图像，以及关于角度的信息。在多角度片段的时间轴内，这四个图像来自相同的时间(例如，播放头在角度编辑器中的位置)。不同角度预览的当前信息显示在每个预览中显示的角度的名称以及在单个片段内当前所示图像的时间。在一些实施例中，该时间在单个片段所参照的源视频的开始处从零开始。设置菜单为角度查看器2225提供各种选项。如图所示，用户可更改在查看器中示出的预览显示的数量(在这种情况下，选项为2、4、9或16个预览显示)。用户还可确定是否显示时间代码，以及是否指示角度名称、片段名称或完全不识别角度。本领域的普通技术人员将认识到，在不同实施例中，角度查看器中可显示信息的不同组合。在介绍了角度查看器的情况下，现在将描述角度编辑器的各种功能性。A.对齐媒体片段
在一些实施例中，用户可在多摄像机片段编辑显示区域中手动地对齐媒体片段以及使用音频同步来在编辑显示区域中自动地对齐媒体片段。图23示出了通过沿着片段2305的轨道移动该片段而使第一角度轨道2315的媒体片段2305与第二角度轨道2325中的片段的手动对齐。该图示出了通过GUI2300的三个阶段2310、2320和2330而进行的这种移动。除其他GUI项目外，GUI2300包括角度编辑器2335(其包括轨道2315和2325，以及附加的轨道)、角度查看器2340以及预览显示区域2345。
在第一阶段2310中，用户已选择媒体片段2305，但尚未开始移动该片段。角度查看器2340当前显示当前在角度编辑器2335中打开的多摄像机媒体片段的前四个角度的四个预览(“Nathaniel”、“Amir”、“Lam'、“Viega')。由于播放头2350在“Nathaniel'和“Lam'角度中的间隙处，因此角度查看器显示这些角度的空白图像。此外，预览显示区域2345显示来自“Amir'角度的图像，该图像对应于播放头2350位于其上的多摄像机媒体片段中的时间。在角度编辑器2335中，轨道2325(用于“Amir'角度)当前被突出显示为选定角度或监视角度，并因此预览显示区域2345显示来自“Amir'角度的图像。用户可切换监视角度(如下文所述)以便确定媒体编辑应用程序将在预览显示区域中显示哪个角度。
由于用户在第二阶段2320中沿着媒体片段2305的轨道2315将该媒体片段向右移动(在多摄像机片段时间轴中更晚)，因此媒体编辑应用程序自动地换出第二预览显示区域2355的角度查看器2340，第二预览显示区域2355在播放头2350的位置处显示选定片段的图像。在一些实施例中，为了帮助用户在视觉上将来自两个不同角度中的片段的图像排列成行，媒体编辑应用程序(在第一预览显示区域中)保持来自监视角度的对应于时间轴中播放头位置的图像。由于用户沿着选定片段自身的轨道在播放头上移动选定片段，因此第二预览显示区域浏览来自选定片段的图像，所述图像对应于在静态播放头上的片段中的当前时间。因此，用户可选择来自监视角度中的片段的特定图像，然后找到来自选定片段的匹配该特定图像的图像(即，同时捕捉)并使用播放头来对齐这些图像以便对齐片段。如图所示，一些实施例在选定片段(正被移动的片段)上显示表示片段已从其先前位置移动多远的指示项，在这种情况下，片段2305已在阶段2320处在时间轴中被移动得晚了二十秒和六个帧。
第三阶段2330示出了用户完成移动片段2305之后的GUI2300。媒体编辑应用程序已将第二预览区域2355替换为角度查看器2340，并且现在预览显示区域2345中显示来自监视角度的图像。如该例子所示，在一些实施例中，应用程序不对移动片段的角度中的片段进行波纹处理。即，在用户移动片段2305时，轨道2315中的其他片段保持静止。通过这种方式，应用程序不移除该角度中的其他片段(其可能已与其他角度中的片段对齐)的对齐。因此，移动可被视为选定片段的滑动编辑，其改变选定片段的任一侧上的间隙片段的进入点和退出点。类似地，如果用户修改多摄像机媒体片段中片段的长度(即，裁剪片段)，则应用程序会将这当作滚动编辑而不是波纹编辑，并且简单地修改媒体片段的已编辑边界上的间隙片段的长度。如果用户希望一起移动角度中的所有片段，则用户可选择所有片段并且然后沿着时间轴在任一方向上移动片段(其在角度的开始处增加或减小间隙片段的长度)。一些实施例提供用于容易地选择角度中的所有片段的用户界面工具。
在一些实施例中，用户可更改角度编辑器内的监视角度，并且针对不同角度启用或禁用音频。一些实施例仅需要单个监视角度，但允许多个不同角度具有已启用的音频。为了允许对监视角度的更改以及音频的启用/禁用，一些实施例为角度编辑器中的每个轨道提供GUI项目。
图24示出了用户根据一些实施例改变多摄像机媒体片段的监视角度。该图示出了两个阶段2410和2420上的角度编辑器2400。在第一阶段2410中，轨道“Amir'2405被突出显示为监视角度。除以不同的颜色/阴影显示轨道之外，媒体编辑应用程序突出显示轨道中的可选项2415。该可选项2415既表明轨道2405为监视角度，又允许用户在选择了不同轨道时将轨道2405选择作为监视角度。
在第一阶段2410处，用户已将光标放在轨道2430的对应可选项2425上，并且用光标选择该项。第二阶段2420示出了该选择的结果。用于角度“Viega'的轨道2430现在是监视角度，应用程序因此突出显示该轨道。此外，可选项2425现在被突出显示，并且应用程序已从可选项目2415及轨道2405移除突出显示。通过更改监视角度，用户确定将在预览显示区域中显示哪个角度的图像(例如，用于对齐如图23所示的片段)。
图25示出了用户经过示出角度编辑器2400的三个阶段2510-2530来针对多摄像机参照片段的各种角度而启用和禁用音频。当用户回放或浏览多摄像机片段时，一些实施例输出该片段的音频。虽然在预览显示区域中显示仅一个角度(监视角度)，但一些实施例的媒体编辑应用程序可对多个选定信号的音频进行组合并且输出组合音频。
与监视角度可选项(例如，项2415和2425)一样，角度编辑器2400中的每个轨道也具有音频可选GUI项。这些音频项允许用户打开或关闭不同轨道的音频。在第一阶段2510处，监视角度“Viega'(轨道2430)以及角度“Amir'(轨道2405)启用其音频。用于这些轨道的可选项2525和2535被突出显示，表示音频被启用。在该例子中，应用程序通过显示来自麦克风图标的声波来突出显示可选项2525和2535。此外，用户已将光标放在角度“Nathaniel'(轨道2545)的可选项2540上，并且用光标选择该项。
第二阶段2520示出了该选择的结果，轨道2545的可选项2540现在被突出显示，表明应用程序现在已启用这些角度的音频。此外，用户已将光标放在可选项2525(用于监视角度的音频项)上，并且正在选择该项。在第三阶段处，项2525不再被突出显示。如这所示，一些实施例的应用程序允许用户禁用监视角度的音频。
图26概念性地示出了用于回放在角度编辑器中打开的多摄像机媒体片段的一些实施例的过程2600。该过程以(在2605处)接收用于回放多摄像机媒体片段的命令开始。在一些实施例中，用户可通过击键(例如，空格键)、选择菜单选项、选择用户界面项等来引发回放。当回放多摄像机媒体片段时，播放头以恒定速率移动通过片段的时间轴，使得视频以实时速度回放。
该过程(在2610处)识别将要在预览显示区域中显示的视频角度。当回放多摄像机媒体片段时，应用程序选择视频监视角度。该过程还(在2615处)识别所有已启用的音频角度。如图25所示，可针对音频启用多个角度，并且这些角度可不包括监视角度。
接着，过程2600使用来自识别的视频角度(即，视频监视角度)的片段来在预览显示区域中(在2620处)渲染视频图像。如下文将在部分VI中详细所述，渲染这些图像涉及从存储设备中读取图像、对图像解码(如有需要)、将效果应用于图像以及输出图像。除在预览显示区域中显示已识别的视频角度的图像之外，一些实施例还显示角度查看器的多个视频图像(如果角度查看器当前显示在GUI中)。该过程还(在2625处)将音频渲染为所有已启用音频角度的组合。这可涉及使用标准音频处理技术来组合来自各种已启用音频角度的多个音频信号。然后过程2600结束。
上文所述的图26描述了当在角度编辑器中回放多摄像机媒体片段时对将要渲染哪个角度的选择。在一些实施例中，用户可回放除监视角度之外的特定角度。在这种情况下，一些实施例的媒体编辑应用程序针对第二预览显示区域切换出角度查看器，类似于在图23的阶段2320中所示。然后应用程序在第二预览显示区域中回放选定角度，同时在主预览显示区域中播放监视角度。另一方面，一些其他实施例在主预览显示中回放选定角度，同时也在角度查看器中回放若干角度(因此针对预览显示区域中的选定角度换出监视角度)。
用户还可使用预览显示区域/角度查看器组合来浏览角度或多摄像机片段。为了浏览，用户将浏览播放头移动通过多摄像机媒体片段(例如通过沿着触摸屏拖动手指、将光标与光标控制器一起在片段上移动等)。在一些实施例中，浏览播放头与在用户浏览片段的同时留在原位的主编辑播放头分离。
在用户(通过将光标移动通过监视角度的片段)浏览监视角度时，在一些实施例中，浏览播放头向下收缩并移动通过监视角度的轨道。在这种情况下，角度查看器继续显示不同角度的多个显示，同时在预览显示区域显示来自监视角度的图像。在用户(通过将光标移动通过时间轴标尺)浏览时间轴时，浏览播放头显示在整个时间轴上，而再次，在预览显示区域显示来自监视角度的图像的同时，角度查看器保持显示多个角度的同时预览。
另一方面，在用户浏览除监视角度之外的角度时，一些实施例的应用程序为显示用户正在浏览的角度的第二预览显示区域换出角度查看器。通过这种方式，用户可浏览特定角度以识别与主预览显示区域中所示的监视角度的帧匹配的帧。类似于图23中所示的情形，编辑播放头保持固定，并因此来自在主预览显示区域中显示的监视角度的图像也保持固定。
在浏览时，应用程序还确定是否打开音频浏览。一些实施例提供GUI工具，该GUI工具允许用户确定在用户浏览多摄像机媒体片段、媒体项目、事件片段等时是否播放音频。在音频浏览关闭时，该过程不将任何音频当作已启用的。在音频浏览打开或应用程序如图26所示回放多摄像机媒体片段时，该过程识别多摄像机媒体片段的各个角度的哪一者已被指定为活动的。
更改视频监视角度以及启用和禁用音频角度可用于辅助手动地对齐多摄像机片段内的媒体片段。此外，一些实施例为使用角度编辑器内的音频的自动同步提供功能性。例如，如果应用程序由其生成多摄像机片段的媒体片段集合不提供任何可用的定时元数据，则片段可能是无序的和/或如此大程度地未对齐以致于自动音频同步过程(例如，上文在部分III.d中所述的自动音频同步过程)不能找到用于对齐的任何音频匹配。在此类情况下，用户可打开角度编辑器中的片段并手动地对齐所述片段。然而，在不存在用户可将其精准确定为在两个视频角度之间匹配的具体图像时，在不进行音频同步的情况下实现完美对齐可能是困难的。
图27示出了通过两个阶段2710和2720使用函数来自动将选定片段与角度编辑器2700中不同角度的片段同步。在第一阶段2710中，用户已选择媒体片段2705(如围绕媒体片段边缘的突出显示所指示)，并且已启动该片段的包括选项“经由音频同步至监视角度”的下拉菜单。在一些实施例中，用户可选择监视角度并且然后使用音频同步来将其他角度中的片段同步至监视角度。第二阶段2720示出了媒体编辑应用程序已使选定片段2705在时间轴上移位得晚了大约五秒，以便将片段2705的音频与片段2715的音频对齐。如图所示，音频中的峰值现在在时间轴中排列成行。
一些实施例使用与在初始创建多摄像机媒体片段时所使用的那些技术类似的音频同步技术。即，媒体编辑应用程序将选定片段的音频与监视角度中的片段(或多个其他片段)的音频进行比较以识别各个偏移处的相关可能性。在一些实施例中，应用程序将选定片段与任何重叠片段或监视角度中的片段进行比较。一些实施例将选定片段的音频与监视角度内的各个偏移(例如，偏移高达两分钟等)或者与监视角度的整体进行比较。
如果峰值偏移具有足够高的相关值，则应用程序将多摄像机片段时间轴中的选定片段移动该偏移值。在假设用户已更明确地表达出优选使选定片段在时间轴中移位，以及由于用户将通常选择非常接近正确对齐的片段并且将正使用音频同步来进行微调，一些实施例为后创建同步使用更低的阈值。
除了提供将片段同步至监视角度的选项之外，一些实施例在角度编辑器中提供附加的选项。在各种实施例中，用户可选择执行多摄像机媒体片段的完全音频同步，将第一选定片段同步至第二选定片段，将选定片段同步至任何其他角度中的最佳匹配片段等。一些实施例允许用户为同步算法指定最大偏移范围(即，就媒体片段可被移位多远而设置阈值，这可用于减少用于同步的处理时间)。
此外，一些实施例允许用户从第一角度中的选定片段以及不同角度(监视角度或另一角度)中的片段中识别特定视频图像。应用程序在选定片段的角度中移动选定片段以便对齐两个图像，然后使用音频技术来微调同步。图28示出了在GUI2800的三个阶段2810-2830中此类帧匹配技术的使用。如在第一阶段2810处所示，GUI2800包括主预览显示区域2805和角度编辑器2815。在角度编辑器2815内，用户已在选定片段2825中选择特定时间(即，特定帧，由播放头2835的位置所指示)。用户已引发包括选项“同步至帧”的菜单。
如在阶段2820处所示，“同步至帧”菜单选项的选择在GUI2800中提出次级预览显示2840。来自片段2825的选定帧在主预览显示2805中保持固定，同时用户可在次级预览显示2840中浏览其他角度(不包括选定片段2825的角度)中的片段。当用户在不同片段中找到与选定帧同时或大约同时记录的帧时，然后用户可选择该帧以用于同步(例如，通过点击或轻按片段表示中的位置)。在图中，用户在第二阶段2820处选择片段2845中的特定帧。
阶段2830示出了该选择的结果。片段2825已在其轨道中自动移动得早了大约20秒。在一些实施例中，应用程序初始移动选定片段使得选定帧完全匹配，然后分析在两个匹配帧周围的预定范围(例如，5秒、10秒等)内的两个片段的音频数据以便更精确地对齐选定片段。
一些实施例包括对图28所示的过程的变型。例如，用户可初始选择片段及“同步至帧”选项(或者其变型形式)，然后允许浏览选定片段以便找到用于对齐的第一帧。在选择了选定片段内的帧之后，然后将赋予用户浏览其他角度中的其他片段的机会以识别第二帧(例如，如阶段2820中所示)。
B.修改多摄像机片段属性
除了沿着多摄像机媒体片段的时间轴调节片段之外，在一些实施例中，应用程序允许用户利用角度编辑器来修改片段属性，例如角度的数量、角度的名称、角度的顺序等。用户一在角度编辑器中修改属性，一些实施例便在角度查看器中自动反映这些属性。
图29示出了用户通过两个阶段2910和2920将角度添加至GUI2900中的多摄像机媒体片段。GUI2900包括角度编辑器2905和角度查看器2915。本领域的普通技术人员将认识到，一些实施例将附加地包括预览显示区域，但为简单起见，该图中未示出预览显示区域。在第一阶段2910处，在角度编辑器2905中打开的多摄像机媒体片段包括五个角度。角度查看器2915被设置为一次显示四个角度，但当前仅在左上角具有一个角度。由于存在不止四个角度，因此媒体编辑应用程序将角度划分成(最多四个角度的)集合，并且用户可通过在角度查看器2915的底部选择角度集2925来在这些集合之间进行选择。在这种情况下，用户已选择具有单个显示的集而不是具有四个显示的集。
此外，在第一阶段处，用户已引发多摄像机片段的下拉菜单2930，并且正在从菜单中选择“添加角度”选项。在一些实施例中，客户可经由在角度的每一者的标头中显示的可选项来访问该下拉菜单。本领域的普通技术人员将认识到，可通过其他用户界面构造(例如击键、选项专用UI项、其他菜单等)来访问下拉菜单2930中的选项中的一些或全部。
第二阶段2920示出了该菜单选择的结果。在该阶段处，应用程序已将新角度添加至多摄像机媒体片段(直接在由其引发下拉菜单的角度之后)。在一些实施例中，这涉及将锚固群集添加至表示多摄像机媒体片段的多摄像机参照片段群集(即，诸如图20的群集2010的另一群集)。在一些实施例中，应用程序为新锚固群集分配由其访问菜单的角度的通道编号，并且递增所有更高编号角度的通道编号。因此，GUI2900现在(i)在角度编辑器2905中显示角度的新轨道2935，(ii)在角度查看器2915中显示角度的新显示区域2940，以及(iii)在集2925中角度的选定集合中显示附加的正方形。自动赋予新角度名称(例如，“未命名角度”、“角度6”等)。
在添加角度之后，用户可通过从片段浏览器中拖动片段来手动地将片段添加至角度。在一些实施例中，用户可在事件浏览器中选择片段集合，并将它们拖动到新角度的轨道中。自动地或响应于用户提示，媒体编辑应用程序使用部分III所述的过程(或其变型)来对多摄像机片段中的新添加片段进行排序和对齐。即，应用程序首先使用片段的定时元数据来对角度内的片段进行定序，然后相继使用定时元数据和音频同步来将序列与其他角度对齐。
图30示出了用户通过两个阶段3010和3020对GUI2900中的多摄像机媒体片段的角度进行重命名。如在第一阶段3010中所示，用户在角度编辑器2905中选择并且突出显示轨道2935的名称“未命名角度”。在一些实施例中，在角度编辑器中选择名称(例如，用点击、双击、轻按、两次轻按等)使名称变成可修改文本框。此时，用户可输入角度的新名称。
第二阶段3020示出了在用户已以名称“Matt”对由轨道2935表示的角度进行重命名之后的GUI2900。在一些实施例中，媒体编辑应用程序在角度的群集数据结构中修改角度名称，同时保持唯一角度ID恒定。因此，参照该角度的数据结构不需要更新，但相反地继续参照相同的唯一角度ID。在角度名称被修改的情况下，参照该角度ID的项现在将检索角度名称的不同信息。因此，角度查看器2915中的预览显示2940现在读取“Matt”而不是“未命名角度”。
图31示出了用户通过两个阶段3110和3120在GUI2900中从多摄像机媒体片段中删除角度。如在第一阶段3110中所示，用户通过轨道2935(角度“Matt'的轨道)的轨道标头来引发下拉菜单3105(类似于菜单2930)。在该菜单内，用户正在选择“删除角度”选项。
第二阶段3120示出了该菜单选择的结果。在该阶段处，应用程序已从多摄像机媒体片段中移除角度“Matt'。在一些实施例中，这涉及从表示多摄像机媒体片段的多摄像机参照片段群集(即，诸如图20的群集2010的群集)中移除具有匹配角度ID的锚固群集。因此，GUI2900现在(i)在角度编辑器2905中显示少一个的轨道，(ii)在角度“Amir'的显示3115已被移动到四个显示的第一集合中时在角度查看器2915中显示预览显示的不同集合，以及(iii)在集2925中显示少一个的正方形。在一些实施例中，在用户删除角度时，应用程序从多摄像机媒体片段结构中移除该角度的锚固群集，并且递减多摄像机媒体片段中任何更高编号角度的通道编号。
图32示出了用户通过三个阶段3210-3230对GUI2900中的多摄像机媒体片段的角度进行重新排序。第一阶段3210示出了用户已选择轨道3205并已开始向上移动轨道。在一些实施例中，角度编辑器2905中的轨道具有用户用其可选择用于重新排序的轨道的控键。在这种情况下，控键位于轨道标头的右侧。此时，角度“Amir'的选定轨道3205在角度“Jim'的轨道3215下方。
第二阶段3220示出了在用户继续在角度编辑器2905中向上移动轨道3205时的GUI2900。如图所示，一旦用户将选定轨道移动超过编辑器中的另一轨道，一些实施例自动将其他轨道滑动到先前被选定轨道占用的位点中。在这种情况下，轨道3215现在在选定轨道3205的下方，尽管用户尚未释放轨道3205。在执行这个操作时，一些实施例通过修改具有换出位置的两个角度的通道编号来自动更新多摄像机媒体片段数据结构以反映该重新排序。
由于重新排序，应用程序修改角度查看器2915中的预览显示的顺序。在阶段3210中，角度“Jim”的查看器是第三显示(左下)，而角度“Amir'的查看器是第四显示(右上)。在第二阶段3220处，这两个角度的查看器具有切换位置，映射出角度编辑器中的变化。
第三阶段3230示出了在用户已释放角度编辑器2905的第二狭槽中的轨道3205之后的GUI2900。因此，角度“Amir'在角度查看器2915中的预览显示现在在第二(右上)位置中，并且应用程序再次更新多摄像机媒体片段数据结构以反映排序中的这种变化(例如，通过修改角度的通道编号)。
C.角度编辑器中的附加编辑
上述子部分描述了为了对齐来自多摄像机媒体片段的不同角度的媒体片段进行的编辑操作以及修改多摄像机媒体片段的角度数据的操作。此外，一些实施例允许在角度编辑器内的其他编辑操作。例如，用户可将各种效果应用于角度编辑器中的片段。图33示出了将来自效果显示区域3315的黑白效果应用于角度编辑器3310中的片段3305。该效果将函数应用于受影响片段的颜色值。此外，用户可将变换、修剪、扭曲等效果应用于影响片段的显示图像的形状和尺寸的片段。在一些实施例中，通过在预览显示区域中的屏幕控件或者通过修改检查器中的效果变量来应用这些效果。
一些实施例允许用户将效果应用于全部角度而不是单个角度。用户可选择角度的所有片段并且然后从效果显示区域3315中选择效果，并且应用程序会将该效果应用于所有片段。类似地，在一些此类实施例中，通过预览显示区域的屏幕控件来定义变换(或修剪或扭曲)效果会将变换应用于选定角度的所有片段。然而，其他实施例一次仅将效果应用于单个片段。
V.编辑具有多摄像机片段的媒体项目
先前部分描述了多摄像机参照片段在角度编辑器中的编辑。多摄像机片段还可添加至媒体项目，这常类似于标准媒体片段。但是，与标准媒体片段的情况不同，一些实施例在媒体项目的数据结构中创建片段实例，该片段实例重新参照存储在事件中的参照片段。每个片段实例包括活动视频和音频角度，所述活动视频和音频角度指示哪个角度的视频和音频应在片段实例的持续时间内用于媒体项目。在此类实施例中，多摄像机片段实例的数据结构不同于图8中所示的时间轴片段的那些数据结构。
一旦添加至媒体项目，用户便可在片段实例上执行各种操作。用户可针对片段换出活动视频和/或音频角度，将片段拆分成针对实例的每一者而具有不同角度的两个片段实例，将效果应用于片段实例的特定角度，以及其他编辑操作。
A.将多摄像机片段实例添加至媒体项目
图34示出了通过GUI3400的三个阶段3410-3430将多摄像机媒体片段添加至媒体项目。除其他显示区域之外，GUI3400还包括片段浏览器3405和组合显示区域3415。组合显示区域当前正显示具有一个视频片段3407的媒体项目(“新项目”)的时间轴，该视频片段是在部分II中所述的种类的典型视频片段(即，具有两者均参照相同资产的视频组件和锚固音频组件的群集)。在片段浏览器3405内是事件“新事件10-28-11”中的各种片段，包括多摄像机参照片段3425。
第一阶段3410示出了用户已选择多摄像机参照片段3425。在第二阶段3420中，用户拖动该选择片段3425并且将该片段放置到组合显示区域3415中。第三阶段3430示出了该动作的结果，其中多摄像机片段实例3435现在是组合显示区域3415中的媒体项目的部分。用于片段实例3435的表示具有类似于视频片段3407的表示外观，但还包括多摄像机片段指示项(四个正方形，类似于在片段浏览器中的多摄像机参照片段上显示的正方形)以及角度名称而不是片段名称。在这种情况下，片段实例3435的活动视频和音频角度为“Amir'，这意味着，在应用程序对媒体项目进行回放、渲染、导出等时，其针对来自资产的由“Amir'角度中的片段所参照的那部分而发起输出。
为了为新添加的片段实例选择活动角度，不同的实施例作出不同的决定。一些实施例从事件中复制角度实例数据结构(例如，角度实例2012)并且为该结构使用活动视频和音频角度集合。在一些实施例中，这些活动视频和音频角度可由用户通过检查器显示区域来修改。
如所述，组合显示区域3415中的片段3435为片段实例，其参照多摄像机参照片段结构(例如，图20中所示的多摄像机参照片段结构)。图35在概念上示出了定义包括多摄像机片段实例3515的媒体项目的数据结构的子集。如图6中所示的项目一样，在一些实施例中，图35的数据结构全部包含在包含单个序列3500的项目数据结构内。
序列3500包括主群集数据结构3505，该主群集数据结构包括包含三个片段3510-3520的阵列。第一片段3510和第三片段3520是类似于图8的片段805-815的群集片段一其为独立或合成片段，所述独立或合成片段包含继而参照媒体资产的组件片段。
另一方面，角度实例片段3515，不包含任何嵌套片段。实例3515相反包含实例ID、片段参照、总范围和裁剪范围、活动视频和音频角度、效果栈集库、标记物以及速度效果。片段参照对存储在事件中的多摄像机参照片段进行参照(例如图20的参照片段2000)。在一些实施例中，片段参照包含事件ID和群集ID，而在其他实施例中，参照仅包含群集ID。角度实例3515是与图20中所示的角度实例2012相同类型的数据结构。但是，在时间轴序列中的角度实例3515仅存储对参照群集(例如参照群集2000)的参照(例如，指针)，而事件序列中的角度实例2012包含参照群集。一些实施例，在用户将片段实例添加至如图34所示的时间轴时，将角度实例数据结构从事件中复制到时间轴序列中，从而代替对参照群集的参照，这与使新实例实际上包含参照群集相反。
总范围，在一些实施例中，是实例所参照的多摄像机参照片段的总长度，并且基于多摄像机参照片段的当前状态而被继承。参照片段的总长度，在一些实施例中，是参照片段中的最长角度的持续时间，包括任何间隙片段。在一些实施例中，参照片段中的主间隙片段(其他片段被锚固而与其分离的间隙片段)接收该持续时间，并且因此确定参照片段的持续时间。在用户修改多摄像机片段的长度时(例如，通过使用角度编辑器)，媒体编辑应用程序更新实例3515的总范围。在一些实施例中，无论何时访问特定片段实例，应用程序更新该消息，因为片段实例的总范围是应用程序在根据参照片段的目前状态而需要时所填充的动态变量。裁剪范围，与其他片段的裁剪范围一样，可由用户通过标准裁剪操作在组合显示区域内修改。在用户将片段实例切分成两个此类实例时，这将还引起对裁剪范围的更改。在用户修改多摄像机参照片段的长度时，一些实施例不修改实例的裁剪范围，但这些实例的已渲染内容可因编辑而更改。
活动视频角度和活动音频角度是由角度实例存储的变量。在一些实施例中，在用户将角度实例添加至时间轴时，基于由事件中的角度实例存储的活动角度来设置这些变量。如将在下一个子部分中详细地描述，用户可使用各种操作来换出片段实例的音频或视频角度。应用程序允许活动视频角度不同于活动音频角度。例如，如果特定片段的视频不合适并且用户改为选择使用在同时捕捉的静态图像的序列，则可能仍需要将片段的音频用于静态图像序列的背景。在媒体编辑应用程序对组合演示文件进行回放、浏览、为导出而渲染等等时，应用程序使用活动角度的参照片段中的群集来识别将要检索的源媒体。
效果栈集库包含效果栈的集合：每个角度对应一个音频效果栈和一个视频效果栈。在渲染演示文件时，媒体编辑应用程序识别活动视频角度并且使用对应于该活动角度的效果栈。如将在部分VI中所述，一些实施例首先应用包含在参照片段内的效果(其将通常包含在用于参照片段内的特定片段的效果栈中)，然后接着为存储在片段实例中的活动角度应用效果栈。在一些实施例中，可对中间输出图像(在应用存储在参照片段中的效果之后)进行高速缓存以用于渲染多个片段实例。
标记物是一种作为锚固至角度实例存储的片段结构，并且在用户切换活动角度时不更改。用户可将标记物和关键字两者均应用于组合显示区域中的片段，并且无论片段是标准群集片段还是多摄像机片段实例，这些标记物和关键字均以相同的方式影响片段。速度效果是已应用于片段3515的重新定时效果。这些重新定时效果在提交于2011年5月17且名称为“Retiming Media Presentations'的美国专利申请No.13/109,989中详细描述，所述专利申请以引用的方式并入本文。在一些实施例中，重新定时效果不与效果栈一起存储并且不存储为与特定角度相关。在用户切换视频角度时，重新定时效果保持与片段实例在一起。重新定时效果(通过减慢或加快视频播放的速率)修改视频片段的长度。因此，通过将效果存储在片段实例上，媒体编辑应用程序防止活动视频角度的更改修改片段的长度。
本领域普通技术人员将认识到，一些实施例还可使用除多摄像机媒体片段之外的片段的参照片段。例如，用户可在已应用了特定效果的事件中创建合成片段，然后将合成片段的多个实例添加至媒体项目并且将不同效果应用于不同实例。如果用户然后修改了合成片段参照内的片段，则这些更改将由合成片段的各个实例继承。
上面的图34示出了用户将多摄像机媒体片段添加至组合显示区域，以及媒体编辑应用程序在于组合显示区域中显示的媒体项目中创建多摄像机片段的单个实例。在一些实施例中，在用户将片段添加至时间轴时，应用程序将多摄像机片段自动拆分成具有不同活动角度的若干实例。在一些实施例中，用户可将多摄像机参照片段内的片段或片段部分标记为收藏，并且媒体编辑应用程序使用该信息来生成具有不同角度的片段实例。
图36示出了用户通过两个阶段3610和3620将多摄像机片段3605添加至媒体项目的实例。第一阶段3610示出了用户将多摄像机片段3605添加至组合媒体项目，并且第二阶段3620示出了用于组合媒体项目的所得到的时间轴。如在第一阶段3610所示，用户已选择多摄像机参照片段3605并且将该多摄像机参照片段拖动到先前为空的组合显示区域3615中。
此外，第一阶段3610示出了用于多摄像机参照媒体片段3605的时间轴。多摄像机片段3605包括三个角度3625-3635。这些角度每者均包括一系列媒体片段，所述媒体片段中的一些已被用户标记为收藏。在一些实施例中，用户可在事件浏览器内将片段或片段的区段标记为收藏。此外，一些实施例允许用户在角度编辑器或组合显示区域内将片段标记为收藏。在组合显示区域内，用户可识别他们将可能想要在演示文件中使用的媒体片段的部分，并且照此标记该部分。此外，一些实施例允许用户将部分标记为已拒绝，指示用户希望避开的片段的区段(例如，由于摇晃的摄像机、不良的音频等)。因此，如果单个视频片段具有良好的分节以及不可用分节，则用户可能想要保持片段但标记不可用分节，使得该单个视频片段不在媒体项目中结束。
在参照片段3605的第一角度3625内，用户已将媒体片段3640的一部分以及媒体片段3645的整体标记为收藏(标记为收藏的部分在该实例中以灰色条示出)。在第二角度3630内，用户已将片段3650的第二半部标记为收藏，该第二半部在时间上与来自第一角度3625的片段3645部分地重叠。在最后角度3635中，用户已将片段3655标记为收藏。
第二阶段3620示出了在用户已将多摄像机片段3605添加至媒体项目之后的组合显示区域3615。不是创建如图34所示的一个片段实例，媒体编辑应用程序已自动创建四个单独的片段实例。第一片段实例3660具有角度3625作为其活动角度，因为该角度以标记为收藏的片段开始。一些实施例在多摄像机片段的时间轴中识别第一标记为收藏的片段部分，并且选择该角度用于第一片段实例。
在一些实施例中，应用程序使片段实例的持续时间延长超过角度的标记为收藏的部分的结尾，直至在不同角度中识别到标记为收藏的片段部分。在这种情况下，角度3635中的片段3655是多摄像机片段中标记为收藏的下一个片段。片段的标记为收藏的部分(其在这种情况下为片段的开始)在多摄像机参照片段时间轴的大约七分钟标记处开始。由于，该多摄像机媒体片段是媒体项目中的第一片段，因此多摄像机片段时间轴中的时间对应于媒体项目时间轴中的时间。因此，第二片段实例3665具有角度3635作为其活动角度，并且在媒体项目时间轴的大约七分钟标记物处开始。该片段的标记为收藏的部分在多摄像机参照片段时间轴的十分钟标记之前不久结束，但下一个标记为收藏的片段区段直到该十分钟标记之后不久才开始。
因此，第三片段实例3670就在十分钟标记之后便以活动角度3630开始。在大约十四分钟的时间时，多摄像机片段具有在角度3630中的标记为收藏的片段3650以及在角度3625中的片段3645。一些实施例，与该实例中的情况一样，直到当前角度不再标记为收藏时才切换角度，并且因此，切换到具有新片段实例3675的角度3625直到十五分钟标记之后在片段3650结束时才出现。
在一些实施例中，根据所标记的收藏选择切割片段实例是在将多摄像机片段添加至媒体项目时的用户选项。也就是说，用户可要么执行为片段实例选择一个活动角度的正常添加操作，要么选择执行搜索收藏且相应地划分片段实例的不同的添加操作。
B.编辑多摄像机片段实例
一旦多摄像机片段实例被添加至媒体项目，用户便可用多摄像机片段实例来执行各种编辑操作。与其他片段一样，用户可移动多摄像机片段实例，删除片段实例，将片段实例锚固至其他片段，使其他片段锚固至片段实例，裁剪片段实例，将片段实例拆分为两个，等等。此外，用户可执行专用于多摄像机片段的操作，诸如切换活动角度(针对音频和视频两者)并且将片段实例拆分为两个以便更改片段的一部分从而使用不同的活动角度。
用户还可使用片段实例来启动角度编辑器并且对片段实例所参照的多摄像机参照片段进行编辑。图37示出了用户针对组合显示区域3700的两个阶段3710和3720内的多摄像机片段而打开角度编辑器。在第一阶段中，组合显示区域显示包括多摄像机片段实例3705的名为“新项目”的媒体项目。用户已选择多摄像机片段实例3705并且已为片段启动菜单3715(例如，通过右键点击、双指触击等)，该菜单具有与选定片段有关的各种可选选项。该图示出了用户选择选项“在角度编辑器中打开”。
第二阶段3720指示了该选择的结果。组合显示区域3600现在显示片段实例3705所参照的参照片段的时间轴。如左上所示，不是显示“新项目”，显示区域现在显示来自事件“新事件10-28-11”的“未命名多摄像机片段”，以指示用户所进行的任何编辑将应用于存储在事件中的参照片段而不是媒体项目中的片段实例。此外，一些实施例突出显示GUI的片段浏览器中的参照片段。如果用户然后对参照片段进行更改，则这些更改将还反映在片段实例3605中，以及在当前或其他媒体项目中的任何其他片段实例中。
1.检查器中的信息
在用户选择组合显示区域中的媒体片段时，一些实施例在检查器显示区域(例如图3的显示区域325)中显示关于选定片段的信息。在多摄像机媒体片段实例被选择时，一些实施例的检查器显示关于检查器中的活动角度的信息。此外，检查器的不同选项卡可显示关于多摄像机参照片段属性、活动音频角度的音频属性以及活动视频角度的视频属性的信息。
图38-41示出了选定片段3805以及已选定片段3805的检查器显示区域的不同选项卡。图38具体地示出了组合显示区域，该组合显示区域显示包括两个多摄像机片段实例的媒体项目。已选择的第一多摄像机片段实例3805具有“Viega'的活动视频角度以及“Nathaniel'的活动音频角度。另一方面，第二片段实例，则具有“Viega'作为其活动视频角度和活动音频角度两者。
图39示出了作为片段3805的选择的结果的检查器显示区域3900。在该图中，在检查器显示区域中选择了视频选项卡3905，检查器显示区域还具有音频选项卡3910和信息选项卡3915。检查器的顶部部分通过使用多摄像机指示项(与用于片段浏览器中的多摄像机参照片段或者组合显示区域中的多摄像机片段实例的指示项类似)，以及通过指示活动视频和音频角度，来指示选定片段是多摄像机片段。
此外，检查器显示有关多摄像机片段实例的活动视频角度的各种视频信息。具体地，检查器显示与应用于片段实例的活动角度的任何效果相关的信息。在这种情况下，用户尚未将任何特定效果应用于“Viega'视频角度。但是，如果用户已应用颜色校正，已应用像素修改效果，已对视频进行变换、修剪或扭曲等，则只要“Viega'为活动角度，该信息便将显示。如果用户要将活动视频角度切换至“Nathaniel'，则在检查器3900中将显示与针对该角度而存储在效果栈中的任何效果相关的信息。但是，一些实施例的检查器3900中的视频属性不显示应用于多摄像机参照片段内的角度“Viega'的片段的任何效果。为针对选定多摄像机片段实例而填充检查器，媒体编辑应用程序识别活动视频角度并且访问用于该角度的针对该实例而存储在数据结构中的视频效果栈。为了查看和修改多摄像机参照片段中的片段上的效果，用户可在事件中选择参照片段。
图40示出了选择了音频选项卡3910的检查器显示区域3900。检查器的顶部部分与图39中相同(指示活动视频和音频角度)，但该顶部部分下方的部分包括关于音频效果而不是视频效果的信息。在这种情况下，所示的音频效果是那些针对角度“Nathaniel”(用于选定片段实例的活动音频角度)存储在音频效果栈中的那些音频效果。与视频信息一样，应用程序识别活动音频角度并且访问用于该角度的存储在实例数据结构中的音频效果栈。
图41示出了选择了信息选项卡3915的检查器显示区域3900。与前两个图不同，在前两个图中，检查器显示关于活动角度的信息，而用于多摄像机片段实例的信息选项卡显示多摄像机参照片段的视频和音频属性。这些包括诸如格式(720p)、尺寸(1280×720)及帧频(30fps)的视频属性，以及诸如音频信道计数及采样率的音频属性。其他信息中的一些是在检查器内用户可修改的，诸如片段名称、任务及摄像机名称。在一些实施例中，在检查器内修改该信息会修改用于多摄像机参照片段的该信息(在诸如摄像机名称或片段名称的信息的情况下)或者用于活动角度或参照片段中的所有片段的组件(如，用于任务)的该信息。在其他实施例中，对该信息的更改仅影响片段实例。
除提供关于哪个角度是活动的信息之外，一些实施例允许用户通过检查器来切换活动角度。图42示出了用户针对GUI4200的两个阶段4210-4220内的检查器中的选定片段实例切换活动视频角度。除其他显示区域之外，GUI4200还包括组合显示区域4205、检查器显示区域4215、预览显示区域4225及角度查看器4227。
在第一阶段4210中，用户已在组合显示区域4205中选择多摄像机片段实例4230。如图所示，该片段实例具有“Viega'的活动视频角度以及“Nathaniel”的活动音频角度。因此，预览显示区域4225显示来自角度“Viega'中的媒体片段的视频图像。在检查器内，用户已选择视频角度以便启动下拉菜单4235。该下拉菜单包括用于多摄像机片段参照中五个角度中的每一者的可选菜单选项。菜单4235在当前选择的选项(“Viega')旁边显示了一个勾。用户已将光标放在选项“Amir'上以便为视频角度选择该选项。
第二阶段4220示出了用户为“Amir”视频角度进行的菜单选项的选择的结果。检查器显示区域4215现在指示活动视频角度为“Amir”，与组合显示区域4205中的片段4230一样。预览显示区域4225现在也显示来自该角度中的片段的视频图像。在角度查看器4227内，应用程序已借助边界及指示活动视频角度的视频图标来突出显示“Amir”角度的预览显示4240。
2.将角度查看器用于编辑
除使用检查器来为片段切换活动角度之外，媒体编辑应用程序的用户还可使用角度查看器来在多摄像机片段实例上执行某些编辑操作。以下实例将在具有四个预览显示并且在所述显示中示出角度名称的查看器的上下文中进行描述，但本领域普通技术人员将认识到，在一些实施例中，其他选项也可供使用(例如，不同数量的预览显示以及显示了关于角度的不同信息，如图22所示)。
图43示出了如在用户正在组合显示区域中编辑媒体项目时所显示的一些实施例的角度查看器4300。角度查看器4300包括可选项4305-4315、四个预览显示4320-4335以及角度集4340。可选项4305-4315允许用户切换内容的类型，针对该内容，片段实例的活动角度将通过对各个预览显示的选择而被修改。在用户选择所述显示中的一者时，媒体编辑应用程序要么将当前多摄像机片段实例的活动角度切换至对应于选定显示的角度，要么将当前片段实例拆分成两个实例，所述实例中的一者具有选定角度。
在这种情况下，可选项4305用于将音频和视频角度两者均切换至选定角度，可选项4310用于将仅视频角度切换至选定角度，并且可选项4315用于将仅音频角度切换至选定角度。在图43中，可选项4305当前被选择。在一些实施例中，项的每一者在被选择时具有不同的特定外观(例如，颜色、样式、灰度等)(例如，黄色用于音频和视频两者，蓝色仅用于视频，以及绿色仅用于音频)。这种颜色编码(或其他外观区分器)可用于角度查看器中以识别与活动角度相关的显示以及识别活动角度在集4340中的位置。
四个预览显示4320-4335每者均为多摄像机媒体片段中的角度中的一者显示图像。在一些实施例中，由于播放头在组合显示区域中的多摄像机媒体片段上移动(在回放媒体项目或浏览媒体项目的同时)，因此应用程序在角度查看器中显示来自不同角度的对应于播放头的时间的图像。预览显示还指示特定角度何时是活动音频角度或活动视频角度。此刻，活动音频角度为“Nathaniel”，在左上显示4320中示出。显示器4320具有绿色突出显示的边界并且示出了与用于可选项4315的相同的音频图标。活动视频角度不是当前在四个显示的任一者中所示的角度中的一者。在一些实施例中，如所述，预览显示的突出显示的外观(例如，颜色、样式等)与可选项4305-4315的外观匹配。
角度集4340示出了多摄像机片段中的角度的总数量以及这些角度如何分解为可查看的集合。在该实例中，集4340包括四个角度的第一集合以及一个角度的第二集合。这些集合在集4340内是可选的，因为用户可选择集中的一者以便查看由选定集所表示的特定角度的预览显示。例如，用户可选择具有单个正方形的集以便在角度查看器4300中查看多摄像机片段的第五角度的预览显示。此外，集指示在活动视频角度和活动音频角度的角度的集合中的位置。在该图中，第一集中的左上正方形涂为绿色以指示活动音频角度(“Nathaniel”)，而第二集中的单个正方形涂为蓝色以指示活动视频角度。
如上文所述，一些实施例在可选项4305-4315、预览显示4320-4335以及集4340之间使用一致的颜色编码以指示活动角度的不同类型的内容。在该实施例中，视频角度为蓝色，音频内容为绿色，并且在同一角度为活动视频角度和活动音频角度两者时，该角度为黄色。本领域普通技术人员将认识到，任何不同颜色或其他指示项方案均可用于不同的活动角度——例如，使用颜色的不同集合、使用不同灰度、为不同类型的内容使用不同样式，等等——并且绿色、蓝色和黄色的选择仅是一个特定选择。
除显示不同活动角度的当前状态之外，角度查看器4300还允许用户更改多摄像机片段实例的活动角度或者将实例拆分成两个具有活动角度的单独实例。图44A-D示出了通过GUI4400的七个阶段4410-4470使用角度查看器来编辑媒体项目中的多摄像机片段的各种实施例。除其他显示区域之外，GUI4400还包括角度查看器4425、预览显示区域4405和组合显示区域4415。
角度查看器4425类似于查看器4300，但具有不同顺序的角度以及在预览显示4426-4429中所示的独立片段名称而不是角度名称。在第一阶段4410处在查看器中示出的角度为显示4426中的“Nathaniel”、显示4427中的“Lam”、显示4428中的“Jim”以及显示4429中的“Amir”。此外，第五角度“Viega”未在这四个显示中的任一者中示出，但可通过集4435访问。查看器具有三个可选项4431-4433，具有与项4305-4315相同的功能。
在阶段4410处，组合显示区域4415显示具有若干片段的媒体项目，包括多摄像机片段实例4445，该多摄像机片段实例在该阶段的活动角度对于视频角度而言为“Amir”以及对于音频角度而言为“Viega'。在图44的七个阶段期间，用户回放组合显示区域4415中所示的媒体项目。因此，播放头4455在这些阶段4410-4470的进程内在组合演示文件上移动。
在阶段4410处，角度查看器4425示出了用于修改视频角度的可选项4432在当前被选择。此外，显示4429突出显示为蓝色且具有视频图标以便指示“Amir”为活动视频角度。由于这是活动角度，因此来自该角度的视频还在主预览显示区域4405中出现。
用户已将光标放在显示4426上。在一些实施例中，光标变成剃须刀片图标以便指示，选择该显示将使应用程序在于播放头4455之后切换新创建片段实例的活动角度的同时，在播放头当前所指示的时间处切分片段实例。在一些实施例中，光标显示为刀片并且角度显示的选择使实例拆分为两个，除非用户在进行选择的同时提供辅助输入，例如按住特定键、提供不同类型的触摸输入等等。
第二阶段4420指示了用户在先前阶段中选择角度显示4426的结果。因此，活动视频角度现在是“Nathaniel”角度，在显示4426和预览显示区域4405中示出。此外，在集4435中，第一集中的左上正方形突出显示为蓝色以指示新活动视频角度。媒体编辑应用程序已通过修改片段4445的裁剪范围并且创建新片段实例4446来将片段实例4445拆分为两个实例，该新片段实例具有在先前阶段中的播放头的时间处开始并且继续至媒体片段的结尾(实例4445的先前结束时间)的裁剪范围。如所指示，片段实例4445保持具有相同的活动角度，而新片段实例4446具有“Nathaniel”的活动视频角度以及“Viega”的活动音频角度。此外，用户在该阶段中选择项4431。
第三阶段4430示出了可选项4431现在被突出显示(为黄色)，作为先前阶段处的用户选择的结果。该项，如上文所述，允许用户将活动视频角度和活动音频角度两者均切换至选定角度。此外，用户已将光标放在角度“Jim”的显示4428上，光标再次显示为刀片图标。
第四阶段4440示出了在先前阶段中对角度显示4428的选择的结果。活动音频和视频角度现在是“Jim”角度，在显示4428和预览显示区域4405中示出。此外，集4435不再显示蓝色或绿色正方形，但相反地将左下正方形显示为黄色。媒体编辑应用程序已通过修改片段4446的裁剪范围并且创建新片段实例4447来将片段实例4446拆分为两个实例，该新片段实例具有在片段实例4446的范围停止的地方开始的裁剪范围。片段实例4446保持具有相同的活动角度，而新片段实例4447具有“Jim”的活动视频和音频角度。此外，用户在该阶段处选择项4433。
第五阶段4450示出了可选项4433现在被突出显示(为绿色)，作为先前阶段处的用户选择的结果。此外，用户已选择显示4429以切分片段实例4447并创建新片段实例4448，该新片段实例具有“Jim”的活动视频角度以及“Amir”的活动音频角度。因此，先前黄色突出显示的显示4428现在被突出显示为蓝色以指示活动视频角度，而显示4429被突出显示为绿色以指示活动音频角度。
在该阶段处，用户还已将光标放置在集4435中的单个正方形上以便选择该项。在一些实施例中，集的每一者均为单独可选项，对该单独可选项的选择会使角度查看器显示与在选定集中所表示的角度相关的角度显示。
第六阶段4460示出了用户在先前阶段中选择具有单个角度的集的结果。角度查看器现在于显示4426中显示来自角度“Viega”的图像。此外，用户已将光标放置在该显示上，并且应用程序将该光标显示为手图标而不是刀片图标。在一些实施例中，用户可按住特定键，或者提供不同的选择输入，以便通过查看器交换角度而不是用刀片工具创建新片段实例。应用程序在GUI中提供不同指示项，以让用户知道选择是将拆分片段实例还是将切换片段实例的角度。
第七阶段4470示出了用户在先前阶段中选择显示4426的结果。不是创建新片段，媒体编辑应用程序已修改片段实例4448使得活动音频角度为“Viega'而不是“Amir”。为此，应用程序仅需要修改片段实例的数据结构以更改活动音频角度变量。此外，显示4426及集4435中的对应正方形现在两者均被突出显示为绿色。
图44示出了角度实例全部位于时间轴的主通道中的情况。在一些情况下，用户可能创建使第一角度实例锚固至第二角度实例的组合演示文件，使得两个角度实例均在不同通道中位于组合演示文件内的某些时间处。一些实施例显示来自针对这些时间位于两个通道的更高者中的角度实例的角度的视频，除非该实例被禁用。在不止两个实例共享某时间时，应用程序在角度查看器中显示来自具有最高通道编号的实例的角度。一些实施例针对此类情形(要么自动地，要么通过用户请求)显示第二角度查看器，从而允许用户查看和编辑实例的任一者。当在两个或更多个片段实例之间定义合成模式(例如，融合)时，一些实施例的主预览显示区域显示作为融合结果的输出图像。
图45在概念上示出了用于在用户使用角度查看器来切分片段实例时修改媒体项目的数据结构的一些实施例的过程4500。如图所示，过程4500以(在4505处)接收通过角度查看器的选择来切分和切换组合演示文件中的多摄像机片段实例开始。图44示出了此类选择的实例；例如，当用户在阶段4410中选择显示4426时。
过程(在4510处)识别多摄像机片段实例中的新编辑点被裁剪的时间。在一些实施例中，该编辑点是播放头在组合显示区域中的多摄像机片段实例上的位置。一些实施例包括编辑播放头和浏览播放头两者，用户可在特定时间锁定该编辑播放头或者设置该编辑播放头以实时速率回放组合演示文件，并且当光标在组合显示区域中的片段上移动时，该浏览播放头与光标一起移动。在一些实施例中，应用程序使用编辑播放头的位置来确定在多摄像机片段实例中的将要设置为新编辑点的时间。虽然图44的实例示出了用户随着播放头以恒定速率移动通过时间轴来编辑片段实例，但用户还可以选择时间轴内的时间以将播放头固定在该点，然后在角度查看器中选择角度。
过程然后对组合演示文件中的现有多摄像机片段实例的退出点(在4515处)进行裁剪以匹配已识别编辑点。在一些实施例中，这涉及修改角度实例数据结构的裁剪范围使得裁剪范围的开始时间不改变而裁剪范围的结束时间匹配新编辑点。
过程还(在4520处)在演示文件中生成具有立即继新编辑点之后的进入点以及匹配现有片段实例的先前退出点的退出点的新片段实例。也就是说，新片段实例的裁剪范围在已存在的片段实例的新退出点之后的一个帧处开始，并且在接收刀片和切换输入之前在现有片段实例结束的相同时间结束。在一些实施例中，在组合演示文件的数据结构中，在分解为两个的先前存在的片段实例之后直接创建新片段实例。如果实例在组合显示区域的主合成通道中(如图44所示)，则这些新片段实例将在组合演示文件的主群集的阵列中被定义为后续元素。
在修改片段之后，过程基于由所述选择所切换的内容的类型来(在4525处)修改新片段实例的活动角度。也就是说，新片段实例是先前存在的片段实例的复本，但裁剪范围以及活动角度的至少一者例外，因为新片段存在参照相同的多摄像机参照片段，具有相同的总范围，等等。在当前活动的选择工具仅用于修改音频时，则媒体编辑应用程序将新片段实例的活动音频角度更改为选定角度，活动视频角度保持与先前片段实例相同。类似地，在选择工具仅用于修改视频时，则应用程序将新片段实例的活动视频角度更改为选定角度，活动音频角度保持与先前片段实例相同。在选择工具修改音频和视频两者时，应用程序将两个活动角度均更改为选定角度。
在一些实施例中，对由此类切分过程所创建的多摄像机片段实例的编辑以不同于媒体编辑应用程序的其他编辑方式来处理。如下文将在以下部分中所述，由于这些隔断编辑基本上基于角度切换来拆分连续多摄像机片段，因此一些实施例允许用户快速地移除编辑并且合并两个片段实例。此外，与其他编辑点相比，应用程序在编辑此类隔断编辑时使用不同的默认裁剪编辑。
在描述在时间轴内对多摄像机片段进行编辑之前，将描述角度查看器的显示特征。如上述部分所提及，媒体编辑应用程序GUI中的许多显示区域在尺寸上可被修改。图46示出了通过三个阶段4610-4630在查看器正显示四个角度预览显示时改变角度查看器4600的尺寸的效果。
第一阶段4610示出了具有四个显示区域的角度查看器4600以及与角度查看器邻接的预览显示区域4605。用户已将光标放置在两个显示区域之间的边界或者接缝上，这使GUI将光标显示为具有指示接缝可移动的方向的箭头的条。如在阶段4620处所示，用户将边界向左移动，从而增加预览显示区域4605的尺寸，并且相应地减小角度查看器4600的尺寸。
在第三阶段4630处，用户已继续将接缝向左移动。这使角度查看器4600不再以2×2构形对显示区域进行显示，而是相反使用1×4显示来更有效地利用在角度查看器显示区域4600中可用的空间。除修改显示的构形之外，应用程序相应地更改角度查看器4600中的集的构形。虽然在第一阶段4610和第二阶段4620中，四个角度的集4625在2×2正方形中示出，但第三阶段4630将该集4625示出为矩形的1×4集合。
在一些实施例中，一旦独立角度显示区域在新的1×4构形中将比在2×2构形中更大，媒体编辑应用程序切换角度查看器的显示。一些实施例还针对较少或更少的角度显示的组执行此类构形更改。例如，除其他选项之外，在1×2或2×1构形中可显示2屏查看器(具有两个角度显示)，并且在4×4或2×8构形中可显示16屏查看器(具有十六个角度显示)。
3.在时间轴中编辑多摄像机片段实例
除使用角度查看器和检查器来修改多摄像机片段实例的活动角度之外，用户可在组合显示区域中执行此类动作，以及执行专用于多摄像机片段的各种其他编辑动作。专用于多摄像机片段的许多此类编辑操作通过编辑应用程序的对“隔断编辑”的识别以及对隔断编辑与其他编辑点的区分来启用。如上文所述，在一些实施例中，隔断编辑是当第一多摄像机片段实例具有在多摄像机片段参照中比第二多摄像机片段实例的进入点提前一个帧的退出点时，该第二多摄像机片段实例在时间轴中直接跟随第一片段实例。
图47示出了使用组合显示区域4700中的菜单来在三个阶段4710-4730内切换选定多摄像机片段实例4705的视频角度。在第一阶段4710中，片段实例4705被选择并且用户已启动下拉菜单4715。此时，如片段标题所示，角度“Amir'是片段实例4705的活动视频和音频角度。在菜单4715内，用户已选择选项“活动视频角度”，这使子菜单4725的显示示出片段实例的五个可能视频角度。由于当前选定的视频角度为“Amir'，因此在子菜单中该选项当前被打勾。
第二阶段4720示出了在子菜单4725中对角度“Nathaniel'的选择，并且第三阶段4730示出了该动作的结果。在该阶段处，多摄像机片段实例4705现在具有“Nathaniel”的活动视频角度以及“Amir”的活动音频角度。与用于切换角度的先前所述动作一样，一些实施例的媒体编辑应用程序修改片段4705的角度实例数据结构的活动视频角度以便实现该切换。这样做会使应用程序针对选定角度从片段的效果栈集库换入视频效果栈，以用于对片段执行任何渲染操作。
图48示出了在四个阶段4810-4840内在一些实施例的组合显示区域4800中切换视频角度的不同方式。在这种情况下，媒体编辑应用程序响应于用户选择输入而显示角度查看显示区域或者平视显示(“HUD”)。如图所示，在第一阶段4810处，具有活动视频和音频角度“Amir”的多摄像机媒体片段实例4805被选择。用户已针对该选定片段发起菜单4815的启动。在菜单内，用户选择“查看角度HUD'选项。
第二阶段4820示出了作为该选择的结果，应用程序现在于GUI中在选定片段实例上方显示角度查看HUD4825。一些实施例的角度查看HUD允许用户在可用于多摄像机片段实例的各种视频角度之间轮转。用户可对与不同角度相关的视频和音频进行回放或浏览。如图所示，在发起时，角度查看HUD4825在其中心显示当前选定角度(“Amir”)的视频。其他选项在显示区域的侧部示出，以便用户通过与用户界面的交互(例如，诸如右箭头和左箭头的键，或者对HUD内的项的选择)将它们轮转到中心中。片段实例4805所参照的多摄像机参照片段具有两个角度，因此仅一个其他图像示出在左侧。在显示区域的底部是指示项，所述指示项在视觉上向用户指示角度中的哪一者当前被选择为活动视频角度。如星号指示项所示，右侧上的角度(“Amir”)在当前被选择。在一些实施例中，用户可选择这些指示项或者选择在显示的侧部的图像，以便在各个角度之间轮转。在这种情况下，用户被示出为选择在HUD4825的左侧上的其他图像。
第三阶段4830示出了在用户选择该图像之后，HUD现在在其中心处为角度“Nathaniel”显示视频图像。选择指示项在用户发起查看器4825时仍指示“Amir”角度被选择，因为两个指示项中的右侧者保持星号。在该阶段处，用户选择“完成”GUI项，以便选择“Nathaniel”视频角度。
第四阶段4840示出了该选择的结果，因为多摄像机片段实例4805现在指示“Nathaniel”的视频角度以及“Amir”的音频角度。虽然该实例示出了使用角度查看HUD4825来选择视频角度，但一些实施例允许用户也通过HUD来选择片段实例的音频角度。一些实施例包括类似于图43的角度查看器4300中所示的那些可选项的可选项，所述可选项允许用户在音频、视频或两者之间进行选择以确定将针对哪种类型的内容来通过对查看HUD中的不同角度的选择而修改一个或多个活动角度。
虽然图47示出了在时间轴中切换多摄像机片段实例的活动视频角度，但图49示出了在两个阶段4910和4920内使用类似菜单来在组合显示区域4900中切换选定多摄像机片段实例4905的活动音频角度。在第一阶段中，片段实例4905被选择并且用户已启动下拉菜单4915。此刻，如片段标题所示，片段实例4905的活动视频角度为“Nathaniel”且活动音频角度为“Amir'。在菜单4915内，用户已选择选项“活动音频角度”，以使子菜单4925的显示示出该片段实例的五个可能音频角度。由于当前选定的音频角度为“Amir'，因此在子菜单中该选项当前被打勾。在该阶段处，用户在子菜单4925中选择角度“Viega'。
第二阶段4920示出了该选择的结果，因为多摄像机片段实例4905现在具有“Viega'的活动音频角度。与用于切换角度的先前所述动作一样，一些实施例的媒体编辑应用程序修改片段4905的角度实例数据结构的活动音频角度以便实现该切换。这样做会使应用程序针对选定角度换入来自片段的效果栈集库的音频效果栈，以用于对片段执行任何渲染操作。
除切分片段并更改片段实例的活动角度之外，一些实施例的媒体编辑应用程序还提供各种编辑操作以影响多摄像机片段实例。举例来说，应用程序针对媒体项目中的标准媒体片段可用的许多标准编辑操作也可用于多摄像机片段实例：除其他操作之外，对活动角度的视频或音频效果的应用(像素修改效果、变换、扭曲等)、裁剪操作(波纹、滚动、滑移、滑动)以及使用多个通道的合成操作(融合、画中画等)。此外，一些实施例提供专用于多摄像机片段实例的操作或者改变如何将某些操作应用于多摄像机片段实例。
许多此类操作涉及媒体编辑应用程序对隔断编辑的处理。如上文所述，在一些实施例中，在用户切分多摄像机片段实例并且第一片段的得到的退出点立即位于第二片段的得到的进入点之前(也就是说，多摄像机参照片段时间轴内的时间在不存在中断的情况下从第一片段顺畅地流至第二片段)时，出现隔断编辑。因此，在两个片段实例上回放媒体项目涉及贯穿多摄像机片段的连续回放，但是具有在活动视频或音频角度(或两者)上的切换。虽然媒体项目中两个片段之间的编辑点通常在GUI中显示为实线，但一些实施例将隔断编辑显示为虚线以在视觉上向用户指示隔断编辑的存在。
图50示出了在两个阶段5010和5020内删除组合显示区域5000中的隔断编辑以便将两个多摄像机片段实例组合成单个实例。如在第一阶段处所示，组合显示区域5000显示媒体项目的表示，该媒体项目除其他片段外包括第一多摄像机片段实例5005和第二多摄像机片段实例5015。这些片段两者均参照相同的多摄像机参照片段，但第一片段实例5005具有“Amir'的活动视频和音频角度，而第二片段实例5015具有“Viega'的活动角度。
这两个片段实例5005和5015之间的编辑点为隔断编辑，因为除参照相同的参照片段之外，这些片段还参照多摄像机参照片段中的后续内容。在第一阶段5010中，用户已选择该编辑点并且已启动包括选项“删除编辑”的菜单5025。在一些实施例中，该菜单选项仅在用户选择隔断编辑(与两个不相关媒体片段之间的普通编辑相反)或者甚至不参照后续参照片段材料的两个片段实例时可用。
第二阶段5020示出了该选择的结果，因为媒体编辑应用程序已删除第二片段实例5015并且已延长片段实例5005的持续时间。在一些实施例中，应用程序在扩展第一片段实例的裁剪范围的同时从媒体项目中移除第二片段实例的数据结构，使得参照片段时间轴中的退出点匹配现已删除的片段实例的退出点。虽然该实例示出第二片段实例(时间轴中更晚的片段)被删除，但一些实施例自动删除更早的实例(并且更改更晚的实例的进入点)，或者允许用户选择将要删除两个实例中的哪一者。此外，虽然该图示出菜单选择，但一些实施例允许用户通过其他交互删除编辑点，所述其他交互诸如删除键或击键的不同集合。
除图50中所示的片段删除之外，一些实施例还将在具体编辑场景中自动删除片段实例。在两个片段实例被隔断编辑分隔并且用户修改实例中的一者以使相同活动角度作为其他实例时，一些实施例对此进行自动识别并且组合这两个片段实例(通过删除实例中的一者并且根据需要修改其他实例的进入点或退出点)。
即使在两个连续多摄像机片段实例因为活动角度中的一者(视频或音频角度)在这两者中是不同的而不能组合时，一些实施例仍会在这两个片段实例共享活动角度的一者时，针对某些动作将这两个片段的视频或音频当作单个片段。例如，在活动音频角度相同但却具有不同的活动视频角度时，某些音频相关动作将被应用于这两个片段实例。
图51示出了在组合显示区域5100的两个阶段5110和5120内修改由隔断编辑分隔的两个片段实例5105和5115的音量水平。第一片段实例5105具有“Amir'的视频角度以及“Nathaniel'的音频角度，而片段实例5115具有“Viega'的视频角度以及“Nathaniel'的音频角度。在该图中，用户已更改组合显示区域5100中的片段显示，以更好地突出显示音频波形而不是视频缩略图。
如在第一阶段5110中所示，用户已将光标放在于音频波形的顶部处所示的音频音量线上，并且已选择该音量线。在一些实施例中，该音频音量线为允许用户为媒体片段修改音频的音量的UI工具。在用户选择该UI工具时，一些实施例提供指示特定片段的音量的显示——在这种情况下，-7分贝。用户可向上或向下移动该UI工具以便修改片段的音量。
第二阶段5120示出了在用户已向上拖动音频音量线以便将片段的音量更改为+9分贝之后的片段实例5105和5115。如图所示，用户拖动第一片段实例5105内的音量线。但是，由于两个片段之间的编辑点为隔断编辑并且视频角度对于两个片段而言是相同的，因此应用程序自动像一个片段那样来处理音频，并且将相同效果应用于两者。因此，不仅片段实例5105的音频的音量被升高至+9dB，而且片段实例5115的音频的音量也增加。
在一些实施例中，应用于一个片段实例的其他音频效果(平移、声音生成效果等)也将应用于具有相同音频角度且被隔断编辑划分的相邻片段实例。在一些情况下，全部被隔断编辑划分(即，共同参照多摄像机参照片段中的连续时间轴)并且共享相同音频角度的若干后续片段可出于音频效果的目的(诸如图51所示)而被共同处理。
除在多个实例上应用音频效果之外，当视频角度在被隔断编辑划分的连续片段实例上是相同的时候，一些实施例还以类似的方式应用视频效果。图52示出了用户在两个阶段5210和5220内将视频效果应用于组合显示区域5200中的一对片段实例5205和5215。第一片段实例5205具有“Viega'的活动视频角度以及“Nathaniel'的活动音频角度，而第二片段实例5215具有“Viega'的活动视频角度以及“Lam'的活动音频角度。
在一些实施例中，用户可将视频效果从效果显示区域(例如图3的显示区域330)拖动到片段上，以便将该效果应用于该片段。在图52的第一阶段5210中，用户已将效果(BokehRandom效果)拖动到多摄像机片段实例5215上以便将该片段应用于片段实例的活动视频角度(“Viega')。如在该阶段处所示，这样做不仅突出显示片段实例5215，而且还突出显示片段实例5205。片段实例5205具有与片段实例5215相同的活动视频角度，并且仅通过隔断编辑与另一实例分隔。因此，应用程序将Bokeh Random效果应用于片段实例5205和5215两者。
第二阶段5220示出了在检查器显示区域5225中对效果的应用的结果。在组合显示区域中，用户已选择多摄像机片段实例5205，并且检查器显示区域5225显示该选定片段的视频信息。如图所示，视频信息包括在先前阶段中拖动到片段实例5215上的效果BokehRandom。这指示，媒体编辑应用程序已针对片段实例5205中的“Viega'角度以及片段实例5215中的“Viega'角度将该效果添加至视频效果栈。在一些实施例中，在用户针对所述片段的一者而修改效果参数时，这还影响其他相邻片段实例的效果栈。
先前两个实例示出了自动将各种音频和视频效果应用于多个多摄像机片段实例。在一些实施例中，用户具有是影响被隔断编辑分隔的多个实例还是仅影响效果直接所应用到的片段的选项。用户可切换设置、按住特定键或键的集合等等以便确定是否同时影响一个或多个片段。
与标准媒体片段相比，在将用户动作应用于多摄像机片段实例时，媒体编辑应用程序在某些情况下还使用不同默认设置。例如，当正被裁剪的编辑边界是在两个片段实例之间的隔断编辑时，一些实施例将不同默认裁剪编辑应用于片段。裁剪编辑，在一些实施例中，是修改两个片段之间的编辑点的编辑。在编辑边界处应用的裁剪编辑的实例包括波纹编辑(其更改在编辑边界处的片段中的仅一者的持续时间)以及滚动编辑(其增加片段中的一者的持续时间，同时相应地减少另一片段的持续时间)。其他裁剪编辑包括滑动编辑(其在时间轴中移动选定片段，使得选定片段的一侧上的片段在持续时间上减少，而选定片段的另一侧上的片段在持续时间上增加)以及滑移编辑(其在不使片段在时间轴中移动的情况下更改选定媒体片段的进入点和退出点)。
图53和54示出了两个标准媒体片段和两个多摄像机片段参照之间的编辑点处应用的默认裁剪编辑的差异，在所述两个多摄像机片段参照中，编辑点为隔断编辑。在一些实施例中，在用户将光标放在编辑点旁边时，媒体编辑应用程序假设用户希望在该边界处执行裁剪编辑(例如，波纹编辑)。此外，用户可选择裁剪工具，该裁剪工具提供通过将光标移动到片段的不同部分上来访问多个不同裁剪编辑(例如，波纹、滚动、滑移、滑动，如上文所述)的能力。下图指示了在针对一些实施例不选择裁剪工具时默认裁剪编辑中的差异。
图53示出了作为在组合显示区域5300的三个阶段5310-5330内对标准媒体片段进行的波纹编辑的默认裁剪编辑，而图54示出了作为在组合显示区域5400的三个阶段5410-5430内对多摄像机媒体片段实例进行的滚动编辑的默认裁剪编辑。
在图53的第一阶段5310中，用户已选择两个片段5305和5315之间的编辑点。这些片段为具有音频和视频组件的标准媒体片段(例如，图8的片段805)。在用户将光标向左移动时，编辑点处的光标显示波纹编辑指示项。第二阶段5320显示了在用户已将编辑点向左移动大约两秒时的组合显示区域5300，并且第三阶段5330示出了在用户已释放编辑点并且已结束裁剪编辑之后的组合显示区域5300。由于媒体编辑应用程序默认波纹编辑，因此这会减小片段5305的裁剪范围。尽管由于缩短的片段5305，片段在时间轴中开始得更早，但片段5315的数据结构不受影响。
在图54的第一阶段中，用户选择两个摄像机媒体片段实例5405和5415之间的编辑点。这些片段实例两者均参照相同的多摄像机参照片段并且被隔断编辑分隔。因此，当用户在阶段5410中选择两个片段之间的编辑点时，媒体编辑应用程序默认使用滚动编辑而不是波纹编辑。当用户在阶段5420中将编辑点向左移动时，片段5405的持续时间减少，而片段5415的持续时间增加。第三阶段5430示出了在用户已释放编辑点并且已结束裁剪编辑之后的组合显示区域5400。由于媒体编辑应用程序默认滚动编辑，因此更改会减小片段5405的裁剪范围(将退出点在参照片段中移动得更早)并且增加片段5415的裁剪范围(相应地将进入点在参照片段中移动得更早)。由于第二片段5415的范围仍在第一片段5405的范围的结尾之后直接开始，因此两个片段之间的编辑点保留隔断编辑。假若用户在该边界处应用波纹编辑，则编辑将不再是隔断编辑，因为片段在参照片段的时间轴中将不再是后续的。
VI.渲染片段实例
上述部分描述了使用多摄像机片段实例进行的对媒体项目的编辑。为了为媒体项目生成输出图像，应用程序针对演示文件中的每个帧来渲染图像。这些帧的频率取决于为媒体项目指定的帧频(例如，如在图4中所示)。为针对媒体项目中的特定帧来渲染图像，应用程序首先识别将要用于该时间的一个或多个媒体片段。在媒体项目中的时间在多个通道中具有片段时，或者具有含多个通道中的片段的合成片段时，可能需要多个源图像。为渲染来自其帧频(通常取自由视频片段通过资产所参照的源视频文件)匹配组合演示文件的标准视频片段的图像，应用程序从片段中的该时间中识别对应于所请求的帧的源图像、读取并解码该帧并且应用片段的效果栈中的任何效果(例如，变换、像素值修改等)。此类渲染操作在名称为“Media-Editing Application with Multiple Resolution Modes'且于2011年5月19日提交的美国专利申请No.13/111,895中详细描述，所述专利申请以引用的方式并入本文。
在视频片段的帧频不匹配媒体项目的帧频时，一些实施例使用来自视频片段的多个源图像以便执行速率一致效果，如在名称为“Rate Conform Operation for a Media-Editing Application'且于2011年8月25日提交的美国专利申请No.13/218,407中所述，所述专利申请以引用的方式并入本文。此外，在视频片段的视频属性(例如，格式和/或尺寸)不匹配媒体项目的视频属性时，一些实施例如专利申请No.13/218,407所述将空间一致效果应用于片段。在一些实施例中，这些效果存储在媒体片段的效果栈中并且在检索并解码一个或多个图像之后应用。
但是，片段实例不直接包含组件片段或对资产的参照，而是相反地参照存储在事件中的参照片段(其自身包含组件片段和资产参照)。片段实例可存储其自有的效果栈，并且在多摄像机片段实例的情况下，针对多摄像机参照片段中的不同角度存储不同效果栈。此外，参照片段可应用其自有的效果。在多摄像机参照片段或合成参照片段的情况下，包含在参照片段内的片段可具有其自有的效果栈。此外，源图像可具有视频属性的第一集合，参照片段可具有视频属性的第二集合，并且包含片段实例的媒体项目可具有视频属性的第三集合。因此，一些实施例的媒体编辑应用程序可能需要应用效果栈的多个层，包括一致效果，以便渲染每个输出图像。
图55在概念上示出了用于渲染来自媒体项目中的多摄像机片段实例的图像的一些实施例的过程5500。过程5500将参照图56和57进行描述。图56在概念上示出了包括各种媒体片段(包括多摄像机片段实例5605)的媒体项目5600的时间轴。图57在概念上示出了针对媒体项目5600的特定图像的渲染图5700。多摄像机片段实例5605参照多摄像机参照片段5610并且具有“角度2”的活动视频角度。在视频角度“角度2”中，多摄像机参照片段5610包括各种媒体片段，所述媒体片段包括特定片段5615。
过程5500以接收(在5505处)针对对多摄像机片段实例中的特定时间的图像进行渲染的请求开始。一些实施例的媒体编辑应用程序出于各种原因而请求已渲染图像。在用户浏览组合显示区域中的媒体项目或合成片段或者发起媒体项目的回放时，应用程序将渲染图像以输出至适当的显示区域。此外，在处理和内存资源可用时，一些实施例在背景中渲染图像，以便使图像可用于将来使用而不必在那个时候渲染图像。用户可能还请求渲染媒体项目以用于导出(例如，至存储设备、用于上传至网站，等等)。
图56示出了媒体项目5600上的播放头5620，该播放头指示多摄像机片段实例5605内的特定时间。该片段实例5605是多摄像机参照片段5610的实例，该实例具有720p视频格式和30fps帧频，并且应用了变换效果和着色效果两者。渲染图5700指示应用于源图像的操作以便得到针对片段实例5605中的该特定时间的所需输出图像。
过程5500然后识别(在5510处)片段实例的活动视频角度。在一些实施例中，应用程序将活动视频角度存储为片段实例的数据结构中的变量。在图56所示的实例中，片段实例5605的活动视频角度为“角度2”。
在识别了活动视频角度的情况下，过程然后针对片段实例所参照的多摄像机参照片段的活动角度中的特定时间来识别(在5515处)视频片段以及一个或多个资产。媒体项目中所请求的特定时间对应于多摄像机参照片段中的特定时间。如上文所述，一些实施例的多摄像机参照片段具有角度的集合，所述角度每者均是片段的有序集合。因此，每个角度具有对应于特定所请求的时间的片段(虽然该片段可为间隙片段)。该片段又具有参照媒体资产的视频组件。如果片段是合成片段，则它可通过包含在合成片段内的不同片段来参照多个资产。在图56的实例中，多摄像机参照片段5610中的活动角度包括在所请求的时间处的片段5615。如图所示，该片段5615具有1080p视频格式及30fps帧频，并且应用了颜色校正效果。
接着，过程5500检索并解码(在5520处)来自媒体文件的对应于视频片段中的所请求的时间的图像。在5515处识别的媒体资产包括对存储实际视频图像的媒体文件的参照。这些图像通常以已编码的形式存储，并且因此媒体编辑应用程序使用解码器来解码图像并且得到对图像进行表示的像素的集合。如图57所示，渲染图5700始于来自片段5615所参照的媒体资产的已解码1920×1080位图图像。
在检索了图像的情况下，该过程将多摄像机参照片段中的片段上的任何视频效果应用(在5525处)于已解码图像。在一些实施例中，参照片段(或参照片段内的片段)上的效果在片段实例上的任何效果之前应用。此外，一些实施例在使已检索图像与参照片段属性一致之前应用参照片段效果。在图56中，片段5615具有颜色校正效果，因此应用程序应用该颜色校正效果。如在渲染图5700中所示，已检索位图的节点5705通向颜色校正节点5710中以用于将该效果应用在片段5615上。该颜色校正节点包括由用户定义的效果的参数(例如，输入像素值对输出像素值的映射)。
接着，该过程应用(在5530处)任何必要的空间一致效果以使图像与多摄像机片段的空间属性一致。如果多摄像机参照片段具有与已检索图像相同的空间视频属性，则空间一致效果是不必要的。在空间属性不同时，媒体编辑应用程序应用空间一致效果以便生成具有所请求的尺寸(在这种情况下，参照片段的尺寸)的图像。在图像的纵横比不同时，应用程序可要么将已检索图像的整体适配到输出图像中(借助垂直黑边或水平黑边)，要么填充输出图像的整体(切掉已检索图像的部分)。一些实施例的空间一致效果的详细讨论可见于以引用的方式并入上文的美国专利申请No.13/218,407。
为保持多摄像机参照片段内的时间对齐，一些实施例不在时间上使所包含的视频片段与参照片段的帧频一致。另一方面，一些实施例使用诸如帧采样或融合的时间保持式速率一致效果，但避免使用使片段加快或减慢的速率一致效果。不同速率一致技术的详细讨论可见于美国专利申请No.13/218,407。
片段5615具有1080p视频格式(具有正方形像素的1920×1080图像)，而包含片段5615的参照片段5610具有720p视频格式(具有正方形像素的1280×720图像)，因此应用程序应用空间一致效果以将1920×1080图像缩放成1280×720。因此，渲染图5700中的下一个操作是将输入图像缩放2/3(0.67)的变换节点。该节点5715的输出将为1280×720位图。
返回至图55，过程5500接着向图像应用(在5535处)多摄像机实例片段中的活动角度上的任何视频效果。如上文所述，一些实施例针对多摄像机参照片段的每个角度存储片段实例中的视频效果栈。过程识别活动角度的效果栈并应用该栈中的任何效果。在图56中，片段5605的活动角度(“角度2”)应用了着色效果和变换效果。渲染图5700因此具有用于着色效果的节点5720以及用于变换操作的节点5725。一些实施例切换这两个操作的顺序，并且将变换5715与变换操作5725组合。如果变换效果5725扩大图像，则组合这些操作会避免因缩小图像以及然后接着放大图像所导致的分辨率损失。但是，一些实施例将应用在参照片段内的效果与应用于活动角度的效果分开。
最后，过程5500将空间和时间效果应用(在5540处)于图像以使图像与包含多摄像机片段实例的媒体项目的空间属性和帧频一致，然后结束。在多摄像机参照片段的空间属性与媒体项目的空间属性相同时，则空间一致效果是不需要的。否则，如上文针对操作5530所述来应用空间一致效果。在参照片段和媒体项目的帧频不匹配时，应用程序应用速率一致效果。在一些实施例中，速率一致效果实际上需要来自源视频文件的多个帧，因为输出图像是两个源图像的融合。其他速率一致效果仅需要一个图像。如上文所指示，不同速率一致技术的详细描述可见于美国专利申请No.13/218,407。在图56的情况下，参照片段属性(720p、30fps)匹配媒体项目的属性，因此一致效果是不必要的。因此，操作5725的输出为媒体项目的所请求的图像。
本领域普通技术人员将认识到，在一些实施例中，媒体编辑应用程序不检索图像，然后确定从参照片段应用哪些效果，然后应用这些效果，然后确定从片段实例应用哪些效果以及然后应用这些片段实例效果。相反地，应用程序构建诸如图5700的渲染图，然后开始检索和解码图像并且将渲染图操作应用于已解码图像。这允许应用程序在可能时对效果进行组合，并且避免重复地对像素进行重新采样。例如，如果变换效果和一致效果两者均应用于图像，则一些实施例将这些操作进行组合。一些实施例的渲染操作的更详细讨论可见于以引用的方式并入上文的美国专利申请No.13/111,895。
图55-57描述了针对参照多摄像机片段的多摄像机片段实例的渲染。本领域普通技术人员将认识到，无论参照片段是否是独立片段、合成片段等，类似原理也适用于被实施为参照片段的实例的其他片段。一些实施例通过首先将效果应用于参照片段上或参照片段内的片段上，然后接着将效果应用于片段实例上，来渲染此类片段。
VII.软件架构
在一些实施例中，上文所述的过程被实施为在特定机器上运行或者存储在机器可读介质上的软件，所述特定机器诸如计算机或手持式设备。图58在概念上示出了一些实施例的媒体编辑应用程序5800的软件架构。在一些实施例中，媒体编辑应用程序为独立式应用程序或者集成到另一应用程序中，而在其他实施例中，该应用程序可能在操作系统内实施。此外，在一些实施例中，该应用程序被提供为基于服务器的解决方案的部分。在一些此类实施例中，经由瘦客户端来提供该应用程序。也就是说，该应用程序在服务器上运行，而用户经由远离服务器的单独的机器来与该应用程序交互。在其他此类实施例中，经由胖客户端来提供该应用程序。也就是说，该应用程序从服务器分配到客户端机器并且在客户端机器上运行。
媒体编辑应用程序5800包括用户界面(UI)交互及生成模块5805、媒体摄取模块5810、编辑模块5815、时间轴生成器5820、角度查看器生成器5827、渲染引擎5825、回放模块5830。该图还示出了与媒体编辑应用程序相关的已存储数据：源文件5835、事件数据5840、项目数据5845及渲染文件5850。
在一些实施例中，源文件5835存储导入到应用程序中的媒体文件(例如，视频文件、音频文件、组合的视频及音频文件等)。事件数据5840存储被一些实施例用于填充片段库和片段浏览器的事件信息，该事件信息包括多摄像机参照片段。在一些实施例中，事件数据可以是存储为一个或多个SQLite数据库文件(或其他格式)的片段对象数据结构的集合。项目数据5845存储被一些实施例用于在时间轴中指定组合演示文件的项目信息。在一些实施例中，项目数据也可以是存储为一个或多个SQLite数据库文件(或其他格式)的片段对象数据结构的集合。这些片段对象数据结构包括对存储在事件数据5840中的多摄像机参照片段进行参照的多摄像机片段实例，以及对存储在事件数据5840中的资产数据结构进行参照的其他片段对象。一些实施例的渲染文件5850可包括用于在片段浏览器或时间轴中显示的缩略图尺寸的图像、用于媒体片段的音频波形显示以及用于在回放期间使用的时间轴序列的已渲染区段。
在一些实施例中，数据5835-5850的四个集合存储在一个物理存储设备(例如内部硬盘驱动器、外部硬盘驱动器等)中。在一些实施例中，数据可在多个物理存储设备之间拆分。例如，源文件可能存储在外部硬盘驱动器上，事件数据、项目数据及渲染文件存储在内部驱动器上。一些实施例将事件数据与其相关的源文件和渲染文件一起存储在文件夹的一个集合中，并且将项目数据与其相关的渲染文件一起存储在文件夹的单独的集合中。
图58还示出了包括一个或多个输入设备驱动器5860、显示模块5865以及媒体导入模块5870的操作系统5855。在一些实施例中，如图所示出，即使在媒体编辑应用程序5800是与操作系统分离的应用程序时，设备驱动器5860、显示模块5865以及媒体导入模块5870仍是操作系统的部分。
输入设备驱动器5860可包括用于转译来自键盘、鼠标、触摸板、平板、触摸屏等的信号的驱动器。用户可与这些输入设备中的一者或多者交互，这些输入设备将信号发送至其对应设备驱动器。设备驱动器然后将信号转译为提供至UI交互及生成模块5805的用户输入数据。
本专利申请描述了一种图形用户界面，该图形用户界面为用户提供许多方式以执行操作和功能性的不同集合。在一些实施例中，基于通过不同输入设备(例如，键盘、触控板、触摸板、鼠标等)从用户处接收的不同命令，来执行这些操作和功能性。例如，本专利申请示出了使用图形用户界面中的光标来控制(例如，选择、移动)图形用户界面中的对象。但是，在一些实施例中，还可通过其他控制，诸如触摸控制，来控制或操控图形用户界面中的对象。在一些实施例中，触摸控制通过输入设备来实施，该输入设备可检测触摸在设备的显示器上的存在和位置。此类设备的实例为触摸屏设备。在一些实施例中，借助触摸控制，用户可通过与在触摸屏设备的显示器上显示的图形用户界面交互来直接操控对象。例如，用户可通过简单地触摸触摸屏设备的显示器上的特定对象，来选择图形用户界面上的该特定对象。因此，在利用触摸控制时，在一些实施例中，可能甚至不提供光标以用于启用对图形用户界面的对象的选择。但是，当在图形用户界面中提供光标时，在一些实施例中，可使用触摸控制来控制光标。
显示模块5865为显示设备转译用户界面的输出。也就是说，显示模块5865接收描述应显示什么的信号(例如，来自UI交互及生成模块5805)并且将这些信号转译为发送至显示设备的像素信息。显示设备可为LCD、等离子屏幕、CRT监视器、触摸屏等。
媒体导入模块5870通过媒体编辑应用程序5800在其上运行的设备的一个或多个端口(例如，USB端口、Firewire端口等)来接收来自存储设备(例如，外部驱动器、记录设备等)的媒体文件(例如，音频文件、视频文件等)，并且为媒体编辑应用程序转译该媒体数据或者将数据直接存储到设备的存储设备上。
媒体编辑应用程序5800的UI交互及生成模块5805解译从输入设备驱动器接收的用户输入数据，并且将该数据传送至各个模块，包括媒体摄取模块5810、编辑模块5815、时间轴生成器5820、角度查看器生成器5827、渲染引擎5825及回放模块5830。UI交互模块还管理媒体编辑应用程序GUI的显示，并且将该显示信息输出至显示模块5865。该UI显示信息可基于来自编辑模块5815、时间轴生成器5820、角度查看器生成器5827、回放模块5830、数据5835-5850等的信息。此外，模块5805可仅基于用户输入来生成UI的部分——例如，当用户移动UI中的仅影响显示而不是其他模块的任一者的项时，诸如将窗口从UI的一侧移动到另一侧或者修改片段浏览器和片段库的相对尺寸。在一些实施例中，UI交互及生成模块5805生成基础GUI，并且为该GUI填充来自其他模块和已存储数据的信息。
媒体摄取模块5810管理源媒体到媒体编辑应用程序5800中的导入。一些实施例，如图所示，接收来自操作系统5855的媒体导入模块5870的源媒体。媒体摄取模块5810就应导入哪些文件而通过UI模块5805来接收指令，然后指导媒体导入模块5870启用该导入(例如，来自外部驱动器、来自摄像机，等等)。一些实施例的媒体摄取模块5810将这些源文件5835存储在与应用程序相关的特定文件夹中。在一些实施例中，媒体摄取模块5810还在源文件的导入以及包含在事件中的片段和资产数据结构的创建时管理事件数据结构的创建。
编辑模块5815包括用于在片段浏览器中以及在时间轴中编辑媒体的各种模块。编辑模块5815处理项目的创建、片段的添加以及从项目中的抽减、时间轴内的裁剪或其他编辑过程、效果和转换的应用或者其他编辑过程。在一些实施例中，编辑模块5815在事件数据1980和项目数据5845两者中创建并修改项目和片段数据结构。
一些实施例的编辑模块5815包括用于编辑片段、媒体项目等的模块。编辑模块创建媒体项目，裁剪项目内的片段，将效果应用于片段，以及其他操作。在一些实施例中，编辑模块修改事件数据5840和项目数据5845。编辑模块5815包括执行自动多摄像机片段创建的多摄像机创建模块5817(例如，将片段分配至角度，对角度进行排序和定序，以及对齐角度)。此外，编辑模块5815可用于在角度编辑器中手动地编辑多摄像机参照片段。
时间轴生成器5820基于所请求的媒体项目、合成片段、多摄像机参照片段等来生成时间轴以用于在组合显示区域中显示。例如，在用户请求查看角度编辑器中的多摄像机参照片段时，时间轴生成器5820从事件数据5840中检索参照片段信息并且为片段的不同角度生成轨道的显示。时间轴生成器5820然后将所生成的时间轴传送至UI交互及生成模块5805以用于并入到UI中。
角度查看器生成器5823基于多摄像机参照片段来生成角度查看器以用于在GUI中显示。角度查看器生成器针对角度编辑器中正在编辑的或者用户正在浏览的实例片段所参照的参照片段，来请求数据。基于参照片段，角度查看器生成器5823生成集和预览显示，然后针对来自回放模块5830的预览显示而请求适当的输出图像。
渲染引擎5825为媒体编辑应用程序处理图像的渲染。如图所示，一些实施例的渲染引擎5820包括渲染图生成器5821、调度器5822以及图像处理操作5823。渲染引擎为媒体编辑应用程序管理图像的创建。在应用程序内的目的地(例如，回放模块5830、编码器、分析引擎等)请求图像时，渲染引擎根据项目或事件数据而输出所请求的图像。渲染引擎检索识别如何创建所请求的图像的项目数据或事件数据，并且渲染图生成器5821生成作为一系列节点的渲染图，所述一系列节点指示将要从源文件5835中检索的图像或者将要对已检索图像执行的操作。调度器5822调度通过磁盘读取操作进行的对必要图像的检索以及对那些图像的解码。图像处理操作5823是为生成输出图像而对图像执行的各种操作。在一些实施例中，这些操作包括融合操作、效果(例如，模糊或其他像素值修改操作、变换、一致效果等)、颜色空间转换等。图像处理操作5823在一些实施例中实际上是操作系统的部分并且由GPU或应用程序5800在其上运行的设备的GPU来执行。渲染引擎的输出(已渲染图像)可存储在渲染文件5850中或者发送至目的地以用于附加的处理或输出。
回放模块5830处理图像的回放(例如，在用户界面的预览显示区域中，或者在角度查看器的预览显示的一者中)。一些实施例不包括回放模块，并且渲染引擎将其图像直接输出至UI交互及生成模块5805以用于集成到GUI中，或者直接输出至显示模块5865以用于在显示设备的特定部分处显示。
虽然媒体编辑应用程序5800的许多特征已被描述为由一个模块(UI交互及生成模块5805、媒体摄取模块5810等)执行，但本领域普通技术人员将认识到，本文所描述的功能可能被拆分到多个模块中。类似地，被描述为由多个不同模块执行的功能在一些实施例中可能由单个模块执行(例如，回放模块5830、角度查看器生成器5827及时间轴生成器5820可能全部为UI交互及生成模块5805的部分，并且即使在效果单独存储时，单个模块也可能用于执行变换以及空间一致)。
VIII.电子系统
上文所述的特征和应用程序中的许多者可被实施为被指定为在计算机可读存储介质(还称为计算机可读介质)上记录的指令集的软件过程。在这些指令由一个或多个计算或处理单元(例如，一个或多个处理器、处理器的核或者其他处理单元)执行时，这些指令使一个或多个处理单元执行指令中所指示的动作。计算机可读介质的实例包括但不限于CD-ROM、闪存驱动器、随机存取存储器(RAM)芯片、硬盘驱动器、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)等。计算机可读介质不包括无线地或通过有线连接传送的载波和电信号。
在本说明书中，术语“软件”意在包括驻留在只读存储器中的固件或者存储在磁性存储设备中的应用程序，所述固件或应用程序可被读取到存储器中以用于由处理器进行处理。另外，在一些实施例中，可在保留明显的软件发明的同时，将多个软件发明实施为更大程序的子部分。在一些实施例中，还可将多个软件发明实施为单独程序。最后，共同实施这里所述的软件发明的单独程序的任何组合均在本发明的范围内。在一些实施例中，当被安装以在一个或多个电子系统上运行时，软件程序定义对软件程序的操作予以执行和施行的一个或多个特定机器具体实施。
图59在概念上示出了电子系统5900，本发明的一些实施例借助该电子系统来实施。电子系统5900可为计算机(例如，台式计算机、个人计算机、平板型计算机等)、电话、PDA或任何其他种类的电子或计算设备。此类电子系统包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统5900包括总线5905、一个或多个处理单元5910、图形处理单元(GPU)5915、系统存储器5920、网络5925、只读存储器5930、永久性存储设备5935、输入设备5940及输出设备5945。
总线5905总体地表示在通信上连接电子系统5900的许多内部设备的所有系统、外围设备及芯片组总线。例如，总线5905在通信上将一个或多个处理单元5910与只读存储器5930、GPU5915、系统存储器5920及永久性存储设备5935连接。
一个或多个处理单元5910从这些各种存储器单元中检索将要执行的指令以及将要处理的数据，以便执行本发明的过程。在不同实施例中，一个或多个处理单元可为单个处理器或者多核处理器。一些指令传送至GPU5915并且由GPU5915执行。GPU5915可卸载各种计算指令或者补偿由一个或多个处理单元5910提供的图像处理。在一些实施例中，可使用CoreImage的内核着色语言来提供此类功能性。
只读存储器(ROM)5930存储一个或多个处理单元5910及电子系统的其他模块所需的静态数据和指令。另一方面，永久性存储设备5935为读写存储器设备。该设备为即使在电子系统5900关闭时也存储指令和数据的非易失性存储器单元。本发明的一些实施例将大容量存储设备(诸如磁盘或光盘及其相应硬盘驱动器)用作永久性存储设备5935。
其他实施例将可移动存储设备(诸如软盘、闪存存储器设备等，及其相应驱动器)用作永久性存储设备。与永久性存储设备5935一样，系统存储器5920为读写存储器设备。但是，与存储设备5935不同，系统存储器5920为易失性读写存储器，诸如随机存取存储器。系统存储器5920存储处理器在运行时间所需的指令和数据中的一些。在一些实施例中，本发明的过程存储在系统存储器5920、永久性存储设备5935和/或只读存储器5930中。例如，各种存储器单元包括用于根据一些实施例处理多媒体片段的指令。一个或多个处理单元5910从这些各种存储器单元中检索将要执行的指令以及将要处理的数据，以便执行一些实施例的过程。
总线5905还连接至输入设备5940和输出设备5945。输入设备5940允许用户将信息传递到电子系统中并且选择送至电子系统的命令。输入设备5940包括字母数字键盘和指示设备(还称作“光标控制设备”)、摄像机(例如，网络摄像机)、麦克风或用于接收语音命令的类似设备等。输出设备5945显示由电子系统生成的图像或者其他输出数据。输出设备5945包括打印机以及诸如阴极射线管(CRT)或液晶显示器(LCD)的显示设备，以及扬声器或类似音频输出设备。一些实施例包括充当输入设备和输出设备两者的设备，诸如触摸屏。
最后，如图59所示，总线5905还通过网络适配器(未示出)将电子系统5900耦合至网络5925。以此方式，计算机可以是计算机的网络(诸如局域网(“LAN')、广域网(“WAN')或内联网)的一部分，或者可以是网络的网络(诸如互联网)的一部分。电子系统5900的任何或所有组件均可与本发明结合使用。
一些实施例包括将计算机程序指令存储在机器可读或计算机可读介质(或者称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的电子组件，诸如微处理器、存储设备以及存储器。此类计算机可读介质的一些实例包括RAM、ROM、只读光盘(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、只读数字通用光盘(例如，DVD-ROM、双层DVD-ROM)、各种可刻录/可重写DVD(例如，DVD-RAM、DVD-RW、DVD+RW等)、闪存存储器(例如，SD卡，mini-SD卡、micro-SD卡等)、磁性和/或固态硬盘驱动器、只读和可刻录盘、超密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可存储计算机程序，该计算机程序可由至少一个处理单元执行并且包括用于执行各种操作的指令集。计算机程序或者计算机代码的实例包括机器代码，诸如由编译器产生的机器代码，以及包括可由计算机、电子组件或微处理器使用解译器来执行的更高级别代码的文件。
虽然上述讨论主要涉及执行软件的微处理器或多核处理器，但一些实施例由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的一个或多个集成电路来执行。在一些实施例中，此类集成电路执行存储在电路自身上的指令。此外，一些实施例执行存储在可编程逻辑设备(PLD)、ROM或RAM设备中的软件。
如本说明书以及本专利申请的任何权利要求所用，术语“计算机”、“服务器”、“处理器”及“存储器”均是指电子或其他技术设备。这些术语不包括人或者人的群组。出于本说明书的目的，术语“显示”或“正在显示”意指在电子设备上显示。如本说明书以及本专利申请的任何权利要求所用，术语“计算机可读介质”以及“机器可读介质”完全限于以可由计算机读取的形式存储信息的可触摸的有形物体。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂性信号。
虽然已参照许多特定细节描述本发明，但本领域普通技术人员将认识到，可在不脱离本发明的实质的情况下，以其他特定形式来体现本发明。此外，多个图(包括图10、12、14、16、18、26、45和55)在概念上示出过程。这些过程的特定操作可不以所示出和所描述的确切顺序执行。可不在操作的一个连续系列中执行特定操作，并且可在不同实施例中执行不同的特定操作。此外，过程可使用若干子过程来实施，或者实施为更大宏过程的部分。因此，本领域普通技术人员将理解，本发明不受前述示例性细节限制，而是将由所附的权利要求限定。

Claims (16)

1.一种同步媒体片段的方法，所述方法包括：
将多个不同媒体片段分配至多摄像机媒体片段的不同序列；
使用所分配媒体片段的定时元数据沿着时间轴自动对所述不同序列中的每个序列内的所分配媒体片段进行排序，其中针对至少一个序列，分配至所述序列的第一媒体片段相比于分配至所述序列的第二媒体片段在所述时间轴上的不同时间处开始；
通过比较分配到不同序列的媒体片段的定时元数据来自动地执行对所述不同序列的初始同步；
通过对所述不同序列中的第一序列的第一媒体片段集合的音频数据和所述不同序列中的不同的第二序列的第二媒体片段集合的音频数据进行比较来自动地调整对所述不同序列的所述初始同步；以及
存储具有来自所述第一序列的第一多个媒体片段和来自所述第二序列的第二多个媒体片段的所述多摄像机媒体片段，所述多摄像机媒体片段用于添加至一个或多个组合媒体演示文件。
2.根据权利要求1所述的方法，其中所述不同序列中的每一者均包括由不同摄像机捕捉的视频片段。
3.根据权利要求2所述的方法，其中所述第一媒体片段集合中的至少一个视频片段与所述第二媒体片段集合中的第二视频片段同时被捕捉。
4.根据权利要求1所述的方法，其中调整对所述不同序列的所述初始同步包括：
在所述第一媒体片段集合中选择第一媒体片段；
在所述第二媒体片段集合中识别在所述初始同步之后在时间上与所述第一媒体片段重叠的第二媒体片段；
基于所述第一媒体片段和所述第二媒体片段的音频数据来识别所述第一媒体片段和所述第二媒体片段之间的时间偏移；以及
通过所述时间偏移来调整所述第二媒体片段集合中的每个片段，以将所述第二媒体片段集合的音频与所述第一媒体片段集合的音频对齐。
5.根据权利要求4所述的方法，其中所识别的时间偏移是在所述第一媒体片段与所述第二媒体片段的所述音频数据之间具有峰值相关性的偏移。
6.根据权利要求1所述的方法，其中特定序列的所分配片段的定时元数据包括时间代码信息以及日期和时间信息两者，其中对所分配片段进行排序包括：
当所述时间代码信息符合第一标准集合时，使用所述时间代码信息来对所述特定序列的所分配片段进行排序；
只有当所述时间代码信息不符合所述第一标准集合并且所述日期和时间信息符合第二标准集合时，使用所述日期和时间信息来对所述特定序列的所分配片段进行排序，
其中对于每个序列，时间代码信息相比日期和时间信息被优选用于对分配到所述序列的媒体片段的集合进行排序。
7.根据权利要求1所述的方法，其中所述多个媒体片段包括参照视频图像数据的视频片段和参照音频数据的音频片段。
8.根据权利要求1所述的方法，其中所述多个媒体片段包括静态图像片段，其中所述静态图像片段不具有相关联音频数据并且不受对所述初始同步的调整的影响。
9.一种电子设备，包括：
用于将多个不同媒体片段分配至多摄像机媒体片段的不同序列的装置；
用于使用所分配媒体片段的定时元数据沿着时间轴自动对所述不同序列中的每个序列内的所分配媒体片段进行排序的装置，其中针对至少一个序列，分配至所述序列的第一媒体片段相比于分配至所述序列的第二媒体片段在所述时间轴上的不同时间处开始；
用于通过比较分配至不同序列的媒体片段的定时元数据来自动地执行对所述不同序列的初始同步的装置；
用于通过对所述不同序列中的第一序列的第一媒体片段集合的音频数据和所述不同序列中的不同的第二序列的第二媒体片段集合的音频数据进行比较来自动地调整对所述不同序列的所述初始同步的装置；以及
用于存储具有来自所述第一序列的第一多个媒体片段和来自所述第二序列的第二多个媒体片段的所述多摄像机媒体片段的装置，所述多摄像机媒体片段用于添加至一个或多个组合媒体演示文件。
10.根据权利要求9所述的电子设备，其中所述不同序列中的每一者均包括由不同摄像机捕捉的视频片段。
11.根据权利要求10所述的电子设备，其中所述第一媒体片段集合中的至少一个视频片段与所述第二媒体片段集合中的第二视频片段同时被捕捉。
12.根据权利要求9所述的电子设备，其中用于调整对所述不同序列的所述初始同步的装置还包括：
用于在所述第一媒体片段集合中选择第一媒体片段的部件；
用于在所述第二媒体片段集合中识别在所述初始同步之后在时间上与所述第一媒体片段重叠的第二媒体片段的部件；
用于基于所述第一媒体片段和所述第二媒体片段的音频数据来识别所述第一媒体片段和所述第二媒体片段之间的时间偏移的部件；以及
用于通过所述时间偏移来调整所述第二媒体片段集合中的每个片段，以将所述第二媒体片段集合的音频与所述第一媒体片段集合的音频对齐的部件。
13.根据权利要求12所述的电子设备，其中所识别的时间偏移是在所述第一媒体片段与所述第二媒体片段的所述音频数据之间具有峰值相关性的偏移。
14.根据权利要求9所述的电子设备，其中特定序列的所分配片段的定时元数据包括时间代码信息以及日期和时间信息两者，其中用于对所分配片段进行排序的装置还包括：
用于当所述时间代码信息符合第一标准集合时，使用所述时间代码信息来对所述特定序列的所分配片段进行排序的部件；
用于只有当所述时间代码信息不符合所述第一标准集合并且所述日期和时间信息符合第二标准集合时使用所述日期和时间信息来对所述特定序列的所分配片段进行排序的部件，
其中对于每个序列，时间代码信息相比日期和时间信息被优选用于对分配到所述序列的媒体片段的集合进行排序。
15.根据权利要求9所述的电子设备，其中所述多个媒体片段包括参照视频图像数据的视频片段和参照音频数据的音频片段。
16.根据权利要求9所述的电子设备，其中所述多个媒体片段包括静态图像片段，其中所述静态图像片段不具有相关联音频数据并且不受对所述初始同步的调整的影响。
CN201280055762.0A 2011-11-14 2012-09-28 多媒体片段的生成 Active CN103931199B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201161559710P 2011-11-14 2011-11-14
US61/559,710 2011-11-14
US13/361,934 2012-01-30
US13/361,930 2012-01-30
US13/361,934 US9792955B2 (en) 2011-11-14 2012-01-30 Automatic generation of multi-camera media clips
US13/361,932 US20130124999A1 (en) 2011-11-14 2012-01-30 Reference clips in a media-editing application
US13/361,932 2012-01-30
US13/361,931 US9437247B2 (en) 2011-11-14 2012-01-30 Preview display for multi-camera media clips
US13/361,931 2012-01-30
US13/361,930 US9111579B2 (en) 2011-11-14 2012-01-30 Media editing with multi-camera media clips
PCT/US2012/058138 WO2013074207A1 (en) 2011-11-14 2012-09-28 Generation of multi -views media clips

Publications (2)

Publication Number Publication Date
CN103931199A CN103931199A (zh) 2014-07-16
CN103931199B true CN103931199B (zh) 2017-07-21

Family

ID=48280753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055762.0A Active CN103931199B (zh) 2011-11-14 2012-09-28 多媒体片段的生成

Country Status (5)

Country Link
US (4) US20130124999A1 (zh)
EP (2) EP2781102A1 (zh)
JP (2) JP5856690B2 (zh)
CN (1) CN103931199B (zh)
WO (1) WO2013074207A1 (zh)

Families Citing this family (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692536B1 (en) 2005-04-16 2020-06-23 Apple Inc. Generation and use of multiclips in video editing
US8520069B2 (en) 2005-09-16 2013-08-27 Digital Ally, Inc. Vehicle-mounted video system with distributed processing
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US8503972B2 (en) 2008-10-30 2013-08-06 Digital Ally, Inc. Multi-functional remote monitoring system
US10078695B2 (en) * 2011-04-11 2018-09-18 Evertz Microsystems Ltd. Methods and systems for network based video clip generation and management
WO2013023063A1 (en) 2011-08-09 2013-02-14 Path 36 Llc Digital media editing
US20130124999A1 (en) 2011-11-14 2013-05-16 Giovanni Agnoli Reference clips in a media-editing application
US9578256B1 (en) * 2012-02-29 2017-02-21 Google Inc. Temporary intermediate video clips for video editing
US9232175B2 (en) * 2012-03-01 2016-01-05 Sony Corporation Generating multiple shots in storyboarding
US20130271472A1 (en) * 2012-04-12 2013-10-17 Motorola Mobility, Inc. Display of Value Changes in Between Keyframes in an Animation Using a Timeline
US20130283330A1 (en) * 2012-04-18 2013-10-24 Harris Corporation Architecture and system for group video distribution
KR101905638B1 (ko) * 2012-05-15 2018-12-05 삼성전자주식회사 동영상 재생 장치 및 방법
US20130311566A1 (en) * 2012-05-18 2013-11-21 Andrew Milburn Method and apparatus for creating rule-based interaction of portable client devices at a live event
US9207834B2 (en) 2012-06-11 2015-12-08 Edupresent Llc Layered multimedia interactive assessment system
US8682144B1 (en) * 2012-09-17 2014-03-25 Google Inc. Method for synchronizing multiple audio signals
US10272848B2 (en) 2012-09-28 2019-04-30 Digital Ally, Inc. Mobile video and imaging system
WO2014052898A1 (en) 2012-09-28 2014-04-03 Digital Ally, Inc. Portable video and imaging system
US20140101551A1 (en) * 2012-10-05 2014-04-10 Google Inc. Stitching videos into an aggregate video
US9871842B2 (en) 2012-12-08 2018-01-16 Evertz Microsystems Ltd. Methods and systems for network based video clip processing and management
US9129640B2 (en) * 2012-12-12 2015-09-08 Crowdflik, Inc. Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos
US20160155475A1 (en) * 2012-12-12 2016-06-02 Crowdflik, Inc. Method And System For Capturing Video From A Plurality Of Devices And Organizing Them For Editing, Viewing, And Dissemination Based On One Or More Criteria
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US20140199050A1 (en) * 2013-01-17 2014-07-17 Spherical, Inc. Systems and methods for compiling and storing video with static panoramic background
US9064480B2 (en) * 2013-01-25 2015-06-23 Inmusic Brands, Inc Methods and systems for an object-oriented arrangement of musical ideas
US9244600B2 (en) 2013-02-05 2016-01-26 Alc Holdings, Inc. Video preview creation with audio
US20140226955A1 (en) * 2013-02-12 2014-08-14 Takes Llc Generating a sequence of video clips based on meta data
US8994828B2 (en) * 2013-02-28 2015-03-31 Apple Inc. Aligned video comparison tool
CA2903830C (en) 2013-03-05 2021-08-24 Fasetto, Llc System and method for cubic graphical user interfaces
FR3004565B1 (fr) * 2013-04-12 2016-11-11 Kolor Fusion de plusieurs flux video
US9646650B2 (en) * 2013-05-28 2017-05-09 Google Inc. Automatically syncing recordings between two or more content recording devices
JP2015038719A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
CA2918687C (en) * 2013-07-18 2020-04-14 Luke Malpass System and method for multi-angle videos
US9253452B2 (en) 2013-08-14 2016-02-02 Digital Ally, Inc. Computer program, method, and system for managing multiple data recording devices
US10390732B2 (en) 2013-08-14 2019-08-27 Digital Ally, Inc. Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data
US10075681B2 (en) 2013-08-14 2018-09-11 Digital Ally, Inc. Dual lens camera unit
US9881645B2 (en) * 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
US9804760B2 (en) * 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
KR101518453B1 (ko) 2013-08-29 2015-05-11 주식회사 픽스트리 컨텐츠 재생 장치 및 방법
KR20150027934A (ko) * 2013-09-04 2015-03-13 삼성전자주식회사 다각도에서 촬영된 영상을 수신하여 파일을 생성하는 전자 장치 및 방법
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US10095873B2 (en) 2013-09-30 2018-10-09 Fasetto, Inc. Paperless application
WO2015044947A1 (en) * 2013-09-30 2015-04-02 Yanai Danielle Image and video processing and optimization
WO2015054342A1 (en) * 2013-10-09 2015-04-16 Mindset Systems Method of and system for automatic compilation of crowdsourced digital media productions
US9519420B2 (en) * 2013-10-16 2016-12-13 Samsung Electronics Co., Ltd. Apparatus and method for editing synchronous media
WO2015060470A1 (ko) * 2013-10-23 2015-04-30 엘지전자 주식회사 단말기 및 그 제어방법
US9087405B2 (en) 2013-12-16 2015-07-21 Google Inc. Depth map generation using bokeh detection
US9584402B2 (en) 2014-01-27 2017-02-28 Fasetto, Llc Systems and methods for peer to peer communication
US11831692B2 (en) * 2014-02-06 2023-11-28 Bongo Learn, Inc. Asynchronous video communication integration system
US10191647B2 (en) 2014-02-06 2019-01-29 Edupresent Llc Collaborative group video production system
WO2015134537A1 (en) 2014-03-04 2015-09-11 Gopro, Inc. Generation of video based on spherical content
WO2015142759A1 (en) * 2014-03-17 2015-09-24 Clipcast Technologies LLC Media clip creation and distribution systems, apparatus, and methods
US10108254B1 (en) * 2014-03-21 2018-10-23 Google Llc Apparatus and method for temporal synchronization of multiple signals
KR20150142348A (ko) * 2014-06-11 2015-12-22 삼성전자주식회사 사용자 단말 및 이의 제어 방법
US9832538B2 (en) * 2014-06-16 2017-11-28 Cisco Technology, Inc. Synchronizing broadcast timeline metadata
US20150363157A1 (en) * 2014-06-17 2015-12-17 Htc Corporation Electrical device and associated operating method for displaying user interface related to a sound track
KR102076252B1 (ko) 2014-06-24 2020-02-11 애플 인크. 입력 디바이스 및 사용자 인터페이스 상호작용
CN111782129B (zh) 2014-06-24 2023-12-08 苹果公司 用于在用户界面中导航的列界面
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
MX2017000339A (es) 2014-07-10 2017-08-14 Fasetto Llc Sistemas y metodos para editar mensajes.
GB2528100A (en) 2014-07-10 2016-01-13 Nokia Technologies Oy Method, apparatus and computer program product for editing media content
US10162506B2 (en) 2014-07-18 2018-12-25 Apple Inc. Systems and methods for selecting portions of media for a preview
US10074013B2 (en) 2014-07-23 2018-09-11 Gopro, Inc. Scene and activity identification in video summary generation
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
USD777769S1 (en) * 2014-08-28 2017-01-31 Microsoft Corporation Display screen with colored graphical user interface
USD778285S1 (en) * 2014-08-28 2017-02-07 Microsoft Corporation Display screen with graphical user interface
USD763298S1 (en) * 2014-08-28 2016-08-09 Microsoft Corporation Display screen with graphical user interface
USD762702S1 (en) * 2014-08-28 2016-08-02 Microsoft Corporation Display screen with transitional graphical user interface
CN105376651B (zh) * 2014-08-29 2018-10-19 北京金山安全软件有限公司 一种生成视频幻灯片的方法及装置
EP3205176B1 (en) 2014-10-06 2021-12-29 Fasetto, Inc. Systems and methods for portable storage devices
US10437288B2 (en) 2014-10-06 2019-10-08 Fasetto, Inc. Portable storage device with modular power and housing system
US9710220B2 (en) * 2014-10-24 2017-07-18 Sony Corporation Context-sensitive media classification
US20160125916A1 (en) * 2014-10-31 2016-05-05 ShotClip Limited Collaborative Movie Creation
US9451307B2 (en) * 2014-12-08 2016-09-20 Microsoft Technology Licensing, Llc Generating recommendations based on processing content item metadata tags
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
GB2536032A (en) * 2015-03-05 2016-09-07 Carnegie Tech Invest Ltd Method for processing video clip for live-broadcast replay
CN107852421B (zh) 2015-03-11 2021-02-05 法斯埃托股份有限公司 用于web api通信的系统和方法
US10529383B2 (en) * 2015-04-09 2020-01-07 Avid Technology, Inc. Methods and systems for processing synchronous data tracks in a media editing system
GB201507348D0 (en) * 2015-04-29 2015-06-10 Tomtom Int Bv Digital video camera
US10186012B2 (en) 2015-05-20 2019-01-22 Gopro, Inc. Virtual lens simulation for video and photo cropping
US9841259B2 (en) 2015-05-26 2017-12-12 Digital Ally, Inc. Wirelessly conducted electronic weapon
JP6602067B2 (ja) * 2015-06-18 2019-11-06 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
US10013883B2 (en) 2015-06-22 2018-07-03 Digital Ally, Inc. Tracking and analysis of drivers within a fleet of vehicles
BR112017028019A2 (pt) * 2015-06-24 2018-08-28 Thomson Licensing entrega sequencial de conteúdo otimizado por eliminação de segmentos redundantes
JP2017016275A (ja) * 2015-06-29 2017-01-19 ヤマハ株式会社 制御方法
CN105100839A (zh) * 2015-07-14 2015-11-25 网易传媒科技（北京）有限公司 一种视频文件下载方法、装置、服务器和终端设备
CN105933772B (zh) * 2015-08-18 2019-06-21 盯盯拍（深圳）技术股份有限公司 交互方法、交互装置以及交互系统
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US20170075652A1 (en) 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method
CN105222718B (zh) * 2015-09-21 2017-05-17 天津大学 室内空间测量定位网络动态坐标测量多站数据同步方法
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US9858965B2 (en) * 2015-10-23 2018-01-02 Microsoft Technology Licensing, Llc Video loop generation
US20170127150A1 (en) * 2015-11-04 2017-05-04 Ubitus Inc. Interactive applications implemented in video streams
US9858036B2 (en) * 2015-11-10 2018-01-02 Google Llc Automatic audio level adjustment during media item presentation
US10929071B2 (en) 2015-12-03 2021-02-23 Fasetto, Inc. Systems and methods for memory card emulation
US10217489B2 (en) 2015-12-07 2019-02-26 Cyberlink Corp. Systems and methods for media track management in a media editing tool
CN105528427B (zh) * 2015-12-08 2019-05-10 腾讯科技（深圳）有限公司 媒体文件处理方法、社交应用中的分享方法和装置
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
WO2017122092A1 (en) * 2016-01-12 2017-07-20 Indg Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
US10178341B2 (en) * 2016-03-01 2019-01-08 DISH Technologies L.L.C. Network-based event recording
JP6772487B2 (ja) 2016-03-09 2020-10-21 ヤマハ株式会社 収録データ解析方法および収録データ解析装置
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US9794632B1 (en) * 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US10402062B2 (en) 2016-04-16 2019-09-03 Apple Inc. Organized timeline
USD791159S1 (en) * 2016-04-18 2017-07-04 Apple Inc. Display screen or portion thereof with graphical user interface
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
US10853435B2 (en) * 2016-06-17 2020-12-01 Axon Enterprise, Inc. Systems and methods for aligning event data
US10157638B2 (en) 2016-06-24 2018-12-18 Google Llc Collage of interesting moments in a video
JP6819096B2 (ja) * 2016-06-30 2021-01-27 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
KR101768163B1 (ko) * 2016-07-18 2017-08-16 리얼리티리플렉션 주식회사 3d 비디오 생성 장치
US10104292B2 (en) 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN107799132A (zh) * 2016-09-05 2018-03-13 中兴通讯股份有限公司 一种音频剪辑方法和装置，及终端
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10521675B2 (en) 2016-09-19 2019-12-31 Digital Ally, Inc. Systems and methods of legibly capturing vehicle markings
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
USD815137S1 (en) 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD820303S1 (en) 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
DE102016221928A1 (de) 2016-11-09 2018-05-09 Siemens Aktiengesellschaft Verfahren zum Betreiben eines im Betrieb zyklisch belasteten Bauteils
CA3044665A1 (en) 2016-11-23 2018-05-31 Fasetto, Inc. Systems and methods for streaming media
JP6727106B2 (ja) 2016-11-30 2020-07-22 キヤノン株式会社 画像音響処理装置および画像音響処理方法、プログラム
JP7137173B2 (ja) * 2016-12-08 2022-09-14 チームラボ株式会社 コレクションシステム，端末用プログラム，及びコレクション方法
KR102028198B1 (ko) * 2017-01-26 2019-10-04 한국전자통신연구원 동영상 장면과 메타데이터 저작 방법
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US11708051B2 (en) 2017-02-03 2023-07-25 Fasetto, Inc. Systems and methods for data storage in keyed devices
US10171256B2 (en) 2017-02-07 2019-01-01 Microsoft Technology Licensing, Llc Interactive timeline for a teleconference session
US10193940B2 (en) 2017-02-07 2019-01-29 Microsoft Technology Licensing, Llc Adding recorded content to an interactive timeline of a teleconference session
CN108429931A (zh) * 2017-02-14 2018-08-21 优酷网络技术（北京）有限公司 一种多媒体文件播放方法及装置
US10070093B1 (en) 2017-02-24 2018-09-04 Microsoft Technology Licensing, Llc Concurrent viewing of live content and recorded content
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US11749312B2 (en) * 2017-03-24 2023-09-05 Adobe Inc. Timeline creation of electronic document creation states
US20180302454A1 (en) * 2017-04-05 2018-10-18 Interlock Concepts Inc. Audio visual integration device
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
WO2018200098A1 (en) * 2017-04-26 2018-11-01 Google Llc Generating media content playlists including relevant interstitials
US10360942B1 (en) * 2017-07-13 2019-07-23 Gopro, Inc. Systems and methods for changing storage of videos
US10726872B1 (en) * 2017-08-30 2020-07-28 Snap Inc. Advanced video editing techniques using sampling patterns
US10298968B2 (en) * 2017-09-13 2019-05-21 Amazon Technologies, Inc. Distributed multi-datacenter video packaging system
CN109561240B (zh) 2017-09-24 2023-02-17 福希特公司 用于生成媒体资产的系统和方法
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
WO2019079628A1 (en) 2017-10-19 2019-04-25 Fasetto, Inc. PORTABLE ELECTRONIC DEVICE CONNECTING SYSTEMS
US10349097B2 (en) * 2017-10-27 2019-07-09 Mti Film, Llc Metadata editor for multimedia delivery
US10805530B2 (en) * 2017-10-30 2020-10-13 Rylo, Inc. Image processing for 360-degree camera
JP6952584B2 (ja) * 2017-11-20 2021-10-20 Ｏｍデジタルソリューションズ株式会社 撮像装置、撮像方法及び撮像プログラム
CN107872620B (zh) * 2017-11-22 2020-06-02 北京小米移动软件有限公司 视频录制方法及装置、计算机可读存储介质
CN108024073B (zh) 2017-11-30 2020-09-04 广州市百果园信息技术有限公司 视频编辑方法、装置及智能移动终端
USD861724S1 (en) 2017-12-21 2019-10-01 Toontrack Music Ab Computer screen with a graphical user interface
JP2019165386A (ja) * 2018-03-20 2019-09-26 ヤマハ株式会社 信号解析方法および信号解析装置
US11064268B2 (en) * 2018-03-23 2021-07-13 Disney Enterprises, Inc. Media content metadata mapping
US11093839B2 (en) * 2018-04-13 2021-08-17 Fujifilm Business Innovation Corp. Media object grouping and classification for predictive enhancement
EP3782112A4 (en) 2018-04-17 2022-01-05 Fasetto, Inc. DEVICE PRESENTATION WITH REAL-TIME FEEDBACK
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
JP7183597B2 (ja) * 2018-07-12 2022-12-06 京セラドキュメントソリューションズ株式会社 プレビュー画像表示装置及びプレビュー画像表示プログラム
CN108986184B (zh) * 2018-07-23 2023-04-18 Oppo广东移动通信有限公司 视频创建方法及相关设备
US11024137B2 (en) 2018-08-08 2021-06-01 Digital Ally, Inc. Remote video triggering and tagging
CN109151537B (zh) * 2018-08-29 2020-05-01 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN109275024A (zh) * 2018-09-14 2019-01-25 洪海光电集团有限公司 通过音频信号控制多媒体设备的装置及其方法
CN109120997A (zh) * 2018-09-30 2019-01-01 北京微播视界科技有限公司 视频处理方法、装置、终端和介质
CN109936762B (zh) * 2019-01-12 2021-06-25 河南图灵实验室信息技术有限公司 相似音频或视频文件同步播放的方法以及电子设备
KR102569032B1 (ko) * 2019-01-22 2023-08-23 삼성전자주식회사 전자 장치 및 그의 컨텐트 제공 방법
US11049525B2 (en) * 2019-02-21 2021-06-29 Adobe Inc. Transcript-based insertion of secondary video content into primary video content
US11545187B2 (en) 2019-02-28 2023-01-03 Vertigo Media, Inc. System and method for compiling user-generated videos
US11720621B2 (en) * 2019-03-18 2023-08-08 Apple Inc. Systems and methods for naming objects based on object content
US11962836B2 (en) * 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
CN114115676A (zh) 2019-03-24 2022-03-01 苹果公司 包括内容项的可选表示的用户界面
CN114302210A (zh) 2019-03-24 2022-04-08 苹果公司 用于查看和访问电子设备上的内容的用户界面
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
JP2022528859A (ja) 2019-04-01 2022-06-16 ブラックマジック デザイン ピーティーワイ リミテッド メディアマネジメントシステム
CN111787354B (zh) * 2019-04-03 2022-06-07 浙江大学 一种视频生成方法及其装置
US20200374422A1 (en) * 2019-05-24 2020-11-26 Grass Valley Canada System and method of synchronizing video and audio clips with audio data
CN110198486B (zh) * 2019-05-28 2022-04-05 上海哔哩哔哩科技有限公司 一种预览视频素材的方法、计算机设备及可读存储介质
USD913315S1 (en) * 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
CN112083855A (zh) * 2019-06-13 2020-12-15 昆山研达电脑科技有限公司 多媒体档案管理方法及计算机可读取储存媒体
JP7386008B2 (ja) 2019-07-19 2023-11-24 株式会社デンソーテン 表示制御装置、データ収集システム、表示制御方法および表示制御プログラム
JP2022542451A (ja) * 2019-08-02 2022-10-03 ブラックマジック デザイン ピーティーワイ リミテッド ビデオ編集システム、方法、およびユーザインターフェース
CN110597759B (zh) * 2019-08-28 2022-03-29 福建省天奕网络科技有限公司 LayaIDE中图集资源优化的方法、存储介质
CN110784674B (zh) * 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
KR102227532B1 (ko) 2019-11-01 2021-03-12 키네마스터 주식회사 클립 이동 제어를 위한 동영상 편집 ui 제어방법 및 장치
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
KR20210065604A (ko) * 2019-11-27 2021-06-04 한국전자통신연구원 분산 네트워크 기반 멀티미디어 스트리밍 서비스에서 스트림을 선택하여 수신하는 방법 및 장치
BR102019027509A2 (pt) * 2019-12-20 2021-07-06 Globo Comunicação E Participações S.a. sistema e método de captação de vídeo e ordenação de sequência de cenas
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
EP4143699A1 (en) * 2020-04-28 2023-03-08 Editshare, LLC Heterogeneous media editing across storage platforms
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
CN111538489A (zh) * 2020-07-09 2020-08-14 北京美摄网络科技有限公司 一种数据处理方法和装置
CN111901534B (zh) 2020-07-23 2022-03-29 北京字节跳动网络技术有限公司 一种音视频分割的交互方法、装置、设备及存储介质
CN111757013B (zh) 2020-07-23 2022-04-29 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN111866550A (zh) * 2020-07-24 2020-10-30 上海盛付通电子支付服务有限公司 视频片段的屏蔽方法和装置
CN111953921B (zh) * 2020-08-14 2022-03-11 杭州视洞科技有限公司 一种圆角泳道的展示及交互方法
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
USD1011359S1 (en) * 2020-09-22 2024-01-16 Igt Display screen or portion thereof with graphical user interface
US11721365B2 (en) 2020-11-09 2023-08-08 Blackmagic Design Pty Ltd Video editing or media management system
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
CN115079908A (zh) * 2021-03-12 2022-09-20 北京字节跳动网络技术有限公司 媒体内容收藏方法、装置、电子设备及计算机可读存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
WO2022239281A1 (ja) * 2021-05-12 2022-11-17 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
KR20230004028A (ko) * 2021-06-30 2023-01-06 삼성전자주식회사 제어 방법 및 그 방법을 이용하는 장치
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
CN113938759A (zh) * 2021-10-19 2022-01-14 维沃移动通信有限公司 文件分享方法和文件分享装置
US20230125371A1 (en) * 2021-10-27 2023-04-27 Genetec Inc. Systems and methods for concurrently playing multiple remotely stored media files in a web browser
CN114329063A (zh) * 2021-10-29 2022-04-12 腾讯科技（深圳）有限公司 视频片段检测方法、装置以及设备
CN114025229A (zh) * 2021-11-09 2022-02-08 上海爱奇艺新媒体科技有限公司 处理音视频文件的方法、装置、计算设备及存储介质
KR102553519B1 (ko) * 2021-12-07 2023-07-10 한국전자기술연구원 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법
US11495265B1 (en) * 2021-12-30 2022-11-08 Microsoft Technology Licensing, Llc Change-dependent pre-export for video editing projects
WO2023129214A1 (en) * 2022-01-01 2023-07-06 Leia Inc. Methods and system of multiview video rendering, preparing a multiview cache, and real-time multiview video conversion
CN114630146B (zh) * 2022-05-12 2023-01-17 海看网络科技(山东)股份有限公司 一种iptv中解决进度条预览卡顿的方法
US11950017B2 (en) 2022-05-17 2024-04-02 Digital Ally, Inc. Redundant mobile video recording
CN116112780B (zh) * 2022-05-25 2023-12-01 荣耀终端有限公司 录像方法和相关装置
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN115314757B (zh) * 2022-08-05 2023-10-24 聚好看科技股份有限公司 一种显示设备及引导窗口显示方法
CN115460448A (zh) * 2022-08-19 2022-12-09 北京达佳互联信息技术有限公司 一种媒体资源编辑方法、装置、电子设备以及存储介质
CN117499745A (zh) * 2023-04-12 2024-02-02 北京优贝卡科技有限公司 一种媒体编辑方法、装置、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830018A (zh) * 2002-11-15 2006-09-06 富士施乐株式会社 绑定交互式的多信道数字文档系统

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307456A (en) 1990-12-04 1994-04-26 Sony Electronics, Inc. Integrated multi-media production and authoring system
EP0526064B1 (en) 1991-08-02 1997-09-10 The Grass Valley Group, Inc. Video editing system operator interface for visualization and interactive control of video material
US5442744A (en) 1992-04-03 1995-08-15 Sun Microsystems, Inc. Methods and apparatus for displaying and editing multimedia information
US5999173A (en) 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5682326A (en) 1992-08-03 1997-10-28 Radius Inc. Desktop digital video processing system
US5659792A (en) 1993-01-15 1997-08-19 Canon Information Systems Research Australia Pty Ltd. Storyboard system for the simultaneous timing of multiple independent video animation clips
EP0702832B1 (en) 1993-06-10 1998-03-04 Lightworks Editing Systems Ltd Video editing systems
US5664216A (en) 1994-03-22 1997-09-02 Blumenau; Trevor Iconic audiovisual data editing environment
US5659793A (en) 1994-12-22 1997-08-19 Bell Atlantic Video Services, Inc. Authoring tools for multimedia application development and network delivery
US5826102A (en) 1994-12-22 1998-10-20 Bell Atlantic Network Services, Inc. Network arrangement for development delivery and presentation of multimedia applications using timelines to integrate multimedia objects and program objects
CA2145812C (en) 1995-03-29 1998-11-17 Mario Bonja Digital video networks
EP1248258A2 (en) 1995-04-08 2002-10-09 Sony Corporation Editing system
US5572261A (en) 1995-06-07 1996-11-05 Cooper; J. Carl Automatic audio to video timing measurement device and method
US5659539A (en) 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US5732184A (en) 1995-10-20 1998-03-24 Digital Processing Systems, Inc. Video and audio cursor video editing system
US6188396B1 (en) 1996-03-29 2001-02-13 International Business Machines Corp. Synchronizing multimedia parts with reference to absolute time, relative time, and event time
US6154601A (en) 1996-04-12 2000-11-28 Hitachi Denshi Kabushiki Kaisha Method for editing image information with aid of computer and editing system
US6161115A (en) 1996-04-12 2000-12-12 Avid Technology, Inc. Media editing system with improved effect management
US5861889A (en) 1996-04-19 1999-01-19 3D-Eye, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
BR9709751A (pt) 1996-04-29 1999-08-10 Princeton Video Image Inc Inserção eletrônica intensificada de áudio de sinais em víde
US6628303B1 (en) 1996-07-29 2003-09-30 Avid Technology, Inc. Graphical user interface for a motion video planning and editing system for a computer
US6154600A (en) 1996-08-06 2000-11-28 Applied Magic, Inc. Media editor for non-linear editing system
US5969716A (en) 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
EP0863510A4 (en) 1996-09-20 2002-05-29 Sony Corp EDITING SYSTEM AND METHOD AND VIDEO CUTTING DEVICE AND METHOD
US6324335B1 (en) 1996-11-29 2001-11-27 Sony Corporation Editing system and editing method
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6054984A (en) 1997-05-27 2000-04-25 Hewlett-Packard Company System and method for graphically manipulating display elements in a signal measurement system
US6400378B1 (en) 1997-09-26 2002-06-04 Sony Corporation Home movie maker
JP2985847B2 (ja) 1997-10-17 1999-12-06 日本電気株式会社 入力装置
US5933141A (en) 1998-01-05 1999-08-03 Gateway 2000, Inc. Mutatably transparent displays
JPH11203837A (ja) 1998-01-16 1999-07-30 Sony Corp 編集システムおよび編集方法
US6336093B2 (en) 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
JP3944807B2 (ja) 1998-04-02 2007-07-18 ソニー株式会社 素材選択装置及び素材選択方法
JPH11289512A (ja) 1998-04-03 1999-10-19 Sony Corp 編集リスト作成装置
US20020023103A1 (en) 1998-04-21 2002-02-21 Rejean Gagne System and method for accessing and manipulating time-based data using meta-clip objects
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
JP4207099B2 (ja) 1998-09-29 2009-01-14 ソニー株式会社 画像編集装置及びその方法
US6313854B1 (en) 1998-10-16 2001-11-06 International Business Machines Corporation Display mechanism for HTML frames
GB2344453B (en) 1998-12-01 2002-12-11 Eidos Technologies Ltd Multimedia editing and composition system having temporal display
US6539163B1 (en) 1999-04-16 2003-03-25 Avid Technology, Inc. Non-linear editing system and method employing reference clips in edit sequences
US6453251B1 (en) 1999-10-07 2002-09-17 Receptec Llc Testing method for components with reception capabilities
US6429902B1 (en) 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
AUPQ464099A0 (en) 1999-12-14 2000-01-13 Canon Kabushiki Kaisha Emotive editing system
US7725812B1 (en) 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US20010036356A1 (en) 2000-04-07 2001-11-01 Autodesk, Inc. Non-linear video editing system
US7325199B1 (en) 2000-10-04 2008-01-29 Apple Inc. Integrated time line for editing
JP2002135709A (ja) * 2000-10-18 2002-05-10 Sony Corp 編集装置、記録再生装置、編集方法、及び記録媒体
US6907570B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Video and multimedia browsing while switching between views
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
GB2374719A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data processing apparatus with two timelines
GB2374748A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data editing for transitions between sequences
US7540011B2 (en) 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
JP3617052B2 (ja) 2001-08-30 2005-02-02 日本電気株式会社 カメラ映像提供システム及びカメラ映像の時刻補正方法
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US7073127B2 (en) 2002-07-01 2006-07-04 Arcsoft, Inc. Video editing GUI with layer view
CN100346391C (zh) 2002-08-08 2007-10-31 科斯莫坦股份有限公司 使用可变长度合成和简化互相关计算的音频信号时间缩放比例修改方法
US7863513B2 (en) * 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
US8009966B2 (en) 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
US7627359B2 (en) * 2002-12-19 2009-12-01 University Of Washington Quantitative contrast enhanced black-blood imaging using quadruple-inversion recovery
KR100934460B1 (ko) 2003-02-14 2009-12-30 톰슨 라이센싱 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치
CN1526864A (zh) * 2003-03-07 2004-09-08 西安工程科技学院 针梳机上使用的机电式自调匀整测控系统
US7142250B1 (en) 2003-04-05 2006-11-28 Apple Computer, Inc. Method and apparatus for synchronizing audio and video streams
US8392834B2 (en) 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US7739715B2 (en) 2003-06-24 2010-06-15 Microsoft Corporation Variable play speed control for media streams
CN1291037C (zh) * 2004-01-19 2006-12-20 中国科学院上海微系统与信息技术研究所 一种芯片原位聚合酶链反应检测目标基因的方法
US7634793B2 (en) * 2004-06-03 2009-12-15 Hillcrest Laboratories, Inc. Client-server architectures and methods for zoomable user interfaces
US7903927B2 (en) 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
US7411590B1 (en) 2004-08-09 2008-08-12 Apple Inc. Multimedia file format
GB2417176A (en) 2004-08-12 2006-02-15 Ibm Mouse cursor display
JP4229035B2 (ja) 2004-09-28 2009-02-25 ソニー株式会社 記録再生装置および方法、再生装置および方法、記録装置および方法、並びにプログラム
US7788592B2 (en) 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7843491B2 (en) 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
US7669130B2 (en) 2005-04-15 2010-02-23 Apple Inc. Dynamic real-time playback
US7313755B2 (en) 2005-04-20 2007-12-25 Microsoft Corporation Media timeline sorting
US8156176B2 (en) 2005-04-20 2012-04-10 Say Media, Inc. Browser based multi-clip video editing
FR2887106B1 (fr) 2005-05-27 2009-07-31 Christophe Malassis Procede de generation d'un signal source, signal source, procede et dispositif de montage, moyens de stockage et programme d'ordinateur correspondants
US7644373B2 (en) * 2006-01-23 2010-01-05 Microsoft Corporation User interface for viewing clusters of images
US7823056B1 (en) * 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
CN101455081A (zh) 2006-03-27 2009-06-10 诺基亚西门子通信有限责任两合公司 生成数字数据流的方法
TW200809764A (en) 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
US8682654B2 (en) 2006-04-25 2014-03-25 Cyberlink Corp. Systems and methods for classifying sports video
GB0608529D0 (en) * 2006-04-28 2006-06-07 Oxwest Media Ltd Generating a media program
US7623755B2 (en) 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
US20080072166A1 (en) 2006-09-14 2008-03-20 Reddy Venkateshwara N Graphical user interface for creating animation
US8035747B2 (en) * 2007-01-05 2011-10-11 Eastman Kodak Company Image digital processing based on edit status
US8249153B2 (en) 2007-06-12 2012-08-21 In Extenso Holdings Inc. Distributed synchronized video viewing and editing
US8037046B2 (en) 2007-06-29 2011-10-11 Microsoft Corporation Collecting and presenting temporal-based action information
WO2009042858A1 (en) 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
KR101255427B1 (ko) 2008-03-12 2013-04-17 소니 픽쳐스 엔터테인먼트, 인크. 스마트 슬레이트
WO2009114134A2 (en) 2008-03-13 2009-09-17 United Video Properties, Inc. Systems and methods for synchronizing time-shifted media content and related communications
JP2011077564A (ja) 2008-04-13 2011-04-14 Thomson Canopus Co Ltd 映像および音声データの符号化装置とその符号化方法、及びビデオ編集システム
US8368705B2 (en) * 2008-07-16 2013-02-05 Google Inc. Web-based graphics rendering system
US20100077289A1 (en) 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
US9646648B2 (en) 2008-10-23 2017-05-09 Google Technology Holdings LLC Method and apparatus for creating short video clips of important events
US20100107126A1 (en) 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
KR101516850B1 (ko) 2008-12-10 2015-05-04 뮤비 테크놀로지스 피티이 엘티디. 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기
JP2012054619A (ja) 2009-03-19 2012-03-15 Grass Valley Co Ltd 編集装置、編集方法、編集プログラム及びデータ構造
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US8359537B2 (en) 2009-04-30 2013-01-22 Apple Inc. Tool for navigating a composite presentation
US8522144B2 (en) 2009-04-30 2013-08-27 Apple Inc. Media editing application with candidate clip management
US9032299B2 (en) 2009-04-30 2015-05-12 Apple Inc. Tool for grouping media clips for a media editing application
US8631326B2 (en) 2009-04-30 2014-01-14 Apple Inc. Segmented timeline for a media-editing application
US8612858B2 (en) 2009-05-01 2013-12-17 Apple Inc. Condensing graphical representations of media clips in a composite display area of a media-editing application
WO2010138776A2 (en) 2009-05-27 2010-12-02 Spot411 Technologies, Inc. Audio-based synchronization to media
US20110072037A1 (en) 2009-09-18 2011-03-24 Carey Leigh Lotzer Intelligent media capture, organization, search and workflow
US8677240B2 (en) * 2009-10-05 2014-03-18 Harris Corporation Video processing system providing association between displayed video and media content and related methods
US9066674B2 (en) * 2010-03-17 2015-06-30 Siemens Medical Solutions Usa, Inc. Motion synchronized destruction for three-dimensional reperfusion mapping in medical diagnostic ultrasound imaging
EP2567332A1 (en) 2010-05-04 2013-03-13 Shazam Entertainment Ltd. Methods and systems for processing a sample of a media stream
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US20120030550A1 (en) * 2010-07-28 2012-02-02 Chin Ai Method for editing multimedia
US8775480B2 (en) 2011-01-28 2014-07-08 Apple Inc. Media clip management
US8621355B2 (en) 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
US8819185B2 (en) * 2011-08-05 2014-08-26 John Charles McLaughlin Streaming internet video editing and composite edit playback
US20130124999A1 (en) 2011-11-14 2013-05-16 Giovanni Agnoli Reference clips in a media-editing application
US8682144B1 (en) 2012-09-17 2014-03-25 Google Inc. Method for synchronizing multiple audio signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830018A (zh) * 2002-11-15 2006-09-06 富士施乐株式会社 绑定交互式的多信道数字文档系统

Also Published As

Publication number Publication date
EP2781102A1 (en) 2014-09-24
US20130121668A1 (en) 2013-05-16
EP3012838B1 (en) 2018-01-03
US20130124999A1 (en) 2013-05-16
US20130125000A1 (en) 2013-05-16
WO2013074207A1 (en) 2013-05-23
JP6214619B2 (ja) 2017-10-18
JP5856690B2 (ja) 2016-02-10
EP3012838A1 (en) 2016-04-27
US9792955B2 (en) 2017-10-17
CN103931199A (zh) 2014-07-16
US9437247B2 (en) 2016-09-06
JP2016105597A (ja) 2016-06-09
JP2015504629A (ja) 2015-02-12
US9111579B2 (en) 2015-08-18
US20130124998A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN103931199B (zh) 多媒体片段的生成
US9600164B2 (en) Media-editing application with anchored timeline
US8875025B2 (en) Media-editing application with media clips grouping capabilities
US7432940B2 (en) Interactive animation of sprites in a video production
US8966367B2 (en) Anchor override for a media-editing application with an anchored timeline
US8631047B2 (en) Editing 3D video
US9026909B2 (en) Keyword list view
US20070250899A1 (en) Nondestructive self-publishing video editing system
EP1517328B1 (en) Information editing device, information editing method, and computer program product
EP2742599A1 (en) Logging events in media files including frame matching
JP5765255B2 (ja) 画像処理プログラムおよび画像処理装置
US20210224545A1 (en) System and method for associating a video recording to an event
JP3838805B2 (ja) 画像検出方法
JP4309819B2 (ja) 動画像編集装置
AU2002301447B2 (en) Interactive Animation of Sprites in a Video Production
KR102202099B1 (ko) 저장 공간을 최소화하는 영상 관리 방법 및 이를 수행하는 사용자 디바이스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant