JP2015504629A - マルチメディアクリップの生成 - Google Patents

マルチメディアクリップの生成 Download PDF

Info

Publication number
JP2015504629A
JP2015504629A JP2014541061A JP2014541061A JP2015504629A JP 2015504629 A JP2015504629 A JP 2015504629A JP 2014541061 A JP2014541061 A JP 2014541061A JP 2014541061 A JP2014541061 A JP 2014541061A JP 2015504629 A JP2015504629 A JP 2015504629A
Authority
JP
Japan
Prior art keywords
clip
media
clips
camera
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014541061A
Other languages
English (en)
Other versions
JP5856690B2 (ja
Inventor
コーリーン ペンダガスト,
コーリーン ペンダガスト,
ジョバンニ アニョリ,
ジョバンニ アニョリ,
ブライアン ミーネイ,
ブライアン ミーネイ,
ミカエル フライシュハウアー,
ミカエル フライシュハウアー,
ケン マツダ,
ケン マツダ,
イトラット ユー. カーン,
イトラット ユー. カーン,
ケニス エム. カーソン,
ケニス エム. カーソン,
ザチュリー ブライアント ミンジャック,
ザチュリー ブライアント ミンジャック,
マイク スターン,
マイク スターン,
マルコ, ビンチェンツォ デ
マルコ, ビンチェンツォ デ
マシュー ディー. ディーフォース,
マシュー ディー. ディーフォース,
ルイス ラサーレ,
ルイス ラサーレ,
Ii, マーク アラン イートン
Ii, マーク アラン イートン
ショーン エム. プール,
ショーン エム. プール,
ジョーダン ピー. マッコモンズ,
ジョーダン ピー. マッコモンズ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2015504629A publication Critical patent/JP2015504629A/ja
Application granted granted Critical
Publication of JP5856690B2 publication Critical patent/JP5856690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17336Handling of requests in head-ends

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

マルチメディア編集アプリケーション。アプリケーションは、マルチレビューメディアクリップを作成するために同じイベントのいくつかのメディアクリップの選択を受け取る。メディアメディアクリップと共に記憶されクリップのソースを特定するメタデータに基づいて、アプリケーションは、クリップを少なくとも2つの異なるグループ(静止画像及びビデオ)に自動的に割り当てる。グループごとに、タイムスタンプ又は日時などのタイミングメタデータを使用して、アプリケーションは、クリップをタイムラインに沿って順序付けし、最初に異なるクリップを同期させ、異なるグループに割り当てられたクリップのメタデータを比較することによってグループの同期を調整する。

Description

デジタルグラフィックデザイン、画像編集、オーディオ編集及びビデオ編集アプリケーション(即ち、メディア編集アプリケーション)は、グラフィックデザイナ、メディアアーティスト、映画及びテレビディレクタ、並びにその他のユーザに、様々なメディアコンテンツの作成に必要なツールを提供する。そのようなアプリケーションの例には、Final Cut Pro(登録商標)及びiMovie(登録商標)があり、これらは両方ともApple,Inc.によって販売されている。これらのアプリケーションは、様々なメディアコンテンツを様々な手法で編集し、組み合わせ、トランジションし、オーバーレイし、繋ぎ合わせて生成メディアプロジェクトを作成する機能をユーザに提供する。生成メディアプロジェクトは、メディアプレゼンテーションを作成するために使用される任意数のテキスト、オーディオ、画像及び/又はビデオコンテンツ要素の特定配列の組成物を特定する。
様々なメディア編集アプリケーションが、電子的手段によってそのような合成を容易にする。具体的には、プロセッサ及びコンピュータ可読記憶媒体を有するコンピュータ又は他の電子装置が、メディア編集アプリケーションを実行する。その際に、コンピュータは、グラフィカルインタフェースを生成し、それにより、デザイナは、メディアコンテンツのグラフィック表現をデジタル式に操作して所望の結果を生成する。
いくつかの例では、ディレクタ又は編集者などが、複数の異なるカメラを用いて複数の異なるアングルから1つのシーンを撮影することがある。手作業で多数のメディアクリップをタイムラインに編集し、クリップをどのように整列させトリミングするかを指示し、様々なカメラをどこで切り替えるかを指定しようとすることは、難しく時間のかかるプロセスである可能性がある。更に、編集者が、このプロセスをタイムラインの複数の位置又は複数の異なるメディアプロジェクト内で行う場合は、複数の位置で同じ変更をしなければならないので、編集者は、変更するのを躊躇することになる。
本発明のいくつかの実施形態は、ユーザが、複数の異なるメディアキャプチャ装置(例えば、異なるアングルからシーンを同時に記録するいくつかのカメラ)によってキャプチャされたいくつかのメディアクリップを含む、マルチカメラメディアクリップを作成することを可能にするメディア編集アプリケーションを提供する。ユーザが、メディア編集アプリケーションが特定のメディアクリップセットを使用してマルチカメラメディアクリップを作成するように指定したとき、アプリケーションは、メディアクリップのメタデータを使用して、その組内のメディアクリップを異なるグループ(例えば、異なる各カメラに1つのグループ)に自動的に割り当て、各グループ内のクリップを順序付け離間させ(例えば、クリップ間にギャップを有する時間順に)、グループ全体にわたってクリップを同期させる(例えば、第1のグループ内のクリップのキャプチャ時間を第2のグループ内のクリップのキャプチャ時間と整合させる)。ユーザが、そのようなマルチカメラクリップを複合プレゼンテーションに追加するとき、メディア編集アプリケーションは、既に作成されたマルチカメラクリップを参照する新しいクリップインスタンスを、プレゼンテーション内に作成して、マルチカメラクリップに対する変更が、複合プレゼンテーション内のクリップインスタンスに作用するようにする。メディア編集アプリケーションは、マルチカメラクリップ並びに複合プレゼンテーション内のクリップのインスタンスを編集するための様々なユーザインタフェースツールを提供する。
いくつかの実施形態において、ユーザは、マルチカメラクリップを生成するいくつかの異なるメディアクリップ(例えば、ビデオクリップ、オーディオクリップ、静止画など)を指定する。メディア編集アプリケーションは、指定されたメディアクリップをグループ(本明細書では「アングル」又は「カメラアングル」と呼ばれることもある)に自動的にソートする。いくつかの実施形態は、ユーザ入力されたアングル若しくはカメラ名又は自動生成されたカメラ情報などのメディアクリップのメタデータを使用して、メディアクリップをグループにソートする(例えば、異なるメディアクリップをキャプチャするために使用されるカメラごとにグループが作成される。)。クリップがソートされた状態で、アプリケーションは、異なるグループにそれぞれクリップの順序付けられたシーケンスを自動生成する。いくつかの実施形態において、アプリケーションは、メタデータが、適正な順序と一致することを示す特定の基準に適合する限り、クリップメタデータ(例えば、メディアクリップをキャプチャするために使用されるキャプチャ装置によって生成されるタイミングデータ)を利用してこの順序付けを行う。クリップの順序付けに加えて、メディア編集アプリケーションは、キャプチャ装置がメディアをキャプチャしなかったとき(例えば、ショット間でカメラの電源が切られたとき)に時間のギャップを挿入して、シーケンス内のクリップをスペース配置する。
グループそれぞれのシーケンスを生成した後、メディア編集アプリケーションは、異なるグループ全体にわたってシーケンスを同期させる。即ち、アプリケーションは、第1のキャプチャ装置によって特定の時間にキャプチャされたコンテンツが、第2のキャプチャ装置によって同時にキャプチャされたコンテンツと整合されるようにシーケンスを整合させる。いくつかの実施形態は、1つ以上のグループを配列するために使用される同じタイミングメタデータを使用して、異なるグループを同期させる。第1の装置によってクリップがキャプチャされた時間を示す情報が、第2の装置からの対応する情報と同じフォーマット(例えば、タイムコードデータ又は時刻情報)を有するとき、アプリケーションは、タイミング情報が、装置間で情報が比較されるべきであることを示す特定の基準を満たす限り、この情報を使用して、クリップを整合させる。いくつかの実施形態において、クリップメタデータを使用してグループのこの事前同期を行なった後、メディア編集アプリケーションは、複数の装置によってキャプチャされたオーディオデータを使用して同期を微調整する。即ち、アプリケーションは、複数の装置(例えば、様々なカメラのマイクロフォン)によってキャプチャされた類似のオーディオを特定し、このオーディオを整合させる。特定のカメラからのオーディオ及びビデオが、互いに結び付けられているので、これは、様々な装置からのビデオを整合させる効果も有する。
いくつかの異なるメディアクリップからマルチカメラメディアクリップを作成するとき、いくつかの実施形態のメディア編集アプリケーションは、マルチカメラメディアクリップの参照データ構造を生成する。この参照データ構造は、いくつかの実施形態において、クリップが割り当てられるグループにそれぞれ関する情報を記憶する。アプリケーションは、参照データ構造を一連のネストクリップ構造として記憶し、各グループは、参照クリップ構造内の別個のクリップ構造で記憶される。次に、特定グループのクリップ構造は、いくつかの実施形態においてギャップ構造を使用してクリップ間の離間を示すことにより、グループに割り当てられたクリップの順序付付きクリップ構造セットを記憶する。更に、参照クリップ構造は、異なるグループ間の同期を示す情報を記憶する。
メディア編集アプリケーションは、グラフィカルユーザインタフェース(GUI)に、参照マルチカメラメディアクリップを編集するための編集表示領域を提供する。いくつかの実施形態において、この編集表示領域は、複合メディアプレゼンテーション(「メディアプロジェクト」又は「複合メディアプロジェクト」とも呼ばれる)をメディアクリップのシーケンスとして(例えば、タイムラインに沿って配列されたクリップのシーケンスとして)作成し、編集するためにも使用される複合表示領域である。この編集表示領域内で、ユーザは、マルチカメラメディアクリップ内のクリップのグループを命名し、グループを追加又は削除し、クリップをグループに追加又はグループから除去し、シーケンス内の個々のメディアクリップを移動させ(例えば、グループの追加の整合を行なう)、マルチカメラクリップ内のグループの順序を変更し、マルチカメラクリップ内のクリップの個々のクリップ又はグループにエフェクト(例えば、変換、画素変更など)を適用することなどができる。いくつかの実施形態において、複合表示領域は、複合プレゼンテーションを編集するためのトラックのない表示領域であり、マルチカメラクリップの異なるグループのためのトラックのアピアランスを提供する。
前述したように、いくつかの実施形態の複合表示領域は、メディアプロジェクトを、ユーザによって配列されたメディアクリップのシーケンスとして作成するために使用される。メディア編集アプリケーションのユーザは、マルチカメラメディアクリップをメディアプロジェクトに追加することができる。次に、メディア編集アプリケーションは、メディアプロジェクトのその定義に、参照クリップを参照するマルチカメラクリップのクリップインスタンスを追加する。クリップインスタンスは、マルチカメラクリップの順序付けられたグループのうちの1つのグループをアクティブグループとして示す(いくつかの実施形態において、インスタンスは、アクティブオーディオグループとアクティブビデオグループの両方を示す)。マルチカメラクリップインスタンスによって占有された複合表示領域内の位置(例えば、時間)の複合プレゼンテーションを描画するとき、メディア編集アプリケーションは、アクティブグループのクリップに対応するソースコンテンツを検索する。
いくつかの実施形態において、クリップインスタンスは、参照マルチカメラクリップのプロパティ、並びにクリップインスタンスのアクティブグループのプロパティを継承する。また、クリップインスタンスにそれ自体のプロパティを適用することができる。例えば、いくつかの実施形態のマルチカメラクリップ参照は、それ自体のフォーマット及びフレームレートを有し、このフォーマット及びフレームレートは、クリップインスタンスによって継承される。アクティブグループは、クリップ参照内にそのシーケンスを有し、ユーザは、アクティブグループ内のクリップにエフェクトを適用した可能性がある。次に、ユーザは、クリップインスタンス内のアクティブグループに追加のエフェクトを適用し、この追加のエフェクトは、他のインスタンス(同じアクティブグループを有するインスタンスでも)に影響を及ぼさない。更に、ユーザは、インスタンスにとってどのグループがアクティブかに関係なく、クリップインスタンスと一緒にある、リタイミングエフェクト、マーカ又はキーワードをクリップインスタンスに配置してもよい。これらの参照クリップをマルチカメラメディアクリップについて述べたが、いくつかの実施形態は、個々のメディアクリップ又は複合メディアクリップのための参照クリップも含む。メディア編集アプリケーションが、クリップインスタンスを描画するとき、アプリケーションは、最初に、参照クリップのプロパティ(例えば、エフェクト)を適用し、次にクリップインスタンスのプロパティを適用する。
複合プレゼンテーションに追加されたとき、マルチカメラメディアクリップインスタンスを、プレゼンテーション内の他のメディアクリップと全く同様に編集することができる。しかしながら、いくつかの実施形態において、メディア編集アプリケーションは、そのようなマルチカメラメディアクリップに追加又は異なる編集機能を提供する。例えば、いくつかの実施形態のメディア編集アプリケーションは、ユーザが、複合プレゼンテーション内のクリップインスタンスにアクティブなグループを変更する複数の異なる方法を提供する。ユーザは、クリップインスタンスを選択して、ユーザが異なるグループからのビデオ又は画像を繰り返し表示させることを可能にする、異なるグループのドロップダウンメニュー又は表示領域を作成してもよい。
更に、いくつかの実施形態は、GUI内にマルチカメラクリップビューワ(又は、「アングルビューワ」)を提供する。マルチカメラクリップビューワにより、ユーザは、単一マルチカメラメディアクリップの複数の異なるグループから同時にコンテンツ(例えば、ビデオ画像)を視聴することができる。ユーザは、ビューワを使用して、クリップインスタンスのアクティブグループを切り替えるか、又はクリップインスタンスを、異なるアクティブグループを有する2つの別個のインスタンスに分割することができる。いくつかの実施形態は、ユーザが、ビューワ内の特定グループを選択すると、クリップインスタンスのオーディオ、ビデオ又はオーディオとビデオとの両方を特定の選択されたグループに切り替わるか(又は、分割して切り替える)どうかを判定できるようにするGUI項目を提供する。いくつかの実施形態において、GUI項目は、異なるタイプのコンテンツ(例えば、オーディオ、ビデオ、又は両方)に異なる色(又は、パターン、シンボル他などの他のインジケータ)を有し、これらの色は、ビューワ内のアクティブグループのコンテンツ(例えば、再生されているビデオ画像)の周囲並びにビューワ内に示されたグループのバンク内の強調で表される。マルチカメラクリップ内に、ビューワ内で利用可能な表示より多くのグループがあるとき、いくつかの実施形態は、グループの様々なセットを順に表示させるために、ユーザが選択することができる選択可能なグループバンクを表示する。
以上の要約は、本発明のいくつかの実施形態を簡潔に紹介するためのものである。本明細書に開示されたすべての発明内容の紹介又は概要を意味しない。以下の詳細な説明、及び詳細な説明で引用される図面は、更に、要約で述べた実施形態並びに他の実施形態について述べる。したがって、本明細書で述べる全ての実施形態を理解するために、要約、詳細な説明及び図面の十分な検討が必要とされる。更に、特許請求された内容は、要約、詳細な説明及び図面における実例となる詳細によって限定されず、特許請求された内容は、主題の趣旨から逸脱しない他の特定の形態で実施することができるので、添付の特許請求の範囲によって定義される。
本発明の新規の特徴は、添付の特許請求の範囲で説明される。しかしながら、説明のため、本発明のいくつかの実施形態は、以下の図に示される。
マルチカメラメディアクリップを作成し、使用する機能を有するメディア編集アプリケーションのグラフィカルユーザインタフェース(「GUI」)である。 ユーザが、図1の複合表示領域内に作成されている複合プレゼンテーションにマルチカメラクリップのインスタンスを追加することを示す図である。 いくつかの実施形態のメディア編集アプリケーションのGUIである。 いくつかの実施形態のメディア編集アプリケーションのGUIにおける新しいプロジェクトの作成を示す図である。 メディアアセットのアセットデータ構造、並びにメディアアセットを含むイベントのイベントデータ構造を概念的に示す図である。 インポートされたメディアファイルのいくつかの実施形態の、メディア編集アプリケーションによって作成されたクリップオブジェクトのネストシーケンスを概念的に示す図である。 4つのクリップを含むプロジェクト名称「新しいプロジェクト」を有するタイムラインを示す図である。 図7に示されたプロジェクトのデータ構造のサブセットを概念的に示す図である。 概念的タイムラインにネストされた図8のオブジェクトを概念的に示す図である。 メディアクリップセットからマルチカメラメディアクリップを生成するいくつかの実施形態のプロセスを概念的に示す図である。 マルチカメラメディアクリップを作成するためのユーザ入力を示す図である。 クリップをマルチカメラメディアクリップの異なるアングルに割り当てるプロセスを概念的に示す図である。 1組の9クリップのマルチカメラメディアクリップの3つの異なるアングルへの割り当てを概念的に示す図である。 マルチカメラメディアクリップの異なるアングルの順序付けられたクリップシーケンスを生成するいくつかの実施形態のプロセスを概念的に示す図である。 図13からのクリップのシーケンスである。 タイミングメタデータを利用するマルチカメラメディアクリップの初期同期を行なういくつかの実施形態のプロセスを概念的に示す図である。 図13に示されたクリップのメタデータを使用する図15からのシーケンスのアラインメントを示す図である。 マルチカメラメディアクリップ内の1組のアングル全体にわたる同期メディアクリップのいくつかの実施形態のプロセスを概念的に示す図である。 図17からのアングルのオーディオ同期を示す図である。 いくつかの実施形態のメディア編集アプリケーションのイベントで作成されたマルチカメラメディアクリップのデータ構造のサブセットを概念的に示す図である。 いくつかの実施形態のグラフィカルユーザインタフェース(「GUI」)のアングルエディタ表示領域を開いたところを示す図である。 マルチカメラプレビュー表示領域が開かれ表示領域のオプションがアクセスされた3段階にわたるGUIである。 クリップをそのトラックに沿って移動させることによって、第1のアングルトラック内のメディアクリップを第2のアングルトラック内のクリップと手動でアラインメントすることを示す図である。 ユーザがいくつかの実施形態に係るマルチカメラメディアクリップとモニタリングアングルを変更することを示す図である。 ユーザがマルチカメラ参照クリップの異なるアングル用のオーディオを有効にし、無効にすることを示す図である。 アングルエディタで開かれたマルチカメラメディアクリップを再生(又は、スキミング)するためのいくつかの実施形態のプロセスを概念的に示す図である。 選択されたクリップをアングルエディタ内の他のアングルのクリップに自動的に同期させる機能の使用を示す図である。 アングルエディタ内でクリップを同期させるためのフレームマッチング技術の使用を示す図である。 ユーザがアングルをGUI内のマルチカメラメディアクリップに追加することを示す図である。 ユーザが図29のGUI内のマルチカメラメディアクリップのアングルをリネームすることを示す図である。 ユーザが図29のGUI内のマルチカメラメディアクリップのアングルを削除することを示す図である。 ユーザが図29のGUI内のマルチカメラメディアクリップのアングルを順序変更することを示す図である。 エフェクト表示領域からアングルエディタ内でクリップに白黒エフェクトを適用することを示す図である。 ユーザがマルチカメラメディアクリップをメディアプロジェクトに追加することを示す図である。 マルチカメラクリップインスタンスを含むメディアプロジェクトを定義するデータ構造のサブセットを概念的に示す図である。 ユーザがマルチカメラクリップをメディアプロジェクトに追加する例である。 ユーザが複合表示領域内のマルチカメラクリップのアングルエディタを開くことを示す図である。 選択されたクリップ、並びに選択されたクリップを有するインスペクタ表示領域の異なるタブである。 選択されたクリップ、並びに選択されたクリップを有するインスペクタ表示領域の異なるタブである。 選択されたクリップ、並びに選択されたクリップを有するインスペクタ表示領域の異なるタブである。 選択されたクリップ、並びに選択されたクリップを有するインスペクタ表示領域の異なるタブである。 ユーザがインスペクタ内の選択されたクリップインスタンス用のアクティブビデオアングルを切り替えることを示す図である。 ユーザが複合表示領域内のメディアプロジェクトの編集中に表示されるような、いくつかの実施形態のアングルビューワを示す図である。 様々な例がアングルビューワを使用してメディアプロジェクト内のマルチカメラクリップを編集すること示す図である。 様々な例がアングルビューワを使用してメディアプロジェクト内のマルチカメラクリップを編集すること示す図である。 様々な例がアングルビューワを使用してメディアプロジェクト内のマルチカメラクリップを編集すること示す図である。 様々な例がアングルビューワを使用してメディアプロジェクト内のマルチカメラクリップを編集すること示す図である。 ユーザがアングルビューワを使用してクリップインスタンスを切断するときにメディアプロジェクトのデータ構造を変更するいくつかの実施形態のプロセスを概念的に示す図である。 ビューワが4つのアングルプレビュー表示を表示しているときにアングルビューワのサイズを変更するエフェクトを示す図である。 複合表示領域内の選択されたマルチカメラクリップインスタンスのビデオアングルを切り替えるメニューの使用を示す図である。 いくつかの実施形態の複合表示領域内のビデオアングルを切り替える他の方法を示す図である。 複合表示領域内の選択されたマルチカメラクリップインスタンスのアクティブオーディオアングルを切り替えるためのメニューの使用を示す図である。 2つのマルチカメラクリップインスタンスを単一インスタンスに組み合わせるための複合表示領域内のスルー編集の削除を示す図である。 ユーザがスルー編集によって分離された2つのクリップインスタンスのボリュームレベルを変更することを示す図である。 ユーザが1対のクリップインスタンスに複合表示領域内でビデオエフェクトを適用することを示す図である。 2つの標準メディアクリップと、編集ポイントがスルー編集である2つのマルチカメラクリップ参照との間の編集ポイントで適用された、デフォルトトリム編集の違いを示す図である。 2つの標準メディアクリップと、編集ポイントがスルー編集である2つのマルチカメラクリップ参照との間の編集ポイントで適用された、デフォルトトリム編集の違いを示す図である。 メディアプロジェクト内のマルチカメラクリップインスタンスから画像を描画するいくつかの実施形態のプロセスを概念的に示す図である。 マルチカメラクリップインスタンスを含む種々のメディアクリップを含むメディアクリップのタイムラインを概念的に示す図である。 図56からのメディアプロジェクトの特定画像のレンダーグラフを概念的に示す図である。 いくつかの実施形態のメディア編集アプリケーションのソフトウェアアーキテクチャを概念的に示す図である。 本発明のいくつかの実施形態が実現される電子システムを概念的に示す図である。
以下の記述では、説明のために多数の詳細、例及び実施形態が示される。しかしながら、当業者は、本発明が、説明された実施形態に限定されないこと、本発明が、述べた特定の詳細及び例の一部なしに実施され得ることを理解するであろう。他の例では、本発明の記述を余計な詳細で不明瞭にしないように、周知の構造及び装置がブロック図の形で示される。
本発明のいくつかの実施形態は、ユーザが、複数の異なるメディアキャプチャ装置(例えば、1つのシーンを異なるアングルから同時に記録するいくつかのカメラ)によってキャプチャされたいくつかのメディアクリップを含む、マルチカメラメディアクリップを作成できるようにするメディア編集アプリケーションを提供する。ユーザが、メディア編集アプリケーションに特定のメディアクリップセットを使用してマルチカメラメディアクリップを作成するように指定したとき、アプリケーションは、メディアクリップのメタデータを使用して、そのメディアクリップセットを異なるグループ(例えば、異なるカメラごとに1つのグループ)に自動的に割り当て、各グループ内のクリップを順序付けて離間させ(例えば、クリップ間にギャップがある時間順に)、グループ全体にわたってクリップを同期させる(例えば、第1のグループ内のクリップのキャプチャ時間を第2のグループ内のクリップのキャプチャ時間と整合させる)。ユーザが、そのようなマルチカメラクリップを複合プレゼンテーションに追加したとき、メディア編集アプリケーションは、既に作成されたマルチカメラクリップを参照する新しいクリップインスタンスを、プレゼンテーション内に作成して、マルチカメラクリップへの変更が、複合プレゼンテーション内のクリップインスタンスに作用するようにする。メディア編集アプリケーションは、マルチカメラクリップ並びに複合プレゼンテーション内のクリップのインスタンスを編集するための様々なユーザインタフェースツールを提供する。
メディアクリップは、いくつかの実施形態において、1つのソースメディア(例えば、ビデオファイルに含まれるビデオ、オーディオファイル又はビデオファイルに含まれるオーディオ、静止画など)を表すデータ構造である。メディア編集アプリケーションは、これらのクリップのグラフィック表現をユーザに提供し、ユーザは、クリップを使用して、複合表示領域内でクリップを一緒に編集することによって、複合メディアプレゼンテーション(メディアプロジェクトとも呼ばれる)を作成する。いくつかの実施形態のマルチカメラメディアクリップは、複数の異なるキャプチャデバイスからのメディアクリップを融合して、これらのメディアクリップをクリップ構造内で整列させる特定のタイプのメディアクリップである。
本発明のいくつかの実施形態において、図1は、マルチカメラメディアクリップを作成し、使用する機能を有するメディア編集アプリケーションのグラフィカルユーザインタフェース(「GUI」)100を示す。具体的には、この図は、GUI 100を2つの段階110及び120で示す。GUI 100は、メディアライブラリ105、プロジェクト表示領域115及びプレビュー表示領域125を含む。メディアライブラリ105は、メディアプロジェクトを作成するためにユーザが利用可能なメディアクリップセットのプレゼンテーションを表示する。メディアクリップは、実施形態により異なるように表示されることがある。例えば、メディアライブラリ105内のメディアクリップ106〜108は、それらのメディアクリップが表すビデオから1つのサムネイル画像を表示し、そのサムネイルの下にクリップ名とカメラメタデータとの両方を表示する。他の実施形態は、クリップ名を表示することがある。メディアクリップ106及び108(それぞれ「クリップA」及び「クリップC」)は両方とも、「カメラ1」からのものであり、メディアクリップ107(「クリップB」)は、「カメラ2」からのものである。このカメラ名メタデータは、ソースビデオから自動生成されることもあり(例えば、メディア編集アプリケーションへのインポート時)、ユーザ入力されることもある。
プロジェクト表示領域115(複合表示領域とも呼ばれる)は、メディア編集アプリケーションのユーザによって作成されているメディアプロジェクトの視覚的表現を提供する。具体的には、これは、メディアプロジェクトに追加されたメディアクリップを表すタイムラインに沿った1つ以上のメディアクリップ表現を表す。いくつかの実施形態において、この図に示されたように、タイムライン内のビデオクリップの表現は、各ビデオクリップからの1つ以上の画像を表す。ユーザは、メディアライブラリ105内のクリップを選択し、そのクリップを、プロジェクト表示領域115内に作成されるプロジェクトに追加することができる。
プレビュー表示領域125は、メディアライブラリ105内のメディアクリップ又はプロジェクト表示領域115内のプロジェクトからのプレビュー画像を表示する。ビデオクリップとメディアプロジェクトとの両方とも、画像のシーケンスを表し、メディア編集アプリケーションは、ユーザ入力にしたがってこれらの画像をプレビュー表示領域内で再生する。いくつかの実施形態において、ユーザは、タイムライン内のプロジェクトの上で再生ヘッド135を移動させることによってメディアプロジェクトを視聴する。図1の段階110で、再生ヘッド135は、プロジェクトの約2.5秒マークにあり、アプリケーションは、プロジェクト内のこの時間に対応する画像をプレビュー表示領域125に表示する。
段階110に示されたように、ユーザは、メディアライブラリ105内のクリップ106〜108の3つ全てを選択し、「マルチカメラクリップの作成」オプションを含むメニュー130を活性化した。この操作は、カーソルによって行なわれる選択操作として示されているが、当業者は、タッチスクリーン操作を使用して類似の操作が行なわれてもよいこと、更に、この同じ結果を実現するために、いくつかの実施形態のGUIで追加の操作(例えば、項目のドラッグアンドドロップ、ホットキーの使用など)が行なわれてもよいことを理解するであろう。実際には、このアプリケーションは、多くのそのような操作を、特定の手法(例えば、カーソルによる)で実行されるように示し、当業者は、そのような操作が、種々の異なる実施形態において様々な異なる入力装置によって様々な異なる方法で行なわれてもよいことを理解するであろう。
いくつかの実施形態において、これにより、選択されたクリップを使用するマルチカメラクリップ作成プロセスが開始される。メディア編集アプリケーションは、指定されたメディアクリップをグループ(本明細書では「アングル」又は「カメラアングル」と呼ばれることもある)に自動的にソートする。いくつかの実施形態は、ユーザが入力したアングル若しくはカメラ名、又は自動生成されたカメラ情報などのクリップのメタデータを使用して、メディアクリップを異なるグループにソートする(例えば、異なるメディアクリップをキャプチャするために使用されるカメラごとにグループが作成される)。この場合、3つの選択されたクリップ96〜108は、それらが「カメラ1」又は「カメラ2」からのものであることを示すメタデータを含む。メディア編集アプリケーションは、このメタデータを利用してクリップを2つのグループ(カメラにそれぞれ1つ)にソートする。
クリップがグループにソートされた状態で、アプリケーションは、異なるグループにそれぞれクリップの順序付けられたシーケンスを自動生成する。いくつかの実施形態は、そのメタデータが適正な順序付けに一致することを示す特定の基準を満たす限り、クリップメタデータを(例えば、メディアクリップをキャプチャするために使用されるキャプチャ装置によって生成されるタイミングデータ)を利用してこの順序付けを行う。クリップを順序付けに加えて、メディア編集アプリケーションは、キャプチャ装置がメディアをキャプチャしなかったとき(例えば、カメラの電源がショット間で切られたとき)にギャップを挿入して、シーケンス内のクリップをスペース配置する。図1に示された例では、アプリケーションは、メディアクリップ106及び108のメタデータを調べて、クリップがキャプチャされた順序、並びに第1のクリップの終了と第2の開始との間の時間を決定する。
グループそれぞれのシーケンスを生成した後で、メディア編集アプリケーションは、異なるグループ全体にわたってシーケンスを同期させる。即ち、アプリケーションは、第1のキャプチャ装置によって特定の時間にキャプチャされたコンテンツが、第2のキャプチャ装置によって同時にキャプチャされたコンテンツと整合されるようにシーケンスを整合させる。いくつかの実施形態は、1つ以上のグループを配列して異なるグループを同期させるために使用される同じタイミングメタデータを使用する。第1の装置によってクリップがキャプチャされた時間を示す情報が、第2の装置からの対応する情報と同じフォーマット(例えば、タイムコードデータ又は時刻情報)を有し、アプリケーションは、タイミング情報が、装置間の情報が比較されるべきであることを示す特定の基準を満たすときは、この情報を使用してクリップを整合させる。いくつかの実施形態において、メディア編集アプリケーションは、クリップメタデータを使用してグループのこの事前同期を行なった後で、グループが適切に同期されていることを確認し、複数の装置によってキャプチャされたオーディオデータを使用して同期を微調整する。即ち、アプリケーションは、複数の装置(例えば、様々なカメラのマイクロフォン)によってキャプチャされた類似のオーディオを特定し、このオーディオを整合させる。特定のカメラからのオーディオ及びビデオが、互いに結び付けられているので、これは、様々な装置からのビデオを整合させる効果も有する。図1に示されたGUIのメディア編集アプリケーションは、クリップ107(「カメラ2」からのクリップ)のタイミングを、クリップ106及び108(「カメラ1」からのクリップ)クリップ)のタイミングと自動的に同期させる。
図1の段階120は、メディア編集アプリケーションが、クリップ表現109によって表されたマルチカメラメディアクリップを作成した後のGUI 100を示す。メディアライブラリ105内の選択されたクリップ表現109を表示する他に、GUI 100は、マルチカメラメディアクリップと相互作用するためのいくつかの実施形態の追加機能を含む。具体的には、GUI 100は、複合表示領域115内で編集するマルチカメラメディアクリップを表示し、またマルチカメラクリップビューワ(又は、「アングルビューワ」)140を表示する。
複合表示領域115内のマルチカメラメディアクリップ編集表示は、マルチカメラクリップ109内の2つのメディアクリップのグループを表示する。これらの2つのグループは、「カメラ1」及び「カメラ2」として表され、単一タイムラインに沿って配置された各グループのクリップを示す。いくつかの実施形態において、複合表示領域は、複合プレゼンテーションを編集するためのトラックレス表示領域であるが、アプリケーションは、マルチカメラメディアクリップ内にグループそれぞれの別個のトラックのアピアランスを提供する。第1のグループは、図示されたように「クリップA」及び「クリップC」を含み、「クリップA」は、長さ約6秒であり(時間0秒から時間6秒まで続く)、「クリップC」は、もう少し短い(約8.5秒から12.5秒まで続く)。「カメラ2」グループに割り当てられた「クリップB」は、他の2つのクリップのいずれよりわずかに長く、タイムラインで約1.5秒から9秒である。第2グループのクリップは、メディア編集アプリケーションが、前述のように、ソースビデオ並びにクリップのオーディオと一緒に記憶されたタイミングメタデータを使用して2つのグループのクリップを互いに自動整合させるので、時間0で始まらない。
この編集表示領域内で、ユーザは、マルチカメラメディアクリップ内のクリップのグループを命名し、グループを追加又は削除し、クリップをグループに追加又はグループから除去し、シーケンス内の個々のメディアクリップを移動させ(例えば、グループの追加の整合を行う)、マルチカメラクリップ内のグループの順序を変更し、マルチカメラクリップ内の個々のクリップ又はクリップのグループにエフェクト(例えば、変換、画素変更など)を適用することなどができる。
マルチカメラクリップビューワ140により、ユーザは、単一マルチカメラメディアクリップ140の複数の異なるグループから、同時にコンテンツ(例えば、ビデオ画像)を視聴することができる。異なるグループのトラックが、複合表示領域内に示されたとき、ビューワは、いくつかの実施形態において、再生ヘッド135の位置に対応するグループそれぞれのプレビュー画像を示す。プレビュー表示領域125は、グループのうちの1つのプレビュー画像を表示する。いくつかの実施形態において、プレビュー表示領域内に再生する特定グループが選択されている(例えば、ユーザによって)。しかしながら、ユーザが、カーソル(又は、類似の位置インジケータ)を複合表示領域内の特定のクリップの上で移動させるとき、アプリケーションは、同時に選択されたグループからではなくプレビュー表示領域内の特定のクリップからの画像を表示する。この場合、選択されたグループは「カメラ1」であり、したがって、メディア編集アプリケーションは、再生ヘッド135の時間に対応するこのグループからビデオ画像をプレビュー表示領域125内に表示する。更に、ビューワは、図2を参照して後述される、複合プレゼンテーション内でマルチカメラクリップを編集するときの機能を提供する。
いくつかの異なるメディアクリップ(例えば、マルチカメラメディアクリップ109)からマルチカメラメディアクリップを作成するとき、いくつかの実施形態のメディア編集アプリケーションは、マルチカメラメディアクリップの参照データ構造を生成する。この参照データ構造は、いくつかの実施形態において、クリップが割り当てられたグループにそれぞれ関する情報を記憶する。アプリケーションは、参照データ構造を一連のネストクリップ構造として記憶し、各グループは、参照クリップ構造内の別個のクリップ構造に記憶される。次に、特定グループのクリップ構造は、いくつかの実施形態においてギャップ構造を使用してクリップ間の離間を示すことにより、グループに割り当てられたクリップの順序付けられたクリップ構造セットを記憶する。更に、参照クリップ構造は、異なるグループ間の同期を示す情報を記憶する。
マルチカメラメディアクリップが作成された状態で、ユーザは、マルチカメラメディアクリップをメディアプロジェクトに追加することができる。次に、メディア編集アプリケーションは、参照クリップを参照するマルチカメラクリップのクリップインスタンスを、メディアプロジェクトに追加する。クリップインスタンスは、アクティブグループとしてマルチカメラクリップの順序付けられたグループのうちの1つのグループを示す(いくつかの実施形態において、インスタンスは、アクティブオーディオグループとアクティブビデオグループとの両方を示す)。マルチカメラクリップインスタンスによって占有された複合表示領域内の位置(例えば、時間)の複合プレゼンテーションを描画するとき、メディア編集アプリケーションは、アクティブグループのクリップに対応するソースコンテンツを検索する。
いくつかの実施形態において、クリップインスタンスは、参照マルチカメラクリップのプロパティ、並びにクリップインスタンスのアクティブグループのプロパティを継承する。また、クリップインスタンスにそれ自体のプロパティを適用することができる。例えば、いくつかの実施形態のマルチカメラクリップ参照は、それ自体のフォーマット及びフレームレートを有し、このフォーマット及びフレームレートは、クリップインスタンスによって継承される。アクティブグループは、クリップ参照内にそのシーケンスを有し、アクティブグループ内のクリップにエフェクトが適用されることがある。次に、ユーザは、クリップインスタンスのアクティブグループに追加のエフェクトを適用することができ、この追加のエフェクトは、他のインスタンスに(同じアクティブグループのインスタンスでも)影響を及ぼさない。更に、ユーザは、インスタンスにとってどのグループがアクティブかに関係なく、クリップインスタンスと一緒にある、リタイミングエフェクト、マーカ又はキーワードをクリップインスタンスに配置してもよい。これらの参照クリップをマルチカメラメディアクリップについて述べたが、いくつかの実施形態は、個々のメディアクリップ又は複合メディアクリップのための参照クリップも含む。メディア編集アプリケーションが、クリップインスタンスを描画するとき、アプリケーションは、最初に、参照クリップのプロパティ(例えば、エフェクト)を適用し、次にクリップインスタンスのプロパティを適用する。
図2は、ユーザが2つの段階210及び220にわたって、複合表示領域115内に作成されている複合プレゼンテーションにマルチカメラクリップ109のインスタンスを追加することを示す。最初の段階で、ユーザは、クリップ109を選択し、このクリップを複合表示領域115にドラッグした。このドラッグアンドドロップ操作を行なうことによって、ユーザは、マルチカメラクリップ109のインスタンスをプレゼンテーション内に編集する。いくつかの実施形態において、ユーザは、ドラッグアンドドロップ操作ではなく、ユーザインタフェースボタン、ホットキー、メニューオプションの選択などによって、クリップをタイムラインに追加する。
第2の段階220は、複合プレゼンテーションが現在、マルチカメラクリップのインスタンスを含むことを示す。更に、複合表示領域115内に示されたクリップ表現は、クリップインスタンスのアクティブなビデオ及びオーディオグループを示す情報を含む。この場合、アクティブビデオグループは、カメラ2であり、アクティブオーディオグループは、カメラ1である。この例と同様に、いくつかの実施形態において、クリップインスタンスは、ビデオ用とオーディオ用に異なるアクティブグループを有することができる。この場合、アプリケーションは、オーディオ用のあるグループからのクリップ、及びビデオ用の異なるグループからのクリップを使用してプレゼンテーションを描画する。
複合プレゼンテーションに追加されたとき、マルチカメラメディアクリップインスタンスは、プレゼンテーション内の他のメディアクリップと全く同じように編集することができる。しかしながら、いくつかの実施形態において、メディア編集アプリケーションはそのようなマルチカメラメディアクリップのための追加又は異なる編集機能を提供する。例えば、いくつかの実施形態のメディア編集アプリケーションは、ユーザが、複合プレゼンテーション内のクリップインスタンスにアクティブなグループを切り換えるための複数の異なる方法を提供する。ユーザは、クリップインスタンスを選択して、ユーザが異なるグループからのビデオ又は画像を繰り返し表示することを可能にする、異なるグループのドロップダウンメニュー又は表示領域を作成してもよい。
GUI 100は、また、クリップ内の特定時間に対応するマルチカメラクリップ内の複数の異なるグループの画像を表示するマルチカメラクリップビューワ140を含む。再生ヘッド135が、複合表示領域115内のマルチカメラクリップインスタンスの特定時間の上に置かれたとき、ビューワ140に示されたビデオ画像は、マルチカメラクリップのその特定時間における画像に対応する。上に示されたように、マルチカメラビューワ140は、複合表示領域内のマルチカメラクリップインスタンスを編集するために使用されてもよい。
例えば、ユーザは、ビューワを使用して、クリップインスタンスのアクティブグループを切り替えるか、又はクリップインスタンスを、異なるアクティブグループを有する2つの別個のインスタンスに分割することができる。GUI項目240によって、ユーザが、ビューワ内の特定グループを選択すると、クリップインスタンスのアクティブオーディオ及び/又はビデオグループが、特定の選択されたグループに切り替わるか(又は、分割し切り替わる)どうかを判定することができる。いくつかの実施形態において、GUI項目は、異なるタイプのコンテンツ(例えば、オーディオ、ビデオ、又は両方)に異なる色(又は、パターン、シンボルなどの他のインジケータ)を有し、これらの色は、ビューワ内のアクティブグループのコンテンツ(例えば、再生されているビデオ画像)の周囲並びにビューワ内に示されたグループのバンク内の強調で表される。この場合、ボタンは、A、V及びA/Vを示し、これらの記号(「A」及び「V」)は、ビューワ内に示されるグループプレビュー内並びにバンク245内に示される。マルチカメラクリップ内に、ビューワ内で利用可能な表示より多いグループがあるとき、いくつかの実施形態は、グループの選択可能なバンクを表示する。ユーザは、バンクのうちの1つを選択してグループの異なる組を繰り返し表示することができる。この場合、グループが2つしかないので、ユーザは異なる組を切り替えなくてもよい。
図1及び図2は、いくつかの実施形態のメディア編集アプリケーションにおけるマルチカメラクリップの作成及び使用の例を示す。幾つかの更に詳細な実施形態を以下に述べる。節Iは、いくつかの実施形態のメディア編集アプリケーションのグラフィカルユーザインタフェースについて述べる。節IIは、いくつかの実施形態のメディア編集アプリケーションによって使用されるデータ構造について述べる。次に、節IIIは、マルチカメラメディアクリップの作成について述べる。次に、節IVは、マルチカメラ参照クリップの編集について述べ、節Vは、メディアプロジェクト内のマルチカメラクリップインスタンスの編集について述べている。節VIは、いくつかの実施形態のメディア編集アプリケーションがマルチカメラメディアクリップを描画する方法について述べる。次に、節VIIは、いくつかの実施形態のメディア編集アプリケーションのソフトウェアアーキテクチャについて述べる。最後に、節VIIIは、本発明のいくつかの実施形態が実施される電子システムについて述べる。
I.メディア編集アプリケーションのグラフィカルユーザインタフェース
以上の図は、メディア編集アプリケーションの単純化したグラフィカルユーザインタフェース(「GUI」)を示した。図3は、前述の実施形態に比較して、追加の特徴を有するいくつかの実施形態のメディア編集アプリケーションのGUI 300を示す。当業者は、グラフィカルユーザインタフェース300が、係るメディア編集アプリケーションの多数の可能なGUIの1つに過ぎないことを理解するであろう。実際に、GUI 300は、いくつかの表示領域を含み、これらの表示領域が、サイズ調整され、開閉され、他の表示領域(例えば、図1及び図2に示されたようなアングルビューワ)と置き換えられることなどがある。GUI 300は、クリップライブラリ305、クリップブラウザ310、タイムライン315、プレビュー表示領域320、インスペクタ表示領域325、追加メディア表示領域330、及びツールバー335を含む。
クリップライブラリ305は、ユーザが、メディア編集アプリケーションにインポートされたメディアクリップにアクセスするための1組のフォルダを含む。いくつかの実施形態において、ユーザは、メディアファイルをアプリケーションにインポートすることができ、そのとき、インポートされたファイルのメディアクリップが作成される。そのようなファイルは、カメラ、外部ドライブ(例えば、外付けハードディスク、フラッシュメモリドライブ、ネットワークドライブなど)からインポートされることもあり、メディア編集アプリケーションが動作する装置内部のドライブからインポートされることがある。インポートの際のクリップデータ構造の作成については、後で節IIで更に詳しく述べる。
いくつかの実施形態は、メディアクリップを、クリップによって表現されたインポートメディアファイルが記憶された装置(例えば、内蔵又は外付けハードディスクなどの物理記憶装置、ハードディスクパーティションなどの仮想記憶装置など)にしたがって、クリップライブラリ305内に編成する。また、いくつかの実施形態は、ユーザが、クリップによって表現されたメディアが作成された(例えば、カメラによって記録された)日付に基づいてメディアクリップを編成することを可能にする。図示されたように、クリップライブラリ305は、ハードディスク(この場合、メディア編集アプリケーションが実行する装置のブートディスク)に記憶された2009年からのメディアクリップを含む。
記憶装置及び/又は日付内で、ユーザは、メディアクリップを、「イベント」又はメディアクリップの編成フォルダにグループ化してもよい。例えば、ユーザは、イベントに、何のメディアがイベントに記憶されたかを示す説明的名称を与える可能性がある(例えば、クリップライブラリ305に示された「休暇」イベントは、休暇からのビデオ映像を含む可能性がある)。いくつかの実施形態において、これらのクリップに対応するメディアファイルは、クリップライブラリに示されたフォルダを反映するファイル記憶構造で記憶される。
クリップライブラリ内で、いくつかの実施形態は、ユーザが、様々なクリップ管理作業を行なうことを可能にする。そのようなクリップ管理作業には、イベント間のクリップの移動、新しいイベントの作成、2つのイベントのマージ、イベントの複製(いくつかの実施形態において、イベント内のクリップが対応するメディアの複製を作成する)、イベント削除などが挙げられる。更に、いくつかの実施形態は、ユーザが、イベントのサブフォルダを作成することを可能にする。これらのサブフォルダは、タグ(例えば、キーワードタグ)に基づいてフィルタリングされたメディアクリップを含むことがある。例えば、休暇イベント内で、像を示すすべてのメディアクリップは、ユーザによってキーワード「像」がタグ付けされ、このタグのキーワード項目は、「休暇」フォルダの下にある。
クリップブラウザ310は、ユーザが、クリップライブラリ305の選択フォルダ(例えば、イベント)からクリップを視聴することを可能にする。この例に示されたように、イベントフォルダ「休暇」は、クリップライブラリ305内で選択され、そのイベントに属するクリップは、クリップブラウザ310に表示される。いくつかの実施形態において、ユーザは、ブラウザ内のいくつかのクリップを選択し、次にマルチカメラクリップ生成オプションを選択することによって、クリップブラウザ310内にマルチカメラクリップを作成することができる。この作成プロセスについては、後に節IIIで詳しく述べる。
この例に示されたように、いくつかの実施形態は、クリップをサムネイルフィルムストリップとして表示する。サムネイルのうちの1つの上でカーソル(又は、タッチスクリーン上で指)を移動させることによって(例えば、マウス、タッチパッド、タッチスクリーンなどにより)、ユーザは、クリップをスキミングすることができる。即ち、ユーザが、サムネイルフィルムストリップ内の特定の水平位置にカーソルを置くとき、メディア編集アプリケーションは、その水平位置を関連付けられたメディアファイル内の時間と関連付け、その時間のメディアファイルからの画像を表示する。更に、いくつかの実施形態において、ユーザは、アプリケーションにサムネイルフィルムストリップ内のメディアファイルを再生させることができる。
更に、ブラウザディスプレイ内のクリップのサムネイルは、クリップの下にメディアファイルのオーディオを表すオーディオ波形を表示する。いくつかの実施形態において、ユーザが、サムネイルフィルムストリップをスキミングするか再生するとき、オーディオも再生される。
クリップブラウザの機能の多くは、ユーザ変更可能である。例えば、いくつかの実施形態において、ユーザは、表示サムネイルのサイズ、サムネイルのオーディオ波形が占める割合、ユーザがメディアファイルをスキミングするときにオーディオを再生するかどうかなどのうちの1つ以上を変更することができる。更に、いくつかの実施形態によれば、ユーザは、クリップブラウザ内にクリップを、フィルムストリップビューの代わりにリストビューで表示することができる。このビューで、クリップは、リストとして表される(例えば、クリップ名、継続時間などと共に)。いくつかの実施形態は、また、リストから選択されたクリップをブラウザ内のフィルムストリップビューに表示し(例えば、リストの上)、それにより、ユーザは、選択されたクリップをスキミングするか再生することができる。
タイムライン315(複合表示領域又はプロジェクト表示領域とも呼ばれる)は、メディア編集アプリケーションのユーザによって作成されたメディアプロジェクトの視覚的な表現を提供する。具体的には、タイムラインは、複合プレゼンテーションの一部である1つ以上のメディアクリップを表す1つ以上の幾何学形状を表す。いくつかの実施形態のタイムライン315は、主レーン350(「スパイン」、「主複合レーン」又は「中央複合レーン」とも呼ばれる)並びに1つ以上の副レーン355〜365(「アンカーレーン」とも呼ばれる)を含む。スパイン350は、いくつかの実施形態において、ギャップのないメディアの主シーケンスを表す。アンカーレーン内のクリップは、スパインに沿った(又は、他のアンカーレーンに沿った)特定位置にアンカーされる。アンカーレーンは、複合(例えば、グリーンスクリーニングで行われるような、ある画像の画素を他の画像の画素と組み合わせる)、Bロールカット(即ち、主ビデオから、アンカーレーンにあるクリップを有する他のビデオにすばやく切り替わる)オーディオクリップ、又は他の複合プレゼンテーション技術のために使用されてもよい。
ユーザは、メディアクリップをクリップブラウザ310からタイムライン315に追加して、クリップをタイムラインに表されたプロジェクトに追加することができる。タイムライン内で、ユーザは、メディアクリップに更なる編集(例えば、クリップの移動、クリップを分割、クリップのトリム、クリップへのエフェクトの適用など)を行うことができる。前述のように、マルチカメラクリップがタイムラインに追加されたとき、タイムライン内のこのクリップは、クリップブラウザ内の参照クリップを参照する。いくつかの実施形態は、そのような参照クリップを、マルチカメラクリップに加えて、他のクリップ(例えば、複合クリップ、個別クリップなど)に実施する。
タイムライン内のクリップの長さ(即ち、水平方向の広がり)は、クリップによって表されるメディアの長さの関数である。タイムラインが時間の増分に分割されるので、メディアクリップは、タイムラインにおける特定の時間長を占有する。図示されたように、いくつかの実施形態において、タイムライン内のクリップは、一連の画像として示される。クリップのために表示される画像の数は、タイムライン内のクリップの長さ、並びにクリップのサイズによって変化する(各画像のアスペクト比が一定のままなので)。
クリップブラウザ内のクリップの場合と同様に、ユーザは、(タイムラインの一部又はタイムライン全体で)タイムラインをスキミングするか、又はタイムラインを再生することができる。いくつかの実施形態において、再生(又は、スキミング)は、タイムラインクリップに示されず、プレビュー表示領域320に示される。
プレビュー表示領域320(「ビューワ」とも呼ばれる)は、ユーザがスキミングし、再生し、又は編集しているメディアファイルからの画像を表示する。そのような画像は、タイムライン315内のプロジェクトからでもよく、クリップブラウザ310内のメディアクリップからでもよい。この例では、ユーザは、タイムライン315内のプロジェクトをスキミングしており、したがって、アプリケーションは、再生ヘッド340の時間に対応する画像をプレビュー表示領域320に表示する。図示されたように、いくつかの実施形態は、表示領域内に、画像のアスペクト比を維持しながらできるだけ大きい画像を表示する。
また、プレビュー表示領域320は、いくつかの実施形態において、ビデオ編集及び再生ツールを含む。巻き戻し、早送り、再生/休止などの選択可能項目が含まれる。更に、いくつかの実施形態は、メディアプロジェクトに追加された画像(例えば、ビデオ画像)のサイズ及び形を編集するための1組のツール370を含む。この例では、これらのツール370には、変換ツール、クロップツール及び変形ツールがある。変換選択項目が選択されたとき、ユーザは、出力画像内のソース画像の高さ及び幅を変更することができる。クロップ選択項目が選択されたとき、ユーザは、出力画像に表示されるソース画像の一部分を選択することができる。変形ツールが選択されたとき、ユーザは、出力画像内のソース画像の形状を変形させることができる。
インスペクタ表示領域325は、選択された項目に関する詳しいプロパティを表示し、ユーザがそれらのプロパティのいくつか又はすべてを変更することを可能にする。選択された項目は、クリップ、複合プレゼンテーション、エフェクトなどでよい。この場合、クリップブラウザ310内のクリップ345が、選択されており、したがって、インスペクタは、このメディアクリップに関する情報を表示する。この情報は、選択されたクリップのクリップ名、ファイル形式、解像度(1920×1080)、フレームレート(29.97fps)、作成日、オーディオ情報などを含む。いくつかの実施形態において、選択された項目のタイプ(例えば、ビデオクリップ、オーディオクリップ、静止画、マルチカメラクリップ、メディアプロジェクトなど)により異なる情報が表示される。いくつかの実施形態は、インスペクタ内に異なるタブを有することがある(例えば、ビデオ、オーディオ及び情報タブ)。
付加メディア表示領域330は、ビデオエフェクト、トランジション、静止画、タイトル、オーディオエフェクト、標準オーディオクリップ他などの様々なタイプの付加メディアを表示する。いくつかの実施形態において、1組のエフェクトが、1組の選択可能なGUI項目によって表され、選択可能なGUI項目がそれぞれ、特定のエフェクトを表す。いくつかの実施形態において、選択可能なGUI項目はそれぞれ、特定のエフェクトが適用されたサムネイル画像も含む。表示領域330は、現在、ユーザがクリップに適用することができるビデオエフェクトを表示している。
ツールバー335は、プロジェクトを編集したり、アプリケーションが1つ以上の表示領域内に何を表示するかを変更したりするためなどの様々な選択可能項目を含む。ツールバーの右側には、追加のメディア表示領域330内に表示されるメディアのタイプを変更するための様々な選択可能項目が含まれる。図示されたツールバー335は、ビデオエフェクト(現在選択されている)、メディアクリップ、写真、タイトル、ジェネレータ及び背景間の視覚的トランジションなどの項目を含む。更に、ツールバー335は、インスペクタ表示領域325の表示をトグルするインスペクタ選択可能項目、並びにクリップへのリタイミング操作の適用、色の調整、及び他の機能のための項目を含む。
ツールバー335の左側には、メディア管理及び編集のための選択可能項目が含まれる。クリップをクリップブラウザ310からタイムライン315に追加するための選択可能項目が提供される。いくつかの実施形態において、異なる選択可能項目を使用して、例えば、クリップをスパインの終わりに追加し、クリップをスパイン内の選択点に追加し(例えば、再生ヘッドの位置)、アンカークリップを選択点に追加し、タイムラインのメディアクリップに様々なトリム操作を実行することなどができる。いくつかの実施形態のメディア管理ツールにより、他のオプションの中でも、例えば、ユーザは、選択されたクリップをお気に入りとしてマークし、クリップブラウザ内のクリップにキーワードタグを追加することができる。
いくつかの実施形態において、タイムライン315を他の表示領域と切り替えることができる。いくつかの実施形態において、この表示領域に、選択されたマルチカメラ参照クリップの編集に固有のタイムラインが表示される。タイムライン315は、主レーン及びいくつかのアンカーレーンを有するトラックレス表示領域であるが、いくつかの実施形態は、マルチカメラ参照クリップを、参照クリップの各グループ(又は、アングル)に1つのトラックを有する1組のトラックとして表示する。
更に、GUI 300は、選択されたときにGUI内でタイムライン315をプロジェクトライブラリと置き換えるプロジェクトライブラリトグル項目375も含む。いくつかの実施形態のプロジェクトライブラリは、ユーザが選択し編集できる現在のプロジェクトのリストを表示する。いくつかの実施形態において、プロジェクトライブラリのプロジェクトのうちの1つを選択すると、タイムライン315に、プロジェクトライブラリを選択されたプロジェクトの表現と置き換えさせる。更に、いくつかの実施形態は、ユーザが、プロジェクトライブラリによって新しいメディアプロジェクトを作成することを可能にする。
図4は、3つの段階410〜430で、プロジェクトライブラリ400を使用するいくつかの実施形態のメディア編集アプリケーションのGUIにおける新しいプロジェクトの作成を示す。具体的には、段階は、プロジェクト生成ダイアログボックス405を開き、そのダイアログボックスのユーザが新しいプロジェクトを作成することを示す。
第1の段階410は、プロジェクトライブラリ400を示し、プロジェクトライブラリ400は、前述のように、メディア編集アプリケーションGUIのタイムライン315と同じ部分を占有することがある。GUIは、GUIのこのセクション内でタイムラインとプロジェクトライブラリとの間をユーザがトグルすることを可能にする、プロジェクトライブラリ/タイムライントグル項目415(図3に示されたトグル項目375に類似)並びに選択により新しいプロジェクトを作成するプロセスが始まる新しいプロジェクトGUI項目425とを含む。いくつかの実施形態は、これらのオプションを、異なるタイプの選択可能項目、メニュー選択、ホットキー選択、又はこれらの組み合わせとして提供する。
プロジェクトライブラリ400は、その左側にプロジェクトのリストを表示する。この場合は、以前に作成された2つのプロジェクトがある。プロジェクトの名前と共に、ライブラリ400は、プロジェクトに関する情報も表示する。この場合、情報は、プロジェクトが作成された日付、プロジェクトの長さ及びプロジェクトのフレームレートを含む。他の実施形態は、プロジェクトが最後に編集された時間、出力フォーマット、出力解像度他などの他の情報を表示してもよい。プロジェクトごとに、ライブラリは、プロジェクトの1組の画像としてフィルムストリップを表示する。いくつかの実施形態において、これらの画像は、プロジェクト全体に均一にスペース配置された、複合プレゼンテーションからのフレームを表す。段階410に示されたように、ユーザは、新しいプロジェクトを作成するために、新しいプロジェクトユーザインタフェース項目425の上にカーソルを置いてこの項目を選択した。
第2の段階420は、ユーザが新しいプロジェクト項目425を選択するとき現れるダイアログボックス405を示す。このダイアログボックスは、ユーザが新しいプロジェクトに関する情報を入力することを可能にする。ユーザは、プロジェクトの名前(この場合は、「プロジェクト2」)を入力し、プロジェクトにデフォルトイベントを選択し、ビデオプロパティ、描画プロパティ及びオーディオプロパティを設定することができる。いくつかの実施形態において、デフォルトイベントは、ユーザが、メディアファイルをイベント以外のソースからプロジェクトに編集するとき、プロジェクトが自動的にメディアファイルをインポートするイベントである。例えば、ユーザは、ビデオ又はオーディオファイルを(例えば、そのデスクトップ又は他のフォルダから)プロジェクト用のタイムラインにドラッグアンドドロップしてもよい。いくつかの実施形態において、そうすることにより、アプリケーションに、ファイルをデフォルトイベントのアセットとして自動的にインポートさせる。
図示されたように、ユーザは、プロジェクトのビデオプロパティとしてプロジェクトに追加された、最初のクリップのビデオプロパティを使用するように選択するか、又はプロジェクトのカスタムプロパティを選択することができる。図4に示された事例では、ユーザは、カスタムプロパティを設定することを決定した。フォーマットフィールドによって、ユーザは、プロジェクトのフォーマット(例えば、1080p、1080i、720p、様々な標準定義フォーマットなど)を選択する。解像度フィールド及びレートフィールドに示されたオプションは、いくつかの実施形態において、選択されたフォーマットに依存して、通常使用されるビデオフォーマットと一致する設定を保証する。例えば、1080p HDが選択された場合、解像度オプションは、1920×1080、1440×1080、及び1280×1080であり、フレームレートは、23.98、24、25、29.97、30、50、59.94及び60フレーム/秒である。他のフォーマットは、より限定的であり、例えば、ユーザが、NTSC SDを選択した場合、オプションとして23.98及び29.97フレーム/秒のフレームレートだけが利用可能である。その代りに、ユーザは、プロジェクトに追加された最初のビデオクリップに基づいて、メディアプロジェクトのプロパティを自動的に設定するように選択してもよい。
オーディオ及び描画プロパティには、描画フォーマットを含む(この場合、ユーザは、Apple ProRes 422を選択したが、他のオプションも利用可能である)。描画フォーマットは、いくつかの実施形態において、再生を単純化するために準備された(即ち、あらかじめ準備されて再生中に使用される)キャッシュファイルに使用される符号化形式である。オーディオプロパティは、オーディオサンプルレート、及びオーディオチャネルのサラウンドとステレオとの選択とを含む。ユーザは、また、デフォルト設定(この場合、現在選択されているオプション)を使用するように選択することができる。いくつかの実施形態は、最近作成又は編集されたプロジェクトからの設定を使用するオプションを提供する。
第3の段階430は、ダイアログボックスに示されたプロパティを有する新しいプロジェクト「プロジェクト2」を作成するために、ダイアログボックス405内のOK項目を選択するユーザの結果を示す。このとき、プロジェクトライブラリは、第3のプロジェクト、即ち新しく作成された「プロジェクト2」を示す。この時点で、ユーザは、プロジェクトにまだメディアクリップを追加しておらず、したがってこのフィルムストリップはブランクである。新しいプロジェクトが作成された状態で、ユーザは、メディアクリップをプロジェクトに追加することができ、いくつかの実施形態のメディア編集アプリケーションは、必要に応じて、これらのクリップに空間及び時間適合エフェクトを適用する。
II.メディア編集アプリケーションのデータ構造
以上の節では、イベント、メディアクリップ、及びプロジェクトを含む、いくつかの実施形態のメディア編集アプリケーションのユーザインタフェースにおける様々な項目について述べた。イベントは、プロジェクトに追加することができるメディアクリップを含む。いくつかの実施形態において、メディア編集アプリケーションは、これらの異なる項目を表すために様々なデータ構造を作成し記憶する。以下の節では、いくつかの実施形態に係るメディアクリップ及びプロジェクトを定義するデータ構造について述べ、これにより、当業者は、メディアクリップ、メディアプロジェクトなど様々な異なるデータ構造が、メディア編集アプリケーションの異なる実施形態に使用されることがあることを理解するであろう。
いくつかの実施形態は、メディア編集アプリケーションにファイルをインポートしたときに各メディアファイルのデータ構造の初期セットを作成する。1組のメディアファイルが一緒にインポートされたとき、いくつかの実施形態のメディア編集アプリケーションは、メディアクリップを生成し、そのクリップを既存のイベントに追加するかそのクリップ用の新しいイベントを作成するようにユーザに促す。いくつかの実施形態のインポートプロセスは、2011年5月19日に出願され「Data Structures for a Media−Editing Application」と題する米国特許出願第13/111,912号に更に詳細に記載されており、この出願は、参照により本明細書に組み込まれる。
インポートされたメディアファイルごとに、アプリケーションは、一連のデータ構造を作成する。いくつかの実施形態において、アプリケーションは、ファイルが追加されたイベント内の各ファイルのアセットデータ構造を作成する。アセットは、インポート時に作成されたファイル及び任意の追加ファイルへの参照を記憶する(例えば、メディアファイルのトランスコードバージョン、メディアファイルに関する解析データなど)。アプリケーションは、また、アセットへの参照及びそのアセットを含むイベントを記憶するコンポーネントクリップデータ構造を作成する。インポートファイルが、オーディオデータ及びビデオデータとの両方を含むとき、いくつかの実施形態は、ビデオ及びオーディオ用のコンポーネントクリップを作成し、コンポーネントクリップにそれぞれ同じアセットを参照する。このとき、アプリケーションは、コンポーネントクリップを含む別のクリップデータ構造を作成する。
図5は、メディアアセット500のアセットデータ構造、並びにメディアアセットを含むイベントのイベントデータ構造505を概念的に示す。この例では、アセットによって参照されたメディアファイルは、オーディオチャネルを有するビデオファイルである(例えば、「.mov」ファイル)。イベントデータ構造505は、イベントID、アセットリスト及びクリップリストを含む。イベントデータ構造は、いくつかの実施形態において、イベント名、イベント日他など(アセット情報から導出されることがある)の追加フィールドを含むことがある。イベントデータ構造505は、ファイルで定義されたオブジェクトとしてアセット及びクリップを含むCoreData(SQLite)データベースファイル、XMLファイルで定義されたオブジェクトとしてアセット及びファイルを含むXMLファイルなどでよい。
メディアアセット500は、アセットID 510、ソースファイルメタデータ515、及び様々なファイルへの参照を含む。これらのファイルには、オリジナルのインポートメディアファイル530、メディアファイルのトランスコードバージョン(例えば、高解像度バージョン535及び低解像度バージョン540)、及びメディアファイルに関する任意の解析データ(例えば、ソースビデオ内の画像の中に人がいる画像を特定する人検出データファイル545、自動カラーバランシングデータを記憶する色補正ファイル550、ビデオ内のカメラ手振れを特定し修正する手振れ補正ファイル555、オーディオ補正ファイルなど)が挙げられる。
メタデータは、いくつかの実施形態にいて、ソースファイル及びその記憶メディアに関する情報である。図示されたように、ソースファイルメタデータ515には、ファイルタイプ(例えば、オーディオ、ビデオ、映画、静止画など)、ファイルフォーマット(例えば、「.mov」、「.avi」など)、ソースデバイス(即ち、動画ファイルをキャプチャした特定タイプのカメラなどのメディアを作成した装置)、ファイル作成日(例えば、ビデオをキャプチャした日付)、UUID(カメラなどのメディア作成装置によって生成された固有識別子)、1組のビデオプロパティ520、1組のオーディオプロパティ525、タイムコード、及び追加のメタデータが挙げられる。異なるタイプ(又は、メーカー)のカメラは、様々なUUIDを異なるように作成する。そのようなUUIDは、いくつかの実施形態において、UUIDが全て固有である限り、カメラID、記録時間(例えば、カメラのユーザが記録を開始した時間)、記録の継続時間他などの様々なデータのハッシュでよい。更に、様々な装置が、タイムコードを異なるように生成する。いくつかのカメラは、それぞれの記録されたビデオが、先のビデオがやめた1つのフレームの後で開始するランニングタイムコードを使用し、他のカメラは、実時間に対応するタイムコードを使用する(即ち、カメラの電源が切られた時間を反映させるギャップをタイムコード間に残す)。更に他のカメラは、タイムコードを記録ビデオごとにゼロにリセットする。
いくつかの実施形態のビデオプロパティ520には、サンプルレート、フレームレート、画像寸法(又は、解像度)(即ち、水平方向の画素数及び画素の行数)、画素アスペクト比(即ち、画素の形状、正方形(HDビデオ)又は長方形(例えば、NTSC 4:3ビデオは10:11の比率を有する)でよい)、画素変換(上記参照により組み込まれた米国特許出願第13/111,912号に詳しく記載された)、及び画像の画素値が定義された色空間(例えば、HDではITU−R BT.709、SDではITU−R BT.601など)などのプロパティが挙げられる。
いくつかの実施形態のオーディオプロパティ525には、サンプルレート(即ち、1秒当たりのオーディオサンプルの数、多くの場合48kHz)、基礎メディアファイルに記憶されたオーディオトラックの数、及び基礎メディアファイルに記憶されたオーディオチャネルの数が挙げられる。いくつかの実施形態において、アセットは、更に、ビデオプロパティ又はオーディオプロパティの1つ以上を変更するオーバーライドデータを記憶してもよい。例えば、ビデオのフレームレートが23.98フレーム/秒であることを、アセットに記憶されたファイルのメタデータが示す場合でも、ユーザは、メディアファイルのフレームレートが実際に24フレーム/秒であることを入力することがある。ユーザに提示されるか、又はアプリケーション内で使用されたとき、オーバーライドが使用され、メディアファイルは、24fpsのフレームレートを有するように処理される。
前述のように、メディア編集アプリケーションが、メディアファイルをインポートするとき、いくつかの実施形態は、ネストされたデータ構造セットを作成する。図6は、インポートされたメディアファイル用にいくつかの実施形態のメディア編集アプリケーションによって作成されたクリップオブジェクトのネストシーケンスを示す。いくつかの実施形態において、この図に示されたクリップオブジェクトそれぞれは、同じクラスのメンバであるが、オブジェクトは、異なるサブクラスのものでもよい。図6にクリップ構造が示されたメディアファイルは、オーディオ情報とビデオ情報との両方を記憶する動画ファイルである。
図は、シーケンス605、コレクション610、2つのコンポーネント615及び620を示す。前述のように、いくつかの実施形態において、シーケンス605、コレクション610、コンポーネント615及び620は、クリップオブジェクト(又は、アンカーオブジェクト)のサブクラスである。いくつかの実施形態は、イベントにインポートされた各メディアファイルのイベントオブジェクト内にシーケンス(別のクリップオブジェクト又は異なるクラスのオブジェクトでよい)を作成する。シーケンス605は、シーケンスID、1組のシーケンス属性、及びコレクションオブジェクト610を記憶する。シーケンスIDは、シーケンスオブジェクトの固有識別子である。シーケンス属性は、いくつかの実施形態において、解像度、フレームレート、並びにシーケンスの他のビデオ及びオーディオプロパティを含む。イベントクリップの場合、これらの属性は、一般に、基礎メディアに基づく(即ち、コレクション及びコンポーネントクリップによってリンクされたアセットに記憶された情報)。
コレクションオブジェクト610は、クリップオブジェクトの順序付けられたアレイである。オブジェクト610を含む場合のような、イベントにインポートされたクリップの場合、コレクションは、1つ以上のコンポーネントクリップをアレイで記憶する。多くの場合、コレクションは、ここに示されたように、ビデオコンポーネントクリップをアレイで記憶し、追加のコンポーネント(一般に1つ以上のオーディオコンポーネント)は、そのビデオコンポーネントにアンカーされる。更に、コレクションオブジェクト610は、コレクションID、全範囲、及びトリム範囲を記憶する。コレクションIDは、コレクションオブジェクトの固有識別子である。クリップオブジェクトの全範囲は、含むオブジェクトに基づいてオブジェクトの最大範囲を示し、一方、トリム範囲は、ユーザ編集による親オブジェクト内のオブジェクトの実際の範囲を示す。いくつかの実施形態において、全範囲がすべてのタイプのクリップオブジェクトに割り当てられる変数なので、コレクションオブジェクトは、全範囲の値を記憶するが、この範囲は、実際には、アプリケーションによって使用されない。その代わりに、アプリケーションは、コレクションによって含まれるオブジェクトに基づいて全範囲を動的に計算する(クリップがコレクションに追加されるたびに範囲値を更新するのと対照的)。他方、いくつかの実施形態は、コレクションオブジェクト内の全範囲を更新する。コレクションオブジェクト610のアレイは、メディアコンポーネント615を含む。いくつかの実施形態において、コレクションオブジェクトは、コンポーネントクリップオブジェクトと追加コレクションとの両方をそのアレイで含むことができる。
本明細書における上記の段落及び他の場所には、第1のオブジェクト(例えば、コレクションオブジェクト610)が、第2のオブジェクトを含むように述べた(例えば、コレクションオブジェクト610のアレイ内のメディアコンポーネント615)。いくつかの実施形態において、第1のオブジェクトは、オブジェクトへの参照(例えば、ポインタ)を記憶することによって第2のオブジェクトを含む。この参照は、いくつかの実施形態においてストロングポインタとして記憶される。
図示されたメディアコンポーネントは、ビデオコンポーネント615及びオーディオコンポーネント620を含む。コンポーネントはそれぞれ、コンポーネントID、ソースメディア範囲(即ち、全範囲)、トリム範囲、アセット参照(アセット500などのアセット及びアセットを含むイベントを参照する)、及びロール設定を記憶する。ロール設定は、クリップの設定であり、ビデオ及びオーディオコンポーネントに記憶される(即ち、コンポーネントレベルで)。いくつかの実施形態は、1組のロールオプション(例えば、オーディオコンポーネントの音楽、ダイアログ及びエフェクト、ビデオコンポーネントのビデオ及びタイトル)を提供し、並びにユーザが、カスタムロールオプション(例えば、フランス語、英語など)を入力することを可能にする。次に、ユーザは、特定のロールを有するクリップを除外する(例えば、フランス語オーディオのすべてを除去する)複合プレゼンテーションをエクスポートすることができる。
メディアアセットを参照するコンポーネントクリップの場合、全範囲は、ソースメディアの継続時間である。いくつかの実施形態において、トリム範囲は、様々なユーザ編集(例えば、トリム編集)によりユーザによって選択された範囲であり、全範囲内の開始時間と継続時間との両方を示す。トリム範囲は、一般に、全範囲のサブセットである(即ち、全範囲以外の時間を含まない)。しかしながら、いくつかの実施形態において、アプリケーションは、レンジエクステンダを使用してトリム範囲を全範囲よりも拡張することがある(例えば、トランジションの一部分に必要なとき、又は整合されたオーディオがビデオよりわずかに長く続く場合)。いくつかの実施形態は、例えばビデオファイルの最初の画像及び最後の画像を使用してビデオ画像を生成して、必要な追加範囲を埋める。クリップが、最初にアプリケーションにインポートされるとき、全範囲及びトリム範囲は、一般に、ユーザがクリップをまだ全く編集していないときと同じである。
ビデオコンポーネント615は、オーディオコンポーネント620を含むアンカー項目セットを含む。図3のユーザインタフェース300内のタイムライン315を参照して前述したように、いくつかの実施形態において、クリップを他のクリップにアンカーすることができる。特定のクリップが、タイムライン内で移動されるとき、特定のクリップにアンカーされたクリップは一緒に移動される。各クリップは、多数のアンカークリップを有することができ、また単一クリップにアンカーされてもよい。オーディオ及びビデオコンポーネントを有するメディアクリップの場合、いくつかの実施形態は、オーディオコンポーネントをビデオコンポーネントにアンカーする。したがって、ビデオコンポーネントオブジェクト615は、オーディオコンポーネントをそのアンカー項目セットに含み(更に他のオーディオコンポーネントがある場合には多数のそのような項目を含む可能性がある)、オーディオコンポーネントオブジェクト620は、アンカーされたビデオコンポーネントに対する親項目参照を含む。更に、子(アンカー)オブジェクトは、2つの値を示すアンカーオフセットを記憶する。第1の値は、子オブジェクトがアンカーされた親オブジェクト内の位置であり、第2の値は、子オブジェクト内のアンカーのオフセットである。インポートメディアファイルの場合、オーディオ及びビデオコンポーネントが同時に始まり、したがって、両方のアンカーオフセット値はゼロである。しかしながら、これは、例えば2つのコンポーネントの記録にわずかなオフセットがあり、ユーザが、オーディオをビデオに対して調整しなければならない場合に、変更することができる。
上記の図5及び図6は、メディア編集アプリケーションにおけるイベントにインポートされたオブジェクトのデータ構造を示す。メディアクリップが、メディアプロジェクトに追加され、複合クリップ内にネストされたときなど、メディア編集アプリケーションによって作成されるデータ構造は複雑になることがある。
図7は、4つのクリップ705〜720を含むプロジェクトタイトル「新プロジェクト」を有するタイムライン700を示す。クリップ705〜715は、プロジェクトのシーケンスの主複合レーンにあり、クリップ720は、クリップ710内の約26秒でクリップ710にアンカーされた。クリップ710は、2つのクリップを含む複合クリップである。
図8は、図7に示されたプロジェクトのデータ構造のサブセットを概念的に示す。いくつかの実施形態において、図8のデータ構造はすべて、単一シーケンス800を含むプロジェクトデータ構造に含まれる。いくつかの実施形態において、タイムライン内のプロジェクトのプロジェクトデータ構造は、イベントデータ構造を含む同じクラスのサブクラスである。イベントデータ構造が、複数のシーケンスを含むことができるが(即ち、イベントにおいて各クリップに1つのシーケンス)、プロジェクトデータ構造は、単一シーケンスだけを含む。
シーケンス800は、タイムライン700におけるクリップ705〜715に対応する3つのコレクション805〜815を含むアレイを記憶する主コレクションデータ構造803を含む。更に、第4のクリップ720は、コレクション810に、コレクションのアンカー項目として含まれる。単純にするため、この図では、コンポーネントオブジェクトは示されていない。シーケンス800は、シーケンスID、シーケンス属性835、及び主コレクション803を含む。これらのシーケンス属性835には、解像度、フレームレート、及び他の追加のプロパティ(例えば、フォーマット、描画プロパティ、オーディオプロパティなど)などの、プロジェクトのビデオプロパティセットを含む。前の節Iで示したように、いくつかの実施形態において、ユーザは、プロジェクトを作成するときにこれらのプロパティを設定する。
主コレクション803は、コレクションID、範囲(即ち、前述の全範囲及びトリム範囲)、エフェクトスタック(いくつかの実施形態において、ビデオエフェクトスタック並びにオーディオエフェクトスタックである)、及びメディアクリップのアレイを含む。いくつかの実施形態において、アレイは、タイムラインにおける位置に基づいて順序付けされ、コレクションの主レーンのメディアクリップだけを含む。メディア編集アプリケーションは、これらの項目の間にギャップがないと仮定し、したがって、項目間のタイミングデータは不要である。図示されたように、これらのクリップはそれぞれ、コレクションとして表される。イベント内に記憶されたクリップ(例えば、図6に示されたクリップ)が、タイムライン内のプロジェクトに追加されたとき、いくつかの実施形態は、シーケンスコンテナデータ構造(例えば、構造605)を削除し、構造の残りの部分(即ち、コレクション及びそのコンポーネント)をタイムラインコレクションにコピーする。エフェクトスタックは、メディアクリップに適用された1組のエフェクトを記憶する。そのようなエフェクトには、自動適用されるレート及び空間適合エフェクト、ユーザが行う変換、クロップ及び歪みエフェクト、ユーザが適用する画素操作エフェクト(即ち、異なるアルゴリズムなどによりクリップの画像の画素値を変更するエフェクト)が挙げられる。
クリップ805、815及び820は、クリップブラウザからタイムラインに追加された個別クリップであり、したがってそのクリップ自体はコレクションを含まない。コレクション610と同様に、これらのオブジェクトには、メディアコンポーネント(例えば、ビデオコンポーネントにアンカーされた1つ以上のオーディオコンポーネントを有するビデオコンポーネント)のID、範囲、エフェクトスタック、及びアレイが挙げられる。
クリップ810は、アレイに、コレクションID、範囲及びエフェクトスタックに加えて、複数のクリップを含む複合クリップである。具体的には、クリップ810は、2つのメディアクリップ825及び830を含む。複合クリップ内で、クリップは両方ともコレクションの主レーンにあり、したがって連続する。これらのクリップオブジェクトは、この図には示されていないが、クリップはそれぞれ、クリップそれぞれがメディアコンポーネントのアレイを含むという点で、クリップ805と類似している。更に、クリップオブジェクト810は、1組のアンカー項目を含む(この場合は、1つの項目のクリップ820のみ)。いくつかの実施形態は、各コレクションに1組のアンカー項目を含み、図8に示された他のオブジェクトでは空である。クリップ820に記憶されたアンカーオフセットは、それがクリップ810に26秒でアンカーされ、アンカーがクリップ820の最初にあることを示す。これらの時間は、いくつかの実施形態においてクリップのトリム範囲を参照する。
図9は、概念的タイムラインにネストされたオブジェクト800〜830を概念的に示す。図示されたように、コレクションオブジェクト825及び830は、コレクション810内にネストされ、コレクション810は、他のコレクションオブジェクト805、815及び820と共に、主コレクションオブジェクト803内にネストされる。シーケンスの主コレクションオブジェクト803自体は、シーケンスオブジェクト800内にネストされる。
図は、様々なクリップのアンカー関係、並びにクリップの継続時間(範囲)を示す。最下位のコレクション805、815、825及び830はそれぞれ、ビデオコンポーネントにアンカーされたオーディオコンポーネントを有する。図示されていないが、コレクション820は、同じビデオ/オーディオ設定を有してもよく、ビデオコンポーネントだけ(又は、オーディオコンポーネントだけ)でもよい。図示されたオブジェクトそれぞれは、単一のオーディオコンポーネントを有するが、当業者は、いくつかの実施形態が、複数のオーディオコンポーネントを有することを理解するであろう(例えば、カメラが、いくつかのオーディオトラックを別個のファイルとして記録し、それらのファイルを単一クリップの一部としてビデオファイルと共にインポートする場合)。
図は、また、クリップ820のクリップ810へのアンカーリングを示す。いくつかの例では、複数のクリップが、同じ主レーンクリップにアンカーされ、複数のアンカークリップは時間が重複することがある。この場合、複数の副レーンが使用されることがある。いくつかの実施形態は、各クリップオブジェクトに、コレクション内のクリップオブジェクトのレーンを示すレーン番号を割り当てる。
主レーンオブジェクトのすべては、いくつかの実施形態において、ゼロのレーン番号が割り当てられ、主レーンより上のレーンは数が大きくなり、主レーンより下のレーンは数が小さくなる(負)。例えば、別個のオーディオクリップが、主レーン内のクリップにアンカーされ、主レーンの下に表示されてもよい。この場合、主コレクション803内で、アンカークリップ820が、1のレーン番号を有する。レーン番号は、いくつかの実施形態において、ビデオの合成順序を示す。2つのオーディオファイルは全く容易に組み合わせる(混合する)ことができるが、2つのビデオファイルからの画像は同時に表示できない。したがって、いくつかの実施形態は、小さいレーン番号のクリップの上に大きいレーン番号のクリップを合成する。2つのクリップ間に同時に合成エフェクトが定義されない場合は、大きい番号のレーンのクリップが表示される。しかしながら、様々な合成モード及びエフェクトを使用してピクチャを合成してもよい(例えば、2つの画像の画素情報を組み合わせる減算、暗色化、乗算他などの合成モード、並びに最上画像を拡大縮小したピクチャ・イン・ピクチャの作成、最上画像への色マスクの適用他など)。
下位のネストコレクション内の項目は、そのコレクション内のそのレーン順序を参照するレーン番号も有する。例えば、コレクションオブジェクト810は、2つのクリップ825及び830を有し、各クリップは、ゼロのレーン番号を有する。しかしながら、このコレクションオブジェクトは、複数のレーンにアンカークリップを有することがある。描画時に合成するために、コレクション810内の項目は、最初にコレクション内の順序にしたがって合成され、次にその出力が、主コレクションの順序にしたがって主コレクション内で合成される。同様に、最下位コレクション(例えば、コレクション805)のにそれぞれ関して、ビデオコンポーネントはすべて、レーン0に割り当てられ、オーディオコンポーネントは、レーン−1に割り当てられる。
図9は、また、様々なクリップオブジェクトのレンジ範囲(例えば、継続時間)を示す。最下位コレクション及びそれらのコンポーネント(例えば、コレクション805、815、825、830及び820)に関しては、全範囲は、コンポーネントが参照するメディアの最大長であり、一方、トリム範囲は、ユーザ編集(例えば、トリム編集)に基づくこの範囲のサブセットである。この場合、コレクション815及び825は全くトリムされず、コレクション805は、両側でトリムされ、コレクション830の開始がトリムされる。
コレクション810に関しては、全範囲は、その主レーンクリップのトリム範囲の合計であり、主レーンクリップは、この場合、コレクション825及び830である。したがって、変数の全範囲2=トリム範囲A+トリム範囲Bである。この場合、コレクション810は、別個にトリムされず、その結果、そのトリム範囲は、その全範囲と等しくなる。即ち、クリップ830内にはより多くのメディアがあるが、主コレクション803の編集中、メディア編集アプリケーションは、ユーザが、クリップ810の継続時間を全範囲2の継続時間より長くすることを許可しない。しかしながら、ユーザは、クリップ810をタイムラインで開いて、クリップ825及び830のどちらかにトリム編集を適用することができる。これらのクリップのトリム範囲の変更は、クリップ810の全範囲に影響を及ぼす。更に、主コレクション803内で、ユーザは、クリップ810のトリム範囲を変更してクリップを短くすることができる。最初からトリミングすると、コンポーネントプレゼンテーションで使用されるコレクション825のメディアが少なくなり、最後からトリミングすると、複合プレゼンテーションで使用されるコレクション830のメディアが少なくなる。
前述の図は、特定タイプのクリップオブジェクトの様々なプロパティを示した。当業者は、いくつかの実施形態が、クリップオブジェクトの追加の様々なサブクラスを使用できることを理解するであろう。例えば、いくつかの実施形態は、参照クリップをイベントデータ構造に記憶する。ユーザがクリップをメディアプロジェクトに追加するときにこれらのクリップをコピーするのではなく、メディア編集アプリケーションは、メディアプロジェクトのコレクション内にクリップインスタンスを作成する。このクリップインスタンスは、コレクションクリップと類似しているが、それ自体のクリップを含まない。その代わりに、クリップインスタンスは、イベント内の参照クリップを参照する。次に、参照クリップへの編集は、メディアプロジェクト(又は、他のメディアプロジェクト)内のクリップのすべてのインスタンスに反映される。参照クリップについては、後でマルチカメラクリップに関して詳しく述べるが、いくつかの実施形態は、追加のタイプのクリップ(例えば、個別ビデオクリップ、合成クリップなど)の参照クリップを含む。
更に、いくつかの実施形態は、ジェネレータ(既存のビデオ画像を変更するのではなくそれ自体のビデオ画像を作成する効果)、クリップ間のトランジション、オーディションスタック(互いに交換できるクリップのセット)、マーカ、及びキーワードをクリップオブジェクトとして記憶する。前述のデータ構造(例えば、クリップオブジェクト、アセットオブジェクト、イベントオブジェクト、プロジェクトオブジェクトなど)は、メディア編集アプリケーションのいくつかの実施形態によって、アプリケーションのGUIに情報を表示し、プロジェクトを描画するために、並びに空間又は時間適合エフェクトをクリップに適用するかどうか決定するために使用される。
III.マルチカメラクリップ作成
以上の節では、いくつかの実施形態のメディア編集アプリケーションのユーザインタフェース、並びに特定のメディアクリップ、メディアプロジェクトなどに関する情報を記憶するためにアプリケーションによって使用されるデータ構造について述べた。そのようなメディア編集アプリケーションは、マルチカメラメディアクリップを生成し使用する機能を有することがあり、そのようなクリップに固有の特徴を含むことがある。
前述のように、いくつかの実施形態は、複数の異なるメディアキャプチャデバイスよってキャプチャされたいくつかのメディアクリップを含む、マルチカメラメディアクリップを生成する。メディア編集アプリケーションは、メディアクリップと共に記憶されたメタデータを使用して、これらのマルチカメラクリップを個々のメディアクリップから自動的に生成する。いくつかの実施形態において、生成プロセスは、デフォルトマルチカメラクリップ生成アルゴリズムを使用するか、又はユーザによって入力されたプリファレンス設定に基づいてアルゴリズムを適応させる。
図10は、メディアクリップセットからマルチカメラメディアクリップを生成するいくつかの実施形態のプロセス1000を概念的に示す。プロセス1000は、マルチカメラクリップを生成するもとになる1組のクリップを示すユーザ入力に応じて、いくつかの実施形態のメディア編集アプリケーションによって行われる。このプロセスは、図11を参照して述べられ、図11は、そのようなマルチカメラメディアクリップを5つの段階1110〜1150にわたって作成するためのユーザ入力を示す。
図示されたように、プロセス1000は、最初に、マルチカメラクリップの1組のクリップを受け取る(1005で)。いくつかの実施形態において、これらのクリップは、合成クリップ又は事前生成マルチカメラクリップを含む、イベントに記憶された任意のクリップ(例えば、ビデオクリップ、静止画、オーディオクリップなど)でよい。いくつかの実施形態は、クリップのすべてが同一のイベントに記憶されることを必要とするが、他の実施形態は、ユーザが、クリップを複数のイベントから単一のマルチカメラクリップに組み合わせることを可能にする。いくつかの実施形態は、複数の異なる装置によってキャプチャされたコンテンツを有することがある複合クリップ又はマルチカメラクリップの使用を防ぐために、マルチカメラクリップを生成するために使用されるクリップのタイプを制限する。
図11の第1の段階1110は、いくつかのメディアクリップを示すクリップブラウザ1105を示す。ユーザは、それらのクリップを選択し、ドロップダウンを開いた(例えば、右クリック、2本指タップ、又は他のそのような選択入力により)。図示されたように、ユーザは、メニューオプション「新しいマルチカムクリップ」の上にカーソルを置いた。このメニューオプションを選択した結果、第2の段階1120は、マルチカメラクリップのいくつかのオプションをユーザに提供するダイアログボックス1115を示す。ユーザは、クリップにタイトルを付け、開始タイムコードを入力し、ビデオプロパティを設定し、またオーディオ及び描画プロパティを設定する。いくつかの実施形態において、ビデオプロパティには、フォーマット(例えば、720p HD)、寸法(例えば、1280×720)、及びフレームレート(例えば、30p)がある。ユーザは、これらのプロパティを共通のクリッププロパティ(例えば、選択されたクリップの中で最も一般的なプロパティ、又は特定のクリップのプロパティなど)に基づいて設定してもよく、カスタム設定(例えば、新しいプロジェクトに関して図4に示されたようで)を提供してもよい。
また、ダイアログボックス1115によって、ユーザは、アプリケーションが、そのデフォルト設定を使用してマルチカメラクリップを作成するかどうか、又はアプリケーションが、選択されたクリップをアングルに割り当て、アングル内のクリップを順序付けし、アングルを同期させるための特定のメタデータを優先するかを選択することができる。更に、ダイアログボックスは、アプリケーションがオーディオデータを使用して第2のレベルの同期を実行すべきかどうか判定するオプションを提供する。段階1120に示されたように、ユーザは、そのような異なる選択肢を表示させるためにカスタムオプションを選択する。
図10に戻ると、プロセス1000は、次にクリップメタデータを使用してセット内のクリップそれぞれを特定のアングルに割り当てる(1010で)。この操作については、図12を参照して後で詳細に述べる。アングルは、いくつかの実施形態において、コンテンツが同じ装置によってキャプチャされたクリップのグループである。例えば、ディレクタが、4つの異なるアングルのシーン(例えば、直線進行、クローズアップ、オーバヘッドなど)をキャプチャするために、4台のカメラでシーンを同時に撮影することがある。
図11の段階1130に示されたように、いくつかの実施形態において、使用されるメタデータは、カメラアングル(例えば、クリップに関してユーザが提供したメタデータ)及び/又はカメラ名(例えば、クリップのコンテンツのインポート時にクリップのメディア編集アプリケーションによって自動生成された情報)を含む。更に、アプリケーションは、ユーザが、各クリップがそれ自体のアングルで配置されるように選択することを可能にする。
次に、プロセスは、アングルごとに割り当てられたクリップのシーケンスを生成する(1015で)。即ち、プロセスは、そのアングル内のクリップの順序を決定し(例えば、時刻又はタイムコードメタデータを使用して)、次にこのメタデータにしたがってそれらのクリップを時間でスペース配置させる。この操作は、図14を参照して後で詳細に述べられる。図11の段階1140に示されたように、いくつかの実施形態において、使用されるメタデータが、クリップのタイムコード及び時刻(又は、節IIで前述したような作成日)を含むことがある。このメタデータをシーケンスアングルに変換するために、様々な異なるアルゴリズムが異なる実施形態によって使用されることがある。
次に、プロセス1000は、マルチカメラクリップ内の異なるアングルのシーケンスを同期させる(1020で)。同期操作は、同時に記録されたコンテンツをマルチアングルクリップ内で時間で整合させることを目的とする。したがって、同じアクションの俯瞰写真及びクローズアップ写真が、理想的には、クリップ内の特定時間に各アングルのビデオ画像がアクション内の同じ時間を示すように、クリップ内で整列されなければならない。図11の第5の段階1150に示されたように、アプリケーションは、同期のために時刻又はタイムコードメタデータを使用することができ、並びに各アングルの最初のクリップの開始又はアングルのクリップ内の最初のマーカを整列させることができる。シーケンスと同じように、タイミングメタデータを整合アングルに変換するために、様々な異なるアルゴリズムが、異なる実施形態によって使用されることがある。メタデータによる同期に加えて、いくつかの実施形態は、オーディオデータを使用して第2のレベルの同期を行なう。これらの実施形態は、異なるアングルからの時間(初期メタデータ同期後)が互いに近いクリップのオーディオ部分を比較して一致オーディオを特定し、次にその一致オーディオを使用してクリップを更に整合させる。同期操作は、図16及び図18を参照して後で詳細に述べられる。
A.アングルへのクリップの割り当て
前述したように、ユーザが、マルチカメラメディアクリップを生成する元にするいくつかのクリップを選択するとき、第1のメディア編集アプリケーションは、最初に、カメラメタデータに基づいて、いくつかのクリップを1つ以上のアングルに割り当てる。図12は、そのようにクリップをマルチカメラメディアクリップの異なるアングルに割り当てるプロセス1200を概念的に示す。プロセス1200は、図13を参照して述べられ、9つのクリップセット1305〜1345のマルチカメラメディアクリップの3つの異なるアングルへの割り当てを概念的に示す。
プロセス1200は、最初に、マルチカメラメディアクリップの異なるアングルに割り当てるクリップセットを受け取る(1205で)。これらのクリップは、ユーザによって選択されたクリップセットでよく、クリップのコンテンツは、いくつかの異なる装置又は単一装置によってキャプチャされてもよい。いくつかの実施形態において、メディアクリップは、ビデオクリップ、オーディオクリップ、静止画又は他のコンテンツでよい。例えば、メディアクリップセットは、1つ又は2つの異なるカメラによって撮影されたビデオ(オーディオを伴う)、更に別の異なるカメラによって撮影された静止画、並びにカメラのいずれとも別個のマイクロフォンによって記録されたオーディオのみクリップを含む。
クリップは、いくつかの場合、表されたコンテンツに関するメタデータを記憶する。このメタデータは、コンテンツをキャプチャした装置及びコンテンツがキャプチャされた時間に関する情報を含むことができる(ビデオプロパティ又はオーディオプロパティなどの他のデータに加えて)。図13は、9つのクリップ1305〜1345をそのメタデータと共に概念的に示す。これらのクリップは、5つのビデオクリップ1305〜1325と、4つの静止画1330〜1345とを含む。ビデオクリップは、アングルID(「ワイドショット」及び「クローズアップ」)を含み、アングルIDは、ユーザが入力したメタデータである。いくつかの実施形態において、ユーザは、(例えば、クリップブラウザ内で)メディアクリップを選択し、インスペクタ表示領域によりクリップのアングルID(又は、カメラID)を入力することができる。更に、ビデオクリップは、開始及び終了タイムコード情報、及び開始時刻情報を含む。静止画は、カメラID(「10101」)及びExif(エクスチェンジャブルイメージファイルフォーマット)データを含み、Exifデータは、画像がキャプチャされた日時を示すデータである。
図12に戻ると、プロセス1200は、受け取ったメディアクリップセットから割り当てられていないクリップを選択する(1210で)。いくつかの実施形態は、クリップを、そのイベントに記憶された順序、クリップ名によるアルファベット順序、他の順序、又はランダム順序で選択する。最初、当然ながら、クリップのすべては割り当てられていない。
次に、プロセスは、クリップメタデータを使用して選択されたクリップのアングルを特定する(1215で)。いくつかの実施形態において、メディア編集アプリケーションは、様々な異なるメタデータを使用して特定のクリップのアングルを特定することができる。ユーザによるプリファレンス入力がない場合、いくつかの実施形態は、ユーザが入力したアングルID、次にユーザが入力したカメラ名(いくつかの実施形態においてインポート時に指定される)、次にクリップデータ構造と共に記憶されたデータ間のインポート時に自動生成されたカメラIDを優先し、次に、先行データが利用可能でない場合には、ソースファイルと共に記憶された他のメタデータ(例えば、メーカーID又は装置名)に依拠する。このメタデータがどれも利用可能でない場合、アプリケーションは、クリップをそれ自体のアングルに割り当てる。図13に示されたクリップの場合、ビデオクリップ1305〜1325がそれぞれ、アングルIDを有し、静止画1330〜1345がそれぞれカメラIDを有する。この場合、ビデオクリップアングルIDはユーザ入力情報であり、静止画用のカメラIDは自動生成データである。
次に、プロセスは、セットが、マルチカメラクリップ内のアングルのために既に作成されたかどうか判定する(1220で)。いくつかの実施形態において、プロセスは、クリップのメタデータのそれぞれの利用可能な部分を確認して、クリップを既存アングルに割り当てることができるかどうかを判定する。例えば、第1のクリップに、カメラIDを有するがアングルIDがなく、第2のクリップに、アングルID並びに第1のクリップと同じカメラIDがある場合、アプリケーションは、アングルIDだけを調べ、第2のクリップを新しいアングルに割り当てるのではなく、そのカメラIDに基づいて割り当てる。他方、いくつかの実施形態は、常に、クリップが価値を有する第1の情報を使用する。したがって、前述の場合、そのような実施形態は、第2のクリップを、そのアングルIDに基づいて新しいアングルに割り当てる。クリップが、如何なる種類のアングル特定メタデータも有していない場合、クリップは、それ自体のアングルに割り当てられる。
アングル用のセットが既に作成されているとき、プロセスは、選択されたクリップを、特定されたアングルと関連付けられたクリップセットに追加する(1225で)。他方、アングル用のセットがまだ作成されていないとき、プロセスは、特定されたアングルセットを作成し、選択したクリップをセットに追加する(1230で)。いくつかの実施形態において、メディア編集アプリケーションは、これらのクリップセットを揮発性メモリ(例えば、RAM)に一時的に記憶し、同時に、マルチカメラクリップ作成プロセスの付加操作(即ち、順序付け及び同期)を行う。いくつかのそのような実施形態において、クリップのセットのメディア編集アプリケーションデータ構造は、そのセットが順序付けられるまで実際に作成されず、その時点で、アプリケーションは、マルチカメラクリップのデータ構造におけるマルチカメラクリップのアングルを生成する。そのようなマルチカメラクリップの構造を以下に詳しく述べる。
次に、プロセス1200は、異なるアングルに割り当てられるクリップがまだ残っているかどうかを判定する(1235で)。まだクリップが残っているとき、プロセスは、1210に戻って、アングルに割り当てるために割り当てられていない別のクリップを選択する。クリップのすべてが割り当てられた後、プロセス1200が終了する。
様々なクリップをそれぞれのメタデータと共に示す他に、図13は、3つの異なるアングルへのクリップの割り当てを示す。クリップ1305〜1345が、「クリップ1」から「クリップ9」の順序で割り当てられると仮定すると、メディア編集のアプリケーションは、最初に、クリップ1305を選択し、アングル「ワイドショット」1350を作成し、クリップ1305をこのアングル1350に割り当てる。次に、アプリケーションは、このクリップのアングルIDに基づいて、クリップ1310を新しいアングル「クローズアップ」1355に割り当てる。第3のクリップ1315に関して、このクリップがアングルID「ワイドショット」も有するので、新しいアングルは不要であり、したがって既存のアングル1350に割り当てられた。ビデオクリップは、図示されたように、これらの2つのアングル1350及び1355に割り当てられ、次にアプリケーションは、静止画に進む。
アプリケーションは、カメラIDをクリップ1330の「10101」と特定し、このカメラIDが、アングル割り当てに有効なこのクリップの唯一のメタデータであることを決定し、この名前を有する新しいアングル1360を作成する。いくつかの実施形態において、カメラID、カメラ名、更にはクリップ名は、アングルを命名するために使用されてもよく、他の実施形態は、そのアングルに割り当てられたクリップのアングルIDメタデータが存在しないときに「アングル3」などの一般アングル名を作成する。図示されたように、4つの静止画クリップ1330〜1345はすべて、同じカメラIDを有し、したがって、アプリケーションは、これらの4つのクリップをアングル1360に割り当てる。
前述したように、いくつかの実施形態において、これらのアングルは、クリップ作成プロセスのこの時点で揮発性メモリ内にある。他の実施形態は、アングル割り当てプロセスの際にマルチカメラクリップ構造(図20を参照して後述する)を作成し、アングルがプロセス1200(又は、類似のアングル割り当てプロセス)によって作成されるのでこのクリップ構造内にアングルを作成する。
B.アングルシーケンス
マルチカメラクリップ用に選択されたクリップをマルチカメラクリップの異なるグループ(アングル)に割り当てた後で、いくつかの実施形態のメディア編集アプリケーションは、グループ内のクリップを順序付け配列する。図14は、マルチカメラメディアクリップの様々なアングルのために一連の順序付けられたクリップを生成するいくつかの実施形態のプロセス1400を概念的に示す。プロセス1400は、図15を参照して述べられ、図15は、図13からのクリップ1305〜1345のシーケンスを示す。
プロセス1400は、最初に、マルチカメラクリップのために異なるアングルに割り当てられたクリップセットを受け取る(1405で)。いくつかの実施形態において、これらのクリップは、プロセス1200又は類似のプロセスを使用して、メディア編集アプリケーションによってアングルに割り当てられている。これらのクリップは、長い継続時間を有するクリップ(例えば、ビデオ及びオーディオクリップ)でもよく、瞬間時間だけを有するクリップ(例えば、単一フレームからなる静止画)でもよい。
図13に示されたように、メディアクリップは、参照するソースビデオに関するタイミングメタデータを記憶してもよい。例えば、ビデオクリップ1305〜1325は、タイムコード(「TC」)情報と時刻(「ToD」)情報との両方を含む。例えば、クリップ1 1305のメタデータは、タイムコードが01:00:00:00(時間:分:秒:フレームで示された)で始まり01:10:00:00で終わる、ちょうど10分間の継続時間であることを示す。時刻情報は、このクリップの撮影が2011年5月25日の午後5:35に始まったことを示す。いくつかの実施形態において、図示されたように、カメラは、最も近い秒までの時刻を記録する。しかしながら、時刻情報は、一般に、フレームを考慮せず、一方、タイムコードは、フレームレベル(即ち、数分の1秒)で情報を記憶し、したがってより正確である。更に、この例は、開始時刻だけを示す。多くのカメラが、開始時間又は終了時間だけを記録し、両方は記録しない。クリップの継続時間を記録するために、カメラは、開始及び終了タイムコード情報を記録する(継続時間は、フレームレート及びフレーム数に基づいて決定することもできる)。したがって、メディア編集アプリケーションは、クリップの開始時間を特定するために時刻を使用し、継続時間を導出するためにタイムコードを使用する。
プロセス1400は、次に、特定のアングルと関連付けられたクリップセットを選択する(1410で)。前述のように、いくつかの実施形態において、クリップを異なるアングルと関連付ける情報は、この時点で揮発性メモリに記憶され、この場合、アプリケーションは、クリップを評価するために、この情報をメモリから検索する。プロセスは、アングルを、作成された順序又はランダムな順序などの特定の順序で評価してもよい。また、いくつかの実施形態は、アングルを並列に評価して、操作1415〜1425を複数のアングルに同時に実行してもよい。
プロセスは、選択されたクリップセットに使用可能なタイミングメタデータセットを特定する(1415で)。ビデオ(又は、オーディオ)クリップに関して、いくつかの実施形態は、最初に、タイムコードを使用して選択アングルのクリップを配列できるかどうかを特定する。そのために、メディア編集アプリケーションの異なる実施形態は、メディアクリップのタイムコードに異なる基準を適用する。例えば、いくつかの実施形態においてアプリケーションが適用する最初のテストは、クリップのいずれかのタイムコードが重複するかどうかである。図13のアングル1355(「クローズアップ」)の場合、これらのクリップが両方とも00:00:00:00のタイムコードで始まり、したがって、タイムコードは、有用な順序付け情報を提供しない。重複がない場合は、アプリケーションは、クリップのすべてのタイムコードの全スパンが、しきい値継続時間(例えば、1時間、1日、3日など)より長いかどうか判定する。例えば、クリップが、タイムコードで100時間離れている場合、それらのクリップは、この情報で有用なマルチカメラクリップシーケンスを構成しない可能性がある。
更に、いくつかの実施形態は、クリップのすべてが、1つのフレームを、セット内の別のクリップの終了後(又は、いくつかの実施形態において、先行クリップの終了1秒以内)に開始する場合は、タイムコードを使用しない。これは、一般に、連続タイムコードを使用するが、記録していないときにタイムコードを進めず、したがって実時間に対応しないカメラを示す(デジタルテープ式記録では一般的)。しかしながら、この場合、いくつかの実施形態のメディア編集アプリケーションは、タイムコードから順序付け(即ち、第1のクリップが第2のクリップの前になるはずである)を使用し、これは最も信頼性が高い。これが当てはまるときにクリップのスペース配置するために、アプリケーションは、時刻情報を使用しようとする。
タイムコード情報を使用できない場合、アプリケーションは、時刻情報を使用しようとする。時刻は、前述のように、一般にフレームレベルで時間を記録しないので、タイムコードほど正確ではない。アングル1355(「クローズアップ」)内のクリップの場合、タイムコード情報は、両方のクリップに関して0で始まり、したがって、アプリケーションは、(タイムコードを使用して継続時間を決定しながら)順序付けしスペース配置するために時刻情報を使用する。クリップ1310は、午後5:36:00に始まり、ちょうど7分の継続時間を有し、クリップ1320は、午後5:55:00に始まり、18分の継続時間と19フレームを有し、したがって、時刻情報に重複はない。いくつかの実施形態は、同様にしきい値継続時間テストを時刻に適用し、最初のクリップの始まりから最後のクリップの終わりまでの継続時間が、しきい値継続時間(例えば、1時間、1日、3日など)より長く続かないことを指定する。例えば、あるクリップが、1990年に撮影されたとマークされることがあり、別のクリップが、2011年からのものであるが、ユーザは、21年の長さのマルチカメラクリップを実際に望む可能性は低い。
タイムコードも時刻も適切であると決定されない場合、アプリケーションは、情報がタイムラインに沿ってクリップを適切にスペース配置するのに有効でない場合でも、少なくともその情報を使用してクリップを順番に並べるようとする。第1のクリップが1990年の日付を有し、第2のクリップが2011年からのものである例では、アプリケーションは、第1のクリップを第2のクリップの前に順序付けることになる。時刻情報が全く利用可能でない場合、アプリケーションは、クリップによって表されるソースファイルのインポートの日付など、見つけることができる他のメタデータに基づいてクリップを順番に配置する。
継続時間を有さない(又は、より正確には、1フレームの継続時間を有さない)静止画の場合、いくつかの実施形態は、最初にExifデータ(画像メタデータを記録するために標準フォーマットにしたがってカメラによって生成されたデータ)を調べて、画像がキャプチャされた日時を見つける。この情報が利用可能でないとき、アプリケーションは、作成日(画像ファイルのインポート日のことがある)に依拠して静止画クリップを順序付ける。一般に、静止画のメタデータは、時間を秒レベルで維持し、したがって、単一のカメラによって次々にキャプチャされた複数の静止画は、それらの静止画が同時にキャプチャされたことを示すメタデータを有する可能性がある。
メタデータが特定された場合、プロセスは、特定された1組のタイミングメタデータにしたがってメディアクリップセットを順序付ける(1420で)。前述したように、メディアクリップは、タイムコード、時刻情報、又はアプリケーションがクリップから特定し順序付けに利用することができる他の情報に基づいて、順序付けられてもよい。いくつかの実施形態において、図20を参照して後述するように、メディアクリップは、マルチカメラメディアクリップ構造内にアンカーコレクションのアレイで記憶される。
更に、選択アングルのクリップに関するタイミング情報が、その精度を示す基準を満たす限り、プロセスは、特定された1組のタイミングメタデータにしたがって順序付けられた組のメディアクリップ間にギャップを挿入する(1425で)。タイミング情報のどれもこの基準を満たさないとき、いくつかの実施形態は、シーケンスにギャップクリップを挿入せず、単にクリップを順序通りにしたままにする。
しかしながら、利用可能な情報が、クリップのスペース配置を示す可能性が高いとき、メディア編集アプリケーションは、タイムラインに沿ってクリップを離間させ、クリップ間にギャップを挿入する。第1のクリップが5分マークで終わり、第2のクリップが6分マークで始まる場合、アプリケーションは、2つのクリップ間に1分ギャップを挿入する。マルチカメラクリップを記憶するために使用されるデータ構造の性質により、いくつかの実施形態において、これらのギャップは、アングルを表すアンカーコレクションのアレイ内の別個のクリップ構造として記憶される。
図15は、順序付けられたアングル1350〜1360を示す。アングル1350及び1355は、ビデオクリップを含む。3つのクリップ1305、1315及び1325をそのアングル1350内で順序付けるために、いくつかの実施形態のメディア編集アプリケーションは、タイムコードを使用する(この情報が重複せず、40分の継続時間内に含まれるので)。図示されたように、アングル1350は、01:00:00:00のタイムコードで、クリップ1305で始まる。その10分後にこのクリップが終わり、ギャップクリップが始まり、わずか10分足らずのクリップ1325が始まる01:15:00:12マークまで続く。別のギャップクリップは、25分マークで始まり、クリップ1315が01:28:54:02のタイムコードで始まるまで続く。このクリップは、約8分続き、合計長は37分になる。
「クローズアップ」アングル1355は、2つのクリップ1310及び1320だけを含む。しかしながら、これらのクリップに関しては、クリップをキャプチャしたカメラが、キャプチャされた各ビデオを00:00:00:00のタイムコードで開始するので、タイムコードは有用な情報を提供しない。しかしながら、時刻情報は、有用なタイミングメタデータを提供する。図示されたように、第1のクリップ1310は、午後5:36:00に始まり、タイムコードは、継続時間が7分であることを示す。アングルのアレイにおける次は、大きいギャップクリップであり、これは、第2のクリップ1320が午後5:55:00に始まるまで続く。クリップ1320の継続時間は、18分と19フレームである(例えば、フレームレートが24fpsの場合は19/24秒)。したがって、アングル1355の合計長は、37分と19フレームである。
アングル1350及び1350だけが、長い継続時間を有することができるビデオクリップを含む。単一フレームの継続時間を有する静止画の場合、いくつかの実施形態は、順序付けられたシーケンスにおける次のクリップの開始時間まで、静止画の継続時間を伸ばすことによって画像間のギャップを埋める。複数の静止画が同じ開始時間を有するとき(例えば、それらの静止画が、1秒当たり複数画像をキャプチャすることができる連写カメラで撮影されたので)、いくつかの実施形態は、順序付けられたセットのクリップの次の開始時間を特定し(画像によって同時に共有された後の時間)、割当時間内で画像を離間させる。例として、8つの画像が、午後1:00:00の時間を有し、次の画像が、午後1:00:01の時間を有する場合、8つの画像は、タイムライン内で午後1:00:00の1秒間に均一に拡がる(例えば、それぞれ24fpsで3フレームの継続時間を有する)。いくつかの実施形態において、画像の順序を同じ開始時間で決定するために、メディア編集アプリケーションは、画像のファイル名を調べ、画像は、多くの場合、カメラによって番号順に自動的に名付けられる(例えば、「IMG_0035」、「IMG_0036」など)。
図13に示されたように、静止画クリップのExifデータは、クリップ1345が午後5:40:00、クリップ1330が午後5:42:30、クリップ1340が午後5:50:00、及びクリップ1335が午後5:55:00であり、これらは全て2011年5月25日である。これらの時間はすべて、しきい値継続時間内にあり(しきい値継続時間が15分より長い限り)、したがって、Exif時間は、クリップを順序付けしタイムライン内のクリップの開始点を特定するために用いる基準を満たす。
図15は、アングル「10101」1360のタイムラインに沿ったこれらの4個のクリップ1330〜1345を示す。この場合、タイムラインは、第1の画像クリップ1345の時間である午後5:40に始まる。このクリップは、次の画像クリップ1330が午後5:42:30に始まるまで、2分30秒の継続時間を有する。次に、午後5:50に、クリップ1340が始まる。このクリップは、午後5:55に終わり、最後のクリップ1335が始まる。いくつかの実施形態において、図示されたように、このクリップは、アングルの同期後まで無制限の継続時間を有する。静止画クリップは、同期後に、マルチカメラクリップの終了まで延在する継続時間を有し、これは、アングル1350及び1355の長さ及び同期に依存する。静止画クリップを次のクリップの開始時間まで延長する代わりに、いくつかの実施形態は、クリップに固定継続時間を割り当て(例えば、1分)、この継続時間は、その継続時間が終わる前に別のクリップが始まった場合は自動的に短縮されてもよい。
図14に戻ると、アングルのシーケンスを生成するためにカレントアングルにギャップクリップを挿入した後で、プロセス1400は、配列すべき別のアングルが残っているかどうかを判定する(1430で)。プロセスが、アングルのすべてを順序付け配列した後、プロセス1400は終わる。別のアングルが残っているとき、プロセスは、1410に戻って、次のアングルを選択し、そのアングルのシーケンスを決定する。
前述したように、いくつかの実施形態において、メディア編集アプリケーションは、これらのアングル、即ちクリップの順序付けられたシーケンスを、マルチカメラメディアクリップ構造内のコレクションクリップ構造として記憶する。いくつかの実施形態において、このマルチカメラクリップ構造は、アングルコレクション構造のそれぞれがアンカーされたギャップ要素を含むコレクションである。いくつかの実施形態のメディア編集アプリケーションは、アングルそれぞれのシーケンスを別個に生成し、次にそれらがすべて生成された後でシーケンスを同期させる。
C.初期同期
マルチカメラメディアクリップのメディアクリップをアングルに割り当て、次にアングルそれぞれのシーケンスを生成した後で、いくつかの実施形態のメディア編集アプリケーションは、アングルを同期させる。いくつかの実施形態において、これは、タイミングメタデータ(例えば、アングルを個々に順序付け配列するために使用されるデータ)を使用する初期同期、及びオーディオデータを使用する同期微調整の2つの別個の操作を含む。図16は、タイミングメタデータを利用して初期同期を行ういくつかの実施形態のプロセス1600を概念的に示す。プロセス1600は、図17を参照して説明され、図17は、図13に示されたクリップ1305〜1345のメタデータに使用する図15のシーケンス1350〜1360の整合を示す。
プロセス1600は、最初に、シーケンスで順序付けられた各アングル内のクリップを有する1組のアングルを受け取る(1605で)。前述したように、いくつかの実施形態は、これらのアングルそれぞれを、マルチカメラクリップ構造内にアンカーされたコレクションクリップ構造(これ自体がコレクション構造)として記憶する。いくつかの実施形態において、シーケンスは、プロセス1400又は類似のプロセスによって生成された。アングルはすべて、同じタイプのメタデータ(例えば、タイムコード)にしたがって配列されてもよく、異なるタイプのメタデータを使用して配列されてもよい(例えば、図15のように、1つのアングルがタイムコードを使用して配列され、別のアングルが時刻情報で配列され、第3のアングルがExifデータにより配列される)。更に、いくつかの場合、アングルの少なくとも1つのアングルは、順番になっているが互いに分離されていないクリップを有する(例えば、クリップを離間するのにクリップの利用可能なタイミング情報だけでは十分に信頼できないと思われるので)。
次に、プロセス1600は、アングルの最初の1つを選択し、選択アングルを1組の同期アングルに入れる(1610で)。1組の同期アングルは、いくつかの実施形態において、評価されて他のアングルと整合するように調整されたマルチカメラクリップ内に開始時間を有する1組のアングルである。いくつかの実施形態において、第1のアングルを第2のアングルと整合させるために、メディア編集アプリケーションは、第1のアングルと第2のアングルのどちらか後で始まる方のシーケンスの最初にギャップクリップを挿入する。この段階で、プロセス1600が、アングルのいずれもまだ評価していないので、第1のアングルを同期させるアングルはなく、したがって、プロセスは、この第1の選択アングル内の第1のクリップを、マルチカメラメディアクリップの時間0で始まるように設定する。即ち、第1の選択アングルは、この時点では、ギャップクリップが最初に挿入されていない。
次に、プロセスは、評価されていないアングルのうちの1つをカレントアングルとして選択する(1615で)。マルチカメラクリップに1つのアングルしかない場合は、当然ながら同期は必要ない。いくつかの実施形態において、メディア編集アプリケーションは、これらのアングルを、マルチカメラクリップコレクションデータ構造に記憶された順序で選択する。例えば、図15に示された例では、メディア編集アプリケーションは、最初に、「ワイドショット」アングル1350を選択し、それを初期同期アングルとして設定し、次に「クローズアップ」アングル1355を選択して、そのアングルを「ワイドショット」アングルに整合させる。いくつかの実施形態において、異なるアングルがそれぞれ、マルチカメラコレクションデータ構造内にアンカーコレクションとして記憶され、各アングルは、順序を示すレーン番号を有する。いくつかの実施形態は、最も大きいレーン番号又は最も小さいレーン番号から始まるアングルを選択する。
次に、プロセス1600は、クリップのタイミングメタデータが、カレントアングルを1組の同期アングルにおけるアングルの少なくとも1つと同期させるのに有効かどうかを判定する(1620で)。いくつかの実施形態において、このタイミングメタデータは、アングルシーケンスプロセスと同様に、タイムコード又は時刻(作成日)のいずれかでよい。いくつかの実施形態は、最初に、タイムコードが時刻より高い精度を有するのでタイムコードが同期に有効かどうかを判定する(タイムコードがフレームの増分を使用するのに対して、時刻が1秒増分しか使用しないので)。しかしながら、専門家設定を除いて、複数の異なるカメラには、通常、タイムコードが同期されない。専門家設定は、単一のタイムコードシンクロナイザに接続された(例えば、無線、有線接続によって)複数のカメラを実行することがある。しかしながら、多くのユーザにとっては、第1のカメラのタイムコードは、第2のカメラのタイムコードと関連付けられない。
タイムコードデータを使用して2つのアングルを同期できるかどうか判定するために、いくつかの実施形態は、最初に、両方のアングルを順序付けるためにタイムコードが使用されたかどうかを判定する。タイムコードが、アングルを順序付けるのに有効でない場合(例えば、アングル内のクリップのタイムコードが重複するので)、アプリケーションは、アングルを同期させるためにタイムコードデータを使用しない。例えば、「クローズアップ」アングル1355のタイムコードデータは、そのアングルのクリップを配列するのに有効でなく、したがって、アングル1355を「ワイドショット」アングル1350と同期させるのに使用されない。アングルが両方ともタイムコードデータを使用して配列されたときは、アプリケーションは、アングルの一方のタイムコードを他方のアングルのタイムコードと比較する。いくつかの実施形態は、タイムコードデータを使用するには、第1のアングルのタイムコードが、第2のアングルのタイムコードと少なくとも部分的に重複しないことを必要とし、他の実施形態は、タイムコードが及ぶ全時間が、しきい値継続時間より長くない(例えば、1時間、24時間、72時間など)ことを必要とする。即ち、第1のアングルのタイムコードが、01:00:00:00から03:00:00:00にわたり、第2のアングルのタイムコードが、22:00:00:00から26:00:00:00にわたる場合、これは、いくつかの実施形態において、24時間のしきい値を超えることになる。他の実施形態は、しきい値継続時間までの時間全体ではなく2組のタイムコード間のギャップ(前の例では19時間)を比較する。
いくつかの実施形態は、現在の選択アングルのタイムコードデータを、既に同期された各アングルに比較して、現在の選択アングルを他のアングルのいずれかと同期できるかどうか判定する。例えば、最初の2つのアングルが、時刻情報を使用して同期されることがあるが、第3のアングルは、タイムコード情報を使用して最初の2つのアングルの一方と同期することができる。タイムコードデータを使用してカレントアングルを特定の他のアングルと同期できるとき、プロセスは、このタイムコードデータを使用する。しかしながら、タイムコードデータを使用してカレントアングルをアングルのいずれとも同期できないとき、いくつかの実施形態のメディア編集アプリケーションは、時刻情報を使用しようとする。
いくつかの実施形態は、時刻情報の使用に関して、カレントアングルの期間が、少なくとも部分的に重複するか、又は比較される別のアングルのしきい値継続時間の範囲内にあることを必要とするような、タイムコードデータについて前述したような類似の制約を適用する。ユーザが、自分の様々なカメラのすべてを正確な時間に設定している場合は、時刻データは、重複することが多く(少なくとも複数のカメラによってシーンを同時撮影した場合)、したがって有用である。例えば、例「クローズアップ」アングル1355のタイムコード情報は有用でないが、そのクリップ1310及び1320の時刻情報(午後5:36から午後6:13まで)が、「ワイドショット」アングル1350のクリップ1305、1325及び1315の時刻情報(午後5:35から午後6:12まで)と重複する。前節と同じように、タイムコード情報はやはり、クリップの継続時間(したがってアングルの継続時間)を決定するのに有用である。
静止画は、前述のように、そのExifデータを使用して順序付けられるか、又はExifデータが利用不能なときは作成日情報を使用して順序付けられる。メディア編集アプリケーションは、前述の方式と同様に、そのようなタイプのデータのタイムスタンプを、他のアングルのビデオ又はオーディオクリップの時刻情報と比較する(即ち、第1のアングルのタイムスパンが、別のアングルのタイムスパンと重複するか近いかどうかを判定する)。更に、いくつかの実施形態は、同じアングルに静止画及びビデオ/オーディオクリップを含んでもよい(例えば、デジタルカメラを使用して静止画とビデオとの両方を撮影するとき)。この場合、順序付けと同期との両方の目的の同じ種類のメタデータとして、ビデオの時刻情報と共にExifデータが検討されてもよい。
タイミングメタデータ(タイムコード又は時刻情報)が、現在の選択アングルを他のアングルの少なくとも1つと同期させるのに有効なとき、プロセスは、タイミングメタデータを使用してカレントアングルを1組の同期アングルに同期させる(1625で)。したがって、例えば、2つのアングルが、そのタイムコードを使用して既に同期されているが、現在の選択アングルが、他の2つのアングルの一方の時刻情報と重複する時刻情報しか含まない場合、アプリケーションは、そのアングルのタイムコードではなく時刻情報を使用することにより、カレントアングルを重複する時刻情報を有するアングルと同期させるようとする。第1のアングルが、時刻情報を有し、第2のアングルが、時刻情報とタイムコード情報との両方を有し、第3のアングルが、タイムコード情報だけを有する場合、いくつかの実施形態において、アプリケーションは、第1のアングルと第3のアングルとの両方を第2のアングルに同期させることによって、これらの3つのアングルを同期させることが可能になる。
いくつかの実施形態において、1つのアングルを1組のアングルに同期させることは、現在の選択アングルが、その組の中で最も早いアングルと全く同時に始まらない限り、アングルのうちの1つ以上のアングルの最初にギャップクリップを挿入する(又は、調整する)ことを含む。カレントアングルが、既に同期されているアングルのいずれより早い時間に始まるとき、アプリケーションは、他のアングルの最初に、カレントアングルのオフセットと等しい長さのギャップを挿入する。これらのアングルのうちの1つが、既にギャップクリップを有する場合は、アプリケーションは、このギャップをオフセットの長さだけ拡張する。カレントアングルが、他のアングルの少なくとも1つの後で始まるとき、アプリケーションは、現在の選択アングルの最初に、オフセットと等しい長さのギャップを挿入する。
図17が示すように、「クローズアップ」アングル1355を「ワイドショット」アングル1350に同期させるとき、アプリケーションは、「クローズアップ」アングル1355が5:36で始まるので、その最初に1分のギャップを挿入する(「ワイドショット」アングル1350の5:35に比較して)。第3のアングル「10101」1360は、5:40に始まり、したがって、アプリケーションは、このアングルの最初に5分のギャップを挿入する。更に、アプリケーションは、静止画クリップ1335の継続時間を18分延ばす(午後5:50から6:13まで)。いくつかの実施形態は、アングル内の最後のクリップの静止画クリップをメディアクリップの終わりまでずっと拡張せず、その代わりに、静止画を最大長にする(例えば、1分、5分など)。
他方、プロセス1600が、現在の選択アングルを正確に同期するタイミングメタデータを見つけることができないとき、プロセスは、タイミングメタデータを使用せずにアングルを1組の同期アングルに同期させる(1630で)。いくつかの実施形態において、アプリケーションは、アングルの最初のクリップを、最の早い開始時間を有するアングルの最初のクリップと同時に始める。いくつかの実施形態において、これは、アングルを表すコレクションの最初にギャップクリップを挿入しないだけで達成される。アングルコレクションのアンカーオフセットがゼロに維持される限り、ギャップクリップで始まらないアングルは、マルチカメラメディアクリップ内の最も早い開始時間を有する。
図11の段階1150に示されたように、いくつかの実施形態により、ユーザは、メディア編集アプリケーションが、各アングルの最初のクリップの始まりにアングルのすべてを同期させることを選択することができる。ユーザが、同期のためにタイミングメタデータを探すのではなく、このオプションを選択するとき、アプリケーションは、タイミングメタデータを使用して(又はユーザによって指定されたようで)異なるアングルを順序付け、次にアングルをそれぞれ同時に始まるように単純に整合させる。いくつかの実施形態において、図20を参照して後述するように、アングルがすべて、同じアンカーオフセット(0,0)を有するギャップクリップにアンカーされるので、このアラインメントは、任意のアングルの最初にギャップクリップを挿入しないことによって単純に行なわれる。
更に、アプリケーションは、ユーザが、アングルを各アングル内の最初のマーカによって同期させるように選択することを可能にする。ユーザは、クリップにマーカを設定することができ、そのようなマーカは、いくつかの実施形態において、1フレームの継続時間を有するクリップデータ構造として記憶され、クリップ内の特定時間でマーク付きクリップにアンカーされる。このオプションが選択された場合、アプリケーションは、各順序付けられたアングル内の最初のマーカを特定し、次に必要に応じてアングルの始まりにギャップクリップを挿入して、これらのマーカが整合するようにする。これにより、ユーザは、いくつかのカメラのそれぞれからの1クリップ内の特定フレームを特定し、このフレームを、他のそのようなフレームと整合させるためにマークすることができる。これは、特に、ユーザが、複数の異なるアングルからシーンを撮影し、特定のフレームを、異なるアングルで全く同じ時間を表すものとして特定できるときに有効なことがある。
図16に戻ると、カレントアングルを同期させた後で、プロセス1600は、同期させる別のアングルが残っているかどうかを判定する(1635で)。アングルのすべてが同期されたとき、プロセスは終了する。他の状況で、プロセスは、1615に戻り、次のアングルを選択し、このアングルを他の以前に同期されたアングルと同期させる。
プロセス1600は、タイミングメタデータ(又は、タイミングメタデータが適切な情報を提供しない場合には他の基準)を使用してアングルを同期させるためのいくつかの実施形態のプロセスの1つの概念的な例である。他の実施形態は、プロセス1600と多少異なることがある同期プロセスの様々な変形を使用する。例えば、いくつかの実施形態は、最初に、タイムコード情報を使用してアングルのすべてを一度に同期させようとする。プロセスは、異なるアングルのタイムコードのすべてが、ある程度互いに重複するかどうか(即ち、各アングルを連続ブロックとして処理する、タイムコード全体にギャップがあるかどうか)、又はタイムコードのすべてが、アプリケーションによって使用される基準(この基準は、いくつかの実施形態において、デフォルト設定でもよくユーザが決定した設定でもよい)により、特定の時間範囲(例えば、日)内に適合するかどうかを判定する。タイムコードデータが、必要な基準に適合するとき、アプリケーションは、それらのタイムコードを使用してデータのすべてを整合させる。いくつかの実施形態において、アウトライアーアングルが1つ又は2つしかないとき、アプリケーションは、それらのタイムコードを使用して他のアングルを同期させ、次にアウトライアーアングルを、最も早いアングルの最初のクリップの始まりと整合させる。
その代り、アングルのうちの少なくとも1つのアングルのタイムコードが、同期の基準を満たさないとき、いくつかの実施形態は、アングルのすべての時刻情報の使用を試みる。次に、アプリケーションは、アングルの時刻情報に類似の基準を適用する(アングルのすべてが重複するかどうか、又はアングルのすべてがしきい値継続時間の範囲内にあるかどうかを判定する)。アングルのすべてを時刻情報と整合させることができる場合、メディア編集アプリケーションは、この時刻情報を使用してアングルを同期させる。時刻情報をアングルのすべてに使用できるとは限らない場合は、異なる実施形態は、異なるオプションを適用することがある。
例えば、いくつかの実施形態は、最大数のアングルがそれらのアングルを同期するための有効基準を超えるメタデータを使用し、次に時刻情報を使用して他のアングルを同期アングルのいずれかに同期させようとする。有効なタイミングメタデータのないアングルは、マルチアングルクリップの最初で始まる。節IVで述べるように、いくつかの実施形態は、アプリケーションがマルチカメラクリップを自動作成した後でユーザがアングルを手動で整合しなおすことを可能にする。
D.同期微調整
個々のクリップのタイミングメタデータに基づいてマルチカメラメディアクリップのアングルを同期させることに加えて、いくつかの実施形態は、異なるアングル内のクリップ間のオーディオ比較を使用してこの整合を微調整する。いくつかの実施形態において、メディア編集アプリケーションは、時間が重複する異なるアングルからのクリップを比較して、同じ(又は類似の)オーディオ又はオーディオの同じ(又は類似の)セクションを有するクリップを特定する。次に、アプリケーションは、2つのクリップのオーディオ間のオフセットを決定し、クリップの一方を再整合してオフセットを補償することができる。オーディオを解析してクリップを同期させるいくつかの実施形態のプロセスは、2011年2月2日に出願され「Automatic Synchronization of Media Clips」と題する米国特許出願第13/019,986号に詳細に記載されており、この出願は、参照により本明細書に組み込まれる。処理集約的な手順のことがあるクリップ全体の比較ではなく、いくつかの実施形態は、初期同期が特定のしきい値(例えば、5秒、1分、2分など)範囲内で正確になることを想定し、マルチカメラメディアクリップのタイムラインにおいてそのしきい値の範囲内にあるクリップのオーディオを他のクリップのオーディオに比較するだけである。
図18は、マルチカメラメディアクリップ内の1組のアングル全体のメディアクリップを同期させるいくつかの実施形態のプロセス1800を概念的に示す。プロセス1800は、4つの段階1910〜1940にわたるアングル1350〜1360の微調整オーディオ同期を示す図19を参照して説明される。
プロセス1800は、最初に、マルチカメラメディアクリップの1組の同期アングルを受け取る(1805で)。いくつかの実施形態において、アングル(メディアクリップのグループ)は、プロセス1600又は類似の整合プロセスを使用し、それらのメディアクリップのタイミングメタデータに基づいて既に同期されている。前述のように、いくつかの実施形態は、これらのアングルを、マルチカメラクリップ構造内にコレクションクリップ構造として記憶し、マルチカメラクリップ構造自体は、コレクションクリップ構造である。クリップはすべて、オーディオを伴うビデオクリップ(例えば、節IIで述べたように、オーディオコンポーネントがアンカーされたビデオコンポーネントを有するクリップ)のこともあり、ビデオコンポーネントのないいくつかのオーディオクリップ、オーディオコンポーネントのないビデオクリップ、及び静止画クリップ(一般にオーディオコンポーネントがない)を含むこともある。図19に示された例では、最初の2つのアングル1350及び1355だけが、オーディオデータを有するクリップを含み、したがって、これらのクリップだけが、オーディオ同期によって調整される。
プロセスは、マルチカメラメディアクリップのタイムライン全体の最初の非ロッククリップを選択する(1810で)。いくつかの実施形態において、プロセスは、タイムラインの最初で始まるクリップを選択し、タイムラインの終わりの方に移動し、そのクリップを所定の位置で1つずつロックする。この状況で、クリップがロックされるとは、プロセス1800が、クリップを評価し終わり、マルチアングルメディアクリップのタイムライン全体に沿ってクリップを移動させなくなることを意味する。クリップがロックされた後で、他のクリップをタイムラインに沿ってシフトさせてそのオーディオをロッククリップのオーディオと整合させてもよい。
プロセスは、選択されたクリップが、異なるアングル(即ち、選択されたクリップが属するアングル以外のアングル)のロッククリップに重複するかどうかを判定する(1815で)。即ち、アプリケーションは、マルチカメラメディアクリップのタイムライン全体で現在選択されているクリップの期間が、ロックされたようにフラグが立てられたクリップの期間に重複するかどうかを特定する。いくつかの実施形態において、処理を節約するために、メディア編集アプリケーションは、各クリップのオーディオを異なるアングル内の他のクリップのすべてのオーディオに比較するのではなく、重複するクリップのオーディオだけを比較する。選択されたクリップが、どのロッククリップとも重複しないとき、プロセスは、選択されたクリップをロックする(1840で)。最初のクリップが選択されたときにロッククリップがないので、アプリケーションは、この最初のクリップを所定の位置で自動的にロックする。
図19の第1段1910は、最初に最初のクリップ1305がロックされたことを示す。この図では、ロッククリップが実線で示され、まだロックされていないクリップが点線で示される。したがって、第1の段階1910では、他の4つのビデオクリップ(オーディオを伴う)が点線で示される。アングル1360のクリップは、オーディオを伴わない静止画を表すので、オーディオ同期の候補ではないためロックされたように示される。
選択されたクリップが、異なるアングル内の少なくとも1つのロッククリップと重複するとき、プロセスは、選択されたクリップ及び重複するロッククリップのすべてのオーディオを解析する(1820で)。いくつかの例では、このクリップは、多数のクリップになり(多数のアングルがあるとき)、それらのクリップのいくつかは、このプロセスの以前の繰り返しによって互いに既に整合されている。図19を再び参照すると、選択された次のクリップは、ロッククリップ1305と重複するクリップ1310である。図示されたように、これらのクリップは両方ともオーディオコンポーネントを含み、互いに比較され得る。
いくつかの実施形態のメディア編集アプリケーションは、2つのクリップのオーディオを比較するために、以前の参照によって組み込まれた米国特許出願第13/019,986号に詳しく記載されたプロセスを使用する。要するに、いくつかの実施形態のアルゴリズムは、相互相関又は位相相関を用いて2つのオーディオクリップを比較して、2つのクリップの全ての時間オフセットの一致の可能性を示す相関関数を作成する。したがって、この相関関数のピーク値は、2つのオーディオ信号のうちで最も可能性の高い整合を示す。
各対のオーディオクリップの全継続時間に関して、そのような相関関数の計算に必要な広範囲の処理リソースを使用するのではなく、いくつかの実施形態は、最大オフセット(例えば、2分)までの関数を生成する。タイミングデータを用いて初期同期を実行することによって、メディア編集アプリケーションは、オーディオが同期される可能性を高め、整合の誤差は、異なる装置間でクロック又はタイムコードが完全に整合されないことによるものである(装置設定での人為ミス、クロックドリフトなどによる)。
2つの重複するクリップのオーディオを比較する他に、いくつかの実施形態は、2つのクリップの以前に生成された波形データも比較する。いくつかの実施形態において、メディア編集アプリケーションは、オーディオ情報を含む各クリップのオーディオ波形データを自動的に生成する。アプリケーションは、この生成されたデータを用いてクリップのオーディオ波形を表示する(例えば、クリップブラウザ又は複合表示領域に)。この波形データが利用可能なとき、アプリケーションは、2つのクリップの波形の類似性を比較する。多くの場合、この比較は、オーディオデータの比較よりも素早く行なうことができる。したがって、いくつかの実施形態は、オーディオ波形データとオーディオデータの組み合わせを用いて様々な時間オフセットの相関を決定する。例えば、いくつかの実施形態は、最初に、オーディオ波形情報を用いて2つのクリップのピーク相関オフセットを近似し、次に更にオフセットをオーディオデータで微調整する。
例として、いくつかの実施形態は、500(又は、100、1000など)のオーディオサンプルごとに波形データポイントを生成する。したがって、波形データからのオフセットは、500サンプル以内の精度として処理することができる(オーディオサンプルレートが48kHzの場合、これは1/96秒、即ち24fpsビデオでは1/4フレームである)。次に、アプリケーションは、特定されたオフセット前後の小さい範囲のオーディオオフセット(例えば、5秒、10秒など)を使用して、2つのクリップのピークオフセットをより正確に特定する。
選択されたクリップのオーディオ(及び/又は、波形データ)を重複するロッククリップそれぞれに比較した後で、プロセスは、最良一致ロッククリップと選択されたクリップのオフセットを計算する(1825で)。前述したように、いくつかの実施形態において、比較にそれぞれより、(i)最良相関を作成する2つのクリップのオフセット、及び(ii)このピーク相関が一致を示す可能性を示すピークオフセット相関値が生成される。いくつかの実施形態は、最高一致可能性(例えば、20%、75%、90%など)を生成する、選択されたクリップと重複クリップのいずれかとの間のオフセットを特定する。
次に、プロセスは、この最高一致クリップが、同期に使用されるのに十分に高い相関可能性を有するかどうかを判定する(1830で)。いくつかの実施形態は、最小しきい値相関値を使用して、オーディオが一致を示す可能性が低いときにメディア編集アプリケーションが初期同期のクリップをシフトするのを防ぐ。例えば、いくつかの実施形態は、オーディオをシフトさせるために少なくとも50%の相関可能性、更には70%の可能性を必要とするが、他の実施形態は、そのように高い相関可能性を必要としない。
前述したように、いくつかの実施形態は、最大オフセットまでの相関値を生成する。いくつかの実施形態は、最初に、第1の最大オフセット(例えば、10秒)を使用し、ピークオフセットが十分に高い相関を有するかどうかを判定する。このオフセットにおける相関が、しきい値を超えないとき、プロセスは、範囲を拡張し、第2のより大きい最大オフセット(例えば、2分)まで相関値を計算する。ピーク相関値が、しきい値可能性をまだ超えない場合、プロセスは、範囲を2つのクリップの全体まで拡張する。この時点で、ピークオフセットに十分に高い相関がない場合、プロセスは、一致がないと仮定する。
ピークオフセットに十分に高い相関がないか判定に加えて、いくつかの実施形態は、複数のピーク(例えば、サンプリング範囲内の10〜20個のピーク)を特定する。次に、アプリケーションは、最高ピークを他のピークに比較して、見つかった最大相関が、他のピークより高い第2のしきい値を超えることを保証する。即ち、アプリケーションは、ピークオフセットが、範囲内の他のオフセットよりもかなり有望な整合であるかどうかを判定する。違いが十分に大きくない(即ち、第2のしきい値を超えない)場合、プロセスはオフセットを一致であると見なさない。
最高一致クリップでもしきい値相関値を超えないとき、プロセスはクリップを再整合せずに、現在選択しているクリップをロックする(1840で)。しかしながら、最良一致クリップが、十分に高い相関可能性を有するとき、プロセスは、現在選択されているクリップのアングル内の全ての非ロッククリップをピークオフセット時間までシフトさせる(1835で)。したがって、アングル内の以前にロックされたクリップ(他のロッククリップに既に同期されていることもある)はどれもシフトされないが、いくつかの実施形態のアプリケーションは、他の非ロッククリップを、同じオフセットだけシフトすべきであるという仮定を実施する(例えば、そのアングル内のクリップをキャプチャした装置のクロックが、一貫した継続時間だけ停止された場合)。
非ロッククリップをシフトさせるために、いくつかの実施形態は、選択されたクリップに先行するギャップクリップの継続時間を調整する(選択されたクリップをタイムラインの前方に移動させるためにギャップクリップの継続時間を短縮し、選択されたクリップを継続時間内で後方に移動させるために継続時間を延長させる)。いくつかの実施形態は、選択されたクリップを移動させてその選択されたクリップがアングル内の前方のクリップと重複するようにするオフセットを有する選択されたクリップに有望な一致が見つかった特定の場合、ロッククリップをシフトしてもよい。クリップを重複位置に移動させる選択されたクリップの相関値が、ロッククリップの最高相関値より大きいとき、いくつかの実施形態は、ロッククリップを「解除」し、必要に応じてそのクリップを前方に移動させ、選択されたクリップの整合を可能にする(例えば、選択されたクリップとロッククリップとの間のギャップを除去し、次にロッククリップの前のギャップを短縮することにより)。
いくつかの例では、メディア編集アプリケーションは、ビデオが、単一フレームの継続時間(例えば、1/24秒又は1/30秒)と等しい個別の量でシフトされることを必要とする。しかしながら、オーディオ記録は、典型的には、はるかに小さい増分でサンプリングされる(例えば、1/48,000秒)。いくつかの実施形態において、アプリケーションは、オフセットをオーディオサンプル境界のレベルで決定し、次にビデオを最も近いフレーム境界にシフトさせる。オーディオに関して、いくつかの実施形態は、シフトされたオーディオを、ビデオフレームの増分より少ない量だけわずかにオフセットさせ、それにより、シフトされたクリップのオーディオが、一致するオーディオとより近くで整合する。
図19の第1の段階1910は、現在選択されているクリップ1310のオーディオが、ロッククリップ1305のオーディオからわずかにオフセットされていることを示す。矢印で示されているように、メディア編集アプリケーションは、クリップ1310とクリップ1320との両方をマルチカメラメディアクリップのタイムライン内で前方に移動させ、その結果が、段階1920に示される。このシフトを行うために、アプリケーションは、アングル1355内のクリップ1310に先行するギャップクリップの継続時間を変更する。
クリップをシフトさせた後、プロセス1800は、選択されたクリップをロックする(1840で)。いくつかの実施形態において、以上のように、これは、オーディオ同期を実行している間に、クリップが、ロックされてそれ以上移動されないフラグを(例えば、揮発性メモリ内に)設定することを含む。次に、プロセスは、評価すべき非ロッククリップが他に残っているかどうかを判定する(1845で)。クリップが他に残っているとき、プロセスは、1810に戻って、マルチカメラメディアクリップ内の次の非ロッククリップを選択する。クリップのすべてが整合された後、プロセス1800は終了する。
図19の第2の段階1920は、メディア編集アプリケーションが、また、クリップ1325を移動させずにロックしたことを示す。このクリップは、クリップ1310を整合した後で選択された次のクリップであるが、他のアングル内のどのロッククリップとも重複しない。したがって、アプリケーションは、このクリップをロックし、次のクリップ1320の評価に進む。第2の段階1920は、クリップ1320のオーディオが、クリップ1325のオーディオからわずかにオフセットされていることを示す。したがって、アプリケーションは、クリップ1320をタイムライン内の少し後方にシフトする(いくつかの実施形態において、クリップ1310とクリップ1320との間のギャップクリップの継続時間を増やすことによって)。
第3の段階1930は、アプリケーションが、クリップ1320をマルチカメラクリップタイムライン内の少し後方に移動させ、クリップ1320をロックしたことを示す。更に、図は、第1のアングル1350内のクリップ1315のオーディオが、今ロックされたクリップ1320のオーディオからわずかにオフセットされたことを示す。したがって、アプリケーションは、クリップ1315をマルチカメラメディアクリップのタイムライン内の前方に移動させる(クリップ1325とクリップ1315との間のギャップクリップの継続時間を減らすことによって)。
第4の段階1910は、オーディオ同期プロセス後のマルチカメラメディアクリップの3つのアングルのタイムラインを示す。当業者は、多くの場合、マルチカメラメディアクリップが、オーディオクリップを有する3つ以上のトラックと、1トラック当たりの3つ以上のクリップとを有することを理解するであろう。そのようなクリップでは、同期は、個々のクリップがそれぞれマルチカメラクリップタイムライン全体内で整合されるので、マルチカメラクリップ全体に広がる(例えば、クリップ1325、1320及び1315に対して段階1920〜1940に示されたように)。
E.マルチカメラ参照クリップのデータ構造
以上の小節は、メディア編集アプリケーションによって作成されたマルチカメラメディアクリップデータ構造を参照した。いくつかの実施形態に関して、図20は、メディア編集アプリケーションのイベント内に作成されたマルチカメラメディアクリップに含まれるデータ構造のサブセットを概念的に示す。前述したように、いくつかの実施形態において、アプリケーションは、参照マルチカメラクリップをアプリケーションのイベントデータ構造に記憶し、次に1つ以上のメディアプロジェクト内に、参照クリップを参照し参照クリップからプロパティを継承するインスタンスクリップを定義する。図20に示された参照マルチカメラメディアクリップ2000は、そのような参照クリップの例である。いくつかの実施形態において、参照クリップは、マルチカメラメディアクリップだけに使用される。しかしながら、他の実施形態は、任意の複合クリップ又はあらゆるタイプのクリップのための参照クリップ(及び対応して参照クリップを参照するクリップインスタンス)を有効にする。したがって、当業者は、本明細書でマルチカメラメディアクリップに関して述べた参照クリップのプロパティが、他のタイプのクリップにも適用できることを理解するであろう。
図示されたように、マルチカメラメディアクリップを定義するクリップオブジェクトのネストシーケンスは、図6に示されたオブジェクトに構造が類似している。図は、シーケンス2005、アングルインスタンス2012、参照コレクション2000(マルチカメラメディアクリップ)、参照コレクション2000によって含まれるギャップクリップ2007、マルチカメラメディアクリップのアングルコレクション2010のうちの1つ、及びアングルコレクション2010のクリップ2015のうちの1つを示す。いくつかの実施形態において、この図に示されたクリップオブジェクトはそれぞれ、同じクラスのメンバであるが、オブジェクトは、様々なサブクラスのものでよい。図20に示されたデータ構造セットは、図10を参照して述べたマルチカメラクリップ作成プロセスの出力でよい。
節IIに示されたように、いくつかの実施形態は、イベント内のメディアファイルごとにイベントオブジェクト内のシーケンスを作成する。これは、イベントにインポートされるクリップだけでなく、イベント内に作成された合成クリップ又はマルチカメラクリップも含む。シーケンス2005は、イベントクリップのそのようなシーケンスの例である。シーケンス2005は、図6のシーケンス605と同様に、シーケンスID、1組のシーケンス属性、及びアングルインスタンスオブジェクト2012を記憶する。シーケンス属性は、いくつかの実施形態において、解像度、フレームレート、並びにシーケンスの他のビデオ及びオーディオプロパティを含む。図11に示されたように、いくつかの実施形態は、ユーザに、これらのシーケンス属性をマルチカメラクリップ用にカスタマイズするか、又はそのようなシーケンス属性を、マルチカメラメディアクリップを生成するために使用されるメディアクリップから継承するオプションを提供する。
アングルインスタンス2012は、参照コレクション2000を含む(又は、ラップする)オブジェクトである。更に、アングルインスタンス2012は、マルチカメラクリップがタイムライン内のシーケンスに追加されるときに使用されるアクティブビデオアングル及びアクティブオーディオアングルを示す。これらのアクティブアングルは、いくつかの実施形態において、メディア編集アプリケーションのユーザによって選択されてもよい(例えば、アングルビューワ又はインスペクタにより)。タイムラインシーケンスで使用されるようなアングルインスタンスデータ構造については、後で更に詳しく述べる。
以上のような参照コレクション2000は、マルチカメラクリップオブジェクトと見なすことができる。当業者は、これが、そのようなクリップオブジェクトを実現する多くの可能な方法のうちの1つに過ぎないことを理解するであろう。参照コレクションオブジェクト2000は、図6のコレクションオブジェクト610又は図8の810と類似のコレクションオブジェクト(複合クリップオブジェクト)であり、同様にコレクションIDを含む。コレクションがマルチカメラクリップであることを示すために、オブジェクトは、マルチカメラフラグを含む。これは、クリップの上にマルチカメラインジケータを表示し、並びにメディア編集アプリケーションと関連付けられた機能を提供するマルチカメラクリップを示す(後の節で述べる)。参照コレクション2000は、そのアレイで、コンテンツのない単一ギャップクリップ2007を含む。
ギャップクリップ2007は、コレクションID、コンテンツのないギャップコンポーネント、並びに全範囲及びトリム範囲を含む。いくつかの実施形態において、ギャップクリップは、コレクションではなくコンポーネント又はジェネレータである。ギャップクリップが実現される方法に関係なく、ギャップクリップは、実際のメディアを参照しないが、代わりに黒一色の出力を作成する。いくつかの実施形態において、ギャップクリップ2007の継続時間は、クリップ内の最長アングルの長さによって異なる。
いくつかの実施形態において、アングルは、接続されたストーリーラインとして記憶され、ストーリーラインは、参照コレクション内のギャップクリップにアンカーされたコレクションである。いくつかの実施形態において、接続されたストーリーラインは、ギャップクリップの最初にアンカーされる(即ち、オフセット0,0を有する)。図示されたように、ギャップクリップ2007は、3つのアンカー項目(アングル1、2及び3)を含む。
これらのアンカー項目は、それら自体がそれぞれ、マルチカメラメディアクリップのアングルのうちの1つに関する情報を記憶するコレクションである。この場合、マルチカメラクリップは、3つのアングルを含む。これらのアングルのうちの2つ目は、コレクションクリップ2010によって表され、他の2つは、類似の構造を有する(それぞれのアレイ内に異なるクリップを有する)。図示されたように、コレクションクリップ2010は、アングルID、ギャップクリップによって分離された2つのコンテンツクリップの順序付けられたアレイ、全範囲及びトリム範囲、オフセット0,0(各アングルがギャップクリップ2007の最初にアンカーされたとき)を有する親ギャップクリップ(ギャップクリップ1)へのアンカー情報、及びマルチカメラメディアクリップ内のアンカー項目の順序を示すレーン番号(この場合は2)を含む。しかしながら、いくつかの実施形態は、非ゼロのアンカーオフセットを使用して、アングルの最初にギャップクリップを挿入するのではなくマルチカメラクリップ内のアングルを同期させる。
アングルIDは、アングルを特定する固有IDである。いくつかの実施形態において、アングルコレクション2010は、ユーザが変更することができるアングル名も記憶する。ユーザが、アングル名を変更したときでも、アングルIDは一定のままであり、したがって、メディア編集アプリケーションは、アングルを参照するクリップインスタンスを更新しなくてもよい。
アレイは、時間順に配列されたアングルのクリップのすべてを含む。この場合、アングルには2つのクリップしかない(クリップ2A及びクリップ2B)。クリップが、マルチカメラクリップタイムライン内で完全に分離されない限り(例えば、タイミングメタデータが、アングル内のクリップをスペース配置するのに役立たないので)、アプリケーションは、マルチカメラタイムライン内のクリップを離間するためにクリップ間にギャップクリップを挿入する。更に、第1のクリップが、マルチカメラクリップタイムラインの開始後のどこかで始まるとき、いくつかの実施形態は、アレイ内の最初のクリップとしてギャップクリップを挿入する。アングル2010の場合、クリップ2Aは、タイムライン全体の時間ゼロで始まり、したがって、このクリップは、アレイ内の最初のクリップである(即ち、アレイを開始するギャップクリップがない)。
図示されたように、クリップ2015(クリップ2A)は、クリップ610と類似のコレクションクリップであり、そのアレイ内の単一のメディアコンポーネント(例えば、ビデオコンポーネント)、及び第1のコンポーネント(単純にするために示されていない)にアンカーされた第2のコンポーネント(例えば、オーディオコンポーネント)を有する。節IIで詳細に述べたクリップ610と同じように、これらのコンポーネント自体は、メディアアセットデータ構造を参照するクリップ構造である。いくつかの実施形態において、アングルコレクションのアレイ内のクリップは、追加のコレクションを含む複合クリップでもよい。他の実施形態は、マルチカメラクリップ内にコンポーネント(クリップ2015など)を含む単純なコレクションクリップを可能にする。
IV.マルチカメラ参照クリップの編集
以上の節は、(メディア編集アプリケーションのデフォルト設定、又はユーザからのプリファレンス入力を使用する)いくつかのメディアクリップからのマルチカメラメディアクリップの自動作成について述べた。メディア編集アプリケーションが、マルチカメラクリップを作成した後、ユーザは、参照マルチカメラクリップを編集し、並びにマルチカメラクリップのインスタンスをメディアプロジェクトに追加してもよい(両方ともプロジェクトの主複合レーン並びに副アンカーレーンにある)。これらのインスタンスクリップはそれぞれ、アクティブオーディオアングル及びアクティブビデオアングルを有し、これらのアングルが、メディアプロジェクトの実際部分であるマルチカメラメディアクリップのコンテンツを決定する。ユーザは、アクティブアングルを様々な異なる方法で切り換えるか、又はクリップインスタンスを特定のフレーム境界で2つのクリップインスタンスに切断して、あるアングルから次のアングルへのシームレスなスイッチングを可能にする。
以上のように、いくつかの実施形態において、ユーザは、イベントに記憶されたマルチカメラ参照クリップを手動で編集することができる。いくつかの実施形態において、メディア編集アプリケーションは、例えば、アングル内のクリップを手作業で調整し(例えば、クリップを整合させる)、参照クリップ内のクリップにエフェクトを加え、アングルをリネームし、追加し、削除し、マルチカメラクリップ内のアングルを最順序付けなどをするための表示領域を提供する。このマルチカメラクリップ編集表示領域は、いくつかの実施形態において、マルチカメラクリップのための複合表示領域の特定バージョンであり、この複合表示領域は、異なるアングルがアンカーされたギャップクリップを表示せず、またアングルをそれぞれ別個のトラックとして表示する。
図21は、2つの段階2110及び2120にわたって、そのような表示領域をいくつかの実施形態のグラフィカルユーザインタフェース(「GUI」)2100で開いたところを示す。第1の段階2110は、マルチカメラクリップ2115を含むクリップブラウザ2105を、同じイベント内の様々な他のクリップと共に示す。いくつかの実施形態は、サムネイルの上に、クリップがマルチカメラクリップであることをユーザに示すインジケータを表示する(この場合は、4つの正方形)。この段階で、ユーザは、マルチカメラクリップ2115を選択し、クリップのドロップダウンメニューを活性化した(例えば、右クリック、2本指タップ、又は他のユーザ入力によって)。図示されたように、ユーザは、クリップのオプション「アングルエディタで開く」を選択するプロセスにある。
第2の段階2120は、得られたGUI 2100を示す。GUI 2100の表示領域の多くは、図3を参照して節Iで述べており、そのような表示領域は、クリップライブラリ、クリップブラウザ2105、プレビュー表示領域(現在、プレビュー画像を表示していない)、及びインスペクタ表示領域(現在、GUI内で項目が選択されていないので情報を表示していない)である。
更に、GUI 2100は、マルチカメラ編集表示領域2125を含む。編集表示領域2125は、編集用に開いている選択されたマルチカメラメディアクリップの位置及び名前を表示する(この場合、位置は「新しいイベント10−28−11」であり、名前は「新しいマルチカムクリップ」である)。この編集表示領域は、選択されたマルチカメラメディアクリップ内のアングルにそれぞれ別個のトラックを表示する。この場合、アングルは、少なくとも「Amir」、「Nathaniel」、「Viega」及び「Matt」を含み、その理由は、これらが、図にトラックが少なくとも部分的に示されたアングルだからである。メディア編集アプリケーションは、選択されたマルチカメラメディアクリップのそれぞれの異なるアングルを特定し、そのアングル用の編集表示領域にトラックを作成する。前節で述べたように、いくつかの実施形態は、節Iで述べたトラックレスシステムのデータモデルを使用するコレクションクリップとしてアングルを記憶するが、各アングルを、他のアングル内のクリップと別個の(と同期したが)一連のクリップを有するとして、扱うことができるので、マルチカメラクリップエディタ内のトラックとして表示するためにアングルを変換する。
以下の節は、アングルエディタとも呼ばれるマルチカメラ編集表示領域の様々な特徴ついて述べる。これらの特徴について述べる前に、アングルビューワとも呼ばれるマルチカメラプレビュー表示領域を紹介する。図22は、マルチカメラプレビュー表示領域が開かれ表示領域のオプションがアクセスされるGUI 2200を3つの段階2210〜2230にわたって示す。第1の段階で、GUI 2200は、プレビュー表示領域2205を含むGUI 2100と似ている。ユーザは、ドロップダウンメニュー2215を開き、メニューから「アングルビューワを表示」のオプションを選択している。
第2の段階2220は、GUI 2200におけるこの選択の結果を示す。メディア編集アプリケーションは、プレビュー表示領域2205のサイズを縮小し、以前に主プレビュー表示領域2205が占めていた領域の一部にアングルビューワ2225を表示する。いくつかの実施形態において、クリップライブラリ、クリップブラウザ、アングルビューワ及びプレビュー表示領域は、これらの領域の1つ又は他により多くの表示場所を提供するように、すべて非表示となり、変更された幅を有することができる。更に、当業者は、また、GUIの様々な構成(例えば、上又は下に異なる表示領域を有するか、又はGUI全体に異なる順序で表示領域を有する)も可能であることを理解するであろう。アングルビューワは、図1及び図2を参照した前述したような前述のように、アプリケーションが、マルチカメラメディアクリップの異なるアングルからビデオ画像を同時に出力する複数のアングルのプレビュー表示を提供する。
第3の段階2230は、ユーザがアングルビューワの設定メニューを開いたときのアングルビューワ2225の拡大図を示す。この段階で、アングルビューワは、アングルエディタ内の現在開かれているマルチアングルクリップの最初の4つのアングルからのビデオ画像を表示する。4つのプレビューウィンドウは、4つの異なるアングルそれぞれ内のクリップからの画像、並びにアングルに関する情報を表示する。マルチアングルクリップのタイムライン内で、これらの4つの画像は、同時に生じる(例えば、アングルエディタの再生ヘッドの位置)。異なるアングルのプレビューの現在の情報は、各プレビュー内に表示されたアングルの名前、並びに個々のクリップ内に現在示されている画像の時間を示す。いくつかの実施形態において、この時間は、個々のクリップが参照するソースビデオの最初で0から始まる。設定メニューは、アングルビューワ2225の様々なオプションを提供する。図示されたように、ユーザは、ビューワに示されたプレビュー表示の数を変更することができる(この場合、オプションは、2、4、9、又は16プレビュー表示である)。また、ユーザは、タイムコードを表示するかどうか、及びアングル名、クリップ名を示し、又はアングルを全く特定しないかどうかを判定する。当業者は、異なる実施形態において、情報の異なる組み合わせがアングルビューワに表示されることがあることを理解するであろう。アングルビューワを紹介したが、次にアングルエディタの様々な機能について説明する。
A.メディアクリップの整合
いくつかの実施形態において、ユーザは、マルチカメラクリップ編集表示領域内のメディアクリップを手動で整合させ、並びにオーディオ同期を使用して編集表示領域のメディアクリップを自動で整合させことができる。図23は、クリップ2305をトラックに沿って移動させることによって、第1のアングルトラック2315内のメディアクリップ2305を、第2のアングルトラック2325内のクリップと手動で整合させることを示す。この図は、この動きを、GUI 2300の3つの段階2310、2320及び2330にわたって示す。GUI 2300は、他のGUI項目の中でも特に、アングルエディタ2335(トラック2315及び2325、並びに追加のトラックを含む)、アングルビューワ2340、及びプレビュー表示領域2345を含む。
第1の段階2310で、ユーザは、メディアクリップ2305を選択したが、クリップをまだ移動し始めてない。アングルビューワ2340は、現在、アングルエディタ2335内に現在開いているマルチカメラメディアクリップの最初の4つのアングルの4つのプレビュー(「Nathaniel」(「Amir」、「Lam」、「Viega」))を表示する。再生ヘッド2350が、「Nathaniel」及び「Lam」アングルのギャップにあるとき、アングルビューワは、これらのアングルのブランク画像を示す。更に、プレビュー表示領域2345は、マルチカメラメディアクリップ内の再生ヘッド2350が上にある時間に対応する「Amir」アングルからの画像を表示する。アングルエディタ2335において、トラック2325(「Amir」アングルの)は、現在、選択アングル又はモニタリングアングルとして強調されており、したがって、プレビュー表示領域2345は、「Amir」アングルからの画像を表示している。ユーザは、モニタリングアングルを切り替えて(後述するように)、メディア編集アプリケーションがプレビュー表示領域内に表示するアングルを決定することができる。
ユーザが、第2の段階2320で、メディアクリップ2305をそのトラック2315に沿って右(マルチカメラクリップタイムラインにおける後方)に移動させるとき、メディア編集アプリケーションは、第2のプレビュー表示領域2355内アングルビューワ2340を自動的に切り替え、第2のプレビュー表示領域2355は、再生ヘッド2350の位置における選択されたクリップの画像を表示する。いくつかの実施形態において、ユーザがクリップからの画像を2つの異なるアングルで視覚的に並べるのを支援するために、メディア編集アプリケーションは(第1のプレビュー表示領域に)、タイムラインにおける再生ヘッド位置に対応するモニタリングアングルからの画像を維持する。ユーザが、選択したクリップをそれ自体のトラックに沿って再生ヘッドの上に移動させるとき、第2のプレビュー表示領域は、静的再生ヘッドの上にあるクリップ内の現在時間に対応する選択されたクリップから画像をスキミングする。したがって、ユーザは、モニタリングアングル内のクリップから特定画像を選択し、次に、選択されたクリップから特定画像と一致する(即ち、同時にキャプチャされた)画像を見つけ、再生ヘッドを使用して、これらの画像を整合させてクリップと整合させることができる。図示されたように、いくつかの実施形態は、選択されたクリップ(移動されるクリップ)の上に、クリップが前の位置からどれだけ移動したかを示すインジケータを表示し、この場合、クリップ2305は、段階2320で20秒と6フレームタイムライン内で後方に移動されている。
第3の段階2330は、ユーザがクリップ2305を移動し終わった後のGUI 2300を示す。メディア編集アプリケーションは、第2のプレビュー領域2355をアングルビューワ2340と置き換えており、現在は、モニタリングアングルからの画像をプレビュー表示領域2345に表示する。この例によって示されたように、いくつかの実施形態において、アプリケーションは、移動されたクリップのアングル内のクリップに影響しない。即ち、ユーザが、クリップ2305を移動させたとき、トラック2315内の他のクリップは、静止したままである。このように、アプリケーションは、(他のアングル内のクリップに既に整合された可能性がある)アングル内の他のクリップのアラインメントを除去しない。したがって、この動きは、選択されたクリップのスライド編集とみなすことができ、これにより、選択されたクリップのいずれの側のギャップクリップのインポイント及びアウトポイントが変更される。同様に、ユーザが、マルチカメラメディアクリップ内のクリップの長さを変更する(即ち、クリップをトリミングする)場合、アプリケーションは、これをリプル編集ではなくロール編集として処理し、メディアクリップの編集境界上のギャップクリップの長さを単純に変更する。ユーザが、アングル内のクリップのすべてを一緒に移動させたい場合、ユーザは、クリップのすべてを選択し、次にそのクリップをタイムラインに沿っていずれかMの方向に移動させることができる(アングルの最初にあるギャップクリップの長さを増減する)。いくつかの実施形態は、アングル内のクリップのすべてを容易に選択するためのユーザインタフェースツールを提供する。
いくつかの実施形態において、ユーザは、アングルエディタ内のモニタリングアングルを変更することができ、並びに異なるアングル用のオーディオを有効又は無効にすることができる。いくつかの実施形態は、単一のモニタリングアングルしか必要としないが、複数の異なるアングルがオーディオを有効にすることを可能にする。モニタリングアングルの変更及びオーディオの有効/無効を可能にするために、いくつかの実施形態は、アングルエディタ内のトラックごとにGUI項目を提供する。
図24は、いくつかの実施形態に係る、マルチカメラメディアクリップのモニタリングアングルをユーザが変更することを示す。この図は、2つの段階2410及び2420にわたるアングルエディタ2400を示す。第1の段階2410では、トラック「Amir」2405が、モニタリングアングルとして強調されている。トラックを異なる色/陰影で表示する他に、メディア編集アプリケーションは、トラック内の選択可能項目2415を強調する。この選択可能項目2415は、共に、トラック2405がモニタリングアングルであることを示し、異なるトラックが選択されたときに、ユーザがトラック2405をモニタリングアングルとして選択できるようにする。
第1の段階2410で、ユーザは、トラック2430の対応する選択可能項目2425の上にカーソルを置き、この項目をカーソルで選択する。第2の段階2420は、この選択の結果を示す。アングル「Viega」のトラック2430は、このとき、モニタリングアングルであり、アプリケーションは、トラックをそのように強調する。更に、選択可能項目2425は、このとき強調され、アプリケーションは、選択可能項目2415及びトラック2405から強調表示を除去した。モニタリングアングルを変更することにより、ユーザは、プレビュー表示領域にアングルのどの画像が表示されるかを決定する(例えば、図23に示されたようなクリップを整合させるため)。
図25は、ユーザがアングルエディタ2400を示す3つの段階2510〜2530にわたって、マルチカメラ参照クリップの異なるアングルのオーディオを有効にし無効にすることを示す。ユーザが、マルチカメラクリップを再生又はスキミングするとき、いくつかの実施形態は、クリップのオーディオを出力する。プレビュー表示領域には1つのアングルだけが表示されており(モニタリングアングル)、いくつかの実施形態のメディア編集アプリケーションは、複数の選択信号のオーディオを組み合わせて、組み合わせたオーディオを出力することができる。
モニタリングアングルの選択可能項目の場合と同じように(例えば、項目2415及び2425)、アングルエディタ2400内の各トラックは、オーディオ選択可能なGUI項目も同様に有する。ユーザは、これらのオーディオ項目によって、様々なトラックのオーディオのオーディオをオン又はオフすることができる。第1の段階2510で、モニタリングアングル「Viega」(トラック2430)並びにアングル「Amir」(トラック2405)は、それらのオーディオが有効にされている。これらのトラック用の選択可能項目2525及び2535は強調され、オーディオが有効にされていることを示す。この例では、アプリケーションは、マイクロフォンアイコンから来る音波を表示することによって、選択可能項目2525及び2535を強調する。更に、ユーザは、アングル「Nathaniel」(トラック2545)の選択可能項目2540の上にカーソルを置き、この項目をカーソルで選択する。
第2の段階2520は、この選択の結果を示し、トラック2545の選択可能項目2540が強調されており、アプリケーションがこのときこれらのアングルのオーディオを有効にしたことを示す。更に、ユーザは、選択可能項目2525、即ちモニタリングアングル用のオーディオ項目の上のカーソルを置き、この項目を選択している。第3の段階で、項目2525は、もう強調されていない。この図が示すように、いくつかの実施形態のアプリケーションは、ユーザが、モニタリングアングルのオーディオを無効にすることを可能にする。
図26は、アングルエディタで開かれたマルチカメラメディアクリップを再生するための、いくつかの実施形態のプロセス2600を概念的に示す。プロセスは、最初に、マルチカメラメディアクリップを再生するコマンドを受け取る(2605で)。いくつかの実施形態において、ユーザは、キーストローク(例えば、スペースバー)、メニューオプションの選択、ユーザインタフェース項目の選択などにより、再生を開始することができる。マルチカメラメディアクリップを再生するとき、再生ヘッドは、クリップのタイムライン内を一定速度で進み、それにより、ビデオが、リアルタイム速度で再生される。
プロセスは、プレビュー表示領域内に表示するビデオアングルを特定する(2610で)。マルチカメラメディアクリップを再生するとき、アプリケーションは、ビデオモニタリングアングルを選択する。プロセスは、また、有効にされた全てのオーディオアングルを特定する(2615で)。図25に示されたように、複数のアングルのオーディオが有効にされてもよく、これらは、モニタリングアングルを除外してもよい。
次に、プロセス2600は、特定されたビデオアングル(即ち、ビデオモニタリングアングル)からのクリップを使用して、プレビュー表示領域にビデオ画像を描画する(2620で)。節VIで後述されるように、これらの画像の描画は、記憶装置から画像を読み出し、(必要に応じて)画像を復号し、画像にエフェクトを適用し、画像を出力することを含む。特定されたビデオアングルの画像をプレビュー表示領域に表示することに加えて、いくつかの実施形態は、アングルビューワに複数のビデオ画像も表示する(アングルビューワがGUIに表示されている場合)。また、プロセスは、有効にされたオーディオアングルのすべての組成物としてオーディオを描画する(2625で)。これは、標準オーディオ処理技術を使用して、様々な有効にされたオーディオアングルからの複数のオーディオ信号を組み合わせることを含むことがある。次に、プロセス2600は終了する。
前述の図26は、アングルエディタ内のマルチカメラメディアクリップを再生するときに描画するアングルの選択について述べる。いくつかの実施形態において、ユーザは、モニタリングアングル以外の特定のアングルを再生することができる。この場合、いくつかの実施形態のメディア編集アプリケーションは、図23の段階2320に示されたものに類似の、副プレビュー表示領域のアングルビューワを切り替える。次に、アプリケーションは、選択アングルを副プレビュー表示領域に再生し、同時にモニタリングアングルを主プレビュー表示領域に再生する。他方、他のいくつかの実施形態は、選択アングルを主プレビュー表示内で再生し、同時にいくつかのアングルをアングルビューワ内で再生する(したがって、モニタリングアングルを、プレビュー表示領域の選択アングルと交換する)。
ユーザは、また、アングル又はマルチカメラクリップをスキミングするためにプレビュー表示領域/アングルビューワの組み合わせを使用することができる。スキミングするため、ユーザは、マルチカメラメディアクリップによってスキミング再生ヘッドを移動させる(例えば、指をタッチスクリーンに沿ってドラッグしたり、カーソルコントローラでクリップの上でカーソルを移動したりなどをしたり、などにより)。スキミング再生ヘッドは、いくつかの実施形態において、ユーザがクリップをスキミングしている間適所に留まる主編集再生ヘッドから離れている。
ユーザが、モニタリングアングルをスキミングするとき(カーソルをモニタリングアングルのクリップ内に進めることによって)、いくつかの実施形態において、スキミング再生ヘッドは、縮小し、モニタリングアングルのトラック内を進む。この場合、アングルビューワは、異なるアングルの複数の表示を表示し続け、同時に、プレビュー表示領域は、モニタリングアングルからの画像を表示する。ユーザが、タイムラインをスキミングするとき(カーソルをタイムラインルーラー内で移動させることによって)、スキミング再生ヘッドは、タイムラインの全体の上に表示され、同時にこの場合も、アングルビューワは、複数のアングルの同時プレビューを表示し続け、一方、プレビュー表示領域は、モニタリングアングルからの画像を表示する。
他方、ユーザが、モニタリングアングル以外のアングルをスキミングするとき、いくつかの実施形態のアプリケーションは、アングルビューワを、ユーザがスキミングしているアングルを表示する副プレビュー表示領域と交換する。このようにして、ユーザは、特定のアングルをスキミングして、主プレビュー表示領域に示されるモニタリングアングルのフレームと一致するフレームを特定することができる。図23に示された状況と同様に、編集再生ヘッドは、固定されたままであり、したがって、主プレビュー表示領域に表示されたモニタリングアングルからの画像を同様に表示する。
スキミングするとき、アプリケーションは、また、オーディオスキミングがオンにされるかどうかを判定する。いくつかの実施形態は、ユーザが、マルチカメラメディアクリップ、メディアプロジェクト、イベントクリップなどをスキミングするときに、ユーザが、オーディオを再生するかどうかを判定することを可能にするGUIツールを提供する。オーディオスキミングがオフのとき、プロセスは、オーディオを有効にされたと処理しない。オーディオスキミングがオンになっているか、又はアプリケーションが、図26に示されたようにマルチカメラメディアクリップを再生しているとき、プロセスは、マルチカメラメディアクリップの異なるアングルのどのアングルが、アクティブとして指定されたかを特定する。
ビデオモニタリングアングルを変更することと、オーディオアングルを有効にし、無効にすることを使用して、マルチカメラクリップ内のメディアクリップを手動で整合させることを支援することができる。更に、いくつかの実施形態は、アングルエディタ内のオーディオを使用する自動同期の機能を提供する。例えば、アプリケーションがマルチカメラクリップを生成するメディアクリップセットが、有用なタイミングメタデータを提供しない場合、それらのクリップは、自動オーディオ同期プロセス(例えば、節III.dで前述したプロセス)が、整合に使用するオーディオ一致を見つることができない順不同及び/又はほぼ不整合である可能性がある。そのような場合、ユーザは、アングルエディタでクリップを開き、クリップを手動で整合させてもよい。しかしながら、ユーザが2つのビデオアングル間の一致として正確に特定できる特定の画像がない場合、完全な整合を達成することは、オーディオ同期なしには困難なことがある。
図27は、2つの段階2710及び2720にわたって、アングルエディタ2700で選択されたクリップを異なるアングル内のクリップに自動的に同期させる機能の使用を示す。第1の段階2710で、ユーザは、メディアクリップ2705を選択し(メディアクリップのエッジのまわりの強調表示によって示されたような)、オプション「オーディオによりモニタアングルに同期」を含むクリップのドロップダウンメニューを活性化した。いくつかの実施形態において、ユーザは、モニタリングアングルを選択し、次にオーディオ同期を使用して、他のアングル内のクリップをモニタリングアングルに同期させることができる。第2の段階2720は、メディア編集アプリケーションが、クリップ2705のオーディオをクリップ2715のオーディオと整合させるために、選択されたクリップ2705をタイムライン内の後方に約5秒シフトさせたことを示す。図示されたように、このとき、オーディオのピークが、タイムラインに並ぶ。
いくつかの実施形態は、マルチカメラメディアクリップを最初に作成したときに使用されたものと類似のオーディオ同期技術を使用する。即ち、メディア編集アプリケーションは、選択されたクリップのオーディオをモニタリングアングル内のクリップ(又は、複数の他のクリップ)のオーディオに比較して、様々なオフセットにおける相関可能性を特定する。いくつかの実施形態において、アプリケーションは、選択されたクリップを、モニタリングアングル内の任意の重複クリップに比較する。いくつかの実施形態は、選択されたクリップのオーディオを、モニタリングアングル(例えば、2分のオフセット以内など)内の様々なオフセット、又はモニタリングアングルの全体に比較する。
ピークオフセットが、十分に高い相関値を有する場合、アプリケーションは、マルチカメラクリップタイムライン内の選択されたクリップをこのオフセット値だけ移動させる。いくつかの実施形態は、ユーザが、選択したクリップをタイムライン内でシフトさせるためのより明確な好みを有するという仮定に基づき、またユーザが、正確に整合されようとしているクリップを選択することが多く、オーディオ同期を微調整に使用するので、作成後の同期に低いしきい値を使用する。
クリップをモニタリングアングルに同期させるオプションを提供する他に、いくつかの実施形態は、アングルエディタ内に追加オプションを提供する。様々な実施形態において、ユーザは、マルチカメラメディアクリップの完全オーディオ同期を実行し、第1の選択されたクリップを第2の選択されたクリップに同期させ、選択されたクリップを他のアングル内の最も一致するクリップに同期させることなどを決定してもよい。いくつかの実施形態は、ユーザが、同期アルゴリズムの最大オフセット範囲を指定することを可能にする(即ち、メディアクリップがシフトされる大きさのしきい値を設定し、そのしきい値を使用して同期の処理時間を短縮することができる)。
更に、いくつかの実施形態は、ユーザが、第1のアングルの選択されたクリップ及び異なるアングル(モニタリングアングル又は別のアングル)内クリップから特定のビデオ画像を特定することを可能にする。アプリケーションは、2つの画像を整合させるために選択されたクリップをそのアングル内で移動させ、次にオーディオ技術を使用して同期を微調整する。図28は、GUI 2800の3つの段階2810〜2830にわたって、そのようなフレームマッチング技術の使用を示す。第1の段階2810に示されたように、GUI 2800は、主プレビュー表示領域2805及びアングルエディタ2815を含む。アングルエディタ2815内で、ユーザは、選択したクリップ2825内の特定時間(即ち、再生ヘッド2835の位置によって示された特定のフレーム)を選択した。ユーザは、オプション「フレームに同期」を含むメニューを起動した。
段階2820に示されたように、「フレームに同期」メニューオプションを選択すると、GUI 2800に副プレビュー表示2840が表示される。クリップ2825からの選択フレームが、主プレビュー表示2805内に固定されたままであり、一方、ユーザは、副プレビュー表示2840の他のアングル(選択されたクリップ2825を含まないアングル)内のクリップをスキミングすることができる。ユーザが、選択フレームと同時又はほぼ同時に記録された異なるクリップ内のフレームを見つけたとき、ユーザは、このフレームを同期するように選択する(例えば、クリップ表現内の位置をクリックするかタップすることによって)。図では、ユーザは、第2の段階2820でクリップ2845内の特定のフレームを選択する。
段階2830は、この選択の結果を示す。クリップ2825は、そのトラック内の約20秒前方に自動的に移動された。いくつかの実施形態において、アプリケーションは、最初に、選択フレームが正確に一致されるように選択されたクリップを移動させ、次に2つの一致フレームの前後の所定範囲(例えば、5秒、10秒など)内の2つのクリップのオーディオデータを解析して選択されたクリップをより正確に整合させる。
いくつかの実施形態は、図28に示されたプロセスの変形例を有する。例えば、ユーザは、最初に、クリップ及び「フレームに同期」オプション(又は、その変形)を選択し、次に、選択されたクリップをスキミングしてアラインメント用の第1のフレームを見つけることができる。選択されたクリップ内のフレームを選択した後で、ユーザは、次に、他のアングル内の他のクリップをスキミングして第2のフレームを特定することができる(例えば、段階2820に示されたように)。
B.マルチカメラクリッププロパティの変更
マルチカメラメディアクリップのタイムラインに沿ったクリップの調整の他に、いくつかの実施形態において、アプリケーションによって、ユーザが、アングルエディタを利用して、アングルの数、アングルの名前、アングルの順序他などのクリッププロパティを変更することができる。いくつかの実施形態は、ユーザがアングルエディタでプロパティを変更するとすぐに、それらのプロパティがアングルビューワ内に自動的に反映される。
図29は、ユーザが2つの段階2910及び2920にわたって、アングルをGUI 2900内のマルチカメラメディアクリップに追加することを示す。GUI 2900は、アングルエディタ2905とアングルビューワ2915との両方を含む。当業者は、いくつかの実施形態が、更に、プレビュー表示領域を含むことを理解するが、これは、単純化のために図示されない。第1の段階2910で、アングルエディタ2905内に開かれたマルチカメラメディアクリップは、5つのアングルを含む。アングルビューワ2915は、4つのアングルを一度に表示するように設定されているが、このとき左上隅に1つのアングルしかない。4つを超えるアングルがあるので、メディア編集アプリケーションは、アングルを(最大4つのアングルの)組に分割し、ユーザは、アングルビューワ2915の下にアングルバンク2925を選択することによって、これらの組を選択することができる。この場合、ユーザは、4つの表示を有するバンクではなく単一の表示を有するバンクを選択した。
更に、第1の段階で、ユーザは、マルチカメラクリップのドロップダウンメニュー2930を起動しており、メニューから「アングルを追加」オプションを選択するプロセスにある。いくつかの実施形態において、ユーザは、アングルそれぞれのヘッダ内に表示された選択可能項目によって、このドロップダウンメニューにアクセスすることができる。当業者は、ドロップダウンメニュー2930内のオプションのいくつか又はすべてが、キーストローク、オプション固有のUI項目、他のメニュー他などの他のユーザインタフェース構成を介してアクセスされることがあることを理解するであろう。
第2の段階2920は、このメニュー選択の結果を示す。この段階で、アプリケーションは、新しいアングルをマルチカメラメディアクリップに追加した(ドロップダウンメニューが起動されたアングルのすぐ後に)。いくつかの実施形態において、このことは、アンカーコレクションを、マルチカメラメディアクリップを表すマルチカメラ参照クリップコレクション(即ち、図20のコレクション2010のような別のコレクション)に追加することを含む。いくつかの実施形態において、アプリケーションは、新しいアンカーコレクションに、メニューがアクセスされたアングルのレーン番号を割り当て、それより大きい番号のついたアングルのすべてのレーン番号を増分する。その結果、GUI 2900は、(i)アングルの新しいトラック2935をアングルエディタ2905に表示し、(ii)アングルの新しい表示領域2940をアングルビューワ2915に表示し、(iii)選択された組のアングルの追加の正方形をバンク2925に表示する。新しいアングルには自動的に名前が与えられる(例えば、「無題のアングル」、「アングル6」など)。
アングルを追加した後で、ユーザは、クリップブラウザからのクリップをドラッグすることによって、クリップをアングルに手動で追加することができる。いくつかの実施形態において、ユーザは、イベントブラウザ内の1組のクリップを選択し、それらを新しいアングル用のトラックにドラッグすることができる。自動又はユーザ要求に応じて、メディア編集アプリケーションは、節IIIで述べたプロセス(又は、その変形)を使用して、新しく追加したクリップをマルチカメラクリップ内で順序付け整列させる。即ち、アプリケーションは、最初に、クリップのタイミングメタデータを使用してアングル内のクリップを配列し、次にタイミングメタデータとその後のオーディオ同期を使用して、シーケンスを他のアングルと整合させる。
図30は、ユーザが2つの段階3010及び3020にわたり、GUI 2900内のマルチカメラメディアクリップのアングルをリネームすることを示す。第1の段階3010に示されたように、ユーザは、アングルエディタ2905内でトラック2935の名前「無題のアングル」を選択し強調した。いくつかの実施形態において、アングルエディタ内の名前を選択すると(例えば、クリック、ダブルクリック、タップ、ダブルタップなどにより)、名前に変更可能なテキストボックスにさせる。この時点で、ユーザは、アングルの新しい名前を入力することができる。
第2の段階3020は、ユーザが、トラック2935によって表されたアングルを名前「Matt」でリネームした後のGUI 2900を示す。いくつかの実施形態において、メディア編集アプリケーションは、固有のアングルIDを一定に維持したまま、アングルのコレクションデータ構造のアングル名を変更する。したがって、アングルを参照するデータ構造は、更新されなくてもよいが、同じ固有のアングルIDを参照し続ける。アングル名が変更された場合、そのアングルIDを参照する項目は、アングル名に関する異なる情報を検索する。その結果、アングルビューワ2915内のプレビュー表示2940は、このとき「無題のアングル」ではなく「Matt」と読める。
図31は、ユーザが2つの段階3110及び3120にわたって、GUI 2900のマルチカメラメディアクリップからアングルを削除することを示す。第1の段階3110に示されたように、ユーザは、トラック2935(アングル「Matt」のトラック)のトラックヘッダによってドロップダウンメニュー3105(メニュー2930と類似)を起動した。このメニュー内で、ユーザは、「アングルを削除」オプションを選択するプロセスにある。
第2の段階3120は、このメニュー選択項目の結果を示す。この段階で、アプリケーションは、マルチカメラメディアクリップからアングル「Matt」を除去した。いくつかの実施形態において、これは、一致アングルIDを有するアンカーコレクションを、マルチカメラメディアクリップを表すマルチカメラ参照クリップコレクション(即ち、図20のコレクション2010などのコレクション)から除去することを含む。その結果、GUI 2900は、(i)アングルエディタ2905内により少数のトラックを表示し、(ii)アングル「Amir」の表示3115が第1組の4つの表示に移動されたときにアングルビューワ2915に別の組のプレビュー表示を表示し、(iii)バンク2925により少数の正方形を表示する。いくつかの実施形態において、ユーザが、アングルを削除するとき、アプリケーションは、そのアングルのアンカーコレクションをマルチカメラメディアクリップ構造から除去し、マルチカメラメディアクリップ内のより番号の大きいアングルのレーン番号を減分する。
図32は、ユーザが3つの段階3210〜3230にわたる、GUI 2900のマルチカメラメディアクリップのアングルを順序変更することを示す。第1の段階3210は、ユーザが、トラック3205を選択し、そのトラックを上方に移動させ始めたことを示す。いくつかの実施形態において、アングルエディタ2905内のトラックは、ユーザが順序変更するトラックを選択できるハンドルを有する。この場合、ハンドルは、トラックヘッダの右側にある。この時点では、アングル「Amir」の選択トラック3205は、アングル「Jim」のトラック3215の下にある。
第2の段階3220は、GUI 2900を示し、ユーザは、アングルエディタ2905内でトラック3205を上方に移動させ続ける。図示されたように、ユーザが、選択トラックをエディタ内の別のトラックより先に移動させた後で、いくつかの実施形態は、他のトラックを、選択トラックが前に占めていた場所に自動的にスライドさせる。この場合、トラック3215は、選択トラック3205の下にあるが、ユーザは、トラック3205をまだ解放していない。これを行なう際、いくつかの実施形態は、場所を交換した2つのアングルのレーン番号を変更することによって、マルチカメラメディアクリップデータ構造を自動的に更新してこの並び替えを反映させる。
順序変更の結果、アプリケーションは、アングルビューワ2915内のプレビュー表示の順序を変更する。段階3210で、アングルの「Jim」のビューワは、第3の表示(左下)であり、アングル「Amir」のビューワは、第4の表示(右下)である。第2の段階3220で、これらの2つのアングルのビューワの場所が切り換えられ、アングルエディタ内に変化が反映された。
第3の段階3230は、ユーザがアングルエディタ2905の第2のスロット内のトラック3205を解放した後のGUI 2900を示す。その結果、アングルビューワ2915内のアングル「Amir」のプレビュー表示は、第2(右上)の位置になり、アプリケーションは、マルチカメラメディアクリップデータ構造を再び更新して順序付けにこの変化を反映させる(例えば、アングルのレーン番号を変更することにより)。
C.アングルエディタでの追加編集
以上の小節は、マルチカメラメディアクリップの異なるアングルからのメディアクリップを整合させる編集操作、並びにマルチカメラメディアクリップのアングルデータを変更する操作について述べた。更に、いくつかの実施形態は、アングルエディタ内で他の編集操作を可能にする。例えば、ユーザは、アングルエディタ内でクリップに様々なエフェクトを適用することができる。図33は、アングルエディタ3310内でエフェクト表示領域3315からクリップ3305への白黒エフェクトの適用を示す。このエフェクトは、作用クリップの色値に機能を適用する。更に、ユーザは、クリップに、クリップの表示画像の形状又はサイズに作用する変換、クロップ、変形などのエフェクトを適用することができる。いくつかの実施形態において、これらのエフェクトは、プレビュー表示領域内のオンスクリーンコントロールにより、又はインスペクタ内のエフェクト変数を変更することにより適用される。
いくつかの実施形態は、ユーザが、単一クリップではなくアングル全体にエフェクトを適用することを可能にする。ユーザは、アングルのクリップ全てを選択し、次にエフェクト表示領域3315からエフェクトを選択することができ、アプリケーションは、このエフェクトをクリップのすべてに適用する。同様に、いくつかのそのような実施形態において、プレビュー表示領域のオンスクリーンコントロールによって変換(又は、クロップ若しくは変形)エフェクトを定義すると、選択アングルのクリップのすべてに変換が適用される。しかしながら、他の実施形態は、1度に1つのクリップだけにエフェクトを適用する。
V.マルチカメラクリップを含むメディアプロジェクトの編集
前の節は、アングルエディタにおけるマルチカメラ参照クリップの編集について述べた。マルチカメラクリップは、標準メディアクリップのように、メディアプロジェクトに追加することもできる。しかしながら、標準メディアクリップの場合と違って、いくつかの実施形態は、クリップインスタンスをメディアプロジェクトのデータ構造内に作成し、このデータ構造は、イベントに記憶された参照クリップを逆に参照する。クリップインスタンスはそれぞれ、クリップインスタンスの継続時間の間にメディアプロジェクト内のどのアングルのビデオ及びオーディオを使用しなければならないか示すアクティブビデオ及びオーディオアングルを含む。そのような実施形態において、マルチカメラクリップインスタンスのデータ構造は、図8に示されたタイムラインクリップのデータ構造と異なる。
メディアプロジェクトに追加された後、ユーザは、クリップインスタンスに様々な操作を実行することができる。ユーザは、クリップのアクティブなビデオ及び/又はオーディオアングルをスワップアウトし、クリップをインスタンスそれぞれの異なるアングルを有する2つのクリップインスタンスに分割し、クリップインスタンスの特定のアングルにエフェクトを適用し、並びに他の編集操作を適用することができる。
A.マルチカメラクリップインスタンスのメディアプロジェクトへの追加
図34は、GUI 3400の3つの段階3410〜3430にわたるメディアプロジェクトへのマルチカメラメディアクリップの追加を示す。GUI 3400は、他の表示領域の中でも、クリップブラウザ3405及び複合表示領域3415を含む。複合表示領域は、現在、1つのビデオクリップ3407を有するメディアプロジェクト(「新しいプロジェクト」)のタイムラインを表示しており、ビデオクリップ3407は、節IIで述べた種類の典型的なビデオクリップである(即ち、共に同じアセットを参照するビデオコンポーネント及びアンカーオーディオコンポーネントを含むコレクション)。クリップブラウザ3405内で、イベント「新しいイベント10−28−11」内に、マルチカメラ参照クリップ3425を含む様々なクリップがある。
第1の段階3410は、ユーザがマルチカメラ参照クリップ3425を選択したことを示す。第2の段階3420で、ユーザは、この選択したクリップ3425をドラッグし、このクリップを複合表示領域3415にドロップする。第3の段階3430は、この作業の結果を示し、このとき、マルチカメラクリップインスタンス3435は、複合表示領域3415内のメディアプロジェクトの一部である。クリップインスタンス3435のプレゼンテーションは、ビデオクリップ3407のものに類似のアピアランスを有するが、マルチカメラクリップインジケータ(クリップブラウザ内のマルチカメラ参照クリップ上に表示されたものと類似の4つの正方形)並びにクリップ名ではなくアングル名も含む。この場合、クリップインスタンス3435のアクティブビデオ及びオーディオアングルは、「Amir」であり、即ち、アプリケーションが、メディアプロジェクトを、例えば再生、描画、エクスポートなどするときに、「Amir」アングル内のクリップによって参照されたアセットからその部分の出力を入手する。
新しく追加されたクリップインスタンスのアクティブアングルを選択するために、異なる実施形態が異なる決定を行う。いくつかの実施形態は、イベント(例えば、アングルインスタンス2012)からアングルインスタンスデータをコピーし、この構造に設定されたアクティブなビデオ及びオーディオアングルを使用する。これらのアクティブなビデオ及びオーディオアングルは、いくつかの実施形態において、インスペクタ表示領域によってユーザによって変更されてもよい。
以上のように、複合表示領域3415内のクリップ3435は、マルチカメラ参照クリップ構造(例えば、図20に示された構造)を参照するクリップインスタンスである。図35は、マルチカメラクリップインスタンス3515を含むメディアプロジェクトを定義するデータ構造のサブセットを概念的に示す。図6に示されたプロジェクトと同様に、いくつかの実施形態において、図35のデータ構造がすべて、単一シーケンス3500を含むプロジェクトデータ構造内に含まれる。
シーケンス3500は、3つのクリップ3510〜3520を含むアレイを含む主コレクションデータ構造3505を含む。第1のクリップ3510及び第3のクリップ3520は、図8のクリップ805〜815と類似のコレクションクリップ、即ち、メディアアセットを参照するコンポーネントクリップを含む個別クリップ又は合成クリップである。
他方、アングルインスタンスクリップ3515は、ネストクリップを含まない。その代りに、インスタンス3515は、インスタンスID、クリップ参照、全体及びトリム範囲、アクティブオーディオ及びビデオアングル、エフェクトスタックディクショナリ、マーカ、及び速度エフェクトを含む。クリップ参照は、イベント内に記憶されたマルチカメラ参照クリップ(例えば、図20の参照クリップ2000)を参照する。いくつかの実施形態において、クリップ参照は、イベントIDとコレクションIDとの両方を含み、他の実施形態において、参照は、コレクションIDだけを含む。アングルインスタンス3515は、図20に示されたアングルインスタンス2012と同じタイプのデータ構造である。しかしながら、タイムラインシーケンスにおけるアングルインスタンス3515は、参照コレクション(例えば、参照コレクション2000)への参照(例えば、ポインタ)だけを記憶し、一方、イベントシーケンスにおけるアングルインスタンス2012は、参照コレクションを含む。いくつかの実施形態は、ユーザが、図34に示されたようにクリップインスタンスをタイムラインに追加したとき、アングルインスタンスデータ構造をイベントからタイムラインシーケンスにコピーし、参照コレクションを実際に含む新しいインスタンスを有するのと対照的に参照コレクションに参照を置き換える。
全範囲は、いくつかの実施形態において、インスタンスが参照するマルチカメラ参照クリップの全長であり、マルチカメラ参照クリップの現在状態に基づいて継承される。参照クリップの全長は、いくつかの実施形態において、ギャップクリップを含む参照クリップ内の最も長いアングルの継続時間である。参照クリップ内の主ギャップクリップ(他のクリップがアンカーされる元のギャップクリップ)は、いくつかの実施形態において、この継続時間を受け取り、したがって参照クリップの継続時間を決定する。ユーザが、マルチカメラクリップの長さを変更するとき(例えば、アングルエディタを使用して)、メディア編集アプリケーションは、インスタンス3515の全範囲を更新する。いくつかの実施形態において、アプリケーションは、この情報を、特定のクリップインスタンスがアクセスされたときに更新し、その理由は、クリップインスタンスの全範囲が、参照クリップの現在の状態により必要とされたときにアプリケーションがポピュレートする動的変数だからである。トリム範囲は、他のクリップのものと同様に、標準トリム操作によって複合表示領域内でユーザによって変更することができる。ユーザは、クリップインスタンスを2つのそのようなインスタンスに切断するとき、これにより、トリム範囲に変化が生じる。ユーザが、マルチカメラ参照クリップの長さを変更するとき、いくつかの実施形態は、インスタンスのトリム範囲を変更しないが、そのようなインスタンスの描画コンテンツは、編集の結果として変化することがある。
アクティブビデオアングル及びアクティブオーディオアングルは、アングルインスタンスによって記憶された変数である。いくつかの実施形態において、ユーザが、アングルインスタンスをタイムラインに追加したとき、これらの変数は、イベント内のアングルインスタンスによって記憶されたアクティブアングルに基づいて設定される。次の小節で詳しく述べられるように、ユーザは、様々な操作を使用してクリップインスタンスのオーディオ又はビデオアングルをスワップアウトすることができる。アプリケーションは、アクティブビデオアングルがアクティブオーディオアングルとは異なることを許容する。例えば、特定のクリップのビデオが適切でなく、それによりも、ユーザが、同時にキャプチャされた一連の静止画を使用するように選択した場合、クリップのオーディオは、静止画シーケンスの背景にも望ましいことがある。メディア編集アプリケーションが、複合プレゼンテーションを、再生し、スキミングし、エクスポート用に描画などするとき、アプリケーションは、アクティブアングルの参照クリップ内のコレクションを使用して、検索するべきソースメディアを特定する。
エフェクトスタックディクショナリは、1組のエフェクトスタック、即ち、各アングルに1つのオーディオエフェクトスタック及び1つのビデオエフェクトスタックを含む。プレゼンテーションを描画するとき、メディア編集アプリケーションは、アクティブビデオアングルを特定し、このアクティブアングルに対応するエフェクトスタックを使用する。節VIで述べたように、いくつかの実施形態は、最初に、参照クリップに含まれるエフェクトを適用し(参照クリップ内の特定のクリップのエフェクトスタックに一般に含まれる)、次にクリップインスタンスに記憶されたアクティブアングルのエフェクトスタックを適用する。いくつかの実施形態において、中間出力画像(参照クリップに記憶されたエフェクトを適用した後)は、複数のクリップインスタンスの描画に使用するためにキャッシュされてもよい。
マーカは、アングルインスタンスにアンカーされたように記憶されたクリップ構造であり、ユーザがアクティブアングルを切り換えたときに変化しない。ユーザは、複合表示領域内のクリップにマーカとキーワードとの両方を適用することができ、これらは、クリップが標準コレクションクリップかマルチカメラクリップインスタンスかに関わらず、クリップに同じように影響を及ぼす。速度エフェクトは、クリップ3515に適用されたリタイミングエフェクトである。これらのリタイミングエフェクトは、2011年5月17日に出願され「Retiming Media Presentations」と題する米国特許出願第13/109,989号に詳細に述べられており、この特許出願は、参照により本明細書に組み込まれる。いくつかの実施形態において、リタイミングエフェクトが、エフェクトスタックと共に記憶されず、特定のアングルに関連するように記憶されない。ユーザが、ビデオアングルを切り換えるとき、リタイミングエフェクトは、クリップインスタンスと共に留まる。リタイミングエフェクトは、ビデオクリップの長さを変更する(ビデオが再生する速度を増減する遅くすることによって)。したがって、クリップインスタンスに対するエフェクトを記憶することによって、メディア編集アプリケーションは、アクティブビデオアングルへの変更がクリップの長さを変更するのを防ぐ。
当業者は、いくつかの実施形態が、マルチカメラメディアクリップ以外のクリップに参照クリップを使用できることもあることを理解するであろう。例えば、ユーザは、イベント内の複合クリップを特定のエフェクトを適用して作成し、次に複合クリップの複数のインスタンスをメディアプロジェクトに追加し、様々なエフェクトを様々なインスタンスに適用する可能性がある。次に、ユーザが、複合クリップ参照内のクリップを変更した場合、これらの変更は、複合クリップの様々なインスタンスによって継承されることになる。
上の図34は、マルチカメラメディアクリップを複合表示領域に追加するユーザ、及び複合表示領域に表示されたメディアプロジェクト内にマルチカメラクリップの単一インスタンスを作成するメディア編集アプリケーションを示す。いくつかの実施形態において、ユーザが、クリップをタイムラインに追加したとき、アプリケーションは、マルチカメラクリップを、様々なアクティブアングルを有するいくつかのインスタンスに自動的に分割する。いくつかの実施形態において、ユーザは、マルチカメラ参照クリップ内のクリップ又はクリップの一部分をお気に入りとしてマークすることができ、メディア編集アプリケーションは、この情報を使用して、異なるアングルを有するクリップインスタンスを生成する。
図36は、2つの段階3610及び3620にわたって、マルチカメラクリップ3605をメディアプロジェクトに追加するユーザの例を示す。第1の段階3610は、ユーザがマルチカメラクリップ3605を複合メディアプロジェクトに追加することを示し、第2の段階3620は、複合メディアプロジェクト用の合成タイムラインを示す。第1の段階3610に示されたように、ユーザは、マルチカメラ参照クリップ3605を選択し、それを前に空だった複合表示領域3615にドラッグした。
更に、第1の段階3610は、マルチカメラ参照メディアクリップ3605のタイムラインを示す。マルチカメラクリップ3605は、3つのアングル3625〜3635を含む。これらのアングルはそれぞれ、一連のメディアクリップを含み、そのいくつかは、お気に入りとしてユーザによってマークされた。いくつかの実施形態において、ユーザは、クリップ又はクリップのセグメントを、イベントブラウザ内でお気に入りとしてマークすることができる。更に、いくつかの実施形態は、ユーザが、アングルエディタ又は複合表示領域内でクリップをお気に入りとしてマークすることを可能にする。複合表示領域内で、ユーザは、プレゼンテーションで使用したい可能性が高いメディアクリップの一部分を特定し、その部分をそういうものとしてマークすることができる。更に、いくつかの実施形態は、ユーザが一部分を拒絶としてマークし、ユーザが回避したいクリップのセグメントを示すことを可能にする(例えば、手振れカメラ、弱いオーディオなどにより)。したがって、単一ビデオクリップが、良好なセクション並びに使用できないセクションを有する場合は、ユーザは、クリップを維持するが使用できないセクションをマークし、これによりそのクリップがメディアプロジェクト内でならないようにしたいことがある。
参照クリップ3605の第1のアングル3625内で、ユーザは、メディアクリップ3640の一部及びメディアクリップ3645の全体をお気に入りとしてマークした(この例では、お気に入りとしてマークされた部分が灰色バーと示されている)。第2のアングル3630内で、ユーザは、クリップ3650の後半をお気に入りとしてマークし、後半は、第1のアングル3625からのクリップ3645と時間が部分的に重複する。最後のアングル3635で、ユーザは、クリップ3655をお気に入りとしてマークした。
第2の段階3620は、ユーザがマルチカメラクリップ3605をメディアプロジェクトに追加した後の複合表示領域3615を示す。図34に示されたような1つのクリップインスタンスを作成するのではなく、メディア編集アプリケーションは、4つの別個のクリップインスタンスを自動的に作成した。第1のクリップインスタンス3660は、そのアクティブアングルとしてアングル3625を有し、その理由は、そのアングルが、お気に入りにされたクリップで始まるからである。いくつかの実施形態は、マルチカメラクリップのタイムラインにおいて第1のお気に入りクリップ部分を特定し、第1のクリップインスタンスにそのアングルを選択する。
いくつかの実施形態において、アプリケーションは、クリップインスタンスの継続時間を、アングルのお気に入り部分の終わりより先に、別のアングルン内のお気に入りクリップ部分を特定するまで拡張する。この場合、アングル3635内のクリップ3655は、お気に入りとしてマークされたマルチカメラクリップ内の次のクリップである。クリップのお気に入り部分(この場合は、クリップの最初)は、マルチカメラ参照クリップタイムラインの約7分マークで始まる。マルチカメラメディアクリップは、メディアプロジェクトタイムライン内の最初のクリップなので、マルチカメラクリップタイムライン内の時間は、メディアプロジェクトタイムライン内の時間に対応する。したがって、第2のクリップインスタンス3665は、アングル3635をそのアクティブアングルとして有し、メディアプロジェクトタイムラインの約7分のマークから始まる。このクリップのお気に入り部分は、マルチカメラ参照クリップタイムラインの10分マークの少し前で終わるが、次のお気に入りクリップセグメントは、10分マークの少し後まで始まらない。
したがって、第3のクリップインスタンス3670は、3630のアクティブアングルと共に10分マークの直後に始まる。約14分に、マルチカメラクリップは、お気に入りとしてマークされたアングル3630内のクリップ3650、並びにアングル3625内のクリップ3645の両方を有する。いくつかの実施形態は、この例の場合のように、カレントアングルがお気に入りとしてマークされなくなるまでアングルを切り替えず、したがって、新しいクリップインスタンス3675を有するアングル3625への切り替えは、クリップ3650が終わる15分マークの後まで行われない。
いくつかの実施形態において、マークされたお気に入りにしたがってクリップインスタンスをスライスする選択は、マルチカメラクリップをメディアプロジェクトに追加する際のユーザオプションである。即ち、ユーザは、クリップインスタンスに1つのアクティブアングルを選択する通常の追加操作を行なうか、又はお気に入りを探しそれに応じてクリップインスタンスを分割する別の追加操作を行なうことを選ぶことができる。
B.マルチカメラクリップインスタンスの編集
マルチカメラクリップインスタンスがメディアプロジェクトに追加された後で、ユーザは、そのマルチカメラクリップインスタンスで様々な編集操作を行なうことができる。他のクリップと同様に、ユーザは、たとえば、マルチカメラクリップインスタンスを移動させ、クリップインスタンスを削除し、クリップインスタンスを他のクリップにアンカーし、他のクリップをクリップインスタンスにアンカーさせ、クリップインスタンスをトリムし、クリップインスタンスを2つに分割することなどができる。更に、ユーザは、クリップの一部分を変更して異なるアクティブアングルを使用するために、(オーディオとビデオとの両方の)アクティブアングルの切り替え及びクリップインスタンスの2つへの分割などのマルチカメラクリップに固有の操作を行なうことができる。
ユーザは、また、クリップインスタンスを使用して、アングルエディタを活性化し、クリップインスタンスが参照するマルチカメラ参照クリップを編集することができる。図37は、ユーザが複合表示領域3700の2つの段階3710及び3720にわたって、マルチカメラクリップのアングルエディタを開くことを示す。第1の段階で、複合表示領域は、マルチカメラクリップインスタンス3705を含む「新しいプロジェクト」と題したメディアプロジェクトを表示する。ユーザは、マルチカメラクリップインスタンス3705を選択し、選択されたクリップと関連した様々な選択可能なオプションによりクリップ(例えば、右クリック、2本指タッピングなどによって)のメニュー3715を活性化した。図は、ユーザがオプション「アングルエディタで開く」を選択することを示す。
第2の段階3720は、この選択の結果を示す。複合表示領域3600は、このとき、クリップインスタンス3705が参照する参照クリップのタイムラインを表示する。左上に示されたように、「新しいプロジェクト」を表示するのではなく、表示領域はこのとき、イベント「新しいイベント10−28−11」から「無題のマルチカムクリップ」を表示して、ユーザが行う編集が、メディアプロジェクト内のクリップインスタンスではなくイベントに記憶された参照クリップに適用されることを示す。更に、いくつかの実施形態は、GUIのクリップブラウザ内の参照クリップを強調する。次に、ユーザが、参照クリップに変更を加えた場合、そのような変更はやはりクリップインスタンス3605に反映され、並びに現在又は他のメディアプロジェクト内の他のクリップインスタンスにも反映される。
1.インスペクタ内の情報
ユーザが、複合表示領域内のメディアクリップを選択するとき、いくつかの実施形態は、インスペクタ表示領域(例えば、図3の表示領域325)内に選択されたクリップに関する情報を表示する。マルチカメラメディアクリップインスタンスが選択されたとき、いくつかの実施形態のインスペクタは、インスペクタ内にアクティブアングルに関する情報を表示する。更に、インスペクタの異なるタブは、マルチカメラ参照クリッププロパティ、アクティブオーディオアングルのオーディオプロパティ、及びアクティブビデオアングルのビデオプロパティに関する情報を表示してもよい。
図38〜図41は、選択されたクリップ3805、並びにクリップ3805が選択された状態のインスペクタ表示領域の異なるタブを示す。図38は、2つのマルチカメラクリップインスタンスを含むメディアプロジェクトを表示する複合表示領域を特別に示す。選択された第1のマルチカメラクリップインスタンス3805は、「Viega」のアクティブビデオアングル及び「Nathaniel」のアクティブオーディオアングルを有する。他方、第2のクリップインスタンスは、そのアクティブビデオとオーディオアングルとの両方として「Viega」を有する。
図39は、クリップ3805の選択の結果としてインスペクタ表示領域3900を示す。この図では、ビデオタブ3905は、インスペクタ表示領域内で選択されており、インスペクタ表示領域は、オーディオタブ3910及び情報タブ3915も有する。インスペクタの上部分は、選択されたクリップが、マルチカメラインジケータ(クリップブラウザ内のマルチカメラ参照クリップ又は複合表示領域内のマルチカメラクリップインスタンスに使用されたインジケータに類似)の使用によって、マルチカメラクリップであることを示し、並びにアクティブビデオ及びオーディオアングルを示す。
更に、インスペクタは、マルチカメラクリップインスタンスのアクティブビデオアングルに関係する様々なビデオ情報を表示する。具体的には、インスペクタは、クリップインスタンスのアクティブアングルに適用された任意のエフェクトに関する情報を表示する。この場合、ユーザは、「Viega」ビデオアングルに特定のエフェクトをまだ適用していない。しかしながら、ユーザが、例えば、ビデオに色補正を適用するか、画素変更エフェクトを適用するか、変換するか、クロップするか、又は変形した場合など、この情報は、「Viega」がアクティブアングルである限り表示される。ユーザが、アクティブビデオアングルを「Nathaniel」に切り替えた場合は、そのアングル用のエフェクトスタックに記憶された任意のエフェクトに関する情報が、インスペクタ3900に表示される。しかしながら、いくつかの実施形態のインスペクタ3900内のビデオプロパティは、マルチカメラ参照クリップ内のアングル「Viega」のクリップに適用されたエフェクトを示さない。選択されたマルチカメラクリップインスタンス用のインスペクタをポピュレートするために、メディア編集アプリケーションは、アクティブビデオアングルを特定し、インスタンス用のデータ構造に記憶されたそのアングルのビデオエフェクトスタックにアクセスする。マルチカメラ参照クリップにおけるクリップを表示してエフェクトを変更するために、ユーザは、イベント内の参照クリップを選択することができる。
図40は、オーディオタブ3910が選択された状態のインスペクタ表示領域3900を示す。インスペクタの上部分は、(アクティブビデオ及びオーディオアングルを示す)図39と同じであるが、それより下部分は、ビデオエフェクトではなくオーディオエフェクトに関する情報を含む。この場合、図示されたオーディオエフェクトは、アングル「Nathaniel」、即ち選択されたクリップインスタンスのアクティブオーディオアングルのためにオーディオエフェクトスタックに記憶されたものである。ビデオ情報と同様に、アプリケーションは、アクティブオーディオアングルを特定し、インスタンスデータ構造に記憶されたそのアングルのオーディオエフェクトスタックにアクセスする。
図41は、情報タブ3915が選択されたインスペクタ表示領域3900を示す。インスペクタがアクティブアングルに関する情報を表示していた前の2つの図と異なり、マルチカメラクリップインスタンスの情報タブは、マルチカメラ参照クリップのビデオ及びオーディオプロパティを表示する。これらは、フォーマット(720p)、寸法(1280×720)、及びフレームレート(30fps)などのビデオプロパティ、並びにオーディオチャネルカウント及びサンプルレートなどのオーディオプロパティを含む。クリップ名、ロール、及びカメラ名などの他の情報のいくつかは、インスペクタ内でユーザ変更可能である。いくつかの実施形態において、この情報を、インスペクタ内のこの情報を変更することにより、マルチカメラ参照クリップ(カメラ名又はクリップ名などの情報の場合)、又はアクティブアングル若しくは参照クリップ内のクリップのすべてのコンポーネント(例えば、ロールに関して)に関して変更する。他の実施形態において、この情報への変更は、クリップインスタンスだけに影響を及ぼす。
どのアングルがアクティブであるかに関する情報を提供する他に、いくつかの実施形態は、ユーザが、インスペクタによってアクティブアングルを切り替えることを可能にする。図42は、ユーザがGUI 4200の2つの段階4210〜4220にわたって、インスペクタ内の選択されたクリップインスタンスのアクティブビデオアングルを切り替えることを示す。GUI 4200は、他の表示領域の中でも、複合表示領域4205、インスペクタ表示領域4215、プレビュー表示領域4225、及びアングルビューワ4227を含む。
第1の段階4210では、ユーザは、複合表示領域4205内のマルチカメラクリップインスタンス4230を選択した。図示されたように、このクリップインスタンスは、「Viega」のアクティブビデオアングル、及び「Nathaniel」のアクティブオーディオアングルを有する。その結果、プレビュー表示領域4225は、アングル「Viega」内のメディアクリップからのビデオ画像を表示する。インスペクタ内で、ユーザは、ビデオアングルを選択してドロップダウンメニュー4235を活性化した。このドロップダウンメニューは、マルチカメラクリップ参照における5つのアングルにそれぞれ選択可能なメニューオプションを含む。メニュー4235は、現在選択されているオプション(「Viega」)の隣にチェックを表示する。ユーザは、ビデオアングルにこのオプションを選択するために、オプション「Amir」の上にカーソルを置いた。
第2の段階4220は、「Amir」ビデオアングル用のメニューオプションのユーザの選択の結果を示す。このとき、インスペクタ表示領域4215は、複合表示領域4205内にクリップ4230を示すように、アクティブビデオアングルが「Amir」であることを示す。このとき、プレビュー表示領域4225は、このアングル内のクリップからのビデオ画像を表示する。アングルビューワ4227内で、アプリケーションは、境界及びアクティブビデオアングルを示すビデオアイコンを有する「Amir」アングルのプレビュー表示4240を強調している。
2.編集用のアングルビューワの使用
インスペクタを使用してクリップのアクティブアングルを切り替える他に、メディア編集アプリケーションのユーザは、アングルビューワを使用して、マルチカメラクリップインスタンスに編集操作を行なってもよい。以下の例は、4つのプレビュー表示を有し表示内にアングル名を示すビューワの文脈で説明されるが、当業者は、いくつかの実施形態において、他のオプション(例えば、様々な数のプレビュー表示、及び図22に示されたような、アングルに関して異なる情報が表示された)が利用可能であることを理解するであろう。
図43は、ユーザが複合表示領域内のメディアプロジェクトを編集している間に表示されるいくつかの実施形態のアングルビューワ4300を示す。アングルビューワ4300は、選択可能項目4305〜4315、4つのプレビュー表示4320〜4335、及びアングルバンク4340を含む。選択可能項目4305〜4315を用いて、ユーザは、様々なプレビュー表示を選択することによって、クリップインスタンスのアクティブアングルが変更されるコンテンツのタイプを切り替えることができる。ユーザが、表示のうちの1つを選択するとき、メディア編集アプリケーションは、現在のマルチカメラクリップインスタンス用のアクティブアングルを、選択された表示に対応するアングルに切り替えるか、又は現在のクリップインスタンスを、インスタンスの一方が選択アングルを有する2つのインスタンスに分割する。
この場合、選択可能項目4305は、オーディオとビデオアングルとの両方を選択アングルに切り替えるためのものであり、選択可能項目4310は、ビデオアングルだけを選択アングルに切り替えるためのものであり、選択可能項目4315は、オーディオアングルだけを選択アングルに切り替えるためのものである。図43で、選択可能項目4305が現在選択されている。いくつかの実施形態において、項目はそれぞれ、選択されたときに異なる特定のアピアランス(例えば、色、パターン、濃淡レベルなど)を有する(例えば、オーディオとビデオとの両方の場合は黄色、ビデオだけの場合は青色、及びオーディオだけの場合は緑色)。この色コーディング(又は他のアピアランス差異化)は、アングルビューワにおいて、アクティブアングルと関連付けられた表示を特定し、並びにバンク4340内のアクティブアングルの位置を特定するために使用されることがある。
4つのプレビュー表示4320〜4335はそれぞれ、マルチカメラメディアクリップ内のアングルのうちの1つの画像を表示する。いくつかの実施形態において、再生ヘッドが、複合表示領域内のマルチカメラメディアクリップの上で移動するとき(メディアプロジェクトを再生しているか、又はメディアプロジェクトをスキミングしている間)、アプリケーションは、アングルビューワに再生ヘッドの時間に対応する異なるアングルからの画像を表示する。プレビュー表示は、また、特定のアングルがアクティブオーディオ又はアクティブビデオアングルであることを示す。このとき、アクティブオーディオアングルは、左上表示4320に示された「Nathaniel」である。ディスプレイ4320は、緑色に強調された境界を有し、選択可能項目4315に使用される同じオーディオアイコンを示す。アクティブビデオアングルは、4つの表示のいずれかに現在示されているアングルのうちの1つではない。いくつかの実施形態において、前述のように、プレビュー表示の強調表示のアピアランス(例えば、色、パターンなど)は、選択可能項目4305〜4315のものと一致する。
アングルバンク4340は、マルチカメラクリップ内のアングルの総数、及びそれらのアングルがどのように目で見えるセットに分割されたかを示す。この例では、バンク4340は、第1組の4つのアングル及び第2組の1つのアングルを含む。これらの組は、ユーザが選択されたバンクによって表される特定のアングルのためのプレビュー表示を視聴するためにバンクのうちの1つを選択することができるという点で、バンク4340内で選択可能である。例えば、ユーザは、アングルビューワ4300内のマルチカメラクリップの第5のアングルのプレビュー表示を視聴するために、1つの正方形を有するバンクを選択することができる。更に、バンクは、アクティブビデオアングル及びアクティブオーディオアングルのアングルの組の位置を示す。この図では、第1のバンクの左上の正方形が、アクティブオーディオアングル(「Nathaniel」)を示す濃い緑色であり、第2のバンク内の単一の正方形が、アクティブビデオアングルを示す濃い青色である。
前述したように、いくつかの実施形態は、選択可能項目4305〜4315とプレビュー表示4320〜4335とバンク4340との間で一貫した色コーディングを使用して、アクティブアングルの異なるタイプのコンテンツを示す。この例では、ビデオアングルは青色であり、オーディオコンテンツは緑色であり、同じアングルがアクティブビデオとオーディオアングルとの両方とき、そのアングルは黄色である。当業者は、例えば異なるタイプのコンテンツに異なる組の色を使用したり、異なる濃淡レベルを使用したり、異なるパターンを使用したりするなどの任意の異なる色又は他のインジケータ方式が、異なるアクティブアングルに使用されてもよく、緑色、青色及び黄色の選択は、1つの特定の選択に過ぎないことを理解するであろう。
様々なアクティブアングルの現在の状態を表示することに加えて、アングルビューワ4300は、ユーザが、マルチカメラクリップインスタンスのアクティブアングルを変更するか、又はインスタンスを異なるアクティブアングルを有する2つの別個のインスタンスに分割することを可能にする。図44A〜図44Dは、アングルビューワを使用して、GUI 4400の7段階4410〜4470により、メディアプロジェクト内のマルチカメラクリップを編集する様々な例を示す。GUI 4400は、他の表示領域の中でも、アングルビューワ4425、プレビュー表示領域4405、及び複合表示領域4415を含む。
アングルビューワ4425は、ビューワ4300と類似であり、プレビュー表示4426〜4429には、アングル名ではなく、異なる順序のアングル及び個々のクリップ名が表示されている。第1の段階4410でビューワ内に示されたアングルは、表示4426に「Nathaniel」、表示4427に「Lam」、表示4428に「Jim」、及び表示4429に「Amir」である。更に、第5のアングル「Viega」は、4つの表示のいずれにも示されていないが、バンク4435によってアクセス可能である。ビューワは、項目4305〜4315と同じ機能を有する3つの選択可能項目4431〜4433を有する。
段階4410で、複合表示領域4415は、マルチカメラクリップインスタンス4445を含むいくつかのクリップを有するメディアプロジェクトを表示し、そのアクティブアングルは、この段階では、ビデオアングルは「Amir」及びオーディオアングルは「Viega」である。図44の7つの段階において、ユーザは、複合表示領域4415に示されたメディアプロジェクトを再生する。したがって、再生ヘッド4455は、これらの段階4410〜4470の間、複合プレゼンテーションを横断する。
アングルビューワ4425は、段階4410で、ビデオアングルを変更するための選択可能項目4432が、現在選択されていることを示す。更に、表示4429は、「Amir」がアクティブビデオアングルであることを示すために、ビデオアイコンを有する青色で強調される。これがアクティブアングルなので、このアングルからのビデオは、主プレビュー表示領域4405にも現われる。
ユーザは、表示4426の上にカーソルを置いた。いくつかの実施形態において、カーソルは、表示を選択することによって、アプリケーションに、再生ヘッド4455によって現在示されている時間でクリップインスタンスを切断させ、同時に、再生ヘッドの後に新しく作成されたクリップインスタンスのアクティブアングルを切り替えることを示すために、カミソリ刀アイコンに変わる。いくつかの実施形態において、カーソルは、ブレードとして表示され、アングル表示を選択すると、ユーザが、特定キーの押下げ、異なるタイプのタッチ入力を提供するなど、選択をしながら補助入力を提供しない限り、インスタンスに2つに分割させる。
第2の段階4420は、前の段階でユーザがアングル表示4426を選択した結果を示す。その結果、アクティブビデオアングルが、表示4426及びプレビュー表示領域4405に示された「Nathaniel」アングルになる。更に、バンク4435内に、第1のバンク内の左上の四角が、新しいアクティブビデオアングルを示すために青で強調されている。メディア編集アプリケーションは、クリップ4445のトリム範囲を変更し、前の段階で再生ヘッドの時間から始まりメディアクリップの終わり(インスタンス4445の前の終了時間)まで続くトリム範囲を有する新しいクリップインスタンス4446を作成することによって、クリップインスタンス4445を2つのインスタンスに分割した。図示されたように、クリップインスタンス4445は、同じアクティブアングルのままであるが、新しいクリップインスタンス4446は、「Nathaniel」のアクティブビデオアングル及び「Viega」のアクティブオーディオアングルを有する。更に、ユーザは、この段階で項目4431を選択する。
第3の段階4430は、前の段階のユーザ選択の結果として、選択可能項目4431が現在(黄色で)強調されていることを示す。前述のように、この項目によって、ユーザは、アクティブオーディオとビデオアングルとの両方を選択アングルに切り替えることができる。更に、ユーザが、カーソルをアングル「Jim」の表示4428の上に起き、カーソルが再びブレードアイコンとして表示されている。
第4の段階4440は、前の段階におけるアングル表示4428の選択の結果を示す。アクティブオーディオ及びビデオアングルは、このとき、表示4428及びプレビュー表示領域4405に示された「Jim」アングルである。更に、バンク4435は、もう青色の四角も緑色の四角も示していないが、その代わりに左下の四角を黄色として表示している。メディア編集アプリケーションは、クリップ4446のトリム範囲を変更し、新しいクリップインスタンス4447を作成することによって、クリップインスタンス4446を2つのインスタンスに分割し、トリム範囲は、クリップインスタンス4446の範囲が終わる場所で始まる。クリップインスタンス4446は、同じアクティブアングルのままであるが、新しいクリップインスタンス4447は、「Jim」のアクティブビデオ及びオーディオアングルを有する。更に、ユーザは、この段階で、項目4433を選択する。
第5の段階4450は、選択可能項目4433が、前の段階でのユーザ選択の結果として(緑色で)強調されていることを示す。更に、ユーザは、表示4429を選択してクリップインスタンス4447を切断し、「Jim」のアクティブビデオアングル及び「Amir」のアクティブオーディオアングルを有する新しいクリップインスタンス4448を作成する。その結果、以前に黄色で強調された表示4428は、このとき、アクティブビデオアングルを示すために青色で強調され、表示4429は、アクティブオーディオアングルを示すために緑色で強調される。
ユーザは、また、この項目を選択するために、この段階でカーソルをバンク4435内の単一の四角の上に置いた。いくつかの実施形態において、バンクはそれぞれ、別個の選択可能項目であり、この選択によって、アングルビューワに、選択されたバンク内に表されたアングルと関連付けられたアングル表示を表示させる。
第6の段階4460は、前の段階で単一アングルを有するバンクをユーザが選択した結果を示す。このとき、アングルビューワは、表示4426内にアングル「Viega」からの画像を表示する。更に、ユーザは、この表示の上にカーソルを置き、アプリケーションは、このカーソルを、ブレードアイコンではなくハンドアイコンとして表示する。いくつかの実施形態において、ユーザは、特定キーを押し下げるか、又は別の選択入力を提供して、新しいクリップインスタンスをブレードツールによって作成するのではなくビューワ内でアングルを交換する。アプリケーションは、選択がクリップインスタンスを分割するかクリップインスタンスのアングルを切り替えるかをユーザに知らせるために、GUI内に様々なインジケータを提供する。
第7の段階4470は、前の段階で表示4426を選択するユーザの結果を示す。メディア編集アプリケーションは、新しいクリップを作成するのではなく、アクティブオーディオアングルが「Amir」ではなく「Viega」になるようにクリップインスタンス4448を変更した。このため、アプリケーションは、アクティブオーディオアングル変数を変更するために、クリップインスタンスのデータ構造を変更するだけでよい。更に、このとき、表示4426とバンク4435内の対応する四角との両方とも、緑色で強調されている。
図44は、アングルインスタンスがすべて、タイムラインの主レーン内にある場合を示す。いくつかの例では、ユーザは、第2のアングルインスタンスにアンカーされた第1のアングルインスタンスによる複合プレゼンテーションを作成することができ、その結果、両方のアングルインスタンスが、異なるレーン内の複合プレゼンテーション内に一定時間に配置される。いくつかの実施形態は、それらの時間に関して2つのレーンの高い方に配置されたアングルインスタンスのアングルからのビデオを表示し、これは、そのインスタンスが無効にされない限り行われる。3つ以上のインスタンスが時間を共有するとき、アプリケーションは、アングルビューワ内で最も大きいレーン番号を有するインスタンスからアングルを表示する。いくつかの実施形態は、そのような状況に関して第2のアングルビューワ(自動で又はユーザ要求によって)を表示し、ユーザは、インスタンスのどちらかを見て編集することができる。2つ以上のクリップインスタンス間で合成モード(例えば、混合)が定義されるとき、いくつかの実施形態の主プレビュー表示領域は、混合の結果である出力画像を表示する。
図45は、ユーザが、アングルビューワを用いてクリップインスタンスを切断するときにメディアプロジェクトのデータ構造を変更するいくつかの実施形態のプロセス4500を概念的に示す。図示されたように、プロセス4500は、最初に、複合プレゼンテーション内のマルチカメラクリップインスタンスを切断し切り替えるために、アングルビューワを介して選択を受け取る(4505で)。図44は、例えば、ユーザが段階4410で表示4426を選択するときの、そのような選択の例を示す。
プロセスは、トリムされるマルチカメラクリップインスタンス内の新しい編集ポイントの時間を特定する(4510で)。いくつかの実施形態において、この編集ポイントは、複合表示領域内のマルチカメラクリップインスタンスの上の再生ヘッドの位置である。いくつかの実施形態は、編集再生ヘッド(ユーザが複合プレゼンテーションを特定時間にロックするかリアルタイムレートで再生するように設定することができる)、並びに複合表示領域内のクリップの上でカーソルが動くときにカーソルと共に移動するスキミング再生ヘッドとの両方を含む。いくつかの実施形態において、アプリケーションは、編集再生ヘッドの位置を使用して、新しい編集ポイントとして設定するマルチカメラクリップインスタンス内の時間を決定する。図44の例は、ユーザが再生ヘッドがタイムライン内を一定速度で移動するときにクリップインスタンスを編集することを示すが、ユーザは、タイムライン内の時間を選択して再生ヘッドをその時点で固定し、次にアングルビューワ内のアングルを選択してもよい。
次に、プロセスは、複合プレゼンテーション内の既存のマルチカメラクリップインスタンスのアウトポイントをトリムして、特定された編集ポイントを一致させる(4515で)。いくつかの実施形態において、これは、トリム範囲の開始時間が変化しないが、トリム範囲の終了時間が新しい編集ポイントと一致するように、アングルインスタンスデータのトリム範囲を変更することを伴う。
また、プロセスは、インポイントが新しい編集ポイントのすぐ後にあり、アウトポイントが既存のクリップインスタンスの前のアウトポイントと一致する新しいクリップインスタンスを、プレゼンテーション内に生成する(4520で)。即ち、新しいクリップインスタンスのトリム範囲は、既存のクリップインスタンスの新しいアウトポイントの1フレーム後で始まり、既存のクリップインスタンスがブレード及びスイッチ入力を受け取る前に終わるのと同じ時間に終わる。いくつかの実施形態において、この新しいクリップインスタンスは、2つに分割された既存のクリップインスタンスの直後に、複合プレゼンテーションのデータ構造で作成される。インスタンスが、複合表示領域の主複合レーン内にある場合(図44と同じようで)、これらのクリップインスタンスは、複合プレゼンテーションの主コレクションのアレイ内の次の要素として定義される。
クリップを変更した後で、プロセスは、選択によって切り替えられたコンテンツのタイプに基づいて、新しいクリップインスタンスのアクティブアングルを変更する(4525で)。即ち、新しいクリップインスタンスが、トリム範囲を除き既存のクリップインスタンスの複製であり、新しいクリップ存在が同じマルチカメラ参照クリップを参照するので、アクティブアングルのうちの少なくとも1つが、同じ全範囲などを有する。現在のアクティブ選択ツールが、オーディオだけを変更するためのものであるとき、メディア編集アプリケーションは、新しいクリップインスタンスのアクティブオーディオアングルを選択アングルに変更し、アクティブビデオアングルは、前のクリップインスタンスと同じままである。同様に、選択ツールが、ビデオだけを変更するためのものであるとき、アプリケーションは、新しいクリップインスタンスのアクティブビデオアングルを選択アングルへ変更し、アクティブオーディオアングルは、前のクリップインスタンスと同じままである。選択ツールが、オーディオとビデオとの両方を変更するとき、アプリケーションは、両方のアクティブアングルを選択アングルに変更する。
いくつかの実施形態において、そのような切断プロセスによって作成されたマルチカメラクリップインスタンスへの編集は、メディア編集アプリケーションによる他の編集とは異なって処理される。後の節で述べるように、そのようなスルー編集は、実質的に、連続したマルチカメラクリップをアングルスイッチに基づいて分割するので、いくつかの実施形態は、ユーザが、編集を迅速に削除し2つのクリップインスタンスをマージすることを可能にする。更に、アプリケーションは、他の編集ポイントに比較して、そのようなスルー編集を編集するときに異なるデフォルトトリム編集を使用する。
タイムライン内のマルチカメラクリップによる編集について述べる前に、アングルビューワの表示機能について述べる。前の節で述べたように、メディア編集アプリケーションGUI内の表示領域の多くは、サイズが変更されることがある。図46は、ビューワが4つのアングルプレビュー表示を表示すときのアングルビューワ4600のサイズを変更するエフェクトを、3つ段階4610〜4630にわたって示す。
第1の段階4610は、4つの表示領域を有するアングルビューワ4600、及びアングルビューワに隣接する1つのプレビュー表示領域4605を示す。ユーザが、2つの表示領域の間の境界(即ち、継ぎ目)の上のカーソルを置くと、GUIに、継ぎ目を移動できる方向を示す矢印を有するバーとしてカーソルを表示させる。段階4620に示されたように、ユーザは、境界を左方に移動させ、それにより、プレビュー表示領域4605のサイズが大きくなり、それに応じてアングルビューワ4600のサイズが小さくなる。
第3の段階4630で、ユーザは、継ぎ目を引き続き左側に移動させた。これにより、アングルビューワ4600に、表示領域を2×2構成で表示させなくなるが、代わりに、1×4表示を使用させてアングルビューワ表示領域4600内で利用可能なスペースの効率を高める。表示の構成の変更に加えて、アプリケーションは、これに対応して、アングルビューワ4600内のバンクの構成を変更する。第1の段階4610及び第2の段階4620では、4つのアングルのバンク4625が、2×2の正方形で示されているが、第3の段階4630は、このバンク4625を1×4の長方形の組として示す。
いくつかの実施形態において、メディア編集アプリケーションは、個々のアングル表示領域が、2×2構成より新しい1×4構成で大きくなった後、アングルビューワの表示を切り替える。また、いくつかの実施形態は、これより少ない数のアングル表示のグループにそのような構成の変更を行う。例えば、2アップビューア(2つのアングル表示を有する)は、1×2又は2×1構成で表示されてもよく、16アップビューア(16のアングル表示を有する)は、4×4又は2×8構成で表示されてもよい。
3.タイムライン内のマルチカメラクリップインスタンスの編集
アングルビューワ及びインスペクタを使用してマルチカメラクリップインスタンスのアクティブアングルを変更する他に、ユーザは、複合表示領域内でそのような作業を実行し、並びにマルチカメラクリップに固有の様々な他の編集作業を行なうことができる。マルチカメラクリップに固有の多数のそのような編集操作は、「スルー編集」の編集アプリケーションの認識、及び他の編集ポイントからのスルー編集の差違化によって可能になる。前述のように、いくつかの実施形態において、スルー編集とは、最初のマルチカメラクリップインスタンスが、タイムライン内の最初のクリップインスタンスのすぐ後の第2のマルチカメラクリップインスタンスのインポイントの前に、マルチカメラクリップ参照内の1つのフレームであるアウトポイントを有するときである。
図47は、選択されたマルチカメラクリップインスタンス4705のビデオアングルを切り替えるための複合表示領域4700のメニューの使用を3つの段階4710〜4730にわたって示す。第1の段階4710で、クリップインスタンス4705は、選択され、ユーザは、ドロップダウンメニュー4715を活性化した。この時点で、クリップタイトルによって示されたように、アングル「Amir」は、クリップインスタンス4705のアクティブビデオ及びオーディオアングルである。メニュー4715内で、ユーザは、オプション「アクティブビデオアングル」を選択し、これにより、クリップインスタンスの5つの可能なビデオアングルを示すサブメニュー4725が表示される。現在選択されているビデオアングルが「Amir」なので、サブメニュー内では現在このオプションがチェックされている。
第2段階4720は、サブメニュー4725のアングル「Nathaniel」の選択を示し、第3の段階4730は、この作業の結果を示す。この段階で、マルチカメラクリップインスタンス4705は、このとき、「Nathaniel」のアクティブビデオアングル及び「Amir」のアクティブオーディオアングルを有する。アングルを切り替える前述の作業と同様に、いくつかの実施形態のメディア編集アプリケーションは、この切り替えを達成するために、クリップ4705のアングルインスタンスデータ構造のアクティブビデオアングルを変更する。また、そうすることにより、アプリケーションに、クリップに行なわれる任意の描画操作のために、選択アングルのビデオエフェクトスタックをクリップのエフェクトスタックディクショナリからスワップインさせる。
図48は、4つの段階4810〜4840にわたり、いくつかの実施形態の複合表示領域4800内のビデオアングルを切り替える様々な方法を示す。この場合、メディア編集アプリケーションは、ユーザ選択入力に応じて、アングルビュー表示領域、即ちヘッドアップディスプレイ(「HUD」)を表示する。図示されたように、第1の段階4810で、アクティブビデオ及びオーディオアングル「Amir」を有するマルチカメラメディアクリップインスタンス4805が選択されている。ユーザは、この選択されたクリップのメニュー4815を活性化した。メニュー内で、ユーザは、「アングルHUDを表示」オプションを選択する。
第2の段階4820は、この選択の結果として、アプリケーションは、選択されたクリップインスタンスの上のGUI内にアングルビューHUD4825を表示していることを示す。いくつかの実施形態のアングルビューHUDは、ユーザが、マルチカメラクリップインスタンスに利用可能な様々なビデオアングルを次々と切り替えることを可能にする。ユーザは、異なるアングルと関連付けられたビデオ及びオーディオを再生又はスキミングすることができる。図示されたように、起動されたとき、アングルビューHUD4825は、その中心に、現在の選択アングル(「Amir」)のビデオを表示する。他のオプションは、表示領域の側に示され、ユーザが、ユーザインタフェースとの対話(例えば、右矢印キー及び左矢印キー、又はHUD内の項目の選択)によってそれらのオプションを中心に回転させる。クリップインスタンス4805が参照するマルチカメラ参照クリップは、2つのアングルを有し、したがって他の1つ画像だけが左側に示される。表示領域の下に、アングルのどれがアクティブビデオアングルとして現在選択されているかをユーザに視覚的に示すインジケータがある。スターインジケータによって示されたように、右側(「Amir」)上のアングルが、現在選択されている。いくつかの実施形態において、ユーザは、異なるアングルを次々と切り替えるために、これらのインジケータを選択するか又は表示の側の画像を選択することができる。この場合、ユーザは、HUD4825の左側の他の画像を選択していることが示される。
第3の段階4830は、ユーザがこの画像を選択した後で、HUDが、その中心にアングル「Nathaniel」のビデオ画像を表示している。選択インジケータは、2つのインジケータの右側にスターがまだ残っているので、ユーザがビューワ4825を起動しときに「Amir」アングルが選択されたことを示す。この段階で、ユーザは、「Nathaniel」ビデオアングルを選択するために、GUI項目「完了」を選択する。
マルチカメラクリップインスタンス4805がこのとき「Nathaniel」ビデオアングル及び「Amir」オーディオアングルを示しているので、第4の段階4840は、この選択の結果を示す。この例は、アングルビューHUD4825を使用してビデオアングルを選択することを示しているが、いくつかの実施形態は、ユーザが、HUDによってクリップインスタンスのオーディオアングルも選択することを可能にする。いくつかの実施形態は、図43のアングルビューワ4300に示されたものと類似の選択可能項目を含み、そのような選択可能項目により、ユーザは、オーディオ、ビデオ又はこれらの両方を選択し、ビューHUD内の異なるアングルの選択によって変更されるアクティブアングル又はアングルのコンテンツのタイプを決定することができる。
図47は、タイムライン内のマルチカメラクリップインスタンスのアクティブビデオアングルの切り替えを示すが、図49は、2つの段階4910及び4920において、複合表示領域4900内で選択されたマルチカメラクリップインスタンス4905のアクティブオーディオアングルを切り替える類似のメニューの使用を示す。第1の段階で、クリップインスタンス4905が選択され、ユーザは、ドロップダウンメニュー4915を活性化した。このとき、クリップタイトルによって示されたように、クリップインスタンス4905のアクティブビデオアングルは、「Nathaniel」であり、アクティブオーディオアングルは「Amir」である。メニュー4915内で、ユーザは、オプション「アクティブオーディオアングル」を選択して、このクリップインスタンスの5つの可能なオーディオアングルを示すサブメニュー4925を表示させる。現在選択されているオーディオアングルが「Amir」なので、このオプションは、このときサブメニューでチェックされている。この段階で、ユーザは、サブメニュー4925内のアングル「Viega」を選択する。
第2の段階4920は、この選択の結果を示し、マルチカメラクリップインスタンス4905が、このとき「Viega」のアクティブオーディオアングルを有する。アングルを切り替える前述の作業と同様に、いくつかの実施形態のメディア編集アプリケーションは、この切り替えを行うために、クリップ4905のアングルインスタンスデータ構造のアクティブオーディオアングルを変更する。また、そうすることにより、アプリケーションに、クリップに行なわれる任意の描画操作のために、選択アングルのオーディオエフェクトスタックをクリップのエフェクトスタックディクショナリからスワップインさせる。
クリップを切断し、クリップインスタンスのアクティブアングルを変更する他に、いくつかの実施形態のメディア編集アプリケーションは、マルチカメラクリップインスタンスに影響を及ぼす様々な編集操作を提供する。例えば、メディアプロジェクト内の標準メディアクリップに利用可能な多くの標準編集操作が、マルチカメラクリップインスタンスにも利用可能で、この標準編集操作は、他の操作の中でも、アクティブアングルへのビデオ又はオーディオエフェクトの適用(画素変更エフェクト、変換、変形など)、トリム操作(リプル、ロール、スリップ、スライド)、及び複数のレーンを使用する複合操作(混合、ピクチャインピクチャなど)である。更に、いくつかの実施形態は、マルチカメラクリップインスタンスに固有の操作を提供するか、又は特定の操作がマルチカメラクリップインスタンスにどのように適用されるかを変更する。
多くのそのような操作は、メディア編集アプリケーションによるスルー編集の処理に関連する。前述のように、いくつかの実施形態において、スルー編集は、ユーザが、マルチカメラクリップインスタンスを切断し、その結果生じた第1のクリップのインポイントが、第2のクリップの生じたインポイントの直前にあるときに行われる(即ち、マルチカメラ参照クリップタイムライン内の時間が、第1のクリップから第2のクリップまで止まることなく滑らかに流れる)。したがって、2つのクリップインスタンスにわたるメディアプロジェクトの再生は、アクティブビデオ全体の連続再生を伴うが、アクティブビデオ又はオーディオアングル(又は両方)の切り替えを有する。メディアプロジェクト内の2つのクリップ間の編集ポイントは、通常、GUI内に実線として表示されるが、いくつかの実施形態は、スルー編集の存在をユーザに視覚的に示すためにスルー編集を点線として表示する。
図50は、2つの段階5010及び5020にわたって、2つのマルチカメラクリップインスタンスを単一インスタンスに組み合わせる複合表示領域5000内のスルー編集の削除を示す。第1の段階に示されたように、複合表示領域5000は、他のクリップの中でも特に第1のマルチカメラクリップインスタンス5005及び第2のマルチカメラクリップインスタンス5015を含むメディアプロジェクトの表現を表示する。これらのクリップは両方とも、同じマルチカメラ参照クリップを参照するが、第1のクリップインスタンス5005は、「Amir」のアクティブビデオ及びオーディオアングルを有し、第2のクリップインスタンス5015は、「Viega」のアクティブアングルを有する。
2つのクリップインスタンス5005と5015との間の編集ポイントは、同じ参照クリップを参照する他に、クリップがマルチカメラ参照クリップ内の次のコンテンツを参照するので、スルー編集である。第1の段階5010において、ユーザは、この編集ポイントを選択し、メニュー5025を活性化し、メニュー5025は、オプション「編集を削除」を含むいくつかの実施形態において、このメニューオプションは、2つの無関係なメディアクリップ間、あるいは次の参照クリップ素材を参照しない2つのクリップインスタンス間の通常編集と対照的に、ユーザがスルー編集を選択するときだけ利用可能である。
第2の段階5020は、この選択の結果を示し、メディア編集アプリケーションが、第2のクリップインスタンス5015を削除し、クリップインスタンス5005の継続時間を拡張している。いくつかの実施形態において、アプリケーションは、メディアプロジェクトから第2のクリップインスタンスのデータ構造を除去し、同時に、第1のクリップインスタンスのトリム範囲を拡張し、その結果、参照クリップタイムライン内のアウトポイントが、そのとき削除されたクリップインスタンスのアウトポイントと一致するようにする。この例は、第2のクリップインスタンス(タイムラインにおける後方のクリップ)が削除されることを示すが、いくつかの実施形態は、自動的に前方のインスタンスを削除する(及び、後方のインスタンスのインポイントを変更する)か、又はユーザが2つのインスタンスのどちらを削除するか決定することを可能にする。更に、この図は、メニュー選択を示すが、いくつかの実施形態は、ユーザが、削除キー又は他の組のキーストロークなどの他の対話によって編集ポイントを削除することを可能にする。
図50に示されたクリップ削除の他に、いくつかの実施形態は、特定の編集するシナリオ内のクリップインスタンスを自動的に削除する。2つのクリップインスタンスが、スルー編集によって分離され、ユーザが、他のインスタンスと同じアクティブアングルを有するようにインスタンスのうちの1つを変更するとき、いくつかの実施形態は、これを自動的に認識し、2つのクリップインスタンスを組み合わせる(インスタンスの一方を削除し、必要に応じて他方のインスタンスのインポイント又はアウトポイントを変更することによって)。
アクティブアングルの一方(ビデオアングルか又はオーディオアングル)が、2つの連続したマルチカメラクリップインスタンスの間で異なるために、これらの2つの連続したマルチカメラクリップインスタンスを組み合わせることができないときでも、いくつかの実施形態は、2つのクリップインスタンスがアクティブアングルの一方を共有するとき、2つのクリップのビデオ又はオーディオを特定のアクションに対して単一クリップとして処理する。例えば、アクティブオーディオアングルが同じであるが、異なるアクティブビデオアングルを有するとき、特定のオーディオ関連作業は、両方のクリップインスタンスに適用される。
図51は、複合表示領域5100の2つの段階5110及び5120にわたる、スルー編集によって分離された2つのクリップインスタンス5105及び5115のボリュームレベルへの変更を示す。第1のクリップインスタンス5105は、「Amir」のビデオアングル及び「Nathaniel」のオーディオアングルを有し、クリップインスタンス5115は、「Viega」のビデオアングル及び「Nathaniel」のオーディオアングルを有する。この図では、ユーザは、オーディオ波形をビデオサムネイルより強調するために、複合表示領域5100内のクリップディスプレイを変更した。
第1の段階5110に示されたように、ユーザは、オーディオ波形の一番上に示されたオーディオボリュームラインの上にカーソルを置き、ボリュームラインを選択した。いくつかの実施形態において、このオーディオボリュームラインは、ユーザがメディアクリップのオーディオのボリュームを変更することを可能にするUIツールである。ユーザが、このUIツールを選択するとき、いくつかの実施形態は、特定のクリップのボリュームを示す表示を提供する(この場合は、−7デシベル)。ユーザは、UIツールを上下に移動させて、クリップのボリュームを変更することができる。
第2の段階5120は、ユーザが、クリップのボリュームを+9デシベルに変更するために、オーディオボリュームラインを上方にドラッグした後のクリップインスタンス5105及び5115を示す。図示されたように、ユーザは、第1のクリップインスタンス5105内でボリュームラインをドラッグする。しかしながら、2つのクリップ間の編集ポイントがスルー編集であり、オーディオアングルが、2つのクリップに対して同じなので、アプリケーションは、2つのクリップがまるで1つのクリップであるかのように自動的に処理し、両方に同じエフェクトを適用される。したがって、クリップインスタンス5105のオーディオのボリュームが、+9dBまで高められるだけでなく、クリップインスタンス5115のオーディオのボリュームも高められる。
いくつかの実施形態において、1つのクリップインスタンスに適用された他のオーディオエフェクト(パニング、サウンド生成エフェクトなど)は、やはり同じオーディオアングルを有し編集によって分割された隣り合ったクリップインスタンスに適用される。いくつかの例では、スルー編集によって全て分割され(即ち、マルチカメラ参照クリップ内の連続タイムラインを集合的に参照する)、同じオーディオアングルを共有するいくつかの後続のクリップは、オーディオエフェクトに関して集合的に処理されてもよい(図51に示されたように)。
複数のインスタンスにわたってオーディオエフェクトを適用する他に、いくつかの実施形態は、ビデオアングルが、スルー編集によって分割された連続するクリップインスタンス全体にわたって同じときに、同様にビデオエフェクトを適用する。図52は、ユーザが、2つの段階5210及び5220にわたって、複合表示領域5200内の1組のクリップインスタンス5205及び5215にビデオエフェクトを適用することを示す。第1のクリップインスタンス5205は、「Viega」のアクティブビデオアングル及び「Nathaniel」のアクティブオーディオアングルを有し、第2のクリップインスタンス5215は、「Viega」のアクティブビデオアングル及び「Lam」のアクティブオーディオアングルを有する。
いくつかの実施形態において、ユーザは、クリップにエフェクトを適用するために、エフェクト表示領域(例えば、図3の表示領域330)からビデオエフェクトをクリップの上にドラッグすることができる。図52の第1の段階5210で、ユーザは、クリップインスタンスのアクティブビデオアングル(「Viega」)にクリップを適用するために、マルチカメラクリップインスタンス5215の上でエフェクト(ボケランダムエフェクト)をドラッグした。この段階で示されたように、これにより、クリップインスタンス5215が強調されるだけでなく、クリップインスタンス5205も強調される。クリップインスタンス5205は、クリップインスタンス5215と同じアクティブビデオアングルを有し、スルー編集によって他のインスタンスから分離されるだけである。したがって、アプリケーションは、クリップインスタンス5205と5215との両方にボケランダムエフェクトを適用する。
第2の段階5220は、インスペクタ表示領域5225内のエフェクトの適用結果を示す。複合表示領域で、ユーザは、マルチカメラクリップインスタンス5205を選択し、インスペクタ表示領域5225は、この選択されたクリップのビデオ情報を表示する。図示されたように、ビデオ情報は、前の段階でクリップインスタンス5215の上にドロップされたエフェクトボケランダムを含む。これは、メディア編集アプリケーションが、このエフェクトを、クリップインスタンス5205内の「Viega」アングルのビデオエフェクトスタック並びにクリップインスタンス5215のビデオエフェクトスタックに追加したことを示す。いくつかの実施形態において、ユーザが、クリップのうちの1つのエフェクトパラメータを変更したとき、これは、他の隣り合ったクリップインスタンスのエフェクトスタックにも影響を及ぼす。
前の2つの例は、複数のマルチカメラクリップインスタンスに様々なオーディオ及びビデオエフェクトを自動的に適用した例を示す。いくつかの実施形態において、ユーザは、スルー編集によって分離された複数のインスタンスに影響を及ぼすか、又はエフェクトが直接適用されたクリップだけに影響を及ぼすかを選択することができる。ユーザは、例えば、設定をトグルし、特定キー又は1組のキーなどを押し下げて、1つ以上のクリップに同時に影響を及ぼすかどうかを決定することができる。
メディア編集アプリケーションは、また、標準メディアクリップに比較して、マルチカメラクリップインスタンスにユーザ作業を適用するときに特定の環境で様々なデフォルト値を使用する。例えば、いくつかの実施形態は、トリムされる編集境界が2つのクリップインスタンス間のスルー編集であるとき、クリップに様々なデフォルトのトリム編集を適用する。トリム編集は、いくつかの実施形態において、2つのクリップ間の編集ポイントを変更する編集である。編集境界に適用されたトリム編集の例には、リプル編集(編集境界でクリップの一方だけの継続時間を変更する)及びロール編集(クリップの一方の継続時間を増やし、それに対応して他のクリップの継続時間を減らす)が挙げられる。他のトリム編集には、スライド編集(タイムラインの選択されたクリップを移動させて、選択されたクリップの一方の側のクリップの継続時間が減少し、選択されたクリップの他方の側のクリップの継続時間が増大するようにする)並びにスリップ編集(タイムラインのクリップを移動させずに選択メディアクリップのインポイント及びアウトポイントを変更する)が挙げられる。
図53及び図54は、編集ポイントがスルー編集である、2つの標準メディアクリップと2つのマルチカメラクリップ参照との間の編集ポイントに適用されたデフォルトトリム編集の違いを示す。いくつかの実施形態において、ユーザが、カーソルを編集ポイントの近くに置いたとき、メディア編集アプリケーションは、ユーザがその境界でトリム編集(例えば、リプル編集)を行ないたいと想定する。更に、ユーザは、トリムツールを選択することができ、トリムツールは、クリップの様々な部分の上でカーソルを移動させることによって、複数の異なるトリム編集(例えば、前述のようなリップル、ロール、スリップ、スライド)にアクセスすることができる。以下の図は、いくつかの実施形態にトリムツールが選択されないときのデフォルトトリム編集の違いを示す。
図53は、複合表示領域5300の3つの段階5310〜5330にわたって、デフォルトトリム編集を標準メディアクリップへのリプル編集として示し、図54は、複合表示領域5400の3つの段階5410〜5430にわたって、デフォルトのトリム編集をマルチカメラメディアクリップインスタンスに対するロール編集として示す。
図53の第1の段階5310で、ユーザは、2つのクリップ5305と5315間で編集ポイントを選択した。これらのクリップは、オーディオ及びビデオコンポーネントを有する標準メディアクリップである(例えば、図8のクリップ805)。編集ポイントにあるカーソルは、ユーザがカーソルを左側に移動させるときにリプル編集インジケータを示す。第2の段階5320は、ユーザが編集ポイントを約2秒左側に移動させたときの複合表示領域5300を表示し、第3の段階5330は、ユーザが編集ポイントを解放しトリム編集を完了した後の複合表示領域5300を示す。メディア編集アプリケーションが、デフォルトでリプル編集のとき、これにより、クリップ5305のトリム範囲が減少する。クリップ5315のデータ構造は影響を受けないが、クリップは、クリップ5305が短縮される結果としてタイムライン内の前方で始まる。
図54の第1の段階で、ユーザは、2つのマルチカメラメディアクリップインスタンス5405と5415の間で編集ポイントを選択する。これらのクリップインスタンスは両方とも、同じマルチカメラ参照クリップを参照し、スルー編集によって分離される。したがって、ユーザが、段階5410で2つのクリップ間の編集ポイントを選択するとき、メディア編集アプリケーションは、デフォルトでリプル編集ではなくロール編集を使用する。ユーザが、段階5420で編集ポイントを左側に移動させるとき、クリップ5405の継続時間が減少し、クリップ5415の継続時間が増大する。第3の段階5430は、ユーザが編集ポイントを解除しトリム編集を完了した後の複合表示領域5400を示す。メディア編集アプリケーションが、デフォルトでロール編集なので、変更によって、クリップ5405のトリム範囲が減少し(アウトポイントが参照クリップ内の前方に移動する)、クリップ5415のトリム範囲が増加する(これに対応して、インポイントが参照クリップ内の前方に移動する)。第2のクリップ5415の範囲が、第1のクリップ5405の範囲の終了直後に始まるので、2つのクリップ間の編集ポイントは、スルー編集のままである。ユーザが、この境界にリプル編集を適用した場合、クリップが参照クリップのタイムラインの後でなくなるので、編集は、スルー編集でなくなる。
VI.クリップインスタンスの描画
以上の節では、マルチカメラクリップインスタンスを使用したメディアプロジェクトの編集について述べた。メディアプロジェクトの出力画像を生成するために、アプリケーションは、各フレームの画像をプレゼンテーション内に描画する。これらのフレームの頻度は、メディアプロジェクトに指定されたフレームレートに依存する(例えば、図4に示されたような)。メディアプロジェクト内の特定のフレームの画像を描画するために、アプリケーションは、最初に、その時使用するメディアクリップ又はクリップを特定する。メディアプロジェクト内の時間が、複数のレーンにクリップを有するとき、即ち複数のレーン内にクリップを有する複合クリップを有するとき、複数のソース画像を必要とすることがある。複合プレゼンテーションに一致するフレームレート(典型的には、アセットを介してビデオクリップによって参照されたソースビデオファイルから得られた)を有する標準ビデオクリップから画像を描画するために、アプリケーションは、要求されたフレームに対応するクリップにおける時間からソース画像を特定し、フレームを読み出し復号し、クリップのエフェクトスタック内の任意のエフェクト(例えば、変換、画素値変更など)を適用する。そのような描画操作は、2011年5月19日に出願され「Media−Editing Application with Multiple Resolution Modes」と題する米国特許出願第13/111,895号に詳細に述べられており、この出願は、参照により本明細書に組み込まれる。
ビデオクリップのフレームレートが、メディアプロジェクトのフレームレートと一致しないとき、いくつかの実施形態は、2011年8月25日に出願され「Rate Conform Operation for a Media−Editing Application」と題する米国特許出願第13/218,407号に記載されたように、ビデオクリップからの複数のソース画像を使用してレート適合エフェクトを実行し、この出願は、参照により本明細書に組み込まれる。更に、ビデオクリップのビデオプロパティ(例えば、フォーマット及び/又は寸法)が、メディアプロジェクトのビデオプロパティと一致しないとき、いくつかの実施形態は、出願第13/218,407号に記載されたように、クリップに空間適合エフェクトを適用する。これらのエフェクトは、いくつかの実施形態においてメディアクリップのエフェクトスタックに記憶され、画像が検索され復号された後で適用される。
しかしながら、クリップインスタンスは、コンポーネントクリップ又はアセットへの参照を直接含まないが、その代りに、イベントに記憶された参照クリップ(クリップ自体がコンポーネントクリップ及びアセット参照を含む)を参照する。クリップインスタンスは、それ自体のエフェクトスタックを記憶してもよく、マルチカメラクリップインスタンスの場合は、マルチカメラ参照クリップにおける異なるアングルのために様々なエフェクトスタックを記憶してもよい。更に、参照クリップ自体に適用されるエフェクトがあってもよい。マルチカメラ参照クリップ又は複合参照クリップの場合、参照クリップに含まれるクリップは、それ自体のエフェクトスタックを有してもよい。更に、ソース画像が、第1組のビデオプロパティを有し、参照クリップが、第2組のビデオプロパティを有し、クリップインスタンスを含むメディアプロジェクトが、第3組のビデオプロパティを含んでもよい。したがって、いくつかの実施形態のメディア編集アプリケーションは、各出力画像を描画するために、適合エフェクトを含むエフェクトスタックの複数レイヤを適用しなければならないことがある。
図55は、メディアプロジェクト内のマルチカメラクリップインスタンスから画像を描画するいくつかの実施形態のプロセス5500を概念的に示す。図56及び図57を参照してプロセス5500を説明する。図56は、マルチカメラクリップインスタンス5605を含む種々のメディアクリップを含むメディアプロジェクト5600のタイムラインを概念的に示す。図57は、メディアプロジェクト5600の特定画像のレンダーグラフ5700を概念的に示す。マルチカメラクリップインスタンス5605は、マルチカメラ参照クリップ5610を参照し、「アングル2」のアクティブビデオアングルを有する。マルチカメラ参照クリップ5610は、ビデオアングル「アングル2」内に、特定のクリップ5615を含む種々のメディアクリップを含む。
プロセス5500は、最初に、マルチカメラクリップインスタンス内の特定時間の画像を描画する要求を受け取る(5505で)。いくつかの実施形態のメディア編集アプリケーションは、種々の理由のために描画画像を要求する。ユーザが、複合表示領域内のメディアプロジェクト又は複合クリップをスキミングするか、又はメディアプロジェクトの再生を開始するとき、アプリケーションは、適切な表示領域に出力する画像を描画する。更に、いくつかの実施形態は、そのときに描画する必要がなく画素を将来利用可能にするために、処理及びメモリリソースが利用可能なときに背景に画像を描画する。ユーザは、また、(例えば、記憶領域に、ウェブサイトにアップロードなどするためになど)エクスポート用のメディアプロジェクトを描画することを要求する可能性がある。
図56は、メディアプロジェクト5600の上の再生ヘッド5620を示し、再生ヘッド5620は、マルチカメラクリップインスタンス5605内の特定時間を示す。このクリップインスタンス5605は、マルチカメラ参照クリップ5610のインスタンスであり、このインスタンスは、フレームレート30fpsの720pビデオフォーマットを有し、変換エフェクトとカラー化エフェクトとの両方が適用される。レンダーグラフ5700は、クリップインスタンス5605内でこの特定時間に所望の出力画像に達するようにソース画像に適用される操作を示す。
次に、プロセス5500は、クリップインスタンスのアクティブビデオアングルを特定する(5510で)。いくつかの実施形態において、アプリケーションは、アクティブビデオアングルを、クリップインスタンスのデータ構造の変数として記憶する。図56に示された例では、クリップインスタンス5605のアクティブビデオアングルは、「アングル2」である。
アクティブビデオアングルが特定された状態で、プロセスは、クリップインスタンスによって参照されるマルチカメラ参照クリップのアクティブアングル内の特定時間のビデオクリップ及びアセットを特定する(5515で)。メディアプロジェクトにおいて要求される特定時間は、マルチカメラ参照クリップ内の特定時間に対応する。前述のように、いくつかの実施形態のマルチカメラ参照クリップは、1組のアングルを有し、アングルはそれぞれ、順序付けられたクリップグループである。したがって、各アングルは、特定の要求時間に対応するクリップを有する(このクリップはギャップクリップでもよい)。このクリップは、メディアアセットを参照するビデオコンポーネントを有する。クリップが複合クリップの場合、クリップは、複合クリップ内に含まれる様々なクリップによって複数のアセットを参照することがある。図56の例では、マルチカメラ参照クリップ5610内のアクティブアングルが、要求時間にクリップ5615を含む。図示されたように、このクリップ5615は、フレームレート30fpsの1080pビデオフォーマットを有し、色補正エフェクトが適用された。
次に、プロセス5500は、ビデオクリップ内の要求時間に対応するメディアファイルから画像を検索し復号する(5520で)。5515で特定されたメディアアセットは、実際のビデオ画像を記憶するメディアファイルへの参照を含む。これらの画像は、符号化形式で記憶されることが多く、したがって、メディア編集アプリケーションは、デコーダを使用して画像を復号し、画像を表す1組の画素に達する。図57に示されたように、レンダーグラフ5700は、クリップ5615によって参照されるメディアアセットからの復号化1920×1080ビットマップ画像で始まる。
画像が検索された状態で、プロセスは、復号化画像へのマルチカメラ参照クリップ内のクリップに任意のビデオエフェクトを適用する(5525で)。いくつかの実施形態において、参照クリップ(又は、参照クリップ内のクリップ)へのエフェクトは、クリップインスタンスへのエフェクトより前に適用される。更に、いくつかの実施形態は、参照クリップエフェクトを適用した後で、検索された画像を参照クリッププロパティに適合させる。図56で、クリップ5615は、色補正エフェクトを有し、したがって、アプリケーションは、この色補正エフェクトを適用する。レンダーグラフ5700に示されたように、検索されたビットマップのノード5705は、色補正ノード5710に進み、クリップ5615にこのエフェクトを適用する。この色補正ノードは、ユーザによって定義されたエフェクト(例えば、入力画素値を出力画素値のマッピング)のパラメータを含む。
次に、プロセスは、画像をマルチカメラクリップの空間プロパティに適合させるのに必要な空間適合エフェクトを適用する(5530で)。マルチカメラ参照クリップが、検索された画像と同じ空間ビデオプロパティを有する場合、空間適合エフェクトは不要である。空間プロパティが異なるとき、メディア編集アプリケーションは、要求されたサイズ(この場合は、参照クリップのサイズ)の画像を生成するために空間適合エフェクトを適用する。画像のアスペクト比が異なるとき、アプリケーションは、検索された画像の全体を出力画像(ピラーボックス又はレターボックスを有する)に適合させるか、又は出力画像の全体を満たすことができる(検索された画像の一部を切り取る)。いくつかの実施形態の空間適合エフェクトの詳細な考察は、前に参照により組み込まれた米国特許出願第13/218,407号に見ることができる。
マルチカメラ参照クリップ内のタイムアライメントを保存するために、いくつかの実施形態は、含まれるビデオクリップを参照クリップのフレームレートに時間的に適合させない。他方、いくつかの実施形態は、フレームサンプリング又はブレンディングなどの時間保存レート適合エフェクトを使用するが、クリップの速度を増減するレート適合エフェクトの使用を回避する。様々なレート適合技術の詳細な検討は、米国特許出願第13/218,407号に見ることができる。
クリップ5615は、1080pビデオフォーマット(方形画素で1920×1080画像)を有し、クリップ5615を含む参照クリップ5610は、720pビデオフォーマット(方形画素で1280×720画像)を有し、したがって、アプリケーションは、1920×1080画像を1280×720にスケール変更するために空間適合エフェクトを適用する。したがって、レンダーグラフ5700内の次の操作は、入力画像を2/3(0.67)倍にスケール変更する変換ノードである。このノード5715の出力は、1280×720ビットマップになる。
図55に戻ると、プロセス5500は、次に、画像に、マルチカメラインスタンスクリップ内のアクティブアングルに任意のビデオエフェクトを適用する(5535で)。前述のように、いくつかの実施形態は、マルチカメラ参照クリップのアングルごとに、クリップインスタンスにビデオエフェクトスタックを記憶する。プロセスは、アクティブアングルのエフェクトスタックを特定し、このスタック内の任意のエフェクトを適用する。図56で、クリップ5605のアクティブアングル(「アングル2」)に、カラー化エフェクト及び変換エフェクトが適用される。したがって、レンダーグラフ5700は、カラー化エフェクトのためのノード5720、及び変換動作のためのノード5725を有する。いくつかの実施形態は、これらの2つの操作の順序を切り替えて、変換5715を変換動作5725と組み合わせる。変換エフェクト5725が画像を拡大する場合、これらの操作を組み合わせることにより、画像をダウンスケールし次にその後で画像をアップスケールすることによって引き起こされる解像度の低下が回避される。しかしながら、いくつかの実施形態は、参照クリップ内で適用されるエフェクトを、アクティブアングルに適用されるエフェクトから分離する。
最後に、プロセス5500は、空間及び時間エフェクトを画像に適用して、その画像をマルチカメラクリップインスタンスを含むメディアプロジェクトの空間プロパティ及びフレームレートに適合させ(5540で)、終了する。マルチカメラ参照クリップの空間プロパティが、メディアプロジェクトのものと同じとき、空間適合エフェクトは必要ない。あるいは、空間適合エフェクトは、操作5530について前述したように適用される。参照クリップとメディアプロジェクトのフレームレートが一致しないとき、アプリケーションは、レート適合エフェクトを適用する。いくつかの実施形態において、出力画像がソース画像のうちの2つの混合物なので、レート適合エフェクトは、実際にソースビデオファイルから複数フレームを必要とする。他のレート適合エフェクトは、1つの画像しか必要としない。前述したように、様々なレート適合技術の技術な説明は、米国特許出願第13/218,407号に見ることができる。図56の場合、参照クリッププロパティ(720p,30fps)が、メディアプロジェクトのものと一致し、したがって、適合エフェクトは必要ない。したがって、操作5725の出力は、メディアプロジェクトの要求画像である。
当業者は、いくつかの実施形態において、メディア編集アプリケーションが、画像を検索せず、次に参照クリップからどのエフェクトを適用するかを決定し、次にそれらのエフェクトを適用し、次にクリップインスタンスからどのエフェクトを適用するかを決定し、次にそれらのクリップインスタンスエフェクトを適用することを理解するであろう。その代わりに、アプリケーションは、グラフ5700などのレンダーグラフを構築し、次に画像を検索し復号化し、レンダーグラフ操作を復号化画像に適用し始める。これにより、アプリケーションは、可能なときにエフェクトを組み合わせて、画素を繰り返し再サンプリングするのを回避することができる。例えば、変換エフェクトと適合エフェクトとの両方とも画像に適用される場合、いくつかの実施形態は、これらの操作を組み合わせる。いくつかの実施形態の描画操作のより詳細な考察は、前の参照により組み込まれた米国特許出願第13/111,895号に見ることができる。
図55〜図57は、マルチカメラクリップを参照するマルチカメラクリップインスタンスの描画について述べた。当業者は、類似の法則が、参照クリップが個別のクリップか複合クリップなどかに関係なく、参照クリップのインスタンスとして実施される他のクリップにも適用されることなどを理解するであろう。いくつかの実施形態は、最初に参照クリップ又は参照クリップに含まれるクリップにエフェクトを適用し、その後でクリップインスタンスにエフェクトを適用することによって、そのようなクリップを描画する。
VII.ソフトウェアアーキテクチャ
いくつかの実施形態において、前述のプロセスは、コンピュータ又はハンドヘルド装置などの特定のマシン上で動作するか又はマシン可読媒体内に記憶されたソフトウェアとして実施される。図58は、いくつかの実施形態のメディア編集アプリケーション5800のソフトウェアアーキテクチャを概念的に示す。いくつかの実施形態において、メディア編集アプリケーションは、独立型アプリケーションであるか又は別のアプリケーションに一体化され、他の実施形態において、アプリケーションは、オペレーティングシステム内で実施されてもよい。更に、いくつかの実施形態において、アプリケーションは、サーバベースソリューションの一部として提供される。いくつかのそのような実施形態において、アプリケーションは、シンクライアントによって提供される。即ち、アプリケーションは、サーバ上で動作し、ユーザは、サーバからリモートの別個のマシンを介してアプリケーションと対話する。他のそのような実施形態において、アプリケーションは、シッククライアントによって提供される。即ち、アプリケーションは、サーバからクライアントマシンに分配され、クライアントマシン上で動作する。
メディア編集アプリケーション5800は、ユーザインタフェース(UI)対話生成モジュール5805、メディア取り込みモジュール5810、編集モジュール5815、タイムラインジェネレータ、アングルビューワジェネレータ5827、レンダリングエンジン5825、再生モジュール5830を含む。図は、また、メディア編集アプリケーションと関連付けられた記憶データ、即ち、ソースファイル5835、イベントデータ5840、プロジェクトデータ5845、及び描画ファイル5850を示す。
いくつかの実施形態において、ソースファイル5835は、アプリケーションにインポートされたメディアファイル(例えば、ビデオファイル、オーディオファイル、組み合わせビデオ及びオーディオファイルなど)を記憶する。イベントデータ5840は、マルチカメラ参照クリップを含むクリップライブラリ及びクリップブラウザをポピュレートするためにいくつかの実施形態によって使用されるイベント情報を記憶する。イベントデータは、いくつかの実施形態において、1つ以上のSQLiteデータベースファイル(又は、他のフォーマット)として記憶された1組のクリップオブジェクトデータ構造でよい。プロジェクトデータ5845は、タイムライン内で複合プレゼンテーションを指定するためにいくつかの実施形態によって使用されるプロジェクト情報を記憶する。プロジェクトデータは、また、いくつかの実施形態において、1つ以上のSQLiteデータベースファイル(又は、他のフォーマット)として記憶された1組のクリップオブジェクトデータ構造でよい。そのようなクリップオブジェクトデータ構造は、イベントデータ5840内に記憶されたマルチカメラ参照クリップを参照するマルチカメラクリップインスタンス、並びにイベントデータ5840に記憶されたアセットデータ構造を参照する他のクリップオブジェクトを含む。いくつかの実施形態の描画ファイル5850は、クリップブラウザ又はタイムライン内に表示するためのサムネイルサイズ画像、メディアクリップのオーディオ波形表示、並びに再生中に使用されるタイムラインシーケンスの描画セグメントを含んでもよい。
いくつかの実施形態において、4組のデータ5835〜5850が、物理記憶装置(例えば、内部ハードディスク、外部ハードディスクなど)に記憶される。いくつかの実施形態において、データは、複数の物理記憶装置の間で分割されてもよい。例えば、ソースファイルが、イベントデータ、プロジェクトデータと共に外部ハードディスクに記憶され、描画ファイルが、内部ドライブに記憶されてもよい。いくつかの実施形態は、イベントデータをその関連付けられたソースファイル及び描画ファイルと共に1組のフォルダに記憶し、プロジェクトデータを関連付けられた描画ファイルと共に別個の1組のフォルダに記憶する。
図58は、また、入力装置ドライバ5860、ディスプレイモジュール5865及びメディアインポートモジュール5870を含むオペレーティングシステム5855を示す。いくつかの実施形態において、図示されたように、デバイスドライバ5860、ディスプレイモジュール5865及びメディアインポートモジュール5870は、メディア編集アプリケーション5800がオペレーティングシステムと別個のアプリケーションのときでもオペレーティングシステムの一部である。
入力装置ドライバ5860は、キーボード、マウス、タッチパッド、タブレット、タッチスクリーンなどからの信号を変換するためのドライバを含むことがある。ユーザは、これらの入力装置のうちの1つ以上と対話し、これらの入力装置は、信号をその対応するデバイスドライバに送る。次に、デバイスドライバは、信号を、UI対話生成モジュール5805に提供されるユーザ入力データに変換する。
本出願は、異なる組の動作及び機能を実行する多数の方法をユーザに提供するグラフィカルユーザインタフェースについて述べる。いくつかの実施形態において、これらの動作及び機能は、様々な入力装置(例えば、キーボード、トラックパッド、タッチパッド、マウスなど)を介してユーザから受け取った様々なコマンドに基づいて実行される。例えば、本出願は、グラフィカルユーザインタフェース内のカーソルを使用してグラフィカルユーザインタフェース内のオブジェクトを制御する(例えば、選択し、移動させる)ことを示す。しかしながら、いくつかの実施形態において、グラフィカルユーザインタフェース内のオブジェクトを、タッチ制御などの他の制御によって制御又は操作することもできる。いくつかの実施形態において、タッチ制御は、装置のディスプレイ上のタッチの存在及び位置を検出することができる入力装置によって実現される。そのような装置の一例は、タッチスクリーン装置である。いくつかの実施形態において、タッチ制御によって、ユーザは、タッチスクリーン装置のディスプレイ上に表示されたグラフィカルユーザインタフェースとの対話によって、オブジェクトを直接操作することができる。例えば、ユーザは、タッチスクリーン装置のディスプレイ上の特定のオブジェクトにタッチするだけで、グラフィカルユーザインタフェース内の特定のオブジェクトを選択することができる。したがって、タッチ制御が利用されるとき、いくつかの実施形態において、グラフィカルユーザインタフェースのオブジェクトの選択を可能にするためにカーソルが提供されなくてもよい。しかしながら、グラフィカルユーザインタフェース内にカーソルが提供されるとき、いくつかの実施形態において、タッチ制御を使用してカーソルを制御することができる。
ディスプレイモジュール5865は、ディスプレイ装置用のユーザインタフェースの出力を変換する。即ち、ディスプレイモジュール5865は、何を表示すべきかを示す信号(例えば、UI対話生成モジュール5805から)を受け取り、それらの信号をディスプレイ装置に送られる画素情報に変換する。ディスプレイ装置は、LCD、プラズマスクリーン、CRTモニタ、タッチスクリーンなどでよい。
メディアインポートモジュール5870は、メディア編集アプリケーション5800が動作する装置の1つ以上のポート(例えば、USBポート、Firewireポートなど)を介して記憶装置(例えば、外部ドライブ、記録装置など)からメディアファイル(例えば、オーディオファイル、ビデオファイルなど)を受け取り、ここのメディアデータをメディア編集アプリケーションのために変換するか、又はデータを装置の記憶装置に直接記憶する。
メディア編集アプリケーション5800のUI対話生成モジュール5805は、入力装置ドライバから受け取ったユーザ入力データを解釈し、そのデータを、メディア取り込みモジュール5810、編集モジュール5815、タイムラインジェネレータ5820、アングルビューワジェネレータ5827、レンダリングエンジン5825及び再生モジュール5830を含む様々なモジュールに渡す。UI対話モジュールは、また、メディア編集アプリケーションGUIの表示を管理し、この表示情報をディスプレイモジュール5865に出力する。このUI表示情報は、編集モジュール5815、タイムラインジェネレータ5820、アングルビューワジェネレータ5827、再生モジュール5830、データ5835〜5850などからの情報に基づいてもよい。更に、モジュール5805は、ユーザ入力だけに基づいて、例えば、ユーザが、ウィンドウをUIの一方の側から他方に移動させたり、クリップブラウザ及びクリップライブラリの相対サイズを変更したりするなどの、他のモジュールのいずれよりも表示だけに影響を及ぼすUI内の項目を移動させるときに、UIの一部分を生成することがある。いくつかの実施形態において、UI対話生成モジュール5805は、基本GUIを生成し、そのGUIを他のモジュールからの情報及び記憶データでポピュレートする。
メディア取り込みモジュール5810は、メディア編集アプリケーション5800へのソースメディアのインポートを管理する。いくつかの実施形態は、図示されたように、オペレーティングシステム5855のメディアインポートモジュール5870からソースメディアを受け取る。メディア取り込みモジュール5810は、どのファイルをインポートすべきかについてUIモジュール5805を介して命令を受け取り、次にメディアインポートモジュール5870に指示して、(例えば、外部ドライブ、カメラなどからの)このインポートを可能にする。いくつかの実施形態のメディア取り込みモジュール5810は、これらのソースファイル5835を、アプリケーションと関連付けられた特定のファイルフォルダに記憶する。いくつかの実施形態において、メディア取り込みモジュール5810は、また、ソースファイルのインポート時のイベントデータ構造の作成、並びにイベントに含まれるクリップ及びアセットデータ構造の作成を管理する。
編集モジュール5815は、クリップブラウザ並びにタイムライン内のメディアを編集するための様々なモジュールを含む。編集モジュール5815は、プロジェクトの作成、プロジェクトからクリップの追加及び削減、タイムライン内のトリミング若しくは他の編集処理、エフェクト及びトランジションの適用、又は他の編集処理を操作する。いくつかの実施形態において、編集モジュール5815は、イベントデータ1980とプロジェクトデータ5845との両方においてプロジェクト及びクリップデータ構造を作成し変更する。
いくつかの実施形態の編集モジュール5815は、クリップ、メディアプロジェクトなどを編集するモジュールを含む。編集モジュールは、メディアプロジェクトを作成し、プロジェクト内のクリップをトリムし、クリップにエフェクトを適用し、他の操作を行う。いくつかの実施形態において、編集モジュールは、イベントデータ5840及びプロジェクトデータ5845を変更する。編集モジュール5815は、自動マルチカメラクリップ作成(例えば、クリップのアングルへの割り当て、アングルの順序付けと配列、及びアングルの割り当て)を実行するマルチカメラ作成モジュール5817を含む。更に、編集モジュール5815を使用して、アングルエディタでマルチカメラ参照クリップを手動で編集することができる。
タイムラインジェネレータ5820は、要求されたメディアプロジェクト、複合クリップ、マルチカメラ参照クリップなどに基づいて、複合表示領域に表示するタイムラインを生成する。例えば、ユーザが、アングルエディタ内にマルチカメラ参照クリップを表示させることを要求したとき、タイムラインジェネレータ5820は、イベントデータ5840から参照クリップ情報を検索し、クリップの異なるアングルのトラックの表示を生成する。次に、タイムラインジェネレータ5820は、生成されたタイムラインを、UIに組み込むためにUI対話生成モジュール5805に渡す。
アングルビューワジェネレータ5823は、マルチカメラ参照クリップに基づいて、GUI内に表示するアングルビューワを生成する。アングルビューワジェネレータは、アングルエディタ内で編集されるか又はユーザがスキミングしているインスタンスクリップが参照する参照クリップのデータを要求する。参照クリップに基づいて、アングルビューワジェネレータ5823は、バンク及びプレビュー表示を生成し、次に再生モジュール5830からプレビュー表示に適切な出力画像を要求する。
レンダリングエンジン5825は、メディア編集アプリケーション用の画像を描画を処理する。図示されたように、いくつかの実施形態のレンダリングエンジン5820は、レンダーグラフジェネレータ5821、スケジューラ5822、及び画像処理操作5823を含む。レンダリングエンジンは、メディア編集アプリケーション用の画像の作成を管理する。画像が、アプリケーション(例えば、再生モジュール5830、エンコーダ、解析エンジンなど)内のディスティネーションによって要求されたとき、レンダリングエンジンは、要求された画像をプロジェクト又はイベントのデータにしたがって出力する。レンダリングエンジンは、要求画像を作成する方法を特定するプロジェクトデータ又はイベントデータを検索し、レンダーグラフジェネレータ5821は、ソースファイル5835から検索する画像又は検索した画像に行う操作を特定する1連のノードであるレンダーグラフを生成する。スケジューラ5822は、ディスク読出し操作による必要画像の検索、及びそのような画像の復号化をスケジューリングする。画像処理動作5823は、出力画像を生成するために画像に行われる様々な操作である。いくつかの実施形態において、これらの操作には、混合操作、エフェクト(例えば、ボケ又は他の画素値変更操作、変形、適合エフェクトなど)、カラー空間変換などが挙げられる。いくつかの実施形態における画像処理動作5823は、実際に、オペレーティングシステムの一部であり、アプリケーション5800が動作する装置のGPU又はCPUによって実行される。レンダリングエンジンの出力(描画画像)は、描画ファイル5850に記憶されてもよく、追加の処理又は出力のためにディスティネーションに送られてもよい。
再生モジュール5830は、(例えば、ユーザインタフェースのプレビュー表示領域内、又はアングルビューワのプレビュー表示のうちの1つのプレビュー表示内)画像の再生を処理する。いくつかの実施形態は、再生モジュールを含んでおらず、レンダリングエンジンは、その画像を、GUIに組み込むためにUI対話生成モジュール5805に直接出力するか、又はディスプレイ装置の特定部分に表示するためにディスプレイモジュール5865に直接出力する。
メディア編集アプリケーション5800の特徴の多くが、1つのモジュール(例えば、UI対話生成モジュール5805、メディア取り込みモジュール5810など)によって実行されるように述べたが、当業者は、本明細書で述べた機能が複数のモジュールに分割されてもよいことを理解するであろう。同様に、複数の異なるモジュールによって実行されるように述べた機能は、いくつかの実施形態において単一モジュールによって実行されてもよい(例えば、再生モジュール5830、アングルビューワジェネレータ5827、及びタイムラインジェネレータ5820がすべて、UI対話生成モジュール5805の一部分でもよく、エフェクトが別個に記憶されるときでも単一モジュールを使用して変換並びに空間適合が実行されてもよい)。
VIII.電子システム
前述の機能及びアプリケーションの多くは、コンピュータ可読記憶媒体(コンピュータ可読媒体とも呼ばれる)に記録される命令セットとして指定されるソフトウェアプロセスとして実現される。これらの命令が、1つ以上の計算又は処理ユニット(例えば、1つ以上のプロセッサ、プロセッサのコア、又は他の処理ユニット)によって実行されるとき、それらの命令は、処理ユニットに、命令に示されたアクションを実行させる。コンピュータ可読媒体の例には、CD−ROM、フラッシュドライブ、ランダムアクセスメモリ(RAM)チップ、ハードディスク、消去可能プログラム可能な読出し専用メモリ(EPROM)、電気的消去可能プログラム可能な読み出し専用メモリ(EEPROM)などがあるが、これらに限定されない。コンピュータ可読媒体は、無線によって又は有線接続により進行する搬送波及び電子信号を含まない。
この明細書では、用語「ソフトウェア」は、プロセッサによって処理するためにメモリに読み込むことができる、読み出し専用メモリ内に存在するファームウェア又は磁気記憶装置に記憶されたアプリケーションを含む。また、いくつかの実施形態において、複数のソフトウェア発明は、別個のソフトウェア発明をそのままにしながら、より大きいプログラムの下位区分として実施されてもよい。いくつかの実施形態において、複数のソフトウェア発明を別個のプログラムとして実行することもできる。最後に、本明細書で述べたソフトウェア発明を一緒に実行する別個のプログラムの如何なる組み合わせも本発明の範囲内である。いくつかの実施形態において、ソフトウェアプログラムは、1つ以上の電子システム上で動作するようにインストールされたとき、ソフトウェアプログラムの動作を実行し行なう1つ以上の特定のマシン実装を定義する。
図59は、本発明のいくつかの実施形態が実現される電子システム5900を概念的に示す。電子システム5900は、コンピュータ(例えば、デスクトップコンピュータ、パーソナルコンピュータ、タブレットコンピュータなど)、電話、PDA、又は他の種類の電子若しくはコンピューティング装置でよい。そのような電子システムは、様々なタイプのコンピュータ可読媒体、及び様々な他のタイプのコンピュータ可読媒体のためのインタフェースを含む。電子システム5900は、バス5905、処理ユニット5910、グラフィクス処理ユニット(GPU)5915、システムメモリ5920、ネットワーク5925、読み出し専用メモリ5930、永久記憶装置5935、入力装置5940及び出力装置5945を含む。
バス5905は、電子システム5900の多数の内部装置を通信で接続する全てのシステム、周辺装置及びチップセットバスを集合的に表す。例えば、バス5905は、処理ユニット5910を、読み出し専用メモリ5930、GPU 5915、システムメモリ5920、及び永久記憶装置5935と通信で連絡する。
これらの様々なメモリユニットから、処理ユニット5910は、本発明のプロセスを実行するために実行すべき命令及び処理すべきデータを検索する。処理ユニットは、異なる実施形態において、シングルプロセッサ又はマルチコアプロセッサでよい。いくつかの命令は、GPU 5915に渡され、GPU 5915によって実行される。GPU 5915は、様々な計算をオフロードしたり、処理ユニット5910によって提供された画像処理を補完したりすることができる。いくつかの実施形態において、そのような機能は、CoreImageのカーネルシェーディング言語を使用して提供されてもよい。
読み出し専用メモリ(ROM)5930は、処理ユニット及び5910電子システムの他のモジュールによって必要とされる静的データ及び命令を記憶する。他方、永久記憶装置5935は、読み書きメモリ装置である。この装置は、電子システム5900がオフででも、命令及びデータを記憶する不揮発性メモリユニットである。本発明のいくつかの実施形態は、永久記憶装置5935として大容量記憶装置(磁気又は光ディスク、及びその対応するディスクドライブなど)を使用する。
他の実施形態は、永久記憶装置としてリムーバブル記憶装置(フロッピディスク、フラッシュメモリデバイスなど、及びその対応ドライブ)を使用する。永久記憶装置5935と同様に、システムメモリ5920は、読み書きメモリ装置である。しかしながら、記憶装置5935と異なり、システムメモリ5920は、ランダムアクセスメモリなどの揮発性読み書きメモリである。システムメモリ5920は、実行時間にプロセッサが必要とする命令及びデータのうちのいくつかを記憶する。いくつかの実施形態において、本発明のプロセスは、システムメモリ5920、永久記憶装置5935、及び/又は読み出し専用メモリ5930に記憶される。例えば、様々なメモリユニットは、いくつかの実施形態によれば、マルチメディアクリップを処理する命令を含む。これらの様々なメモリユニットから、処理ユニット5910は、いくつかの実施形態のプロセスを実行するために実行する命令及び処理するデータを検索する。
バス5905は、また、入力装置5940及び出力装置5945に繋がる。ユーザは、入力装置5940によって、電子システムに情報及び選択コマンドを送ることができる。入力装置5940には、英数字キーボード及びポインティングデバイス(「カーソル制御デバイス」とも呼ばれる)、カメラ(例えば、ウェブカメラ)、音声コマンドを受けるマイクロフォン又は類似の装置などが挙げられる。出力装置5945は、電子システムによって生成された画像を表示するか、又はデータを他の方法で出力する。出力装置5945には、プリンタ、陰極線管(CRT)又は液晶ディスプレイ(LCD)などのディスプレイ装置、並びにスピーカ又は類似のオーディオ出力装置が挙げられる。いくつかの実施形態には、入力装置と出力装置との両方として機能するタッチスクリーンなどのデバイスを含む。
最後に、図59に示されたように、バス5905は、ネットワークアダプタ(図示せず)を介して電子システム5900をネットワーク5925に結合する。このように、コンピュータは、コンピュータのネットワークの一部(ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、又はイントラネットなど)、又はインターネットなどのネットワークのネットワークでよい。電子システム5900のいずれか又はすべてのコンポーネントが、本発明で使用されてもよい。
いくつかの実施形態は、マイクロプロセッサ、マシン可読又はコンピュータ可読媒体(あるいは、コンピュータ可読記憶媒体、マシン可読媒体又はマシン可読記憶媒体と呼ばれる)にコンピュータプログラム命令を記憶する記憶装置及びメモリなどの電子構成要素を含む。そのようなコンピュータ可読媒体のいくつかの例には、RAM、ROM、読み出し専用コンパクトディスク(CD−ROM)、追記型コンパクトディスク(CD−R)、書き換え可能コンパクトディスク(CD−RW)、読み出し専用多目的ディスク(例えば、DVD−ROM、2層DVD−ROM)、様々な記録可能/書き換え可能DVD(例えば、DVD−RAM、DVD−RW、DVD+RWなど)、フラッシュメモリ(例えば、SDカード、ミニSDカード、マイクロSDカードなど)、磁気及び/又はソリッドステートハードディスク、読み出し専用記録可能Blu−Ray(登録商標)ディスク、超高密度光ディスク、任意の他の光学又は磁気メディア、及びフロッピディスクが挙げられる。コンピュータ可読媒体は、少なくとも1つの処理ユニットによって実行可能で、様々な操作を実行する命令セットを含むコンピュータプログラムを記憶してもよい。コンピュータプログラム又はコンピュータコードの例には、コンパイラによって作成されるようなマシンコード、及びインタープリタを使用してコンピュータ、電子構成要素又はマイクロプロセッサによって実行される高レベルコードを含むファイルが挙げられる。
上記の考察は、主に、ソフトウェアを実行するマイクロプロセッサ又はマルチコアプロセッサを参照しているが、いくつかの実施形態は、特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上の集積回路によって実行される。いくつかの実施形態において、そのような集積回路は、回路自体に記憶された命令を実行する。更に、いくつかの実施形態は、プログラマブルロジックデバイス(PLD)、ROM、又はRAMデバイスに記憶されたソフトウェアを実行する。
本出願のこの明細書及びクレームで使用されるとき、用語「コンピュータ」、「サーバ」、「プロセッサ」及び「メモリ」は全て、電子又は他の技術装置を参照する。これらの用語は、人々又は人々のグループを含まない。規定のため、用語「ディスプレイ又は表示」は、電子システム上の表示を意味する。本出願のこの明細書及びクレームで使用されるとき、用語「コンピュータ可読媒体」、「コンピュータ可読媒体」、及び「マシン可読媒体」は、コンピュータによって読み出し可能な形式で情報を記憶する有形な物理的物体に完全に制限される。これらの用語は、無線信号、有線でダウンロードされた信号、及び他の暫時信号を除外する。
本発明を多数の特定の詳細に関して述べたが、当業者は、本発明を、本発明の趣旨から逸脱しない他の特定の形式で実施できることを理解するであろう。更に、いくつかの図(図10、図12、図14、図16、図18、図26、図45及び図55を含む)は、プロセスを概念的に示す。これらのプロセスの具体的な操作は、図示され記述された厳密な順序で実行されなくてもよい。具体的な操作は、1つの連続した一連の操作で実行されなくてもよく、様々な具体的な操作が、異なる実施形態で実行されてもよい。更に、プロセスは、いくつかのサブプロセスを使用して、又はより大きいマクロプロセスの一部として実施されてもよい。したがって、当業者は、本発明が、以上の実例となる詳細によって制限されず、添付の特許請求の範囲によって定義されることを理解するであろう。

Claims (91)

  1. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    マルチカメラメディアクリップを作成するための複数のメディアクリップの選択を受け取る命令セットと、
    前記メディアクリップと共に記憶された、前記メディアクリップのソースを特定するメタデータに基づいて、前記クリップを前記マルチカメラメディアクリップ内の少なくとも2つの異なるグループに自動的に割り当てる命令セットと、
    前記マルチカメラメディアクリップの異なるグループごとに、前記割り当てられたクリップを、タイミングデータを使用して個別シーケンスに沿って自動的に順序付ける命令セットと、
    前記タイミングデータを使用して、前記マルチカメラメディアクリップの前記異なるグループの前記個別シーケンスを自動的に同期させる命令セットとを含む、コンピュータ可読媒体。
  2. 前記メディアクリップのソースを特定する前記メタデータが、複数の異なる装置のうちのどの装置によって各メディアクリップがキャプチャされたかを示す、ユーザ入力情報を含む、請求項1に記載のコンピュータ可読媒体。
  3. 前記メディア編集アプリケーションが、前記メディアクリップが参照するメディアファイルから前記メディアクリップのソースを特定する前記メタデータを導出する命令セットを更に含む、請求項1に記載のコンピュータ可読媒体。
  4. 特定のメディアファイルが、前記特定のメディアファイルをキャプチャした装置によって生成された特定情報を含む、請求項3に記載のコンピュータ可読媒体。
  5. 前記マルチカメラメディアクリップの第1のグループの前記割り当てられたクリップを順序付けるために使用される前記タイミングデータが、前記第1のグループの前記メディアクリップのコンテンツをキャプチャした第1の装置によって生成されたタイムコード情報を含む、請求項1に記載のコンピュータ可読媒体。
  6. 前記マルチカメラメディアクリップの第2のグループの前記割り当てられたクリップを順序付けるために使用される前記タイミングデータが、前記第2のグループの前記メディアクリップのコンテンツをキャプチャした第2の装置によって生成された日時情報を含む、請求項5に記載のコンピュータ可読媒体。
  7. 前記第1のグループの前記割り当てられたクリップの前記タイミングデータが、日時情報を更に含み、前記第1のグループの前記日時情報と前記第2のグループの前記日時情報が、前記マルチカメラメディアクリップの前記第1のグループ及び前記第2のグループを自動的に同期させるために使用される、請求項6に記載のコンピュータ可読媒体。
  8. 特定グループの前記割り当てられたクリップが、タイムコード情報と日時情報との両方を含み、前記割り当てられたクリップを自動的に順序付ける前記命令セットが、
    前記タイムコード情報が、前記特定グループの前記割り当てられたクリップを順序付けるために使用される第1組の基準を満たすかどうかを判定する命令セットと、
    前記タイムコード情報が前記第1組の基準を満たすときに、前記タイムコード情報を使用して、前記特定グループの前記割り当てられたクリップを順序付ける命令セットと、
    前記タイムコード情報が、前記第1組の基準を満たさないときに、前記日時情報が第2組の基準を満たすかどうかを判定する命令セットと、
    前記日時情報が前記第2組の基準を満たすときに、前記日時情報を使用して前記特定グループの前記割り当てられたクリップを順序付ける命令セットとを含む、請求項1に記載のコンピュータ可読媒体。
  9. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複数の異なるメディアクリップをマルチカメラメディアクリップの異なるシーケンスに割り当てる命令セットであって、各異なるシーケンスが、異なるソースからのメディアクリップを含む、命令セットと、
    前記メディアクリップのタイミングメタデータを使用して、異なるシーケンスに割り当てられたメディアクリップの初期同期を自動的に実行して、前記シーケンスを互いに同期させる、命令セットと、
    異なるシーケンスに割り当てられたメディアクリップのオーディオデータを比較することによって、前記メディアクリップの前記初期同期を自動調整する命令セットとを含む、コンピュータ可読媒体。
  10. 前記異なるグループがそれぞれ、異なるカメラによってキャプチャされたビデオクリップを含む、請求項9に記載のコンピュータ可読媒体。
  11. 第1のシーケンスの少なくとも1つのビデオクリップが、第2のシーケンスの第2のビデオクリップと同時にキャプチャされた、請求項10に記載のコンピュータ可読媒体。
  12. 前記メディア編集アプリケーションが、前記異なるシーケンスのそれぞれの内で前記メディアクリップを順序付ける命令セットを更に含む、請求項9に記載のコンピュータ可読媒体。
  13. 前記メディアクリップの前記初期同期を調整する前記命令セットが、
    第1のシーケンスの第1のメディアクリップを選択する命令セットと、
    前記初期同期後に前記第1のメディアクリップと時間が重複する第2の異なるシーケンスの第2のメディアクリップを特定する命令セットと、
    前記第1のメディアクリップと前記第2のメディアクリップのオーディオデータを使用して、前記第1のメディアクリップと前記第2のメディアクリップとの間の時間オフセットを特定する命令セットと、
    前記第2のメディアクリップを前記時間オフセットによって調整して、前記第2のメディアクリップのオーディオを前記第1のメディアクリップのオーディオと整合させる命令セットとを含む、請求項9に記載のコンピュータ可読媒体。
  14. 前記特定された時間オフセットが、前記第1のメディアクリップと前記第2のメディアクリップの前記オーディオデータ間のピーク相関関係を有するオフセットである、請求項13に記載のコンピュータ可読媒体。
  15. メディア編集アプリケーションを定義する方法であって、クリップごとに前記クリップのソースを特定するメタデータに基づいて、複数のメディアクリップを、マルチカメラメディアクリップ内の少なくとも2つの異なるグループに自動的に割り当てるモジュールを定義することと、
    前記クリップのタイミングデータを使用してクリップの各特定グループを別個のタイムラインに沿って自動的に順序付けるためのモジュールを定義することであって、前記タイミングデータが、同じフォーマットを有するクリップの特定グループに使用される、ことと、
    前記クリップの前記タイミングデータを使用して、クリップの前記異なるグループを前記マルチカメラメディアクリップの単一タイムラインに沿って自動的に同期させるためのモジュールを定義することと、を含む、方法。
  16. 1組の前記メディアクリップが、ビデオ画像データを参照するビデオクリップと、オーディオデータを参照するオーディオクリップとを含む、請求項15に記載の方法。
  17. 前記メディアクリップの前記オーディオデータを使用して前記異なるグループの前記同期を微調整するためのモジュールを定義することを更に含む、請求項16に記載の方法。
  18. 前記複数のメディアクリップのうちの少なくとも1つが静止画像であり、前記タイミングデータは、前記静止画像が装置によってキャプチャされたデータ及び時刻を示す、請求項15に記載の方法。
  19. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複数の異なるメディアクリップのソースに基づいて、前記複数の異なるメディアクリップをマルチカメラメディアクリップの異なるグループに割り当てる命令セットであって、前記複数のメディアクリップが、少なくとも1つのビデオクリップと少なくとも1つの静止画像クリップとを含む、命令セットと、
    割り当てられたメディアクリップのグループごとに、自動的に、
    前記メディアクリップの前記ソースによって生成されたタイミング情報を使用して、前記クリップをタイムラインに沿って順序付ける命令セットであって、ビデオクリップの前記タイミング情報が、開始時間及び継続時間を含み、静止画像クリップの前記タイミング情報が、作成時間を含む、命令セットと、
    前記タイムラインに沿った前記クリップを前記タイミング情報にしたがってスペース配置する命令セットとを含み、前記タイムライン内のビデオクリップの前記継続時間が、前記ビデオクリップの前記タイミング情報に基づき、前記タイムライン内の静止画像クリップの継続時間が、前記静止画像クリップの前記作成時間から次のクリップの前記開始時間まで続く、コンピュータ可読媒体。
  20. 前記次のクリップが、ビデオクリップであり、前記開始時間が、前記ビデオクリップの前記タイミング情報に基づく、請求項19に記載のコンピュータ可読媒体。
  21. 前記次のクリップが、静止画像クリップであり、前記開始時間が、前記静止画像クリップの作成時間である、請求項19に記載のコンピュータ可読媒体。
  22. 前記メディア編集アプリケーションが、前記タイミング情報を使用して前記グループを自動的に同期させる命令セットを更に含む、請求項19に記載のコンピュータ可読媒体。
  23. 前記ビデオクリップが、オーディオデータを参照する関連付けられたオーディオクリップを有し、前記メディア編集アプリケーションが、前記関連付けられたオーディオデータを使用して前記ビデオクリップの前記同期を調整する命令セットを更に含む、請求項22に記載のコンピュータ可読媒体。
  24. 前記静止画像クリップが、関連付けられたオーディオデータを有しておらず、前記同期に対する前記調整による影響を受けない、請求項23に記載のコンピュータ可読媒体。
  25. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    前記メディア編集アプリケーションにインポートされた1つ以上のメディアファイルを表すメディアクリップの参照クリップデータ構造を定義する命令セットと、
    前記メディアクリップを複合メディアプレゼンテーションに追加するコマンドを受け取る命令セットと、
    クリップインスタンスデータ構造を前記複合メディアプレゼンテーションの一部として定義する命令セットとを含み、前記クリップインスタンスデータ構造が、前記参照クリップデータ構造のプロパティを継承し、前記参照クリップデータ構造に対するその後の変更が、前記クリップインスタンスデータ構造に影響を与える、コンピュータ可読媒体。
  26. 前記参照クリップデータ構造が、メディアクリップの順序付けられたシーケンスをそれぞれ含む複数のクリップ構造を含む、請求項25に記載のコンピュータ可読媒体。
  27. 前記クリップインスタンスデータ構造が、前記参照クリップデータ構造におけるメディアクリップの前記順序付けられたシーケンスのうちの1つを特定する変数を含む、請求項26に記載のコンピュータ可読媒体。
  28. 前記メディア編集アプリケーションが、メディアクリップの前記特定された順序付けられたシーケンスを使用して前記複合メディアプレゼンテーションを描画する命令セットを更に含む、請求項27に記載のコンピュータ可読媒体。
  29. 前記参照クリップデータ構造内の前記複数のクリップ構造がそれぞれ、前記参照クリップデータ構造内のギャップクリップにアンカーされた、請求項26に記載のコンピュータ可読媒体。
  30. 前記ギャップクリップが、前記複数の順序付けられたシーケンスのうちの最長の順序付けられたシーケンスの継続時間を有する、請求項29に記載のコンピュータ可読媒体。
  31. 前記クリップインスタンスデータ構造に対するその後の変更が、前記参照クリップデータ構造に影響を与えない、請求項25に記載のコンピュータ可読媒体。
  32. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複合メディアプレゼンテーションのメディアクリップにおける特定時間の対応する特定画像を生成する要求を受け取る命令セットと、
    前記メディアクリップにおける前記特定時間に対応するソース画像を検索する命令セットと、
    前記ソース画像に対して、前記メディアクリップが参照する参照クリップによって指定された第1組のエフェクトを適用する命令セットと、
    前記第1組のエフェクトを適用した後で、前記メディアクリップによって指定された第2組のエフェクトを前記ソース画像に適用する命令セットとを含む、コンピュータ可読媒体。
  33. 前記特定の画像が、前記メディア編集アプリケーションの表示領域内で再生するためのものである、請求項32に記載のコンピュータ可読媒体。
  34. 前記第1組のエフェクトが、前記参照クリップに含まれる特定のメディアクリップに記憶される、請求項32に記載のコンピュータ可読媒体。
  35. 前記第1組のエフェクトが、レート適合エフェクトではなく空間適合エフェクトを含む、請求項32に記載のコンピュータ可読媒体。
  36. 前記第2組のエフェクトが、空間適合エフェクト及びレート適合エフェクトを含む、請求項32に記載のコンピュータ可読媒体。
  37. 前記第2組のエフェクトが、前記参照クリップに含まれるメディアクリップの特定グループに適用するために前記メディアクリップに記憶される、請求項32に記載のコンピュータ可読媒体。
  38. 複数の異なるメディアクリップから作成されたマルチカメラメディアクリップのデータ構造を定義する方法であって、
    可変の継続時間を有するギャップクリップを定義することであって、前記ギャップクリップが、前記マルチカメラメディアクリップに含まれる、ことと、
    前記ギャップクリップにアンカーされた複数の順序付けられたシーケンスを定義することと、を含み、前記順序付けられたシーケンスがそれぞれ、前記クリップのタイミングデータに基づいて順序付けられた1つ以上のクリップを含む、方法。
  39. 前記順序付けられたシーケンスが、前記シーケンス内の前記クリップを離間させるための追加のギャップクリップを含む、請求項38に記載の方法。
  40. 前記追加のギャップクリップが、前記クリップの前記タイミングデータに基づいて定義された継続時間を有する、請求項39に記載の方法。
  41. 前記ギャップクリップの前記継続時間が、最長の継続時間を有する順序付けられたシーケンスに基づく、請求項38に記載の方法。
  42. 前記順序付けられたシーケンスがそれぞれ、メディアクリップのアレイを含むメディアクリップとして定義される、請求項38に記載の方法。
  43. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    マルチカメラメディアクリップインスタンスによって占有される複合プレゼンテーション内に特定時間の画像を生成する要求を受け取る命令セットであって、前記マルチカメラメディアクリップインスタンスが、(i)マルチカメラメディアクリップ参照への参照と、(ii)前記マルチカメラメディアクリップ参照内の特定の順序付けられたシーケンスを示す変数と、を含み、前記複合プレゼンテーション内の前記特定時間が、前記特定の順序付けられたシーケンス内の特定時間に対応する、命令セットと、
    前記マルチカメラメディアクリップインスタンスのためのレンダーグラフを定義する命令セットであって、前記レンダーグラフを定義する前記命令セットが、
    前記順序付けられたシーケンス内の特定のメディアクリップに記憶された、前記順序付けられたシーケンス内の前記特定時間に対応する各エフェクトのノードを定義する命令セットと、
    前記マルチカメラメディアクリップインスタンス上の特定のエフェクトスタックに記憶された各エフェクトのノードを定義する命令セットであって、前記特定のエフェクトスタックが、前記特定の順序付けられたシーケンスに対応する、命令セットと、
    前記要求された画像を生成するためにソース画像に前記レンダーグラフを実行する命令セットを含む、コンピュータ可読媒体。
  44. 前記メディア編集アプリケーションが、前記ソース画像を検索し復号する命令セットを更に含む、請求項43に記載のコンピュータ可読媒体。
  45. 前記特定のメディアクリップが、アセットデータ構造を参照し、前記アセットデータ構造が、前記ソース画像の位置を示す、請求項44に記載のコンピュータ可読媒体。
  46. 前記レンダーグラフを定義する前記命令セットが、前記レンダーグラフを実行することの前に、前記レンダーグラフ内で第1のノードと第2のノードを単一ノードに結合する命令セットを更に含む、請求項43に記載のコンピュータ可読媒体。
  47. 前記第1のノードが、ユーザ定義された変換エフェクトであり、前記第2のノードが、自動定義された空間適合エフェクトである、請求項46に記載のコンピュータ可読媒体。
  48. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、グラフィカルユーザインタフェース(GUI)を含み、前記GUIが、
    複合プレゼンテーションを定義するメディアクリップセットを表示するための複合表示領域であって、前記メディアクリップセットが、前記複合プレゼンテーション内で使用するように選択可能な順序付けられたクリップの複数の異なるグループを含む特定のメディアクリップを含む、複合表示領域と、
    前記複合プレゼンテーション内の時間に対応する複数の前記異なるグループからビデオ画像を同時に表示するためのプレビュー表示領域とを、含み、前記プレビュー表示領域内の前記表示されたビデオ画像が、前記グループのうちの前記複合プレゼンテーション内で使用されるグループを決定するために選択可能である、コンピュータ可読媒体。
  49. 順序付けられたクリップの前記異なるグループがそれぞれ、特定のカメラによってキャプチャされた1組のクリップを含む、請求項48に記載のコンピュータ可読媒体。
  50. 順序付けられたクリップの前記異なるグループが、前記特定のメディアクリップ内で同期される、請求項48に記載のコンピュータ可読媒体。
  51. 前記特定のメディアクリップが、参照クリップのインスタンスであり、順序付けられたクリップの前記異なるグループが、前記参照クリップ内で編集可能である、請求項48に記載のコンピュータ可読媒体。
  52. 前記特定のメディアクリップが、前記参照クリップに変更を自動的に反映させる、請求項51に記載のコンピュータ可読媒体。
  53. 前記特定のメディアクリップは、順序付けられたクリップの前記異なるグループのどのグループが前記複合プレゼンテーション内で使用されるかを示す変数を含む、請求項48に記載のコンピュータ可読媒体。
  54. 前記複合プレゼンテーション内で順序付けられたクリップの第1のグループを使用するために、順序付けられたクリップの前記第1のグループと関連付けられた特定の表示を選択により前記特定のメディアクリップの前記変数の変更が引き起こされる、請求項53に記載のコンピュータ可読媒体。
  55. 順序付けられたクリップの第1のグループと関連付けられた特定表示を選択により、前記特定のメディアクリップに2つのメディアクリップに分割させ、その一方のメディアクリップが、前記複合プレゼンテーション内の順序付けられたクリップの前記第1のグループを使用する、請求項48に記載のコンピュータ可読媒体。
  56. 前記GUIが、更に、選択されたグループから前記ビデオ画像の大きい表示を表示するための別個のプレビュー表示領域を含む、請求項48に記載のコンピュータ可読媒体。
  57. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、グラフィカルユーザインタフェース(GUI)を含み、前記GUIが、
    複合プレゼンテーションを定義するメディアクリップセットの表現を表示するための複合表示領域であって、前記メディアクリップセットが、いくつかの異なるタイプのコンテンツを含む順序付けられたクリップのいくつかの異なるグループを含むマルチカメラメディアクリップを含み、順序付けられたクリップの前記異なるグループが、異なるタイプのコンテンツごとに、前記複合プレゼンテーション内で使用される順序付けられたクリップの特定グループを特定するように選択可能な、複合表示領域と、
    (i)前記複合プレゼンテーション内の時間に対応する前記異なるグループからビデオ画像を同時に表示するための複数のプレビュー表示と、(ii)前記マルチカメラメディアクリップ内の順序付けられたクリップのグループの数がプレビュー表示の数より多いときに、前記プレビュー表示に示されるグループの組を切り替えるための選択可能なインジケータセットと、を含む、マルチカメラ表示領域と、
    前記マルチカメラ表示領域内の複数の選択可能なGUI項目と、を含み、各GUI項目は、1以上の前記異なるコンテンツタイプと関連付けられ、前記GUI項目は、前記異なるコンテンツタイプのうち前記プレビュー表示のうちの1つが選択されたときに選択される順序付けられたクリップのグループのコンテンツタイプを決定するためであり、前記選択可能なGUI項目がそれぞれ、前記プレビュー表示内の選択されたグループを強調するために使用される異なる視覚的インジケータと、前記選択可能なインジケータセットと、を有する、コンピュータ可読媒体。
  58. 前記視覚的インジケータが、異なるコンテンツタイプに異なる色を含む、請求項57に記載のコンピュータ可読媒体。
  59. 前記GUI項目のうちの特定のGUI項目が、前記特定GUI項目が選択されたときに特定色で強調される、請求項58に記載のコンピュータ可読媒体。
  60. 特定のプレビュー表示が、前記特定GUI項目が選択された前記コンテンツタイプのために前記複合プレゼンテーション内で使用される前記特定グループとして特定されたグループからのビデオ画像を表示し、前記特定GUI項目が選択されたかどうかに関係なく同じ特定色を使用して強調される、請求項59に記載のコンピュータ可読媒体。
  61. 前記異なるコンテンツタイプが、(i)オーディオ、(ii)ビデオ、及び(iii)オーディオとビデオとの両方を含む、請求項57に記載のコンピュータ可読媒体。
  62. 前記マルチカメラ表示領域が、前記マルチカメラ表示領域内のプレビュー表示の前記数を決定する1組のオプションを含む、請求項57に記載のコンピュータ可読媒体。
  63. 前記選択可能なインジケータセットの数が、前記マルチカメラ表示領域内の前記グループの数と前記プレビュー表示の数に基づく、請求項60に記載のコンピュータ可読媒体。
  64. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複合プレゼンテーションを定義するメディアクリップセットの表現を複合表示領域に表示する命令セットあって、前記メディアクリップセットが、順序付けられたメディアクリップの複数の異なるグループを含む特定のメディアクリップを含み、順序付けられたメディアクリップの各グループが、前記複合プレゼンテーション内で使用するように選択可能な、命令セットと、
    前記複合表示領域内の時間インジケータが、前記特定のメディアクリップの上にあるとき、前記特定のメディアクリップの異なるグループにそれぞれ対応する1組のプレビュー表示内に、複数の前記グループのそれぞれからのビデオ画像を表示する命令セットであって、各グループの前記表示されたビデオ画像が、前記特定のメディアクリップ内で前記時間インジケータの位置に対応する特定時間からのものである、命令セットと、
    前記プレビュー表示のうち、前記特定のメディアクリップの順序付けられたクリップの特定グループに対応する特定の1つのプレビュー表示の選択を受け取る命令セットと、
    前記複合プレゼンテーション内で使用するために順序付けられたクリップの前記特定グループを選択する命令セットとを含む、コンピュータ可読媒体。
  65. 前記特定グループを選択する前記命令セットが、
    前記特定のメディアクリップを、前記特定のメディアクリップ内の前記時間インジケータの位置によって示された時間で、順序付けられたメディアクリップの前記グループの第1の継続時間を参照する第1のクリップと、順序付けられたメディアクリップの前記グループの第2のその後の継続時間を参照する第2のクリップとに分割する命令セットと、
    前記特定グループを前記第2のクリップのアクティブグループとして自動的に選択する命令セットとを含む、請求項64に記載のコンピュータ可読媒体。
  66. 前記第1のクリップが、前記特定のメディアクリップのアクティブグループを保持する、請求項65に記載のコンピュータ可読媒体。
  67. 前記特定グループを選択する前記命令セットが、異なるグループからの前記特定のメディアクリップのアクティブグループを前記特定の選択されたグループに変更する命令セットを含む、請求項64に記載のコンピュータ可読媒体。
  68. 前記アクティブグループが、前記複合プレゼンテーションを描画するとき前記異なるグループのうちのどのグループが前記特定のメディアクリップに使用されるかを示す、請求項67に記載のコンピュータ可読媒体。
  69. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複数の異なるメディアクリップから複合プレゼンテーションを作成するためのトラックレス複合表示領域を表示する命令セットであって、前記複合プレゼンテーションが、複数の異なる順序付けられたメディアクリップのグループのうちの1つのグループを含むマルチカメラメディアクリップを含む、命令セットと、
    前記複合プレゼンテーション内で前記マルチカメラメディアクリップを編集する選択を受け取り、順序付けられたメディアクリップの前記異なるグループのそれぞれを前記複合表示領域内の別個のトラックとして表示する命令セットとを含む、コンピュータ可読媒体。
  70. 前記複合プレゼンテーション内の前記マルチカメラメディアクリップが、前記複合プレゼンテーションの外部に記憶されたマルチカメラ参照クリップを参照する、請求項69に記載のコンピュータ可読媒体。
  71. 前記複合表示領域内の前記別個のトラックに適用される編集が、前記マルチカメラ参照クリップに影響を与える、請求項70に記載のコンピュータ可読媒体。
  72. 前記複数の異なるメディアクリップのグループが、前記マルチカメラ参照クリップに含まれ、前記マルチカメラメディアクリップが、前記マルチカメラメディアクリップの特定のアクティブグループを示す変数を記憶する、請求項70に記載のコンピュータ可読媒体。
  73. 前記マルチカメラメディアクリップが、オーディオコンテンツの第1のアクティブグループを示す第1の変数と、ビデオコンテンツの第2のアクティブグループを示す第2の変数とを記憶する、請求項72に記載のコンピュータ可読媒体。
  74. 前記トラックレス表示領域が、(i)前記複合プレゼンテーションの第1の隣接メディアクリップセットを保持する主レーンと、(ii)前記複合プレゼンテーションの第2組のメディアクリップを保持する複数の副レーンと、を含み、前記第2組のメディアクリップがそれぞれ、前記第1メディアクリップセットのうちの特定の1つのメディアクリップにアンカーされた、請求項69に記載のコンピュータ可読媒体。
  75. 前記別個のトラックが、前記異なるグループの前記メディアクリップを整合させるためのものである、請求項69に記載のコンピュータ可読媒体。
  76. 前記別個のトラックが、単一のタイムラインに沿って表示された、請求項69に記載のコンピュータ可読媒体。
  77. 前記単一タイムラインが、順序付けられたメディアクリップの前記異なるグループを記憶するマルチカメラ参照クリップの内部の時間を表す、請求項76に記載のコンピュータ可読媒体。
  78. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、グラフィカルユーザインタフェース(GUI)を含み、前記GUIが、
    マルチカメラメディアクリップのメディアクリップの複数の異なる順序付けられたシーケンスに対する変更を表示し受け取るための編集表示領域と、
    前記マルチカメラメディアクリップの前記異なる順序付けられたシーケンスに対応する複数の異なるビデオ画像を同時に表示するためのプレビュー表示領域と、を含み、前記編集表示領域内で行われる前記順序付けられたシーケンスへの変更が、前記プレビュー表示領域内で自動的に反映される、コンピュータ可読媒体。
  79. 前記異なるシーケンスが、前記マルチカメラメディアクリップ内で順序を有し、前記変更が、前記マルチカメラメディアクリップ内の前記シーケンスを順序変更することを含む、請求項78に記載のコンピュータ可読媒体。
  80. 前記プレビュー表示領域が、前記異なる順序付けられたシーケンスにそれぞれ対応する別個のプレビュー表示を含み、前記別個のプレビュー表示は、前記シーケンスが前記マルチカメラメディアクリップ内で順序変更されたときに前記プレビュー表示領域内で自動的に順序変更される、請求項79に記載のコンピュータ可読媒体。
  81. 前記変更は、前記マルチカメラメディアクリップに新しいシーケンスを追加することを含む、請求項78に記載のコンピュータ可読媒体。
  82. 前記プレビュー表示領域が、前記異なる順序付けられたシーケンスにそれぞれ対応する別個のプレビュー表示を含み、前記新しいシーケンスに対応する前記プレビュー表示領域に追加のプレビュー表示が自動的に追加される、請求項81に記載のコンピュータ可読媒体。
  83. 前記変更が、前記マルチカメラメディアクリップからシーケンスを削除することを含む、請求項78に記載のコンピュータ可読媒体。
  84. 前記プレビュー表示領域が、前記異なる順序付けられたシーケンスにそれぞれ対応する別個のプレビュー表示を含み、前記削除されたシーケンスに対応するプレビュー表示が、前記プレビュー表示領域から自動的に除去される、請求項79に記載のコンピュータ可読媒体。
  85. 前記変更が、前記マルチカメラメディアクリップのシーケンスをリネームすることを含む、請求項78に記載のコンピュータ可読媒体。
  86. 少なくとも1つの処理ユニットによって実行されるメディア編集アプリケーションを記憶するコンピュータ可読媒体であって、前記メディア編集アプリケーションが、
    複合プレゼンテーションを定義するメディアクリップセットの表現を複合表示領域内に表示する命令セットであって、前記メディアクリップセットが、(i)順序付けられたメディアクリップの複数の異なるグループを含む参照クリップを参照する第1のメディアクリップと、(ii)同一参照クリップを参照する、前記複合プレゼンテーション内の前記第1のメディアクリップの後の第2のメディアクリップとを、含み、前記第1のメディアクリップが、前記参照クリップの第1の継続時間を参照し、前記第2のメディアクリップが、前記参照クリップ内の第1の継続時間の後の前記参照クリップの第2の継続時間を参照する、命令セットと、
    ユーザが、前記複合表示領域内で前記第1のメディアクリップと前記第2のメディアクリップの境界に位置インジケータを配置するときに、前記第1及び第2のメディアクリップを変更する第1の編集操作のためのインジケータを表示する命令セットと、
    ユーザが、前記第1のメディアクリップと、前記参照クリップを参照しない第3のメディアクリップとの境界に位置インジケータを配置するときに、前記第1のメディアクリップ及び前記第3のメディアクリップの一方だけを変更する第2の異なる編集操作のためのインジケータを表示する命令セットとを含む、コンピュータ可読媒体。
  87. 前記第1の編集操作が、前記第1のメディアクリップ及び前記第2のメディアクリップによって前記参照クリップ内で参照される前記第1の継続時間及び前記第2の継続時間を変更して、その結果、前記第2の継続時間が、前記第1の継続時間の後になるようにするロール操作である、請求項86に記載のコンピュータ可読媒体。
  88. 前記第2の編集操作が、前記第1のメディアクリップによって前記参照クリップ内で参照される前記第1の継続時間を変更するリプル操作である、請求項86に記載のコンピュータ可読媒体。
  89. 前記第1のメディアクリップが、順序付けられたメディアクリップの第1のグループをそのオーディオのアクティブとして示し、順序付けられたメディアクリップの第2グループをそのビデオのアクティブとして示し、前記第2のメディアクリップが、順序付けられたメディアクリップの第3グループをそのオーディオのアクティブとして示し順序付けられたメディアクリップの前記第2グループをそのビデオのアクティブとして示す、請求項86に記載のコンピュータ可読媒体。
  90. 前記コンピュータプログラムが、
    前記第1のクリップの前記ビデオに対する編集を受け取る命令セットと、
    前記第1のクリップと前記第2のクリップとの両方に編集を自動的に適用する命令セットとを更に含む、請求項89に記載のコンピュータ可読媒体。
  91. 前記コンピュータプログラムが、
    前記第1のクリップの前記オーディオに対する編集を受け取る命令セットと、
    前記編集を前記第1のクリップだけに適用する命令セットとを更に含む、請求項90に記載のコンピュータ可読媒体。
JP2014541061A 2011-11-14 2012-09-28 マルチメディアクリップの生成 Active JP5856690B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201161559710P 2011-11-14 2011-11-14
US61/559,710 2011-11-14
US13/361,930 US9111579B2 (en) 2011-11-14 2012-01-30 Media editing with multi-camera media clips
US13/361,931 US9437247B2 (en) 2011-11-14 2012-01-30 Preview display for multi-camera media clips
US13/361,932 2012-01-30
US13/361,931 2012-01-30
US13/361,930 2012-01-30
US13/361,932 US20130124999A1 (en) 2011-11-14 2012-01-30 Reference clips in a media-editing application
US13/361,934 US9792955B2 (en) 2011-11-14 2012-01-30 Automatic generation of multi-camera media clips
US13/361,934 2012-01-30
PCT/US2012/058138 WO2013074207A1 (en) 2011-11-14 2012-09-28 Generation of multi -views media clips

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015242604A Division JP6214619B2 (ja) 2011-11-14 2015-12-11 マルチメディアクリップの生成

Publications (2)

Publication Number Publication Date
JP2015504629A true JP2015504629A (ja) 2015-02-12
JP5856690B2 JP5856690B2 (ja) 2016-02-10

Family

ID=48280753

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014541061A Active JP5856690B2 (ja) 2011-11-14 2012-09-28 マルチメディアクリップの生成
JP2015242604A Active JP6214619B2 (ja) 2011-11-14 2015-12-11 マルチメディアクリップの生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015242604A Active JP6214619B2 (ja) 2011-11-14 2015-12-11 マルチメディアクリップの生成

Country Status (5)

Country Link
US (4) US20130124999A1 (ja)
EP (2) EP3012838B1 (ja)
JP (2) JP5856690B2 (ja)
CN (1) CN103931199B (ja)
WO (1) WO2013074207A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002832A1 (ja) * 2015-06-29 2017-01-05 ヤマハ株式会社 編集装置、編集方法および記録媒体
KR101768163B1 (ko) * 2016-07-18 2017-08-16 리얼리티리플렉션 주식회사 3d 비디오 생성 장치
WO2017154724A1 (ja) * 2016-03-09 2017-09-14 ヤマハ株式会社 収録データ処理方法および収録データ処理装置
JP2019096950A (ja) * 2017-11-20 2019-06-20 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
WO2019182074A1 (ja) * 2018-03-20 2019-09-26 ヤマハ株式会社 信号処理方法および信号処理装置
WO2022239281A1 (ja) * 2021-05-12 2022-11-17 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP7386008B2 (ja) 2019-07-19 2023-11-24 株式会社デンソーテン 表示制御装置、データ収集システム、表示制御方法および表示制御プログラム
JP7403711B2 (ja) 2020-07-23 2023-12-22 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、設備及び記憶媒体

Families Citing this family (226)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692536B1 (en) 2005-04-16 2020-06-23 Apple Inc. Generation and use of multiclips in video editing
US8520069B2 (en) 2005-09-16 2013-08-27 Digital Ally, Inc. Vehicle-mounted video system with distributed processing
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US8503972B2 (en) 2008-10-30 2013-08-06 Digital Ally, Inc. Multi-functional remote monitoring system
CA2773924C (en) * 2011-04-11 2020-10-27 Evertz Microsystems Ltd. Methods and systems for network based video clip generation and management
WO2013023063A1 (en) 2011-08-09 2013-02-14 Path 36 Llc Digital media editing
US20130124999A1 (en) 2011-11-14 2013-05-16 Giovanni Agnoli Reference clips in a media-editing application
US9578256B1 (en) * 2012-02-29 2017-02-21 Google Inc. Temporary intermediate video clips for video editing
US9232175B2 (en) * 2012-03-01 2016-01-05 Sony Corporation Generating multiple shots in storyboarding
US20130271472A1 (en) * 2012-04-12 2013-10-17 Motorola Mobility, Inc. Display of Value Changes in Between Keyframes in an Animation Using a Timeline
US20130283330A1 (en) * 2012-04-18 2013-10-24 Harris Corporation Architecture and system for group video distribution
KR101905638B1 (ko) * 2012-05-15 2018-12-05 삼성전자주식회사 동영상 재생 장치 및 방법
US9357005B2 (en) * 2012-05-18 2016-05-31 Andrew Milburn Method and system for synchronized distributed display over multiple client devices
US9207834B2 (en) 2012-06-11 2015-12-08 Edupresent Llc Layered multimedia interactive assessment system
US8682144B1 (en) 2012-09-17 2014-03-25 Google Inc. Method for synchronizing multiple audio signals
US9019431B2 (en) 2012-09-28 2015-04-28 Digital Ally, Inc. Portable video and imaging system
US10272848B2 (en) * 2012-09-28 2019-04-30 Digital Ally, Inc. Mobile video and imaging system
US20140101551A1 (en) * 2012-10-05 2014-04-10 Google Inc. Stitching videos into an aggregate video
US9871842B2 (en) 2012-12-08 2018-01-16 Evertz Microsystems Ltd. Methods and systems for network based video clip processing and management
US20160155475A1 (en) * 2012-12-12 2016-06-02 Crowdflik, Inc. Method And System For Capturing Video From A Plurality Of Devices And Organizing Them For Editing, Viewing, And Dissemination Based On One Or More Criteria
US9129640B2 (en) * 2012-12-12 2015-09-08 Crowdflik, Inc. Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US20140199050A1 (en) * 2013-01-17 2014-07-17 Spherical, Inc. Systems and methods for compiling and storing video with static panoramic background
US9064480B2 (en) * 2013-01-25 2015-06-23 Inmusic Brands, Inc Methods and systems for an object-oriented arrangement of musical ideas
US20140219634A1 (en) 2013-02-05 2014-08-07 Redux, Inc. Video preview creation based on environment
US20140226955A1 (en) * 2013-02-12 2014-08-14 Takes Llc Generating a sequence of video clips based on meta data
US8994828B2 (en) * 2013-02-28 2015-03-31 Apple Inc. Aligned video comparison tool
AU2014225864B2 (en) 2013-03-05 2020-01-02 Fasetto, Inc. System and method for cubic graphical user interfaces
FR3004565B1 (fr) * 2013-04-12 2016-11-11 Kolor Fusion de plusieurs flux video
US9646650B2 (en) 2013-05-28 2017-05-09 Google Inc. Automatically syncing recordings between two or more content recording devices
JP2015038719A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
WO2015009944A1 (en) * 2013-07-18 2015-01-22 Christmas Coy System and method for multi-angle videos
US10390732B2 (en) 2013-08-14 2019-08-27 Digital Ally, Inc. Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data
US10075681B2 (en) 2013-08-14 2018-09-11 Digital Ally, Inc. Dual lens camera unit
US9253452B2 (en) 2013-08-14 2016-02-02 Digital Ally, Inc. Computer program, method, and system for managing multiple data recording devices
US9881645B2 (en) * 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
US9804760B2 (en) * 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
KR101518453B1 (ko) * 2013-08-29 2015-05-11 주식회사 픽스트리 컨텐츠 재생 장치 및 방법
KR20150027934A (ko) * 2013-09-04 2015-03-13 삼성전자주식회사 다각도에서 촬영된 영상을 수신하여 파일을 생성하는 전자 장치 및 방법
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US10095873B2 (en) 2013-09-30 2018-10-09 Fasetto, Inc. Paperless application
US20160217328A1 (en) * 2013-09-30 2016-07-28 Danielle YANAI Image and video processing and optimization
WO2015054342A1 (en) * 2013-10-09 2015-04-16 Mindset Systems Method of and system for automatic compilation of crowdsourced digital media productions
US9519420B2 (en) * 2013-10-16 2016-12-13 Samsung Electronics Co., Ltd. Apparatus and method for editing synchronous media
WO2015060470A1 (ko) * 2013-10-23 2015-04-30 엘지전자 주식회사 단말기 및 그 제어방법
US9087405B2 (en) 2013-12-16 2015-07-21 Google Inc. Depth map generation using bokeh detection
US9584402B2 (en) 2014-01-27 2017-02-28 Fasetto, Llc Systems and methods for peer to peer communication
US10191647B2 (en) 2014-02-06 2019-01-29 Edupresent Llc Collaborative group video production system
US11831692B2 (en) * 2014-02-06 2023-11-28 Bongo Learn, Inc. Asynchronous video communication integration system
US9754159B2 (en) 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
KR20160133508A (ko) * 2014-03-17 2016-11-22 클립캐스트 테크놀로지스 엘엘씨 매체 클립 생성 및 분배 시스템, 장치, 및 방법
US10108254B1 (en) * 2014-03-21 2018-10-23 Google Llc Apparatus and method for temporal synchronization of multiple signals
KR20150142348A (ko) * 2014-06-11 2015-12-22 삼성전자주식회사 사용자 단말 및 이의 제어 방법
US9832538B2 (en) * 2014-06-16 2017-11-28 Cisco Technology, Inc. Synchronizing broadcast timeline metadata
US20150363157A1 (en) * 2014-06-17 2015-12-17 Htc Corporation Electrical device and associated operating method for displaying user interface related to a sound track
CN111782130B (zh) 2014-06-24 2024-03-29 苹果公司 用于在用户界面中导航的列界面
JP6496752B2 (ja) 2014-06-24 2019-04-03 アップル インコーポレイテッドApple Inc. 入力デバイス及びユーザインターフェース対話
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
GB2528100A (en) * 2014-07-10 2016-01-13 Nokia Technologies Oy Method, apparatus and computer program product for editing media content
CN113222558A (zh) 2014-07-10 2021-08-06 法斯埃托股份有限公司 用于消息编辑的系统和方法
US10162506B2 (en) 2014-07-18 2018-12-25 Apple Inc. Systems and methods for selecting portions of media for a preview
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9928878B2 (en) 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
USD778285S1 (en) * 2014-08-28 2017-02-07 Microsoft Corporation Display screen with graphical user interface
USD777769S1 (en) * 2014-08-28 2017-01-31 Microsoft Corporation Display screen with colored graphical user interface
USD763298S1 (en) * 2014-08-28 2016-08-09 Microsoft Corporation Display screen with graphical user interface
USD762702S1 (en) * 2014-08-28 2016-08-02 Microsoft Corporation Display screen with transitional graphical user interface
CN105376651B (zh) * 2014-08-29 2018-10-19 北京金山安全软件有限公司 一种生成视频幻灯片的方法及装置
US10437288B2 (en) 2014-10-06 2019-10-08 Fasetto, Inc. Portable storage device with modular power and housing system
JP6695868B2 (ja) 2014-10-06 2020-05-20 ファセット・インコーポレーテッド ポータブル・ストレージ・デバイスのためのシステムおよび方法
US9710220B2 (en) * 2014-10-24 2017-07-18 Sony Corporation Context-sensitive media classification
US20160125916A1 (en) * 2014-10-31 2016-05-05 ShotClip Limited Collaborative Movie Creation
US9451307B2 (en) * 2014-12-08 2016-09-20 Microsoft Technology Licensing, Llc Generating recommendations based on processing content item metadata tags
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
GB2536032A (en) * 2015-03-05 2016-09-07 Carnegie Tech Invest Ltd Method for processing video clip for live-broadcast replay
CN112737895A (zh) 2015-03-11 2021-04-30 法斯埃托股份有限公司 用于web api通信的系统和方法
US10529383B2 (en) * 2015-04-09 2020-01-07 Avid Technology, Inc. Methods and systems for processing synchronous data tracks in a media editing system
GB201507348D0 (en) * 2015-04-29 2015-06-10 Tomtom Int Bv Digital video camera
US10186012B2 (en) 2015-05-20 2019-01-22 Gopro, Inc. Virtual lens simulation for video and photo cropping
US9841259B2 (en) 2015-05-26 2017-12-12 Digital Ally, Inc. Wirelessly conducted electronic weapon
JP6602067B2 (ja) * 2015-06-18 2019-11-06 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
US10013883B2 (en) 2015-06-22 2018-07-03 Digital Ally, Inc. Tracking and analysis of drivers within a fleet of vehicles
WO2016209400A1 (en) * 2015-06-24 2016-12-29 Technicolor Usa, Inc. Optimized delivery of sequential content by skipping redundant segments
CN105100839A (zh) * 2015-07-14 2015-11-25 网易传媒科技(北京)有限公司 一种视频文件下载方法、装置、服务器和终端设备
CN105933772B (zh) * 2015-08-18 2019-06-21 盯盯拍(深圳)技术股份有限公司 交互方法、交互装置以及交互系统
US10019415B1 (en) 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US20170075652A1 (en) 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method
CN105222718B (zh) * 2015-09-21 2017-05-17 天津大学 室内空间测量定位网络动态坐标测量多站数据同步方法
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US9858965B2 (en) * 2015-10-23 2018-01-02 Microsoft Technology Licensing, Llc Video loop generation
US20170127150A1 (en) * 2015-11-04 2017-05-04 Ubitus Inc. Interactive applications implemented in video streams
US9858036B2 (en) * 2015-11-10 2018-01-02 Google Llc Automatic audio level adjustment during media item presentation
WO2017096245A1 (en) 2015-12-03 2017-06-08 Fasetto, Llc Systems and methods for memory card emulation
US10217489B2 (en) 2015-12-07 2019-02-26 Cyberlink Corp. Systems and methods for media track management in a media editing tool
CN105528427B (zh) * 2015-12-08 2019-05-10 腾讯科技(深圳)有限公司 媒体文件处理方法、社交应用中的分享方法和装置
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
WO2017122092A1 (en) * 2016-01-12 2017-07-20 Indg Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
US10178341B2 (en) * 2016-03-01 2019-01-08 DISH Technologies L.L.C. Network-based event recording
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US9794632B1 (en) * 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US10402062B2 (en) 2016-04-16 2019-09-03 Apple Inc. Organized timeline
USD791159S1 (en) * 2016-04-18 2017-07-04 Apple Inc. Display screen or portion thereof with graphical user interface
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
CA3067011A1 (en) * 2016-06-17 2017-12-21 Axon Enterprise, Inc. Systems and methods for aligning event data
US10157638B2 (en) * 2016-06-24 2018-12-18 Google Llc Collage of interesting moments in a video
JP6819096B2 (ja) * 2016-06-30 2021-01-27 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10104292B2 (en) 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN107799132A (zh) * 2016-09-05 2018-03-13 中兴通讯股份有限公司 一种音频剪辑方法和装置,及终端
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10521675B2 (en) 2016-09-19 2019-12-31 Digital Ally, Inc. Systems and methods of legibly capturing vehicle markings
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
USD820303S1 (en) 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD815137S1 (en) * 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
DE102016221928A1 (de) 2016-11-09 2018-05-09 Siemens Aktiengesellschaft Verfahren zum Betreiben eines im Betrieb zyklisch belasteten Bauteils
KR20230129589A (ko) 2016-11-23 2023-09-08 파세토, 인크. 미디어를 스트리밍하기 위한 시스템 및 방법
JP6727106B2 (ja) 2016-11-30 2020-07-22 キヤノン株式会社 画像音響処理装置および画像音響処理方法、プログラム
JP7137173B2 (ja) * 2016-12-08 2022-09-14 チームラボ株式会社 コレクションシステム,端末用プログラム,及びコレクション方法
KR102028198B1 (ko) * 2017-01-26 2019-10-04 한국전자통신연구원 동영상 장면과 메타데이터 저작 방법
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US11708051B2 (en) 2017-02-03 2023-07-25 Fasetto, Inc. Systems and methods for data storage in keyed devices
US10193940B2 (en) 2017-02-07 2019-01-29 Microsoft Technology Licensing, Llc Adding recorded content to an interactive timeline of a teleconference session
US10171256B2 (en) 2017-02-07 2019-01-01 Microsoft Technology Licensing, Llc Interactive timeline for a teleconference session
CN108429931A (zh) * 2017-02-14 2018-08-21 优酷网络技术(北京)有限公司 一种多媒体文件播放方法及装置
US10070093B1 (en) 2017-02-24 2018-09-04 Microsoft Technology Licensing, Llc Concurrent viewing of live content and recorded content
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US11749312B2 (en) * 2017-03-24 2023-09-05 Adobe Inc. Timeline creation of electronic document creation states
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US20180302454A1 (en) * 2017-04-05 2018-10-18 Interlock Concepts Inc. Audio visual integration device
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
KR102589275B1 (ko) * 2017-04-26 2023-10-13 구글 엘엘씨 미디어 콘텐트 항목들과 조합된 틈새광고들을 포함하는 미디어 콘텐트 플레이리스트들을 발생
US10360942B1 (en) * 2017-07-13 2019-07-23 Gopro, Inc. Systems and methods for changing storage of videos
US10726872B1 (en) 2017-08-30 2020-07-28 Snap Inc. Advanced video editing techniques using sampling patterns
CN109561240B (zh) 2017-09-24 2023-02-17 福希特公司 用于生成媒体资产的系统和方法
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
WO2019079628A1 (en) 2017-10-19 2019-04-25 Fasetto, Inc. PORTABLE ELECTRONIC DEVICE CONNECTING SYSTEMS
US10349097B2 (en) * 2017-10-27 2019-07-09 Mti Film, Llc Metadata editor for multimedia delivery
US10805530B2 (en) * 2017-10-30 2020-10-13 Rylo, Inc. Image processing for 360-degree camera
CN107872620B (zh) * 2017-11-22 2020-06-02 北京小米移动软件有限公司 视频录制方法及装置、计算机可读存储介质
CN108024073B (zh) * 2017-11-30 2020-09-04 广州市百果园信息技术有限公司 视频编辑方法、装置及智能移动终端
EP3718040A4 (en) 2017-12-01 2021-08-11 Fasetto, Inc. IMPROVED DATA ENCRYPTION SYSTEMS AND METHODS
USD861724S1 (en) 2017-12-21 2019-10-01 Toontrack Music Ab Computer screen with a graphical user interface
US11064268B2 (en) * 2018-03-23 2021-07-13 Disney Enterprises, Inc. Media content metadata mapping
US11093839B2 (en) * 2018-04-13 2021-08-17 Fujifilm Business Innovation Corp. Media object grouping and classification for predictive enhancement
AU2019255718A1 (en) 2018-04-17 2020-11-12 Fasetto, Inc. Device presentation with real-time feedback
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
JP7183597B2 (ja) * 2018-07-12 2022-12-06 京セラドキュメントソリューションズ株式会社 プレビュー画像表示装置及びプレビュー画像表示プログラム
CN108986184B (zh) * 2018-07-23 2023-04-18 Oppo广东移动通信有限公司 视频创建方法及相关设备
US11024137B2 (en) 2018-08-08 2021-06-01 Digital Ally, Inc. Remote video triggering and tagging
CN109151537B (zh) * 2018-08-29 2020-05-01 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN109275024A (zh) * 2018-09-14 2019-01-25 洪海光电集团有限公司 通过音频信号控制多媒体设备的装置及其方法
CN109120997A (zh) * 2018-09-30 2019-01-01 北京微播视界科技有限公司 视频处理方法、装置、终端和介质
CN109936762B (zh) * 2019-01-12 2021-06-25 河南图灵实验室信息技术有限公司 相似音频或视频文件同步播放的方法以及电子设备
KR102569032B1 (ko) * 2019-01-22 2023-08-23 삼성전자주식회사 전자 장치 및 그의 컨텐트 제공 방법
US11049525B2 (en) * 2019-02-21 2021-06-29 Adobe Inc. Transcript-based insertion of secondary video content into primary video content
US11545187B2 (en) 2019-02-28 2023-01-03 Vertigo Media, Inc. System and method for compiling user-generated videos
US11720621B2 (en) * 2019-03-18 2023-08-08 Apple Inc. Systems and methods for naming objects based on object content
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
WO2020198238A1 (en) * 2019-03-24 2020-10-01 Apple Inc. User interfaces for a media browsing application
CN114302210A (zh) 2019-03-24 2022-04-08 苹果公司 用于查看和访问电子设备上的内容的用户界面
US11445263B2 (en) 2019-03-24 2022-09-13 Apple Inc. User interfaces including selectable representations of content items
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
EP3948502A4 (en) 2019-04-01 2022-12-28 Blackmagic Design Pty Ltd MULTIMEDIA MANAGEMENT SYSTEM
CN111787354B (zh) * 2019-04-03 2022-06-07 浙江大学 一种视频生成方法及其装置
US20200374422A1 (en) * 2019-05-24 2020-11-26 Grass Valley Canada System and method of synchronizing video and audio clips with audio data
CN110198486B (zh) * 2019-05-28 2022-04-05 上海哔哩哔哩科技有限公司 一种预览视频素材的方法、计算机设备及可读存储介质
CN113906380A (zh) 2019-05-31 2022-01-07 苹果公司 用于播客浏览和回放应用程序的用户界面
USD913315S1 (en) * 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
CN112083855A (zh) * 2019-06-13 2020-12-15 昆山研达电脑科技有限公司 多媒体档案管理方法及计算机可读取储存媒体
JP2022542451A (ja) * 2019-08-02 2022-10-03 ブラックマジック デザイン ピーティーワイ リミテッド ビデオ編集システム、方法、およびユーザインターフェース
CN110597759B (zh) * 2019-08-28 2022-03-29 福建省天奕网络科技有限公司 LayaIDE中图集资源优化的方法、存储介质
CN110784674B (zh) * 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
WO2021083146A1 (zh) 2019-10-30 2021-05-06 北京字节跳动网络技术有限公司 视频处理方法、装置、终端及存储介质
KR102227532B1 (ko) 2019-11-01 2021-03-12 키네마스터 주식회사 클립 이동 제어를 위한 동영상 편집 ui 제어방법 및 장치
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
KR20210065604A (ko) * 2019-11-27 2021-06-04 한국전자통신연구원 분산 네트워크 기반 멀티미디어 스트리밍 서비스에서 스트림을 선택하여 수신하는 방법 및 장치
BR102019027509A2 (pt) * 2019-12-20 2021-07-06 Globo Comunicação E Participações S.a. sistema e método de captação de vídeo e ordenação de sequência de cenas
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11736588B2 (en) 2020-04-28 2023-08-22 Editshare, Llc Heterogeneous media editing across storage platforms
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
CN111538489A (zh) * 2020-07-09 2020-08-14 北京美摄网络科技有限公司 一种数据处理方法和装置
CN111901534B (zh) * 2020-07-23 2022-03-29 北京字节跳动网络技术有限公司 一种音视频分割的交互方法、装置、设备及存储介质
CN111866550A (zh) * 2020-07-24 2020-10-30 上海盛付通电子支付服务有限公司 视频片段的屏蔽方法和装置
CN111953921B (zh) * 2020-08-14 2022-03-11 杭州视洞科技有限公司 一种圆角泳道的展示及交互方法
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
USD1011359S1 (en) * 2020-09-22 2024-01-16 Igt Display screen or portion thereof with graphical user interface
US11721365B2 (en) * 2020-11-09 2023-08-08 Blackmagic Design Pty Ltd Video editing or media management system
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
CN115079908A (zh) * 2021-03-12 2022-09-20 北京字节跳动网络技术有限公司 媒体内容收藏方法、装置、电子设备及计算机可读存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
KR20230004028A (ko) * 2021-06-30 2023-01-06 삼성전자주식회사 제어 방법 및 그 방법을 이용하는 장치
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
CN113938759A (zh) * 2021-10-19 2022-01-14 维沃移动通信有限公司 文件分享方法和文件分享装置
US20230125371A1 (en) * 2021-10-27 2023-04-27 Genetec Inc. Systems and methods for concurrently playing multiple remotely stored media files in a web browser
CN114329063A (zh) * 2021-10-29 2022-04-12 腾讯科技(深圳)有限公司 视频片段检测方法、装置以及设备
CN114025229A (zh) * 2021-11-09 2022-02-08 上海爱奇艺新媒体科技有限公司 处理音视频文件的方法、装置、计算设备及存储介质
KR102553519B1 (ko) * 2021-12-07 2023-07-10 한국전자기술연구원 컴퓨터와 사람의 협업을 통한 동영상 반자동 편집을 위한 인공지능 기반 동영상 편집 추천 방법
US11495265B1 (en) * 2021-12-30 2022-11-08 Microsoft Technology Licensing, Llc Change-dependent pre-export for video editing projects
WO2023129214A1 (en) * 2022-01-01 2023-07-06 Leia Inc. Methods and system of multiview video rendering, preparing a multiview cache, and real-time multiview video conversion
IT202200002852A1 (it) * 2022-02-16 2023-08-16 Pyxie S R L Metodo per l'organizzazione di contenuti multimediali
CN114630146B (zh) * 2022-05-12 2023-01-17 海看网络科技(山东)股份有限公司 一种iptv中解决进度条预览卡顿的方法
US11950017B2 (en) 2022-05-17 2024-04-02 Digital Ally, Inc. Redundant mobile video recording
CN116112780B (zh) * 2022-05-25 2023-12-01 荣耀终端有限公司 录像方法和相关装置
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN115314757B (zh) * 2022-08-05 2023-10-24 聚好看科技股份有限公司 一种显示设备及引导窗口显示方法
CN115460448A (zh) * 2022-08-19 2022-12-09 北京达佳互联信息技术有限公司 一种媒体资源编辑方法、装置、电子设备以及存储介质
CN117499745A (zh) * 2023-04-12 2024-02-02 北京优贝卡科技有限公司 一种媒体编辑方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078864A (ja) * 2001-08-30 2003-03-14 Nec Corp カメラ映像提供システム及びカメラ映像の時刻補正方法
JP2010541415A (ja) * 2007-09-28 2010-12-24 グレースノート インコーポレイテッド マルチメディアイベントのプレゼンテーションの合成

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307456A (en) 1990-12-04 1994-04-26 Sony Electronics, Inc. Integrated multi-media production and authoring system
EP0526064B1 (en) 1991-08-02 1997-09-10 The Grass Valley Group, Inc. Video editing system operator interface for visualization and interactive control of video material
US5999173A (en) 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5442744A (en) 1992-04-03 1995-08-15 Sun Microsystems, Inc. Methods and apparatus for displaying and editing multimedia information
US5682326A (en) 1992-08-03 1997-10-28 Radius Inc. Desktop digital video processing system
US5659792A (en) 1993-01-15 1997-08-19 Canon Information Systems Research Australia Pty Ltd. Storyboard system for the simultaneous timing of multiple independent video animation clips
WO1994029868A2 (en) 1993-06-10 1994-12-22 Lightworks Editing Systems Ltd Video editing systems
US5664216A (en) 1994-03-22 1997-09-02 Blumenau; Trevor Iconic audiovisual data editing environment
US5826102A (en) 1994-12-22 1998-10-20 Bell Atlantic Network Services, Inc. Network arrangement for development delivery and presentation of multimedia applications using timelines to integrate multimedia objects and program objects
US5659793A (en) 1994-12-22 1997-08-19 Bell Atlantic Video Services, Inc. Authoring tools for multimedia application development and network delivery
CA2145812C (en) 1995-03-29 1998-11-17 Mario Bonja Digital video networks
US5930446A (en) 1995-04-08 1999-07-27 Sony Corporation Edition system
US5572261A (en) 1995-06-07 1996-11-05 Cooper; J. Carl Automatic audio to video timing measurement device and method
US5659539A (en) 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US5732184A (en) 1995-10-20 1998-03-24 Digital Processing Systems, Inc. Video and audio cursor video editing system
US6188396B1 (en) 1996-03-29 2001-02-13 International Business Machines Corp. Synchronizing multimedia parts with reference to absolute time, relative time, and event time
US6154601A (en) 1996-04-12 2000-11-28 Hitachi Denshi Kabushiki Kaisha Method for editing image information with aid of computer and editing system
US6161115A (en) 1996-04-12 2000-12-12 Avid Technology, Inc. Media editing system with improved effect management
US5861889A (en) 1996-04-19 1999-01-19 3D-Eye, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
JP4482161B2 (ja) 1996-04-29 2010-06-16 ピーヴィーアイ ヴァーチャル メディア サービスイズ,エルエルシー 映像への電子的な指標の挿入が強化されたオーディオ
US6628303B1 (en) 1996-07-29 2003-09-30 Avid Technology, Inc. Graphical user interface for a motion video planning and editing system for a computer
US6154600A (en) 1996-08-06 2000-11-28 Applied Magic, Inc. Media editor for non-linear editing system
US5969716A (en) 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
KR100551459B1 (ko) 1996-09-20 2006-11-30 소니 가부시끼 가이샤 편집시스템,편집방법,클립관리장치,및클립관리방법
KR19990067618A (ko) 1996-11-29 1999-08-25 이데이 노부유끼 편집시스템과방법
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6054984A (en) 1997-05-27 2000-04-25 Hewlett-Packard Company System and method for graphically manipulating display elements in a signal measurement system
US6400378B1 (en) 1997-09-26 2002-06-04 Sony Corporation Home movie maker
JP2985847B2 (ja) 1997-10-17 1999-12-06 日本電気株式会社 入力装置
US5933141A (en) 1998-01-05 1999-08-03 Gateway 2000, Inc. Mutatably transparent displays
JPH11203837A (ja) 1998-01-16 1999-07-30 Sony Corp 編集システムおよび編集方法
US6336093B2 (en) 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
JP3944807B2 (ja) 1998-04-02 2007-07-18 ソニー株式会社 素材選択装置及び素材選択方法
JPH11289512A (ja) 1998-04-03 1999-10-19 Sony Corp 編集リスト作成装置
US20020023103A1 (en) 1998-04-21 2002-02-21 Rejean Gagne System and method for accessing and manipulating time-based data using meta-clip objects
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
JP4207099B2 (ja) 1998-09-29 2009-01-14 ソニー株式会社 画像編集装置及びその方法
US6313854B1 (en) 1998-10-16 2001-11-06 International Business Machines Corporation Display mechanism for HTML frames
GB2344453B (en) 1998-12-01 2002-12-11 Eidos Technologies Ltd Multimedia editing and composition system having temporal display
US6539163B1 (en) * 1999-04-16 2003-03-25 Avid Technology, Inc. Non-linear editing system and method employing reference clips in edit sequences
US6453251B1 (en) 1999-10-07 2002-09-17 Receptec Llc Testing method for components with reception capabilities
US6429902B1 (en) 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
AUPQ464099A0 (en) 1999-12-14 2000-01-13 Canon Kabushiki Kaisha Emotive editing system
US7725812B1 (en) 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US20010036356A1 (en) 2000-04-07 2001-11-01 Autodesk, Inc. Non-linear video editing system
US7325199B1 (en) 2000-10-04 2008-01-29 Apple Inc. Integrated time line for editing
JP2002135709A (ja) * 2000-10-18 2002-05-10 Sony Corp 編集装置、記録再生装置、編集方法、及び記録媒体
US6907570B2 (en) 2001-03-29 2005-06-14 International Business Machines Corporation Video and multimedia browsing while switching between views
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
GB2374719A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data processing apparatus with two timelines
GB2374748A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data editing for transitions between sequences
US7540011B2 (en) 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US7062712B2 (en) * 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
US7073127B2 (en) 2002-07-01 2006-07-04 Arcsoft, Inc. Video editing GUI with layer view
CN100346391C (zh) 2002-08-08 2007-10-31 科斯莫坦股份有限公司 使用可变长度合成和简化互相关计算的音频信号时间缩放比例修改方法
US7863513B2 (en) * 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
US8009966B2 (en) 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
US7627359B2 (en) * 2002-12-19 2009-12-01 University Of Washington Quantitative contrast enhanced black-blood imaging using quadruple-inversion recovery
AU2003211073A1 (en) 2003-02-14 2004-09-09 Thomson Licensing S.A. Automatic synchronization of audio and video based media services of media content
CN1526864A (zh) * 2003-03-07 2004-09-08 西安工程科技学院 针梳机上使用的机电式自调匀整测控系统
US7142250B1 (en) 2003-04-05 2006-11-28 Apple Computer, Inc. Method and apparatus for synchronizing audio and video streams
US8392834B2 (en) 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US7739715B2 (en) 2003-06-24 2010-06-15 Microsoft Corporation Variable play speed control for media streams
CN1291037C (zh) * 2004-01-19 2006-12-20 中国科学院上海微系统与信息技术研究所 一种芯片原位聚合酶链反应检测目标基因的方法
CN100507811C (zh) * 2004-06-03 2009-07-01 希尔克瑞斯特实验室公司 用于生成可缩放的用户界面的系统及方法
US7903927B2 (en) 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
US7411590B1 (en) 2004-08-09 2008-08-12 Apple Inc. Multimedia file format
GB2417176A (en) 2004-08-12 2006-02-15 Ibm Mouse cursor display
JP4229035B2 (ja) 2004-09-28 2009-02-25 ソニー株式会社 記録再生装置および方法、再生装置および方法、記録装置および方法、並びにプログラム
US7788592B2 (en) 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7843491B2 (en) 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
US7669130B2 (en) 2005-04-15 2010-02-23 Apple Inc. Dynamic real-time playback
US8156176B2 (en) 2005-04-20 2012-04-10 Say Media, Inc. Browser based multi-clip video editing
US7313755B2 (en) 2005-04-20 2007-12-25 Microsoft Corporation Media timeline sorting
FR2887106B1 (fr) 2005-05-27 2009-07-31 Christophe Malassis Procede de generation d'un signal source, signal source, procede et dispositif de montage, moyens de stockage et programme d'ordinateur correspondants
US7644373B2 (en) * 2006-01-23 2010-01-05 Microsoft Corporation User interface for viewing clusters of images
US7823056B1 (en) * 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
CN101455081A (zh) 2006-03-27 2009-06-10 诺基亚西门子通信有限责任两合公司 生成数字数据流的方法
TW200809764A (en) 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
US8682654B2 (en) 2006-04-25 2014-03-25 Cyberlink Corp. Systems and methods for classifying sports video
GB0608529D0 (en) * 2006-04-28 2006-06-07 Oxwest Media Ltd Generating a media program
US7623755B2 (en) * 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
US20080072166A1 (en) 2006-09-14 2008-03-20 Reddy Venkateshwara N Graphical user interface for creating animation
US8035747B2 (en) * 2007-01-05 2011-10-11 Eastman Kodak Company Image digital processing based on edit status
CA2682877C (en) 2007-06-12 2012-03-13 In Extenso Holdings, Inc. Distributed synchronized video viewing and editing
US8037046B2 (en) 2007-06-29 2011-10-11 Microsoft Corporation Collecting and presenting temporal-based action information
CN101971623B (zh) * 2008-03-12 2013-03-27 索尼公司 智能场记板
WO2009114134A2 (en) 2008-03-13 2009-09-17 United Video Properties, Inc. Systems and methods for synchronizing time-shifted media content and related communications
JP2011077564A (ja) 2008-04-13 2011-04-14 Thomson Canopus Co Ltd 映像および音声データの符号化装置とその符号化方法、及びビデオ編集システム
US8368705B2 (en) * 2008-07-16 2013-02-05 Google Inc. Web-based graphics rendering system
US20100077289A1 (en) 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
US9646648B2 (en) 2008-10-23 2017-05-09 Google Technology Holdings LLC Method and apparatus for creating short video clips of important events
US20100107126A1 (en) 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
WO2010068175A2 (en) 2008-12-10 2010-06-17 Muvee Technologies Pte Ltd Creating a new video production by intercutting between multiple video clips
JP2012054619A (ja) 2009-03-19 2012-03-15 Grass Valley Co Ltd 編集装置、編集方法、編集プログラム及びデータ構造
US9032299B2 (en) 2009-04-30 2015-05-12 Apple Inc. Tool for grouping media clips for a media editing application
US8359537B2 (en) 2009-04-30 2013-01-22 Apple Inc. Tool for navigating a composite presentation
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US8769421B2 (en) 2009-04-30 2014-07-01 Apple Inc. Graphical user interface for a media-editing application with a segmented timeline
US8522144B2 (en) 2009-04-30 2013-08-27 Apple Inc. Media editing application with candidate clip management
US8612858B2 (en) 2009-05-01 2013-12-17 Apple Inc. Condensing graphical representations of media clips in a composite display area of a media-editing application
WO2010138777A1 (en) 2009-05-27 2010-12-02 Arsh Technologies, Llc Automatic resource retrieval and use
US20110072037A1 (en) 2009-09-18 2011-03-24 Carey Leigh Lotzer Intelligent media capture, organization, search and workflow
US8677240B2 (en) 2009-10-05 2014-03-18 Harris Corporation Video processing system providing association between displayed video and media content and related methods
US9066674B2 (en) * 2010-03-17 2015-06-30 Siemens Medical Solutions Usa, Inc. Motion synchronized destruction for three-dimensional reperfusion mapping in medical diagnostic ultrasound imaging
CN102959543B (zh) 2010-05-04 2016-05-25 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US20120030550A1 (en) * 2010-07-28 2012-02-02 Chin Ai Method for editing multimedia
US9251855B2 (en) 2011-01-28 2016-02-02 Apple Inc. Efficient media processing
US8621355B2 (en) * 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
US8819185B2 (en) * 2011-08-05 2014-08-26 John Charles McLaughlin Streaming internet video editing and composite edit playback
US20130124999A1 (en) 2011-11-14 2013-05-16 Giovanni Agnoli Reference clips in a media-editing application
US8682144B1 (en) 2012-09-17 2014-03-25 Google Inc. Method for synchronizing multiple audio signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078864A (ja) * 2001-08-30 2003-03-14 Nec Corp カメラ映像提供システム及びカメラ映像の時刻補正方法
JP2010541415A (ja) * 2007-09-28 2010-12-24 グレースノート インコーポレイテッド マルチメディアイベントのプレゼンテーションの合成

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002832A1 (ja) * 2015-06-29 2017-01-05 ヤマハ株式会社 編集装置、編集方法および記録媒体
JP2017016275A (ja) * 2015-06-29 2017-01-19 ヤマハ株式会社 制御方法
WO2017154724A1 (ja) * 2016-03-09 2017-09-14 ヤマハ株式会社 収録データ処理方法および収録データ処理装置
JP2017163306A (ja) * 2016-03-09 2017-09-14 ヤマハ株式会社 収録データ解析方法および収録データ解析装置
US10504559B2 (en) 2016-03-09 2019-12-10 Yamaha Corporation Recorded data processing method and recorded data processing device
KR101768163B1 (ko) * 2016-07-18 2017-08-16 리얼리티리플렉션 주식회사 3d 비디오 생성 장치
JP2019096950A (ja) * 2017-11-20 2019-06-20 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
WO2019182074A1 (ja) * 2018-03-20 2019-09-26 ヤマハ株式会社 信号処理方法および信号処理装置
JP7386008B2 (ja) 2019-07-19 2023-11-24 株式会社デンソーテン 表示制御装置、データ収集システム、表示制御方法および表示制御プログラム
JP7403711B2 (ja) 2020-07-23 2023-12-22 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、設備及び記憶媒体
US11887628B2 (en) 2020-07-23 2024-01-30 Beijing Bytedance Network Technology Co., Ltd. Video processing method and apparatus, device, and storage medium
WO2022239281A1 (ja) * 2021-05-12 2022-11-17 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP5856690B2 (ja) 2016-02-10
CN103931199B (zh) 2017-07-21
EP3012838B1 (en) 2018-01-03
US20130121668A1 (en) 2013-05-16
US20130124998A1 (en) 2013-05-16
US9437247B2 (en) 2016-09-06
EP2781102A1 (en) 2014-09-24
WO2013074207A1 (en) 2013-05-23
JP2016105597A (ja) 2016-06-09
US20130124999A1 (en) 2013-05-16
US20130125000A1 (en) 2013-05-16
JP6214619B2 (ja) 2017-10-18
CN103931199A (zh) 2014-07-16
US9792955B2 (en) 2017-10-17
US9111579B2 (en) 2015-08-18
EP3012838A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6214619B2 (ja) マルチメディアクリップの生成
US11157154B2 (en) Media-editing application with novel editing tools
US8875025B2 (en) Media-editing application with media clips grouping capabilities
US8966367B2 (en) Anchor override for a media-editing application with an anchored timeline
US7432940B2 (en) Interactive animation of sprites in a video production
US9099161B2 (en) Media-editing application with multiple resolution modes
US8631047B2 (en) Editing 3D video
US20130073964A1 (en) Outputting media presentations using roles assigned to content
US9536564B2 (en) Role-facilitated editing operations
US20130073961A1 (en) Media Editing Application for Assigning Roles to Media Content
US11747972B2 (en) Media-editing application with novel editing tools
US20130073962A1 (en) Modifying roles assigned to media content
JP2022542451A (ja) ビデオ編集システム、方法、およびユーザインターフェース
AU2002301447B2 (en) Interactive Animation of Sprites in a Video Production
JP2004304854A (ja) 動画像編集方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151211

R150 Certificate of patent or registration of utility model

Ref document number: 5856690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250