JP2009105901A - ビデオ合成を表示するための方法 - Google Patents

Abstract

【課題】ビデオ合成オーサリングシステムから生成されたビデオ合成を表示する方法およびビデオ合成とインタラクトするためのユーザインターフェースを提供すること。
【解決手段】ビデオ合成オーサリングシステム２００はマルチメディア要素を含むデータ要素を提供し、そのレイアウトはビデオ合成ユーザインターフェース２８０に表示される。システム２００はデータ要素を入力することによって動作し、システム２００によって判断された必要な如何なるデータ要素も自動的に選択される。次いで、暫定ビデオ合成結果がユーザの見直しのために生成される。ユーザはその暫定ビデオ合成結果のどのような部分をも変更するための洗練および変更を行うことができる。ユーザがその暫定ビデオ合成結果に満足すると、その変更を含む最終ビデオ合成が生成される。最終ビデオ合成はビデオ合成ユーザインターフェース２８０を使用して提示される。
【選択図】図２

Description

本発明は、一般に、ビデオを表示するためのコンピュータユーザインターフェースに関し、より詳細には、ビデオ合成オーサリングシステムから生成された短い区分のビデオ（またはビデオ「クリップレット(cliplets)」）を含むビデオ合成を表示しそれとインタラクトするためのシステムおよび方法に関する。

家庭用ビデオカメラ（またはカムコーダ）は、アマチュアビデオ撮影家に人気のあるデバイスである。ビデオカメラは、メモリデバイスにディジタルビデオを格納するディジタルカメラ、または磁気ビデオテープにビデオフィルムを格納するアナログビデオカメラであり得る。アナログビデオカメラによって記録されたビデオフィルム（footage）を、周知の技術を使用してディジタル化されたフォーマットに変換できる。ディジタルビデオは、ビデオカメラによって記録されたデータを編集し操作するために（パーソナルコンピュータなどの）計算デバイス上を動作するソフトウェアを使用して処理できる。

従来のホームディジタルビデオのパラダイムでは、良いビデオを撮影し、退屈なビデオ編集を行い、次いで、編集した映画を含む単一の大きなビデオを出力することをユーザに期待する。しかし、このパラダイムの１つの問題に、たとえ専門家が撮影したものであろうとも、生ビデオフィルムを編集することが困難であり退屈であることがある。専門の訓練を受けた専門のエディタがハイエンド編集ツールを使用しても、生ビデオを持続時間がたった数分の最終バージョンに編集するのに１時間かかる場合がある。さらに、ほとんどの生ビデオフィルムは退屈であり、何時間も生ビデオに懸命に取り組むことは極めて退屈な作業であり、特にアマチュアにとってはなおさらである。

さらに別の問題に、アマチュア用の現在のビデオ編集ソフトウェアが専門家用編集システムを真似ていることがある。このことにより、平均的な消費者がソフトウェアを使用するのが困難になる傾向が生じる。現在のビデオ編集ソフトウェアのユーザインターフェースは、一般に、ユーザに生ビデオフィルムの１つのビューを提供する。ユーザに時間方位（temporal orientation）を与えるために、タイムラインがフィルムに平行して入れられる。タイムラインは、ビデオ１トラック、ビデオ２トラック、オーディオ１トラックなどの、いくつかの異なる「トラック」を含むことができる。ユーザインターフェースは、再生、早送り、巻戻しボタンなど、ＶＣＲと同様の制御機能を含む。これらのボタンを使用して、ユーザが、制御機能を使用してフィルム全体を行ったり来たりさせることにより、ビデオフィルムをブラウズする。ビデオフィルムをブラウズするこのプロセスを、「スクラビング」と呼ぶ。

ビデオフィルム内のカットの場所を決めるよう編集する場合に、生ビデオフィルムのスクラビングが使用される。スクラビングを使用するこの編集プロセスは、必ず手動で行わなければならない退屈で繰返しの多い時間のかかる作業である。

このような状況にもかかわらず、アマチュアビデオ撮影家が、長い未編集の生ビデオフィルムからきれいで短いビデオ合成を製作することをしばしば所望する。ビデオ合成は、たとえば、生ビデオフィルムの最も興味深い区分を含む「ハイライト」ビデオであり得る。しかし、平均的な消費者にとっては、ビデオを編集し、編集ソフトウェアを使用してビデオ合成を製作するプロセスは、困難で厄介な作業である。

したがって、複数のビューのビデオ合成を提供するコンピュータユーザインターフェースが求められている。さらに、見た目に美しい配列でビデオ合成を表示し、ユーザにビデオ合成とインタラクトできるようにするコンピュータユーザインターフェースも求められている。

本明細書に開示した本発明は、ビデオ合成を表示しそれとインタラクトするためのコンピュータユーザインターフェースを有する。ビデオ合成は、音楽、テキスト、写真などのマルチメディア要素の２次元配列またはコラージュを含む。さらに、ビデオ合成は、（ビデオクリップレットなどの）ビデオマルチメディア要素がともにつながれ連続的に再生される（ソースビデオのハイライトビデオなどの）単一の表示ウィンドウを含む。ビデオ合成ユーザインターフェースは、より長いビデオまたはビデオの集合を分割することによって作成された（ビデオクリップレットまたは「クリップレット」と呼ぶ）極めて短い区分のディジタルビデオを含むビデオ合成を表示できる。一般に、ビデオクリップレットは、持続時間が約５秒から１０秒であると予想されるが、実際にはどのような長さもあり得る。ビデオ合成ユーザインターフェースにより、ユーザが、ビデオ合成を表示し、ビデオ合成のデザインを変更し、（テキスト、タイトル、背景音楽などの）マルチメディア要素を追加できる。

ビデオ合成ユーザインターフェースは、マルチメディア要素を含むビデオ合成を表示することが可能である。これらのマルチメディア要素には、たとえば、ビデオ、ディジタル写真、アイコン、他の任意のタイプのグラフィカル要素が含まれる。さらに、これらのマルチメディア要素には、ビデオクリップレットも含まれる。長いビデオではなく、非常に短い持続時間のビデオであるクリップレットを操作の主要単位として使用することにより、従来のホームビデオ編集ソフトウェアの諸問題が克服される。クリップレットを用いてビデオ合成を編集し作成するということは、１つ１つが予めカットされているということであり、ビデオの操作とは、長く退屈なひと続きのビデオではなく短い区分のビデオを使用するということである。さらに、ビデオ合成オーサリングシステムを用いて実施すると、ユーザは、ビデオ合成を作成する場合にどれだけ多くのまたはどれだけ少ないインタラクションも有することができる。ユーザによってインタラクティブに提供されたものではない情報が、システムによりインテリジェントに提供される。

一般に、ビデオ合成ユーザインターフェースは、見た目に美しいレイアウトのビデオ合成を提供する。ビデオ合成は、１組のビデオクリップレット、ビデオ、背景音楽、背景写真、クリップアート、テキスト記述、タイトルなどを含むマルチメディア要素を含む。

ビデオ合成のフォームは、たとえば、２次元コラージュ、単一の映画、またはフォトアルバムスタイルのハイパーテキスト「ブック」であり得る。ビデオ合成を表示するためのビデオ合成ユーザインターフェースは、背景エリアとその背景エリア全体に複数のビデオウィンドウとを表示することを含む。ビデオウィンドウのそれぞれが、ビデオ、ディジタル写真、ビデオクリップレット、アイコン、他の任意のタイプのグラフィカル要素などのマルチメディア要素を含む。ビデオウィンドウを満たすまたは取り込むためのマルチメディアコンテンツの選択が、ビデオ合成オーサリングシステムによって行われる。ビデオ合成ユーザインターフェースは、ユーザにビデオ合成を向上させ、より心地良いビデオ合成を表示する経験を持つことを可能にする、テキスト注釈、電子メール機能、タイトルエリア、キャストおよびクレジットリスト生成、クリップレットのドラッグアンドドロップ機能などの機能を提供する。

請求項１に記載の発明は、コンピュータシステムにおいてビデオクリップレットを含むビデオ合成を表示するための方法であって、背景ピクチャを表示するために背景エリアを提供する第１のステップと、ビデオクリップレットを含む複数のビデオウィンドウを提供する第２のステップと、前記ビデオクリップレットのいずれかを再生するための前記複数のビデオウィンドウより一般に大きい主要ビデオウィンドウを提供する第３のステップと、前記複数のビデオウィンドウの少なくとも１つのビデオウィンドウ内でテキスト注釈を表示する第４のステップと、を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、ビデオ合成オーサリングシステムを使用して前記ビデオ合成を生成するステップを備えていることを特徴とする。

請求項３に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、前記ビデオクリップレットの現在位置から当該ビデオクリップレットの最後までを再生する前記主要ビデオウィンドウ内に、「ここから再生」機能を備えていることを特徴とする。

請求項４に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、前記ビデオ合成はクリップレットコラージュであることを特徴とする。

請求項５に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、電子メール機能を備え、当該電子メール機能はユーザが前記ビデオ合成を電子メールできるようにする前記ビデオ合成上に表示されるものであることを特徴とする。

請求項６に記載の発明は、請求項２に記載のビデオ合成を表示するための方法において、前記ビデオ合成はビデオポストカードであることを特徴とする。

請求項７に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、前記ビデオ合成はハイライトビデオであり、当該ハイライトビデオは、前記クリップレットのそれぞれを前記複数のビデオウィンドウと連鎖させ、前記主要ビデオウィンドウ内で再生することによって生成されるものであることを特徴とする。

請求項８に記載の発明は、請求項１に記載のビデオ合成を表示するための方法において、前記ビデオ合成のために背景音楽を提供するステップを備えていることを特徴とする。

本発明は、本発明の態様を例示した以下の説明および添付図面を参照することによりさらに理解できるであろう。例示として本発明の原理を示した添付図面とともに以下の本発明の詳細な説明から、他の特徴および利点も自明となろう。

次に、図面を参照することとするが、図面全体を通して同様の参照番号が対応する部分を表す。

以下の本発明の記述においては、その一部を形成し本発明が実行できる具体的な例の例示として示した添付図面を参照する。本発明の範囲から逸脱することなく、他の実施形態が利用でき構造上の変更を行うことができることを理解されたい。

１．ビデオクリップレットについての導入
本明細書に記述するビデオ合成ユーザインターフェースは、ビデオクリップレットを含むことのできるビデオ合成を表示しそれとインタラクトするためのシステムおよび方法を含む。一般に、ビデオクリップレット（または「クリップレット」）は、より長い単位のビデオ（またはソースビデオ）を切り分けることによって作成された、極端に短い区分のディジタルビデオである。クリップレットの持続時間は、ユーザにより手動でまたは自動的に判断されるハード的またはソフト的な制約によって制限される。一般に、ビデオクリップレットは、持続時間が約５秒から１０秒であると予想されるが、実際はどのような長さもあり得る。

クリップレットの考え方は、従来、ショット境界と考えられていたものを二次的に考慮するだけで、より長い集合のビデオから意味のある短い区分のビデオを抽出することである。したがって、クリップレットは、（サウンドバイトを検出することを試みるなどの）オーディオキューまたは（ズームインされたクローズアップを検出することを試みるなどの）ビデオキューなどの従来型ではない他のキューに基づくことができる。さらに、クリップレットはオーバラップできる。クリップレットが、全ソースビデオのすべてをカバーしないことがある。つまり、実に退屈で面白くない区間のソースビデオが全部排除されていることがあるということである。これらのすべてのことから、それぞれのクリップレットをセマンティックに意味のある部分のビデオにするという目標が達成される。

以下の特徴は、クリップレットをビデオの他の区分から区別する。第１に、生成の前に、時間制約（すなわち、クリップレット長に対する制約）が決められる。この制約は、ハード的に上下限のフォームをとることがあるか、またはソースビデオ全体の平均クリップレット長、サブショット境界の頻度、クリップレット長の分散、オーディオまたはビデオの局部的な特徴などの他の要因を考慮するソフト的な制約であることがある。第２に、クリップレットが必ずしも独立したビデオである必要はない。クリップレットは、クリップレットを抽出するためのディジタル化ソースビデオのカットすべき場所を表す１対の開始および停止ポイント、またはビデオの部分列の他の表示であり得る。第３に、クリップレットは、見る人が（サウンドバイトなどの）単一の短い事象と考えるものを含むセマンティックに意味のある部分のビデオである。クリップレットは、クリップレットをより大きいソースビデオから分離させる単一の主題または共通スレッドを有する。

より長いソースビデオと比較して比較的短い長さのクリップレットにより、クリップレットをビデオではなくディジタル写真のように操作できる。ビデオクリップレットにより、操作し格納するのが厄介な大きいビデオからのシフトが可能となる。クリップレットは、長くつまらないビデオではなく短い刺激的な区分のビデオに注目する。消費者は、ほんの少しの興味深いシーンしか含まない長いビデオを何時間も見つめていると退屈する傾向がある。消費者は、早送りボタンを絶えず使用し続けるのではなく、クリップレットにより長いソースビデオの「核心」である興味深いシーンを抽出できる。

クリップレットはまた、大きいビデオと比べて、操作し格納するのが容易である。サイズが大きいためにビデオをアップロードし共用することに対するユーザの抵抗が、ディジタル化ソースビデオからクリップレットを生成することによって最小限に押さえられる。クリップレットにより、マルチメガバイトまたはマルチギガバイトのビデオが回避される。当然ながら、クリップレットはより長い単位のビデオより小さい。したがって、メモリ、記憶装置、処理パワー、帯域幅または人の注意力には限界があるために、大きいビデオ上では実際的でないオペレーションが、クリップレットで容易に行うことができる。サイズが小さいために、クリップレットはより短いアップロード時間を有し、それにより大きいビデオと比べて、帯域幅への需要が少なくて済み、小さいディスク空間しか必要とせず、一般に管理が容易である。

ディジタル写真に適用されるほとんどのオペレーションが、ビデオクリップレットのためのアナログを有する。サイズが小さいために、ビデオクリップレットは、サムネイルを使用してブラウズされ、タイムスタンプおよびグロスピクセル統計によって編成され、ドキュメントにカットアンドペーストされ、容易に電子メールを介して送信できる。理論上、これらのオペレーションのほとんどが既にビデオのために存在しているが、実際には、その能力が消費者によって使用されることはめったにない。なぜなら、代表的なホームビデオは余りにも大きく長く退屈であるからである。大きいビデオを処理することができない画像処理およびコンピュータ視覚アルゴリズムを、容易にクリップレットで使用できる。画像安定化、カラー修正、パノラマ作成、３次元深さの識別、フェース認識、個人追跡などの技術が、リアルタイムでクリップレットで使用できる。

図１は、ディジタル化ソースビデオおよびビデオフレームとの関連でビデオクリップレットのコンセプトを示す図である。長さまたは持続時間Ｔのディジタルソースビデオ１００が、複数のビデオフレーム１０５を有する。図１に示されるように、ディジタルソースビデオ１００は、複数のクリップレット（Ｃ１）からＣ（Ｎ）に分割される。これらのクリップレットは、可変長であり得る。

上記に説明したように、これらのクリップレットＣ（１）からＣ（Ｎ）のそれぞれが、ディジタルソースビデオ１００のセマンティックに意味のある部分である。場合によっては、複数のクリップレットが、時間的にオーバラップし、したがって同じビデオフレームを共用する。図１を参照すると、クリップレットＣ（４）は長さＴ（４）を有し、クリップレットＣ（５）は長さＴ（５）を有する。たとえＴ（４）がＴ（５）より小さくても、クリップレットＣ（４）およびＣ（５）は時間的にオーバラップする。さらに、クリップレットＣ（４）およびＣ（５）は、参照番号１１０によって示されたビデオフレームを共用する。

２．概要
ビデオ合成コンピュータインターフェースは、ビデオ合成を表示しそれとのインタラクションを可能にする。ビデオ合成は、ビデオクリップレットと、ビデオ、ディジタル写真、アイコン、他のタイプのグラフィカル要素などの他のタイプのマルチメディア要素とのどのような組合せをも有することができる。ビデオ合成ユーザインターフェースは、ビデオ合成オーサリングシステム内で実施できる。システムは、たとえば、１組のクリップレット、ビデオ、クリップレットを含む１組のディレクトリ、クリップレットへのリンクなどのデータ要素を含む。システムの出力は、クリップレットおよび音楽、テキスト、写真などの他のマルチメディア要素を含むことのできる見た目に美しいレイアウトまたは合成である。ビデオ合成出力は、合成を作成するために、ともにもたらされるマルチメディア要素のコラージュと考えることができる。「コラージュ」という文言は、より大きい合成を作成するために、より小さい要素が、時間的に空間的にまたはその両方において、ともにまとめられたものを想定することを意味する。例示として、スクリーン上に表示された２次元レイアウトのクリップレットがコラージュであり、したがって、次々とスクリーン上で再生されるいくつかのクリップレットから合成された単一の映画である。ビデオ合成ユーザインターフェースは、マルチメディア要素のコラージュを表示し、それとのインタラクションを可能にする。

図２は、本発明によるビデオ合成ユーザインターフェースを組み込んだビデオ合成オーサリングシステムの典型例の概観を示すブロック図である。一般にシステム２００は、初期情報を入力し、マルチメディア要素を含むビデオ合成を出力する。ビデオ合成は、ビデオ合成ユーザインターフェースを使用してユーザに表示される。具体的には、ビデオ合成オーサリングシステム２００は、データ要素２１０を入力する。データ要素は、マルチメディア要素、パラメータ情報、記述情報を含む。例示として、マルチメディア要素が、１組のビデオクリップレット、ビデオ、背景音楽、背景写真、クリップアート、テキスト記述、タイトルなどを含む。さらに、パラメータ情報が、ビデオ合成のパラメータを記述し、たとえば、その合成のサイズおよびビデオ合成内のそれぞれのビデオの持続時間を有する。さらに、記述情報は、たとえば、クリップレットまたはビデオについての時間および位置情報と、その合成の所望のスタイルまたはムードの記述を有する。ユーザ入力２２０を使用して、入力として使用されるデータ要素２１０の間のすべてのまたは任意の量を選択するかあるいは全く選択しないことができる。このユーザ入力２２０は、破線で示されているように、任意のプロセスである。ユーザ入力２２０が受け取られなかった場合は、システム２００はデータ要素２１０を自動的に選択する。

ビデオ合成オーサリングシステム２００は、ビデオ合成内でデータ要素を選択し要素２１０のレイアウトを設計するための、要素選択およびレイアウトモジュール２３０を有する。要素選択およびレイアウトモジュール２３０は、ユーザ入力２２０において、ユーザによって選択されたこれらのデータ要素を使用する。ユーザ入力２２０がない場合には、要素選択およびレイアウトモジュール２３０は、使用すべきデータ要素２１０を自動的に選択する。ユーザ入力２２０があった場合には、要素選択およびレイアウトモジュール２３０は、ユーザによって選択されたデータ要素２１０を使用する。ビデオ合成を完了するために必要であるがユーザによって指定されなかったどのようなデータ要素２１０も、要素選択およびレイアウトモジュール２３０によって自動的に選択されて、ユーザの選択を補完するかまたは補足する。

ユーザの出力の選択に従って（または使用可能なユーザ入力２２０がない場合または限られている場合は自動的に選択されて）、要素選択およびレイアウトモジュール２３０は、自動レイアウトアルゴリズムを、選択したデータ要素２１０をレイアウトするのに適用する。データ要素２１０の自動レイアウトが、制約およびユーザ入力２２０においてユーザによって指定された要求を考慮しつつ、見た目に美しい方式で生じる。これらの制約は、ユーザによって指定される明示的なものであるか、または（モニタの表示サイズなどの）ハードウェア制限に基づく黙示的なものであり得る。要素選択およびレイアウトモジュール２３０からの出力は、暫定ビデオ合成結果２４０である。この時点で、要素選択およびレイアウトモジュール２３０は、選択したデータ要素を含む暫定ビデオ合成および暫定レイアウトを生成している。

ビデオ合成オーサリングシステム２００は、暫定ビデオ合成結果２４０をユーザに提示し、ユーザがユーザの好まない要素を変更し洗練できるようにするための反復洗練モジュール２５０を含む。具体的には、反復洗練モジュール２５０は、ユーザの見直し２６０のために暫定ビデオ合成結果２４０をユーザに提示する。ユーザの見直し２６０は、破線で示してあるように任意のプロセスである。ユーザの見直し２６０が生じない場合は、ビデオ合成オーサリングシステム２００は、暫定ビデオ合成結果２４０を最終出力として出力する。

ユーザの見直し２６０の間、ユーザは、暫定ビデオ合成結果２４０を見、自分には許容できない部分を判断することができる。たとえば、反復洗練モジュール２５０により、ユーザは、パラメータを変更し、異なるクリップレットを合成内に手動でドラッグアンドドロップし、テキストバブルをクリップレットに追加し、移動しているオブジェクトを追跡するための追跡アルゴリズムを使用して、あるクリップレットをクロップすることができる。変更は、反復洗練モジュール２５０によって行われ、その洗練を含む更新された暫定ビデオ合成結果２４０がユーザに提示される。いったんユーザが現在の暫定ビデオ合成結果２４０に満足すると、オーサリングプロセスは終了し、終了したビデオ合成２７０が出力される。

終了したビデオ合成２７０は、ビデオ合成ユーザインターフェース２８０を介してユーザに表示される。終了したビデオ合成２７０を表示するとともに、ビデオ合成ユーザインターフェース２８０により、ビデオ合成２７０とのユーザインタラクションが可能になる。ビデオ合成ユーザインターフェース２８０は、モニタ２９０上に表示される。終了したビデオ合成２７０の出力フォームは、たとえば、２次元コラージュ、単一の映画、またはフォトアルバムスタイルのハイパーテキスト「ブック」であり得る。出力フォームは、ユーザによって選択でき、またはユーザ選択がない場合は、システム２００によって自動的に選択できる。

３．オペレーティング環境の例
本発明によるビデオ合成ユーザインターフェース２８０は、計算環境内で動作するよう設計されている。以下の説明の目的は、本発明を実施できる適切な計算環境の簡単で一般的な記述を提供するためである。

図３は、本発明を実施するのに適切な計算装置を示すブロック図である。必要とされるものではないが、本発明をコンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な状況下で記述する。一般に、プログラムモジュールには、特定のタスクを行うかまたは特定の抽象データタイプを実施するルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。さらに、本発明が、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラマブルの大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含むさまざまなコンピュータシステム構成とともに実行できることは、当業者なら理解されるであろう。本発明はまた、タスクが通信ネットワークを介してリンクされたリモート処理デバイスによって行われる分散型計算環境内でも実行できる。分散型計算環境においては、プログラムモジュールを、記憶装置デバイスを含むローカルコンピュータ記憶媒体とリモートコンピュータ記憶媒体の両方に置くことができる。

図３を参照すると、本発明を実施するためのシステムの例に、汎用計算デバイス３００が含まれている。具体的には、計算デバイス３００は、処理ユニット３０２、システムメモリ３０４、システムメモリ３０４を含むさまざまなシステム構成要素を処理ユニット３０２に結合するシステムバス３０６を備える。システムバス３０６は、さまざまなバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリコントローラ、周辺バス、ローカルバスを含むいくつかのタイプのバス構造のどのようなものでも良い。システムメモリは、読出専用メモリ（ＲＯＭ）３１０およびランダムアクセスメモリ（ＲＡＭ）３１２を含む。基本入出力システム（ＢＩＯＳ）３１４が、スタートアップ中などに計算デバイス３００内の要素間で情報を転送する助けとなる基本ルーチンを含み、ＲＯＭ３１０内に格納される。計算デバイス３００は、さらに、ハードディスクから読み取り、かつ、そこへ書き込むハードディスクドライブ３１６（図示せず）、取り外し可能磁気ディスク３２０から読み取りかつそこへ書き込む磁気ディスクドライブ３１８、ＣＤ−ＲＯＭなどの取り外し可能光学ディスク３２４から読み取りかつそこへ書き込む光学ディスクドライブ３２２、または他の光学媒体を備える。ハードディスクドライブ３１６、磁気ディスクドライブ３１８、光学ディスクドライブ３２２は、それぞれ、ハードディスクドライブインターフェース３２６、磁気ディスクドライブインターフェース３２８、光学ディスクドライブインターフェース３３０によりシステムバス３０６に接続される。それらのドライブおよびそれらに関連するコンピュータ読取り可能媒体は、計算デバイス３００のための、コンピュータ読取り可能命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶装置を提供する。

本明細書に記述した環境の例では、ハードディスク、取り外し可能磁気ディスク３２０、取り外し可能光学ディスク３２４を用いるが、磁気カセット、フラッシュメモリカード、ディジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）などの、コンピュータからアクセス可能なデータを格納できる他のタイプのコンピュータ読取り可能媒体も、オペレーティング環境の例において使用できることを、当業者なら理解されるであろう。

いくつかのプログラムモジュールが、オペレーティングシステム３３２、１つまたは複数のアプリケーションプログラム３３４、他のプログラムモジュール３３６（ビデオ合成オーサリングシステム２００などの）、プログラムデータ３３８を含む、ハードディスク、磁気ディスク３２０、光学ディスク３２４、ＲＯＭ３１０またはＲＡＭ３１２に格納できる。ユーザ（図示せず）が、キーボード３４０およびポインティングデバイス３４２（マウスなど）などの入力デバイスを介してコマンドおよび情報を計算デバイス３００内に入力できる。その上、カメラ３４３（ビデオカメラなどの）を、たとえば、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナなどを含む他の入力デバイス（図示せず）と同様に、計算デバイス３００に接続できる。これらの他の入力デバイスは、しばしば、システムバス３０６に結合されたシリアルポートインターフェース３４４を介して処理ユニット３０２に接続されるが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースによっても接続できる。モニタ２９０（または他のタイプの表示デバイス）もまた、ビデオアダプタ３４８などのインターフェースを介して、システムバス３０６に接続される。モニタ２９０に加えて、パーソナルコンピュータなどの計算デバイスが、一般に、スピーカやプリンタなどの他の周辺出力デバイス（図示せず）を含む。

計算デバイス３００は、リモートコンピュータ３５０などの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワークされた環境内で動作できる。リモートコンピュータ３５０は、別のパーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の共通ネットワークノードであり得、図３には記憶装置デバイス３５２のみが例示してあるが、一般に、計算デバイス３００について上記に記述した要素の多くまたはすべてを含む。図３に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）３５４およびワイドエリアネットワーク（ＷＡＮ）３５６を有する。このようなネットワーキング環境は、オフィス、全社的なコンピュータネットワーク、イントラネット、インターネットにおいて一般的である。

ＬＡＮネットワーキング環境内で使用された場合は、計算デバイス３００は、ネットワークインターフェースまたはアダプタ３５８を介してローカルネットワーク３５４に接続される。ＷＡＮネットワーキング環境で使用された場合は、計算デバイス３００は、一般に、インターネットなどのワイドエリアネットワーク３５６を介して通信を確立するためのモデム３６０または他の手段を備える。モデム３６０は、内部も外部もあり得るが、シリアルポートインターフェース３４４を介してシステムバス３０６に接続される。ネットワークされた環境において、計算デバイス３００について示したプログラムモジュールまたはその部分を、リモート記憶装置デバイス３５２内に格納できる。示されているネットワーク接続は一例であり、コンピュータ間の通信リンクを確立する他の手段も使用できることが理解されよう。

４．ビデオ合成ユーザインターフェース
本発明によるビデオ合成ユーザインターフェース２８０は、マルチメディア要素の見た目に美しいコラージュでユーザにビデオ合成を表示する。さらに、ビデオ合成ユーザインターフェース２８０は、コラージュとインタラクトするための機能をユーザに提供する。

図４は、本発明によるビデオ合成ユーザインターフェース２８０の概観を示す図である。一般に、ビデオ合成が見た目に美しい方式でユーザインターフェース２８０を使用して表示され、したがってユーザが合成とインタラクトできるようになる。具体的には、ビデオ合成ユーザインターフェース２８０は、背景写真またはビデオを含む背景エリア４００を含む。この背景エリア４００は、ビデオ合成を提示するための心地良いバックドロップを提供する。ビデオ合成ユーザインターフェース２８０は、２次元配列でビデオおよびビデオクリップレットを表示する複数のビデオウィンドウ、４１０、４１５、４２０、４２５、４３０を含む。ビデオウィンドウは、そのビデオ合成がユーザにとって視覚的に引きつけられるような見た目に美しい方式で背景エリア４００の前面に配列される。この配列は、厳密な行列配列以外での配列を含むことができる。

ビデオウィンドウ、４１０、４１５、４２０、４２５、４３０は、ビデオおよびビデオクリップレットを含むマルチメディア要素のどのような組合せをも有する。さらに、ビデオ合成ユーザインターフェース２８０により、ユーザがテキスト注釈４４０を追加できる。これらのテキスト注釈４４０は、そのビデオウィンドウのコンテンツを記述するための記述的、コミカルまたは他の使用のテキストであり得る。図４に示されているように、ビデオウィンドウ４２０がテキスト注釈４４０を含む。しかし、ビデオウィンドウ、４１０、４１５、４２０、４２５、４３０および背景エリア４００のいずれもが、テキスト注釈４４０を含むことができることに留意されたい。

主要ビデオウィンドウ４５０が、ビデオ合成ユーザインターフェース２８０内に提供されて、その中のビデオまたはビデオクリップレットの再生を可能にする。ビデオウィンドウ４５０は、ビデオおよびクリップレットが表示できる、より大きくより集中型の表示空間を提供する。ドラッグアンドドロップ機能を使用して、ユーザが、ビデオウィンドウ、４１０、４１５、４２０、４２５、４３０のいずれかの（ビデオクリップレットなどの）コンテンツを主要ビデオウィンドウ４５０内にドラッグアンドドロップできる。また、主要ビデオウィンドウにより、テキスト注釈４４０を主要ビデオウィンドウ４５０に追加することもできる。「ここから再生（Ｐｌａｙ ｆｒｏｍ Ｈｅｒｅ）」機能４６０により、ユーザが、主要ビデオウィンドウ４５０内にビデオまたはクリップレットを入れ、ビデオまたはクリップレット内の現在の位置から最後までビデオまたはクリップレットを再生できる。

ビデオ合成ユーザインターフェースはまた、ドラッグアンドドロップ機能も含む。上述したように、この機能により、ユーザが、（マウスなどの）ポインティングデバイスを使用して、ビデオウィンドウ、４１０、４１５、４２０、４２５、４３０のコンテンツをドラッグし、これらのコンテンツを主要ビデオウィンドウ４５０内にドロップできる。さらに、ユーザは、ビデオウィンドウコンテンツを「ここから再生」機能４６０にドラッグアンドドロップでき、コンテンツは、ビデオの現在の位置から再生する。ドラッグアンドドロップ機能を使用して、ユーザにとって心地良い配列でビデオウィンドウ、４１０、４１５、４２０、４２５、４３０を移動することもできる。

ビデオ合成ユーザインターフェース２８０はまた、ユーザに誰がビデオ合成内にいるか及び誰がその製作の責任者であるかのリストをインタラクティブに生成できるようにするキャストおよびクレジットリスト機能４７０も含む。さらに、ビデオ合成ユーザインターフェース２８０には、ユーザに、ビデオ合成のためのタイトルをインタラクティブに入力し、そのタイトルをユーザの選んだ場所に表示させることを可能にするタイトルエリア４８０を含む。

ビデオ合成ユーザインターフェース２８０により、ビデオクリップレットをクリップレット重要性評定によって分類できる。以下に詳細に説明するように、クリップレット重要性評定は、クリップレットに関連しそれについて使用可能な、どのような情報にも基づくことができる。これらの評定は、たとえば、フェース検出カテゴリおよびズームカテゴリなどの重要性評定カテゴリ内にまとめることができる。クリプレットは、最良から最悪への順序でまたは他の所望のランキング方式で分類し、ビデオ合成ユーザインターフェース２８０上に表示できる。

（ビデオ合成出力）
ビデオ合成ユーザインターフェース２８０は、さまざまな出力フォーマットでビデオ合成を表示できる。これらのフォーマットには、以下のものが含まれる。

（クリップレットコラージュ）
このフォーマットにおいては、ビデオ合成は、複数のビデオウィンドウ、４１０、４１５、４２０、４２５、４３０内にビデオクリップレットを含むクリップレットコラージュである。したがって、クリップレットがビデオウィンドウ、４１０、４１５、４２０、４２５、４３０のそれぞれの中に含まれる。ユーザが、クリップレットをクリックすることにより、それぞれのクリップレットをウィンドウ内で再生できる。さらに、ドラッグアンドドロップ機能を使用して、ユーザはユーザインターフェース２８０内で所望のままにクリップレットを再配列できる。

（自動ハイライトビデオ）
ビデオ合成ユーザインターフェース２８０は、複数のビデオウィンドウ、４１０、４１５、４２０、４２５、４３０のそれぞれによって作成された単一のビデオを表示し、それとのインタラクションを可能にできる。言い換えれば、単一のハイライトビデオが、主要ビデオウィンドウ４５０内で再生される。ハイライトビデオは、（クリップレットなどの）ビデオウィンドウのマルチメディアコンテンツのそれぞれをつなげることによって生成される。つなぐ順序は、システムによって自動的に選択するか、またはユーザがドラッグアンドドロップ機能を使用して選択できる。フェードなどの選択されたクリップレット間の興味深い遷移（transition）が、ユーザまたはシステムによって選択できる。これは、ユーザ側での作業をほとんど必要としない楽しいハイライトビデオである。

（ビデオポストカード）
ビデオ合成ユーザインターフェース２８０は、ビデオポストカードが作成されるようにビデオ合成全体を電子メールで送信できるようにする電子メール機能４９０を含むことができる。たとえば、電子メールの受信者は、その電子メールを開け、ビデオウィンドウ、４１０、４１５、４２０、４２５、４３０および主要ビデオウィンドウ４５０のそれぞれをクリックして、そのウィンドウ内でクリップレットを再生できる。これは、ビデオを体験するための新しい方式である。

５．実施例およびオペレーションの詳細
図５は、図４に示されるビデオ合成ユーザインターフェースの実施例を示す図である。この実施例はビデオ合成ユーザインターフェース２８０が実施できる１つの方式であるにすぎないことに留意されたい。図５に示されているように、ビデオ合成ユーザインターフェース２８０は、背景ピクチャ５４０の上に複数のウィンドウ、５１０、５１５、５２０、５２５、５３０、５３５を含むクリップレットコラージュビデオ合成５００を表示している。複数のウィンドウ、５１０、５１５、５２０、５２５、５３０、５３５のそれぞれが、クリップレットを含む。この例では、クリップレットコラージュビデオ合成５００は、ハワイで撮られたビデオから合成され、したがってハワイの主題を有する。背景ピクチャ５４０は夕日であり、クリップレットはそのバケーションからの画像を含む。

クリップレットコラージュビデオ合成５００はまた、「ハワイ２００２」というタイトル５５０も含む。テキスト注釈５６０が、ビデオウィンドウ５３５に追加されている。主要ビデオウィンドウ５７０が、海岸に横たわるハワイのモンクアザラシのクリップレットを含む。テキスト注釈５６０が主要ビデオウィンドウ５７０に追加されて、主要ビデオウィンドウ５７０内のクリップレットに情報および重要性を追加する。クリップレットコラージュビデオ合成５００にはまた、ハワイ音楽を含むオーディオファイルも含まれる。

（ビデオ合成オーサリングシステム）
図６は、図２に示されるビデオ合成オーサリングシステム２００のオペレーションを示す一般的な流れ図である。一般に、ビデオ合成オーサリングシステム２００は、（ビデオ、クリップレット、サウンドなどの）マルチメディア要素を含む見た目に美しいレイアウトのデータ要素を提供する。このレイアウトは、ビデオ合成ユーザインターフェース２８０を使用して、見る人に表示される。具体的には、ビデオ合成オーサリングシステム２００は、データ要素を入力する（ボックス６００）ことによって動作する。これらのデータ要素は、上述したように、マルチメディア要素、パラメータ情報、記述情報を含む。

欠落しているが（システム２００によって判断された）必要などのようなデータ要素も、自動的に選択される（ボックス６１０）。したがって、ユーザがビデオ合成をオーサリングするために必要なデータ要素を全く指定しなかったり、またはそのすべてより少ないデータ要素を指定した場合は、欠落しているデータ要素は、システム２００によって自動的に選ばれる。次いで、暫定ビデオ合成結果が、ユーザの見直しのために生成される（ボックス６２０）。ユーザは、その暫定ビデオ合成結果のどのような部分をも変更するための洗練および変更を行うことができる（ボックス６３０）。いったんユーザがその暫定ビデオ合成結果に満足すると、その変更を含む最終ビデオ合成が生成される。最終ビデオ合成は、ビデオ合成ユーザインターフェース２８０を使用して提示される（ボックス６４０）。

（要素選択およびレイアウトモジュール）
図７は、図２に示される要素選択およびレイアウトモジュール２３０のオペレーションの詳細を示す詳細な流れ図である。要素選択およびレイアウトモジュール２３０は、データ要素を選択し、ビデオ合成とともに要素のレイアウトを設計する。データ要素の選択は、ユーザ指定された命令、モジュール２３０により自動的に生成された選択、またはその両方の組み合わせによって生じる。

要素選択およびレイアウトモジュール２３０のオペレーションは、ユーザがデータ要素を選択することを欲するかどうかを判断する（ボックス７１０）ことによって開始する（ボックス７００）。ユーザは、データ要素のすべてを選択する、データ要素のどれをも選択しない、またはユーザ選択と自動選択の組み合わせを選択する能力を有する。ユーザがデータ要素を選択することを決定した場合は、選択されたデータ要素はモジュール２３０に入力される（ボックス７２０）。そうでない場合は、オペレーションは、ユーザ選択されたデータ要素を入力することをスキップする。

次いで、モジュール２３０は、必要だがユーザによって指定されていないかまたは選択されていない、欠落しているデータ要素を自動的に選択し取得する（ボックス７３０）。モジュール２３０は、ユーザ入力の量に従って、必要なデータ要素間のすべてを選択、どれも選択しない、あるいは任意の量を自動的に選択できる。いったんデータ要素が選択されると、ユーザがデータ要素のレイアウトを指定することを欲するかどうかが判断される（ボックス７４０）。欲する場合には、指定された要素レイアウトは、ユーザからの入力として受信される（ボックス７５０）。欲しない場合には、このプロセスがスキップされる。

次いで、ユーザによって指定されたレイアウトを有さない要素のレイアウトが自動的に行われる（ボックス７６０）。繰り返すが、自動的に判断されたレイアウトを有するデータ要素の数は、どれだけの入力をユーザが提供するかを示す関数である。ユーザ入力がほとんどまたは全く提供されない場合は、モジュール２３０は、選択されたデータ要素のすべてまたはほとんどのためのレイアウトを自動的に指定する。他方、データ要素のためのレイアウトのすべてまたはほとんどがユーザによって指定された場合は、モジュール２３０は、データ要素のためのレイアウトをほとんどまたは全く自動的に判断しない。いったんデータ要素のレイアウトが判断されると、ビデオ合成が、出力として送信される（ボックス７７０）。

（要素選択およびレイアウトモジュールの機能）
要素選択およびレイアウトモジュール２３０は、ビデオ合成をオーサリングすることを可能にする、ある機能を有する。特定の機能には、以下のようなものがある。

（クリップレット重要性評定）
ビデオ合成オーサリングシステム２００がクリップレットを使用した場合、クリップレットは、そのクリップレットについての情報を提供するための使用可能な処理技術に基づいてそれらに割り当てられる重要性評定を有することができる。たとえば、フェース検出技術が使用可能である場合は、それぞれの個々のクリップレットを処理して、フェースを検出できる。クリップレットがフェースを含むかどうかなどのこの処理から得られた情報は、それぞれの個々のクリップレットとともに格納される。この情報に基づいて、それぞれのクリップレットのためのフェース検出の重要性評定が判断できる。重要性評定は、ビデオフレーム毎ではなく、クリップレット毎に関連付けられる。しかし、評定プロセスで使用される特徴の計算をフレーム毎に行い、後に使用するためにクリップレット評定プロセス中に格納できる。

クリップレット評定は、クリップレットに関連しそれのために使用可能などのような情報にも基づくことができる。このクリップレット評定情報は、サブショット境界検出に関して上述したように、タイムスタンプ、ロケーションスタンプ、オーディオ信号、ビデオ信号、情報および分析のすべてを有する。クリップレット評定情報は、クリップレットについての情報を提供するために使用可能などのような技術をも利用できる。これには、音声認識、スピーカ認識、フェース検出、ズーム検出、パン(pan)検出、任意のタイプのオーディオ分析または認識、任意のタイプのビデオ分析または認識も含まれる。これらの技術のどれかを使用して、個々のクリップレットのための重要性評定を生成できる。例示として、重要性評定がフェースを検出する場合には、フェースを含むクリップレットがフェースを含まないクリップレットと比べてより高い重要性評定を有し、かつ、フェースを含むクリップレットの中では、より大きい割合の時間、カメラに面しているフェースを含むものにより高い評定がなされることがある。別の例として、重要性評定がクローズアップについてである場合は、ズーミング事象の直後のクリップレットが、他のクリップレットより高い重要性評定を有する。

クリップレット重要性評定は、多次元であり得る。たとえば、クリップレットが、「オーディオ活動レベル」のための評定および「視覚活動レベル」および「フェースの発生」のための別個の評定を有することがある。評定は、絶対数値でも良いし、またはクリップレット間の相対的な順序付け（またはランキング）でも良い。例示として、評定がオーディオに基づいてクリップレットに割り当てられると想定する。このことを、すべての周知のクリップレット全体にわたって正規化されたオーディオパワー信号内の分散を計算することによって行うことができる。視覚を使用するクリップレット評定の別の例では、カメラのズームまたはパンが検出され、より高い評定が、ズームまたはパン事象の直後のクリップレットに割り当てられると想定する。クリップレット評定のさらに別の例では、持続時間を使用して、評定をｘ秒の持続時間の中心にあるガウス形に比例させる。ここで、ｘはユーザの好みまたは期待値に基づくことができる。

（自動空間適応）
ビデオ合成オーサリングシステム２００の出力は、クリップレットのコラージュを含むビデオ合成を有する。コラージュは複数のウィンドウを有し、それぞれのウィンドウ内にはマルチメディア要素が含まれる。ウィンドウのサイズに従って、心地良いまたは見た目に美しいレイアウトを維持しながら、クリップレットが動き回り、使用可能な空間内に適合することを試みるようにクリップレットのコラージュを適用できる。この空間適応は、要素選択およびレイアウトモジュール２３０によって自動的に行われる。

（クリップレットコラージュコンテンツの自動選択）
ユーザが懸命に作業することを欲しない場合は、ビデオ合成オーサリングシステム２００は、クリップレットを自動的に選択して、ユーザの好みに基づいてまたはランダムに、ビデオ合成コラージュのウィンドウを取り込む。

例示として、ビデオ合成オーサリングシステム２００は、ブランクである複数のウィンドウを作成できる。次いで、以下のアルゴリズムの１つまたは複数を使用することによりウィンドウを自動的に満たすことができる。自動選択ための１つのアルゴリズムが、重要性評定に基づくことができる。たとえば、カテゴリ内のトップのＮクリップレットは、それぞれのカテゴリから判断され且つ選ばれ、ウィンドウのそれぞれの中に自動的に入れることができる。これらのカテゴリは、たとえば、オーディオ評定カテゴリ内に興味深いオーディオを、フェース評定カテゴリ内に興味深いフェースを、ズーム評定カテゴリ内にクローズアップを含むことができる。何が「トップ」を構成するのかについての基準は、カテゴリによる。たとえば、ズームカテゴリにおいては、クローズアップを含むクリップレットは、そのカテゴリ内の「トップ」であると考えられよう。

自動選択のための別のアルゴリズムを、時間制約とともに重要性評定で使用できる。仮に、カテゴリ内のトップのＮクリップレットのうちの、２つのクリップレットが時間的に近い場合は、モジュール２３０は、その２つのクリップレットは同じシーンからのものであるとみなす。多様性を提供するために、１方のクリップレットを選び他方を廃棄する。

別のアルゴリズムは、それぞれのカテゴリ内のトップのクリップレットからランダムな選択を行うことである。たとえば、それぞれのカテゴリ内のトップのＮクリップレットのみを取るのではなく、このアルゴリズムは、カテゴリからトップのＭ数のクリップレットを指示し（ここでＭ＞Ｎ）、Ｍの使用可能なクリップレットからＮクリップレットをランダムに選択する。この方式により、多様性が出力ビデオ合成内で維持される。

（使用統計）
要素選択およびレイアウトモジュール２３０はまた、使用統計に基づいてビデオ合成コラージュを選択し取り込むこともできる。使用統計は、クリップレット使用の頻度を追跡する。これらの結果はユーザに表示できる。ユーザが要素選択およびレイアウトモジュール２３０を介してクリップレットとインタラクトすると、使用統計が計算される。

ユーザがクリップレットを見たり選択したりするたび毎に、そのクリップレットのための使用評定が上がる。使用統計は、ユーザがどのタイプまたはどのカテゴリのクリップレットを好むかを指定するようユーザに明示的に尋ねる必要を軽減するタイプのクリップレット重要性評定である。時間が経つにつれて、使用統計は、どのクリップレットがユーザにとって興味深いかを判断するのに、より正確になる。

使用統計が、他のクリップレット重要性評定と相互に関係する場合がある。この相関関係を使用して、使用評定および何がユーザにとって興味深いかに基づいて、重要性評定およびクリップレット評定プロセスを徐々に調整し訓練できる。例示として、ユーザが多くの興味深いオーディオを有するクリップレットを常に一貫して見ている場合は、オーディオ重要性評定がそのユーザにとって重要であることを導き出すことができる。したがって、ユーザが高いオーディオ重要性評定を有するクリップレットを好み、興味を持っていると判断できる。使用統計を重要性評定と相互に関係させることにより、徐々にシステム２００は、ユーザの好みを「学習する」。たとえば、ビデオ合成コラージュのウィンドウを取り込むためにクリップレットを選択する場合に、この知識を使用できる。

（ビデオ合成出力スタイル選択）
要素選択およびレイアウトモジュール２３０により、ユーザが、ビデオ合成の出力スタイルを選択できる。選択されたスタイルに従って、モジュール２３０は、選択されたスタイルに従ってデータ要素を選択し配列する。たとえば、ユーザが「ロマンチックな」スタイルを選択した場合は、モジュール２３０は、ソフトな音楽を選択し、速いアクションのないビデオ要素を選び、遅い動きを追加し、ロマンチックな主題をキープする際にビデオ要素をややぼかす。

（反復洗練モジュール）
図８は、図２に示される反復洗練モジュール２５０のオペレーションの詳細を示す詳細な流れ図である。反復洗練モジュール２５０は、暫定ビデオ合成結果をユーザに提示する。ユーザがその結果を好んだ場合は、暫定ビデオ合成結果は変更を加えず、ビデオ合成出力として送信される。ユーザがその結果を好まなかった場合は、反復洗練モジュール２５０により、ユーザは、そのユーザが許容できないデータ要素またはそのレイアウトに変更を加え洗練することができる。

反復洗練モジュール２５０のオペレーションは、ユーザが暫定ビデオ合成結果を見ることを欲するかどうかを判断する（ボックス８１０）ことによって行われる（ボックス８００）。欲する場合は、モジュール２５０は、暫定ビデオ合成結果をユーザに提示する（ボックス８２０）。欲しない場合は、暫定ビデオ合成結果は、完了したビデオ合成と考えられる。次いで、ユーザが暫定ビデオ合成結果に変更を加えることを欲するかどうかの判断がなされる（ボックス８３０）。ユーザが変更を加えることを欲した場合は、モジュール２５０により、ユーザは、その変更を入力し、次いで指定されたこれらの変更を行う（ボックス８４０）ことができる。次いで、更新された暫定ビデオ合成結果が、ユーザに提示される（ボックス８２０）。この反復プロセスは、ユーザが暫定ビデオ合成結果に満足するまで続行する。ユーザが変更を加えることを欲しない場合は、暫定ビデオ合成結果は、完了したビデオ合成としての出力として送信される（ボックス８５０）。

（反復洗練モジュールの機能）
反復洗練モジュール２５０は、ビデオ合成をオーサリングできるようにする、ある機能を有する。その特定の機能には、以下のようなものがある。

（ドラッグアンドドロップ洗練）
反復洗練モジュール２５０は、ビデオ合成の要素を修正し、追加し、または削除するようなドラッグアンドドロップ機能を提供する。このドラッグアンドドロップ機能により、ユーザが、所望のクリップレットをビデオ合成内の所望の位置にドラッグアンドドロップできる。

（クリップレット境界の洗練）
クリップレットの開始および終了ポイント（または編集ポイント）が既に決まっていたとしても、ユーザがそれらに満足しないことがある。反復洗練モジュール２５０により、ユーザは、クリップレットをそれと時間的に近いものとマージすることにより、クリップレットを長くすることができる。このことは、入力デバイスを使用して、第１のクリップレットが第２のクリップレットとマージして、新しい第３のクリップレットが作成されるように、少なくとも２つのビデオクリップレットをマージすることによって達成される。第３のクリップレットは、第１および第２のクリップレットを組み合せた持続時間である。このことにより、ユーザが、クリップレットを長くし、それと時間的に近いもののうちのどのようなものにも組み合せることができるが、スクラビングを必要とする。

ユーザがまだクリップレットの編集ポイントに不満である場合は、反復洗練モジュール２５０は、ユーザが開始または終了ポイントを延長または縮小することのできる機能を有する。スクラビングを回避するために、ユーザは、システムに１つまたは２つの新しい編集ポイントを自動的に見つけ出させるオプションを有する。入力デバイスを介して、ユーザは、反復洗練モジュール２５０がクリップレットのための他の開始および終了ポイントの可能性を提示することを要求できる。

（タイトルおよびクレジット生成）
タイトルおよびクレジット生成には、ユーザが、ビデオ合成コラージュのキャストおよび誰がビデオフィルムに寄与したかを入力することが必要となる。次いで、反復洗練モジュール２５０は、クレジットおよびキャストリストを生成する。それより少しのユーザ入力が所望された場合は、モジュール２５０は、フェース認識技術を使用して、ひとびとの名前を「学習する」ことができる。このことは、ユーザに一度個人の名前を入力させ、次いでモジュール２５０が、その後これらのひとびとを自動的に認識し、キャストリストを自動的に作成できるようにすることによって生じる。

（テキスト注釈）
ユーザ入力またはシステム２００によって自動的に、テキストをビデオ合成に追加できる。テキストを使用して、ビデオ合成に注釈を付け、記述し、または補完することができる。反復洗練モジュール２５０は、テキスト注釈を追加し、ビデオ合成上のどこにテキストが置かれているかを判断するための機能をユーザに提供する。さらに、ユーザが選ぶことのできるさまざまなテキストスタイルおよびサイズが使用可能である。

本発明についての上記の記述は、例示および説明の目的で提示したものである。開示した厳密な形式は本発明を限定するよう意図したものではない。上記の教示に照らして、多くの修正形態および変形形態が可能である。本発明の範囲は、発明の詳細な説明によって限定されるものではなく、むしろ本明細書の頭記の特許請求の範囲によって限定されるものである。

ソースビデオおよびビデオフレームと関連してビデオクリップレットのコンセプトを示す図である。 本発明によるビデオ合成ユーザインターフェースを組み込んだビデオ合成オーサリングシステムの例の概要を示すブロック図である。 本発明を実施するのに適切な計算装置を示すブロック図である。 本発明によるビデオ合成ユーザインターフェースの概観を示す図である。 図４に示されるビデオ合成ユーザインターフェースの実施例を示す図である。 図２に示されるビデオ合成オーサリングシステムのオペレーションを示す一般的な流れ図である。 図２に示される要素選択およびレイアウトモジュールのオペレーションの詳細を示す詳細な流れ図である。 図２に示される反復洗練モジュールのオペレーションの詳細を示す詳細な流れ図である。

符号の説明

２００ ビデオ合成オーサリングシステム
２１０ データ要素
２７０ ビデオ合成
２８０ ビデオ合成ユーザインターフェース
２９０ モニタ
４００ 背景エリア
４１０、４１５、４２０、４２５、４３０ ビデオウィンドウ、
４４０ テキスト注釈
４６０ 「ここから再生」機能
４７０ キャストおよびクレジットリスト機能
４８０ タイトルエリア
４９０ 電子メール機能
５００ クリップレットコラージュビデオ合成
５１０、５１５、５２０、５２５、５３０、５３５ ウィンドウ
５４０ 背景ピクチャ
５５０ タイトル
５６０ テキスト注釈
５７０ 主要ビデオウィンドウ

Claims (8)

1. コンピュータシステムにおいてビデオクリップレットを含むビデオ合成を表示するための方法であって、
   背景ピクチャを表示するために背景エリアを提供する第１のステップと、
   ビデオクリップレットを含む複数のビデオウィンドウを提供する第２のステップと、
   前記ビデオクリップレットのいずれかを再生するための前記複数のビデオウィンドウより一般に大きい主要ビデオウィンドウを提供する第３のステップと、
   前記複数のビデオウィンドウの少なくとも１つのビデオウィンドウ内でテキスト注釈を表示する第４のステップと、を備えていることを特徴とするビデオ合成を表示するための方法。
2. ビデオ合成オーサリングシステムを使用して前記ビデオ合成を生成するステップを備えていることを特徴とする請求項１に記載のビデオ合成を表示するための方法。
3. 前記ビデオクリップレットの現在位置から当該ビデオクリップレットの最後までを再生する前記主要ビデオウィンドウ内に、「ここから再生」機能を備えていることを特徴とする請求項１に記載のビデオ合成を表示するための方法。
4. 前記ビデオ合成はクリップレットコラージュであることを特徴とする請求項１に記載のビデオ合成を表示するための方法。
5. 電子メール機能を備え、当該電子メール機能はユーザが前記ビデオ合成を電子メールできるようにする前記ビデオ合成上に表示されるものであることを特徴とする請求項１に記載のビデオ合成を表示するための方法。
6. 前記ビデオ合成はビデオポストカードであることを特徴とする請求項２に記載のビデオ合成を表示するための方法。
7. 前記ビデオ合成はハイライトビデオであり、当該ハイライトビデオは、前記クリップレットのそれぞれを前記複数のビデオウィンドウと連鎖させ、前記主要ビデオウィンドウ内で再生することによって生成されるものであることを特徴とする請求項１に記載のビデオ合成を表示するための方法。
8. 前記ビデオ合成のために背景音楽を提供するステップを備えていることを特徴とする請求項１に記載のビデオ合成を表示するための方法。

Images