JP2000516011A - タイムベースメディア処理システム - Google Patents

Abstract

(57)【要約】 既存のメディアに対するコンテンツ表現を定義して表現間の関数従属性を確立することにより既存のメディア信号を処理して新しいメディアコンテンツが生成される。コンテンツ表現は実施できる操作および確立できる従属性の種類を決定する異なるデータ型を含んでいる。達成できる変換のタイプの中に同期化、音響置換、およびパラメトリック特殊効果の生成がある。コンテンツ表現とそれらの関数従属性が組み合わされて入力メディア信号に所望の変換を生じさせる関数従属性ネットワークが構成される。関数従属性ネットワークへの入力は適応メディアプロダクションを生成するのに使用できるテンプレートを構成するするようにメディアデータ型によりパラメトリックに指定される。

Description

【発明の詳細な説明】 タイムベースメディア処理システム発明の分野 本発明は映像および音声信号等のタイムベースメディア信号の生産、変換、修 正、再シーケンシング、および流通に関し、特に、ユーザ側に高レベルの技能を 必要とせずにユーザから供給される新しいメディア信号を受け入れ、適応し、か つ／もしくは適応されることができる再構成可能な、適応メディアプロダクショ ンを提供することができるメディア処理システムに関する。これらのプロセスは 、限定はされないが、映画、テレビジョン、音楽、オーディオ、およびオンライ ンコンテンツ産業に向けられる。発明の背景 今日、最も進んだメディア処理システムは計算装置ではなく機械装置である。 それらは今世紀初頭の最初のフィルム編集システムと同様に広範な時間的メディ アを直接操作し、そのユーザはまだそのように考えることを必要とされるている 。最も進んだメディア編集システムがどのように作動するかを理解するために、 時間的入口および出口点に従ってメディアを操作するバーチュアルロボットアー ムを想定することができる。操作されるコンテンツおよび実施される操作の異な るモデルにより、異なるメディア生産方法および異種のメディアプロダクション となることがある。これに関して２つの歴史的な類似性が実例となる。最初の１ つは１８世紀後半の銃製造工程における製品化された交換可能部品の発明に関連 している。交換可能部品が発明される前は、銃メーカは部品が標準化されず再使 用できないため困っていた。各部品は標準化され製品化されたものではなく、独 特な手工芸によるものであった。製品化された交換可能な部品の発明により、銃 の生産は前近代的生産モードから産業生産モードへと転換した。２０世紀後半に おいて、メディア生産方法は１８世紀の終りに銃メーカが到達した産業化段階に まだ達成していない。本発明はこのような状況を変えようとするものである。 メディアを交換可能部品の製作により生産するには、純粋に機械的な生産モー ドでは不十分である。ソフトウェア部品の単純な定義、生成、および再使用を可 能にした１９８０年代のソフトウェア設計における計算的生産方法の発明と同様 に、計算的メディア生産方法が必要である。 新しいメディアコンテンツを迅速、簡単かつ反復生産する能力は、技能および 資源の欠如により映画製作を歴史的に妨げてきた状況における特別な関心事であ る。特に、ホーム消費者による映画コンテンツの生産は、これらの目標を満たす のに必要な次の３つの能力の欠如に悩まされている。 ・ 使い易くしかも強力な合成ツール ・ ホーム内で生産できないメディアコンテンツへのアクセス ・ 高品質サウンドトラック（マルチトラック音楽、対談、ナレーション、お よび音響効果を含む）を生産するツール。 現在のメディア処理システムに関連するもう１つの制約は既存のメディアコン テンツの再使用にあまり適さないという事実である。新しいメディアコンテンツ を生成するコストおよび／もしくは困難さが既存のメディアコンテンツを再使用 するためのコストおよび／もしくは困難さを越えるような状況では特にそうであ る。メディア生産に参加したい消費者にとって、生産技能、財政的資源、および メディア資産が欠如する場合既存のメディアへアクセスすることは最も重要なこ とである。現在、既存のレコーディングを効率的に検索し組み合わせて所望の効 果を提供する機構はない。 要約すると、ユーザ側に高い技能レベルを必要とせずに高品質、適応メディア プロダクションを提供することができ、したがって平均的な消費者が使用するの に適したタイムベースメディア処理システムが必要とされている。本発明の目的 はメディアコンテンツの生産および流通において新しい効率、方法、および形式 を可能とすることである。また、本発明はメディアコンテンツの再使用、および 間接的にはそれを生成する労力および専門的技術、を助成するメディア処理シス テムの必要性を満たすものである。発明の要約 これらの目的を追求するために、本発明は２つの基本的構成要素からなる計算 的メディア処理のための新しいパラダイムを実施する。 ・ コンテンツ表現 （メディア信号の内容を表す自動的、半自動的、および手動的に発生した 記述データ） ・ 関数従属性（Ｆｕｎｃｔｉｏｎａｌ Ｄｅｐｅｎｄｅｎｃｙ） （コンテンツ表現およびメディア信号に作用して新しいメディアコンテン ツを計算する関数関係） 本発明はこれら２つの技術を組み合わせてタイムベースメディアメディア処理シ ステムを生成し、それは新しいメディアコンテンツを計算するためにメディアコ ンテンツの表現を操作する。本発明はメディアの簡単な時間的表現（フレーム、 タイムコード、等）の直接操作から、メディアコンテンツのハイレベル表現およ びそれらの間の関数従属性から新しいメディアをインタラクティブに計算するこ とへのパラダイムシフトをサポートするものである。メディア処理および合成の このパラダイムにより従来のメディア（例えば、映画、テレビジョンプログラム 、音楽映像、等）の生産を現在の方法よりも数桁高速とすることができる。その ため、本発明を使用することはメディア生産、流通、および再使用の現在の産業 プロセスにとって基本的な意義がある。コンテンツ表現および関数従属性により 、本発明は何が含まれ、どのように処理、適応、および再使用できるかを決定で きる計算的メディア構成要素の生産プロセスを生成する。 本発明に従って、メディア信号がメディアパーサーで処理されてその内容の記 述表現が得られる。各コンテンツ表現はメディア信号に関する情報を提供するデ ータであり、基本的にメディア信号に依存する。コンテンツ表現の特定のデータ 型に応じて、メディアに関するさまざまな種類の情報を得ることができ、この情 報およびそれが基本的に依存するメディアに対してさまざまなタイプの操作を実 施することができる。また、コンテンツ表現は有向グラフ構造を介した挙動の継 承をサポートし（例えば、一般から特定へ）かつ新しいコンテンツ表現へ構成す ることができる。例えば、音声信号を解析してそのピッチを識別することができ る。このコンテンツ表現に対して高次の解析を実施してその韻律（すなわち、そ のピッチパターン）、もしくは音楽の場合には、その和音構造等のメディア信号 に関する付加情報を得ることができる。 メディアパーサーは自動的、半自動的、もしくは手動的に操作することができ る。自動メディアパーサーはその入力メディア信号からそのコンテンツ表現を作 成するのに人間による入力を必要としない。半自動および手動メディアパーサー はそのコンテンツ表現を作成するのに人間による入力もしくは手動注釈を必要と する。 メディア信号のコンテンツ表現から得られる情報はメディア生産者へ送られ、 そこで入力メディア信号とコンテンツ表現間の関数的関係が定義されて新しいメ ディアプロダクションが作成される。例えば、特定の歌のイベントレートを使用 して映像信号が放映されるレートを制御し、映像内のイベントが歌の中のイベン トと同期化されるようにすることができる。また、映像シーケンスに適合するよ うにサウンドトラックを加減速および／もしくは修正することができる。別の例 では、関数的関係を使用してメディアの１つのアイテムを別のアイテムと置換す ることができる。例えば、映像信号に対するサウンドトラック内のオリジナル音 響を、オリジナル音響のそれに対応する同様な性質、例えば持続時間、を有する １組の新しい音響で置換することができる。別の例では、映像もしくは音声信号 内のイベントを検出し、一方もしくは両方のメディア信号を特定の方法で修正し て特殊効果を生成するのに使用することができる。さらに別の例では、別のメデ ィア信号の内容に応答して特定のメディア信号をトリガーして、例えば、依存性 コンテンツ表現を有する着信メディア信号流の意味（ｓｅｍａｎｔｉｃ）内容に 反応するアニメーションを作成することができる。 本発明のシステムでは、再構成可能な適応メディアプロダクションの発生は２ つの主要なフェーズで実施される。第１のフェーズにおいて、ここではテンプレ ートビルダーといわれる人間により関数従属性ネットワークが形成される。関数 従属性ネットワークにより究極のメディアプロダクションを出力する関数構造、 すなわちテンプレート、が提供される。そのために、多数の異なるメディアパー サーおよびメディア生産者を利用してコンテンツ表現に対するさまざまなタイプ のメディア信号およびさまざまなデータ型がそれぞれ処理される。関数従属性ネ ットワークは、メディア信号を処理してそれらの間に所望の関数関係を与えるよ うに、選択したメディアパーサーおよびメディア生産者を組み合わせて形成され る。作成フェーズ中に、１組の固定メディア信号が関数従属性ネットワークへ入 力され、テンプレートビルダーはパーサーおよび生産者を反復的に変えてこの１ 組の固定入力信号を使用して所望の結果を得ることができる。さらに、このフェ ーズ中に、新しいコンテンツ表現および新しいデータ型を定義することができる 。テンプレートビルダーは既存のテンプレートを新しいテンプレートの構成に再 使用することができる。 テンプレートが形成されると、関数従属性ネットワークへの１つ以上の入力を 一定入力信号からそのデータ型により定義されるパラメータへ変化させることが できる。その結果得られるパラメータ入力を有する関数従属性ネットワークはテ ンプレートユーザへ与えられる適応テンプレートを形成する。手順の第２のフェ ーズでは、テンプレートユーザは、関数従属性ネットワークへの入力信号として 使用される、所要データ型であるメディア信号を供給する。これらのメディア信 号は適応テンプレート内に組み込まれた関数に従って処理されて、テンプレート ユーザの入力に適応する、および／もしくは適応する、新しいメディアプロダク ションを作成する。 本発明の別の実施例では、関数従属性ネットワークが定義されている場合には 、一定の入力信号をパラメータへ変える必要がない。この場合には、従来のメデ ィア表現、すなわち適応性ではないメディア表現が得られる。しかしながら、メ ディアプロダクションを反復的に作成して変更する能力により、従来のメディア 生産方法よりも遥かに高い効率および自動化が提供される。さらに、本システム により既存のメディアコンテンツを有意に再使用することができる。 本発明のもう１つの特徴として、関数従属性ネットワークの形成においてメデ ィアパーサーおよび生産者の選択、組合せおよび構成を容易にするためにビジュ アルデータフローインターフェイスが提供される。パーサー、生産者、関数、メ ディア信号、データ型、およびコンテンツ表現の操作はテンプレートビルダーが グラフィックデータフローネットワーク内でそれらのアイコン表現を選択し、ド ラッグし、接続して遂行される。インターフェイスにより提供される機能性は、 ネットワークビルダーが特定構成のデータアイテム、すなわちメディア信号、を 選択かつ配置してデータアイテム間の関数従属性を指定できるという感覚におい て、スプレッドシートの操作に類似している。インターフェイスは入力信号、中 間処理結果、および最終出力を空間的かつ時間的にディスプレイして、関数従属 性ネットワークにおけるメディア信号とコンテンツ表現の関係を敏速に理解させ る。この特徴によりネットワークは直観的に構成することができる。 本発明により提供される能力により、任意特定の媒体もしくは媒体の組合せに おけるデータは解析および／もしくは注釈され、続いて関数結合されて新しいメ ディアプロダクションを作成することができるテンプレートを構成する。新しい メディアプロダクションは、各々がそれ自体のメディアを提供する他のテンプレ ートユーザ、もしくはテンプレートビルダーが作成して類似構造の多数のプロダ クションを作ることができる。 本発明により、消費者は訓練、専門的技術、および時間の従来の高い生産コス トをかけずに、高い生産値で映画コンテンツを生産することができる。また、本 発明により、新しいメディア入力に適応、および適応、することができる新しい タイプのメディアプロダクションを生成することができる。このような適応メデ ィアプロダクションの例は同期化の損失なしに新しい映像を内蔵するか、あるい はその映像コンテンツを新しい音楽へ適応することができる音楽映像である。映 画、映像およびテレビジョンプログラムに反映されるのを見たい消費者の観点か ら、消費者自体のメディアコンテンツに適応されたおよび／もしくは適応するメ ディアプロダクションを作るもしくは見るのに、編集ではなく、簡単なインタラ クティブ選択しか必要ではない。 本発明のこれらの特徴およびそれにより提供される利点を、添付図に示す特定 の例を参照して以下に詳細に説明する。図面の簡単な説明 図１は本発明を実現することができるタイプのコンピュータシステムの一般的 なブロック図。 図２Ａ−図２Ｄは本発明の状況において実施される基本操作の略図。 図３はさまざまなタイプのコンテンツ表現の関係を示すブロック図。 図４は関数従属性ネットワークのブロック図。 図５Ａおよび図５Ｂは典型的なテンプレートのブロック図。 図６は本発明に従って構成されるシステムのアーキテクチュアのブロック図。 図７は関数パレットの実例。 図８は音声／映像信号を操作してそのイベントを他の音声信号のイベントに同 期化させるユーザインターフェイスの実例。 図９は音声／映像信号を操作して新しい音響を置換するユーザインターフェイ スの実例。 図１０は映像信号を操作してオートランブル（ａｕｔｏ ｒｕｍｂｌｅ）効果 を生成するユーザインターフェイスの実例。 図１１は新しいメディア信号を選択して適応テンプレートから新しいメディア プロダクションを作成するユーザインターフェイスの実例。詳細な説明 本発明の原理および特徴の理解を容易にするために、メディアコンテンツおよ び処理の特定例について説明を行う。特に、本発明の簡単で容易に理解できる実 施例の状況において、さまざまな映像および音声ストリームの解析および変換に ついて説明する。しかしながら、本発明の基礎となる原理の実用的な応用はこれ ら特定の例に限定されるものではないことがお判りであろう。本発明は広範な状 況において、さまざまな異種メディアおよびプロダクション背景に関して有用で ある。 一般的に、本発明はさまざまなタイプのメディア信号を処理および変換して新 しいメディアコンテンツを発生することに向けられている。下記の原理を実現す ることができるシステムの特定のハードウェア構成要素は本発明自体の一部を形 成するものではない。しかしながら、本発明の特徴がこのようなシステムの構成 要素と協同して所望の結果を作り出す方法を完全に理解するために、典型的なコ ンピュータシステムについて簡単に説明する。 図１において、コンピュータシステムは多様な外部周辺装置１２が接続された コンピュータ１０を含んでいる。コンピュータ１０は中央処理装置１４および関 連するメモリを含んでいる。このメモリは、一般的に、典型的にはランダムアク セスメモリ１６の形で実現される主記憶装置、リードオンリーメモリ１８を含む スタティックメモリ、および磁気もしくは光ディスク２０等の永久記憶装置を含 んでいる。ＣＰＵ１４はこのような形状の各メモリと内部バス２２を介して通信 する。多様なメディア信号に関連するデータを永久記憶装置２０に格納し、必要 に応じてＲＡＭ１６へ選択的にロードして処理することができる。 周辺装置１２はキーボード２４等のデータエントリー装置、マウス、トラック ボール、ペン等のポインティングもしくはカーソル制御装置２６、およびマイク ロホンおよびカメラ等の適切なメディア入力装置２７を含んでいる。ＣＲＴモニ ターもしくはＬＣＤスクリーン等のＡ／Ｖディスプレイ装置２８がコンピュータ 内で処理される映像および音声情報の視覚ディスプレイを提供する。ディスプレ イ装置はコンピュータ内で発生される音響を発生する１組のスピーカ（図示せず ）も含むことができる。メディア信号の永久コピーをビデオカセットレコーダ等 の適切な記録機構３０上に記録することができる。モデムやトランシーバ等のネ ットワーク通信装置３１により他のコンピュータシステムとの通信を提供するこ とができる。これらの各周辺装置はコンピュータ上の１つ以上の入出力ポート３ ２によりＣＰＵ１４と通信する。 本発明に従ったメディア信号の処理において、４つのタイプの基本的操作が実 施される。図２Ａにおいて、第１タイプの操作はオリジナルメディア信号を解析 してその信号のコンテンツ表現とすることである。オリジナルメディア信号は信 号の内容を定義するデータを含んでいる。例えば、音声信号の場合には、そのデ ータは音圧波の振幅の個別のサンプルを含んでいる。映像信号の場合には、その データは信号のフレームを構成する個別ピクセルの値とすることができる。 １次パーサーにおいて、オリジナルメディアデータが処理、すなわち解析され てオリジナルデータの１つ以上の属性を記述する新しいデータが得られる。新し いデータ、およびその対応する型情報は、ここではコンテンツ表現といわれる。 例えば、音声信号の場合には、第１タイプの１次パーサーが信号のピッチを記述 する出力データを発生することができる。映像用１次パーサーは映像が異なるカ メラショットへ切り替わる各時間を表示することができる。さまざまなタイプの メディア信号が関連する形状のコンテンツ表現を有している。例えば、音声信号 は話者から発せられる個別の音声要素、例えば、単音（ｐｈｏｎｅ）、により表 現することができる。これに関して、音声要素に従ったメディア信号の注釈およ び変換の詳細検討については、１９９６年３月２５日に出願された米国特許出願 第０８／６２０，９４９号を参照されたい。映像信号も同様に解析していくつか の異なる形状のコンテンツ表現が得られる。これに関して、映像のコンテンツ表 現の詳細検討については、１９９５年、２月にＰｒｏｇｒａｍ ｉｎ Ｍｅｄｉ ａ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅ，Ｍａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓ ｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙへ提出されたデービスのＰｈ．Ｄ， 論文“Ｍｅｄｉａ Ｓｔｒｅａｍ：Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｖｉｄｅｏ ｆ ｏｒ Ｒｅｔｒｉｅｖａｌ ａｎｄ Ｒｅｐｕｒｐｏｓｉｎｇ”、特に第４章、 を参照されたい。この論文の開示は本明細書の一部としてここに組み入れられて いる。 メディア信号を解析してコンテンツ表現を発生することは自動的、半自動的、 もしくは手動的に実施することができる。例えば、映像信号を手動解析して異な るカメラショットを識別するために、人間観察者が映像を見てフレームを注釈し カメラショットが変化するものを識別することができる。自動解析方法では、各 フレームを解析してそのカラーヒストグラムを決定し、１つのフレームから次の フレームへ所定のしきい値だけヒストグラムが変化するものとして新しいショッ トをラベルすることができる。半自動解析方法では、ビューアが最初の数回新し いショットが生じるのを手動識別することができ、そこからシステムは適切なし きい値を決定しその後新しいカメラアングルを自動的に検出することができる。 図２Ｂに示す第２タイプの基本操作において、コンテンツ表現は２次以上のパ ーサーで処理されてさらにいくつかの形状のコンテンツ表現が発生される。例え ば、音声信号のピッチコンテンツ表現を解析してその韻律の性質、すなわちピッ チが上昇するか下降するか、を表示することができる。映像信号の場合には、１ 次コンテンツ表現はフレーム内のピクセルの色を使用して色付きオブジェクトの 位置を計算することができ、２次パーサーは１次表現からぞのオブジェクトの速 度を計算することができる。別の映像例では、ショットデータの高次解析により ｄｉｅｇｅｔｉｃ（すなわち、ストーリー）時間および位置の連続性に従って一 連のショット内のシーン境界を識別するコンテンツ表現を作成することができる 。これらのタイプのコンテンツ表現は容易には計算できない人間の知覚の特徴に 依 存し、したがって手動および／もしくは半自動注釈を利用することができる。 異なる形状の各コンテンツ表現は、そのデータ値がメディア信号のデータに関 数的に依存するデータ型を利用する。これらのデータ型は全てのメディア信号に 対してコンポーネントアーキテクチュアを有効に定義する。この点に関して、さ まざまな表現が互いに階層もしくはピア−ツウ−ピア関係を有することができる 。図３において、所与のメディア信号の１次解析により作成されるさまざまなコ ンテンツ表現がピア−ツウ−ピア関係を有している。したがって、音声信号を解 析して導出されるピッチデータおよび単音データはお互いのピアである。高次パ ーサーにより作成されるコンテンツ表現は低次パーサーにより発生されるコンテ ンツ表現に対して階層関係を有することができ、かつ互いにピア−ツウ−ピア関 係を有することができる。したがって、韻律データはピッチデータに階層的に依 存する。データ型はパーサーもしくは生産者が計算することができるコンテンツ 表現およびメディア信号の型、およびどのような方法で計算するかを固有に定義 する。この情報に基づいて、さまざまなコンテンツ表現とメディア信号との間に 所望の関数従属性を確立してテンプレートから新しいメディアコンテンツを発生 することができる。 図２Ｃにおいて、第３タイプの操作はコンテンツ表現を処理して新しいメディ ア信号を作成することである。このタイプの操作では、コンテンツ表現のデータ は例えばメディア信号を発生させるメディア生産者への入力パラメータとするこ とができ、それぞれ、コンピュータアニメーションパラメータもしくはＭＩＤＩ 列等のそのコンテンツ表現から合成メディア信号を表現することができる。図２ Ｄに示す第４タイプの操作では、メディア信号は定義されたメディア生産者に従 って変換されて新しいメディア信号を作成する。 これらの基本操作により、本発明で利用される２つの基本的タイプの操作が定 義される。ここで使用されるメディアパーサーは、入力データがメディアデータ であっても、すなわち１次パーサー、あるいは２次もしくは高次パーサーの場合 のように他の形式のコンテンツ表現であっても、その出力データとしてコンテン ツ表現を作成する演算子である。一方、メディア生産者は入力データを変換して その出力としてメディア信号を作成する演算子である。 本発明の状況において、これらの演算子は選択的に組み合わされて関数従属性 ネットワークを形成する。関数従属性ネットワークの簡単な例を図４に示す。そ こでは、関数従属性ネットワークは１つ以上のメディア信号を入力信号として受 信し、これらの入力信号を解析して各々に対するコンテンツ表現を発生する。関 数従属性ネットワークへ入力されるメディア信号はハードディスク２０等の記憶 媒体から検索するか、あるいはリアルタイム信号とすることができる。コンテン ツ表現およびメディア信号はメディア生産者において処理されて新しいメディア 信号を発生する。本発明の状況では、関数従属性ネットワーク内でメディア信号 に対して多数の異種の変換を実施することができる。メディア変換の１例として 同期化が含まれ、１つのメディア信号内のイベントが、例えばその再生レートを 変えることにより、もう１つのメディア信号内のイベントと同期化される。もう １つのタイプの変換は従来の映画プロダクションにおけるｆｏｌｅｙ等の音響置 換を含んでおり、１つのタイプの音響が音声／映像信号内の他のタイプの音響と 置換される。第３のタイプの処理はもう１つのメディア信号に従ってメディア信 号を修正してパラメトリックな特殊効果を作り出すことである。第４のタイプの 処理はもう１つのメディア信号に従って特定のメディア信号をトリガーして、例 えば、従属コンテンツ表現を有するメディア信号の着信ストリームへのリアクテ ィブアニメーションを作り出すことである。例えば、アニメートされたキャラク タはライブクローズドキャプションテキストデータからリアルタイムで解析され たコンテンツ表現に応答することができる。システムが入力メディア信号に対し て実施することができる変換の範囲はシステム内で定義できるパーサー、生産者 、関数、およびコンテンツ表現データ型の範囲だけで制限される。 解析および生産の他に、他のタイプの操作も関数従属性ネットワークで実施す ることができる。例えば、数学、統計学および類似タイプのスカラー演算をコン テンツ表現に対して実施することができ、例えばその表現の数値へ乗算もしくは 加算することにより音声信号のピッチを増加することができる。これらのタイプ の操作は、ここでは関数といわれる。パーサーにより入力および出力信号間でデ ータ型に変換、すなわち変化、が生じるが関数により固有のデータ型は変化しな い点において、関数はパーサーとは異なる。 本発明の目的に対して、特定の候補データはデータ型のメンバーであるか否か 、したがって関数従属性ネットワークにより変換できるかどうかを確認する特性 関数によってデータ型が定義される。特性関数はデータおよび型情報を入力とし て取り入れ、そのデータがコンテンツとして表現できるかどうかを示す真もしく は偽を戻す。例えば、音声信号に対するピッチデータ型のクリエータは“母音コ ンテンツのあるスピーチを有する音声”もしくは“非衝撃音コンテンツを有する 音楽”上でその操作を定義することができる。場合によっては、特性関数は戻さ れる真に対して予期される型と一致するようにその入力を抑圧することができる 。好ましくは、ロバストな関数従属性ネットワークのビルダーはその用途が広い かもしくはその限界が明確となるようにデータ型を設計する。 データ型はより一般的な型からより特定的な型へ挙動が受け継がれる一般化グ ラフに構成することができる。例えば、“音楽”および“音声音響”は“音声” の両タイプである。特に、“非言語音声音響”および“言語音声音響”は両タイ プの音声音響である。タイプ定義特性関数自体を関数従属性ネットワークとして 構成することができる。 パーサーおよび生産者の選択およびネットワーキングにより、特定の所望の結 果を達成するように関数従属性ネットワークが形成されると、新しいメディアプ ロダクションを発生するためのテンプレートが形成される。本発明の１実施例で は、そのオリジナルメディア入力信号の１つ以上を特定のデータ型を定義するパ ラメータで置換することにより、テンプレートは適応テンプレートへ変換される 。図４の関数従属性ネットワークから生成される１つのタイプの適応テンプレー トの例を図５に示す。この例では、メディア信号に対するオリジナル入力端末は 、特定のタイプであるかどうかに応じてメディア信号をパーサーへ選択的に通す ことができるメディア特性関数により置換される。特性関数はテンプレートビル ダーにより指定される特定タイプのメディア信号を受け入れるように設計されて いる。非常に一般的な例では、データ型はメディア信号が映像であるか音声であ るかを指定できるにすぎない。しかしながら、テンプレートにより与えられる特 定の結果に応じて、特性関数に対するデータ型パラメータはより特定的とするこ とができる、例えば“浜辺を歩く人の映像”もしくは“人が発生する衝撃音響の 音 声”。入力メディア信号が指定したタイプであれば、特性関数によりパーサーへ 通される。 典型的には、テンプレートは、メディア信号の性質およびコンテンツについて 少なくともある程度馴染みのあるテンプレートビルダーにより、パーサーおよび 生産者を組み合わせて所望の結果を有効に作成できるように形成される。テンプ レートは形成されると、その詳細および初期メディア信号にはほとんど馴染みの ないテンプレートユーザへ与えられることがある。そのユーザはテンプレートパ ラメータにより指定されるデータ型の特定のメディア信号を供給する。これらの 新しいメディア信号は既存の信号、もしくはテンプレートユーザにより特定的に 発生される信号、例えば、テンプレート入力パラメータのタイプと一致するよう に生成された古いホームムービーもしくは新しいデジタル映像レコーディングと することができる。新しいメディア信号は入力信号としてテンプレートへ与えら れ、適切に適応されたメディアプロダクションを生成する。 メディアテンプレートを形成するシステムのアーキテクチュアを図６にブロッ ク図で示す。本図において、楕円形内に示す要素は実施される操作を表し、矩形 オブジェクトはこれらの操作が作用するデータを表す。処理されるオリジナル生 データを形成するメディア信号はさまざまなファイル７０内に格納される。前記 したように、これらのファイルはコンピュータへアクセス可能な、ハードディス ク２０等の、永久記憶媒体内に配置することができる。あるいは、関数従属性ネ ットワークが構成もしくは使用される場合にシステムへ入力されるリアルタイム 信号とすることができる。 テンプレートが作られる時は常に、例えば、コンピュータのランダムアクセス メモリ１６内、および／もしくはハードディスク２０上にプロジェクトファイル ７２が生成される。プロジェクトに必要なメディアファイルはプロジェクトファ イル７２内へ連結される。例えば、映像信号用メディアファイル、その関連する サウンドトラック、および歌ファイルを適切なメディアフォルダーもしくはディ レクトリ７４からプロジェクトファイル７２内へ連結することができる。メディ アファイルがプロジェクトファイル７２内へ連結されると、その一部をタイムラ インウィンドウ７６内にディスプレイすることができる。 適切なメディアファイルがプロジェクトファイル７２内へ連結された後で、選 択もしくはコンテンツベース質問により、テンプレートビルダーはメディアデー タに対して実施される操作を指定してコンテンツ表現を発生し関数従属性を確立 する。これらの操作は、指定されると関数フックアップウィンドウ７８内にディ スプレイされる。これらの関数は関数ライブラリ８０から得られ、図７に示すよ うな関数パレットから選択したり質問を介して検索することができる。図７にメ ディア信号およびコンテンツ表現に対して実施することができる多様な異なる操 作を例示し、各々にアイコンが付随している。テンプレートビルダーが特定のア イコン上にカーソルを配置すると、その対応する関数名およびメディア信号のタ イプおよび／もしくはそれに対して作用するコンテンツ表現がパレットの底部に ディスプレイされる。 テンプレートビルダーにより定義される関数従属性はプロジェクトファイル７ ２内の別のフォルダー８２、もしくは類似のこのようなデータ構造、内に格納さ れる。この手順の結果はタイムラインウィンドウ７６内にディスプレイすること ができる新しいメディアの生成である。この新しいメディアはメディアフォルダ ー７４内に格納することができ、またメディアファイル７０へエクスポートして 永久格納したりリアルタイムで放映することができる。プロジェクトファイルは 、完成するとやはりコンピュータのハードディスク２０もしくは他の適切な記憶 媒体上に永久格納することができる。 この点において、関数従属性ネットワークは生成されていてオリジナルメディ ア入力信号に基づいた新しいメディアプロダクションを作成することができる。 本発明の１つの特徴に従って、この新しいメディアプロダクションを再生するの に必要な情報を共有ネットワークを介して、伝送帯域幅必要条件を低減するコン パクトな形で、同じメディア信号へのローカルアクセスを有する任意の位置へ電 子的に伝送することができる。特に、少なくともいくつかのオリジナルメディア 信号を任意の簡便な方法で、例えばコンパクトディスクにより、ネットワーク上 の遠隔位置へ分散させ将来のコンテンツ発生のためそこへ格納することができる 。新しいメディアプロダクションが生成されると、ネットワーク上の遠隔地へ伝 送する必要のある唯一のデータは、ローカルおよび遠隔メディアデータへのポイ ン ターだけでなく、メディア信号間の適切な関数関係を記述ずるプロジェクトファ イルからのデータである。新しいメディアコンテンツを発生するのに必要な全て のメディアデータへのローカルアクセスが遠隔地にはない場合には、遠隔地にま だ存在しないメディアデータもプロジェクトデータと共に伝送される。この限定 された量の新しい情報から、プロダクションはその全体をネットワークを介して 伝送することなく、遠隔地で再生することができる。 本発明の前記したもう１つの特徴に従つて、パラメータをオリジナルコンスタ ントメディア入力信号と置換することによりメディアプロダクションが修正され る。これらのパラメータはオリジナルメディア信号と置換できるデータの型を記 述する。例えば、オリジナルメディア信号の１つが拍手等の特定の人間が作り出 した衝撃音の音声トラックでる場合には、データ型から“人間が作り出した非言 語衝撃音”を指定することができる。この場合、これらのデータ型はデータライ ブラリ８１内に格納され、テンプレートが生成される時にそこから検索して関数 従属性ネットワークへ供給される。適応テンプレートを生成するように訂正され ると、関数従属性ネットワークはテンプレートユーザへ送るように準備される。 この準備の一部として、メディア入力パラメータとして与えられる特定のメディ ア信号をテンプレートユーザが選択および／もしくは発生できるようにする異な るインターフェイス９０がテンプレートへ付加される。 次に、完成したテンプレートはテンプレートユーザへ通される。前記した例で は、テンプレートユーザは指定したデータ型を満たす他の音響、例えばキス、げ っぷ、ストンプ、等、のサウンドトラックを供給する。新しいサウンドトラック がテンプレートの背景において演奏されると、テンプレートユーザの入力メディ ア信号に自動的に適応されている、および／もしくは適応されている、メディア プロダクションが作成される。 テンプレートユーザインターフェイス９０の特定の例を図１１に示す。そこで は、テンプレートユーザが提供する必要のある３つのデータ型がこの特定のイン ターフェイスにより指定される。これらのデータ型はアイコン形式で示されてい る。第１のデータ型は住宅建築外観の映像である。第２のデータ型は住宅建築内 部の外向き窓へ向かって走る人間の映像であり、第３のデータ型は絶叫する人間 の映像である。ユーザが各データ型を満たす新しいメディア信号を与えると、そ れは後で選択するためにデータ型のアイコン表現の下にディスプレイされる。例 えば、各映像例の１フレームをディスプレイすることができる。例示するケース では、ユーザは第１のデータ型の１例と、第２の２例と、第３の３例を与える。 新しいメディアプロダクションが生成される場合には、ユーザは各データ型の １例を選択する。各データ型の選択された例は、例えば、ハイライトバー９２に より表示することができる。各例は、指定されると適応テンプレートの関数従属 性ネットワーク、すなわちメディア特性関数の入力端末へ入力される。次に、関 数従属性ネットワークにより確立された関係に従ってメディア信号が変換されて 、新しい適応したメディアプロダクションが提供される。適応テンプレートはテ ンプレートユーザの新しいメディア信号を新しいメディア信号およびオリジナル メディア信号の持続時間、順序、およびイベントレートがそれぞれ適応される新 しいメディアプロダクションへ変換し、新しいメディア信号およびオリジナルメ ディア信号のコンテンツのさまざまな特徴が関数的に関連ずけられて新しいメデ ィア信号が作成される。図示する例では、新しい適応したメディアプロダクショ ンは適応サウンドトラックを付随するミニモンスター映画を提供し、モンスター は都会に近づき、住宅建築の居住者は窓へ向かって走ってモンスターが都会を破 壊するのを見、モンスターの叫び声が１人の居住者の恐怖の絶叫へとクロスフェ ードしていき、モンスターはその足取りにより住宅建築を震動させて破壊する。 次に、関数従属性ネットワーク構造の特定の実施例について説明する。第１の 実施例では、１つのメディア信号、すなわちサウンドトラックを付随する映像信 号が第２のメディア信号、すなわち異なるサウンドトラック、と同期化される。 ２つのメディア信号間で同期化を実施することが望ましい１つの状況は、映像 内に生じるアクションが楽譜と結び付けられる場合である。このタイプの変換に よく適した映像信号の例は、テンポを確立する規則的に生じるアクションを有す るものである。映像信号が放映されるレートは、そのタイミングがミュージカル ソングのそれと調整されるように調整することができる。適切な映像の例として 人間や動物が歩いていて歩行ペースによりテンポが確立される場合や、テーブル テニスゲーム、釘打ち、拍手、もしくはタップダンス等の他のタイプの繰り返し アクションが実施される場合が含まれる。一般的に、同じアクションがサイクリ ックに繰り返される場合でも、異なるイベントであっても、検出可能な任意の個 別イベント列を利用してイベントレートすなわちテンポを確立することができる 。次の例では、利用される映像は食物を刻む人を描いており、したがってそのた めのテンポを計算することができる。この映像は歌の中の特定のイベント、例え ばギター上の特定の音符、と同期化される。 ディスプレイ２８の画面上に表示してテンプレートビルダーが関数従属性ネッ トワークを構成するのを助けるグラフィックユーザインターフェイスを図８に示 す。このユーザインターフェイスはいくつかの異なるセクションを含み、それら は列形式に配置されている。１つの列３４において、メディア信号およびそれら のコンテンツ表現がタイムラインフォーマットでディスプレイされる。この列の 頂部にはルーラー３６がある。図８の例では、ルーラーは時間の増分、すなわち 秒、を表す。実際上、任意の適切なメトリック、例えばメディア信号の逐次表現 内のイベントのインデクス、をルーラーで表現することができる。ルーラーのす ぐ下にはテンプレートビルダーにより選択されているメディア入力信号３８、こ こでは歌の音声信号、がディスプレイされる。インターフェイスのこの行がオリ ジナル入力信号に関連するという事実は、インターフェイスの隣接列４２内のア イコンタップシンボル４０により表現される。他にも２つのオリジナルメディア 信号、すなわち一切れのセロリを刻むナイフが示されている映像信号の選択され たフレーム４４、および映像に付随するサウンドトラック４６、がインターフェ イス内にディスプレイされる。これら２つの入力信号は列４２内の関連するタッ プ４０ａ，４０ｂにより表現される。タイムラインウィンドウ７６内のデータ信 号のディスプレイされるイベントは線形順序である必要はない。例えば、映像信 号のデータビュー内で２５番目毎のフレームをディスプレイすることができ、あ るいはナイフがテーブルトップに接触するフレームを全てディスプレイすること ができる。 ユーザインターフェイス内のもう１つの列４８は列３４内に示されるメディア 信号およびコンテンツ表現の名前を提供する。したがって、映像入力信号はこの 列の第１行内で識別され、他のメディア入力信号は対応する行内にラベルされる 。 各記述にはメディア信号もしくはコンテンツ表現のデータ型を表す対応するアイ コンが付随している。 メディア信号が関数従属性ネットワークへの入力として選択されると、それに 対して実施されるファンクションを選択して適切なコンテンツ表現へ解析するこ とができる。所望のファンクションは、例えば、図７に示ずファンクションパレ ットからアイコンを選択して識別することができる。ファンクション用アイコン を信号用タップもしくは信号自体のディスプレイ上へ引きずっていくことにより 、信号に対して所望の操作が実施される。図８の例では、音声信号に対して実施 される第１の解析操作は特定の周波数範囲、例えばギターからの音符、を識別す ることである。解析操作はアイコン５０により識別され、得られるコンテンツ表 現がユーザインターフェイスの第２行に信号５２により示される。アイコン５０ はワイヤによりタップ４０に接続されて、それらの関係を示す。次に、この１次 コンテンツ表現に対して２次解析操作が実施され、ここでは、アイコン５４およ びインターフェイスの次の行に示すデータ信号５６で表すように、信号５２によ り表現される新しい各イベントを検出するしきい値操作である。インターフェイ スの第４行に示すように、このデータはギター音符のイベントレートを識別する ようにさらに操作される。 同様に、サウンドトラックの音声信号４６は２レベルの解析を行って、ここで はナイフの刻みであるイベント、およびインターフェイスの行５８および６０に 示す変化するイベントレートをそれぞれ識別する。 ２つの音声信号のイベントレートが識別されると、それらの相対レートが計算 される。それは、アイコン６２で表されるように、信号の間中ギターイベントレ ートを刻みイベントレートで除算して行われる。この操作結果はコンテンツ表現 ６４として例示される。このデータ信号はダイナミックテンポ因子を表し、刻み 音声信号４６および対応する映像信号４４へ加えられると、それらのイベント時 間はギターイベントのそれに一致させられる。こここでは、テンポアイコン適用 ６６で示すように、映像信号のレートは刻みアクションが歌のギター音符イベン トと一致するように修正される。あるいは、このダイナミックテンポ因子の逆数 を計算して歌に加え、ギター側が映像内の刻みイベントと一致するようにするこ とができる。 図８のグラフィックユーザインターフェイスは、テンプレートビルダーがスプ レッドシートの操作と同様な方法で関数従属性ネットワークを構成できるツール を提供することがお判りであろう。列３４に示すデータビューはこのデータに対 して実施した操作の結果を、スプレッドシート内のメンバーに対して実施した数 学的および統計学的操作に対するものと同様に含んでいる。操作結果はデータビ ュー内に空間的に、またメディアが再生されるプレビューウィンドウ（図示せず ）内に時間的にディスプレイすることができる。したがって、ユーザにはメディ ア信号に対してさまざまな変換を実施し、変換結果を即座に観察する直観的機構 が提供される。さらに、結果をプレビューウィンドウ内にディスプレイすること により、テンプレートビルダーはパーサーと生産者の新しい各組合せの効果をそ れらが接続される時に即座に調べて、所望により変更しで、テンプレートを構成 するための反復方法を提供することができる。そのメディア入力信号の変化だけ でなく関数従属性ネットワークの構造を容易に変える能力もシステム内のメディ ア処理効率に寄与する。 前例に示す２つのメディア信号の同期化の他に、本発明の特徴を利用して他の 効果を達成することができる。このような１つの効果は１つの音をもう１つの音 と置換することである。映画信号の場合、１つの音響を別の音響と置換すること によりある音響効果を強化することが望ましい場合が多い。例えば、玉石街路等 の堅い表面上を歩く馬をシーンに描くことができる。石を叩く馬の蹄の音を高め る１つの既知の技術はココナツの殼等の堅い物体でテーブルその他の固体表面を 叩くことである。ココナツ殼の音で馬の蹄のオリジナルな記録音を置換すること により、街路上を歩く馬の高められた印象が生成される。１つの音響でもう１つ の音響を置換するこの技術は従来の映画プロダクションにおいて“ｆｏｌｅｙ” として知られている。 本発明によりｆｏｌｅｙ等の操作を容易に実現できる機構が提供される。図９ に示す例を参照して、本発明のこのような応用について説明する。この例では、 メディア信号の１つはテンプレートビルダーのインターフェイスのデータビュー １００内に示す空手マッチにおける２人の対抗者の映像である。映像の付随する サウンドトラック１０２は頂部データビューに現れる。この例で実施される変換 の目的はオリジナルメディア内の各パンチおよびキックの音を新しい音で置換す ることである。そうするために、サウンドトラック１０２を解析してパンチやキ ック音が現れる各時間を示す１次コンテンツ表現を得る。この特定の例では、こ れらの音はサウンドトラックにおいて最も大きく、しきい値操作により検出され る。サウンドトラック信号１０２の振幅がしきい値を越える度に対応する音響の 持続時間、すなわち音響がしきい値よりも高い時間長、も検出される。このタイ プの処理はイベント検出器アイコン１０４により識別され、１０６に示すような コンテンツ表現となる。このコンテンツ表現はしきい値を越える音響が検出され る度にイベントを含んでいる。イベント幅は検出された音響の持続時間に対応し 、高さはその間隔にわたる音響の平均振幅を示す。 第２のメディア信号１０８はパンチおよびキック音と置換される音響の音声レ コーディングを含んでいる。例えば、レコーディングはキス、げっぷ、拍手、フ ィンガースナップ等の人間が作り出す１つ以上の非言語衝撃音とすることができ る。レコーディングは異なる回数作り出される同じ音響、もしくは異なる個別の 音響とすることができる。このレコーディングはイベント検出プロセスにより同 様に解析されて、音響イベントのもう１つのコンテンツ表現１１０が作り出され る。実際上、これらのイベントおよび付随する録音１０８は振幅、周波数、およ び持続時間等の異なる性質を有する個別音響の注釈付きデータベースを構成する 。次に、このデータベース内の個別音響がオリジナルサウンドトラック１０２内 の検出されたイベントと一致される。特に、コンテンツ表現１０６内の各イベン トの持続時間が決定され、同じ持続時間もしくは最も近い持続時間を有するデー タベース１０８からの音響が選択される。データビュー１１２はオリジナルサウ ンドトラック１０２のそれと一致されているデータベースからの音響を例示する 。最終結果がデータビュー１１４内に示される。変換されたメディア信号内で、 オリジナルサウンドトラックの背景部分は映像と共に正規の方法で演奏される。 しかしながら、データビュー１０６に示すように、検出されたイベントの１つが 生じる度に、オリジナル音響は音響データベース１０８からの対応する音響によ り置換される。したがって、映像内にパンチやキックが生じる度に、それはげっ ぷ 等の人間が作り出す音で置換される。 本発明の別の応用では、コンテンツ表現にに基づく関数関係を使用してパラメ トリックな特殊効果を生成することができる。例えば、街を歩行する巨人やモン スターを描く映像では、モンスターが一歩進む度に物体を震動させてモンスター の足取りにより生じる震動の印象を作り出すことが望ましい。本発明のこの応用 の例を図１０に示す。この例における第１の入力信号１２０はモンスター映画か らのサウンドトラックである。この特定の例では、各足取りに大きな音が伴うも のとする。図１０の右側に見える部分のような、信号の高振幅部はモンスターに より作り出される大きな足音を表す。第２の入力信号１２２は、ここでは住宅で ある、住宅建築の外観のビデオショットである。これら２つのメディア信号は、 アイコン１２４で表される、“オートランブラー”といわれるファンクションへ 入力信号として送られる。このファンクションは１つの音声信号および１つの映 像信号をその入力として受け入れ、１２６に示すように、音声入力に応答して映 像を震動させる。映像の震動は映像の関数従属性垂直および／もしくは水平シフ トを導入して遂行することができる。視覚効果を高めるだけでなく、フレームの 変換により生じる画像内の空白領域を回避するために、画像をシフトする時にズ ーミングも行われる。好ましい実施例では、シフト量およびズーミングの大きさ は震動をトリガーする音響の振幅に比例する。したがって、音響の大きさが増す とシーンは一層震動する。所望により、画像の震動を生じる音響の振幅に下限を 設けることができる。したがって、震動は選択的であり、モンスターの足取り等 の、大きな音響が作り出される時しか見られない。 より複雑な実施例では、震動は例えば住宅内部等のあるシーンだけで表現され 、遠くから眺めたモンスター等の他のシーンでは表現されないことが望ましい。 この場合、映像信号を解析して映像内のさまざまなタイプのシーンを記述するコ ンテンツ表現を発生することができる。この情報を使用して映像の震動を選択的 に制御し、所望のシーン中でしか生じないようにすることができる。同様に、コ ンテンツ表現を使用してメディアプロダクションのどの映像もしくは音声レイヤ が修正されるかを確認することができる。 図１０の底部はこの応用の第２の実施例を示す。ここでは、音声入力信号１２ ８は歌であり、好ましくは、例えばディスコソング等の特有のビートを有してい る。オートランブラーにより、ここでは同じ住宅の、画像が歌の振幅に比例して 震動される。修正された映像はインターフェイス内の１３０に表現される。した がって、住宅は歌に従って振動し、住宅内部で非常に騒々しく音楽が演奏される 印象を与える。 前記したように、図８−図１０に示すようなグラフィックユーザインターフェ イスにより、テンプレートビルダーはスプレッドシートの操作と同様な方法でメ ディアデータに作用することができる。特に、テンプレートビルダーはあるデー タ、すなわちメディア信号、を選択しそれに対して実施される操作および異なる データセット間の関数従属性を指定することができる。コンテンツ表現を使用し てメディア信号に関する情報を提供することにより、テンプレートビルダーには 所望する特定のメディア信号を探索して見つけだすのに適切な機構が提供される 。この状況において、本発明のシステムによりデータベースの機能と同様な能力 も提供される。図６において、テンプレートビルダーはある探索規準８４を指定 することができ、それはディスプレイ装置２８上に表示される質問パレット８６ を介して入力することができる。探索規準は、例えば、テンプレートビルダーが 入力する質問に応答してメディアファイル７０内に格納されたコンテンツ表現に 対して直接作用して、和音列内に特定の調和リズムを含む全ての歌もしくは、例 えば、右から左へ移動する成人の姿を含む全ての映像を捜し出すことができる。 探索結果は質問パレット内にディスプレイすることができる。あるいは、もしく はさらに、質問規準の一部として関数演算子を利用して低次コンテンツ表現のデ ータベース内の高次コンテンツ表現を探索することができる。 関数ライブラリ８０は最初に既知のデータ型に対して実施することができるさ まざまな種類の操作を含むことができる。付加データ型が生成されると、既存の データ型に対する新しいすなわち更新された関数だけでなく、これらのデータ型 に対して操作することができる特定関数をさまざまなプラグインモジュール８８ 、もしくは関数従属性ネットワーク内の既存のパーサー、関数、および生産者の 合成およびカプセル化により付加することができる。 前記したことから、本発明により比較的低レベルの技能しかないユーザが新し いメディアコンテンツを容易に生成できるようにするシステムが提供されること がお判りであろう。このシステムの操作は関心のあるメディア信号に対するコン テンツ表現の使用、およびこれらの表現とメディア信号との間の関数従属性の確 立に基づいている。さらに、テンプレートビルダーがスプレッドシートの操作と 同様な方法で関数従属性を確立できるようにするグラフィックユーザインターフ ェイスを提供することにより、より直観的なメディア変換方法が提供される。ま た、テンプレートビルダーにより構成される適応テンプレートにより、テンプレ ートユーザはいかなるメディア処理および生産技能も必要とせずに新しいメディ ア信号を内蔵する新しいメディアプロダクションを生成することができる。 当業者ならば、本質的な特徴を逸脱することなく他の形式で本発明を実施でき ることがお判りであろう。したがって、開示した実施例はあらゆる点において説 明用であって制約的な意味合いはない。本発明の範囲は前記説明ではなく添付し た請求の範囲によって示され、それと同等のものの意味および範囲内に入る変更 は全て包含されるものとする。

【手続補正書】 【提出日】平成１１年４月２２日（１９９９．４．２２） 【補正内容】 1. 請求の範囲の記載を別紙の通り補正する。 2. 明細書第９頁、第１−２行目の「１９９６年３月２５日に出願された米国特 許出願第０８／６２０，９４９号」を『ＷＩＰＯ刊行物ＷＯ０７／３６２９７ ６』に補正する。 『 請求の範囲 1. 既存のメディア信号から新しいメディアプロダクションを作成する方法で あって、該方法は、 メディア信号を解析してコンテンツ表現に対して予め定められた多数のデータ 型の中の１つに対応するフォーマットでメディア信号のコンテンツの表現を作成 するステップと、 前記コンテンツ表現ともう１つのデータ信号との間の機能的関係を定義するス テップと、 前記機能的関係に従って前記メディア信号を変換して新しいメディアプロダク ションを発生するステップと、 を含む方法。 2. 請求項１記載の方法であって、前記データ信号は第２のメディア信号のコ ンテンツ表現である方法。 3. 既存のメディア信号から適応メディアプロダクションを作成する方法であ って、該方法は、 オリジナルメディア信号を解析して信号の性質を識別するメディア信号のコン テンツ表現を発生するステップと、 メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従 属性ネットワークを生成するステップと、 １つ以上の入力メディア信号を型付きデータパラメータとして関数従属性ネッ トワークへ指定してテンプレートを形成するステップと、 テンプレート入力の１つに対するデータ型に対応する新しいメディア信号を提 供するステップと、 関数従属性ネットワーク内の関数を実行してオリジナルメディア信号を新しい メディア信号へ適応させ、かつ／もしくは新しいメディア信号をオリジナルメデ ィア信号へ適応させるステップと、 その結果得られるメディアプロダクションをテンプレートから出力するステッ プと、 を含む方法。 4. 適応メディアコンテンツを発生するシステムであって、該システムは、 メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメデ ィアパーサーと、 前記コンテンツ表現およびメディア信号を各関数に従って処理してメディア信 号を作成する多数のメディア生産者と、 前記個別のメディアパーサーおよびメディア生産者を選択的に組み合わせて、 メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義 して新しいメディア信号を発生する、関数従属性ネットワークを発生するステッ プと、 前記関数従属性ネットワークへの入力信号に対するパラメトリックデータ型仕 様を有するテンプレートを生成する手段と、 を含むシステム。 5. 適応メディアプロダクションを生成するための適応テンプレートであって 、該テンプレートは、 互いに接続されたメディアパーサーおよびメディア生産者を含み、少なくとも もう１つのメディア信号のコンテンツに基づいてメディア信号への予め定められ た変換を生じる関数従属性ネットワークと、 メディア信号に対するパラメトリックデータ型を指定し、かつ指定したデータ 型のメディア信号を前記関数従属性ネットワークへ通して指定したタイプのメデ ィア信号を含むメディアプロダクションを発生させるメディア特性関数と、 を含む適応テンプレート。 6. メディアプロダクション内にパラメトリック特殊効果を生成する方法であ って、該方法は、 映像信号と共に演奏されるサウンドトラックの振幅を検出するステップと、 映像信号のフレームを、検出した振幅に比例する量だけ水平および垂直方向の 少なくとも一方へ移動させるステップと、 前記移動と同時に、映像信号から発生される画像を、検出した振幅に比例する 量だけ拡大するステップと、 を含む方法。 7. メディアコンテンツを生成するためのユーザインターフェイスであって、 該ユーザインターフェイスは、 メディア信号とコンテンツ表現の少なくとも選択された部分が空間的にディス プレイされる第１の列と、 ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操 作を指定する手段と、 ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操 作をグラフィック表示して操作の相互関係を空間的に表示する第２の列と、 前記結果が引き出されるメディア信号の時間的ディスプレイに対応する時間的 方法で前記操作の結果を前記第１の列内にディスプレイする手段と、 を含むユーザインターフェイス。 8. 既存のメディア信号からメディアプロダクシヨンを遠隔作成する方法であ って、該方法は、 オリジナルメディア信号を第１のサイトで解析して信号の性質を識別するメデ ィア信号のコンテンツ表現を発生するステップと、 メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従 属性ネットワークを含むテンプレートを前記第１のサイトで生成するステップと 、 前記オリジナルメディア信号の少なくともいくつかを前記第１のサイトから遠 隔の第２のサイトに格納するステップと、 前記オリジナルメディア信号の前記テンプレートおよび識別子を前記第２のサ イトへ伝送するステップと、 前記第２のサイトに格納されたオリジナルメディア信号に関して前記テンプレ ートの関数従属性の関数を実行して前記第２のサイトでメディアプロダクション を作成するステップと、 を含む方法。 9. 請求項８記載の方法であって、前記関数従属性ネットワークへのオリジナ ルメディア信号入力の少なくともいくつかは前記第２のサイトには格納されず、 さらに前記第２のサイトには格納されないオリジナルメディア信号だけを テンプレートを用いて伝送するステップを含む方法。 10．既存のメディア信号からメディアプロダクションを発生するシステムであ って、該システムは、 メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメデ ィアパーサーと、 各関数に従つて前記コンテンツ表現およびメディア信号を処理してメディア信 号を作成する多数のメディア生産者と、 個別の前記メディアパーサーおよびメディア生産者を選択的に組み合わせて、 メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義 して新しいメディア信号を発生する、関数従属性ネットワークを発生する手段と 、 前記関数従属性ネットワークへ入力される既存のメディア信号に対して実施さ れる変換をディスプレイする手段と、 を含むシステム。』

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ， ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，Ｍ Ｘ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ， ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 1. 既存のメディア信号から新しいメディアプロダクションを作成する方法で あって、該方法は、 メディア信号を解析してコンテンツ表現に対して予め定められた多数のデータ 型の中の１つに対応するフォーマットでメディア信号のコンテンツの表現を作成 するステップと、 前記コンテンツ表現ともう１つのデータ信号との間の機能的関係を定義するス テップと、 前記機能的関係に従って前記メディア信号を変換して新しいメディアプロダク ションを発生するステップと、 を含む方法。 2. 請求項１記載の方法であって、前記データ信号は第２のメディア信号のコ ンテンツ表現である方法。 3. 既存のメディア信号から適応メディアプロダクションを作成する方法であ って、該方法は、 オリジナルメディア信号を解析して信号の性質を識別するメディア信号のコン テンツ表現を発生するステップと、 メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従 属性ネットワークを生成するステップと、 １つ以上の入力メディア信号を型付きデータパラメータとして関数従属性ネッ トワークへ指定してテンプレートを形成するステップと、 テンプレート入力の１つに対するデータ型に対応する新しいメディア信号を提 供するステップと、 関数従属性ネットワーク内の関数を実行してオリジナルメディア信号を新しい メディア信号へ適応させ、かつ／もしくは新しいメディア信号をオリジナルメデ ィア信号へ適応させるステップと、 その結果得られるメディアプロダクションをテンプレートから出力するステッ プと、 を含む方法。 4. 適応メディアコンテンツを発生するシステムであって、該システムは、 メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメデ ィアパーサーと、 前記コンテンツ表現およびメディア信号を各関数に従って処理してメディア信 号を作成する多数のメディア生産者と、 前記個別のメディアパーサーおよびメディア生産者を選択的に組み合わせて、 メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義 して新しいメディア信号を発生する、関数従属性ネットワークを発生するステッ プと、 前記関数従属性ネットワークへの入力信号に対するパラメトリックデータ型仕 様を有するテンプレートを生成する手段と、 を含むシステム。 5. 適応メディアプロダクションを生成するための適応テンプレートであって 、該テンプレートは、 互いに接続されたメディアパーサーおよびメディア生産者を含み、少なくとも もう１つのメディア信号のコンテンツに基づいてメディア信号への予め定められ た変換を生じる関数従属性ネットワークと、 メディア信号に対するパラメトリックデータ型を指定し、かつ指定したデータ 型のメディア信号を前記関数従属性ネットワークへ通して指定したタイプのメデ ィア信号を含むメディアプロダクションを発生させるメディア特性関数と、 を含む適応テンプレート。 6. メディアプロダクション内にパラメトリック特殊効果を生成する方法であ って、該方法は、 映像信号と共に演奏されるサウンドトラックの振幅を検出するステップと、 映像信号のフレームを検出した振幅に比例する量だけ水平および垂直方向の少 なくとも一方へ平行移動させるステップと、 同時に映像信号から発生される画像を検出した振幅に比例する量だけ拡大する ステップと、 を含む方法。 7.メディアコンテンツを生成するためのユーザインターフェイスであって、該 ユーザインターフェイスは、 メディア信号とコンテンツ表現の少なくとも選択された部分が空間的にディス プレイされる第１の列と、 ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操 作を指定する手段と、 ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操 作をグラフィック表示して操作の相互関係を空間的に表示する第２の列と、 前記結果が引き出されるメディア信号の時間的ディスプレイに対応する時間的 方法で前記操作の結果を前記第１の列内にディスプレイする手段と、 を含むユーザインターフェイス。 8. 既存のメディア信号からメディアプロダクションを遠隔作成する方法であ って、該方法は、 オリジナルメディア信号を第１のサイトで解析して信号の性質を識別するメデ ィア信号のコンテンツ表現を発生するステップと、 メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従 属性ネットワークを含むテンプレートを前記第１のサイトで生成するステップと 、 前記オリジナルメディア信号の少なくともいくつかを前記第１のサイトから遠 隔の第２のサイトに格納するステップと、 前記オリジナルメディア信号の前記テンプレートおよび識別子を前記第２のサ イトへ伝送するステップと、 前記第２のサイトに格納されたオリジナルメディア信号に関して前記テンプレ ートの関数従属性の関数を実行して前記第２のサイトでメディアプロダクション を作成するステップと、 を含む方法。 9. 請求項８記載の方法であって、前記関数従属性ネットワークへのオリジナ ルメディア信号入力の少なくともいくつかは前記第２のサイトには格納されず、 さらに前記第２のサイトには格納されないオリジナルメディア信号だけをテンプ レートを用いて伝送するステップを含む方法。 10．既存のメディア信号からメディアプロダクションを発生するシステムであ って、該システムは、 メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメデ ィアパーサーと、 各関数に従って前記コンテンツ表現およびメディア信号を処理してメディア信 号を作成する多数のメディア生産者と、 個別の前記メディアパーサーおよびメディア生産者を選択的に組み合わせて、 メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義 して新しいメディア信号を発生する、関数従属性ネットワークを発生する手段と 、 前記関数従属性ネットワークへ入力される既存のメディア信号に対して実施さ れる変換をディスプレイする手段と、 を含むシステム。