JP2006512820A - オーディオ信号を強調する方法及びシステム - Google Patents

Abstract

例えば消費者により選択された音楽を表すオーディオ信号から抽出された特徴に依存して、マルチメディアのストーリが消費者に向けてレンダリングされるシステム及び方法が記載される。前記選択された音楽のキーの変化及びテンポのような特徴が、ストーリアーク、物語のストーリ規則及び映画又はストーリの構造によって定義されこれらに関連する劇的性パラメータに関連付けられる。一実施例においては、数個の音楽トラックの選択が入力オーディオ信号を供給し（６０２）、該信号から音楽的な特徴が抽出され（６０４）、続いて劇的性パラメータのリスト及びタイムラインが生成される（６０６）。次いで、前記劇的性パラメータに関連するストーリ内容を持つメディア断片が得られ（６０８）、前記断片が前記選択された音楽と共に出力される（６１０）。

Description

本発明は、オーディオ信号を、抽出された前記オーディオ信号の特徴に従って強調する方法及びシステムに関する。本発明は、限定するものではないがとりわけ、テンポ及びキーのような、オーディオ信号の音楽的な特徴を決定し抽出するシステムを用いた用途を持つ。

オーディオ信号をビデオ信号を用いて強調することは知られている。このことは、音楽ビデオ業界において最も一般的に見られる。ここでは、通常テレビジョンネットワークを介して組み合わせられたオーディオとビデオとを放送する目的で、特定の歌又はアルバムが、音楽用に作成されたビデオシーケンスを持つ。ビデオ信号は、音楽を最も良く増強する適切なビデオシーケンスを選択及び／又は作成するため、多くの人間の経験及び才能を用いて、手動で生成される。従事する人間の技能は、最終製品の品質の重要な要素である。かような強調はまた、時間を要し且つ高価な工程であり、多くのユーザにとっての最終製品の適正さに対する真の保証を伴うものでもない。

ユーザ入力に依存して、家庭の消費者が音楽及びビデオ表現を生成することを可能とする消費者向けソフトウェアツールも知られている。欧州特許出願公開EP0403118は、家庭用パーソナルコンピュータ（ＰＣ）のようなデータ処理システムにおけるオーディオ／ビジュアル編集を記載している。該システムはライブラリ、オーディオ並びにストーリのオーサリング（authoring）及びエディット（edit）モジュールを有し、該モジュールはユーザがオーディオ／ビジュアル表現を編集し、出力することを可能とする。国際特許出願公開WO01/18655は、コンピュータ上での音楽ビデオ生成のための方法及びシステムを開示している。該コンピュータは、フォアグラウンドとバックグラウンドの選択、インポート機能、特殊効果ボタン、グラフィック画像の組み立てのための命令のスクリプトを生成するためのタイムラインを含むエディットインタフェースを有し、これにより音楽と同時に音楽ビデオプロジェクトを生成する。

かような知られた家庭用／消費者向けシステムは、消費者がオーディオ信号を強調するために該消費者自身のビデオを生成することを可能とする。しかしながら、専門分野におけるビデオ生成の場合と同じく、かような生成は時間の掛かるものであり、また従事する消費者の技量に依存する。

典型的に、かような先行技術のシステムは、もしあるとしても限られた自動化能力しか持たず、オーディオ信号の意味的内容に依存し該内容に追従するビデオストーリのシーケンスを用いて、入力されたアドホックなオーディオ信号を自動的に強調することは一般にできない。

それ故本発明の目的は、オーディオ信号を強調するための改善された方法及びシステムを提供することにある。

本発明の第１の態様によれば、オーディオ信号を受信するステップと、前記オーディオ信号から特徴を抽出するステップと、前記抽出された特徴に従って、時間順に並べられた劇的性パラメータ（dramatic parameter）のテーブルを生成するステップと、前記劇的性パラメータのテーブルに少なくとも一部従ってメディア断片を得るステップと、前記メディア断片を出力するステップとを有する、オーディオ信号を強調する方法が提供される。

本発明の第２の態様によれば、オーディオ信号を受信するための入力装置と、前記受信されたオーディオ信号から特徴を抽出し、時間順に並べられた前記抽出された特徴と関連する劇的性パラメータのテーブルを生成し、前記生成された劇的性パラメータのテーブルに少なくとも一部従ってメディア断片を得するための処理手段と、前記メディア断片を出力するための少なくとも１つの出力装置とを有する、オーディオ信号を強調するシステムが提供される。

以上によって、キー及びテンポのような、オーディオ信号から抽出された音楽的な特徴が、オーディオ／ビデオデータファイルを含んでも良いメディア断片の概要を表す劇的性パラメータと関連付けられる。例えば速いテンポは、高速で猛烈な追跡シーンを持つメディア断片と良く合うであろう。

前記劇的性パラメータは有利にも、雰囲気、テンポ、事件等のようなストーリの特徴を表す。前記劇的性パラメータはまた、キー及びテンポのような、抽出された前記オーディオ信号の特徴にマッピングされる。

有利にも、前記メディア断片はデータベースに保存され、前記メディア断片は該データベースから得られる。代替として前記断片は、ストーリについての一般的な記述又は物語構造及び適切な劇的性パラメータを有するストーリテンプレートに従って、実行時に生成されても良い。

例えば、ロマンスのストーリテンプレートは、幸福と関連する音楽的なキー（メジャーキー）又は悲しみと関連する音楽的なキー（マイナーキー）のような、特定の要件を持っても良い。ロマンスのストーリの進行を記述する物語アーク（arc）は、前記ストーリテンプレートにおいて表現される。ロマンスのストーリ用のアークの一例は、偶然の出会い、関係の進展、悲劇、及び幸福な又は悲しいエンディングを有しても良い。

それ故消費者は、消費者の音楽選択に基づくストーリを生成し、取得し及び消費者に向けてレンダリング（rendering）することが可能となる。

例えば消費者が、例えばジャンルを決定するために分析される４つの音楽トラックを選択しても良く（又は前記消費者は好みのジャンルを入力しても良い）、音楽的特徴が前記トラックから抽出される。前記特徴は、密接に合致するストーリテンプレートを決定するために利用され、次いで適切な合致するメディア断片を得るために利用される。例えばこのとき、メジャーキー（幸福な）又はマイナーキー（悲しい）を示す劇的性パラメータを持ち、ロマンチックな内容をも含むメディア断片が、ストーリを作り上げるために得られても良い。

前記メディア断片は次いで、これらの選択された音楽と共に、消費者に向けてレンダリングされる。それ故、消費者は前記選択された音楽と共に、及び前記選択された音楽により通知されたストーリを体験する。

有利にも、音楽的なキーの組み合わせ（ことによるとキーは音楽トラック内で、又は別の音楽トラックに移る際に変化する）が、盛り上がり及びそれに続く緊張の緩和のような、劇的な瞬間を決定するために利用されても良い。

実施例においては、前記システムは、メディア断片及びストーリテンプレートを保存するデータベースに接続されたパーソナルコンピュータを有する。前記コンピュータは、選択された音楽を表すオーディオ信号から音楽的な特徴を抽出するプログラムコードを備える。前記コンピュータは更に、前記抽出された音楽的な特徴に関連する決定された劇的性パラメータに従って、テンプレートを選択し適切なメディア断片を得るプログラムコードを備える。前記劇的性パラメータは、ＸＭＬ（eXtended Mark-up Language）のような設定可能なメタ言語で表現される。前記コンピュータプログラムは、関連する劇的性パラメータタグを持つメディア断片とストーリテンプレートとを照合し、消費者に向けてストーリをレンダリングする。

有利にも、前記コンピュータは、照明が識別された劇的な瞬間において変化させられ、消費者の周囲の体験的な環境の様相が、選択された音楽と共に惹きつけるようなストーリの語りを提供するように制御されるような、出力装置を持つ家庭用ネットワークの一部である。以上のことを実現するため、ＰＭＬ（Physical Mark-up Language）が利用されても良い。

本発明によれば、人間の入力を必要としないながらも、オーディオに関連し該オーディオを引き立たせる強調を生成するような方法で、オーディオ信号を強調することが可能である。

本発明は、添付する図を参照しながら、単に例として以下に説明される。

図は図式的なものであり、定縮尺で描かれていないことは留意されるべきである。図の簡潔さ及び利便性のため、これらの図の一部の相対的な大きさ及び比率は、誇張され又はサイズを減少させられて示されている。同一の参照記号は全体を通して、変更例及び別の実施例において、対応する又は同様の特徴を指すために利用される。

図１は、オーディオ信号を強調するためのシステム１００の模式的な表現を示す。システム１００は、汎用データバス１０８を介してメモリ（ＲＯＭ）１０４及びメモリ（ＲＡＭ）１０６に接続された中央処理ユニット（ＣＰＵ）１０２から成る。担体１１２上のコンピュータコード又はソフトウェア（ＰＲＧ）１１０は、ＲＡＭ１０６にロードされても良い（又は代替としてＲＯＭ１０４に備えられても良い）。前記コードはＣＰＵ１０２に、本発明による方法を実施化する命令を実行させる。ＣＰＵ１０２は、記憶装置１１４並びに出力装置１１６及び１１８に接続される。ユーザインタフェース（ＵＩ）１２０が備えられる。

システム１００は、コンピュータモニタ又はディスプレイの形をとる出力装置１１６を備えた、従来の家庭用パーソナルコンピュータ（ＰＣ）として実施化されても良い。記憶装置１１４は、ネットワーク接続（ＬＡＮ又はＷＡＮ）を介して利用可能なリモートのデータベースであっても良い。家庭用ネットワーク（ＬＡＮ）と同様に、出力装置１１６及び１１８は家庭内に分散され、例えば壁に設置されたフラットパネルディスプレイ、コンピュータ制御された家庭用照明ユニット、及び家庭内に配置されたオーディオスピーカ等を有しても良い。ＣＰＵ１０２と他の装置１１６及び１１８との間の接続は、無線（例えば無線規格IEEE802.11、ZigBee（登録商標）IEE802.15.4又はBluetooth（登録商標）による通信）であっても良く、有線（例えば有線の規格イーサネット（登録商標）、ＵＳＢによる通信）であっても良く、又はこれら両方の組み合わせでも良い。

システム１００は、特徴が抽出されるオーディオ信号の入力を必要とする。オーディオ信号からの音楽的な特徴の抽出は、Matt Welshらによる論文「Querying large collections of music for similarity」（「UC Berkeley Technical Report UCB/CSD-00-1096」、1999年11月）に記載されており、その内容はここで本明細書に組み込まれたものとする。前記論文は、入力オーディオ信号の解析から、平均テンポ、音量、ノイズ及び音色の遷移といった特徴がどのように決定され得るかを記載している。オーディオ信号の音楽的なキーを決定するための方法は、Tsurutaらによる米国特許US5,038,658に記載されており、参照されたい。本文献はここで本明細書に組み込まれたものとする。

それ故、システム１００において、オーディオ信号は入力装置１２２によってＣＰＵ１０２に入力される。ＣＰＵ１０２は前記オーディオ信号を受信し、上述の参考文献に記載されるように、音量、テンポ及びキーのような音楽的な特徴を抽出する。本実施例においては、前記オーディオ信号は、ＣＤ／ＤＶＤ又はハードディスクドライブのようなＰＣの内部入力装置１２２を介して供給される。代替として、前記オーディオ信号は、ネットワーク接続された家庭用娯楽システム（Hi-Fi、ホームシネマ等）への接続を介して入力されても良い。

当業者は、ここで記載されるとおりのハードウェア／ソフトウェア構成及び入力オーディオ信号の供給のメカニズムは重要ではなく、かような信号がシステム１００に利用可能とされることが重要であることを認識するであろう。

データ構造及び動作の方法の例が、本発明の態様の例を説明するために以下に記載される。本例は、簡単のため及び単に例として、システム１００のＰＣによる実施例に関連して記載される。

図２は、コンピュータプログラム１１０による利用のためのテーブル２００の例を示す。前記テーブルは、抽出される音楽的な特徴２０４（ＭＦ）と、所定の及び定義された劇的性パラメータ２０６（ＤＰ）との、網羅的でない関係を示す。例えば一般に、メジャーキー（ＭＡＪキー）を持つ音楽は幸福な又は盛り上がる感情と関連付けられ、一方マイナーキー（ＭＩＮキー）で演奏される音楽はより憂いを帯びた悲しいものである傾向がある。

更に、（音楽を学ぶひとには良く知られた）５度圏の環のダイアグラムを利用して、或るキーから他のキーへの遷移が消費者にとって不安にさせるようなものでない調和したものである、関連する音楽的なキーを決定することが可能である。一般に、或るキーから前記環において隣接するキーへの遷移は、消費者にとって許容可能な調和した遷移を生成し、一方で或るキーから前記環において隣接しないキーへ跳び越えることは、ユーザにとって可聴の不調和（clash）を生成する。例えば、Ｃメジャー／Ａマイナーの密接して関連する（隣接する）キーはＦメジャー／Ｄマイナー及びＧメジャー／Ｅマイナーである。それ故、例えばＣメジャーから（隣接しない）Ｅメジャーへのキーのシフトは（音楽トラック内であってもトラック間であっても）、ユーザにより聴かれる可聴の不調和に帰着する。かような知識は、自動ＤＪアプリケーションにおいて、どの音楽トラックが互いにクロスフェードイン及びクロスフェードアウトさせるために適切かを決めるための規則を作成するために有用である。

かような知識は、ストーリにおける劇的な変化（例えば、ストーリ体験への音楽の追加を伴う、幸福な結婚の場面から悲しい悲劇的な場面への変化）を示すために利用され得る。それ故、図２において、かような隣接しないキーの変化の組み合わせに対応する音楽的な特徴が、劇的性パラメータＣＬＡＳＨ（不調和）を伴うＮＡＫ（隣接しないキー）によって表されている。前記テーブルはまた、劇的性パラメータＦＡＳＴ（高速な）又はＳＬＯＷ（低速な）が、抽出されたＴＥＭＰＯ（毎分のビート数即ちｂｐｍ）結果と関連し得ることを示す。例えば、１２０より大きなｂｐｍは劇的性パラメータＦＡＳＴに割り当てられ、一方でより低速なテンポを持つ歌又はトラックは劇的性パラメータＳＬＯＷに割り当てられても良い。それ故、一般的な方法で、選択された音楽により雰囲気、テンポの変化及び事件が決定され表現され得る。

これらの劇的性パラメータの例は単に例のためのものであり、マークアップ言語のタグ（例えばＸＭＬで実現される）又は他の属性の形をとる、多くのとり得る劇的性パラメータがある。例えば、楽器のタイプ（チェロはＳＡＤ（悲しい）／ＳＬＯＷ属性に割り当てられても良い）のような他の音楽的な特徴、及び高レベルのジャンルを記述するタグが定義されても良い。多くのオーディオＣＤ又はＭＰ３のアーカイブは、トラック又はＣＤに関連付けられた例えばロック、ロマンチック、トランス等のようなジャンルの記述を持ち、これら記述は取得され劇的性パラメータに割り当てられ得る。「www.gracenote.com」は音楽データベース及びサービスプロバイダの例であり、ここでは音楽がロック、電子／ダンス、ジャズ等に分類されている。かようなサービスから選択される電子／ダンス音楽は、一般に適切であろうストーリのジャンルを示す劇的性パラメータ「ＦＵＴＵＲＥ（未来的）」又は「ＣＹＢＥＲ（電脳的）」と関連付けられても良い。

ここで例として、かようなタグが、音楽により通知されるストーリを組み立てることを支援するためにどのように利用されるかを示す。楽しむことを望む消費者が、該消費者のＰＣ上で、トラック１（ＴＲ１）、トラック２（ＴＲ２）及びトラック３（ＴＲ３）の３つのトラックを演奏するように選択する。これらトラックのオーディオ信号は、入力装置１２２によってＣＰＵ１０２に入力される。ＣＰＵ１０２は、前記オーディオ信号から音楽的な特徴を決定し抽出する。ＣＰＵ１０２は、コンピュータプログラム１１０からの命令の下で動作し、前記決定された音楽的な特徴（ＭＦ）２０４を、テーブル２００（図２）を利用して関連する劇的性パラメータ（ＤＰ）２０６と関連付け、次いで図３に示されるテーブル３００を構築する。

テーブル３００は、時間によって並べられ（タイムラインＴＬ３０４を生成し）、トラック１がＦＡＳＴ（高速な）テンポで始まり、関連する劇的性パラメータＨＡＰＰＹ（幸福な）を持つ（即ちメジャーキー）ことをＣＰＵ１０２が決定したことを示す。次いで、ＴＲ２は不調和にし（ＮＡＫ特徴が決定されている）、マイナーキーである（対応する劇的性パラメータＳＡＤを持つ）。トラック３はトラック１と同様に全体的にＦＡＳＴ（速いテンポ）及びメジャーキー（ＨＡＰＰＹ）であると決定されている。

それ故、選択された音楽が、ＦＡＳＴ（ＴＥＭＰＯ ＴＲ１）及びＨＡＰＰＹ（メジャーキー）、ＣＬＡＳＨ（ＮＡＫ及び悲しみを示すマイナーキー）、そしてトラック３についてテンポの増大及び幸福な雰囲気というように劇的に進展するという、該選択された音楽の高レベルな概要が生成される。当該高レベルの劇的な概要を構築した後、ＣＰＵ１０２は次いで記憶装置１１４に接続し、粗く合致する劇的な概要を持つストーリテンプレートを含むデータ構造を検索する。

図４は、システム１００と共に利用するために構築されたストーリテンプレートの集合の例を示す。前記集合は、図に示されるように、ジャンル（ＧＥＮ１、ＧＥＮ２及びＧＥＮ３）によって整列されていても良い。前記ジャンルは、（ＵＩ１２０を介して）消費者によって指示されたものであっても良いし、例えば本分野において知られているような前記選択された音楽の記述子タグを読み取ることによって決定されても良い。ＧＥＮ１は例えば、単純な子供向けストーリ、ホラー、ロマンス又は他のいずれの適切と考えられるストーリ分類のジャンルであっても良い。テンプレート４０４はまた、何人の主要人物又は主人公が適切かといったような他の情報を保存しても良い（三角関係を含む短いロマンスのストーリについては恐らくは３人のみが必要とされる）。

ストーリテンプレート４０４はそれぞれ、物語構造に関係する関連する劇的性パラメータを持つ。例えば、多くのストーリ（特にハリウッド映画）は、３幕構造に従う。ここでは第１幕で登場人物及びストーリを設定し、第２幕でストーリを展開し、第３幕でストーリが解決する。しばしば、第１幕の最後において、展開していく登場人物の新事実を示す刺激的な事件がある。それ故、本出願人は、音楽的な遷移又はトラックの変更が（例えばＮＡＫの検出によって）、ストーリ又はシナリオのフェーズを描写するために利用され得ることを認識した。それ故、図４において、ストーリテンプレート１（ＳＴ１）は単純な物語構造を持ち、ここでは劇的性パラメータが、例えば第１幕は高速で、幸福な第２幕に移行し、第３幕については高速な場面で終わるというストーリアークを示す。かようなテンプレートに合致し得るストーリの例は、動物の友達がかけっこをし、勝者を祝福するパーティを開き、続いて家にかけっこをして帰るといった、単純な子供向けのストーリであり得る。

しかしながらＳＴ２は、第２幕が悲しい及び低速な場面と関連する劇的性パラメータを持つ、別のストーリアークを持つ。ストーリテンプレートの変動性は、音楽的特徴段１２２によって決定され得る劇的性パラメータの数の関数である。更に、ストーリテンプレートは、各幕の（それ故更にストーリ全体の）時間の長さに関連する情報を保存しても良い。短いストーリは例えば、おおよそ１又は２個の音楽トラック（平均して６乃至８分等）に等しい幕を持ち、一方長い物語は、幕内で場面が変化することを示す、より多くの劇的性パラメータＤＰを持つ、より長い幕を持ち得る。ストーリ執筆及び脚本執筆の分野における当業者は、ストーリテンプレートに当てはまる他のパラメータ及び登場人物の規則を定義し得る。

動作中、ＣＰＵ１０２は、ストーリテンプレートのＤＰを、選択された音楽から決定されたもの（図３）と比較し、密接に合致するテンプレートを選択する。例えば、図３において決定されたＤＰの図４のＳＴ２との比較は合致を示し、従ってＳＴ２が選択される。ストーリテンプレート４０４を選択した後、ＣＰＵ１０２は次いで、テンプレートＳＴ２を実際のストーリ内容に配置する必要がある。

図５は、複数のメディア断片５０２を保存するデータベース５００の形をとる記憶装置１１４の例を示す。メディア断片は、例えば映画のエンコードされたセグメント（時にショット（shot）と呼ばれ、幾つかのショットが一場面を構成する）を有するデータのエンティティである。それ故、前記メディア断片は、再生されるときに特定の関連する継続時間を持つ。断片（ＭＦＲ）５０２は、劇的性パラメータに関連するタグ付けされた属性によって特徴付けられる。

前記メディア断片は、前記場面のオーディオ／ビジュアル内容の記述（例えば「ジャンル−アクション、第１幕、最初のカーチェイス、４分間」）と、前記場面の内容と関連する劇的性パラメータとを有する、例えばＸＭＬレコードとして保存されても良い。勿論、前記断片を生成する際に、それぞれが異なる劇的性パラメータ（ＴＥＭＰＯ）に適切な、幾つかの異なるエンディング及びオープニングを伴って、ストーリ全体が進展しても良い（例えばストーリはカーチェイス場面から始まっても良いし、又はオートバイのチェイス場面から始まっても良い）。このことは、ストーリの何らかの兆候が維持されることを可能としつつ、異なる断片が前記音楽の決定された劇的性パラメータに従って提示されることを可能とする。異なる継続時間を持つ同様の場面が生成されても良い。

それ故、前記コンピュータプログラムはＣＰＵ１０２に、前記選択されたストーリテンプレートの継続時間、幕及び劇的性パラメータの点でおおよそ合致するメディア断片５０２を探して前記データベースを検索するように命令する。前記断片は得られ、並べられ、メモリ１０６（又はハードディスクドライブ）にキャッシュされ、次いで音楽と共に出力される。データベース５００は任意に、便宜上、図５に示されるようなストーリテンプレート４００をも保存しても良い。

例えば、図３において生成されたＤＰのリストと、図４の選択されたストーリテンプレート（ＳＴ２）を参照する。またここでは、（ことによるとＵＩ１２０を介して子供自身によって）子供向けのジャンルが示されているものとする。子供向けのジャンルのタグを持つストーリ断片が、決定されたタイムライン（ＴＬ）及び劇的性パラメータ（ＤＰ）に合致するように検索される。トラック１（ＴＲ１）が４分継続すると仮定すると、ＦＡＳＴ−ＨＡＰＰＹのＤＰの組み合わせを持ち、およそ４分継続するオープニングのメディア断片が検索される。同様に、より遅いテンポ及び悲しい主題を持ち、およそトラック２の継続時間の間継続する第２幕用の（最初に選択された断片と関連する）メディア断片が検索される。最後に、高速で／幸福なエンディングを持つものとしてタグ付けされ、最初の断片に関連するメディア断片が、トラック３を用いたレンダリングのために選択される。

それ故、適切なメディア断片５０２を識別し取得した後、本ＰＣの実施例においては、ストーリがディスプレイモニタ１１６において出力される。

図６は、上述したステップを示すフロー図を示す。ステップ６０２において、前記選択された音楽を表すオーディオ信号が入力され（ＩＡＳ）、ステップ６０４において音楽的な特徴が抽出される（ＥＭＦ）。ステップ６０６において、前記音楽を特徴付ける劇的性パラメータのリストが生成される（ＧＥＮ
ＤＰ）。次いでステップ６０８において、ストーリテンプレートが選択され（ＳＥＬ ＳＴ）、適切なメディア断片を得るために前記劇的性パラメータと共に利用される（ＯＭＦ）。最後にステップ６１０において、ストーリが前記選択された音楽と共に出力される（Ｏ／Ｐ）。

当業者は、前記ストーリは連続したものでなくても良いことを認識するであろう。様式化されたコミック本の形をとる内容がメディア断片内で利用されても良く、それ故継続時間の合致要件を緩和し、前記選択された音楽における識別された劇的な瞬間との場面出力のより容易な合致を可能とする。かような「予め録画された（pre-canned）」コミック、漫画、又はコンピュータ生成された可視コンテンツは、比較的迅速に生成され及びインデクシングされ、多くのストーリテンプレート及びメディア断片を利用可能とする充実したデータベースの迅速な構築を可能とする。前記断片は、例えば劇的性パラメータ、ジャンル及び登場人物等でファイルをインデクシングしたレコードとリンクされたＭＰＥＧファイルとしてのように、いずれの便利な方法で保存されても良い。

上述の例においては、予め録画されたコンテンツが、前記選択された音楽の継続時間におよそ合致するタイムラインを持つストーリテンプレートに依存して、ユーザ用に取得された。しかしながら、特定のストーリテンプレートを選択した後に、メディア断片がプロセッサ１０２によって実行時にコンピュータ生成されても良い。例えばメディア断片は、子供向けの単純な漫画の形をとるコンピュータ生成されたコンテンツを含んでも良い。このとき、前記断片の、前記選択された音楽のタイムラインとの照合は、比較的単純となる。なぜなら、プロセッサ１０２が、実際のメディア断片及び該断片の内容を生成するからである。勿論、かような場合においてはストーリテンプレートの必要性は除去され得、単純な規則（ＡＣＴ１、ＡＣＴ２、ＡＣＴ３、ＤＰ−ＨＡＰＰＹ、ＦＡＳＴ、ＨＡＰＰＹ）が、ストーリを構成するメディア断片の生成を支援する。

周囲の情報システムの有利な態様を示す他の実施例においては、図１において点線１２４で示されたモジュールが、種々の出力装置１１６及び１１８へのネットワークリンクを持つ、家庭用ネットワークプラグインモジュール１２４として実装される。該モジュールは、実世界の体験を出力するように設計されたマークアップ言語及び命令に準拠する。かようなＰＭＬ（physical mark-up language）の例は、本出願人の同時係属中の国際特許出願公開WO02/092183に記載されている。ＰＭＬは、エンドユーザに対し体験をオーサリングし、通信し、レンダリングするための手段を有し、これによりエンドユーザは、実際の物理的空間内における或るレベルの没頭を体験する。例えばＰＭＬ利用可能なHI-FI及び照明システムのような消費者向け装置は、前記照明又は前記装置からの音声出力を変化させる、ホストネットワーク装置からの命令を受信することができる（該命令は、例えばＤＶＤビデオストリーム内に埋め込まれても良い）。それ故、映画中の暗い場面は、それに従って前記消費者の家庭の照明を暗くする。

ＰＭＬは一般に、実世界のイベントに関連する記述子（＜dim light＞（照明を暗くする））を持つ、ＸＭＬで実現され得る高級記述マークアップ言語である。それ故、ＰＭＬは、標準化された方法で、家中の装置が消費者のための体験を強調させることを可能とする。

図７は、本発明の態様を実施化するＰＭＬフロー図の例を示す。ステップ７００においてオーディオ信号が入力され（ＩＡＳ）、ステップ７０２において音楽的特徴について分析される（ＥＭＦ）。前記特徴はストーリ構築モジュール（ＳＢＭ）１２４に供給され、該モジュール１２４は、上述したように、劇的性パラメータのテーブル及びタイムラインを生成する。モジュール１２４は、前記生成されたテーブルに従ってストーリテンプレート４００を選択し、適切なメディア断片５０２を得る。前記断片（予め録画されたものであっても、実行時に生成されたものであっても良い）は、ＰＭＬ記述子及び劇的性パラメータを含む。前記断片は次いでモジュール１２４によって組み立てられ、ステップ７０４においてＰＭＬインタープリタ（ＰＭＬＩ）に供給される。

それ故、前記断片に関連するＰＭＬコマンドが解釈され、次いで家庭用ネットワーク上のＰＭＬ利用可能な装置７０６、７０８及び７１０に導かれる。例えば装置７０６及び７０８はＰＭＬ照明システム及びＰＭＬプロジェクタを表していても良い。前記装置はＰＭＬコマンドに応答し、例えば前記選択された音楽及び得られたメディア断片に従って、物語の特定の瞬間に壁上の照明レベル及び色並びにオーディオ体験を変化させる。デスクトップ型のファン、又はエアコン及び加熱システムのような他の装置７１０は、入力オーディオ信号及び出力ストーリ体験を更に強調するために、劇的な特性に依存して制御されても良い。

以上、物語のストーリ体験を提供することにより、オーディオ信号を強調するために適したシステムが説明された。前記システムは専用モジュール１２４の形をとっても良いし、又は単独で若しくは消費者向けのネットワーク上の他の装置と協働して動作する汎用コンピュータの形をとっても良い。キー、キーの変化及びテンポ等のような抽出される音楽的な特徴は、前記コンピュータに入力され、該コンピュータが次いで前記特徴を劇的性パラメータに関連付ける。適切なメディア断片が次いで得られ、続いてユーザに向けて出力されレンダリングされる。他の出力装置が、前記ストーリを更に増強し強調するために利用されても良い。

本開示を読むことにより、当業者には他の変更例が明らかであろう。かような変更例は、マルチメディアシステムの設計、製造及び利用並びにこれらの構成部分において既に知られた他の特徴を包含し得る。これらの特徴は、本発明の精神及び範囲から逸脱することなく、ここで既に説明された特徴の代わりに、又はここで既に説明された特徴に加えて利用され得る。更に、物語構造及びメディア断片は、本発明の精神及び範囲から逸脱することなく、ここに説明された明示的な例と異なっても良い。

オーディオ信号を強調するためのシステムの模式的な表現である。 音楽的な特徴を劇的性パラメータに関連付けるテーブルである。 生成される劇的性パラメータのリストの例である。 保存されたストーリテンプレートの例である。 メディア断片を保存するデータベースを示す。 オーディオ信号を強調する方法のフロー図である。 オーディオ信号を強調するＰＭＬ法のフロー図である。

Claims (22)

1. オーディオ信号を受信するステップと、
   前記オーディオ信号から特徴を抽出するステップと、
   前記抽出された特徴に従って、時間順に並べられた劇的性パラメータのテーブルを生成するステップと、
   前記劇的性パラメータのテーブルに少なくとも一部従ってメディア断片を得るステップと、
   前記メディア断片を出力するステップと、
   を有する、オーディオ信号を強調する方法。
2. 前記オーディオ信号から抽出される前記特徴は、テンポ、キー及び音量のうちの１つ以上を含む、請求項１に記載の方法。
3. 前記劇的性パラメータのテーブルを生成するステップは、劇的性パラメータ及び関連するオーディオ特徴のリストを取得するステップと、前記抽出された特徴を前記取得された関連するオーディオ特徴と比較し照合するステップと、前記オーディオ特徴と関連する前記劇的性パラメータを有するエントリを挿入するステップとを有する、請求項１又は２に記載の方法。
4. 前記劇的性パラメータは、雰囲気、テンポの変化又は事件を含む、請求項１乃至３のいずれか一項に記載の方法。
5. 前記メディア断片を得るステップは、記憶装置から断片を選択するステップを有し、前記断片は、前記劇的性パラメータのテーブルにおけるそれぞれのエントリに合致する、関連する劇的性パラメータと共に保存される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記メディア断片を得るステップは、断片を生成するステップを有する、請求項１乃至５のいずれか一項に記載の方法。
7. ユーザ入力を受信するステップを更に有し、前記ユーザ入力は前記メディア断片を得るステップに影響を与える、請求項５又は６に記載の方法。
8. 前記メディア断片はビデオデータを含む、請求項１乃至７のいずれか一項に記載の方法。
9. 前記出力するステップは、前記メディア断片及び前記オーディオ信号を保存するステップを有する、請求項１乃至８のいずれか一項に記載の方法。
10. 前記出力するステップは、前記メディア断片及び前記オーディオ信号をレンダリングするステップを有する、請求項１乃至９のいずれか一項に記載の方法。
11. 前記メディア断片を得るステップの前に、前記劇的性パラメータのテーブルに少なくとも一部従ってストーリテンプレートを選択するステップを更に有し、前記ストーリテンプレートは、前記メディア断片を得るステップに影響を与える、請求項１乃至１０のいずれか一項に記載の方法。
12. 前記ストーリテンプレートは、物語のストーリ構造に関連する劇的性パラメータのデータを有する、請求項１１に記載の方法。
13. 前記メディア断片の選択は、前記選択されたストーリテンプレートの劇的性パラメータを、前記メディア断片の劇的性パラメータと照合するステップを有する、請求項１２に記載の方法。
14. 前記選択のためのストーリテンプレートは、論理的なストーリ構造の規則及び前記劇的性パラメータのリストに従って生成される、請求項１１乃至１３のいずれか一項に記載の方法。
15. 前記劇的性パラメータはＰＭＬのタグによって表現される、請求項１乃至１４のいずれか一項に記載の方法。
16. 前記抽出された特徴の組み合わせが、関連する劇的性パラメータを持つ、請求項１乃至１５のいずれか一項に記載の方法。
17. オーディオ信号を受信するための入力装置と、前記受信されたオーディオ信号から特徴を抽出し、時間順に並べられた前記抽出された特徴と関連する劇的性パラメータのテーブルを生成し、前記生成された劇的性パラメータのテーブルに少なくとも一部従ってメディア断片を得するための処理手段と、前記メディア断片を出力するための少なくとも１つの出力装置とを有する、オーディオ信号を強調するシステム。
18. 前記メディア断片を保存する記憶装置を更に有する、請求項１７に記載のシステム。
19. 前記少なくとも１つの出力装置は、前記メディア断片が表示される表示手段を有する、請求項１７又は１８に記載のシステム。
20. 前記少なくとも１つの出力装置は、前記劇的性パラメータに関連する命令に応答する、請求項１７乃至１９のいずれか一項に記載のシステム。
21. プロセッサにより実行されるときに、前記プロセッサに請求項１乃至１６のいずれか一項に記載の方法を実行させる、担体上のプログラムコード。
22. 関連する劇的性パラメータを持つメディア断片を保存する、請求項１７に記載のシステムと共に利用するためのデータベース。
    

Images