JP2012511792A - 少なくとも１つの信号をレンダリングするためのシステムを制御するデータを生成する方法及びシステム - Google Patents

Abstract

レンダリングシステム（９）を制御するデータを生成する方法は、イベントの少なくともインターバルの記録を表すデータを取得するステップを有し、記録は、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネント（２２，２３）を有する。データは、コンポーネント（２２，２３）の第１及び第２のコンポーネントの間の少なくとも依存関係を決定するよう解析される。少なくとも依存関係は、レンダリングシステム（９）に設定（３０）を与えるために用いられ、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングするようにする。

Description

本発明は、レンダリングシステムを制御するデータを生成する方法、そのようなレンダリングシステムを制御するデータを生成するシステム、及びコンピュータプログラムに関する。

国際公開第２００５／０８４３３９号パンフレット（特許文献１）は、オーディオ入力に応答して照明システムを制御する装置を開示している。マッピング設備は、実行時に入力値を受け取るよう１又はそれ以上の変数を含むことができる（例えば、マッピングテーブルに記憶された）照明プログラムを与えられてよい。マッピング設備は、オーディオデコーダの出力を受け取ることができ、それにより、入力されたオーディオ信号の特性に関する情報が、マッピング設備によって実行される照明プログラム内の変数に対して入力値を与えるようマッピング設備に提供され得る。実施形態において、用いられる特定のマッピング機能は、オーディオ信号に含まれる音楽のタイプの表示を提供するオーディオ信号を与えられた情報に基づいて、選択されてよい。具体的に、何曲かの音楽は、音楽内の又は音楽に関連付けられるタブ又は他の情報を有してよく、タブ又は他の情報は音楽のタイプを示す。そのような情報は、音楽のスタイルに適合するマッピング機能を選択するために使用されてよい。照明プログラムは、異なるシステムで書かれて、コンピュータ読取可能な媒体を介して装置内のマッピングテーブルへ転送される。

国際公開第２００５／０８４３３９号パンフレット

上記システムに伴う問題は、如何なるパフォーマンス開催地における雰囲気も再現するのに全く適さないことである。これは、同じタイプの照明システムがパフォーマンス開催地で使用されていたこと、及びユーザがパフォーマンス中に使用された照明プログラムを取得することを要する。

いずれかの場所で形成された雰囲気と同じでないにしても類似している経験を提供するための上記タイプの方法、システム及びコンピュータプログラムを提供することが望ましい。

これは、本発明に従う、レンダリングシステムを制御するデータを生成する方法であって：
イベントの少なくともインターバルの記録を表すデータを取得するステップであって、前記記録は、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネントを有するステップ；
前記コンポーネントの第１及び第２のコンポーネントの間の少なくとも依存関係を決定するよう前記データを解析するステップ；及び
少なくとも前記依存関係を用いてレンダリングシステムに設定を与え、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングするステップ
を有する方法によって達成される。

これに関連して、用語「モダリティ（modality）」は、人間対コンピュータの相互作用を特徴付けるよう、つまり、人間がコンピュータの出力を受け取ることができる感覚を表すとともに、コンピュータが入力を受け取ることができるセンサ又は装置を表すよう使用されるという意味で用いられる。特に、モダリティは、視覚モダリティ、聴覚モダリティ及び触覚モダリティを含む。

イベントの少なくともインターバルの記録であって、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネントを有する記録を構成するデータを取得することによって、ここで提示される方法は、コンピュータ生成されたライティングショー以外のものを含め、広範囲の経験を再現するために使用されてよい。方法は、イベントの認知可能な側面（例えば、音、光、振動、温度等）の記録に依存するので、イベント開催地での元の経験を作り出すために使用される入力とは無関係である。第１及び第２のコンポーネント間の少なくとも依存関係を決定するようデータを解析し、該依存関係を用いてシステムに設定を与え、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの信号をレンダリングすることは、イベントでの経験と同じでないにしても類似している経験を作り出すことを可能にする。経験は、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号（例えば、オーディオ信号）が、元のイベントの間に生成される記録に対応する場合に、おおよそ同一である。なお、異なる信号（例えば、オーディオ信号の場合には異なる曲）を選択することによって、雰囲気は、イベントをコピーする必要なく再現可能である。例えば、周囲照明状態は、イベントのオーディオビジュアル記録の再生を用いることなく再現可能である。このことは、方法を比較的万能にする。更に、例えば、単に照明状態を記録して、イベントで実行されたのとは異なる曲を再生中にそれらの照明状態を再現することと対比して、方法は、設定が、該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの信号をレンダリングするシステムに与えられるので、概して、第１のモダリティを通じてレンダリングされるものと、第２のモダリティを通じてレンダリングするものとの間の不一致を回避する。当該方法により達成される更なる効果は、イベントの完全な記録に依存しない点である。これは、当該方法の多くの実施において、前記記録が、比較的正確に前記依存関係を決定するには十分であるためである。

実施形態において、前記コンポーネントの少なくとも１つは、前記イベントの開催場所で少なくとも１つのセンサを用いて得られる捕捉データを断続的に記録することによって取得される。

このことは、前記記録が、効率的に且つ目立たないように取得されることを可能にする。連続的な記録の必要性は存在せず、それにより、より少ないデータ記録容量を有する装置が使用されてよい。実施において、バッテリ駆動の記録装置が使用されてよく、目立たない記録を可能にする。

変形例において、少なくとも前記断続的な記録は、前記イベントの開催場所で少なくとも部分的にセンサからの入力に基づいてトリガされる。

効果は、変化、傾向、固定の又は可変な閾値の超過、複数のセンサ入力の特定の配置等の少なくとも１つが検出されると前記記録が行われることを確かにすることが可能であることである。従って、前記コンポーネントの１又はそれ以上の値の変化又は特性値のインジケータは、前記コンポーネントの１又はそれ以上の記録をトリガするために使用される。

更なる変形例において、前記トリガは、前記イベントに存在する少なくとも１人の人をモニタする少なくとも１つのセンサからの入力に基づいて決定される該少なくとも１人の人の生理機能の少なくとも１つの側面に基づく。

効果は、イベント開催場所での雰囲気のより正確な再現を可能にすることである。イベントに存在する人々の注目に値する反応に関してもたらされた雰囲気の側面は捕捉されて記録され、それらは、同様の雰囲気を再現するよう少なくとも１つの信号をレンダリングするために使用される依存関係を決定するための基準を形成する。

方法の実施形態において、前記記録の前記コンポーネントの少なくとも１つは、画像データを含む。

従って、イベントでの雰囲気を強く特徴付ける側面が、同様の雰囲気を再現するために使用され、全般的な方法のこのような実施を極めて有効にする。

変形例において、前記画像データは、広角レンズを備えたカメラにより取得される。

広角レンズを備えたカメラは、レンズの像平面における画像センサと同じ大きさの球面収差が補正された画像を生成するレンズの焦点距離よりも実質的に短い焦点距離を持ったレンズを有する。このことは歪みを引き起こすが、ビデオデータの目的は、照明特性を捕捉することのみである。広角レンズの使用は、捕捉されるものが、室内の雰囲気を再現するために必要とされる周囲照明状態ではなく、実際には、室内を移動する人物の画像であるという可能性を下げる。

実施形態において、前記画像データは、該画像データを取得するよう少なくとも部分的に上方に向けられているレンズを備えたカメラにより取得される。

効果は、前記設定が、例えば、通り過ぎる人の衣服の色ではなく、周囲照明効果に基づく可能性を高めることである。

方法の実施形態において、前記データを解析するステップは、前記コンポーネントの少なくとも１つを特徴付ける少なくとも１つのパラメータの値を決定するよう当該コンポーネントに対応するデータの少なくとも一部を解析するステップ，及び
ａ）前記第２のモダリティにより認知可能な様式でレンダリングする前記少なくとも１つの信号；及び
ｂ）前記設定に含まれるデータ
の中から少なくとも１つを選択するために前記少なくとも１つの値を用いるステップを更に有する。

この実施形態は、イベントでの雰囲気の再現のために異なったモダリティを通じて取得可能である前記イベントの記録のコンポーネント間の関係のみを用いることがしばしば十分でないと認識している。例えば、サルサパーティでの照明が如何にして音楽に関連付けられているのかという知識は、この知識が、ハードロック音楽に付随して起こるよう照明効果を提供するために用いられる場合には、十分でない。また、一部の照明効果は、極めてイベントの特徴を示しているが、イベントで演奏される音楽との関連性が弱い。

本実施形態の変形例は、前記第２のモダリティにより認知可能な様式でレンダリングする前記信号を形成するように、特定の距離メトリックに従って前記解析されたコンポーネントのパラメータ値と同じパラメータ値によって特徴付けられるコンテンツデータ項目をコンテンツデータ項目の集合から検索するステップを更に有する。

効果は、イベントを正確に再現することなく雰囲気を再現することができることである。更に、イベントの短い記録が、繰り返しの印象を与えることなく、よりずっと長い時間期間の間のイベントでの雰囲気を再現するために使用されてよい。

レンダリングシステムを制御するデータを生成する方法の実施形態は、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングする前記レンダリングシステムを、前記設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して動作させるステップを有し、前記第２のモダリティにより認知可能な様式でレンダリングする前記少なくとも１つの信号は、レンダリングされる場合に、前記イベントの少なくともインターバルの前記記録よりも長い存続期間を有する。

効果は、繰り返しになることなく、且つ、必ずしも長い記録を用いることなく、イベントと同様の雰囲気を再現することができることである。前記設定は、少しの比較的短いが特徴的なインターバルの記録に基づくことができる。第２のモダリティにより認知可能な様式でレンダリングする前記信号は、再現された雰囲気の存続期間を決定する。この信号により、可変な要素が加えられ、繰り返しが回避される。

他の態様に従って、本発明に従う、レンダリングシステムを制御するデータを生成するシステムは：
イベントの少なくともインターバルの記録を表すデータを取得し、前記記録が、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネントを有するようにするインターフェース；
前記コンポーネントの第１及び第２のコンポーネントの間の少なくとも依存関係を決定するように前記データを解析するよう構成される解析モジュール；及び
少なくとも前記依存関係を用いてレンダリングシステムに設定を与え、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングするよう構成される制御データ生成モジュール
を有する。

システムは、例えば、特別に適応された記録装置を用いて捕捉されるデータを有するデータ担体又はライブイベントのビデオ等の形でインターフェースを通じて記録を受け取るホームエンターテイメントシステムに含まれてよい。代替的に、システムは、少なくともメディアプレーヤー及び環境システムを有するシステムでの使用に適したフォーマットで、データ担体上の制御データの形で又はネットワークを介して、設定を提供する特別に適応された記録装置に含まれてよい。

実施形態において、システムは、本発明に従う方法を実行するよう構成される。

本発明の他の態様に従って、機械読取可能な媒体に組み込まれる場合に、情報処理機能を有するシステムに、本発明に従う方法を実行させることが可能な命令の組を有するコンピュータプログラムが提供される。

イベントでの音声及び照明を捕捉する装置の概略図である。 没入効果を伴いながらコンテンツデータをレンダリングするシステムの概略図である。 イベントでの雰囲気を再現する方法のステップを示すフローチャートである。

本発明について、添付の図面を参照して更に詳細に説明する。

以下で、システムは、人が、録音された又は生の音楽が演奏されるイベントを訪れて、後にその経験を再現したいと望む場合における使用に関して論じられる。この目的のために、人は、イベントの存続時間の少なくとも一部の間、音響及びその他の雰囲気の認知可能な側面（特に、照明パターン）を捕捉するために、イベントにおいて記録装置１を用いてよい。なお、雰囲気を再現する方法は、特に、イベントでの周囲照明パターンが適切にビデオにおいて表現される場合に、ビデオ、例えば、その人物が参加していないライブコンサートのビデオ、に基づいて実行されてもよいことが知られる。

表される実施形態では、記録装置１は、マイクロフォン２と、画像センサ３と、広角レンズ４とを有する。更に、又は代替的に、記録装置１は、更なる認知可能な環境変数（例えば、温度、湿度、視認性、（振動を捕捉するための）加速度等）を表す信号を生成する更なるセンサを有してよい。記録装置１は、プログラミングされたルーチンを実行するよう、メモリ（図示せず。）を有する又はメモリとインターフェース接続するデータ処理ユニット５の制御下で動作する。

読み出し／書き込みユニット６が、データをデータ記録媒体（図示せず。）へ書き込むために設けられる。代替の実施形態で、記録装置１は、携帯電話機、又は無線ネットワークインターフェースを備えたコンピュータ装置等の無線通信装置に含まれ、又はそのような無線通信装置とリンク可能である。従って、記録装置１は、ポータブルデバイスであっても、又はそのようなポータブルデバイスを有してもよい。記録装置１をより簡単に且つより快適に使用できるようにするよう、望ましくは、記録装置１はバッテリ駆動される。機能は、記載されるように、バッテリ電力を節約し、且つ、読み出し／書き込みユニット６とともに使用される媒体の記憶容量をより効率的に使用するよう提供される。

記録装置１は、更に、センサ７とインターフェース接続する。一実施形態において、センサは、イベントに参加する人によって身に着けられ、又は、少なくとも、そのような人をモニタするよう配置される。具体的に、センサは、モニタされる人が感情的な反応を示しているかどうかを決定するために、温度、心拍、電気皮膚反応又はその他精神生理学的信号を測定するよう配置されてよい。センサ７は、代替的に、又は更に、ユーザのその他の側面をモニタしてよい。例えば、加速度が、ユーザの動き（ユーザが静止して座っているのか、踊っているのか、身振りをしているのか等）の特徴を示すために使用されてよい。代替的に、又は更に、センサ７又は更なるセンサは、少なくとも１つの状態（例えば、温度、湿度、雑音レベル、視認性等）をモニタしてよい。

一例としてここで記載される記録装置１は、画像センサ３及び広角レンズ４によって構成されるデジタルカメラを用いて周囲照明状態を捕捉する。記録装置１は、支持体表面（図示せず。）上の設置のためのベース８を有する。記録装置１は、レンズ４が、少なくとも部分的に支持体表面から離れて、すなわち、大きな壁の上部分又は天井に向かって、向けられるように、構成される。このことは、イベントでの物体及び人々の色が捕捉画像データの大半を占めないことを確かにする。従って、イベント開催場所での照明効果（照明の大きさ、色及びその強弱）が比較的正確に記録される。この効果は、視野が比較的広い広角レンズ４の使用によって改善される。

バッテリ電力及び記録容量を節約するために、更には、必要とされる事後処理量を減らすために、音響及び／又は画像データは断続的に記録される。記録が行われる短いインターバルは、記録が行われないより長いインターバルに組み入れられている。画像データ及び／又は音響データは、依然として、そのようなより長いインターバルの間にも捕捉されてよい。記録インターバルの長さは、少なくとも１つの捕捉される信号の特性に依存して、又は少なくとも２つの捕捉された信号の特性間の関係に依存して、予め決定され得る。例えば、記録インターバルは、画像データが明らかなパターンを示すよう現れない場合、又はより長い周期を有して周期的であるよう現れる場合等に、より長くなりうる。記録が行われないインターバルは所定の存続期間を有してよく、この期間は一定であっても又は可変であってもよい。他の実施形態では、ユーザ制御（図示せず。）が、ユーザが記録インターバルの開始をトリガすることを可能にするよう与えられる。なお、表される実施形態では、記録は、センサ７、マイクロフォン２及び画像センサ３の少なくとも１つからの入力に少なくとも部分的に基づいて、トリガされる。

記録がセンサ７からの入力に基づいてトリガされ、センサ７がイベントに存在する少なくとも１人の人の生理機能の少なくとも１つの側面を測定するよう構成される場合に、トリガは、イベントに対するその人物の生理的反応に基づいてよい。例えば、感情的関与を示す心拍若しくは血圧又は特定の電気皮膚反応の検出は、記録をトリガすることができる。センサ７が１人以上の人の動きをモニタするのに適する場合に、トリガは、踊りに一致する動作のパターンの検出又はそのような動作のパターンの変化に基づくことができる。この実施形態で、特に、記録装置１がそのベース８上にはなく運ばれている場合に、動きを考慮するための捕捉されたビデオデータの補正が行われてよい。このことは、照明パターンが捕捉され記録される精度を改善する。

トリガのための付加的な又は代替の基準は、捕捉された音響及び／又は周囲照明の特性の変化の検出であってよい。この実施形態では、データ処理ユニット５は、一般的に、移動する時間窓にわたって、音響信号又はビデオデータの少なくとも基本的な解析を行う。従って、音響レベル、音楽タイプ、周囲照明の特徴、及び音響信号とビデオ信号との間の関係の中の少なくとも１つが変化するたびに、記録はトリガされる。簡単な実施形態において、マイクロフォン２によって捕捉される信号の振幅は、トリガのための基準として働くことができる。より高度な実施形態では、テンポ、ビート若しくはジャンルの変化又は新しい楽曲の開始は、データ処理ユニット５によって検出可能であり、記録を開始するトリガのための基準として働くことができる。同様に、全体的な光度又は全体的な光度の変化が、トリガを提供するための基準として使用されてよい。

データ処理ユニット５は、幾つかの実施形態において、捕捉されたビデオデータの予備的な解析を行うことができ、それにより、この解析の結果のみが記録される。例えば、完全な画像を記録することに代えて、記録装置１は、全体的な光度の時間的変化とともに、画像ごとの色ヒストグラムのみを記録すればよい。

表される実施形態では、画像データサンプルは記録されて、後の段階で解析される。解析には、色ヒストグラムの生成が含まれてよい。これは、画像データが適切な色空間（例えば、ＹＵ’Ｖ’）において記録される場合に、容易になる。ＹＵ’Ｖ’色空間は、画像をエンコードするために輝度成分及び２つのクロミナンス成分を用い、輝度とクロミナンスとの間の明らかな区別を予め有しており、ヒストグラムの生成をより容易にする。

図２を参照すると、ホームエンターテイメントにおいて使用されるレンダリングシステム９は基地局１０を有する。基地局１０は、特定の設定に従ってその動作を制御するよう構成されるデータ処理ユニット１１を有する。データ処理ユニット１１は、少なくとも、記録装置１によって捕捉されて記録されたデータから、設定を推測する。かかる設定は、音楽及び周囲照明効果をレンダリングするレンダリングシステムを制御する際に使用される。

基地局１０は、記録装置１に含まれる読み出し／書き込みユニット６と互換を有するデータ記憶媒体からデータを読み出す読み出しユニット１２を有する。基地局１０は、周囲照明装置１４ａ〜ｎへ制御信号を与える照明システムインターフェース１３を更に有する。かかる制御信号は少なくとも光度を制御するが、関連する照明装置１４の機能に依存して、光の色も制御する。図２に表される基地局１０は、概略的に図示されている音響再生装置１５を更に有する。音響再生装置１５は、ラウドスピーカ１６及び１７とインターフェースをとる。音響再生装置１５は、音楽ファイル、又はＣＤ若しくはＤＶＤからの録音された音楽等をレンダリングするよう構成されてよい。表される実施形態では、基地局１０は、没入効果を提供するインターフェース１８及び装置１９を更に有する（例えば、触覚フィードバック、光の空間分布に影響を及ぼす効果等）。

基地局１０は、更に、多数の音楽トラックの録音を記憶するデータ記憶装置２０を設けられる。

基地局１０によって実行されるステップが図３に表されている。最初（ステップ２１）に、記録装置１によって記録されるオーディオデータ２２及びビデオデータ２３のサンプルが、記録媒体から読み出される。

オーディオデータ２２の少なくとも一部は、オーディオ信号を特徴付ける少なくとも１つのパラメータの値を決定するために解析される（ステップ２４）。パラメータ値は、例えば、ボリューム、拍、テンポ、ビート（優位周波数）、メル周波数ケプストラム係数等のオーディオ特性に基づいて関連する音楽を分類する音楽分類アルゴリズムにおいて使用される。解析の結果は、特定の距離メトリックに従って、解析されたオーディオ記録のパラメータ値と同じパラメータ値によって特徴付けられるオーディオトラックを、オーディオトラックのデータベース２６から検索するために、次のステップ２５で用いられる。このようにして、これらのステップ２４及び２５は、同じオーディオトラックのプレイリスト２７に応じる。プレイリスト２７内のオーディオトラックを再生するのに要する時間は、一般に、図３に表される最初のステップ２１で受け取ったオーディオデータ２２によって表されるオーディオ抜粋の長さよりもずっと長い。

表される実施形態では、ビデオデータ２３の解析も基地局１０に集中している。他の実施形態では、記録装置１において部分的に又は完全に実行されてよく、付随的に、解析結果は最初ステップ２１で得られ、且つ、基地局１０でのオーディオ及びビデオデータの解析ステップ２４及び２８のみが概して省略される。

ビデオデータ２３を解析するステップ２８は、記録されたビデオ／照明パターンからの照明特性の導出を伴う。レンズ４は概して記録の間上方に向けられているので、解析は、物体が大部分はビデオデータ２３に存在していないとする。そうでない場合は、物体を認識して削除するビデオ処理が実行されてよい。

解析の１つの態様は、ビデオフレームにおける支配的な色の決定を伴う。ビデオフレームから支配的な色を抽出する方法は、適切な色空間における３次元の色ヒストグラムを生成することである。このヒストグラムにおいては、極大値が検出される。その後、極大値のピーク幅が決定されてよい。この幅に従ってピーク下の領域における積分されたヒストグラム値は、ビデオフレームにおける色の優勢を示す。その大きさは、色を順位付けするために用いられ、最も支配的な色が決定されることを可能にする。更なる事後処理は、結果に対する何らかのチェックが行われることを可能にする。例えば、支配的な色が背景照明の色であることを確かにするよう、肌色は捨てられてよい。激しい効果が望まれる場合は、飽和色のみが考慮されてよい。

このステップ２８で行われる解析の更なる態様は、ビデオフレームにおける色スポットの形状を決定することを伴う。抽出された支配的な色及びヒストグラムにおけるそれらの広がりを用いて、ビデオフレームは、個々の色スポットにセグメント化されてよい。すなわち、背景−前景分離が行われる。関連した成分分析が、別々にラベルを付されたブロブ（blob）を得るよう、セグメント化された画像に対して行われる。次いで、それらは、例えば、ブロブの重心の位置、ブロブの長軸及び／又は短軸の長さ、位置若しくは向き、ブロブの位置付け、及び／又はブロブの偏心を決定するために、幾何学的に解析される。更に、ブロブの空間分布及び／又はブロブの特徴が決定されてよい。これらの全ての解析は、例えば、ある所定の色及び／又は支配色を有する色の組の夫々について別々に行われてよい。

このステップ２８で行われるビデオデータ２３の解析の更なる態様は、記録インターバルの少なくとも一部に対応する時間のインターバルにわたるビデオデータの少なくとも１つの特性の時間的推移の解析を伴う。

具体的に、色の明るさの変化が追跡されてよい。変化の周波数は、照明パターンの１つの特性である。

クロミナンスの変化も時間とともに追跡されてよい。一例としてＹＵ’Ｖ’色空間を用いると、新たに検出される（Ｕ’，Ｖ’）点は、近くの（Ｕ’，Ｖ’）点に結び付けられてよい。記録装置１が固定されているとすると、又は、記録装置１の動きが適切なビデオ処理によって補償されているとすると、空間情報は、照明効果のダイナミクスの少なくとも１つの特性を決定するために使用されてよい。例えば、特定の色の重心の位置が追跡されてよい。代替的に、又は更に、時間にわたるスポット形状又はスポット分布の変化が特徴付けられてよい。例えば、解析は、スポットがより長くなっていること又はスポットが結合していることを検出するために使用されてよい。更に、色領域の重心の位置の移動が決定されて定量化されてよい。これは、ビデオデータ２３が記録しているイベントの開催場所での光ビームの移動の近似を提供する。ビームスポットの軌跡の形状及び軌跡に沿った移動の速度又は周波数は、照明パターンの有用な特性である。

次のステップ２９で、記録されたオーディオデータ２２と記録されたビデオデータ２３との間の依存関係が、概して時間にわたって、決定される。このステップ２９は、例えば、音楽のビートと照明信号における時間周波数との間の関係を決定することを伴う。更に、音楽のジャンルが、照明のタイプ（例えば、輝度の変化、全体的な輝度等）に結び付けられてよい。音楽のジャンル及び周波数は、プレイリスト２７内の音楽に関連付けられているメタデータに基づいて決定されてよく、又は音響信号自体を解析することによって導出されてよい。マッピングステップ２９は、基地局１０に含まれる照明制御システムのための設定を表すデータ３０の組を生じさせる。設定を表すデータ３０は、記録されたビデオデータ２３のみを解析すること（ステップ２８）によって決定されるデータを更に含む。

イベントでの雰囲気と同様の雰囲気を作り出すよう、プレイリスト２７が再生される（ステップ３１）。現在再生されているオーディオトラックの少なくとも１つのオーディオ特性を表す信号３２が取得される（ステップ３３）。このデータ３２は、イベントの記録の解析に基づいて生成された設定を表すデータ３０を用いて、更なる没入効果を生成するよう装置１９を制御するためのデータ及び照明制御データを生成するために用いられる（ステップ３４）。このようにして、プレイリスト２７上のオーディオトラックの再生の間に照明装置１４ａ〜ｎによって生成される照明効果は、記録されたオーディオデータ２２とは無関係に記録されたビデオデータ２３を解析することによって決定される照明パターンと一致するとともに、それらは、イベントでの照明と音楽との間の関係と一致する。また、それらは、実際に再生されているオーディオトラックに適応するが、一般的に、イベント開催地で録音された音楽とは厳密には対応していない。具体的に、照明パターンは、実際にレンダリングされるオーディオトラックのビート、リズム及びフローに適合する。結果として、基地局１０の制御下で生成される照明パターンは、それらが基づいているイベントの照明パターンと同じでないにしても類似している。それらは、いずれの場合にも、記録装置１から得られる記録よりも長い存続時間を有する。特定の実施形態では、ランダム変動が照明パターンに加えられ、繰り返しの可能性を更に一層減らす。

上記実施形態は本発明を限定するのではなく例示しており、当業者は添付の特許請求の範囲の適用範囲から逸脱することなく多くの代替の実施形態を設計することができることに留意すべきである。特許請求の範囲において、括弧内の如何なる参照符号も、請求項を限定するよう解されるべきではない。語「有する（comprising）」は、請求項に挙げられた以外の要素又はステップの存在を排除しない。要素の前の語「１つの（a又はan）」は、そのような要素の複数個の存在を排除しない。特定の手段が相互に異なる請求項で挙げられている単なる事実は、それらの手段の組合せが有利に使用され得ないことを示すわけではない。

代替の実施形態で、記録装置１は、他の装置（例えば、携帯電話機またはポータブルメディアプレーヤー等）に含まれて、又はそれらに接続される。更なる代替案で、イベントの少なくともインターバルの記録は、記録装置１から基地局１０へネットワークリンクを介して伝送される。更なる代替案で、解析ステップ２８及び２９は、環境システムのためのスクリプトを生成するために使用される。第２のモダリティとしての音響の例は先に使用されたが、映像が代わりに用いられてよい。具体的に、音楽分類ステップ２４の結果は、イベントでの録音された音楽の特性に整合するオーディオビジュアルコンテンツ項目を取り出すために使用されてよい。

本発明は、イベントの、特にディスコパーティやコンサートの音響及び照明パターンを再現するようレンダリングシステムを制御するデータを生成する方法、そのようなレンダリングシステムを制御するデータを生成するシステム、及びコンピュータプログラムに関する。

これは、本発明に従う、レンダリングシステムを制御するデータを生成する方法であって：
イベントの開催場所でマイクロフォン及び画像センサにより取得される捕捉データを断続的に記録することによって、イベントの少なくともインターバルの記録を表す、オーディオデータ及びビデオデータを含むデータを取得するステップ；
ボリューム、拍、テンポ又はビートを含む、前記オーディオデータを特徴付けるパラメータの少なくとも１つと、支配的な色、色スポットの形状、色の明るさ又は色のクロミナンスを含む、前記ビデオデータを特徴付けるパラメータの少なくとも１つとの間の少なくとも依存関係を決定するよう前記データを解析するステップ；
前記オーディオデータのパラメータと同じパラメータによって特徴付けられるオーディオトラックのプレイリストをコンパイルするよう、前記オーディオデータを特徴付ける前記少なくとも１つのパラメータを用いるステップ；
照明パターンを生成する照明装置を制御するデータを生成するよう、少なくとも前記依存関係及び前記オーディオトラックのパラメータを用いるステップ；及び
前記オーディオトラックのプレイリスト及び前記照明パターンをレンダリングするステップ
を有する方法によって達成される。

他の態様に従って、本発明に従う、レンダリングシステムを制御するデータを生成するシステムは：
イベントの開催場所でマイクロフォン及び画像センサにより取得される捕捉データを断続的に記録することによって、イベントの少なくともインターバルの記録を表す、オーディオデータ及びビデオデータを含むデータを取得するインターフェース；
ボリューム、拍、テンポ又はビートを含む、前記オーディオデータを特徴付けるパラメータの少なくとも１つと、支配的な色、色スポットの形状、色の明るさ又は色のクロミナンスを含む、前記ビデオデータを特徴付けるパラメータの少なくとも１つとの間の少なくとも依存関係を決定するよう前記データを解析するよう構成される解析モジュール；
前記オーディオデータのパラメータと同じパラメータによって特徴付けられるオーディオトラックのプレイリストをコンパイルするように、前記オーディオデータを特徴付ける前記少なくとも１つのパラメータを用い、且つ、照明パターンを生成する照明装置を制御するデータを生成するように、少なくとも前記依存関係及び前記オーディオトラックのパラメータを用いるよう構成される制御データ生成モジュール；並びに
前記オーディオトラックのプレイリスト及び前記照明パターンをレンダリングする音響再生装置及び前記照明装置
を有する。

Claims (12)

1. レンダリングシステムを制御するデータを生成する方法であって：
   イベントの少なくともインターバルの記録を表すデータを取得するステップであって、前記記録は、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネントを有するステップ；
   前記コンポーネントの第１及び第２のコンポーネントの間の少なくとも依存関係を決定するよう前記データを解析するステップ；及び
   少なくとも前記依存関係を用いてレンダリングシステムに設定を与え、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングするステップ
   を有する方法。
2. 前記コンポーネントの少なくとも１つは、前記イベントの開催場所で少なくとも１つのセンサを用いて得られる捕捉データを断続的に記録することによって得られる、
   請求項１に記載の方法。
3. 少なくとも前記断続的な記録は、前記イベントの開催場所で少なくとも部分的にセンサからの入力に基づいてトリガされる、
   請求項２に記載の方法。
4. 前記トリガは、前記イベントに存在する少なくとも１人の人をモニタする少なくとも１つのセンサからの入力に基づいて決定される該少なくとも１人の人の生理機能の少なくとも１つの側面に基づく、
   請求項３に記載の方法。
5. 前記記録の前記コンポーネントの少なくとも１つは、画像データを含む、
   請求項１に記載の方法。
6. 前記画像データは、広角レンズを備えたカメラにより取得される、
   請求項５に記載の方法。
7. 前記画像データは、該画像データを取得するよう少なくとも部分的に上方に向けられているレンズを備えたカメラにより取得される、
   請求項５に記載の方法。
8. 前記データを解析するステップは、前記コンポーネントの少なくとも１つを特徴付ける少なくとも１つのパラメータの値を決定するよう当該コンポーネントに対応するデータの少なくとも一部を解析するステップ，及び
   ａ）前記第２のモダリティにより認知可能な様式でレンダリングする前記少なくとも１つの信号；及び
   ｂ）前記設定に含まれるデータ
   の中から少なくとも１つを選択するために前記少なくとも１つの値を用いるステップを更に有する、
   請求項１に記載の方法。
9. 前記第２のモダリティにより認知可能な様式でレンダリングする前記信号を形成するように、特定の距離メトリックに従って前記解析されたコンポーネントのパラメータ値と同じパラメータ値によって特徴付けられるコンテンツデータ項目をコンテンツデータ項目の集合から検索するステップを更に有する、
   請求項８に記載の方法。
10. 第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングする前記レンダリングシステムを、前記設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して動作させるステップを更に有し、
    前記第２のモダリティにより認知可能な様式でレンダリングする前記少なくとも１つの信号は、レンダリングされる場合に、前記イベントの少なくともインターバルの前記記録よりも長い存続期間を有する、
    請求項１に記載の方法。
11. レンダリングシステムを制御するデータを生成するシステムであって：
    イベントの少なくともインターバルの記録を表すデータを取得し、前記記録が、それぞれ異なったモダリティを通じて取得可能な少なくとも２つのコンポーネントを有するようにするインターフェース；
    前記コンポーネントの第１及び第２のコンポーネントの間の少なくとも依存関係を決定するように前記データを解析するよう構成される解析モジュール；及び
    少なくとも前記依存関係を用いてレンダリングシステムに設定を与え、少なくとも該設定と、第２のモダリティにより認知可能な様式でレンダリングする少なくとも１つの信号とに依存して、第１のモダリティにより少なくとも１つの出力を認知可能な様式でレンダリングするよう構成される制御データ生成モジュール
    を有するシステム。
12. 機械読取可能な媒体に組み込まれる場合に、情報処理機能を有するシステムに、請求項１乃至１０のうちいずれか一項に記載の方法を実行させることが可能な命令の組を有するコンピュータプログラム。

Images