JP2009543150A - マルチメディアシーケンスを自動的又は半自動的に合成するための方法及び装置 - Google Patents

Abstract

本発明による方法は，基準マルチメディアシーケンス構造を合成し，この構造を各々が一連の基本サブコンポーネント（ブリック

）を含む基本コンポーネント（トラックＰ_１，Ｐ_２，Ｐ_ｎ）に分割し，複数の同属サブコンポーネント（同属ブリック

）の基本サブコンポーネントの各々に属性が割り当てられたサブコンポーネントの各々を関連付けること，更にサブコンポーネントを維持すること，又はこれらを，選択されるサブコンポーネントの確率を決定するアルゴリズムによりアルゴリズム的に選択され，更に属性を考慮しながらこれらの確率において任意抽出を実行することにより選択された同属サブコンポーネントに交換することを含む新しいマルチメディアシーケンスの自動合成段階を含む。

Description

発明の詳細な説明

本発明は，既存の，又は状況に応じて合成された基準マルチメディアシーケンス構造を使用して，マルチメディアシーケンス（より好ましくは主に音声）をリアルタイムで自動的又は半自動的に合成するための方法及び装置に関する。

既存のマルチメディア素材を使用してマルチメディアシーケンスを生成するための多くの解決策がすでに提案されていることは一般的に知られている。

一例として，欧州特許第０ ８５７ ３４３ Ｂ１号には，導入装置，コンピュータに接続された一又は複数の記録媒体，リズム発生器，音程実行プログラム，及び音源を含む電子音楽発生器が開示されている。単独で曲を作り演奏を行いたい使用者がその電子音楽発生器を操作すると，導入装置は入力リズム信号と音程信号を生成する。記録媒体は，様々な伴奏トラックを有しており，使用者はそれらを重ね合わせることによりトラック上で独奏パートや，各々が少なくとも音符が演奏される瞬間における少なくとも一つの音符を定義する様々なリズムブロックを作成したり演奏したりすることができる。記録媒体は，一定の経過時間にわたり使用者により作成された独奏部の少なくとも一つの部分を記録する。リズム発生器は，導入装置により発生されたリズム信号を受け取り，前記信号により記録媒体内のリズムブロックの一つを選択し，選択されたリズムブロックにより定義された音符を即時演奏するためのコマンドを発生する。音程実行プログラムは，導入装置により発生された音程信号を受け取り，前記信号による適切な音程，使用者により選択された伴奏トラック，及び記録された独奏部を選択する。その結果，音程実行プログラムは適切な音程を作成する。リズム発生器から受け取った命令，音程実行プログラムからの音程，また使用者により選択された伴奏トラックの表示を有する音源は，使用者により作成された独奏パート及び選択された伴奏トラックの音声信号を生成する。

更に，欧州特許第１ ３２６ ２２８号では，特定の使用者の好みに合う音楽を得るために双方向操作形式で楽曲を変更できる方法が開示されている。この方法では特に，音楽の規則が，使用者により変更できる音楽データに適用される，歌のデータ構造の介入を採用する。

実際，前述の解決方法は，主に，ハードコードされたデジタル音楽ファイルフォーマットに関連付けられている連続プロセスに従って，分離している音楽シーケンスを変更することにある。

本発明は，制作者により定義された音楽空間内でマルチメディアシーケンスの合成を可能にする方法を有しており，聴取者は双方向操作式ツールを利用することにより操作を行うことができる。

その趣旨で，本発明は，基準マルチメディアシーケンス構造を作成し，前記構造をトラック（Ｐ_１，Ｐ_２，Ｐ_ｎ）に利用できる基本コンポーネントに分割し，かつこれらの基本コンポーネントの各々が，楽章，和声，又はスタイルを構成することができる一組の基本サブコンポーネント（すなわちブリック(bricks）

）に分割される事前段階，ならびにサブコンポーネントの選択を含む新しいマルチメディアシーケンスのリアルタイムの自動合成段階を含む，マルチメディアシーケンスのリアルタイムでの自動的又は半自動的な合成の方法を提唱している。

本発明によれば，この方法は，事前段階が心理音響記述子又は属性をサブコンポーネントの各々に割り当てること，及びサブコンポーネント及びそれらに割り当てられた記述子又は属性をデータベースに保存することを含み，更に自動合成段階がサブコンポーネントのシーケンスを基本コンポーネント上で発生することを含み，ここでサブコンポーネントの保持又は交換により特徴付けられる連鎖法(chaining)は，各サブコンポーネントに対し心理音響記述子又は属性及び状況パラメータを考慮した選択基準を決定するアルゴリズムによって計算され，前記合成段階をループして繰り返し，各シーケンスはサブコンポーネントを各基本コンポーネントに割り当てることにより永久にそれを再生し，聴取者は前記アルゴリズムの操作に影響を及ぼすことによりサブコンポーネントの選択にリアルタイムで介入できることを特徴とする。

本発明はしたがって，使用者の操作に従ってマルチメディアシーケンスを（最初の１回だけではなく）リアルタイムで発生することを可能にする。この発生は，ループ機能（自然停止なし）により無制限に繰り返すことができ，シーケンスはデータベース内でアルゴリズム的に選択されたサブコンポーネントを割り当てることによりそれ自身を永久に再生し，使用者はアルゴリズムの操作に影響を及ぼすことによりサブコンポーネントの選択のレベルで介入することができる。

前述の方法は，これらのサブコンポーネントの各々及び割り当てられた属性の各々に対する，データベース内に保存されているファイルに含まれる複数の同種のサブコンポーネント（又は同種のブリック）の関連付けを含むことができる。自動合成段階は，次に，サブコンポーネントを同種のサブコンポーネントに交換すること及び属性を考慮しながら同種のサブコンポーネントの各々を決定すること（基本サブコンポーネントの場合，このサブコンポーネントが選択される確率と同じ）を含む。

前述のとおり，アルゴリズムは確率計算(probability calculation)に基づく。このアルゴリズムは，各サブコンポーネントが選択される確率を決定し，これらの確率に応じて任意抽出を実行する。

確率は，サブコンポーネントの内容と無関係な規則（例えば非音楽規則）を適用することにより計算することができる。これらの規則ではサブコンポーネントの選択が他のコンポーネントの規則に影響を及ぼすことを考慮することができる。また，ある規則では，例えば，前回の選択によって，あるコンポーネントを選択する可能性を変更することを含む。

したがって，シーケンス，例えば音楽シーケンスは，本発明による方法によって，次の項目について介入することができる。
− コンポーネント（又はトラック）数Ｎ，
− これらの基本コンポーネント（又はブリック）及び一組のサブコンポーネント（例えば，音楽ブリック）のそれぞれ，
− サブコンポーネント（ブリック）の選択がサブシーケンスの選択にどのように影響を及ぼすかを定義する一組の規則，
− 使用者が上述の規則を有効又は無効にすることを可能にする双方向操作型キーを入力する手段。

基本コンポーネント（トラック）は，作動状態又は非作動状態（一時停止）にすることができる。この状態は，サブコンポーネントの事前選択又は同時選択により定義される。

本発明による方法によって実行された選択では，最大確率（したがって非無作為選択）から利益を得るサブコンポーネントを伴う可能性がある。

前記規則は，重要度又は優先順位により特徴付けられることがある。この場合，２つの規則が矛盾する場合，サブコンポーネントの選択が常に可能（ゼロ以外の確率を有する少なくとも一つのブリック）になるような方法で，より重要度が低い方が瞬時に削除される。

サブコンポーネント（ブリック）選択のアルゴリズムは，音楽の他のパラメータ，すなわち，トラックの音量，繰り返しの程度，エコー係数などを選択することを可能にするために一般化されることがある。

更に，サブコンポーネント選択アルゴリズムは，音楽以外のコンテンツの種類（ビデオシーケンス，テキストなどの選択）に対して一般化されることがある。

前記手段により，本発明では，本発明の方法により合成された単一のファイルを使用して，可変性が大きく，無制限に作り変えることができる楽曲を作ることができる。

コンピュータ技術は，ここでは再生の手段としてだけではなく，音楽との双方向操作の手段として介在している。このことは，発生する音楽の質に関して，音楽の創作段階が常に重要でかつ絶対的な基本であるという意味で，自動音楽とは無関係である。

しかしながら，作曲者の作業は，本発明の実施により，大幅に変更される。これには，聴取者が双方向操作型ツールを使用してナビゲートされる音楽空間を作曲者が定義することが含まれる。

より詳細には，本発明による方法は，次の工程を含む。
− フィルタの適用又は音楽シーケンスの処理による，所定の音楽シーケンスを使用した一連の音楽ブリックから構成されるトラックを作成する工程，
− 作成されたブリックとの整合性により選択された既存のブリック及びそれによって作成されたブリックを含む音楽ブリックの基部を作成する工程，
− 心理音響記述子の名称を定義する工程，
− 各組（ブリックと記述子）のスコアを定義する表を作成する工程，
− 固有の双方向操作の重みによってミキシングインタフェースを介して使用者が双方向に操作できる記述子のサブセットを定義する工程，
− 各関数は任意のトラックにリンクし，各関数は状況パラメータを有する候補となるブリック（演奏されたばかりのブリック，現在他のトラック上で演奏されているブリック，使用者により定義された双方向操作の重み）に適用され，かつ候補となるブリックの適切性の結果を有する複数のミキシング関数のリストを作成する工程，
− ミキシング関数の結果が最大となるための候補となるブリックを選択する工程。

本発明の実施形態を，一例として添付図面を参照して以下に説明するが，これらの例に限定されるものではない。

本発明の方法に適用される動作原理を示す外観図。 本発明の方法による，既存の音楽のコード化過程の原理を示す矢線図。 本発明による方法で実装された実行プログラム（プレイヤ）の一般的な操作を示す矢線図。

図１に示す例では，本発明による方法はｎ個のトラックＰ_１，Ｐ_２，…，Ｐ_ｎに分解された基準マルチメディアシーケンスを使用している。

各トラックは，次の様に連続したサブコンポーネント又は基準ブリックを含む。
− トラックＰ_１は，連続したブリック

などを含む。
− トラックＰ_２は，連続したブリック

などを含む。
− トラックＰ_ｎは，連続したブリック

などを含む。

各トラックの基準ブロックは各々，次のように一連の同属ブリックに関連付けられる。
− ブリック

は，同属ブリック

に関連付けられ，
− ブリック

は，同属ブリック

に関連付けられ
− ブリック

は，同属ブリック

に関連付けられ
− ブリック

は，同属ブリック

に関連付けられる。

言うまでもなく，本発明はトラック，基準ブリック又は同属ブリックの数については制限していない。更に，トラック，基準ブリック，及び同属ブリックに関連したデータはファイル又はデータベースＢ_１ａ，Ｂ_１ｂ，Ｂ_２ａ，Ｂ_２ｂ，Ｂ_ｎ１，Ｂ_ｎ２，Ｂ_ｎ３，Ｂ_ｎ４に保存される。

これらのファイル又はデータベースは，以下“エキスパートシステム”と称するコンピュータシステムＳＥにより使用され，このエキスパートシステムは仮想ミキシングコンソールの機能を提供するように設定され，次の要素を含む。
− 規則の基底（ＢＲ），
− 様々なファイルＢ_１ａ，Ｂ_１ｂ，Ｂ_２ａ，Ｂ_２ｂ，Ｂ_ｎ１，Ｂ_ｎ２，Ｂ_ｎ３，Ｂ_ｎ４内にあるブリック（基準又は同属）の選択手段Ｓ_１，
− 基準トラックＰ_１，Ｐ_２，Ｐ_ｎの状態Ｅ_１，Ｅ_２，Ｅ_ｎを検出するための手段，
− 使用者に多様な双方向操作の可能性を提供する制御ボタンＢ及び／又はカーソルＣ，
− それぞれが選択されたブリックを含む新しい仮想トラックＰ’_１，Ｐ’_２，Ｐ’_ｎを有する新しいマルチメディアシーケンスをリアルタイムで合成するための計算手段ＣＡ。

この新しいマルチメディアシーケンスは，メモリＭ_１に一時的に記憶したり，生成時にリアルタイムで演奏したりすることができる。
− 新しいトラックＰ’_１，Ｐ’_２，Ｐ’_ｎの状態を制御する手段ＣＯ，
− 必要な処理の後に，選択されたブリックを適切なマルチメディアインタフェースＩ_１からＩ_２，例えばラウドスピーカーのエンクロージャー，ディスプレイ，光源などに伝送するために設計されたルーティングステーションＡ。

この例では，選択装置Ｓ_１を介して，以前に選択されたブリック

によってブリック

を選択し，そのブリックをトラックＰ’_ｎに統合する様子を示している。

任意の持続時間を有するトラックＰ’_１，Ｐ’_２，Ｐ’_ｎにより示されている基準のマルチメディアシーケンス構造は，以下“曲(piece)”と称する。曲は，曲を合成する工程，ファイル作成工程，及びファイルを再生し対応する曲を実行する工程を経て得られる。

曲を合成する工程は，次の要素の定義を含む。
− 音声／テキスト／ビデオなどのトラックの識別による，曲の仮想ミキシングコンソールの構造，及び使用者に提供される双方向操作型の制御装置（カーソルＣ又はボタンＢ）の識別による，これらのトラックの各々のための特定の属性（例えば，音声トラックの音量），
− 音声トラックのサンプル，曲のスタイル及び楽節，及び通常これらの要素が双方向操作により発展する方法，及び双方向操作型ボタンがこの構造に影響する方法の識別による曲の双方向操作構造，
− 音楽の抜粋，ビデオの抜粋，３Ｄアニメーション，テキスト，音声，及びビデオフィルタなどから構成される基本マルチメディアコンポーネント，すなわち“ブリック(or bricks)”。各ブリックは有限な持続時間の時系列及び様々なマルチメディアイベントのコーディングとして理解される。

この双方向操作構造は次のいずれかにより定義することができる。
− 構造モデル，例えば，音楽様式，音楽パッセージ（例えばリフレイン／ヴァース），音声トラック，“オリジナル曲”のトラック，及び複数の伴奏トラックなどの使用，
− 曲の構造の直接操作。

ファイルは，前述の構成要素及び，特に基本マルチメディアコンポーネント（ブリック）を含む又は参照する。ファイルは，上述した曲の合成段階を実行するためにシステムエキスパート型のコンピュータシステムにより使用されるように設計されている。

各マルチメディアコンポーネントのコンテンツの符号化フォーマットは，ハードコード化されていない。したがって，例えば音声に対しては，Ｗｉｎｄｏｗｓオーディオ／ビデオファイル拡張子（登録商標），ｗａｖ（登録商標），ｍｐ３標準（登録商標），又はエキスパートシステムが認識できるいずれかのフォーマットを使用することができる。

エキスパートシステムＳＥは，ファイルを読み取り，対応する曲を実行することができるソフトウェアから構成されている。このソフトウェアは，ファイルに含まれているか，又はファイルにより参照されるマルチメディアコンポーネント（ブリック）を解釈することができる。

エキスパートシステムは，使用者に頼ることなく，自動で双方向操作型制御装置（ボタン）を扱うことができるが，通常は使用者に双方向操作型インタフェースを提供する。更に，エキスパートシステムは，ある曲から別の曲への切り替えを可能にする。

エキスパートシステムにより実行される機能は，次の特徴を有する仮想ミキシングコンソールの操作として提供される。
− 無限になる可能性のあるトラック数，
− 独立して作動状態又は非作動状態にできるトラック，
− 音声，ビデオ，テキスト，雰囲気，抽象制御などの多様な種類のトラック，
− 無限になる可能性のある双方向操作型カーソルの数，
− 音声トラックのための音声ブリックなど，トラックの種類と互換性のあるサブコンポーネントと共に連繋する，作動状態になった各トラック，
− サブコンポーネントがあるトラックに対して選択されたとき，エキスパートシステムはまた，このサブコンポーネントが保持されている間，最小の持続時間を選択する。

このミキシングコンソールは構成することができる。そのため，例えば，音声トラックに対して，考慮されている情報は，再生する音声コンポーネント，音量，コンポーネントのための最小再生時間を含むことができる。表示の場合，考慮されている情報は，例えば，表示するテキスト要素，使用する文字フォントなどを含むことができる。

構造上，エキスパートシステムは，互いに異なる２つの部分を含む。
− 規則の基底による制約を実行し，多様な性質のサブコンポーネントの選択を提供する抽出エンジン(abstract engine)，
− 選択された要素を使用して双方向操作型インタフェースを発生させるミキシングコンソールのモデル。

エキスパートシステムにより実行された計算は，次の条件及び計算規則に基づく。

ａ）空間，システム，及び状態の概念
空間はシステム“Ｓ”から構成され，各システムは状態“Ｅ”のベクトルである。そのため，例えば，
− トラックは，状態Ｅが音楽ブリックであるシステムＳである，
− 一連の和声は，状態がその和声であるシステムである。

常に，システムＳは，停止しているかあるいは状態Ｅである。後者の場合には，状態Ｅは，アクティブであると考えられ，Ｅ(Ｓ)と表わされる。

システムは，非対称性の“γ”相関及び“τ”相関により双方向に操作する。

Ｓ’γＳ：Ｓの状態がＳ’の状態に依存していることを意味する。相関γの循環は認められていない。すなわち，Ｓ₁γＳ₂γ…Ｓ_nγＳ₁は不可能である。

Ｓ’τＳ：Ｓの状態が“以前の”Ｓ’の状態に依存していることを意味する。システムＳの以前の状態は，Ｅ’（Ｓ）と表される。τ相関は再帰的であり得る。

γ相関又はτ相関及びシステムは，α相関により状態に関連付けることができる。
ＥαＳ：Ｅが非アクティブの場合，Ｓは停止。
Ｅαγ：Ｅが非アクティブの場合，γは停止。
停止された相関はすべての影響を失う。

２つのシステムＳ及びＳ’がγ相関又はτ相関にあるとき，Ｓの状態に対するＳ’の状態の確率マトリクスが定義される。そのため，式ａγ_ｐｂは，Ｓ’の状態ａが確率ｐでＳの状態ｂをもたらすことを表すために書かれる。この寄与率は，また，ｐｓ_’γＳ（ａ，ｂ）と表され，あいまい度の可能性がない場合は，ｐ（ａ，ｂ）に等しい。この寄与率は，正の実数（場合によりゼロ）である。

停止システムは，γ相関又はτ相関により影響を与え続ける可能性がある。確率マトリクスはソースシステムの“停止”状態まで拡張される。

ここで注意すべき点は，一つの状態のみを有しα相関がないシステムは，後者のみをアクティブにできることである。この状態は常に既知のため，“完全制約システム”である。

制約は，システムを強制的にある状態にする方法として定義されている。

ここで注意すべき点は，τ相関はしたがって，次の制約のもとではγ相関と等しいということである。ＳτＳ’は次のものと置き換えられる。
− Ｓ（すなわち同じ状態を有する）に一致するシステムＳ_prev
− 相関τと同じマトリクスの相関Ｓ_prevγＳ’
− 制約Ｅ（Ｓ_prev）＝Ｅ’（Ｓ）

更に，ここで注意すべき点は，完全制約システムと制約されるシステム間のγ相関として，制約がより一般的に見られるということである。この相関のためのマトリクスは，したがって，１を除くすべての係数が０であるベクトルに縮小される。

制約は相反することがあるので，それらに重要度を割り当てることにより順序付けられなければならない。このため，重要度のレベルは，制約と同様にγ相関及びτ相関にも割り当てられる。

この重要度のレベルは，γ相関に対しては無限になる可能性があるが，τ相関及び制約に対しては有限でなければならない。これは，次の事実により正しいことが証明される。
− 所定の状態において，空間を維持することができなくてはならないが，それはτ相関を固定する必要がありうる，
− 適用される制約は，要求どおりに考慮されなければならない。

ｂ)解決（又は減少）の概念
ｂ_１：解決空間及び自由に計算できる空間
システムＳの減少は，その状態の各々の確率を決定すること，次にこれらの確率を考慮した任意抽出を行うことにある。この選択は，システムＳの状態を決定する。

正規化前のＳの状態ｂの確率は，次の式で表される。
ｐ（ｂ）＝Π_Ｓ’γＳｐ（Ｅ（Ｓ’），ｂ）．Π_Ｓ’τＳｐ（Ｅ’（Ｓ’），ｂ）

この確率は，非停止γ相関又は非停止τ相関を基に計算される。

Ｓの状態ｂの正規化された確率は，次の式で表される。
ｐ（ｂ）＝ｐ（ｂ）／Σ_ａεＳｐ（ａ）

この確率は，序数内にある和がゼロでない場合にのみ存在し，言い換えれば，正規化前にゼロではない確率を有する少なくとも一つの状態が存在する。

空間の解決は，可能性のある相関が満足するような方法で，すべてのシステム状態を決定することにある。

空間は，無限の重要度が考慮されることによってのみ解決が存在する場合，“自由に計算可能”である。

本明細書の残りの部分では“自由に計算可能”な空間のみを対象とする。

ｂ₂：制約下での解決
制約下での解決は，いくつかのシステムの状態を抑制することにある。

制約は常にＥ(Ｓ)＝ｂを呈することにある。

制約は，重要度の基準と関連があり，これによって，全体の順序が決定する（この重要度の概念は混合計算(mixing calculation)を使用する用途によって決定する）。

制約のもとでの解決は，すべての関係及びすべての制約が遵守されるような方法で，有限な重要度の関係を含むすべてのシステムの状態を決定することにある。

ｂ₃：制約下での低い解決
低い解決は，少数の制約又は相関を排除すること及び次の規則を適用することにより解決法を特定することにある。制約下での解決が失敗した場合，失敗を引き起こしたすべての制約又は相関が特定され，重要度が低い制約又は相関が抑制され，解決が再び開始される。

“自由に計算可能”な空間が，常に粗雑な方法で決定されるのは明らかである。最悪の場合，自由に計算できる空間は，有限の重要度のすべての制約及び相関を抑制することにより決定される場合がある。

ｂ₄：システム及び演算相関
演算システム(arithmetical systems)は，その状態が実数である特定のシステムとして定義され，Ｓ_a..と表される。これらは，したがって，状態が有限の数で，実数の範囲に一致しているシステムである。

演算相関は定義される。システムＳ_１，Ｓ_２，…，Ｓ_ｎとシステムＳ間のγ相関及びτ相関を定義する代わりに，これらの相関はシステムＳ_１，Ｓ_２，…，Ｓ_ｎとシステムＳ間の演算表現で表される。

この表現は，システムＳ_１，Ｓ_２，…，Ｓ_ｎの現在又は過去の状態を基にしており，アクティブ状態Ｓを提供する。

システムが演算式の場合，その状態は実数（システムが抑制されている場合は慣例により０）である。

例えば，
Ｓ：＝if（Ｅ（Ｓ_１）＋Ｅ’（Ｓ_２））＝０ then ａ else ｂ
Ｓ：＝１＋if Ｅ（Ｓ_１）＝ａ_１ then ０ else １
（ここでａ及びｂはＳの状態，ａ₁はＳ₁の状態，Ｅ’（Ｓ₂）はＳ₂の以前の状態を表す）。

基本コマンド(primitives)は，次のとおりである。
− ＋，＊，−，／，％，＆，｜，＆＆，｜｜，∧，！，〜
− if…then…else
− rand（０と１の間の実数を返す）
− sin,cos,tan,…

その結果，システムＳは，演算解決を有するとされる。逆の場合，システムＳは量子解決を有する。

空間の解決に関して直前の検討が有効のままであるような，量子解決の中に演算解決が含まれることが分かっている。

解決の複雑さを適正な制限内で維持するためには，次の制限が定められる。
− 演算システムは常に演算解決を有する。そうでなければ，量子相関マトリクスは無限のサイズを有することになる。
− 制約は演算解決に依存するシステムに適用することはできない。なぜなら，それは結果的に任意の演算関数の逆数の計算になる可能性があるためである。
−− このシステムは，演算解決を有さない。
−− このシステムは，直接間接を問わず，演算解決を有するシステムに依存しない。

この制約は，ある場合においては，減少した複雑度を超え得ることがあり，これは量子解決として導入するには冗長である。
例えば，Ｓ＝if Ｅ（Ｓ’）！＝Ｅ’（Ｓ’）then ａ else ｂ。

ｂ_５：量子解決計算の例
慣例により，確率寄与率が指定されていない場合，それらは１の値を有すると見なされる。
“否定(Not)”演算子
定義：
ＳγＳ’
Ｓ＝｛ａ，ｂ｝
Ｓ’＝｛ａ’，ｂ’｝
Ｐ（ａ，ａ’）＝（ｂ，ｂ’）＝０
したがって，ａ≡ａ’≡真，及びｂ≡ｂ’≡偽を考慮して，
Ｅ（Ｓ’）＝！Ｅ（Ｓ）
Ｅ（Ｓ）＝ａ⇔Ｅ（Ｓ’）＝ｂ’
Ｅ（Ｓ）＝ｂ⇔Ｅ（Ｓ’）＝ａ’

“否定論理積(Nand)”演算子
定義：
Ｓ_１γＳ’
Ｓ_２γＳ’
Ｓ’γＳ
Ｓ_１＝｛ａ_１，ｂ_１｝
Ｓ_２＝｛ａ_２，ｂ_２｝
Ｓ’＝｛ａ_１ａ_２，ａ_１ｂ_２，ｂ_１ａ_２，ｂ_１ｂ_２｝
Ｓ＝｛ａ，ｂ｝
ｐ（ａ_１，ｂ_１ａ_２）＝ｐ（ａ_１，ｂ_１ｂ_２）＝０
ｐ（ｂ_１，ａ_１ａ_２）＝ｐ（ｂ_１，ａ_１ｂ_２）＝０
ｐ（ａ_２，ａ_１ｂ_２）＝ｐ（ａ_２，ｂ_１ｂ_２）＝０
ｐ（ｂ_２，ａ_１ａ_２）＝ｐ（ｂ_２，ｂ_１ａ_２）＝０
ｐ（ａ_１ａ_２，ａ）＝０
ｐ（ａ_１ｂ_２，ｂ）＝０
ｐ（ｂ_１ａ_２，ｂ）＝０
ｐ（ｂ_１ｂ_２，ｂ）＝０
したがって，ａ_１≡ａ_２≡ａ’≡真，及びｂ_１≡ｂ_２≡ｂ’≡偽を考慮して，
Ｅ（Ｓ）＝！Ｅ（Ｓ_１）∧Ｅ（Ｓ_２）

発振器
定義：
ＳτＳ
Ｓ＝｛ａ，ｂ｝
ｐ（ａ，ａ）＝ｐ（ｂ，ｂ）＝０
したがって，新しい解決のそれぞれにおいてシステムＳは状態を変える。

ロム(Rom)
定義：
Ｓ＝｛ａ｝
システムＳは常に状態ａを有する。

無効(Disable)
定義：
Ｓ＝｛ａ｝
Ｓ’＝｛有効，無効｝
ＳγＳ’
ｐ（ａ，有効）＝１
ｐ（ａ，無効）＝０
したがって，有効状態は常にアクティブで，無効状態は決してアクティブではない。

マルコフ連鎖
定義：
ＳτＳ
Ｓ＝｛ａ，ｂ，ｃ｝
ｐ（ａ，ｃ）＝０
ｐ（ｂ，ａ）＝０
ｐ（ｃ，ａ）＝０

Ｓの初期状態はａであると仮定する。

その結果，システムはある期間状態ａのままで，次に状態ｂに切り替わり，その後，状態ｂと状態ｃの間で無限に発展し，決して状態ａには戻らない。

ｂ_６：制約下での低い解決アルゴリズム
制約下での解決の場合，一組の制約（Ｓ，ｂ，ｎ）が提供される。すなわち，システムＳは状態ｂに制約され，重要度ｎを有する。

アルゴリズムは，次のとおりである。
− 準備：
−− 制約は，それらのシステムに関連付けられる。複数の制約が同じシステムに適用される場合，より重要度の高い制約が保持される
−− 複数のシステムが“未解決の”状態に初期化される
− 次に，再帰的に解決できるシステムが選択される：
−− このシステムはまだ解決されていない
−− このシステムのα相関はシステムが解決される状態をもたらす
−− このシステムが量子解決を有する場合：
−− すべての入力相関は既知の状態（停止又は非停止）になり
−− 入力非停止γ相関は解決源を有する
−− システムが演算解決を有する場合は：
−− 演算相関を使用しているすべてのシステムは解決される
−− ヒューリステック：最初に，演算解決のシステムＳに関心が与えられ，続いて，最小の状態を有する量子解決のシステムに関心が与えられる
− システムが停止しているかどうかが決定され，もしそうなら，システムは“停止”状態に置かれることで解決され，この状態は再帰的に持続する
− そうでなければ，演算解決において：
−− 演算表現が評価され，それにより新しい状態が指定され
−− これは再帰的に解決される
− そうでなければ，量子解決において：
−− システムの非停止状態の確率が計算される
−− すべての状態が起こりえない場合，又はシステムが起こりえない状態に制約される場合，このシステムの解決は機能しなくなり，その結果，候補状態が欠如する
−− 確率に対してドローイングが実行され，続いて，最良のスコアが得られた一つによりその状態の開始が試みられる
−− ある状態が選択され，再帰的に解決される
−− 再帰的な解決が失敗した場合，次の状態に進む
−− すべての状態が起こりえない場合，解決は失敗する

そのため，失敗の場合，失敗が発生した最後のシステム（候補状態の欠如した，失敗した最後のシステム）に注目する。次に，このシステムにつながるα相関，γ相関，及びτ相関のツリーに沿って逆行し，この失敗の原因となった有限の重要度の制約と相関のリストが決定される。より重要度の低い制約と相関は，それから停止され，解決が再び開始される。

空間は自由に計算できるので，最悪の場合に，すべての制約及び有限の重要度の相関を取り除くことによる解決が常に存在する。

もちろん，前述の概念及び規則は，エキスパートシステムにより実行される機能の特異性に適応させなければならない。

そのため，第一に，最初の評価期間に適用される初期制約リスト（場合により空）を定義することが適切である。

いくつかのシステムは，“マスター”として定義され，このことは任意のシステムが少なくとも一つのマスターシステム（場合によりそれ自身）に対応していることとして理解される。

マスターシステムは，それらのスレーブシステムのために，次の解決の時間を定義する。

マスターシステムの各状態は，“基本持続時間”を定義する。マスターシステムの状態がアクティブになった場合，新しい解決は，基本持続時間後に行われなくてはならない。この解決は，このマスターシステムの制御下にない非一時停止システムに対して部分的であり，アクティブ状態の延長制約が準無限重要度（空間の他のすべてのレベルの重要度よりも高い）に適用される。

一般に，“マスター”システムは，部分解決を回避する空間全体であると看做すことができる。

更に，典型的なトラックのリストである“ミキシングコンソール”を定義するのに適している。

各トラックは，ミキシングコンソールの空間の一又は複数のシステムＳに対応している。例えば，音声トラックに対して：
− システムは，再生される音楽ブリックを示す（システムの状態は，トラックのブリックに一致する）
− 演算システムは，繰り返し回数を示す
− 演算システムは，繰り返し制約の重要度を示す
− 演算システムは，音量を示す。

スタイルトラックに対しては，
− システムは，現在のスタイルを示す
− 演算システムは，スタイルを維持するための最小時間を示す
− 演算システムは，スタイルを維持するための制約の重要度を示す，など。

実際には，トラックは次のものに対応している。
− 再生されているサブコンポーネントを選択するメインシステム
− トラックの属性を定義する二次的システム。これらの属性が不変の場合，それらを表すために，システムを定義しなければならないことを避けることができる（それはどのような場合でも，α相関なしで絶対制約システムを必要とする）

トラックが状態を変えた場合は，それらの属性を使用して最小希望持続時間が決定される。

いったんミキシングコンソールが定義されると，エキスパートシステムにより実行される解決が行われている間，各トラックに適用される制約が定義される。
− 延長制約：状態は命令的に維持されなければならない（終了していない音楽ブリック）
− 繰り返し制約：状態は更新されなければならない（音楽の繰り返し，スタイルの維持など）
− 手動制約：使用者が強制的に所定の状態に切り替える

各制約では，定数又は演算システムの値を使用することにより重要度のレベルが定義される。

もちろん，同一のマスターシステムによって決定する音声トラックは同期しなければならない。そのため，トラック上で音声ブリックが選択された場合，そのトラックの再生はトラックの選択の要因となった解決の正確な時間に開始される。この再生は，たとえブリックが繰り返されることになっていても，ループ形式で実行されない。そのため，次の解決の期間には，
− ブリックがまだ再生中（延長制約）で，再生が単に続いている，
− 又は，ブリックの再生が完了し，ブリックが選択されたままの状態の場合（例えば，繰り返し制約の後），この新しい解決の正確な時間で再生が再び開始される。

前述のように，エキスパートシステムは，次の要素を構造化方式でまとめるように設計されたファイルを使用する。
− 混合計算の定義
− マルチメディア要素の定義
− ミキシングコンソールの定義
−− トラック及びトラック間のリンクの定義
−− トラック，属性，及び混合計算システム間のリンク
−− マルチメディア要素及び混合計算の状態間のリンク
− 双方向操作が提案された制約の定義，及び双方向操作がエキスパートシステムにより提供されない場合に保持するための処理の定義。

このファイルは，ｘｍｌ記述ファイルで構成され，コンポーネント（component），システム（system），制約（constraint），フレームワーク（framework）の４種類のタグを含む。
＜component…＞
＜system…＞
＜constraint…＞
＜framework…＞

これらのタグは，次の２つの属性を有することができる。
name：検索又は表示に使用する名前
id：ファイル全体の固有ｉｄ

属性は，次のいずれかである。
−定数
−システムｉｄで，属性は，その結果，システムの現在の状態の値を有する。

コンポーネントタグは，主属性を有するミキシングコンソールのコンポーネントを記述する。
Type=audio|abstract|general|，他

それは通常，次の属性を有する。
Select：コンポーネントの現在の値（通常，ミキシングコンソールシステムｉｄ）

“一般”コンポーネントはファイルの一般属性（主テンポ，主音声など）の定義を可能にする。そのようなコンポーネントは，一般的に，選択属性を含まない。

一般コンポーネントが次の属性を有する場合，そのコンポーネントが一定の時間，現在の値を維持することを意味する。
length：秒単位での持続時間
repeatmin/repeatmax：繰り返し回数
level：制約を維持する重要度

コンポーネントはまた，ミキシングコンソールの評価が“基本持続時間”の終わりに実行されなければならない“マスター”属性を含むことができる。この基本持続時間は “選択”属性の現在の状態の基本持続時間により決定される。

“audio”タイプのコンポーネントでは，次の属性もある。
Volume_left：左音声の音量
Volume_right：右音声の音量

systemタグは，混合計算システム及びそのシステムを決定する相関を記述している。

その属性は，“name”及び“id”に加え，次のものがある。
Type=select|numerical
eval=quantum|arithmetical

Typeは，次の値を有する。
− select：状態のリストからの選択
− numerical：数値

評価（eval）モードは，次の値を有する。
− quantum：量子減少（selectタイプの場合のみ）
− arithmetical：演算表現

下位タグは，次のとおりである。
＜alpha…＞
＜state…＞
＜relation…＞
＜expr…＞

alpha下位タグは，システムのためのα相関を定義する。

その属性は次のとおりである。
State：α相関を引き起こす状態のｉｄ

state下位タグはシステムのTypeが“select”の場合にのみ，システムのとりうる状態の一つを定義する。

nameとstateは，数値として解釈されることがある。

属性は，“name”及び“id”に加え，次のものがある。
type=audio|adstract
enable=on|off
enableが“off”に等しい場合，その状態は選択することができない。

“audio”タイプの状態では，次の属性もある。
File：ｗａｖファイル
Time：ｗａｖファイルの時間
Stereo：ｗａｖファイルの種類
Bytestart：ｗａｖファイル内のデータストリームの開始バイト
Bytelength：ｗａｖファイル内のデータストリームのサイズ
Volume_left：左音声の音量
Volume_right：右音声の音量

繰り返しのための持続時間又は係数も定義される。
Length：秒単位での持続時間
Repeatmin/repeatmax：繰り返し回数
Level：制約を維持する重要度

relation下位タグはシステムのためのγ相関又はτ相関を定義する。

“name”及び“id”に加え，次の属性がある。
type=gamma|tau
source：ソースシステムのｉｄ
level：重要度のレベル

それらの属性は，次の下位タグを有する。
＜alpha…＞：任意のα相関
＜matrix＞：確率マトリクス（状態がこのｘｍｌファイル内で現れる順番）
＜suspend＞：一時停止されたソース状態の確率ベクトル

マトリクス及びベクトルは，スペース又は改行により分離された，係数値の連続したフィールドを有する。

expr下位タグは，自身のフィールド内で，次に基づく演算表現を定義する。
− 数値
− 状態（#id）
− システムの現在値（#id）
− システムの以前の値（@id）
− ＋，＊，−，／，％，＆，｜，＆＆，｜｜，∧，！，￣
− if…then…else
− rand（０と１の間の実数を返す）
− sin,cos,tan,など

constraintタグは，双方向になり得る混合計算制約を定義する。

その属性は，“name”及び“id”に加え，次のものがある。
State：強制される状態のｉｄ
Level：制約の重要度
Interactive=yes|no
Default：yes|no
Startup：yes|no
Icon：画像ファイル

frameworkタグは，ファイルの構造モデルを定義する。これは，自動的にある構造要素（主に相関）を作成することにより，編集段階において有用である。

例えば，“song”frameworkでは，
− 抽象コンポーネントは和声として機能する
− 抽象コンポーネントはスタイルとして機能する
− 絶対制約を有するコンポーネントはスコアとして機能する
− トラックはオリジナルを含む
− トラックは音声を含む
− 抽象コンポーネントは，オリジナルとミックスとの間で，α相関により選択される
− 制約はスタイルによる
− 制約はオリジナルモードに切り替える
− 制約は音声を抑制する，など。

γ相関は，スコアコンポーネントと各オーディオトラックとの間に適用される。

γ相関は，スタイルコンポーネントと各オーディオトラックとの間に適用される。

γ相関は，和声コンポーネントと各オーディオトラックとの間に適用される。

τ相関は，ある和声から別の和声に直線的に切り替えるために，和声に適用され，再生が行われた場合に最初の和声を飛ばして進む。

τ相関は，オリジナルトラックの要素を繰り返すために，オリジナルトラックに適用される。

τ相関は，和声トラックとオリジナルトラックとの間に適用される。

τ相関は，オリジナルトラック間と和声との間に適用される。

曲は，次のものとして定義される。
− ｘｍｌ記述ファイル
− ｗａｖファイル，アイコンファイル，などのファイル

コンポジットフォーマットは，これらの要素のすべてが一つのファイルにグループ化できるように定義される。

コンポジットファイルは，最初にサブファイルの表を含む。
− ファイル数，
− コンポジットファイル内における，ファイル名，サイズ，及びインデックス。

記述ファイルには，“index.xml”という名前が付けられている。

ｘｍｌによって参照されるファイルは，最初にサブファイルの表内で検索され，続いてローカルディスク上で検索される。

エキスパートシステムの機能は，
− 演奏を例示化し，
− 演奏での双方向操作を提案し，
− ある演奏から別の演奏への切り替えを処理することである。

図２及び図３に示された例において，本発明による音楽コンテンツ作成の出発点は，デジタルフォーマットの音声ファイル又はビデオファイルから成る。この初期シーケンスは，複数のシーケンスに分解される際に使用され，実行プログラムに対してクロック発生の指示を与えるためのテンポを有する。

この方法の第一の工程は，（音楽的感覚において）複数の小節に相当する持続時間のシーケンスに分割することにある。この分割は，例えば，従来の音楽編集ソフトウェアを使用して，又は小節終了マーカの記録を制御するリズムにより制御されるペダルにより手動で実行することができる。分割は，また，シーケンスの解析により自動的に実行することもできる。この最初の分割工程の結果により，デジタルファイルから成る音声又はビデオの初期素材が作成される。

第二の工程は，これは各初期素材に対して，一又は複数のフィルタ処理された素材を，使用された実行プログラムに対応するフォーマット（例えば，ＭＰ３フォーマット）に適応させるために，これらの音声又はビデオの初期素材にフィルタを適用することにある。フィルタ処理された各素材には，例えば，ファイル名などの識別子が割り当てられる。一組のフィルタ処理された素材は，それにより，例えば，初期シーケンスのフィルタ処理の結果から構成される。これらのフィルタは，次のフィルタを含むことができる。
− 歌手の声又はオーケストレーションを分離するフィルタ，
− ディストーションフィルタ，
− 音声を追加するためのフィルタ，
− 特殊効果を作成するフィルタ，など。

任意に，元の構造を維持するために構成された他のフィルタ処理された素材上で，“リーダー”（歌のトラック）が維持される。

更に，その長さが“特定のフィルタ処理された素材”の長さを超える可能性がある素材のため，“汎用の”フィルタ処理された素材が追加される。これらは，音楽又はビデオのデジタルファイルで，初期ビデオシーケンス又は初期音楽シーケンスに依存しない。

聴取者が作成されたファイルと双方向に操作できるように，次の３つのコンポーネントが用意されている。
− 心理音響基準
− トラック
− フィルタ処理された素材の集合又は上述したサブコンポーネントを含む“ブリック”

心理音響基準は，例えば，次のものにより定義される。
− 音量，
− 初期シーケンス内での作成番号，
− 初期シーケンスに対する相似のレベル，
− 開始ブリック又は曲の終わりの品質，
− 独奏パートの要素（他のトラックはオフ），
− 他のブリックと共に体系的に再生された要素，など。

次に，一組のトラックが構成される（ｎ個のビデオトラック，ｍ個の音声トラック，ｚ個のテキストトラック，照明，又はフィルタ，例えば，トラックｘ及びｙに適用された音量（他のトラック及びトラック間相関に適用された，効果を定義しているいくつかのトラック）など）。また，“コントロール”として参照されるトラックもあり，それは，目や耳に対して実際的な効果を有さないが，他のトラックが基部として使用するパラメータを決定する。例えば，あるトラックは，他のトラックでも使用される和声を決定する。

その後，サブコンポーネント又はブリックの集合は，各ブリックがフィルタ処理された要素から成るように構成され，次のものと関連付けられる。
− 各心理音響基準（手動又は自動）に関して，その重み付けに対応した係数
− トラックの集合から選択された，あるトラック

続いて，双方向操作型カーソルが定義され，それにより使用者は音楽演奏と双方向に操作することができる。

次の工程は，各トラックに対して，定数（心理音響基準）及び状況（カーソル値及び現在実行されている曲の履歴）によって各ブリックの重み付けをする評価関数を定義することにある。

状況に応じ，各トラックに対しては内部変数変更関数が定義され，各ブリック（エッジ効果）に対しては内部の変数変更関数が各ブリックの開始点及び終了点で呼び出される。

様々な関数によって，基本算術演算に対して，乱数発生器，複雑な構造の使用，及びエッジ効果の管理を用いることができる。距離関数は，ブリックの組み合わせ全体を評価することを防止し，その関数を，演奏が完了したばかりのブリックに近接したブリックに対してのみ適用する。それにより，音声／ビデオシーケンスは，双方向操作型の音楽用のマルチメディアフォーマットに一致するフォーマットで構成される。

そのフォーマットは，“曲”の概念を利用する。曲は，ある持続時間，場合によっては無制限の時間を有するシーケンスである。

本発明によるフォーマットは，マルチメディアサブコンポーネント又はブリックに基づいている。それらは主に音声ブリックであるが，ビデオ，テキスト，又はその他用のブリックもある。また，あるブリックは，他のブリックに適用されるマルチメディアフィルタ（音声フィルタ，ビデオフィルタ，又はその他のフィルタ）になることもある。

システムは，前述のとおり，ブリックを組み立てたり，組み合わせたりすることによりマルチメディアシーケンスを合成する。

組み立てたり組み合わせたりするブリックの選択は，シーケンスが実行されている間，使用者の双方向操作機能により達成することができる。

システムは複数の段階から成る。
−− 合成
−− ファイル
−− 実行プログラム

曲の合成は，非網羅的な方法で次のものを組み立てることにより実行される。
−− “ブリック”と称されるマルチメディア要素，すなわち，音楽の抜粋，ビデオの抜粋，３Ｄアニメーション，テキスト，音声フィルタ，及びビデオフィルタなど。各ブリックは，限られた持続時間を有する時間シーケンスで，次の様々なマルチメディアイベントをコード化する。
−− ブリックの定数属性を決定する，“心理音響”として参照されるパラメータ
−− 双方向操作型カーソル
−− ブリックの選択が行われる方法を判断する評価関数。

この組み立ては，通常，上述の項目を含む又は参照するファイルを生じる。

各ブリックのコンテンツの符号化フォーマットは，仕様上ハードコードされていない。例えば，ＭＰ３（登録商標）などの標準仕様を利用することができる。

このフォーマットは，双方向操作型カーソルの記述に加えて心理音響基準に対応したパラメータのリストを含む。

更に，このフォーマットは様々な評価関数を含む。これらの関数は，その特徴が仕様の一部であるバイトコードの形で記述されている。このバイトコードは，実行プログラムに組み込まれた仮想マシンにより解釈されるようになっている。

ファイルは，曲を豊かにしたり，特に実行プログラムによる曲の表現を豊かにしたりするメタデータを自由に追加できる。

実行プログラムは，本発明により合成されたファイルを読み，対応する曲を実行することができるソフトウェアである。

実行プログラムは，ファイルに含まれているブリック，又はファイルを参照するブリックを解釈することができる。

実行プログラムは，できる限り自動で，ただし，通常は使用者に双方向操作型インタフェースを与えることにより，使用者に依存することなく双方向操作型カーソルを管理することができる。

最終的に，実行プログラムは評価関数の値を求め，その結果により組み合わされるブリックの選択を行うことができる。

曲は，次の方法により定義される。
− テンポ：Π
− 一組のトラック：Ｔ
− あるトラックが他のトラックに作用することを示す，非対称でかつ必ずしも必要でない単射β相関：ｔβｔ’
− 一組の心理音響基準：Ｃ
− それぞれがあるトラックに関連している一組のマルチメディアブリック：Ｂ＝｛ｂ_ｔｊ，ｔ∈Ｔ｝；拡張により，Ｂ_ｔはあるトラックに関連している複数のブリックを示す。
− 各心理音響基準により各ブリックを評価している一組の値：Ｋ＝｛ｋ_ｃ，ｂ，ｃ∈Ｃ，ｂ∈Ｂ｝
− 心理音響基準による，場合によりユークリッドの距離関数：
−− ｄ_ｔ：Ｂ×Ｂ→Ｒ^＋
− 場合により無限の心理音響リミッタ：λ_ｔ∈Ｒ^＋
− 一組の双方向操作型カーソル：Ｉ
− 各双方向操作型カーソルの現在の値を与える一組の双方向操作型パラメータ：Ｐ＝｛ｐ_ｉ，ｉ∈Ｉ｝
− 各トラックに現在送信されているブリック，及び繰り返し回数のリスト：Ｈ＝｛ｈ_ｔ，ｔ∈Ｔ，ｈ_ｔ∈Ｂ｝∪｛ｒ_ｔ，ｔ∈Ｔ｝
− 一組の一般パラメータ（例えば，曲の始めからの経過時間）：Ｇ
− 一般使用のための一組のグローバル変数：Ｖ
− 各トラックに関連した評価関数：
−− Ｆ＝｛ｆ_ｔ，ｔ∈Ｔ｝，ただしｆ_ｔ：Ｂ_ｔ×Ｋ×Ｐ×Ｈ×Ｇ×Ｖ→Ｒ
−− これらの関数は，ランドランダム発生器に基づくことがある：φ＝Ｒ［０，１］
−− これらの関数は，一組のＶにおいてエッジ効果を発生することができる
− これらのエッジ効果の管理を最適化するため，ブリックのための関数は各トラックに対して，開始及び終了する。
−− Ｓ＝｛ｓ_ｔ，ｔ∈Ｔ｝，ただし，ｓ_ｔ：Ｂ_ｔ×Ｋ×Ｐ×Ｈ×Ｇ×Ｖ→Ｒ
−− Ｅ＝｛ｅ_ｔ，ｔ∈Ｔ｝，ただし，ｅ_ｔ：Ｂ_ｔ×Ｋ×Ｐ×Ｈ×Ｇ×Ｖ→Ｒ

曲の実行中，実行プログラムは，すべてのトラックを永続的に組み合わせる。各トラック上では，プログラムによりブリックが一つずつ連繋される。

各ブリックの終わりにおいて，実行プログラムは，次のテンポで開始される次のブリックを選択する。

トラックｔ上で再生する次のブロックの選択は，ｆ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）を最大化するブリックｂを決定することにより実行される。この計算は，ｄ_ｔ（ｂ，ｂ_０）＜λになるようにブリックｂ∈Ｂ_ｔ上で実行される。ここで，ｂ_０は完了したばかりのブリックを示す。

曲に含まれるブリックの数及び実行プログラムの計算能力によっては，値λは劇的に小さくなることがある。

ブリックの開始点において，実行プログラムは関数ｓ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）を評価する。またブリックの終了点において，関数ｅ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）を評価する。関数ｓ_ｔは，適用可能な場合には，エッジ効果を用いてブリックの再生パラメータ（繰り返し，音程，全体の音量など）を変更することができる。

使用者は，双方向操作型パラメータＰと双方向に操作する。

ミキシング操作は，ブリックの種類による。一般に，トラックが独立していない場合，β相関は，従属関係を定義する。例えば，音声効果（音量，エコー，など）と連繋しているトラックは，音声トラック上のミキシングに適用される。

例：純粋なランダム操作
実行プログラムは，得られるすべてのブリックの中から任意のブリックを随時無作為に選択する。
ｄ（ｂ，ｂ_０）＝０
ｆ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）＝rand

実行プログラムは，得られるすべてのブリックの中から任意のブリックを随時無作為に選択し，ブリックの選択を１，２，…２^ｎに等しい可変回数繰り返す。ここで，ｎはブリックの繰り返しパラメータである。
Ｃ＝｛repetition｝
ｄ（ｂ，ｂ_０）＝０
ｆ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）＝
if ｂ！＝ｈ_ｔ then rand
else if ｒ_ｔ＜２^ｋｒ_epetition,b＆＆ｒ_ｔ！＝２^{Ｅ（rand×ｋ} _repetition,b ^）then−１
else １

ブリックは順序づけられ，実行プログラムは規則正しく次のブリックを選択し，シーケンスの最後で最初のブリックに戻る。
Ｃ＝｛order｝
ｄ（ｂ，ｂ_０）＝０
ｆ_ｔ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）＝
if ｈ_ｔ＝φ｜｜ｋ_order,b＜＝ｋ_order,ht then−ｋ_order,b
else ｋ_order,ht−ｋ_order,b

次の要素をグループ化するファイルは，構造化様式である。
− 一般パラメータ（主にテンポ）
− トラックの数と記述，特に各トラックの種類（音声ソース／音声効果／サブタイトル／ビデオ／ビジュアルフィルタ）
− トラック間の関係，例えば，トラック３はトラック２のクレッシェンドを処理する
− 心理音響特性の数と記述
− 様々なマルチメディア素材（ファイルに直接組み込まれるもの，又はディスク又はＵＲＬ上のパスにより参照されるもの）
− 各ブリックのリストと記述（ブリックはマルチメディア素材を含むが，同じ素材が複数のブリックにより使用されることがある）
− 各ブリックの心理音響特性値の表
− 双方向操作型カーソルの数と記述
− 関連リミッタと同様，バイトコードの形で定義された各トラックの距離関数のリスト
− バイトコードの形で定義された各トラックの評価関数のリスト
− バイトコードの形で定義された各トラックの開始関数及び終了関数のリスト

マルチメディア素材のフォーマットは，ｍｐ３，ｗａｖなど自由である。関連したコーデックは，言うまでもなく実行プログラム内に存在しなければならない。

バイトコードは，スタックバイトコードであり，これにより基本算術演算に対し，乱数発生器の使用，複合構造（リスト，タプル，ベクトル）の使用，及び関数の操作を可能にする。

ユーザインタフェースに関しては，使用者がブリックを選択するためのアルゴリズムと双方向に操作する方法が多様であるということに留意すべきである。

簡易な手段として，使用者は，例えば，検討中の作業に依存して数と種類が決定する双方向操作のためのいくつかのボタン又はカーソルから成るグラフィックインタフェースを有することができる。

本発明による方法を使用したコンテンツの作者は，より穏やか／中間／よりダイナミックなどのある種類の双方向操作型共通項目(interaction uniform)を作成する方法によって，これらのボタン又はカーソルのいくつかをすべての作業（又はマルチメディアシーケンス）に統合することができる。

双方向操作型カーソルはまた，生体計測データにより動作が行われることもある。
− コース計測（歩数計）
− 心臓の鼓動
− ＥＥＧ（脳波図；electroencephalogram）波，すなわち“脳波”

後者の例は，特に使用者のストレス状態又は集中状態を測定することが可能であることが知られている。そのため，次の２つのモードの相互関係が考えられる。
− アクティブモードでは，使用者は精神状態を変えることにより音楽の操作に誘導される。このモードでは，使用者が脳の活動をコントロールする方法を学ばなければならないので，使用者側は著しい努力を必要とする。実際，このモードは教育上にのみ利用される。
− パッシブモードでは，使用者は例えば，システムに対して使用者がリラックスした状態又は集中状態を維持するよう要求できる。その後，システムは，簡単なキックダウン(kickdown)によって，“より穏やか／中間／よりダイナミック”ボタンを自動的に作動させる。使用者が穏やかな状態を維持するためには，ＥＥＧ波が使用者の興奮の開始を示す場合は“より穏やか”ボタンが作動し，使用者が低レベルのストレス状態になった場合は，“中間”ボタンが作動する。

Claims (22)

1. 基準マルチメディアシーケンス構造を生成し，前記構造をトラック（Ｐ_１，Ｐ_２，Ｐ_ｎ）に利用できる複数の基本コンポーネントに分割し，かつこれらの基本コンポーネントの各々が，楽章，和声，又はスタイルで構成されることができる一組の基本サブコンポーネント（すなわちブリック
   

   

   ）に分割される事前段階と
   前記サブコンポーネントの選択を含む新しいマルチメディアシーケンスのリアルタイムの自動合成段階と
   を含み，
   前記事前段階が心理音響記述子又は属性を前記サブコンポーネントの各々に割り当てること，及び前記サブコンポーネント及びそれらに割り当てられた前記記述子又は前記属性をデータベースに保存することを含み，
   前記自動合成段階が一連の前記サブコンポーネントの前記基本コンポーネント上で発生することを含み，ここで前記サブコンポーネントの保持又は交換により特徴付けられる連鎖法は，各前記サブコンポーネントに対し前記心理音響記述子又は前記属性及び状況パラメータを考慮した選択基準を決定するアルゴリズムによって計算され，
   前記合成段階をループして繰り返し，各前記シーケンスは前記サブコンポーネントを各前記基本コンポーネントに割り当てることにより永久にそれを再生し，聴取者は前記アルゴリズムの操作に影響を及ぼすことにより前記サブコンポーネントの選択にリアルタイムで介入できる
   ことを特徴とするマルチメディアシーケンスのリアルタイムでの自動的又は半自動的な合成の方法。
2. 前記自動合成段階において実行される前記サブコンポーネントの選択が，前記属性及び前記状況パラメータを考慮して，各前記サブコンポーネントの選択確率を決定する前記アルゴリズムにより定義される前記選択基準を遵守しながら，無作為に実行されることを特徴とする請求項１記載の方法。
3. 前記確率が，前記サブコンポーネントの内容に依存しない規則を適用することにより計算されることを特徴とする請求項１又は２記載の方法。
4. 前記規則が，前記サブコンポーネントの選択において他のコンポーネントの規則に影響を及ぼすことを考慮することができ，更にある規則が事前選択又は同時選択によって，あるコンポーネントの選択を行う確率を変更することを特徴とする請求項３記載の方法。
5. 前記合成段階で行われる選択が無作為ではなく，前記サブコンポーネントが最大選択基準によって選択されることを特徴とする請求項１記載の方法。
6. 前記規則が重要度又は優先順位度により特徴付けられることを特徴とする請求項３記載の方法。
7. ２つの前記規則が矛盾する場合，前記サブコンポーネントの選択が常に可能になるような方法で，より重要度が低い方が瞬時に削除されることを特徴とする請求項６記載の方法。
8. 前記合成段階が，無限になる可能性のある複数のトラック，独立して作動状態又は非作動状態にできるトラック，多様な種類のトラック，無限になる可能性のある複数の制御機器（ボタン（Ｂ）及びカーソル（Ｃ）），前記トラックの種類と互換性のある前記サブコンポーネントに連繋している前記トラックの作動化，選択された前記サブコンポーネントが保持されている間に最小の持続時間を決定するシステムを含む仮想ミキシングコンソールを操作するシステム（ＳＥ）により実行されることを特徴とする請求項１〜７のいずれか１項記載の方法。
9. 前記システム（ＳＥ）が，
   − 前記規則の基底により課された制約を実行し，多様な性質の前記サブコンポーネントの選択を提供する抽出エンジン
   − 選択された前記要素を使用して双方向操作型インタフェースを発生させる仮想ミキシングコンソールのモデル
   を含むことを特徴とする請求項８記載の方法。
10. 前記仮想ミキシングコンソールの各前記トラックが，計算領域の一又は複数の前記システムに関連付けられていることを特徴とする請求項９記載の方法。
11. 音声トラックに対して，前記システムは前記サブコンポーネント（音楽ブリック）が再生されるように指示し，演算システムが実行される繰り返し回数を示している間，前記演算システムが繰り返し制約の重要度及び音量を示すことを特徴とする請求項１０記載の方法。
12. 各前記トラックが，このトラックの前記サブコンポーネントを選択するメインシステム及び前記トラックの属性を定義する二次システムに関連付けられており，前記トラックが状態を変えた場合，前記システムがそれらの属性を使用して最小必要持続時間を決定することを特徴とする請求項１０記載の方法。
13. 複数の前記トラックが同期しなければならない場合，前記サブコンポーネントが前記トラックのいずれか上で選択されたとき，その再生が前記トラックの選択を導く正確な時間に開始され，この時間がマスターシステムの役割を果たすシステムの一つにより決定されることを特徴とする請求項１０記載の方法。
14. 次の解決の間に，たとえ前記サブコンポーネントの繰り返しが，
    − 前記サブコンポーネントが再生中で，前記システムは単にそれを再生し続けている，
    − 又は，前記サブコンポーネントの前記再生が終了し，前記サブコンポーネントが選択されたままの場合は，この新しい解決の正確な時間で再生が再び開始されるという方法で実行されることになっていても，前記再生がループして実行されない
    ことを特徴とする請求項１３記載の方法。
15. 前記システムが，
    − 混合計算の定義
    − マルチメディア要素の定義
    − 前記ミキシングコンソールの定義
    − 前記トラック及び前記トラック間のリンクの定義
    − 前記トラック及びそれらの属性，及び前記混合計算のシステム間のリンク
    − 前記マルチメディア要素及び前記混合計算の状態間のリンク
    − 双方向操作が提案された制約の定義，及び前記双方向操作がエキスパートシステムにより提供されない場合に保持するための処理の定義
    の各要素を構造化様式でまとめるように設計されたファイルを含むことを特徴とする請求項８記載の方法。
16. − フィルタの適用又は音楽シーケンスの処理による，所定の前記音楽シーケンスを使用した一連の音楽サブコンポーネントから構成される前記トラックを作成する工程と，
    − 作成された前記サブコンポーネントとの整合性により選択された既存のサブコンポーネント及びそれによって作成されたサブコンポーネントを含む音楽サブコンポーネントの基部を作成する工程と，
    − 前記心理音響記述子の名称を定義する工程と，
    − 各組（サブコンポーネント；記述子）のスコアを定義する表を構築する工程と，
    − 固有の双方向操作の重みによってミキシングインタフェースを介して使用者が双方向操作をできる記述子のサブセットを定義する工程と，
    − 各関数は任意のトラックにリンクし，各関数は状況パラメータを有する候補となるサブコンポーネント（演奏されたばかりのサブコンポーネント，現在他のトラック上で演奏されているサブコンポーネント，前記使用者により定義された前記双方向操作の重み）に適用され，かつ候補となるサブコンポーネントの適切性の結果を有する複数のミキシング関数のリストを作成する工程と，
    − 前記ミキシング関数の前記結果が最大となるための前記候補となるサブコンポーネントを選択する工程と
    を含むことを特徴とする請求項５記載の方法。
17. 前記サブコンポーネントの少なくとも一つが，周辺機器を駆動するための情報を含む制御サブコンポーネントであることを特徴とする請求項１〜１６のいずれか１項記載の方法。
18. 物理センサー又はリモートコンピュータから得られる情報による自動サブコンポーネント選択工程を含むことを特徴とする請求項１〜１７のいずれか１項記載の方法。
19. 前記合成段階が，更に非音楽的サブコンポーネントを含むことを特徴とする請求項１〜１８のいずれか１項記載の方法。
20. 前記ファイルが，次の要素，すなわち
    − 一般パラメータ（主にテンポ），
    − 前記トラックの数と記述，特に各前記トラックの種類（音声ソース／音声効果／サブタイトル／ビデオ／ビジュアルフィルタ），
    − 前記トラック間の関係
    − 心理音響特性の数と記述，
    − 様々なマルチメディア素材，
    − 各前記サブコンポーネントのリストと記述（前記サブコンポーネントはマルチメディア素材を含むが，同じ素材が複数の前記サブコンポーネントにより使用されることがある），
    − 各前記サブコンポーネントの心理音響特性値の表，
    − 双方向操作型カーソルの数と記述，
    − 関連リミッタと同様，バイトコードの形で定義された各前記トラックの距離関数のリスト，
    − バイトコードの形で定義された各前記トラックの評価関数のリスト，
    − バイトコードの形で定義された各前記トラックの開始関数及び終了関数のリスト，
    の各要素の少なくとも一つの部分を含むことを特徴とする請求項１６記載の方法。
21. 前記サブコンポーネントの開始点で，前記状況パラメータを変更する関数ｓ_ｔの実行プログラムを実行し，前記サブコンポーネントの終了点で，前記状況パラメータ（ｂ，Ｋ，Ｐ，Ｈ，Ｇ，Ｖ）に適用される関数ｅ_ｔを評価する実行プログラムを実行することを特徴とする請求項１６記載の方法。
22. 前記基準マルチメディアシーケンス構造を作成し，
    この構造をそれぞれが一組の前記サブコンポーネント
    

    

    を含む複数の前記トラック（Ｐ_１，Ｐ_２，Ｐ_ｎ）に分割する手段を提供し，
    前記記述子又は前記属性を割り当てることを可能にする手段と，
    前記基準シーケンス内の前記基本サブコンポーネントのすべて又は一部のために，これらのサブコンポーネントに対して，同種のサブコンポーネントによって前記サブコンポーネントを維持又は交換することを含む新しいマルチメディアシーケンスを使用者への補助を前提としてリアルタイムで自動合成する手段と，
    各前記基本サブコンポーネント又は同種のサブコンポーネントに対して，このサブコンポーネントが選択される確率を，属性を考慮し，更に前記確率に関して前記選択を実行することにより決定するアルゴリズムによって前記コンポーネントをアルゴリズム的に選択する手段と，
    各前記シーケンスの再生による再繰り返し操作及び前記サブコンポーネントの各前記基本コンポーネントへの割り当てにより，前記自動合成段階を繰り返すための手段と，
    前記アルゴリズムの操作に影響を及ぼすことによりサブコンポーネントの選択に聴取者が介入することを可能にする手段と
    を有することを特徴とする請求項１〜２１のいずれか１項記載の方法を実行するための装置。

Images