JP2001306081A - 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 - Google Patents

音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法

Info

Publication number
JP2001306081A
JP2001306081A JP2001079233A JP2001079233A JP2001306081A JP 2001306081 A JP2001306081 A JP 2001306081A JP 2001079233 A JP2001079233 A JP 2001079233A JP 2001079233 A JP2001079233 A JP 2001079233A JP 2001306081 A JP2001306081 A JP 2001306081A
Authority
JP
Japan
Prior art keywords
constraint
musical
audio
control device
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001079233A
Other languages
English (en)
Other versions
JP4729186B2 (ja
Inventor
Francois Pachet
パシェ、フランソワ
Olivier Delerue
ドゥレリュー、オリビエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony France SA
Original Assignee
Sony France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony France SA filed Critical Sony France SA
Publication of JP2001306081A publication Critical patent/JP2001306081A/ja
Application granted granted Critical
Publication of JP4729186B2 publication Critical patent/JP4729186B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Abstract

(57)【要約】 【課題】 選択された空間処理の結果が常に聴覚的に正
しく、家庭用オーディオシステムに採用されている標準
的な録音技術に適合する容易な空間処理を実現する。 【解決手段】 ユーザインターフェイス装置は、オーデ
ィオソースの特定のグループに作用するグループ化され
た空間構成決定コマンドに対応するユーザ入力を提供
し、制約解決装置は、オーディオソースのグループを複
数の制約変数が適応される単一のオブジェクトとして処
理する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音源、すなわちサ
ウンドトラックの音楽的空間処理（spatialisation）を
聴取者、すなわちユーザにより実時間で制御して、空間
ミキシングを行い、いわゆる「マルチチャンネルサウン
ド」を生成するための音楽的空間構成制御装置、音楽的
臨場感形成装置及び音楽的空間構成制御方法に関する。
【０００２】
【従来の技術】空間ミキシング（spatialised mixing）
は、理論的に定義され、オーディオファイル内に格納さ
れている制約（constraint）の組を充足しなくてはなら
ない。このようなオーディオファイルは、オーディオサ
ポート又はオーディオキャリアとも呼ばれる。
【０００３】コンピュータ音楽の分野において、音楽の
空間処理（spatialisation）に関する処理は、長年に亘
り、重要な課題となっている。従来より、既存の音信号
（sound signal）の音響的環境（acoustic environmen
t）をシミュレートするソフトウェアの開発が盛んに行
われている。このような技術の多くは、各サウンドチャ
ンネルの音量の変更、左右の耳の距離を考慮に入れたサ
ウンドチャンネル間の遅延、及び例えば反響処理（reve
rbration）等の音のフィルタリング技術等を利用し、距
離感を再生するものである。このような手法は、１９９
５年ＩＣＭＣ会報（Proceedings of ICMC, 1995）にお
けるジョット・ジェイ−エム（Jot J.-M.）及びワルス
フェル・オー（Warusfer O.）著の論文「音楽及び仮想
現実アプリケーションのための実時間空間的サウンドプ
ロセッサ（A Real-Time Spatial Sound Processor for
Music and Virtual Reality Applications）」に記載さ
れている。例えば、１９９７年シカゴ芸術専門学校（Sc
hool of the Art Institute ofChicago）において開催
された第８回電子芸術国際シンポジウム会報（Proceedi
ngs of the 8th International Symposium on Electron
ic Art）におけるエッケル・ジー（Eckel G.）著、「仮
想アーキテクチャによる音空間の研究（Exploring Musi
c Space by Means of Virtual Architecture）」及び１
９９６年、ニューライダーズパブリッシング社（New Ri
ders Publishing）、リー・アール（Lea R.）、マツダ
・ケー（Matsuda K.）、ミヤシタ・ケー（Miyashita
K.）著、「３Ｄ及びＶＲＭＬワールドのためのJava（Ja
va for 3D and VRML worlds）」等に開示されているよ
うに、従来の定位技術は、主に仮想現実環境の構築のた
めに用いられている。
【０００４】これに対し、本発明では、任意の音源が他
の音源に対して有する制約に基づいて構築される。
【０００５】本発明は、音源の位置と画面上の表示の位
置とを対応させ、ミュージックスペース（MusicSpace）
に互換性を有し、高レベルのユーザ制御を実現すること
を目的とする。
【０００６】本発明は、空間処理装置（spatialiser）
に接続され、音源を表示するグラフィカルユーザインタ
ーフェイス内の制約システムの導入に基づいている。制
約システムは、音源の構成に関する様々な制限を表現す
ることができる。例えば、ユーザがインターフェイス又
は制御言語を用いてある音源の位置を変更するよう命令
した場合、制約システムが起動し、このコマンドに基づ
く移動が制約に違反しないことが確認される。ＭＩＤＩ
による空間処理装置は既に開発され、有効であることが
確認されている。このような制約に基づくシステムは、
本願出願人による欧州特許出願ＥＰ−Ａ−０９６１５２
３号に開示されており、この内容は、参照により本願に
組み込まれるものとする。
【０００７】この欧州特許出願ＥＰ−Ａ−０９６１５２
３号に開示された、制約に基づく音の空間処理の方法に
ついて、図１９及び図２０を用いて説明する。
【０００８】記憶装置１には、１以上の音源１０〜１２
（例えば、個別の楽器）及びこれら音源の聴取者１３を
表すデータが格納されている。これらデータは、音源１
０〜１２と聴取者１３のそれぞれの位置に関する情報に
より構成されている。ユーザは、グラフィックユーザイ
ンターフェイスにアクセスし、聴取者１３又は音源１０
〜１２を表しているシンボルを選択し、例えばドラッグ
等により、選択したシンボルの画面上の位置を変更する
ことができる。すなわち、各シンボルは、変数に関連付
けられる。例えば、ユーザは、ユーザインターフェイス
装置２を用いて、表示されている１以上の楽器のシンボ
ルの距離と相対的位置を変更することにより、所望の音
空間を生成し、すなわち聴取者と他の全ての音源との相
対的な位置関係を決定することができる。
【０００９】新たな音空間が生成されると、制約解決装
置３は、ユーザにより作成された音空間を所定の制約に
適合させる処理を行う。この処理は、ユーザのコマンド
により選択された音源以外の音源及び／又は聴取者の位
置を調整し、制約を充足させる処理を含む。換言すれ
ば、ユーザがユーザインターフェイス装置２を用いてい
くつかの音源の位置を変更し、これにより「摂動（pert
urbation）」と呼ばれる状況が生じた場合、制約解決装
置３は、１以上の他の音源を移動させ、各音源の配置が
設定されている制約に適合するようにする。
【００１０】図２０は、ユーザインターフェイス装置２
上に表示される典型的なグラフィック表示画面２０を示
す図であり、音源は、聴取者を表すアイコン１３の周辺
に楽器を表すシンボル１０〜１２として表示されてい
る。ユーザインターフェイス装置２は、例えばマウス等
の入力装置（図示せず）を備え、ユーザは、この入力装
置を用いて、グラフィック表示画面２０上に表示された
オブジェクトの相対的位置を変更及び決定することがで
きる。この処理により入力された音源の空間的配置に関
する全ての情報は、制約解決装置３に供給される。
【００１１】ここで、制約とは、与えられた２つの音源
と聴取者間の距離が一定の比を保たなくてはならないと
いう制約、各音源と聴取者との間の相対的距離の積が一
定でなくてはならないという制約、聴取者から所定の半
径内に音源が存在してはならないという制約、あるいは
聴取者に対する音源の相対的角度を制限する制約等であ
る。これら制約は、不等式的な関係に関連して、アルゴ
リズムにより処理される。
【００１２】制約解決装置３は、ユーザにより構成され
た空間を制約に適合させるために他の音源を再調節する
ことができなかった場合、ユーザが指定した配置は実現
することができない旨をユーザに通知し、全ての音源を
初期の位置に戻す。
【００１３】制約解決装置３は、制約に関係する音源又
は聴取者の他の音源に対する移動により生じた摂動（pe
rturbation）を再帰的に伝搬する制約伝搬アルゴリズム
（constraint propagation algorithm）を実行する。欧
州特許出願ＥＰ−Ａ−０９６１５２３号に基づくアルゴ
リズムは、以下のような特徴を有している。 ・制約に関連付けられた不等式制約（inequality const
raints）については、確認のみを行う。不等式制約が充
足されない場合、アルゴリズムは終了し、空間構成のた
めの検索は中止される。 ・各関数制約（functional constraints）については、
制約に含まれる変数の１つの摂動に応じて、他の変数に
新たな任意の値を与える。これにより、与えられた制約
に対する単一の任意の解が決定される。これは、与えら
れた制約について全ての解を検索する通常の制約伝搬ア
ルゴリズムとは異なる処理である。 ・与えられた変数が摂動している場合、すなわち、その
値がユーザにより変更されている又はアルゴリズムによ
り新たな任意の値が与えられている場合、この変数は、
アルゴリズムの実行期間中は、再び摂動されることはな
い。例えば、ある変数が２つの異なる制約に含まれ、第
１の制約に関してこの変数に新たな任意の値を与えた場
合、アルゴリズムは、第２の制約に関連する処理におい
て、この変数に既に割り当てられているこの新たな任意
の値を変更することはできない。第２の制約に関連して
アルゴリズムが変数に与えようとする新たな任意の値が
第１の制約を充足するために選択した値と異なる場合、
アルゴリズムは終了し、空間を構成するためのコマンド
は拒絶される。
【００１４】音の空間処理を行うこの他の従来の手法と
して、１９９９年国際コンピュータミュージック会議会
報（Proceedings of the 1999 International Computer
Music Conference）におけるパシェ・エフ（Pachet,
F.）及びドゥレリュー・オー（Delerue, O.）による論
文「ミュージックスペース：音楽空間構築のための制約
に基づく制御システム（MusicSpace: a Constraint-Bas
ed System for MusicSpatialisation）」では、制約パ
ラダイム、すなわち、制約を適用する前後関係の実例の
組に基づく音源の空間処理を制御する手法が開示されて
いる。
【００１５】
【発明が解決しようとする課題】ここで、上述した従来
の手法は、いわゆるＭＩＤＩフォーマットに関するもの
であり、すなわち、ＭＩＤＩ出力又はミキサ装置を用い
たＭＩＤＩに基づくデータ通信に関するものであり、し
たがって応用範囲が制限されている。実際、制約に基づ
いて各音源を個別に制御するためには、各音源を独立の
トラックに割り当て、多数のトラックを管理する必要が
ある。このため従来の空間処理は、特に音源の数が比較
的多い場合、例えばコンパクトディスク（ＣＤ）、デジ
タルバーサタイルディスク（ＤＶＤ）、ミニディスク
（ＭＤ）等の一般的な記録媒体を使用する家庭用オーデ
ィオシステムにおいては実現することができなかった。
【００１６】さらに、ユーザが任意に空間処理を行った
場合、制約が厳密に充足させられた場合であっても、音
源の構成の本来の調和が保たれなくなる虞もある。実
際、個別の調整による音源の再構成は、ユーザに対して
必要以上に多くの可能性を与え、ユーザは必ずしも専門
的な知識を有しているわけではなく、したがって、不適
当な空間処理を行ってしまうこともある。
【００１７】さらに、このような条件下では、ユーザが
行った空間処理が制約により拒絶される可能性も高くな
り、したがって、ユーザは、このような装置を使用する
ことが煩わしくなってしまうこともある。
【００１８】本発明は、音源の定位に臨場感を与えるた
めに、いわゆる３次元サウンドバッファ技術（3D sound
buffer technology）とともに実現することができる。
この技術は、音源の組に対して実時間で精密な空間処理
を行うことができるレベルにまで発達している。しかし
ながら、この技術は、使用される範囲が極めて狭い範囲
に制限されている。第１に、対応する制御レベルは、ソ
フトウェアとしての完成度が低すぎ、複雑であるため、
作曲者及び音響技術者は、３次元の楽曲を作成するため
のこの技術を習得することが非常に難しい。その結果、
この技術の可能性は、十分に発揮されていない。実際、
聴取者は、受動的な受け手と考えられており、聴取者が
聴く楽曲の空間的構成を能動的に制御することはできな
い。
【００１９】以上の観点から、本発明は、動的なオーデ
ィオミキシングの手法及びそのための装置の設計、すな
わち、音の拡張の実現に関する技術的課題を解決する上
述したミュージックスペース等の実現装置を提供するこ
とを目的とする。
【００２０】動的なオーディオミキシングには以下のよ
うな課題がある。 １）作曲者及び音響技術者に対し、空間的及び時間的に
容易に楽曲を構成できる強力な理論的枠組（paradigm）
を提供する必要がある。 ２）同時に、聴取者も、自らが聴く楽曲における空間的
構成をある程度制御できる必要がある。
【００２１】動的なオーディオミキシングは、例えばＭ
ＰＥＧ４やＭＰＥＧ７等の新たな標準化技術に適合し、
動的ミキシング制約は、通常のメタデータとして取り扱
われる。さらに、楽曲を「オンザフライ（on-the-fl
y）」ミキシング方式で再構築する発想は、ＭＰＥＧ４
におけるシーン記述（scene description）の概念に適
合する。さらに、ＭＰＥＧ７に完全に互換性を有する装
置及び方法についても研究中である。
【００２２】本発明は上述の課題に鑑み、ユーザ及び楽
曲提供者の両者の観点から、より容易に空間処理を行う
ことができ、選択された空間処理の結果が常に「聴覚的
に正しく」、家庭用オーディオシステムに採用されてい
る標準的な録音技術により適合する音楽的空間構成制御
装置、音楽的臨場感形成装置及び音楽的空間構成制御方
法を提供することを目的とする。
【００２３】また、本発明は、ＭＩＤＩに基づく装置に
制限されることなく、発達したマルチトラックオーディ
オファイルを取り扱うフルオーディオシステムを実現す
る音楽的空間構成制御装置、音楽的臨場感形成装置及び
音楽的空間構成制御方法を実現することを目的とする。
【００２４】
【課題を解決するための手段】上述の目的を達成するた
めに、本発明に係る音楽的空間構成制御装置は、実時間
でオーディオ空間の構成を制御する音楽的空間構成制御
装置において、オーディオトラックに関連付けられた複
数のオーディオソースからなるオーディオストリームに
アクセスするアクセス手段と、オーディオストリームの
空間構成決定用の規則を表す制約を受け取り及び処理す
る制約手段と、制約手段に空間構成決定コマンドを入力
するインターフェイス手段とを備え、インターフェイス
手段は、オーディオソースの特定のグループに作用する
グループ化された空間構成決定コマンドに対応するユー
ザ入力を提供し、制約手段は、オーディオソースのグル
ープを複数の制約変数が適応される単一のオブジェクト
として処理する。
【００２５】オーディオソースのグループは、個別にア
クセスできるオーディオトラックの各グループにより識
別されるものであってもよい。
【００２６】好ましくは、オーディオソースのグループ
は、空間構成決定用の規則に関する内部の一貫性を反映
する。
【００２７】また、好ましくは、インターフェイス手段
は、グループ化された空間構成決定コマンドを表し、空
間構成を反映するトポロジに基づく位置に表示され、ユ
ーザにより移動されるアイコンと、アイコン間に適用さ
れる制約を表すリンクとを表示する。
【００２８】音楽的空間構成制御装置は、インターフェ
イス手段を介し、複数のオーディオソースのグループを
同時に含む包括的コマンドを処理してもよい。
【００２９】包括的コマンドは、通常、アコスティック
パート及びシンセサイザパートにそれぞれ対応する２つ
のグループ等のように複数のオーディオソースのグルー
プ間のバランスと、グループの位置を同時に比例させて
変更する音量レベルとのうちの少なくともいずれか一方
を含む。
【００３０】好ましくは、制約は一方向制約であり、各
制約は、ユーザがインターフェイス手段を介して入力し
た入力変数と出力変数の組を含む。
【００３１】本発明に係る音楽的空間構成制御装置は、
インターフェイス手段を介して入力されたオーディオソ
ースのグループ及びグループの構成要素に作用する制約
パラメータに関するミキシング制約を記録するプログラ
ムモードを有するものであってもよい。
【００３２】さらに、インターフェイス手段は、対応す
るアイコンにより各制約を表現し、制約を表現するアイ
コンは、制約が課されるオブジェクトに視覚的にリンク
されて表示される。
【００３３】制約は、オーディオストリームに関連付け
られたメタデータとして記録されるものであってもよ
い。
【００３４】各制約は、変数部分と制約部分からなるデ
ータ文字列により表されるものであってもよい。
【００３５】さらに、変数部分は、その変数がオーディ
オトラックに作用するかグループに作用するかを示す変
数タイプと、トラック識別データと、変数名と、変数ア
イコンと、各トラック変数に対する個別音量と、ｘｙ座
標で表される初期位置データとのうちの少なくとも１つ
を表す。
【００３６】一方、制約部分は、制約タイプと、個別の
トラックを識別する制約変数と、入力変数のリストと、
出力変数のリストと、制約位置と、制約方向とのうちの
少なくとも１つを表す。
【００３７】この音楽的空間構成制御装置において、空
間構成決定用の複数のオーディオソースは、光ディスク
又はハードディスク等の共通の記録媒体から読み出され
るものであってもよい。
【００３８】また、制約は、共通の記録媒体からメタデ
ータとして読み出されるものであってもよい。
【００３９】さらに、メタデータ及びオーディオストリ
ームが記録されているトラックは、例えばＷＡＶフォー
マット等に基づく共通のファイルから読み出されるもの
であってもよい。
【００４０】この音楽的空間構成制御装置は、共通のフ
ァイルを読み出し、オーディオデータ及び制約を表すメ
タデータにアクセスして、共通のファイルに含まれる個
別のトラックからオーディオストリームの組を再生し、
及び共通のファイルにエンコードされているメタデータ
の詳細を再生するオーディオデータ／メタデータデコー
ド手段を備えていてもよい。
【００４１】この音楽的空間構成制御装置は、コンピュ
ータオペレーティングシステムとサウンドカード間のイ
ンターフェイスとして実現してもよい。
【００４２】また、音楽的空間構成制御装置は、サウン
ドカード及びサウンドカードのメモリ内に物理的に配設
されている３次元オーディオバッファリング手段と連携
し、サウンドカードの３次元アクセラレーション機能を
使用するものであってもよい。
【００４３】さらに、音楽的空間構成制御装置は、バッ
ファリング手段への書込タスクを制御する待機可能タイ
マを備えていてもよい。
【００４４】この音楽的空間構成制御装置において、入
力手段は、共通ファイルにインターレースされているオ
ーディオストリームのオーディオトラックにアクセスす
るものであってもよい。
【００４５】音楽的空間構成制御装置は、３次元サウン
ドバッファと連携して定位制約を導入するものであって
もよい。
【００４６】好ましくは、制約は、関数制約又は不等式
制約であり、循環的制約は、伝搬アルゴリズムが矛盾を
検査することにより処理される。
【００４７】音楽的空間構成制御装置は、個別のオーデ
ィオソースと、制約及び関連する制約変数を記述するデ
ータベースとをインターレースして共通のオーディオフ
ァイルにエンコードするエンコード手段を備えていても
よい。
【００４８】さらに、音楽的空間構成制御装置は、エン
コード手段に対応して、共通のオーディオファイルをデ
コードするデコード手段を備えていてもよい。
【００４９】好ましくは、この音楽的空間構成制御装置
は、各楽曲に関する制約及び関連する制約変数を記述す
るデータベースが入力され、空間構成決定コマンドを生
成する制約システムモジュールと、エンコード手段から
の上記オーディオストリームの組と、制約システムモジ
ュールからの空間構成決定コマンドとが入力される空間
構成制御モジュールとを備える。
【００５０】音楽的空間構成制御装置は、好ましくは、
オーディオソース用の書込タスク及び読出タスクが同期
され、オーディオファイルからのオーディオストリーム
を空間構成制御モジュールに中継し、各楽曲に対する制
約及び制約に関連する変数を記述するデータベースを空
間構成制御モジュールに中継する３次元サウンドバッフ
ァ手段を備える。
【００５１】さらに、音楽的空間構成制御モジュール
は、制約システムモジュールと空間構成制御モジュール
とを接続するスケジューラ手段を備える。
【００５２】さらに、音楽的空間構成制御モジュール
は、静的オーディオセカンダリバッファ手段を備える。
【００５３】音楽的空間構成制御装置は、さらに、書込
タスクを所定の間隔で呼び出すタイマ手段を備えていて
もよい。
【００５４】また、空間構成制御モジュールは、遠隔制
御可能なミキシング装置であってもよい。
【００５５】また、制約手段は、検査アルゴリズムを実
行するように構成されていてもよい。
【００５６】また、上述の課題を解決するために、本発
明に係る音楽的臨場感形成装置は、共通のデータ記録媒
体からオーディオストリームデータと、空間構成決定の
ための制約を表すデータとを読み出すデータ読出手段を
有するパーソナルコンピュータと、データ読出手段から
データを受け取る入力手段を有する上述の音楽的空間構
成制御装置とを備える。
【００５７】このパーソナルコンピュータは、データ読
出手段から抽出されたコンテンツを格納する３次元サウ
ンドバッファを備えているとよい。
【００５８】さらに、この３次元サウンドバッファは、
ダイナミックリンクライブラリにより制御されるもので
あってもよい。
【００５９】また、上述の課題を解決するために、本発
明に係る記録媒体は、上述の音楽的空間構成制御装置に
使用され、オーディオストリームを表す複数のトラック
と、処理制約を表すデータとが格納されている。
【００６０】この記録媒体において、複数のトラックと
処理制約を表すデータとは共通のファイルとして記録さ
れているとよい。
【００６１】好ましくは、処理制約を表すデータは、ト
ラックに関するメタデータとして記録されている。
【００６２】さらに、トラックはインターレースされて
いるとよい。
【００６３】この記録媒体は、コンパクトディスク、デ
ジタルバーサタイルディスク、ミニディスク等のデジタ
ル記録媒体であるとよい。
【００６４】特に、この記録媒体は、コンピュータハー
ドディスクであるとよい。
【００６５】また、上述の課題を解決するために、本発
明に係るコンピュータプログラム製品は、上述の音楽的
空間構成制御装置をコード化して、汎用コンピュータの
内部メモリユニットにロードされ、汎用コンピュータに
より実行され、音楽的空間構成制御装置の構成要素を実
現するソフトウェアコードからなる。
【００６６】さらに、上述の課題を解決するために、本
発明に係る音楽的空間構成制御方法は、オーディオ空間
の構成を制御する音楽的空間構成制御方法において、オ
ーディオトラックに関連付けられた複数のオーディオソ
ースからなるオーディオストリームにアクセスするステ
ップと、オーディオストリームの空間構成決定用の規則
を表す制約を受け取り及び処理するステップと、制約手
段に空間構成決定コマンドを入力するステップとを有
し、オーディオソースの特定のグループに作用するグル
ープ化された空間構成決定コマンドに対応するユーザ入
力が提供され、オーディオソースのグループは、複数の
制約変数が適応される単一のオブジェクトとして処理さ
れる。
【００６７】
【発明の実施の形態】以下、本発明に係る音楽的空間構
成制御装置、音楽的臨場感形成装置、及び音楽的空間構
成制御方法について図面を参照して詳細に説明する。
【００６８】本発明の好ましい実施の形態を説明するに
あたり、まず、本発明が実現される「ミュージックスペ
ース（MusicSpace）」と呼ばれるシステムの概要を説明
し、続いて、本発明により実現される基礎的な概念のさ
らなる説明を行う。
【００６９】音楽空間システムミュージックスペース
（MusicSpace）は、空間処理装置（spatialiser）への
高レベルのコマンドを生成するユーザインターフェイス
である。ミュージックスペースのインターフェイス及び
制約解決アルゴリズムの特徴については、１９９９年、
中国北京で開催された国際コンピュータミュージック会
議の会報（Proceedings of the 1999 International Co
mputer Music Conference）におけるパシェ・エフ（Pac
het, F.）及びドゥレリュー・オー（Delerue, O.）によ
る論文「ミュージックスペース：音楽空間構築のための
制約に基づく制御システム（MusicSpace: a Constraint
-Based System for Music Spatialisation）」及び、１
９９８年、ブリストルで開催されたＡＣＭマルチメディ
ア会議の会報（Proceedings of the 1998 ACM Multimed
ia Conference）におけるパシェ・エフ及びドゥレリュ
ー・オーによる論文「時間的制約に基づく音楽空間処理
装置」に開示されている。
【００７０】ミュージックスペースの基礎的な発想は、
ウィンドウ内に聴取者を表すシンボルと、音源を視覚的
に表示するものであり、この方法は、例えば欧州特許出
願ＥＰ−Ａ−０９６１５２３号にも開示されている。こ
のウィンドウ内において、ユーザは、聴取者を表すアイ
コン又は楽器を表すアイコンを移動させることができ
る。音源の聴取者の位置に対する相対的関係により、距
離を音量及びパノラマ的制御（panoramic controls）に
マッピングする単純な幾何的な規則に基づいて、楽曲全
体のミキシングが決定される。
【００７１】音源の実時間によるミキシングは、ミュー
ジックスペースから例えばミキシングコンソール、ＭＩ
ＤＩ空間処理装置（MIDI Spatialiser）又は上述のジョ
ット及びワルスフェル（Jot and Warusfel）により開示
されているようなより高度な空間処理装置等が接続され
ている装置にコマンドを送信することにより実行され
る。
【００７２】図１〜図５は、欧州特許出願ＥＰ−Ａ−０
９６１５２３号に開示されている発明に基づく制約アル
ゴリズムを用いた処理の手順を示すフローチャートであ
る。具体的には、図１は、「全ての制約の伝搬（propag
ateAllConstraints）」と称す処理のフローチャートで
あり、パラメータとして、変数Ｖと値New Valueを有す
る。図２は、「１つの制約の伝搬（propagateOneConstr
aint）」と称す処理のフローチャートであり、パラメー
タとして、制約Ｃと変数Ｖを有する。図３は、「不等式
制約の伝搬（propagateInequality/Constraint）」と称
す処理のフローチャートであり、パラメータとして、制
約Ｃを有する。図４は、「関数制約の伝搬（propagateF
unctionalConstraint）」と称す処理のフローチャート
であり、パラメータとして、制約Ｃと変数Ｖを有する。
図５は、「摂動」処理のフローチャートであり、パラメ
ータとして、変数Ｖ、値New Value及び制約Ｃを有す
る。
【００７３】図１に示す「全ての制約の伝搬」処理は、
本発明におけるアルゴリズムの主な流れを示している。
この処理におけるパラメータの組に含まれる変数Ｖは、
ユーザが動かした聴取者又は音源（以下、要素ともい
う。）の位置、すなわち座標（０，ｘ，ｙ）における位
置に対応している。この処理におけるパラメータの組に
含まれる値New Valueは、ユーザによって変更された後
の位置の値に対応している。ステップＳ１は、初期化ス
テップであり、この処理において用いられる様々な局所
的な変数が初期化される。ステップＳ２において、変数
Ｖを含む制約の組の中の各制約Ｃに対して、後述の「１
つの制約の伝搬」と称する処理が呼び出される。ステッ
プＳ３において、ユーザが活性化した全ての制約Ｃが充
足されたかを判定することにより、制約Ｃに基づく問題
の解が見つかったか否かが判定される。具体的には、結
果が真であるか否かが判定され、該当するときはステッ
プＳ４に進み、該当しないときはステップＳ５に進む。
ステップＳ４において、制約解決装置３により音源及び
聴取者（要素）の元の位置が新たな位置で置換され、新
たな位置がユーザインターフェイス装置２及びコマンド
発生装置４に供給される。一方、ステップＳ５におい
て、ユーザが動かした要素は、元の位置に戻され、それ
以外の要素の位置は変更されず、「解が見つかりませ
ん」というメッセージがグラフィック表示画面２０に表
示される。
【００７４】図２に示す「１つの制約の伝搬」処理で
は、ステップＳ１１において、制約Ｃが関数制約か不等
式制約かが判定され、制約Ｃが関数制約である場合は、
ステップＳ１２に進み、制約Ｃが不等式制約である場合
は、ステップＳ１３に進む。ステップＳ１２において、
この制約Ｃに対して、後述の「関数制約の伝搬」と称す
処理が呼び出される。一方、ステップＳ１３において、
この制約Ｃに対して、後述の「不等式制約の伝搬」と称
す処理が呼び出される。
【００７５】図３に示す「不等式制約の伝搬」では、ス
テップＳ２１において、制約解決装置３は、単に不等式
制約Ｃが充足されているかを判定し、該当するときはス
テップＳ２２に進み、該当しないときはステップＳ２３
に進む。ステップＳ２２において、アルゴリズムが続行
される。一方、ステップＳ２３において、ブール変数
「結果（result）」が偽（false）とされ、図１におけ
るステップＳ５に戻り、アルゴリズムが終了する。
【００７６】図４に示す「関数制約の伝搬」処理では、
ステップＳ３１において、結果の初期化が行われる。続
いて、ステップＳ３２において、制約Ｃに含まれる変数
の組の中の変数Ｖとは異なる各変数Ｖ’に対し、パラメ
ータとして、制約Ｃ及び変数Ｖ，Ｖ’を有する後述の
「値の演算」が呼び出されるとともに、「値の演算」処
理によって算出された値NewValueに基づいた後述の「摂
動」と称す処理が呼び出される。
【００７７】「値の演算」処理の役割は、変数Ｖの新た
な値と、関数制約である制約Ｃに基づいて、変数Ｖ’に
任意の値を与えることである。理解しやすいように、そ
れぞれＸ，Ｙ，Ｚで表される３つの変数を含んだ制約の
一般的な例を用いて、この処理を説明する。変数Ｘ，
Ｙ，Ｚにリンクした関数制約は、次式で表される。
【００７８】Ｘ＋Ｙ＋Ｚ＝定数 ここで、変数Ｘの値が、ユーザによって変更されると、
制約解決装置３は、制約の充足を維持するために、変数
Ｙ，Ｚの値を変更する。Ｘの１つの値に対して、変数
Ｙ，Ｚに対する解は無限にある。ユーザによって変数Ｘ
の値が変更されると、変数Ｙ，Ｚに任意の値が与えら
れ、１つの解が導き出される。例えば、変数Ｘの値がδ
だけ増加すると、変数Ｙ，Ｚの各値をδ／２だけ増加す
るように決定することができる。
【００７９】このような任意の値への変更は、本発明に
おいては、二元でない制約、すなわち２つの変数を含む
制約に対して実行される。Ｘ＋Ｙ＝定数のような二元の
制約では、ユーザによって摂動される以外の変数の値
は、以下のように直接的に求めることができる。
【００８０】Ｙ＝定数−Ｘ 音源の位置に関する上述した関数制約、すなわちグラフ
ィカルオブジェクトを関連させる制約及びグラフィカル
オブジェクトを関連させない制約における「値の演算」
処理について説明する。
【００８１】制約が、グラフィカルオブジェクトを関連
させる制約である場合、「値の演算」処理は、次式に示
す比率計算を含む。
【００８２】 比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖ ここで、NewValue(V)は、摂動された変数Ｖの新たな値
であり、Value(V)は、変数Ｖの元の値であり、Ｓ0は、
聴取者の位置である。すなわち、この比率は、変数Ｖで
表される音源と聴取者間の現在の距離を、変数Ｖで表さ
れる音源と聴取者間の元の距離で割ったものである。
【００８３】そして、変数Ｖ’に与えられる値NewValue
は、次のように算出される。
【００８４】 NewValue＝(Value(V')−Ｓ０)×比率＋Ｓ０ ここで、Value(V')は、変数Ｖ’の元の値である。
【００８５】すなわち、変数Ｖの値の変更に応じて、グ
ラフィカルオブジェクトを関連させる制約によってリン
クされた変数Ｖ’の値が変更され、それに伴い、変数
Ｖ’で表される音源と聴取者間の距離が、変数Ｖの場合
と同じ比率で変更される。
【００８６】一方、制約が、グラフィカルオブジェクト
を関連させない制約であるとき、「値の演算」処理は、
上述した同じ比率を有するの演算と、変数Ｖ’に与えら
れる新たな値NewValueを算出する演算とを含む。
【００８７】 比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖ NewValue=（Value(V')−Ｓ０）×比率１／（Ｎｃ−１）
＋Ｓ０ ここで、Ｎcは、制約Ｃに含まれる変数の数である。
【００８８】すなわち、変数Ｖの値の変更に応じて、グ
ラフィカルオブジェクトを関連させない制約によって変
数Ｖにリンクされた各変数Ｖ’に、音源と聴取者間の距
離を一定に保つような任意の値が与えられる。
【００８９】「関数制約の伝搬」処理のステップＳ３２
において、上述した「値の演算」処理によって変数Ｖ’
に新たな任意の値が与えられた後に、「摂動」処理が実
行される。「摂動」処理は、変数Ｖ’から摂動を、制約
Ｃとは異なる制約Ｃ’を介して変数Ｖ’にリンクした全
ての変数に伝搬するものである。
【００９０】このアルゴリズムの中心は、Ｓｉを元の変
更された音源とし、NewValueをユーザにより指定された
値として、処理の伝搬（Ｓｉ, NewValue）を行うことで
ある。
【００９１】本発明では、この空間処理システムを発展
させ、高レベルなコマンド言語を使用して、個別の音源
ではなく、関連する音源のグループを移動させる。この
新たな高レベルのコマンドは、任意の空間処理システム
に使用することができる。
【００９２】ミュージックスペースの基本的な設計につ
いては、上述した通りであり、以下では、オーディオバ
ージョン（audio version）に関する技術的側面につい
て説明する。
【００９３】ここに説明するシステムは、次の２つのモ
ジュールからなる。すなわち、１）高レベルの空間処理
コマンドを生成する制御装置と、２）実時間の空間処理
及び音源のミキシングを行う空間処理モジュールであ
る。制御システムは、ＭＩＤＩシェアオペレーティング
システム（１９９９年、国際コンピュータミュージック
会議会報、フォバー・ディー（Fober, D.）レッツ・エ
ス（Letz, S.）オーラレイ・ワイ（Orlarey, Y.）著
「ＭＩＤＩシェアジョインズザオープンソースソフトウ
ェア（Midishare joins the Open Source Softwar
e）」）及びJavaに基づく制約解決装置及びユーザイン
ターフェイス装置により実現される。空間処理モジュー
ルは、基礎となるオペレーティングシステムに対するイ
ンターフェイス（例えば、マイクロソフトDirectX（Mic
rosoft DirectX）、オンライン情報http://msdn.micros
oft.com/directx/crosoft.com/directx/（ＡＰＩホーム
ページ、ダウンロード及び文書）及びhttp://www.direc
tx.com/://www.directx.com/（伝搬関連）参照）、及び
サウンドカードを備える。
【００９４】ミュージックスペースは、空間処理の分野
以外に、以下のような状況に応用して使用することがで
きる。すなわち、ａ）実時間データのストリーム離散パ
ラメータにより制御される（例えば、距離、パン、方向
等により制御される音源のストリームである）状況、及
び／又は、ｂ）これらパラメータ間の関係が制約又は制
約の組み合わせとして表現できる状況である。
【００９５】このような状況は、作曲、音の合成（synt
hesis）、実時間制御等の作業時に頻繁に発生する。他
の応用例としては、例えば、他の音源の周りを自動的に
周回する音源又は、制約により定義された経路を自動的
に移動する音源等、音源の自動活動（automatic animat
ion）がある。
【００９６】ミュージックスペース及び関連事項に関す
る情報は、http://www.csl.sony.fr/MusicSpace/MusicS
paceからも入手できる。
【００９７】動的ミキシング（Dynamic Mixing） 音楽を聴く側でミキシング処理を行えるようにすること
により、音楽を聴く楽しみは向上する。例えばステレ
オ、ドルビー（Dolby）、ＤＴＳ等の方式に基づいてミ
キシング処理され、聴取者側では、単に再生するだけの
音楽提供の方法とは異なり、動的ミキシングでは、オー
ディオトラックを個別に提供し、聴取者が聴取時にこれ
ら分離された個別のオーディオトラックをミキシング又
は空間処理することができる。
【００９８】この動的ミキシングを実現するために、複
数のオーディオトラックには、これらのオーディオトラ
ックをどのようにミキシングし、音源間でどのような関
係を維持することが重要かを記述する命令の組が添付さ
れる。オーディオトラックを分離する方式の融通性の他
に、いわゆる「オンザフライ（on-the-fly）」ミキシン
グは、聴取者に対してさらなる自由を与える。すなわ
ち、聴取者は、単一の楽曲に複数のミキシング状態を与
えることができ、したがって、楽曲に対するレンダリン
グ（rendering）を選択して、特定の音楽的次元（music
al dimension）を強調し、又は聴取者の嗜好に適合させ
ることができる。
【００９９】音楽的レンダリング（Musical Renderin
g） 本発明によれば、与えられた楽曲の個別のトラックにア
クセスすることができ、同一の音源の組に対し複数の構
成（arrangement）を作成することができる。複数の音
源は、「ハンドル（handles）」としてユーザに与えら
れる。第１の可能性として、もちろん、普及している標
準的なコンパクトディスクと同様の元のミキシングを再
生することができる。さらに、後述するように、音源の
構成を変形して定義することもできる。
【０１００】図６は、ある楽曲の「アカペラ（a capell
a）」レンダリングの例を示す図である。アカペラスタ
イルを実現するために、高調波成分を発生する全ての楽
器は、ミュートされ、すなわち対応するアイコンに×印
が付される。リードシンガー、バックボーカル等の様々
なボーカルトラックは、ミュートされず、聴取者の近く
に配置される。ドライミックス（dry mix）を回避する
ために、ドラム及びベースの一部の音は出力されるが、
聴取者からやや遠くに配置される。ここで、このユーザ
インターフェイス装置の表示画面は、本発明に基づき、
個別の楽器を表示するのではなく、楽器のグループを符
号Ｈで指示する対応するアイコン、すなわち「ハンド
ル」により集合的に表示している。これらハンドルは、
例えば、アコスティック、ストリングス、ベース、ドラ
ム等に対応する。この具体例では、各パーカッションの
音源は、単一の組にまとめられている。
【０１０１】これらと同じ音源の組を用いて、後述する
「アンプラグド（unplugged）」や活動ミキシング（ani
mated mix）等、他のレンダリングを作成することもで
きる。
【０１０２】図７は、同じ楽曲の「テクノ（techno）」
レンダリングを示す。テクノレンダリングは、テクノハ
ンドルをアクティブにすることにより得られる。ここで
は、シンセサイザ及びリズム楽器が強調され、聴覚的空
間（auditory scene）の正面に配置される。結果の一貫
性を維持するために、ボーカル及びアコスティック楽器
はミュートせず、後方に配置し、これにより聴取者にと
って目立たないようにしている。
【０１０３】ミキシング結果に変化を与えるために、こ
の表現では活動制約（animated constraints）を用い
る。ストリングス、音響効果（sound effects）、及び
テクノトラック用のハンドルのグループは、互いに回転
制約（rotating constraint）に関連付けられ、それぞ
れがユーザに近付くたびに、これらストリングス、音響
効果、テクノトラックが周期的に強調される。ドラムト
ラック及びベーストラックも回転制約に関連付けられて
いるが、ドラムトラック及びベーストラックは、角度制
限制約により、左右を往復する動きとなる。
【０１０４】欧州特許出願ＥＰ−Ａ−０９６１５２３号
に開示されているアルゴリズムは、潜在的に全ての変数
を入力及び出力の両方として取り扱うが、本発明は、１
つの制約について、任意の変数を入力及び／又は出力と
して特定することができる。この方法を図８を用いて説
明する。各制約Ｃには、いわゆる「入力変数」と称され
るリストと、「出力変数」と称されるリストとが与えら
れる。図８に示す例では、入力変数は、Ｖ１、Ｖ２、Ｖ
３、Ｖ６であり、出力変数は、Ｖ２、Ｖ３、Ｖ ５、Ｖ６
である。
【０１０５】これらの２つのリストの内容は、図９に示
すグラフィカルユーザインターフェイスを介して、ユー
ザにより決定される。このインターフェイス画面は、プ
ログラミングされた制約に基づくグループ間の関係を示
すリンクを表している。これらリンクに対しては、ユー
ザインターフェイス装置に対する適切な入力コマンドに
より、挿入、移動、削除等の処理を行うことができる。
【０１０６】これにより、特定の制約に基づいて音源を
グループ化することができる。このようにグループ化さ
れた音源の組は、許容できる解とともに制約解決アルゴ
リズムを適用できる統一性のある集合（coherent whol
e）を形成する。ユーザインターフェイスのレベルで
は、音源ではなく、例えばアコスティック、ストリング
ス、ボーカル等、上述した音源のグループが表示され
る。これにより、各音源を個別の入力変数とすることに
より生ずる矛盾を含む空間処理（conflicting spatiali
sation）をユーザが行ってしまう可能性がなくなる。す
なわち、本発明によれば、ユーザは、集合的なコマンド
を用いて、表示されている１以上の音源のグループの位
置を変更することができる。内部の一貫性により、入力
された位置変更のコマンドは、制約解決装置により許可
されるものである可能性が高くなる。
【０１０７】高レベルハンドル（High level handles） 本発明に基づくユーザの「ハンドル」は、音源のグルー
プとこれら音源に関連する制約を単一のインターフェイ
スオブジェクトに内包させたものである。これらハンド
ルは、いわゆる「一方向制約（one way constraint
s）」により実現され、この一方向制約は、基本的な制
約解決装置の機能を僅かに拡張することにより得られ
る。これらハンドルにより、ユーザは、全体のミキシン
グを動的に変更することができる。このように、与えら
れた構成において複数のハンドルが共存でき、従来変更
できなかった唯一のミキシングに対し、統一性のある変
化の組をユーザに提供できる。
【０１０８】図１０に示す具体例では、音源は表示され
ておらず、ユーザは、所定の楽曲に対して特別に生成さ
れ、表示された１組のハンドルＨのみにアクセスする。
この例では、ユーザは、第１のハンドルＨ−１を音源の
アコスティックパートの調整に割り当て、第２のハンド
ルＨ−２をシンセサイザ楽器の調整に割り当て、第３の
ハンドルＨ−３をドラムの調整に割り当て、第４のハン
ドルＨ−４をボーカルの調整に割り当てている。さら
に、この具体例では、アコスティックパートとシンセサ
イザパート間のバランス制御を行うためのプラグハンド
ルと称されるハンドルＨＰを設けている。このプラグハ
ンドルＨＰを聴取者Ｌに近付けることにより、シンセサ
イザパートが強調され、アコスティックパートが目立た
なくなる。逆に、プラグハンドルＨＰを聴取者Ｌから遠
ざけることにより、アコスティックパートが強調され、
シンセサイザパートが目立たなくなる。同様に、ボリュ
ームハンドルＨＶも設けられており、このボリュームハ
ンドルＨＶにより、全ての音源の位置を同時に一定の比
で変更させることができる。
【０１０９】図１０に示す具体例では、制約システムを
拡張して使用し、音源（例えば、図６に示す）及び対応
するハンドルＨ間の対応関係を構築する。
【０１１０】図９は、本発明に基づくユーザインターフ
ェイスのプログラムモードを示す。このプログラムモー
ドでは、空間処理される全ての要素（element）、すな
わちハンドルＨ、音源、制約、一方向制約が表示され
る。
【０１１１】制約及びミキシング一貫性（Constraints
and Mixing Consistency） ユーザが音源の構成を変更し、すなわちミキシングを行
うにあたり、ユーザは、統一性のある（coherent）聴き
心地のよいミキシングを行うために必要な知識を必ずし
も有していない。実際、音響技術者の知識を明確に表現
することは難しい。基礎的な操作は、フェーダ又はノブ
等の操作子を介して行われる。しかしながら、ミキシン
グは、それ以上単純化できない操作（irreducible acti
ons）の構成（composition）として定義される高レベル
の操作を含む。例えば、音響技術者は、全ての録音レベ
ルが常に合理的な範囲内に設定されることを望む。一
方、複数の音源は、他の音源に論理的に依存しているこ
とがある。例えば、リズムセクションは、ベーストラッ
クと、ギタートラックと、ドラムトラックから構成され
ていることがある。
【０１１２】この他の典型的なミキシング操作として、
楽器又は楽器のグループに境界を割り当て、その楽器又
は楽器のグループを常に与えられた空間的範囲内に留ま
らせる操作がある。このような操作の結果、ある音源の
音量を他の音源から独立させて設定することができなく
なる。通常、フェーダを上げると、他のフェーダ又は他
のフェーダのグループが下がる。
【０１１３】音の空間処理に関するこの種の知識は、制
約の組としてエンコードされ、ミュージックスペースに
統合された効率的な制約伝搬アルゴリズムにより実時間
で解釈される。制約は、常に充足されるべき関係であ
る。制約は、設計者により叙述的に宣言され、これによ
り複雑なアルゴリズムをプログラミングする必要がなく
なる。制約伝搬アルゴリズムは、特に、１９９６年、
「知識に基づくシステム」、エルスビエ、第９巻−７、
第４４９〜４６４頁（Knowledge-Based System, Elesvi
er, vol.9, n7, pp.449-464）に掲載されているハウワ
ー・ダブリュー（Hower, W.）、グラフ・ダブリュー・
エイチ（Graf W.H.）による論文「ＣＡＤ、グラフィク
ス、レイアウト、視覚化及び関連するトピックへの制約
に基づくアプローチに関する文献概観（a Bibliographi
cal Survey of Constraint-Based Approaches to CAD,
Graphics, Layout, Visualization, and related topic
s）」に記載されているグラフィカルインターフェイス
のレイアウト管理のための応答システム（reactive sys
tem）の構築に関連している。
【０１１４】音源間の「関心のある（interesting）」
関係を特定する手法は、欧州特許出願ＥＰ−Ａ−０９６
１５２３号に開示されている。この文献には、以下のよ
うな制約を定義している。 ・不等式‖ｐi−ｌ‖＞ａi,j＞‖ｐj−ｌ‖で表される
オブジェクトを関連させる制約（related-objects cons
traints）。ここで、ｐi及びｐjは、２つの異なる音源
の位置であり、ａi,jは、所定の定数である。 ・オブジェクトを関連させない（リンクさせない）制約
（anti-related (anti-link) object）。これは、制約
に含まれる音源と聴取者間の距離の和を一定に維持する
ことを定めるものであり、すなわち、ｉ＝１〜ｎとし
て、和‖ｐｉ−１‖＝定数とするものである。 ・半径を制限する制約。この制約は、聴取者と制約に含
まれる音源間の距離が所定の範囲内にあることを定める
ものである。すなわち、この制約は、各音源について次
のような式で表される。‖ｐi−ｌ‖≧αinf-i、ここ
で、αinf-iは、位置ｐiの音源に課された半径の下限を
示し、及び／又は‖ｐi−ｌ‖≦αsup-i、ここでａsup-
iは、位置piの音源に課された半径の上限を示す。 ・角度制約（angular constraints）。この制約は、制
約が課せられる音源の聴取者に対する角度が所定の範囲
内にあるように規定するものである。
【０１１５】ミキシングに関する制約の多くは、音源の
集合と聴取者とを含む。本発明に基づく最も有効な制約
の幾つかを以下に示す。 ・一定エネルギレベル（Constant Energy Level） この制約は、複数の音源間のエネルギレベルを一定とす
ることを課する制約である。直感的に、一方の音源が聴
取者に近付けられると、他方の音源が聴取者から遠ざけ
られ、逆に、一方の音源が聴取者から遠ざけられると、
他方の音源が聴取者に近付けられる。 ・一定角度オフセット（Constant Angular Offset） この制約は、複数の音源間の角度を一定とすることを課
する制約である。この制約は、音源の空間的構成を維持
し、すなわち、２つのオブジェクトと聴取者により形成
される角度を一定に保つ。 ・一定距離比（Constant Distance Ratio） この制約は、２以上のオブジェクトから聴取者までの距
離の比を一定に保つことを課する制約である。 ・音源の半径制限（Radial Limits of Sound Sources） この制約は、音源の位置を制限された半径により規定さ
れる範囲内に制限する制約である。この範囲は、聴取者
の表現を中心とする円により定義される。 ・グループ化制約（Grouping constraint） この制約は、ｎ個の音源の組をグループ化する、すなわ
ち、聴取者の表現の位置にかかわらず、これらオブジェ
クト間の距離を一定に保つことを課する制約である。
【０１１６】他の典型的な制約として、位置に関連しな
い変数（non-geographical variables）を有する象徴的
制約（symbolic constraints）がある。例えば、「非両
立制約（incompatibility constraints）」は、同時に
２つ以上の音源を発音しない、すなわち、最も近い音源
のみを発音し、他の音源をミュートする。他の複雑な制
約としては、「等化制約（Equalizing constraint）」
があり、これは、ミキシング全体の周波数をイコライザ
の周波数範囲内に制限する制約である。例えば、音の全
体の周波数スペクトルを平坦にする。
【０１１７】制約アルゴリズム 上述の制約の例から、制約には以下の特性があることが
わかる。 ・制約は、線形ではない。すなわち２つ以上の音源間の
一定エネルギレベルは、線形ではない。 ・制約の全てが関数的ではない。すなわち音源の位置の
制限は、通常、不等式制約である。 ・制約は循環（cycles）を生じる。例えば、単に一定エ
ネルギレベル制約及び一定角度オフセット制約によりリ
ンクされた２つの音源は、既に循環的制約グラフを生じ
ている。
【０１１８】好ましい実施の形態において、制約アルゴ
リズムは、単純な伝搬スキームに基づいており、これに
より関数制約及び不等式制約を処理することができる。
制約アルゴリズムは、単に制約をチェックすることによ
り循環を処理する。制約アルゴリズムの重要な特徴は、
伝搬処理（propagation procedures）を定義することに
より、新たな制約クラスを容易に追加できる点にある
（上述のPahchet and Delerue 1998, 参照）。
【０１１９】制約システムの拡張 本発明に基づく方法には、上述したハンドルＨにより識
別される新たな制約変数が含まれる。これらオブジェク
トは、特定のオーディオトラックに割り当てられない制
約変数である。
【０１２０】本発明の好ましい実施の形態では、制約伝
搬メカニズムを拡張し、いわゆる一方向制約（one-way
constraints）の管理を行う。この制約解決装置の拡張
は、制約により許可された方向のみに摂動を伝搬させる
処理からなる。
【０１２１】１）ハンドル変数 実現の観点から、各ハンドルは、以下の制限を有する音
源変数とみなされる。
【０１２２】コマンド発生装置は、ハンドル変数の位置
を考慮しない。制約解決装置及びコマンド発生装置間の
リンクは、系統的（systematic）ではなく、変数が実際
の音源に関連付けられているかを確認するチェックが行
われる。
【０１２３】図９は、一方向制約のグラフを示す図であ
る。小さな矢印は、その矢印の向きに応じて、どの変数
が入力されるものであり、どの変数が出力されるもので
あるかを示している。
【０１２４】２）本発明に基づくアルゴリズムの拡張インターフェイス 制約を設定するためのインターフェイスは、わかりやす
い構成を有している。各制約は、ボタンにより表示さ
れ、制約は、まず制約すべきグラフィカルオブジェクト
を選択し、続いて適切な制約をクリックすることにより
設定される。制約そのものは、制約オブジェクトからの
引出線によりリンクされた小さなボールとして表現され
る。
【０１２５】図１１は、ジャズトリオ用の典型的な音源
の構成を示す図である。以下のような制約が設定され
る。 ・ベース及びドラム音源は、一定距離比制約によりリン
クされ、これによりベース及びドラム音源はグループ化
され、一定の距離比を保つ。 ・ピアノは、バランス制約によりリズムセクションにリ
ンクされている。これにより、ピアノとリズムセクショ
ンの合計レベルが一定とされている。 ・ピアノは、最大距離制約により移動が制限されてい
る。これにより、ピアノは常に聴くことができる。 ・ドラムは、２つの角度制約により、所定の角度範囲内
に移動が制限されている。これにより、ドラムは、概
ね、全音場（panoramic range）内の略々中央に定位す
る。
【０１２６】図１１に示す初期状態から、ユーザはピア
ノを自らを表す聴取者の表現に近付くよう移動させる。
これにより制約システムがトリガされ、他の音源が制約
の組を充足するように移動される。
【０１２７】データベース １）メタデータフォーマットの詳細 本発明において使用される制約の詳細について説明す
る。
【０１２８】制約の組の構成は、以下のように文字列で
表現される。このフォーマットは、変数部分と制約部分
の２つの部分からなる。
【０１２９】ｉ）変数部分 独立した各サウンドトラックには、１〜ｎの番号が付さ
れる。各トラックパラメータは、以下の順序で１つずつ
特定される。 ・変数タイプ（「ハンドル」又は「トラック」） ・変数名 ・変数アイコン ・独立音量（「トラック」変数のみ） ・初期位置（ｘ，ｙ座標）
【０１３０】ｉｉ）制約部分 各制約は、以下の情報により表現される ・制約タイプ（可能な制約タイプの１つ） ・入力変数のリスト ・出力変数のリスト ・制約位置
【０１３１】２）処理の特徴 従来の技術と比較し、本発明に基づく方法は以下のよう
な特徴を有している。
【０１３２】ｉ）複数の音源をデータ記録媒体（例え
ば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ）にエンコード
し、及びこれらデータ記録媒体からデコードする。した
がって、ＭＩＤＩフォーマットを取り扱う欧州特許出願
ＥＰ−Ａ−０９６１５２３号に記載されている方法に比
べて、明確な音源処理を実現することができる。
【０１３３】ｉｉ）音源レベルの最上位にあたる高レベ
ルの制御を導入する。これらの制御は、音源の組を包含
し、これによりユーザは、音源の構成に関するより高度
な制御を行うことができる。
【０１３４】ｉｉｉ）図１２に示すように、関数制約伝
搬処理「propagateFunctionalConstant」に検査（tes
t）を追加する処理をアルゴリズムに追加する。
【０１３５】本発明の具体例では、この新たな検査は、
上述の処理に組み込まれる。
【０１３６】図１３は、本発明に基づく処理のデータフ
ローを説明するための図である。
【０１３７】この処理では、まず、与えられた楽曲の個
別のオーディオトラックと、これらトラック用の基礎ミ
キシング規則を特定するミキシングメタデータとの２種
類のデータがエンコードされる。エンコードされたこれ
ら２種類のデータは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、
ミニディスク又はコンピュータのハードディスク等の民
生用電子機器で使用されているオーディオ媒体（audio
support）の共通ファイルに記録される。オーディオ媒
体は、本発明に基づく空間処理装置用に特化された記録
媒体として、配給業者が提供してもよい。
【０１３８】このように録音された楽曲を再生するため
に、オーディオ媒体は、空間処理装置のデコードモジュ
ールに挿入され、このデコードモジュールは、上述の２
種類のデータにアクセスして、ユーザインターフェイス
にユーザ制御用の画像を表示する。これらのデータは、
制約システムモジュールにより処理され、空間処理コマ
ンドが生成される。これらの空間処理コマンドは、空間
処理制御モジュールに供給され、空間処理制御モジュー
ルは、対応する空間処理されたマルチチャンネルオーデ
ィオ信号を再生装置に供給し、再生させる。
【０１３９】３）各モジュールの詳細 ｉ）オーディオ及びメタデータエンコーダ このモジュールには、以下の情報が入力される。 ・個別のオーディオトラック（モノフォニックフォーマ
ット、本発明に基づき、例えばサンプリングレート、分
解能等、他のパラメータを情報に組み込んでもよい。） ・制約システムに必要な制約及び関連する制約変数を記
述するメタデータの組。これらのメタデータは、象徴的
なテキストフォーマットで表現される。 ・フォーマット名 フォーマット名は、例えばＡＩＦＦ、ＷＡＶ、ＭＰＥＧ
４（これらに限定されない）等、多重化されたオーディ
オデータ及び任意のメタデータをサポートする。
【０１４０】エンコーダは、フォーマット名に基づき、
オーディオトラック及びメタデータを単一のファイルに
エンコードする。このファイルのフォーマットは、通
常、ＷＡＶ（ウェーブファイル）である。ここでは、複
数のモノフォニックトラックを単一のウェブファイルに
エンコードする処理を標準的な処理とする。メタデータ
情報は、ユーザ固有の情報であり、ＷＡＶフォーマット
内では、<assoc-data-list>として表現される。ＷＡＶ
フォーマットの詳細については、http://www.cwi.nl/ft
p/audio/RIFF-formatnl/ftp/audio/RIFF-format又は、h
ttp://vision1.cs.umr.cdu/ johns/links/music/audio
file1.htmlic/audiofile1.htmlに記載されている。
【０１４１】例えばＡＩＦＦ又はＭＰＥＧフォーマット
等、他のフォーマットも同様に、すなわち特別な情報用
に設計されたフィールドを使用することにより、処理す
ることができる。
【０１４２】メタデータのフォーマットの詳細について
は、後述する。
【０１４３】ｉｉ）オーディオ及びメタデータデコーダ このモジュールは、エンコーダにより生成された１つの
フォーマットのファイルを受け取り、以下の情報を生成
する。 ａ）各トラックに基づくオーディオストリームの組 ｂ）エンコードされたフォーマットに基づくメタデータ
の詳細 オーディオストリームの組は、空間処理モジュールに供
給される。
【０１４４】メタデータの組は、制約システムモジュー
ルに供給される。
【０１４５】単一のファイルからトラック及びメタデー
タの組をデコードする処理は、例えばＷＡＶデコーダ
（ここでは、この処理を標準とする）を用いて実行され
る。
【０１４６】３次元バッファ技術 DirectXは、最も精密な空間処理システムであるとは言
い難いが、本発明の実現において、この拡張は様々な利
点を有している。
【０１４７】第１に、DirectXは、ミュージックスペー
スを用いて制約を課すことができる３次元音源を記述す
るパラメータを提供する。例えば、DirectX音源は、定
位（orientation）、方向（directivity）、及びドップ
ラーパラメータまでも備えている。定位制約（orientat
ion constraint）は、既に設計されており、ミュージッ
クスペースの制約ライブラリに含まれている。この制約
は、２つの音源が常に向き合う（face）状態にあること
を課し、一方の音源が移動されると、これに応じて他方
の音源の定位が移動される。第２に、DirectXは、多数
の音源を実時間で処理することができる。これは、関連
する音源が数十個もある複雑な交響曲のミキシング等に
おいて有効である。第３に、DirectXは、多くのパーソ
ナルコンピュータに導入されており、このため広範囲に
亘るユーザがミュージックスペースを使用することがで
きる。
【０１４８】空間処理制御モジュールには、以下のよう
な情報が入力される。 ・デコーダによりデコードされた個別のオーディオスト
リーム。 ・制約システムから供給される空間処理コマンド このモジュールは、マイクロソフト社（登録商標）のDi
rectX空間処理ミドルウェアとともに使用するために再
設計されている点を除き、欧州特許出願ＥＰ−Ａ−０９
６１５２３号に開示されているモジュールと同様のもの
である。
【０１４９】オーディオバージョンは、パーソナルコン
ピュータ用の特定のダイナミックリンクライブラリ（ｄ
ｌｌ）により実現され、これによりミュージックスペー
スは、マイクロソフトDirectX3Dサウンドバッファを制
御することができる。このミュージックスペースオーデ
ィオ用のダイナミックリンクライブラリは、基本的に、
DirectXのＡＰＩ Ｃ＋＋様式を例えば整数などJavaに
より処理できる単純な様式に変換することにより、Java
アプリケーションとDirectX間を接続する。
【０１５０】図１４に示すシステムアーキテクチャに示
すように、空間処理モジュール１００は、基底のオペレ
ーティングシステム（上述のマイクロソフトDirectX）
１０２とサウンドカード１０４間のインターフェイスを
司る。この空間処理モジュール１００は、Java（インタ
ーフェイス）及びＣ＋＋（空間処理モジュール）間のデ
ータ様式の変換とともに、実時間によるオーディオファ
イルのストリーミングを行う。図１４に示すように、空
間処理システムへの接続は、サウンドカード１０４の様
々なバッファを管理する低レベルスケジューラを実装す
ることにより実現される。図１４に示すシステムは、ウ
ィンドウズ（登録商標）９８をプラットフォームとする
パーソナルコンピュータにより実現される。サウンドカ
ード１０４としてクリエイティブサウンドブラスタライ
ブ（Creative Sound Blaster Live）が装着され、４チ
ャンネル方式のスピーカ装置から音を出力するマルチメ
ディアパーソナルコンピュータにより実験を行った結
果、最大２０個のモノフォニックのサウンドファイルを
実時間で空間処理できることが確認された。
【０１５１】１）同期 動的ミキシングにおいては、３Ｄサウンドバッファに書
き込まれ、及び３Ｄサウンドバッファから読み出される
２つのタスク間の同期が問題となる。読出タスクは、空
間処理システム（すなわち、DirectX）により処理さ
れ、本発明に基づくアプリケーションは、このバッファ
に必要なサンプルを所定の時間内に供給する必要があ
る。
【０１５２】図１５〜図１７は、書込タスク及び読出タ
スクの同期処理を説明するための図である。
【０１５３】オーディオストリーミングタスク（サウン
ドファイルの読出）及びオーディオ出力間の正しい同期
を実現するために、バッファ内の読出ヘッドにおける通
知イベントを用いる標準的な方法を用いる。この具体例
では、読出タスクは、読出位置が所定の点を過ぎると、
書込タスクに通知を行う。
【０１５４】サウンドバッファは、半分に分割され、通
知イベントを受け取ると、書込タスクは、現在読み出さ
れていないバッファの半分を消去し、サンプルを置換す
る。
【０１５５】なお、これらの通知イベントにアクセスす
るためには、バッファは、オペレーティングシステムに
より処理される必要がある。このため、ハードウェアの
アクセラレータ機能及び例えばサウンドカードの４チャ
ンネル出力を使用することはできない。
【０１５６】また、DirectX内に静的３Ｄオーディオセ
カンダリバッファを生成する方法もある。これらのバッ
ファは、物理的にはサウンドカードのメモリ内に設けら
れ、したがって、３Ｄ処理速度を向上させる機能を活用
することができる。この場合、通知イベントは利用でき
なくなり、これらは、毎秒毎に書込タスクを呼び出す書
込可能なタイマに置き換えられる。書込タスクは、読出
タスクをポーリングし、その現在の位置を知り、既に読
み出されたサンプルを更新する。このタイマは、ウィン
ドウズ９８及びウィンドウズＮＴ４のみが備えるもので
あり、したがって、ウィンドウズ９５では、この手法は
実現できない。
【０１５７】図１５及び図１６に示しているタイマモデ
ルにおいては、各バッファは、サウンドカードのメモリ
において２秒を必要とする。これは、４４．１ｋＨｚの
サンプリング周波数の１６ビットのモノサンプルについ
て２００キロバイト以下であることを示す。実際のサウ
ンドカードの内部メモリは、３２メガバイトの情報を格
納でき、したがって、実時間で処理できるトラック数
は、メモリによっては制限されない。
【０１５８】２）アクセスタイミング 本発明を実現するオーディオバージョンについて重要な
課題は、データアクセスのタイミング、すなわちオーデ
ィオファイルを空間処理するタイミングである。現在の
ハードディスクの性能によれば、多数のオーディオトラ
ックを個別に読み出すことができる。通常の楽曲は３分
乃至４分程度の長さを有し、約１０個の独立したモノト
ラックを備えている。このような楽曲に必要な記録容量
は、２００メガバイト以上になる。
【０１５９】ＣＤ−ＲＯＭ等の外部記録媒体は、ハード
ディスクほどの柔軟性を有しておらず、すなわち、多数
のトラックをＣＤ−ＲＯＭから個別に読み出すことは、
現在のところ不可能である。しかしながら、この問題
は、図１８に示すように、異なるオーディオトラックを
単一のファイルにインターレースすることにより解決で
きる。これにより、読出ヘッドは、各トラックのサンプ
ルを読み出すために読出位置を何度も移動させる必要は
なく、各サンプルを連続的に読み出すことができる。Ｗ
ＡＶフォーマットは、インターレースされたマルチトラ
ックのファイルをサポートしている。
【０１６０】各トラックを読み出す必要がある。すなわ
ち、マルチトラックは、いかなるＣＰＵリソースも解放
しない。各トラック間の同期は、全て一度に固定する必
要があり、トラックは他のトラックに対してオフセット
を有することはできない。各トラックは、同じ速度又は
同じサンプリングレートで読み出さなくてはならない。
このため、例えば、サウンドファイルの速度及び聴取者
に対する方向に基づいて、サウンドファイルの読出速度
を若干シフトさせるDirectXのドップラー効果を利用す
ることはできない。
【０１６１】このような考察は、特定の実験的アプリケ
ーションに適用されるものであり、本発明の目的を妨げ
るものではない。楽曲のトラック数は事前に固定されて
おり、トラック間のオフセットを変更する必要はない。
【０１６２】
【発明の効果】以上のように、本発明に係る音楽的空間
構成制御装置は、実時間でオーディオ空間の構成を制御
する音楽的空間構成制御装置において、オーディオトラ
ックに関連付けられた複数のオーディオソースからなる
オーディオストリームにアクセスするアクセス手段と、
オーディオストリームの空間構成決定用の規則を表す制
約を受け取り及び処理する制約手段と、制約手段に空間
構成決定コマンドを入力するインターフェイス手段とを
備え、インターフェイス手段は、オーディオソースの特
定のグループに作用するグループ化された空間構成決定
コマンドに対応するユーザ入力を提供し、制約手段は、
オーディオソースのグループを複数の制約変数が適応さ
れる単一のオブジェクトとして処理する。これにより、
ユーザ及び楽曲提供者の両者の観点から、より容易に空
間処理を行うことができ、選択された空間処理の結果が
常に「聴覚的に正しく」、家庭用オーディオシステムに
採用されている標準的な録音技術により適合する。
【０１６３】また、本発明に係る音楽的臨場感形成装置
は、共通のデータ記録媒体からオーディオストリームデ
ータと、空間構成決定のための制約を表すデータとを読
み出すデータ読出手段を有するパーソナルコンピュータ
と、データ読出手段からデータを受け取る入力手段を有
する上述の音楽的空間構成制御装置とを備える。これに
より、ユーザ及び楽曲提供者の両者の観点から、より容
易に空間処理を行うことができ、選択された空間処理の
結果が常に「聴覚的に正しく」、家庭用オーディオシス
テムに採用されている標準的な録音技術により適合す
る。
【０１６４】また、本発明に係る音楽的空間構成制御方
法は、オーディオ空間の構成を制御する音楽的空間構成
制御方法において、オーディオトラックに関連付けられ
た複数のオーディオソースからなるオーディオストリー
ムにアクセスするステップと、オーディオストリームの
空間構成決定用の規則を表す制約を受け取り及び処理す
るステップと、制約手段に空間構成決定コマンドを入力
するステップとを有し、オーディオソースの特定のグル
ープに作用するグループ化された空間構成決定コマンド
に対応するユーザ入力が提供され、オーディオソースの
グループは、複数の制約変数が適応される単一のオブジ
ェクトとして処理される。これにより、ユーザ及び楽曲
提供者の両者の観点から、より容易に空間処理を行うこ
とができ、選択された空間処理の結果が常に「聴覚的に
正しく」、家庭用オーディオシステムに採用されている
標準的な録音技術により適合する。
【図面の簡単な説明】
【図１】全ての制約の伝搬処理のフローチャートであ
る。
【図２】１つの制約の伝搬処理のフローチャートであ
る。
【図３】不等式制約の伝搬処理のフローチャートであ
る。
【図４】関数制約の伝搬処理のフローチャートである。
【図５】摂動処理のフローチャートである。
【図６】アカペラレンダリングに対応する表示画面を示
す図である。
【図７】活動制約を含むテクノレンダリングに対応する
表示画面を示す図である。
【図８】一方向制約を説明するための図である。
【図９】プログラムモードの表示画面を示す図である。
【図１０】聴取モードにおける動的構成処理時の表示画
面を示す図である。
【図１１】制約を設定するための表示画面を示す図であ
る。
【図１２】伝搬関数制約のタスクのシーケンスを示す制
約伝搬アルゴリズムを示す図である。
【図１３】本発明に基づく処理の包括的な処理手順を示
す図である。
【図１４】本発明に基づくシステムアーキテクチャを示
す図である。
【図１５】読出タスクと書込タスクの同期を説明するた
めの図である。
【図１６】ストリーミングモデルを説明するための図で
ある。
【図１７】タイマモデルを説明するための図である。
【図１８】３つのトラックのインターレス処理を説明す
るための図である。
【図１９】本発明が適用される音楽的空間構成処理装置
の構成を示す図である。
【図２０】従来の音楽的構成処理装置により表示される
聴取者と音源からなる表示画面を示す図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）

Claims (43)

    【特許請求の範囲】
  1. 【請求項１】 実時間でオーディオ空間の構成を制御す
    る音楽的空間構成制御装置において、 オーディオトラックに関連付けられた複数のオーディオ
    ソースからなるオーディオストリームにアクセスするア
    クセス手段と、 上記オーディオストリームの空間構成決定用の規則を表
    す制約を受け取り及び処理する制約手段と、 上記制約手段に空間構成決定コマンドを入力するインタ
    ーフェイス手段とを備え、 上記インターフェイス手段は、上記オーディオソースの
    特定のグループに作用するグループ化された空間構成決
    定コマンドに対応するユーザ入力を提供し、 上記制約手段は、上記オーディオソースのグループを複
    数の制約変数が適応される単一のオブジェクトとして処
    理する音楽的空間構成制御装置。
  2. 【請求項２】 上記オーディオソースのグループは、個
    別にアクセスできるオーディオトラックの各グループに
    より識別されることを特徴とする請求項１記載の音楽的
    空間構成制御装置。
  3. 【請求項３】 上記オーディオソースのグループは、上
    記空間構成決定用の規則に関する内部の一貫性を反映す
    ることを特徴とする請求項１又は２記載の音楽的空間構
    成制御装置。
  4. 【請求項４】 上記インターフェイス手段は、グループ
    化された空間構成決定コマンドを表し、空間構成を反映
    するトポロジに基づく位置に表示され、ユーザにより移
    動されるアイコンと、上記アイコン間に適用される制約
    を表すリンクとを表示することを特徴とする請求項１乃
    至３いずれか１項記載の音楽的空間構成制御装置。
  5. 【請求項５】 上記インターフェイス手段を介し、複数
    のオーディオソースのグループを同時に含む包括的コマ
    ンドを処理する請求項１乃至４いずれか１項記載の音楽
    的空間構成制御装置。
  6. 【請求項６】 上記包括的コマンドは、 アコスティックパート及びシンセサイザパートにそれぞ
    れ対応する２つのグループ等のように複数のオーディオ
    ソースのグループ間のバランスと、グループの位置を同
    時に比例させて変更する音量レベルと、 のうちの少なくともいずれか一方を含むことを特徴とす
    る請求項５記載の音楽的空間構成制御装置。
  7. 【請求項７】 上記制約は一方向制約であり、各制約
    は、ユーザが上記インターフェイス手段を介して入力し
    た入力変数と出力変数の組を含むことを特徴とする請求
    項１乃至６いずれか１項記載の音楽的空間構成制御装
    置。
  8. 【請求項８】 上記インターフェイス手段を介して入力
    された上記オーディオソースのグループ及び該グループ
    の構成要素に作用する制約パラメータに関するミキシン
    グ制約を記録するプログラムモードを有することを特徴
    とする請求項１乃至７いずれか１項記載の音楽的空間構
    成制御装置。
  9. 【請求項９】 上記インターフェイス手段は、対応する
    アイコンにより上記各制約を表現し、該制約を表現する
    アイコンは、該制約が課されるオブジェクトに視覚的に
    リンクされて表示されることを特徴とする請求項８記載
    の音楽的空間構成制御装置。
  10. 【請求項１０】 上記制約は、上記オーディオストリー
    ムに関連付けられたメタデータとして記録されることを
    特徴とする請求項１乃至９いずれか１項記載の音楽的空
    間構成制御装置。
  11. 【請求項１１】 上記各制約は、変数部分と制約部分か
    らなるデータ文字列により表されることを特徴とする請
    求項１乃至１０いずれか１項記載の音楽的空間構成制御
    装置。
  12. 【請求項１２】 上記変数部分は、 その変数がオーディオトラックに作用するか上記グルー
    プに作用するかを示す変数タイプと、 トラック識別データと、 変数名と、 変数アイコンと、 各トラック変数に対する個別音量と、 ｘｙ座標で表される初期位置データとのうちの少なくと
    も１つを表すことを特徴とする請求項１１記載の音楽的
    空間構成制御装置。
  13. 【請求項１３】 上記制約部分は、 制約タイプと、 個別のトラックを識別する制約変数と、 入力変数のリストと、 出力変数のリストと、 制約位置と、 制約方向とのうちの少なくとも１つを表すことを特徴と
    する請求項１１又は１２記載の音楽的空間構成制御装
    置。
  14. 【請求項１４】 上記空間構成決定用の複数のオーディ
    オソースは、光ディスク又はハードディスク等の共通の
    記録媒体から読み出されることを特徴とする請求項１乃
    至１３いずれか１項の音楽的空間構成制御装置。
  15. 【請求項１５】 上記制約は、上記共通の記録媒体から
    メタデータとして読み出されることを特徴とする請求項
    １４記載の音楽的空間構成制御装置。
  16. 【請求項１６】 上記メタデータ及び上記オーディオス
    トリームが記録されているトラックは、例えばＷＡＶフ
    ォーマット等に基づく共通のファイルから読み出される
    ことを特徴とする請求項１５記載の音楽的空間構成制御
    装置。
  17. 【請求項１７】 上記共通のファイルを読み出し、オー
    ディオデータ及び制約を表すメタデータにアクセスし
    て、該共通のファイルに含まれる個別のトラックからオ
    ーディオストリームの組を再生し、及び該共通のファイ
    ルにエンコードされているメタデータの詳細を再生する
    オーディオデータ／メタデータデコード手段を備える請
    求項１乃至１６いずれか１項記載の音楽的空間構成制御
    装置。
  18. 【請求項１８】 コンピュータオペレーティングシステ
    ムとサウンドカード間のインターフェイスとして実現さ
    れていることを特徴とする請求項１乃至１７いずれか１
    項記載の音楽的空間構成制御装置。
  19. 【請求項１９】 サウンドカード及び該サウンドカード
    のメモリ内に物理的に配設されている３次元オーディオ
    バッファリング手段と連携し、該サウンドカードの３次
    元アクセラレーション機能を使用することを特徴とする
    請求項１乃至１８いずれか１項記載の音楽的空間構成制
    御装置。
  20. 【請求項２０】 上記バッファリング手段への書込タス
    クを制御する待機可能タイマを備える請求項１９記載の
    音楽的空間構成制御装置。
  21. 【請求項２１】 上記入力手段は、共通ファイルにイン
    ターレースされている上記オーディオストリームのオー
    ディオトラックにアクセスすることを特徴とする請求項
    １乃至２０いずれか１項記載の音楽的空間構成制御装
    置。
  22. 【請求項２２】 ３次元サウンドバッファと連携して定
    位制約を導入することを特徴とする請求項１乃至２１い
    ずれか１項記載の音楽的空間構成制御装置。
  23. 【請求項２３】 上記制約は、関数制約又は不等式制約
    であり、循環的制約は、伝搬アルゴリズムが矛盾を検査
    することにより処理されることを特徴とする請求項１乃
    至２２いずれか１項記載の音楽的空間構成制御装置。
  24. 【請求項２４】 個別のオーディオソースと、制約及び
    関連する制約変数を記述するデータベースとをインター
    レースして共通のオーディオファイルにエンコードする
    エンコード手段を備える請求項１乃至２３いずれか１項
    記載の音楽的空間構成制御装置。
  25. 【請求項２５】 上記エンコード手段に対応して、上記
    共通のオーディオファイルをデコードするデコード手段
    を備える請求項２４記載の音楽的空間構成制御装置。
  26. 【請求項２６】 各楽曲に関する制約及び関連する制約
    変数を記述するデータベースが入力され、空間構成決定
    コマンドを生成する制約システムモジュールと、 エンコード手段からの上記オーディオストリームの組
    と、上記制約システムモジュールからの空間構成決定コ
    マンドとが入力される空間構成制御モジュールとを備え
    る請求項１乃至２５いずれか１項記載の音楽的空間構成
    制御装置。
  27. 【請求項２７】 各オーディオソース用の書込タスク及
    び読出タスクが同期され、オーディオファイルからの上
    記オーディオストリームを上記空間構成制御モジュール
    に中継し、各楽曲に対する上記制約及び該制約に関連す
    る変数を記述するデータベースを上記空間構成制御モジ
    ュールに中継する３次元サウンドバッファ手段を備える
    請求項２６記載の音楽的空間構成制御装置。
  28. 【請求項２８】 上記空間構成制御モジュールは、上記
    制約システムモジュールと当該空間構成制御モジュール
    とを接続するスケジューラ手段を備えることを特徴とす
    る請求項２６又は２７記載の音楽的空間構成制御装置。
  29. 【請求項２９】 上記空間構成制御モジュールは、静的
    オーディオセカンダリバッファ手段を備えることを特徴
    とする請求項２７又は２８記載の音楽的空間構成制御装
    置。
  30. 【請求項３０】 上記書込タスクを所定の間隔で呼び出
    すタイマ手段を備えることを特徴とする請求項２７乃至
    ２９いずれか１項記載の音楽的空間構成制御装置。
  31. 【請求項３１】 上記空間構成制御モジュールは、遠隔
    制御可能なミキシング装置であることを特徴とする請求
    項２６乃至３０いずれか１項記載の音楽的空間構成制御
    装置。
  32. 【請求項３２】 上記制約手段は、検査アルゴリズムを
    実行することを特徴とする請求項１乃至３１いずれか１
    項記載の音楽的空間構成制御装置。
  33. 【請求項３３】 共通のデータ記録媒体からオーディオ
    ストリームデータと、空間構成決定のための制約を表す
    データとを読み出すデータ読出手段を有するパーソナル
    コンピュータと、 上記データ読出手段からデータを受け取る入力手段を有
    する請求項１乃至３２いずれか１項記載の音楽的空間構
    成制御装置とを備える音楽的臨場感形成装置。
  34. 【請求項３４】 上記パーソナルコンピュータは、上記
    データ読出手段から抽出されたコンテンツを格納する３
    次元サウンドバッファを備えることを特徴とする請求項
    ３３記載の音楽的臨場感形成装置。
  35. 【請求項３５】 上記３次元サウンドバッファは、ダイ
    ナミックリンクライブラリにより制御されることを特徴
    とする請求項３４記載の音楽的臨場感形成装置。
  36. 【請求項３６】 請求項１乃至３２いずれか１項記載の
    音楽的空間構成制御装置に使用され、オーディオストリ
    ームを表す複数のトラックと、処理制約を表すデータと
    が格納された記録媒体。
  37. 【請求項３７】 上記複数のトラックと上記処理制約を
    表すデータとは共通のファイルとして記録されているこ
    とを特徴とする請求項３６記載の記録媒体。
  38. 【請求項３８】 上記処理制約を表すデータは、上記ト
    ラックに関するメタデータとして記録されていることを
    特徴とする請求項３６又は３７記載の記録媒体。
  39. 【請求項３９】 上記トラックはインターレースされて
    いることを特徴とする請求項３６乃至３８いずれか１項
    記載の記録媒体。
  40. 【請求項４０】 当該記録媒体は、コンパクトディス
    ク、デジタルバーサタイルディスク、ミニディスク等の
    デジタル記録媒体であることを特徴とする請求項３６乃
    至３９いずれか１項記載の記録媒体。
  41. 【請求項４１】 当該記録媒体は、コンピュータハード
    ディスクであることを特徴とする請求項３６乃至４０記
    載の記録媒体。
  42. 【請求項４２】 請求項１乃至３２いずれか１項記載の
    音楽的空間構成制御装置をコード化により実現し、汎用
    コンピュータの内部メモリユニットにロードされ、該汎
    用コンピュータにより実行され、該音楽的空間構成制御
    装置の構成要素を実現するソフトウェアコードからなる
    コンピュータプログラム製品。
  43. 【請求項４３】 オーディオ空間の構成を制御する音楽
    的空間構成制御方法において、 オーディオトラックに関連付けられた複数のオーディオ
    ソースからなるオーディオストリームにアクセスするス
    テップと、 上記オーディオストリームの空間構成決定用の規則を表
    す制約を受け取り及び処理するステップと、 上記制約手段に空間構成決定コマンドを入力するステッ
    プとを有し、 上記オーディオソースの特定のグループに作用するグル
    ープ化された空間構成決定コマンドに対応するユーザ入
    力が提供され、 上記オーディオソースのグループは、複数の制約変数が
    適応される単一のオブジェクトとして処理される音楽的
    空間構成制御方法。
JP2001079233A 2000-03-17 2001-03-19 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 Expired - Fee Related JP4729186B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP00400749 2000-03-17
EP00400749.8 2000-03-17
EP01400401A EP1134724B1 (en) 2000-03-17 2001-02-15 Real time audio spatialisation system with high level control
EP01400401.4 2001-02-15

Publications (2)

Publication Number Publication Date
JP2001306081A true JP2001306081A (ja) 2001-11-02
JP4729186B2 JP4729186B2 (ja) 2011-07-20

Family

ID=26073439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001079233A Expired - Fee Related JP4729186B2 (ja) 2000-03-17 2001-03-19 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法

Country Status (3)

Country Link
US (1) US20010055398A1 (ja)
EP (1) EP1134724B1 (ja)
JP (1) JP4729186B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533213A (ja) * 2004-04-16 2007-11-15 スマート・インターネット・テクノロジー・シーアールシー・ピーティーワイ・リミテッド オーディオ・シーンを生成する際に使用する装置及び方法
JP2009512064A (ja) 2005-10-10 2009-03-19 ヤフー！ インコーポレイテッド メディアアイテム及び複合メディアアイテムとの関連付けのためのデータコンテナ及びメタデータセット
JP2010521115A (ja) * 2007-03-09 2010-06-17 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8082050B2 (en) 2002-12-02 2011-12-20 Thomson Licensing Method and apparatus for processing two or more initially decoded audio signals received or replayed from a bitstream
US8422688B2 (en) 2007-09-06 2013-04-16 Lg Electronics Inc. Method and an apparatus of decoding an audio signal
US8463605B2 (en) 2007-01-05 2013-06-11 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8463413B2 (en) 2007-03-09 2013-06-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP2013175809A (ja) * 2012-02-23 2013-09-05 Yamaha Corp 音響処理装置
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法
JP2018148323A (ja) * 2017-03-03 2018-09-20 ヤマハ株式会社 音像定位装置および音像定位方法
JPWO2018055860A1 (ja) * 2016-09-20 2019-07-04 ソニー株式会社 情報処理装置と情報処理方法およびプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085387B1 (en) * 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
US6239348B1 (en) * 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
WO2004032351A1 (en) 2002-09-30 2004-04-15 Electro Products Inc System and method for integral transference of acoustical events
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP2004236192A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 音響機器制御方法、情報機器及び音響機器制御システム
US20080024434A1 (en) * 2004-03-30 2008-01-31 Fumio Isozaki Sound Information Output Device, Sound Information Output Method, and Sound Information Output Program
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
US7720212B1 (en) 2004-07-29 2010-05-18 Hewlett-Packard Development Company, L.P. Spatial audio conferencing system
US8627213B1 (en) 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
CA2598575A1 (en) * 2005-02-22 2006-08-31 Verax Technologies Inc. System and method for formatting multimode sound content and metadata
US8762403B2 (en) * 2005-10-10 2014-06-24 Yahoo! Inc. Method of searching for media item portions
US8930002B2 (en) * 2006-10-11 2015-01-06 Core Wireless Licensing S.A.R.L. Mobile communication terminal and method therefor
KR102473653B1 (ko) * 2007-09-26 2022-12-02 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
US20140115468A1 (en) * 2012-10-24 2014-04-24 Benjamin Guerrero Graphical user interface for mixing audio using spatial and temporal organization
US9892743B2 (en) * 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9704535B2 (en) * 2013-02-07 2017-07-11 Score Addiction Pty Ltd Systems and methods for enabling interaction with multi-channel media files
WO2014151092A1 (en) 2013-03-15 2014-09-25 Dts, Inc. Automatic multi-channel music mix from multiple audio stems
WO2015177224A1 (en) * 2014-05-21 2015-11-26 Dolby International Ab Configuring playback of audio via a home audio playback system
JPWO2020045126A1 (ja) * 2018-08-30 2021-08-10 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
US20220012007A1 (en) * 2020-07-09 2022-01-13 Sony Interactive Entertainment LLC Multitrack container for sound effect rendering

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04296200A (ja) * 1991-03-26 1992-10-20 Mazda Motor Corp 音響装置
JPH06348258A (ja) * 1993-06-03 1994-12-22 Kawai Musical Instr Mfg Co Ltd 電子楽器の自動演奏装置
JPH08140199A (ja) * 1994-11-08 1996-05-31 Roland Corp 音像定位設定装置
JPH09160546A (ja) * 1996-10-14 1997-06-20 Yamaha Corp 音処理装置
WO1999051063A1 (en) * 1998-03-31 1999-10-07 Lake Technology Limited Headtracked processing for headtracked playback of audio signals
JP2000013900A (ja) * 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
JP2000069600A (ja) * 1998-05-27 2000-03-03 Sony France Sa 音楽的臨場感形成装置の制御装置及び制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5127306A (en) * 1989-01-19 1992-07-07 Casio Computer Co., Ltd. Apparatus for applying panning effects to musical tone signals and for periodically moving a location of sound image
US5331111A (en) * 1992-10-27 1994-07-19 Korg, Inc. Sound model generator and synthesizer with graphical programming engine
US5451942A (en) * 1994-02-04 1995-09-19 Digital Theater Systems, L.P. Method and apparatus for multiplexed encoding of digital audio information onto a digital audio storage medium
US7333863B1 (en) * 1997-05-05 2008-02-19 Warner Music Group, Inc. Recording and playback control system
EP0999538A1 (en) * 1998-02-09 2000-05-10 Sony Corporation Method and apparatus for digital signal processing, method and apparatus for generating control data, and medium for recording program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04296200A (ja) * 1991-03-26 1992-10-20 Mazda Motor Corp 音響装置
JPH06348258A (ja) * 1993-06-03 1994-12-22 Kawai Musical Instr Mfg Co Ltd 電子楽器の自動演奏装置
JPH08140199A (ja) * 1994-11-08 1996-05-31 Roland Corp 音像定位設定装置
JPH09160546A (ja) * 1996-10-14 1997-06-20 Yamaha Corp 音処理装置
WO1999051063A1 (en) * 1998-03-31 1999-10-07 Lake Technology Limited Headtracked processing for headtracked playback of audio signals
JP2000069600A (ja) * 1998-05-27 2000-03-03 Sony France Sa 音楽的臨場感形成装置の制御装置及び制御方法
JP2000013900A (ja) * 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082050B2 (en) 2002-12-02 2011-12-20 Thomson Licensing Method and apparatus for processing two or more initially decoded audio signals received or replayed from a bitstream
JP2007533213A (ja) * 2004-04-16 2007-11-15 スマート・インターネット・テクノロジー・シーアールシー・ピーティーワイ・リミテッド オーディオ・シーンを生成する際に使用する装置及び方法
JP4848362B2 (ja) * 2004-04-16 2011-12-28 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・シーンを生成する際に使用する装置及び方法
JP2009512064A (ja) 2005-10-10 2009-03-19 ヤフー！ インコーポレイテッド メディアアイテム及び複合メディアアイテムとの関連付けのためのデータコンテナ及びメタデータセット
US8463605B2 (en) 2007-01-05 2013-06-11 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8463413B2 (en) 2007-03-09 2013-06-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8359113B2 (en) 2007-03-09 2013-01-22 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP2010521115A (ja) * 2007-03-09 2010-06-17 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8594817B2 (en) 2007-03-09 2013-11-26 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8422688B2 (en) 2007-09-06 2013-04-16 Lg Electronics Inc. Method and an apparatus of decoding an audio signal
US8532306B2 (en) 2007-09-06 2013-09-10 Lg Electronics Inc. Method and an apparatus of decoding an audio signal
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
JP2016165117A (ja) * 2011-07-01 2016-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法
JP2013175809A (ja) * 2012-02-23 2013-09-05 Yamaha Corp 音響処理装置
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法
JPWO2018055860A1 (ja) * 2016-09-20 2019-07-04 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
JP7003924B2 (ja) 2016-09-20 2022-01-21 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
JP2018148323A (ja) * 2017-03-03 2018-09-20 ヤマハ株式会社 音像定位装置および音像定位方法

Also Published As

Publication number Publication date
EP1134724A3 (en) 2006-09-13
US20010055398A1 (en) 2001-12-27
JP4729186B2 (ja) 2011-07-20
EP1134724B1 (en) 2008-07-23
EP1134724A2 (en) 2001-09-19

Similar Documents

Publication Publication Date Title
JP4729186B2 (ja) 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法
US7078607B2 (en) Dynamically changing music
US6093880A (en) System for prioritizing audio for a virtual environment
US8438482B2 (en) Interactive multimedia content playback system
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
EP0961523A1 (en) Music spatialisation system and method
Pachet et al. On-the-fly multi-track mixing
Heliades et al. Dissemination of environmental soundscape and musical heritage through 3D virtual telepresence
Comunità et al. Web-based binaural audio and sonic narratives for cultural heritage
Tsingos A versatile software architecture for virtual audio simulations
US9705953B2 (en) Local control of digital signal processing
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
Pachet et al. A mixed 2D/3D interface for music spatialization
Barboza et al. Towards Best Practices in Spatial Audio Post Production: A Case Study of Brazilian Popular Music
Pachet et al. MusicSpace: a Constraint-Based Control System for Music Spatialization.
Jot et al. Scene description model and rendering engine for interactive virtual acoustics
Pfanzagl-Cardone SONY “360 Reality Audio”
Lengelé The Story and the Insides of a Spatial Performance Tool: Live 4 Life
Plans Composer in Your Pocket: Procedural Music in Mobile Devices
KR102534870B1 (ko) 복수 개의 오디오 스템을 이용한 오디오 믹싱 인터페이스 제공 방법 및 장치
Comunita et al. PlugSonic: a web-and mobile-based platform for binaural audio and sonic narratives
Emmerson Performance with Technology: Extending the Instrument—From Prosthetic to Aesthetic
Thor Sound and music in networked media
Pachet et al. Annotations for real time music spatialization
US20240055024A1 (en) Generating and mixing audio arrangements

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060331

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101117

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees