JP2001521191A - 仮想音響環境を処理する方法とシステム - Google Patents

Abstract

(57)【要約】 仮想音響環境は音響を反射し、吸収し、かつ伝達する表面を備えている。表面を表わすためにパラメータ化されたフィルタが使用され、パラメータ化されたフィルタを表わすためにフィルタの伝達関数を定義するパラメータが提示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】

本発明は聴取者に対してある空間に対応する人工的な聴覚的印象を創出するこ
とができる方法とシステムとに関する。本発明は特に、ユーザーに提示される情
報をディジタル的に伝送し、処理し、および／または圧縮するシステムでの前記
のような聴覚的な印象の伝送に関する。

【０００２】 仮想音響環境とは、電気的に再生された音響を聴く人が自分がある空間にいる
ようにイメージできるような聴覚的な印象のことである。仮想音響環境を創出す
る簡単な手段は、聴取者がある空間の印象を受ける残響を加えることである。複
雑な仮想音響環境はある現実空間を模倣しようとする場合が多く、しばしば前記
空間のオーラリゼーション（音響化）と呼ばれる。このようなコンセプトは例え
ばＭ．クライナー、Ｂ．−Ｉ．ダレッバック、ＰＺスベンソン共著の論文「オー
ラリゼーション−その概要」（１９９３年、音響工学協会ジャーナル、第４１巻
１１号、８６１−８７５ページ）に記載されている。オーラリゼーションは自然
に仮想視覚環境の創出と組み合わせることができるので、適宜の表示装置、およ
びスピーカまたはイヤホーンを備えているユーザーは希望する現実、またはイメ
ージ空間を知覚し、この空間内を“移動する”ことさえできるので、その聴覚−
視覚的な印象はユーザーが知覚ポイントとして前記環境のどのポイントを選択す
るかによって異なってくる。

【０００３】 仮想音響環境の創出は３つの要因、すなわち音源のモデル化、空間のモデル化
、および聴取者のモデル化に区分される。本発明は特に空間のモデル化に関する
もので、その目的は音響がどのように伝搬し、前記空間でどのように反射され、
かつ減衰されるかのアイデアを創出し、かつこのアイデアを視聴者が利用できる
電気的な形式で伝達することである。空間の音響をモデル化する公知の方法はい
わゆる音線追跡および虚音源方式である。前者の方法では、音源によって発生さ
れる音響は実質的に直線的に伝搬する“音線”からなる三次元の音束に分割され
、次に各々の音線が処理される空間内をどのように伝搬するかの計算が行われる
。聴取者が受ける聴覚的な印象は、一定期間中に、ある最大の反射数を経て聴取
者が選択した聴取ポイントに到達する音線によって表される音響を加えることに
よって創出される。虚音源方式の場合は、オリジナルの音源ごとに複数の仮想の
虚音源が生成されるので、このような仮想音響は点検される反射面に対する音源
の鏡像である。点検される各々の反射面の背後には、聴取ポイントとの距離が、
反射を介して測定されたオリジナルの音源と聴取ポイントとの距離に等しい１つ
の虚音源が配置されている。更に、虚音源からの音響は実際に反射される音響と
同じ方向から聴取ポイントに到達する。聴覚的な印象は虚音源によって生成され
る音響を加えることによって得ることができる。

【０００４】 従来の方法では計算のための負荷が極めて大きい。仮想環境が例えばラジオ放
送またはデータ・ネットワークを介して伝送されるものと想定すると、ユーザー
の受信機は継続的に数万もの音線を追跡するか、または数千もの虚音源により発
生される音響を付加しなければならない。その上、ユーザーが聴取ポイントの位
置を変更することを決めるごとに絶えず計算のベースを変更しなければならない
。現行の装置と従来の方法ではオーラライズされた音響環境を伝送することは実
質的に不可能である。

【０００５】

【発明が解決しようとする課題】

本発明の目的は、仮想音響環境を適切な計算負荷でユーザーに伝達できる方法
とシステムとを提供することにある。

【０００６】

【課題を解決するための手段】

本発明の目的は、モデル化される環境を、パラメータ化された反射および／ま
たは吸収モデル、並びに伝達モデルが生成されるセクションに区分し、かつ主と
してモデルのパラメータをデータ伝送で処理することによって達成される。

【０００７】 本発明に基づく方法は、表面がパラメータ化されたフィルタによって表される
ことを特徴としている。

【０００８】 本発明は更に、表面のモデル化のためにパラメータ化されたフィルタからなる
フィルタ・バンクを形成する手段を備えていることを特徴とするシステムにも関
する。

【０００９】 本発明に基づいて、空間の音響特性を、その原理が表面の視覚的モデル化から
公知であるような方法でモデル化することができる。ここで表面とは極めて一般
的に点検される空間のオブジェクトを意味しており、従ってオブジェクトの特性
はその空間のために生成されるモデルに関しては比較的均質である。点検される
各表面ごとに、（モデルに視覚的な特性が含まれている場合は、その視覚的特性
に加えて）表面の音響特性を表わす複数の係数が定義され、このような係数は例
えば反射率、吸収率、および伝達率である。より一般的には、表面についてある
パラメータ化された伝達関数が定義されると言ってもよい。生成される空間のモ
デルでは、前記表面は前記伝達関数を実現するフィルタのことである。システム
への入力として音源からの音響を用いる場合は、伝達関数によって生成される応
答は、前記表面に当たった場合の音響のことである。空間の音響モデルは各々が
空間内のある表面である複数のフィルタによって形成される。

【００１０】 フィルタの設定が表面の音響特性を表し、また、フィルタによって実現される
パラメータ化された伝達関数が判明している場合は、ある表面を表わすにはその
表面を特徴付ける伝達関数のパラメータを付与するだけで充分である。仮想環境
をデータストリームとして伝送することを意図するシステムでは、受信機および
／または再生装置が備えられ、そのメモリにはシステムが使用するフィルタおよ
び伝達関数の種類（単数または複数）が記憶される。装置はその入力データとし
て機能するデータストリームを、例えばラジオまたはテレビ受信機によって受信
し、インターネット・ネットワークのようなデータ・ネットワークからそれをダ
ウンロードし、または記録手段から局部的に読み出すことによって獲得する。動
作の開始時に、装置はデータストリームから、創出される仮想環境内の表面をモ
デリングするために使用されるパラメータを取り出す。これらのデータと記憶さ
れたフィルタの種類および伝達関数の種類とを利用して、装置は創出される仮想
環境の音響特性に対応するフィルタ・バンクを形成する。動作中、装置はユーザ
ーに対して再生しなければならない音響をデータストリームから取り出し、それ
によって装置が形成したフィルタ・バンクへと音響を供給し、その結果、処理済
みの音響を獲得し、この音響を聴くユーザーは希望の仮想環境の印象を知覚する
。

【００１１】 ある標準的な表面からなるデータベースを作成し、かつ受信機／再生装置のメ
モリに記憶することによって、必要な伝送されるデータ量を更に削減することが
できる。データベースには、データベースによって定義される標準的な表面を記
述することができるパラメータが含まれている。創出される仮想環境が標準的な
表面だけを備えている場合は、データベース内の標準的な表面の識別子だけをデ
ータベース内で伝送すればよいので、これらの識別子に対応する伝達関数のパラ
メータをデータベースから読み出すことができ、これらを別個に受信機／再生装
置に伝送する必要はない。データベースは、システムで一般に使用されるフィル
タの種類および伝達関数とは同一ではなく、必要時にデータストリームと共に伝
送される場合には過剰なシステムのデータ伝送容量を消費することになる複雑な
フィルタの種類および／または伝達関数に関する情報をも含むことができる。

【００１２】

【実施例】

次に本発明を例示された好適な実施例と、添付図面とを参照して詳細に説明す
る。対応する部品には同一の参照番号が付されている。

【００１３】 図１は音源１００と、反射面１０１および１０２と、聴取ポイント１０３とを
含む音響環境を示している。更に、妨害音源１０４が音響環境に属している。音
源から聴取ポイントに伝搬する音響は矢印で示されている。音響１０５は音源１
００から聴取ポイント１０３に直接伝搬する。音響１０６は壁１０１から反射し
、音響１０７は窓１０２から反射する。音響１０８は妨害音源１０４から発生す
る音響であり、この音は窓１０２を介して聴取ポイント１０３に到達する。全て
の音響は反射の瞬間、および窓ガラスを通過する場合を除いて、点検される音響
環境を満たす空気中を伝搬する。

【００１４】 空間のモデル化に関して、図示した音響は全て異なる性状を呈する。直接伝搬
する音響１０５は音源と聴取ポイントとの距離および空気中の音速に起因する遅
延と、空気に起因する減衰とによって影響される。壁から反射した音響１０６は
、遅延および空気による減衰に起因する影響に加えて、音響の減衰、および障害
物に当たった場合に生ずることがある位相ずれによっても影響される。同じ要因
が窓から反射した音響１０７にも影響を及ぼすが、壁と窓ガラスの材料は音響的
に性質が異なるので、音響はこれらの反射に際して異なる態様で反射し、減衰し
、位相ずれする。妨害音源からの音響１０８は窓ガラスを通過するので、これを
聴取ポイントで知覚する可能性は、遅延および空気による減衰による影響に加え
て、窓ガラスの透過特性によって影響される。この例では壁は、妨害音源１０４
により発生される音響が壁を透過して聴取ポイントに達しないような良好な遮音
特性を有しているものと見なすことができる。

【００１５】 図２は一般にフィルタ、すなわちある伝達関数Ｈを有し、時間依存性の信号を
処理するようにされた装置２００を示している。時間依存性の衝撃関数Ｘ（ｔ）
はフィルタ２００内で時間依存性の応答関数Ｙ（ｔ）に変換される。時間依存性
の関数を公知のように例えばＺ−変換で表わす場合は、伝達関数のＺ−変換Ｈ（
ｚ）は下記のような比率として表現することができる。

【００１６】

【数２】

【００１７】 それによって、任意の伝達関数のパラメータの形式で送信するには、Ｚ−変換
の式で用いられる係数〔ｂ０ ｂ１ ａ１ ｂ２ ａ２ ．．．〕を送信することで 充分である。

【００１８】 ディジタル信号処理を利用したシステムの場合は、フィルタ２００は例えば、
公知のＩＩＲ（無限インパルス応答）フィルタ、またはＦＩＲ（有限インパルス
応答）フィルタであってよい。本発明に関しては、フィルタ２００をパラメータ
化されたフィルタとして定義できることが不可欠である。上記の伝達関数の定義
に替わるより簡単な定義は、フィルタ２００内でインパルス信号を所望の表面特
性を表わす係数の集合で乗算することであると定義することであり、そこでフィ
ルタのパラメータは例えば信号の反射率、および／または吸収率、通過する信号
の減衰率、信号遅延、および信号の位相ずれである。パラメータ化されたフィル
タは伝達関数を実現することができ、これは常に同じ種類であるが、伝達関数の
異なる部分の相対的な割当てはどのパラメータがフィルタに与えられるかに応じ
て応答が異なるように見える。係数だけで定義されたフィルタ２００の目的が音
響を特に良く反射する表面をなすことである場合、およびインパルスＸ（ｔ）が
ある音響信号である場合は、フィルタにはパラメータとして１に近い反射率と、
ゼロに近い吸収率とが付与される。高い音響と低い音響とは異なる態様で反射お
よび吸収される場合が多いので、フィルタの伝達関数のパラメータは周波数依存
パラメータであってよい。

【００１９】 本発明の好適な実施例では、モデル化される空間の表面はノードに区分され、
不可欠な全てのノードには、フィルタに付与されたパラメータに応じてフィルタ
の伝達関数が反射、吸収、および伝達される音響を異なる比率で表わす独自のフ
ィルタ・モデルが形成される。図１に示したモデル化される空間は、幾つかのノ
ードしかない簡単なモデルによって表わすことができる。図３ａは各フィルタが
モデル化される空間の表面を表わす３つのフィルタからなるフィルタ・バンクを
示している。第１フィルタ３０１の伝達関数は図２では別個には示されていない
反射を表わすことができ、第２のフィルタ３０２の伝達関数は壁からの音の反射
を表わすことができ、また、第３のフィルタ３０３の伝達関数は窓ガラスからの
音響の反射と、窓ガラスを経た音響の伝達の双方を表わすことができる。音源１
００からの音響がインパルス関数Ｘ（ｔ）として作用する場合は、フィルタ３０
１、３０２、および３０３のパラメータｒ（反射率）、ａ（吸収率）、およびｔ
（伝達率）は、フィルタ３０１によって得られる応答が図２には示されていない
表面により反射された音響を表し、フィルタ３０２によって得られる応答が壁か
ら反射した音響を表し、また、フィルタ３０３の応答が窓ガラスから反射した音
響を表わすように設定されている。例えば壁が吸収率が高い材料からなり、窓ガ
ラスが反射率が高い材料からなっているものと想定すると、図示した実施例では
反射率ｒ２はゼロに近く、窓ガラスの反射率ｒ３は対応して１に近い。一般に、
ある表面の吸収率と反射率とは互いに依存していると言うことができる。すなち
、吸収率が低いほど反射率が高く、逆の場合も同様である（数学的には依存関係
は

【数３】 の形式で表わされる）。

【００２０】 図１に示した妨害音響１０８を図３ａのフィルタ・バンクでモデル化したい場
合は、フィルタ３０１と３０２の吸収率ａ１、ａ２が１に設定されることにより
、妨害音響の反射成分は形成されない。フィルタ３０３では伝達率ｔ３は、それ
によってフィルタ３０３が窓ガラスを経て伝達された音響を表わすことができる
ような値に設定される。

【００２１】 図３ａは更に、異なる経路に沿って聴取ポイントへと伝搬する音響成分が相互
に時間差を生ずるようにする遅延素子３０５を示している。直接伝搬する音響は
最短時間で聴取ポイントに達し、このことは音響が遅延素子の第１段３０５ａだ
けで遅延されることで示されている。壁を経て反射した音響は遅延素子の最初か
ら２つの段３０５ａおよび３０５ｂで遅延され、窓を経て反射した音響は遅延素
子の全ての段３０５ａ、３０５ｂ、および３０５ｃで遅延される。図１では音響
に包まれる距離は窓を経た場合と壁を経た場合で殆ど同一であるので、遅延手段
３０５の異なる段は異なる長さの遅延を表わすものと演繹できる。第３の段３０
５ｃでは音響はそれ以上は大幅に遅延することはできない。代替実施例として、
図３ｂに記載の解決方法が考えられ、そこでは遅延手段の全ての段は同サイズで
あるが、所望のそれぞれの遅延に応じて異なるポイントで遅延素子からフィルタ
へと出力することができる。

【００２２】 図４は送信装置４０１と受信装置４０２とを有するシステムを示している。送
信装置４０１は少なくとも１つの音源と少なくとも１つの空間の音響特性とを含
むある仮想音響環境を形成し、これをある形式で受信装置４０２へと伝送する。
伝送は、例えば、ラジオまたはテレビ放送としてディジタル形式で、またはデー
タ・ネットワークを介して行うことができる。伝送は更に、送信装置４０１によ
って創出された仮想音響環境に基づいて、受信装置のユーザーが入手するＤＶＤ
ディスク（ディジタル汎用ディスク）のようなレコードを作製する。レコードと
して伝送される代表的な用途は、音源が仮想楽器であるオーケストラであり、空
間が電気的にモデル化された虚構の、または実際のコンサートホールであること
により、受信装置のユーザーはその装置で演奏がホールと異なるポイントでどの
ような音響を奏でるかを聴くことができるコンサートであってよい。このような
仮想環境が音響−視覚環境である場合は、コンピュータ・グラフィックにより実
現される視覚部分も含まれる。本発明では送信装置と受信装置とが別個の装置で
ある必要はなく、ユーザーは１つの装置である仮想音響環境を創出することがで
き、その作品を吟味するために同じ装置を使用することができる。

【００２３】 図４に示した実施例では、送信装置のユーザーはコンピュータ・グラフィック
のツール４０３でコンサートホールのようなある仮想環境、および対応するツー
ル４０４で仮想オーケストラの楽士および楽器のようなビデオ・アニメーション
を創出する。更に、ユーザーはキーボード４０５で、反射率ｒ、吸収率ａ、およ
び伝達率ｔ、またはより一般的には表面を表わす伝達関数のような、ユーザーが
創出する環境の表面の特定の音響特性を入力する。仮想楽器の音響はデータベー
ス４０６からロードされる。送信装置はユーザーによって与えられた情報をブロ
ック４０７、４０８、４０９、および４１０内のビットストリームへと処理し、
ビットストリームをマルチプレクサ４１１内のデータストリームへと結合する。
データストリームはある形式で受信装置４０２に伝送され、そこでデマルチプレ
クサ４１２が環境を表わすビデオ部分を抽出し、かつブロック４１３へと供給し
、時間依存のビデオ部分、もしくはアニメーションをブロック４１４へと供給し
、表面を表わす係数をブロック４１６へと供給する。ビデオ部分はディスプレー
駆動ブロック４１７で結合され、ディスプレー４１８へと供給される。音源によ
って伝達された音響を表わす信号はブロック４１５からフィルタ・バンク４１９
へと向けられ、そこではフィルタにブロック４１６から得られ、かつ表面の特性
を表わすパラメータが付与されている。フィルタ・バンク４１９は異なる反射と
減衰特性とを備え、イヤホーン４２０に向けられる音響を供給する。

【００２４】 図５ａおよび５ｂは本発明に基づく態様で仮想音響環境を実現できる受信装置
のフィルタ構成をより詳細に示している。遅延手段３０５は図３ａおよび３ｂに
示した遅延手段と対応しており、（例えば異なる経路に沿って反射した音響のよ
うな）異なる音響成分の相互の時間差を生成する。フィルタ３０１、３０２、お
よび３０３は本発明に基づく態様であるパラメータが与えられたパラメータ化さ
れたフィルタであることにより、フィルタ３０１、３０２、および３０３、およ
び点だけで図示したその他の対応するフィルタの各々は仮想環境のある表面のモ
デルを提供する。前記フィルタによって得られる信号は一方ではフィルタ５０１
、５０２、および５０３に、また他方では加算器および増幅器５０４を介して加
算器５０５に分岐される。これらの部品は反響分岐５０６、５０７、５０８、お
よび５０９、および加算器５１０、並びに増幅器５１１、５１２、５１３、およ
び５１４と共に、ある信号内で反響を発生することができ、それ自体は公知であ
る回路を構成する。フィルタ５０１、５０２、および５０３はそれ自体は公知で
ある指向性フィルタであり、これは例えばＨＲＴＦモデル（ヘッド関連伝達関数
）に基づいて異なる方向での聴取者の聴覚の差を考慮に入れるものである。最も
好適には、フィルタ５０１、５０２、および５０３は更にいわゆるＩＴＤ遅延（
聴覚間時間差）を含んでおり、これは異なる方向から到達する音響成分の相互時
間差を表わすものである。

【００２５】 フィルタ５０１、５０２、および５０３内では各信号成分は左および右チャネ
ルに分割され、またはマルチチャネル・システムではより一般的にＮ個のチャネ
ルに分割される。あるチャネルに属する信号は全て加算器５１５または５１６内
に組立てられて、加算器５１７または５１８に供給され、そこでそれぞれの反響
が各チャネルの信号に追加される。線５１９および５２０はイヤホーンに続いて
いる。図５ａでは、フィルタ３０２と３０３との間、およびフィルタ５０２と５
０３との間の点は、本発明が受信装置のフィルタ・バンクに配置されるフィルタ
数に制約がないことを意味している。モデル化される仮想音響環境の複雑さに応
じて、数百、または数千個ものフィルタを配置してもよい。

【００２６】 図５ｂは反射面を表わすこのようにパラメータ化されたフィルタ３０１を実現
する可能性の１つをより詳細に示している。図５ｂでは、フィルタ３０１は連続
する３つのフィルタ段５３０、５３１、および５３２を備えており、そのうちの
第１の段５３０は（一般には空気である）媒体内の伝搬の減衰を表し、第２の段
５３１は反射性材料内で生ずる吸収を表し、第３の段５３２は音源の指向性を考
慮に入れている。第１の段５３０では、音響が音源から反射面を経て聴取ポイン
トへと進行する距離と、空気の湿度、気圧、および気温のような媒体の特性の双
方を考慮に入れることが可能である。距離を計算するために、段５３０は送信装
置からモデル化される空間の座標系内での音源の位置に関する情報を取得し、ま
た受信装置からユーザーが聴取ポイントとして選択した位置の座標に関する情報
を取得する。媒体の特性を記述する情報は送信装置または受信装置のいずれかか
ら第１段５３０によって取得される（受信装置のユーザーは媒体の所望の特性を
設定することができる）。デフォールトとして、第２段５３１は送信装置から反
射面の吸収率を表わす係数を取得するが、この場合も受信装置のユーザーはモデ
ル化される空間の特性を変更することができる。段３段５３２は、音源から伝達
された音響が音源からモデル化される空間内の異なる方向に向けられる態様と、
フィルタ３０１によってモデル化される反射面をどの方向に配置するかを考慮す
るものである。

【００２７】 これまでパラメータを利用して仮想音響環境の特性を処理し、かつ１つの装置
から別の装置へと伝送する態様を基本的に説明してきた。次に、本発明を特定の
形式のデータ伝送に適用する態様を説明する。“マルチメディア”とはユーザー
に音響−視覚オブジェクトを同期的に提示することを意味している。対話式のマ
ルチメディア提示は、例えばエンターテイメントおよび電子通信会議の形式のよ
うに将来は広範に利用されるものと考えられる。先行技術ではマルチメディア・
プログラムを電気的な形式で伝送する異なる方法を定義する多くの規格が公知で
ある。本特許出願では、特にいわゆるＭＰＥＧ規格（動画エキスパート・グルー
プ）に関して扱い、その中でも特に本出願が提出される時点で準備中であるＭＰ
ＥＧ−４規格の目的は、伝送されるマルチメディア表現がリアルなオブジェクト
と仮想オブジェクトとを含むことができ、それらが共にある音響−視覚環境を形
成することにある。本発明は更に例えばＶＲＭＬ規格（仮想現実モデリング言語
）に基づく場合にも適用することができる。

【００２８】 ＭＰＥＧ−４規格に基づくデータストリームは、（ある種の同期化された音響
のような）時間的に連続している部分、および（モデル化される空間内の音源の
位置のような）パラメータの双方を含むことができる多重化された音響−視覚オ
ブジョクトを備えている。オブジェクトは階層的オブジェクトとして定義するこ
とができ、いわゆる原始オブジェクトは階層の低レベルにある。オブジェクトに
加えて、ＭＰＥＧ−４規格に基づくマルチメディア・プログラムはいわゆる場面
説明を含んでおり、これはオブジェクトの相互関係、および最も好適には実際の
オブジェクトとは別個にエンコードおよびデコードされるプログラムの基本編成
の構成に関する情報を含んでいる。場面の説明はＢＩＦＳ部分（場面説明のため
のバイナリ形式）とも呼ばれている。本発明に基づく仮想音響環境の伝送は有利
には、関連情報の一部がＢＩＦＳ部分で伝送され、一部がＭＰＥＧ−４規格によ
って定義される構造化音響オーケストラ言語／構造化音響スコア言語（ＳＡＯＬ
／ＳＡＳＬ）を使用して伝送されるように実施される。

【００２９】 周知のように、ＢＩＦＳ部分は定義された表面記述（材料ノード）を含んでお
り、これにはＳＦＦｌｏａｔ 周囲強度、ＳＦＣｏｌｏｒ 拡散カラー、ＳＦＣ
ｏｌｏｒ 放射性カラー、ＳＦＦｌｏａｔ シャイニネス、ＳＦＣｏｌｏｒ 化
鏡面カラー、およびＳＦＦｌｏａｔ 透過性のような表面を視覚的に表わすパラ
メータを伝送するための欄が含まれている。前記記述に音響パラメータの伝送に
適用できる以下の欄を追加することによって本発明を適用できる。

【００３０】 ＳＦＦｌｏａｔ 拡散音響（ｄｉｆｆｕｓｅＳｏｕｎｄ） この欄に伝送される値は表面からの音響の反射の拡散性を決定する係数である
。係数の値は０と１との間にある。

【００３１】 ＭＦＦｌｏａｔ 反射関数音響（ｒｅｆｆｕｎｃＳｏｕｎｄ） この欄は問題の表面からの音響の反射をモデル化する伝達関数を決定する単数
または複数のパラメータを含んでいる。簡単な係数モデルを用いる場合は、明解
にするために、この欄の代わりに別名で反射係数音響と呼ばれる欄を伝送しても
よく、その場合は伝送されるパラメータは最も好適には前述の反射係数ｒ、また
は各々がある所定の周波数帯域での反射を表わす係数の集合と同一である。より
複雑な伝達関数を用いる場合は、例えば公式（１）に関連して前述したと同様に
伝達関数を決定するパラメータの集合を利用する。

【００３２】 ＭＦＦｌｏａｔ 伝達関数音響（ｔｒａｎｓｆｕｎｃＳｏｕｎｄ） この欄は以前のパラメータと匹敵する態様で前記表面を透過する音響透過をモ
デリングする伝達関数を決定する単数または複数のパラメータを伝送する。（各
周波数帯域ごとに１つ、または複数の係数。従って明解にするために、欄の名称
は伝達係数音響でもよい。または、伝達関数を決定するパラメータ）

【００３３】 ＳＦＩｎｔ 材料ＩＤ音響（ＭａｔｅｒｉａｌＩＤＳｏｕｎｄ） この欄はその用途を前述したデータベース内のある標準的な材料を識別する識
別子を伝送する。この欄によって記述された表面が標準的な材料製ではない場合
は、この欄で伝送されるパラメータ値を例えば−１、またはその他の合意された
値にすることができる。

【００３４】 欄は周知の材料ノードへの追加の可能性として前述した通りである。代替実施
例は一例として音響材料ノードと呼んでもよい新たなノードを定義し、音響材料
ノードの一部として上記の欄、または幾つかの同様の、または機能が同じ欄を使
用することである。

【００３５】 前述のパラメータは常にある表面に関連している。空間の音響モデル化に関し
ては、空間全体に関連するあるパラメータを付与することも有利であるので、音
響場面ノードを公知のＢＩＦＳ部分に追加することも可能であり、そこで音響場
面ノードはパラメータ・リストの形式であり、例えば下記のパラメータを伝送す
る欄を含むことができる。

【００３６】 ＭＦ音響ノード（ＭＦＡｕｄｉｏＮｏｄｅ） この欄は、音響場面ノードで与えられた定義によって他のどのノードが影響さ
れるかを示す内容を含む表である。

【００３７】 ＭＦＦｌｏａｔ 反響時間（ｒｅｖｅｒｔｉｍｅ） この欄は反響時間を指示するためにパラメータ、またはパラメータの集合を伝
送する。

【００３８】 ＳＦＢｏｏｌ 空気利用アブストラクト（ｕｓｅａｉｒａｂｓ） この欄は仮想音響環境のモデル化で空気に起因する減衰を利用すべきか否かを
示すイエス／ノー式の欄である。

【００３９】 ＳＦＢｏｏｌ 材料利用（ｕｓｅｍａｔｅｒｉａｌ） この欄は仮想音響環境のモデリングでＢＩＦＳ部分に与えられた表面の特性を
利用すべきか否か示すイエス／ノー式の欄である。

【００４０】 反響時間を示すＭＦＦｌｏａｔ 反響時間の欄は例えば下記の方法で定義する
ことができる。すなわち、この欄に１の値だけが付与された場合は、全ての周波
数で反響時間が利用されることを表している。２番目の値がある場合は、連続す
る値（１番目と２番目の値、３番目と４番目の値、など）が一対の値を形成し、
第１の値は周波数帯域を示し、第２の値は前記周波数帯域における反響時間を示
す）。

【００４１】 ＭＰＥＧ−４規格の草案から、一般に音響処理を表し、かつモデリングされる
空間内の聴取者の位置を表わす聴取ポイント・ノードが知られている。本発明を
前記ノードに適用すれば、以下の欄を追加できる。

【００４２】 ＳＦＩｎｔ 空間化ＩＤ（ｓｐａｔｉａｌｉｚｅＩＤ） この欄に与えられるパラメータは、ＨＲＴＦモデルのような特定の用途、また
はユーザーに関する聴取ポイントに関連する関数を識別する識別子を示すもので
ある。

【００４３】 ＳＦＩｎｔ 直接音響再現（ｄｉｒｓｏｕｎｄｒｅｎｄｅｒ） この欄で伝送される値は反射せずに音源から直接聴取ポイントに達する音響に
どのレベルの音響処理が適用されるかを示す。例えば、可能な３つのレベルが考
えられ、いわゆる振幅パニング技術が最低レベルに適応される。更に、ＩＴＤ遅
延が中間レベルで認められ、最高レベルでは、最も複雑な計算（例えばＨＲＴＦ
モデル）が適用される。

【００４４】 ＳＦＩｎｔ 反射音響再現（ｒｅｆｓｏｕｎｄｒｅｎｄｅｒ） この欄は上記の欄に対応するが、反射を経て到達する音響に関するレベル選択
を表わすパラメータを伝送する。

【００４５】 更にスケーリングは、仮想音響環境がＭＰＥＧ−４、またはＶＲＭＬ規格、ま
たは本発明に基づくその他の接続方法に基づいてデータストリーム内で伝送され
る場合に考慮に入れることができるもう一つの特徴である。全ての受信装置は必
ずしも送信装置によって創出される仮想音響環境の全てを利用できる訳ではなく
、その理由は、この仮想音響環境には定義された極めて多くの表面が含まれるの
で、受信装置におけるモデル処理には計算に関して負荷がかかり過ぎるからであ
る。このことを考慮に入れるため、表面を表わすパラメータを、音響に関する最
も重要な表面を受信装置によって分離することができるように構成することがで
き（表面は例えば表面が音響上の重要度に対応する順序で配列されているリスト
内に定義される）、それによって容量に制約がある受信装置は可能な限り多くの
表面を重要度の順に処理できる。

【００４６】 上記の欄とパラメータの命名は勿論一例に過ぎず、本発明を限定することを意
図するものではない。

【００４７】 結論として、本発明の電話接続への、またはより正確には公衆通信網を介した
ビデオ電話接続への適用について説明する。図６を参照すると、送信電話機６０
１と、受信電話機６０２と、公共通信網６０３を介した双方の通信接続とが示さ
れている。一例として、双方の電話機はビデオ電話の用途のために装備され、す
なわちマイクロフォン６０４と、音響再生システム６０５と、ビデオカメラ６０
６と、ディスプレー６０７とから構成されている。加えて、双方の電話機にはコ
マンドやメッセージを入力するためのキーボード６０８を備えている。音響再生
システムはスピーカ、スピーカ・セット、（例えば図６に示すような）イヤフォ
ン、またはこれらの組合わせでよい。“送信電話機”、および“受信電話機”と
言う用語については一方向での音響視覚式送信の下記の簡略な説明を参照された
い。標準的なビデオ電話接続は勿論双方向性である。公共通信網６０３はディジ
タル式セルラー・ネットワーク、公衆交換回線網、統合サービス・ディジタル・
ネットワーク（ＩＳＤＮ）、インターネット、構内通信網（ＬＡＮ）、広域ネッ
トワーク（ＷＡＮ）、またはこれらの幾つかの組合わせでよい。

【００４８】 本発明を図６のシステムに応用する目的は、受信電話機６０２のユーザーに対
して聴覚・視覚的な印象をできるだけ自然に近いように、またはできるだけある
種の仮想目標の印象に近いように、送信電話機６０１のユーザーの聴覚・視覚的
な印象を与えることにある。本発明の応用とは、送信電話機６０１がそれが現在
位置している、または送信電話機のユーザーが提示したい音響環境のモデルを構
成することを意味している。前記モデルはパラメータ化された伝達関数としてモ
デリングされる多数の反射面からなっている。モデルを構成する際に、送信電話
機は多数の試験信号を発信し、それらに対する現在の動作環境の応答を測定する
ことによって独自のマイクロフォンと音響再生システムを利用できる。通信接続
のセットアップ中、送信電話機は受信電話機に対して構成されたモデルを記述す
るパラメータを送信する。受信電話機はこれらのパラメータを受信するとそれに
応答して、パラメータ化されたそれぞれの伝達関数を有するフィルタからなるフ
ィルタ・バンクを構築する。その後、送信電話機から入る全ての音響信号は、受
信電話機の音響再生システムで対応する音響信号が再生される前に、構成された
フィルタ・バンクを通過するようにされ、ひいては必要な聴覚・視覚的印象の音
響部分が再生される。

【００４９】 音響環境のモデルを構成する際に、幾つかの基本的な想定を行ってもよい。対
人ビデオ電話接続を行うユーザーは通常は顔とディスプレーとの間に約４０−８
０ｃｍの距離を置く。このように、対面通話するユーザーを記述しようとする仮
想音響環境では、音源と聴取ポイントとの自然な距離は８０ｃｍから１６０ｃｍ
の間である。室内の壁からの反射を考慮できるように、ユーザーがビデオ電話装
置と共に居る室のサイズの幾つかの基本的な想定を行うことも可能である。勿論
、所望の音響環境のパラメータを手動的に送信電話機および／または受信電話機
にプログラムすることも可能である。

【００５０】

【発明の効果】

以上説明したように、モデル化される環境を、パラメータ化された反射および
／または吸収モデル、並びに伝達モデルが生成されるセクションに区分し、かつ
主としてモデルのパラメータをデータ伝送で処理することによって、仮想音響環
境を適切な計算負荷でユーザーに伝達できる。

【図面の簡単な説明】

【図１】 モデル化される音響環境を示す図。

【図２】 パラメータ化されたフィルタを示す図。

【図３】 ａはパラメータ化されたフィルタによって形成されたフィルタ・バンクを示す
図、ｂはａの構成の修正形を示す図。

【図４】 本発明を適用するシステムを示す図。

【図５】 ａは図４の一部をより詳細に示す図、ｂはａの一部をより詳細に示している。

【図６】 本発明を適用するための別のシステムを示す図。

【符号の説明】

１００ 音源 １０１ 反射面 １０２ 反射面 １０３ 聴取ポイント １０４ 妨害音源 １０５ 音響 １０６ 反射音響 １０７ 反射音響 ２００ フィルタ ３０１ 第１フィルタ ３０２ 第２フィルタ ３０３ 第３フィルタ ３０４ 加算器 ３０５ 遅延素子 ４０１ 送信装置 ４０２ 受信装置 ４０３ コンピュータ・グラフィック・ツール ４０４ ツール ４０５ キーボード ４０６ データベース ４０７ ブロック ４０８ ブロック ４０９ ブロック ４１０ ブロック ４１１ マルチプレクサ ４１２ デマルチプレクサ ４１３ ブロック ４１４ ブロック ４１５ ブロック ４１６ ブロック ４１７ ブロック ４１８ ディスプレー ４１９ フィルタ・バンク ４２０ イヤホーン ５０１ フィルタ ５０２ フィルタ ５０３ フィルタ ５０４ 増幅器 ５０５ 加算器 ５０６ エコー分岐 ５０７ エコー分岐 ５０８ エコー分岐 ５０９ エコー分岐 ５１０ 加算器 ５１１ 増幅器 ５１２ 増幅器 ５１３ 増幅器 ５１４ 増幅器 ５１５ 加算器 ５１６ 加算器 ５１７ 加算器 ５１８ 加算器 ５１９ 線 ５２０ 線 ５３０ フィルタ段 ５３１ フィルタ段 ５３２ フィルタ段 ６０１ 送信電話機 ６０２ 送信電話機 ６０３ 公衆通信網 ６０４ マイクロフォン ６０５ 音響再生システム ６０６ ビデオカメラ ６０７ ディスプレー ６０８ キーボード

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年４月２０日（２０００．４．２０）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正内容】

【０００７】 本発明の方法は、仮想音響環境中に含まれる表面がフィルタによって表わされ
、音響信号に対するそのフィルタの効果は各フィルタに関するパラメータに依存
し、そのパラメータは送信装置から受信装置へと伝達されることを特徴とする。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】 本発明は更に、送信装置と、受信装置と、送信装置と受信装置との間で電子デ
ータの伝送を実現する手段とを含み、 仮想音響環境中に含まれる表面をモデル化するためにパラメータ化されたフィ
ルタを含むフィルタ・バンクを創出する手段と、 前記パラメータ化されたフィルタを記述する所定のパラメータを前記送信装置
から受信装置へと伝送する手段とを含むことを特徴とするシステムに関する。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【数１】 として表されるフィルタの伝達関数のＺ変換の係数〔ｂ０ ｂ１ ａ１ ｂ２ ａ２
…〕であることを特徴とする請求項１に記載の方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，Ｕ Ｇ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 表面を備えた仮想音響環境を処理する方法において、仮想音
   響環境に含まれている表面が、音響信号に対する効果が各フィルタに関するパラ
   メータによって左右されるフィルタによって処理されることを特徴とする方法。
2. 【請求項２】 各フィルタに関する前記パラメータは表面の音響反射、およ
   び／または吸収、および／または伝達特性を表わす係数であることを特徴とする
   請求項１に記載の方法。
3. 【請求項３】 各フィルタに関する前記パラメータは、下記の比率、 【数１】 として表されるフィルタの伝達関数のＺ変換の係数〔ｂ０ ｂ１ ａ１ ｂ２ ａ２
   …〕であることを特徴とする請求項１に記載の方法。
4. 【請求項４】 前記方法が、 送信装置が、各フィルタに関するパラメータに依存する音響信号に対する効果
   を有するフィルタによって表される、表面を有するある仮想音響環境を創出する
   ステップと、 仮想音響環境を再構成するために、受信装置が各フィルタに関するパラメータ
   に依存する音響信号に対する効果を有するフィルタからなるフィルタ・バンクを
   生成し、かつ送信装置によって伝送された情報に基づいて各フィルタに関するパ
   ラメータを生成するステップと、 からなることを特徴とする請求項１に記載の方法。
5. 【請求項５】 送信装置は、ＭＰＥＧ−４規格に基づくデータストリームの
   一部として、各フィルタに関するパラメータの情報を受信装置に伝送することを
   特徴とする請求項４に記載の方法。
6. 【請求項６】 表面を備えた仮想音響環境を処理するシステムにおいて、仮
   想音響環境に含まれる表面をモデル化するためにパラメータ化されたフィルタか
   らなるフィルタ・バンクを生成するための手段を備えたことを特徴とするシステ
   ム。
7. 【請求項７】 送信装置、および受信装置、および送信装置と受信装置との
   間で電気的なデータ伝送を実行する手段とを備えてなることを特徴とする請求項
   ６に記載のシステム。
8. 【請求項８】 パラメータ化されたフィルタの特性を表わすパラメータをＭ
   ＰＥＧ−４規格に基づくデータストリームに添付するための送信装置内のマルチ
   プレクサと、パラメータ化されたフィルタの特性を表わすパラメータをＭＰＥＧ
   −４規格に基づくデータストリームから検出するための受信装置内のデマルチプ
   レクサとを備えたことを特徴とする請求項７に記載のシステム。