JP2003348700A

JP2003348700A - 臨場感信号の生成方法、及び臨場感信号生成装置

Info

Publication number: JP2003348700A
Application number: JP2002153590A
Authority: JP
Inventors: Toshiko Murata; 寿子村田; Takuma Suzuki; 琢磨鈴木
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2002-05-28
Filing date: 2002-05-28
Publication date: 2003-12-05

Abstract

(57)【要約】【課題】複数の画像オブジェクトを表示画面に貼
り付け、そのオブジェクトから発せられる音を表示画面
の中に設定した仮想視聴位置で聞いたときの立体音場信
号を生成する臨場感信号生成装置の構成を実現すること
にある。【解決手段】表示画面に視聴位置を原点とするＸ、Ｙ
座標を定義し、表示される画像オブジェクトの配置情報
を管理テーブル生成手段１３により得、その配置情報を
基に画像オブジェクトから発音される音声オブジェクト
の定位方向を到来方向演算手段１６により求め、音声オ
ブジェクトにその定位方向に係る頭部伝達関数を記憶部
１４より得て、畳み込み手段１５にて畳み込み演算を行
なうことによりそのオブジェクトに係る立体音場信号を
生成するようにして臨場感信号生成装置の構成を実現し
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示画面上に設定
される位置にオブジェクト画像を表示すると共に、その
オブジェクトから発音される音声信号を視聴空間内の立
体音場信号として生成する臨場感信号の生成方法、及び
臨場感信号生成装置に関する。

【０００２】

【従来の技術】従来より、ソフト制作者により複数のオ
ブジェクト画像が組み合わされた合成画像が制作される
と共に、それぞれのオブジェクト画像ごとにその音声信
号が組み合わされたステレオ音源が付加されて、電子マ
ンガ、アニメーション、及びゲームなどの作品が制作さ
れている。

【０００３】それらの作品では、例えば主人公が歩くシ
ーンでは「コツコツ」という足音を、川が流れていれば
小川のせせらぎ音を付加し再生するようにしている。し
かし、そのときの再生音はモノラル音声あるいはステレ
オ音声程度のものでしかなかった。

【０００４】そして、そのステレオ再生音は、オブジェ
クト画像の位置及び移動と共に左右のスピーカより発音
される音量レベルのバランスを変える等によっている。
また、自動車運転用のシミュレーションソフトでは、前
方向に関する情報は前のスピーカの音量を少し上げ、右
方向に関する情報は右側にあるスピーカの音量を少し上
げるなどにより、運転操作者に対して表示されるシミュ
レーション画面に合わせた音響信号を発音させるように
している。

【０００５】他の応用例として、複数の分割ウィンドウ
表示を行うパソコン画面上に対応する音声情報を画面の
周囲に配置される複数のスピーカを用いて発音する方法
がある。その方法では、上下左右に分割される４分割画
面に対応させて表示器の四隅にスピーカを配置し、表示
の選択された分割画面に対してはその画面に近いスピー
カの発音レベルを大きくするようにしている。そして、
例えば画面中央に切られたウインドウに係る音声は四隅
のスピーカから同音量で発音するようにして、擬似的に
立体音場の制御を行なっているものもある。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
の複数スピーカの出力音量を変化による立体音場生成で
は、より多くの発音方向を設定しようとするときに、そ
れらの発音方向に対応する多くのスピーカが必要とされ
る。さらに、それら多くのスピーカ出力音量の制御を行
なう必要があり、複雑であり且つ高価なものとなってし
まう。

【０００７】そこで、従来通り２つのスピーカを用いて
上下左右３６０度の方向より発音できる臨場感信号生成
方法を実現できれば好適である。そして、その臨場感信
号生成方法を採用することにより、例えばパソコンを用
いる自宅学習、いわゆるｅ−ｌｅａｒｎｉｎｇ（イー・
ラーニング）にも応用が可能である。

【０００８】その場合は、従来法のＬ（Left）チャンネ
ルが英語で、Ｒ（Right）チャンネルが日本語訳といっ
た画一的な音場のみならず、ＬＲチャンネルともに英語
でしかも会話をしており、Ｌチャンネルの日本語訳を後
方左の方向から、Ｒチャンネルの日本語訳を後方右の方
向から与えるなどにより立体的な音場空間を実現するこ
とができる。

【０００９】その立体音場空間では、３人以上の会話シ
ーンや、会話のレベルが非常に高いなどの複雑な会話シ
ーンも、何度も同じ会話シーンを使って自分の学習レベ
ルに応じて、「聞き分け」ることの学習など多様な学習
方法を容易に実現できるようになる。

【００１０】また、学習教材のような与えられた情報提
示だけでなく、マンガやアニメなどユーザが自分で作っ
た絵を、より効果的に見せるための立体音場再生に対し
ても効果的である。例えば、デザインした鳥が右から左
へ鳴きながら飛んで行く、川のせせらぎが聞こえてく
る、というようなシーンをあたかも自分がその現場にい
るような感覚で、再現できるようにすることが可能とな
るものである。

【００１１】そこで、本発明は上記の点に着目してなさ
れたものであり、画像オブジェクトを画面上で指定され
る表示位置に時間を指定して配置する管理データを作成
する。そして、その管理データに記述される画像オブジ
ェクトの表示画面上の指定位置情報を基にし、その画像
オブジェクトを視聴者が存在する視聴空間に仮想的に存
在させる。さらに、画像に付随する音声オブジェクトの
発音方向である定位方向情報を得る。次にその定位方向
情報に基づいた頭部伝達関数を前記音声オブジェクトに
畳み込むようにして立体音場信号を生成するようにした
臨場感信号の生成方法を実現するようにした。

【００１２】

【課題を解決するための手段】本発明は、上記課題を解
決するために以下の１）又は２）の手段より成るもので
ある。すなわち、

【００１３】１）視聴空間の前方に配置される表示画
面内に仮想的な視聴位置を定めると共に、前記表示画面
内に音声オブジェクトが関連付けられた画像オブジェク
トを貼り付けてオブジェクト合成画面を作成し、その作
成されたオブジェクト合成画面内で発音される前記音声
オブジェクトを前記仮想的な視聴位置で視聴したときの
立体音響信号を、前記視聴空間で臨場感を有する立体音
場信号として生成する臨場感信号の生成方法であって、
前記表示画面内の視聴位置を原点とし、且つその原点を
通るＸ、Ｙ座標軸を定め、その定められた座標系におけ
る前記画像オブジェクトの座標位置を得る第１のステッ
プ（１３）と、前記座標位置を基に、前記音声オブジェ
クト信号の定位方向を求める第２のステップ（１６）
と、前記音声オブジェクト信号に、前記定位方向に基づ
いた頭部伝達関数を畳み込むことにより前記立体音場信
号を生成する第３のステップ（１５）と、を有してなる
ことを特徴とする臨場感信号の生成方法。２）視聴空間の前方に配置される表示画面内に仮想的
な視聴位置を定めると共に、前記表示画面内に音声オブ
ジェクトが関連付けられた画像オブジェクトを貼り付け
てオブジェクト合成画面を作成し、その作成されたオブ
ジェクト合成画面内で発音される前記音声オブジェクト
を前記仮想的な視聴位置で視聴したときの立体音響信号
を、前記視聴空間で臨場感を有する立体音場信号として
生成する臨場感信号生成装置であって、前記表示画面内
の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標
軸を定め、その定められた座標系における前記画像オブ
ジェクトの座標位置を得るオブジェクト位置取得手段
（１３）と、前記座標位置を基に、前記音声オブジェク
ト信号の定位方向を求める定位方向演算手段（１６）
と、前記音声オブジェクト信号に、前記定位方向に基づ
いた頭部伝達関数を畳み込むことにより前記立体音場信
号を生成する伝達関数畳み込み手段（１５）と、を具備
して構成することを特徴とする臨場感信号生成装置。

【００１４】

【発明の実施の形態】以下、本発明の臨場感信号の生成
方法、及び臨場感信号生成装置の実施の形態につき、好
ましい実施例により説明する。図１に、その臨場感信号
の生成方法を採用した立体音場信号生成装置の概略ブロ
ック図を示し、その構成と動作について概説する。

【００１５】同図において、この立体音場信号生成装置
１はオブジェクト素材記憶部１１、オブジェクト編集手
段１２、管理テーブル生成手段１３、頭部伝達関数記憶
部１４、畳み込み手段１５、及び制御手段１６より構成
される。そして、その立体音場信号生成装置には画像表
示手段７及びステレオ音再生用の２つの発音手段８ａ、
８ｂが接続されている。

【００１６】次に、それらの構成による動作について概
説する。まず、オブジェクト素材記憶部１１には木や
雲、人、動物などの絵の素材に関する画像オブジェクト
情報と、その絵に関連する音声素材である音声オブジェ
クト情報とが記憶されている。

【００１７】そして、オブジェクト編集手段１２では、
画像表示手段７に表示されるオブジェクト画像をオブジ
ェクト素材記憶部１１より選択して得ると共に、オブジ
ェクト画像の加工編集などを行なう。さらに、そのオブ
ジェクト画像に音声オブジェクトデータを貼りつけるか
どうか、またその音声オブジェクトの音源の配置位置に
係る設定などを行なう。

【００１８】さらにまた、そのオブジェクト編集手段１
２では、画像オブジェクトがどの時間に出現させ、どの
音声オブジェクトを付随される音声としてどのタイミン
グでどのように発音させるかといった時間管理に関する
編集など、効果音の編集設定を行なう。即ち、そのよう
な編集設定は、いわゆるストーリーの記述されるコンテ
に従ったシナリオ編集でもある。

【００１９】その編集されたシナリオデータは管理テー
ブル生成手段１３に供給され、そこでは表示画面７上の
所定の位置に表示される画像オブジェクトに対する音場
信号を生成するための管理テーブルの作成を行なう。即
ち、表示画面上に配置される画像オブジェクトを視聴者
を中心とする音場空間に配置したときに、その画像オブ
ジェクトの配置点を仮想音源位置として予測し、その仮
想仮想音源位置を視聴者に対する到来方向とした音源方
向データを作成する。

【００２０】その音源方向データは畳み込み手段１５に
供給されると共に、頭部伝達関数記憶部１４に記憶され
る、到来方向に係る頭部伝達関数データも畳み込み手段
１５に供給される。そして、音声オブジェクトデータに
頭部伝達関数データが畳み込み演算され、視聴者に対す
る所定の到来方向に定位する音声オブジェクトの音場デ
ータが作成される。

【００２１】その頭部伝達関数は、視聴者に対して上下
左右３６０度の方向より到来する音源に対する周波数特
性及び両耳間時間差特性を基に予め演算して得られる頭
部伝達関数の係数が求められ、頭部伝達関数記憶部１４
に記憶されている。

【００２２】以上、１つの画像オブジェクトに対する音
声オブジェクトの音場データ生成について述べた。実際
には画面上に配置される複数の画像オブジェクトに対し
て複数の音声オブジェクトデータが存在する。そして、
それら複数の音声オブジェクトから発音される音声デー
タが合成され左右１対のスピーカ８ａ、８ｂより発音さ
れる音場データとして生成される。

【００２３】それらの複数の画像オブジェクトデータ、
それらオブジェクトの時間の関数として定義される配置
データは制御手段１６に供給される。そこでは、供給さ
れたデータを基に表示用の画像信号が作成される。その
画像信号は画像表示手段７に供給されて表示されると共
に、その表示時間に関連付けられる音場データが左右の
スピーカ８ａ、８ｂに供給される。そして、視聴者は、
表示画面に表示されるオブジェクトがあたかも自分の周
囲に存在するような音場信号として視聴することができ
るため、臨場感に富んだオブジェクトの再生がなされる
ことになる。

【００２４】次に、オブジェクト編集手段１２で行なわ
れるシナリオ編集について詳細に述べる。まず、ユーザ
はオブジェクト素材記憶部１１に記憶される画像素材群
を画像表示手段７に表示し、それらの中から好きな画像
オブジェクトを選択する。そして、画像表示手段７によ
り、いわゆる電子画用紙とも言える画像表示手段７の描
画領域に、構図を考えながら想定される３次元配置場所
への画像の貼り付けを行なう。

【００２５】図２に、貼り付けられて表示される表示画
像例を示す。その画像貼り付けは、画像アイコンを順次
貼り付けるようにしてなされる。例えば、遠近感を出す
ために画像の縮小や拡大をしたり、また画像オブジェク
トを回転させるなどの変形も自由に行なう。そして、貼
り付けられた画像の位置は、その画像の重心位置を示す
座標を設定位置とする。

【００２６】このとき、３次元座標としてＸ、Ｙ、及び
Ｚの３軸を定義し、それらの軸の交点、例えば表示画面
の中心位置をユーザの位置とする。即ち、原点Ｏは
（ｘ、ｙ、ｚ）＝（０，０，０）の位置である。また、
ユーザの位置は自由に場所及び方向を変更することがで
きるものとする。場所の移動は軸の移動により、方向の
変更は座標軸の回転により対応付がなされる。

【００２７】一方、ユーザによる画面の編集時は常に静
止された画に対して作業を行なうようにする。さらに、
表示されるそれぞれの画像オブジェクトのアイコンに
は、例えば音声オブジェクト情報など、その画像オブジ
ェクトに付随される他のオブジェクト情報は関連付けさ
れるようにして付加していく。

【００２８】図に示す編集画面は、「ユーザＯの右後方
に川が流れ、左前方に牛がおり、右前方及び左後方に木
が植わっている。そして、シーン開始から５秒後に右前
方の木に赤い鳥が現れ、その２秒後に、２０秒間羽ばた
きながら左後方の木へ移る」シーンを作成したものであ
る。

【００２９】そして、鳥の移動軌跡を破線により示して
いる。従って、効果音としては、終始右後方から川の流
れる音を、また左前方から例えば１分間に１０回の割合
で牛が鳴く音を、さらに右前方の木に止まっている赤い
鳥が現れると同時に鳴き、羽ばたきながら飛んでいく音
を付加するようにしている。

【００３０】図３に、それらの動作をチャートにより示
す。同チャートにおいて、右側にそれぞれの画像オブジ
ェクトに対する名称が記されており、それらのオブジェ
クトに対する情報が右側のそれぞれの項目に記されてい
る。

【００３１】最初に、関連付けとしてオブジェクトのフ
ァイル名が記される。英語名のファイル名に付される拡
張子により、ＧＩＦ（Graphics Interchange Forma
t）、ＪＰＥＧ（Joint Photographic Coding Experts G
roup）、及びＢＭＰ（Bitmap）形式により記述される画
像ファイルと、ＷＡＶ（wave）、ＡＩＦＦ（Audio Inte
rchange File Format）、及びＭＰ３（MPEG Audio Laye
r3）により記述される音声ファイルとが関連付けされて
いる。

【００３２】次の表示開始時間はそれらの画像ファイル
又は音声ファイルの提示が開始される時間を示す。そし
て、表示位置は視聴者を原点として定義されるＸ、Ｙ、
及びＺ軸方向における位置をデシメートルを単位として
示している。移動はオブジェクトの移動の有無を示し、
移動する場合には移動開始時間と移動に要する時間とを
記述してある。

【００３３】そして移動するオブジェクトに対しては、
経由する位置情報を記述する。さらに、再生回数は音声
オブジェクトを連続して再生するか、又は所定の回数再
生するかを記述する。最後の消滅時間は、値が「０」と
して記述されるときには再生音は消滅しないことを示
し、数値が記述されるときにはその時間に再生が中止さ
れることを示している。

【００３４】ここで、移動位置は１秒ごとの移動軌跡の
座標位置を示す場合、又は移動時間を記述する位置座標
の数で除した単位時間毎の移動位置として示す場合のい
ずれによっても良い。さらに、移動位置情報はユーザに
より描かれた描画画面における描画速度を予め検出する
ようにし、その検出データを基に自動的に取得されるよ
うにしても良い。

【００３５】以上のように記述された動作チャートは、
各オブジェクトのプロパティ（Property）として保存さ
れる。さらに、その動作チャートを基にして前述の図２
に示した表示画像のシナリオの自動作成を行なうことも
可能である。

【００３６】次に、管理テーブル生成手段１３の動作に
ついて詳細に述べる。図４に、管理テーブル生成手段に
より生成される管理テーブルを含んで記述されたデータ
のディレクトリ構造を示す。

【００３７】同図において、ルートディレクトリの下の
階層にオブジェクトディレクトリと管理テーブルディレ
クトリがある。そして、オブジェクトディレクトリの下
層には音声ファイル群、静止画ファイル群、動画ファイ
ル群、及び管理情報のディレクトリがある。また、管理
情報ディレクトリには音声と画像のそれぞれのオブジェ
クトデータを管理するためのディレクトリが存在してい
る。

【００３８】それらのディレクトリの下にはファイルが
格納されている。例えば音声ファイル群のディレクトリ
には牛の鳴き声をＡＩＦＦフォーマットにより、鳥のさ
えずりをＭＰ３フォーマットにより、そして鳥の羽音が
ＷＡＶフォーマットにより記述された音声オブジェクト
データとして格納されている。

【００３９】同様にして、静止画、動画、及びそれらの
情報が記述される管理情報が、静止画ファイル、動画フ
ァイル、及び管理情報ファイル等のデータファイルとし
て該当するディレクトリの下に格納されている。

【００４０】それらのデータファイルは管理テーブルに
より管理されて画像オブジェクトの表示、及び音声オブ
ジェクトの発音などがなされる。次に、その管理テーブ
ルについて述べる。その管理テーブルは管理テーブル生
成手段１３によって生成される。そして、管理テーブル
にはどのオブジェクトを使用して、いつ、どこに表示す
るか、いつ、どこへ移動するか、などの情報が記述され
る。

【００４１】更にその管理テーブルには、音声オブジェ
クトに係る立体音場信号を生成するための信号の処理方
法についても記述されている。即ち、ユーザの位置であ
る原点Ｏ（０，０，０）に対する画像オブジェクトの表
示位置が点Ｐ（ｘ，ｙ，ｚ）として与えられるときに、
それらの位置情報を基に音声オブジェクトの到来方向を
求める。

【００４２】そして、その到来方向、即ち定位方向に係
る頭部伝達関数を頭部伝達関数記憶部１４より得る。次
に、制御手段１６において音声オブジェクトの信号に得
られた頭部伝達関数を畳み込み演算することにより原点
Ｏで視聴される立体音場信号が生成される。

【００４３】次に、その立体音場信号生成用管理テーブ
ルについて述べる。図５に、管理テーブルの記述に用い
られるコマンドと、それらの意味を表により示す。即
ち、コマンドＳは表示開始時間を示し、その時間情報を
コマンドに続いて記述する。そして、コマンドｘ、ｙ、
ｚのそれぞれは視聴者であるユーザの位置を原点Ｏ
（０，０，０）とするときの、前述の図２に示したそれ
ぞれの軸に対する座標の値をｘ、ｙ、ｚの各々のコマン
ドに続けて記述する。

【００４４】また、コマンドｍは画像オブジェクトの移
動の有無を示す。そして、ｍの次に記述する数が０のと
きは移動しないことを、移動するときは移動を開始時間
をｍに続けて記述する。また、コマンドｆは音声ファイ
ルの毎分ごとの再生回数を示す。そして、コマンドｅは
画像オブジェクトの消滅時間を示す。消滅しないときに
は０をｅの次に記述する。

【００４５】次に、これらのコマンドを用いる管理デー
タの記述例を示す。図６に、前述の図２に示した表示画
面に対する画像及び音声オブジェクトの表示に係る管理
データテーブルの記述例を示す。

【００４６】その管理データテーブルには、左側の列に
オブジェクトナンバーが、中央の列に画像オブジェクト
ファイル名及び音声オブジェクトファイル名が、そして
右側の列にはそれらのオブジェクトに係る管理データが
記述されている。

【００４７】即ち、オブジェクトナンバーが１である川
の画像ファイル名はriver.gifであり、音声ファイル名
はriver.wavである。その川は再生時間0秒より、ユーザ
の左側５ｍ、前方−５ｍ（＝後方５ｍ）、高さ−１ｍに
移動することなく存在しており、川の流れを示す音声オ
ブジェクトデータは連続して再生される。

【００４８】オブジェクト２、３、及び４は木であり、
それぞれの木の画像オブジェクトデータと、配置データ
などがリンクされて記述されている。そして、オブジェ
クト５の牛は１分回に６回の割で鳴いている。また、オ
ブジェクト６の鳥はオブジェクト２の木に止まっている
鳥であり、７秒の時間に飛び立つため消滅し、その後は
オブジェクト７により飛んでいる鳥と羽音が再生され、
再生時間が２７秒でオブジェクト４の木に止まりオブジ
ェクト７は消滅し、そこにオブジェクト８が表示され
る。

【００４９】以上のようにして、管理データに記述され
るコマンドを基にして画像オブジェクト表示、及び音声
オブジェクトの再生がなされる。そして、上記の管理デ
ータは表示画面ごとにユーザにより記述されても良い
が、かかる管理データはユーザがシナリオに基づいて画
像データの貼り付け及び移動処理を行なったときに、そ
の操作情報を基にして自動的にこれらの管理データがテ
ーブル生成手段１３により生成されるように構成するこ
とも可能である。

【００５０】なお、その場合の２次元の表示画面位置か
ら３次元画像オブジェクトの座標の値は推測により自動
的に求めるようにする。例えば、木のように地面の上に
存在しているオブジェクトは地表に接している根本、即
ち地上高が０ｍである部分の位置によりＸ、及びＹの座
標を求めることができる。

【００５１】それにより原点からの距離が求められるの
で、オブジェクトの大きさにより高さに係るＺの座標を
求められる。また、鳥は木の上の部分から別の木の上の
上の部分に移動する。従って、鳥の移動前と移動後の３
次元座標を決めることができる。さらに、移動中の座標
は、操作されて表示された移動軌跡を基に予測により求
めても良い。

【００５２】当然のことながら、表示画面より求めた３
次元座標データには多少の誤差が含まれることになる。
従って、自動的に求められた座標点に対して修正が必要
とされるときは、その時点で３次元データの修正を行な
えるようにしても良い。また、その修正時点は、作成さ
れた画像及び音場データがリハーサル機能により再生さ
れ、ユーザのイメージと異なる再生がされたときに座標
点の修正を行なうようにしても良い。

【００５３】そのような修正を伴いながら行われる音声
付オブジェクト画像作品の制作は、最初から３次元位置
データを入力しながら行なうよりも容易に行なえる。ま
た、ここで述べた音声付オブジェクト画像作品を構成す
るオブジェクト数は８であるが、更に多くのオブジェク
トを組み合わせて構成する作品には、自動制作が行なわ
れることによる利便性が高い。

【００５４】次に、上記の３次元データを有する画像オ
ブジェクトより発音される音声オブジェクトの音を、座
標軸原点において立体音場信号として視聴するための音
場データ生成について述べる。その立体音場信号の生成
は、音声データファイルに所定の定位方向を与える頭部
伝達関数を畳み込み手段１５において畳み込むことによ
り行う。

【００５５】まず、音声オブジェクトの定位方向を制御
手段１６で求める。即ち、制御手段１６では管理テーブ
ルを解析し、表示位置データ（ｘ，ｙ，ｚ）を基にして
音源の到来方向である定位方向を求める。そして、頭部
伝達関数記憶部１４よりその定位方向に係る頭部伝達関
数のデータを得、畳み込み手段１５にロード（供給して
そこに蓄積）する。

【００５６】そして、例えば川のようにコマンドｍが０
である移動なしの音声オブジェクトに対しては、１つの
頭部伝達関数が畳み込まれ、固定音源に対する立体音場
の信号が生成される。しかし、コマンドｍが０でないオ
ブジェクトは移動音源であるので、その移動に応じた音
場信号の生成が必要となる。

【００５７】制御手段１６では移動位置（ｘ、ｙ、ｚ）
と移動時間から伝達関数切り替えタイミングを算出す
る。また、表示開始時点よりの時間のカウントも行な
う。そして、オブジェクトの移動に応じて音声オブジェ
クトに対して畳み込む頭部伝達関数を移動中の方向に切
り替えながら移動を伴う音場信号の生成を行う。

【００５８】その動作を、オブジェクト６〜８の鳥の例
について説明する。まず、表示開始より７秒間は座標
（７．５，５，５．５）の位置、即ちＹ軸方向である視
聴者の正中面より右に５６度（ｔａｎ^-1（７．５／５）
＝５６°）の方向に定位させる頭部伝達関数を得、音声
オブジェクト信号ファイルｓｉｎｇ．ｍｐ３を再生して
得られる音声信号に畳み込み演算を行う。

【００５９】そして、７秒経過時点で音声オブジェクト
をｆｌｕｔｔｅｒ．ｗａｖを再生して得られる音声信号
に変更して畳み込み演算を行なう。さらに、鳥の移動に
対応させて頭部伝達関数の切り替えを行ないながら畳み
込み演算を行なう。

【００６０】ここで、頭部伝達関数記憶部１４に記憶さ
れる伝達関数は、離散的な音場定位方向、例えば１５度
ごとの関数値が記憶されており、実際の演算は最も近い
角度の関数値を得て畳み込み演算処理を行なう。

【００６１】その関数値が例えば１度ごとに多く記憶さ
れているときには、小さな定位方向の変化に対応した音
場信号の演算が出来る。しかし、限られた角度に対する
伝達関数しか記憶されていないようなときには、その中
間の角度に対する定位音場は隣り合う２つの伝達関数に
対して行なう。そして、得られた２つの角度に対する音
場定位信号所定の比率により混合することにより、中間
の角度に定位する音場信号を生成する。

【００６２】即ち、４５度方向及び６０度方向の頭部伝
達関数を用いて５６度方向に定位する信号の生成は、演
算して得られる４５度方向の定位信号の４／１５と、６
０度方向の定位信号の１１／１５を加算することにより
近似された定位信号の生成が行なえる。

【００６３】そのようにして、２つの頭部伝達関数によ
る定位音場信号の生成と合成処理を行ないながらオブジ
ェクト７の移動する羽根音の立体音場信号を生成する。
なお、ここで水平方向に対する定位について述べたが、
垂直方向に対しても頭部伝達関数は異なった値を有して
おり、高い場所を飛ぶ鳥の羽根音は立体方向をも含めた
頭部伝達関数を用いる方がよりリアルな立体音場信号を
生成することができる。

【００６４】そして、立体音に対する頭部伝達関数のデ
ータ数は多くなるため、離散的な角度に対する関数が頭
部伝達関数記憶部１４の限られた記憶領域に記憶され、
上記の分割合成処理を行ないながら補間された角度の立
体音場信号を生成するようにする。

【００６５】そのようにして、オブジェクト７の管理デ
ータに記載される鳥の通過座標点に従って移動する羽根
音の立体音場信号が生成される。そして、コマンドｅに
基づき２７秒の時間が経過した時点で羽根音が消滅す
る。その後はオブジェクト８の画像のみが表示され、鳥
の移動に係る一連の動作が終了する。

【００６６】その次に記述されるコマンドｆは、音声フ
ァイルの再生回数を指定する。即ち、ｆの次の値が０の
時は連続再生なので、停止・消滅することなく畳み込み
処理を繰り返して実行し、１の時は1回の再生で停止
し、１より大きな値の場合はその数だけ畳み込み処理を
繰り返す。

【００６７】次に、畳み込み手段１５について詳述す
る。図７に、畳み込み手段の構成を示す。同図におい
て、音源の数ｍ（ｍは正の整数）に対するそれぞれの畳
み込み処理ユニットを設けている。なお、畳み込み演算
の処理時間が重ならないように、管理データの音源配置
を設定できる場合は、ｍよりも少ない数の処理ユニット
を時分割処理により用い、演算処理を行なうことも可能
である。

【００６８】これらの処理ユニット１５ａ〜１５ｍは同
一構成のものが用いられている。その１つの処理ユニッ
トについて説明する。図８に処理ユニットの構成を示
し、その動作について述べる。同図において、畳み込み
演算処理ユニット１５ａは可変利得増幅器１５１、定位
方向処理器１５２ａ〜１５２ｄ、クロスフェード器１５
３ａ、１５３ｂ、頭部演算処理器１５４ａ〜１５４ｄ、
極性反転器１５５ａ、１５５ｂ、加算器１５６ａ、１５
６ｂ、両耳間時間差器１５７ａ、１５７ｂ、及び残響処
理器１５８ａ、１５８ｂより構成される。

【００６９】次に、このような構成によりなされる動作
について述べる。まず、音声オブジェクトの再生信号は
音源１として入力される。そして、可変利得増幅器１５
１により適当な音量レベルの信号に設定される。次に、
定位方向処理器１５２ａ〜１５２ｄにより管理テーブル
に記述される音源の定位方向に従った伝達関数が畳み込
まれる。

【００７０】ここで、頭部伝達関数記憶部１４に記憶さ
れる水平面内における伝達関数を例えば１５度おき、即
ちｍ＝２４（３６０／１５＝２４）とする。そのときの
右側用伝達関数としては、ｆ_r0（ｔ）〜ｆ_r31（ｔ）、
そして左側用伝達関数としてｆ_l0（ｔ）ｆ_l31（ｔ）が
存在している。

【００７１】ここで、定位方向を５６度とするときに
は、それぞれの定位方向処理器１５２ａと１５２ｃには
４５度方向のｆ_r3（ｔ）とｆ_l3（ｔ）の関数が用いられ
る。また、１５２ｂと１５２ｄには６０度方向のｆ
_r4（ｔ）とｆ_l4（ｔ）とが用いられて音源１に定位方向
伝達関数が畳み込みされる。

【００７２】それぞれの演算結果は後述のクロスフェー
ド器１５３ａ、及び１５３ｂに供給されて所定の比率の
信号として加算合成される。次に、頭部演算処理器１５
４ａ〜１５４ｄに供給され、そこでは頭部と両耳の位置
関係により生じる特性の乱れ及び両耳間クロストークの
補正がなされる。

【００７３】次の極性反転器１５５ａ、１５５ｂでは両
耳間のクロストークに係る信号の位相反転がなされる。
次の加算器１５６ａ、１５６ｂでは供給される信号の加
算を行なう。次の両耳間時間差器１５７ａ、１５７ｂで
は定位方向が視聴者の正中面と異なる位置にあるときに
は左右の耳に到来する音響信号に時間差が生じる。そこ
では、その時間差を付与する。

【００７４】そして、両耳間時間差器１５７ａ、１５７
ｂを用いることにより、定位方向処理器１５２ａ〜１５
２ｄにおける信号処理は遅延時間に係る演算の省略がで
きる。従って、そこでは簡易な周波数特性に係る演算処
理により定位方向を与えることが出来る。

【００７５】次の残響処理器１５８ａ、１５８ｂでは、
反射面のある空間内に定位されるオブジェクトが存在す
る場合に、そこで生じる残響音を付加する。前述の図２
に示す視聴空間は野外の反射のない空間であるので、特
にホールトーンのような残響音の付加は行なわない。

【００７６】以上、畳み込み演算処理ユニット１５ａの
構成と動作について述べた。前述の図７に示す畳み込み
手段は複数の畳み込み演算処理ユニットにより構成され
ており、複数のユニットを用いて複数音源を定位させた
音場定位信号を生成することができる。

【００７７】図９に、視聴者を中心として定位される音
源と、伝達関数の関係を示す。同図において、それぞれ
のスピーカＬ₁及びＬ₂より発音される信号ｘ₁（ｔ）及
びｘ₂（ｔ）が基にされて虚音源１、２、３、及びｍが
定位していることを示している。

【００７８】そして、例えば音源２に対しては左側の耳
に対する伝達関数はｆ_l1（ｔ）、右側はｆ_r1（ｔ）であ
る。また、スピーカＬ₁から左耳に伝達される特性はｈ
_l1（ｔ）、右耳にはｈ_r1（ｔ）、スピーカＬ₂から左耳
に伝達される特性はｈ_l2（ｔ）、右耳にはｈ_r2（ｔ）で
ある。

【００７９】畳み込み手段はこれらの特性を基に、虚音
源を定位させるための信号を生成している。以上、静止
している画像オブジェクトから発せられる音声オブジェ
クトの定位について述べた。

【００８０】次に、移動するオブジェクトを移動させな
がら定位させる音声オブジェクトの定位方法について述
べる。基本的な動作は上述の通りであるが、移動オブジ
ェクトに対しては定位方向の変更をスムーズに行なう必
要がある。

【００８１】図１０に、スムーズな移動音を生成するた
めのクロスフェード器の構成を模式的に示す。そして、
このクロスフェード器は上述のクロスフェード器１５３
ａ、１５３ｂを用いて、移動する音声オブジェクトの定
位を自然に行なおうとするものである。

【００８２】即ち、音源の移動に伴い頭部伝達関数が切
り替えられて定位信号処理がなされる。そして、このク
ロスフェード処理により切り替え時に生じる信号の不連
続に基づくノイズを軽減する。そのクロスフェード処理
は、上記のように現在の定位位置の処理と前回の定位位
置の処理を並列に行い、それらの２つの処理信号出力信
号の時間的なレベル変化を、一方は大レベルから小レベ
ルへ、他方は小レベルから大レベルへと、お互いに反対
になるように可変する。そしてそれらの可変された信号
を加算した合成信号を得る。従って、特性の切り替えは
レベルが０である信号に対して行なうことにより、特性
切り替え時に生じる雑音の発生を防いでいる。

【００８３】以上説明したようにして、音声オブジェク
トを所定の位置に定位させた立体音場信号の生成がなさ
れる。尚、上記音像定位処理は、ＦＩＲ（有限インパル
ス応答）フィルタ想定して実現しているが、これをＩＩ
Ｒ（無限インパルス応答）フィルタを用いて実現しても
良い。

【００８４】そして、制御手段６は上述の畳み込み処理
に係る立体音場信号生成装置の制御の他に、コマンドに
従った画像表示処理の制御も行なう。これにより、画像
の動きと音声の動きがリンクし、より臨場感あふれる表
示再生が行なえる。

【００８５】以上詳述したようにして、本実施例で述べ
た立体音場信号生成装置によれば、簡易な操作によりユ
ーザの希望するアニメーション映像が所望の音響信号と
共に、より効果的に表示され、再生される。特に頭部伝
達関数を用いた畳み込み処理により音像の定位が明確化
され、より好適な臨場感を有する立体音場再生が可能と
なっている。

【００８６】そして、音声オブジェクトの位置、及び視
聴場所の位置を３次元のＸ、Ｙ、及びＺの３軸により定
義される座標位置を基にして頭部伝達関数を畳み込む方
法ついて述べたが、その位置は２次元平面上の座標を用
いて動作させる場合であっても同様な効果を得ることが
できる。そして、高さ方向の違いにより生じる頭部伝達
関数の違いに基づいて音声オブジェクトから発音される
信号の周波数特性には多少の誤差が生じる。しかし、定
位に係る両耳間時間差信号の遅延時間には大きな差が生
じないため、２次元座標を基に立体音場再生信号を生成
する場合であっても遜色のない定位情報を得ることがで
きる。また、頭部伝達関数記憶部に記憶するデータ量を
少なくすることが出来る。

【００８７】さらに、発明は、上述した立体音場信号生
成装置をコンピュータにより実現させるためのプログラ
ムを含むものである。そのコンピュータを実行させるた
めのプログラムは、例えば、画像オブジェクトを貼り付
けて表示可能な表示画面に、仮想的な視聴位置を原点と
し、且つその原点を通るＸ、Ｙの座標軸を定義すると共
に、貼り付けられた画像オブジェクトのＸ、Ｙ座標軸上
の座標を求め、その求められた座標より発音される音声
オブジェクトの音声信号を仮想視聴位置における臨場感
信号として生成し、その生成した臨場感信号を表示画面
の前方に存在する視聴空間に対して再生する機能を有し
て実行される臨場感信号生成用プログラムであって、表
示平面に表示された画像オブジェクトを基に、その画像
オブジェクトのＸ、Ｙ座標軸上の座標を推定して得る第
１のステップと、座標を基に、音声オブジェクト信号の
定位方向を求める第２のステップと、音声オブジェクト
信号に、定位方向に基づいた頭部伝達関数を畳み込むこ
とにより立体音場信号として生成する第３のステップ
と、をコンピュータにより実行させることを特徴とする
臨場感信号生成用プログラムである。そして、そのよう
なプログラムのコンピュータへの取り込みは、ネットワ
ークを経由して取り込む場合、及びパッケージメディア
を介して取り込む場合がある。

【００８８】

【発明の効果】請求項１記載の発明によれば、表示画面
に視聴位置を原点とするＸ、Ｙ軸座標を定義し、そこに
配置される画像オブジェクトから発音される音声オブジ
ェクトを視聴位置で視聴して得られるように頭部伝達関
数を畳み込んで音場信号を生成するようにしているの
で、表示画面に配置された画像オブジェクトが視聴者の
周りに配置されていると等価な立体音場を生成すること
の出来る臨場感信号の生成方法を提供できる効果があ
る。

【００８９】また、請求項２記載の発明によれば、表示
画面に視聴位置を原点とするＸ、Ｙ軸座標を定義し、そ
こに配置される画像オブジェクトから発音される音声オ
ブジェクトを視聴位置で視聴して得られるように頭部伝
達関数を畳み込んで音場信号を生成するようにしている
ので、表示画面に配置された画像オブジェクトが視聴者
の周りに配置されていると等価な立体音場を生成するこ
との出来る臨場感信号生成装置の構成を提供できる効果
がある。

【図面の簡単な説明】

【図１】本発明の実施例に係る、立体音場信号生成装置
の概略を示したブロック図である。

【図２】本発明の実施例に係る、画像オブジェクトの配
置された表示画面例を示した図である。

【図３】本発明の実施例に係る、オブジェクトの配置を
チャートにより示したものである。

【図４】本発明の実施に係る、オブジェクトを管理する
管理テーブルの構造を示した図である。

【図５】本発明の実施に係る、管理テーブルに記述され
るコマンドの内容を示したものである。

【図６】本発明の実施に係る、オブジェクトの表示を管
理データにより記述したものである。

【図７】本発明の実施に係る、頭部伝達関数の畳み込み
処理ユニットの構成を例示した図である。

【図８】本発明の実施に係る、畳み込み手段の１つの処
理ユニットの構成を例示した図である。

【図９】本発明の実施に係る、視聴者を中心に定位され
る音源と伝達関数の関係を示した図である。

【図１０】本発明の実施に係る、クロスフェード器の構
成を模式的に示した図である。

【符号の説明】

１立体音場信号生成装置７画像表示手段８ａ、８ｂ発音手段１１オブジェクト素材記憶部１２オブジェクト編集手段１３管理テーブル生成手段１４頭部伝達関数記憶部１５畳み込み手段１５ａ、１５ｂ、１５ｍ畳み込み処理ユニット１６制御手段１５１可変利得増幅器１５２ａ〜１５２ｄ定位方向処理器１５３ａ、１５３ｂクロスフェード器１５４ａ〜１５４ｄ頭部演算処理器１５５ａ、１５５ｂ極性反転器１５６ａ、１５６ｂ加算器１５７ａ、１５７ｂ両耳間時間差器１５８ａ、１５８ｂ残響処理器

Claims

【特許請求の範囲】

【請求項１】視聴空間の前方に配置される表示画面内に
仮想的な視聴位置を定めると共に、前記表示画面内に音
声オブジェクトが関連付けられた画像オブジェクトを貼
り付けてオブジェクト合成画面を作成し、その作成され
たオブジェクト合成画面内で発音される前記音声オブジ
ェクトを前記仮想的な視聴位置で視聴したときの立体音
響信号を、前記視聴空間で臨場感を有する立体音場信号
として生成する臨場感信号の生成方法であって、前記表示画面内の視聴位置を原点とし、且つその原点を
通るＸ、Ｙ座標軸を定め、その定められた座標系におけ
る前記画像オブジェクトの座標位置を得る第１のステッ
プと、前記座標位置を基に、前記音声オブジェクト信号の定位
方向を求める第２のステップと、前記音声オブジェクト信号に、前記定位方向に基づいた
頭部伝達関数を畳み込むことにより前記立体音場信号を
生成する第３のステップと、を有してなることを特徴とする臨場感信号の生成方法。
【請求項２】視聴空間の前方に配置される表示画面内に
仮想的な視聴位置を定めると共に、前記表示画面内に音
声オブジェクトが関連付けられた画像オブジェクトを貼
り付けてオブジェクト合成画面を作成し、その作成され
たオブジェクト合成画面内で発音される前記音声オブジ
ェクトを前記仮想的な視聴位置で視聴したときの立体音
響信号を、前記視聴空間で臨場感を有する立体音場信号
として生成する臨場感信号生成装置であって、前記表示画面内の視聴位置を原点とし、且つその原点を
通るＸ、Ｙ座標軸を定め、その定められた座標系におけ
る前記画像オブジェクトの座標位置を得るオブジェクト
位置取得手段と、前記座標位置を基に、前記音声オブジェクト信号の定位
方向を求める定位方向演算手段と、前記音声オブジェクト信号に、前記定位方向に基づいた
頭部伝達関数を畳み込むことにより前記立体音場信号を
生成する伝達関数畳み込み手段と、を具備して構成することを特徴とする臨場感信号生成装
置。