JP2004007211A - 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム - Google Patents
臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム Download PDFInfo
- Publication number
- JP2004007211A JP2004007211A JP2002159677A JP2002159677A JP2004007211A JP 2004007211 A JP2004007211 A JP 2004007211A JP 2002159677 A JP2002159677 A JP 2002159677A JP 2002159677 A JP2002159677 A JP 2002159677A JP 2004007211 A JP2004007211 A JP 2004007211A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- screen
- image
- dimensional sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Systems (AREA)
- Stereophonic System (AREA)
Abstract
【課題】複数のオブジェクトを表示画面に貼り付け、そこから発せられる音を表示画面中に設定した仮想視聴位置で聞いたときの立体音場信号として伝送及び再生を行う臨場感信号送受信システムを実現することにある。
【解決手段】表示画面内に視聴位置を原点とするＸ、Ｙ座標を定義し、表示される画像オブジェクトの配置情報を管理テーブル生成手段１３により得、その配置情報を基に画像オブジェクトから発音される音声オブジェクトの定位方向を到来方向演算手段１６により求めて伝送装置より受信装置に伝送し、受信側では音声オブジェクトにその定位方向に係る頭部伝達関数を畳み込み手段２５にて畳み込み演算を行なうことによりそのオブジェクトに係る立体音場信号を生成するようにして臨場感信号送受信システムを実現した。
【選択図】 図１
【解決手段】表示画面内に視聴位置を原点とするＸ、Ｙ座標を定義し、表示される画像オブジェクトの配置情報を管理テーブル生成手段１３により得、その配置情報を基に画像オブジェクトから発音される音声オブジェクトの定位方向を到来方向演算手段１６により求めて伝送装置より受信装置に伝送し、受信側では音声オブジェクトにその定位方向に係る頭部伝達関数を畳み込み手段２５にて畳み込み演算を行なうことによりそのオブジェクトに係る立体音場信号を生成するようにして臨場感信号送受信システムを実現した。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、表示画面上の指定される位置にオブジェクト画像を表示すると共に、そのオブジェクトから発音される音声信号を視聴空間内の立体音場信号として生成する臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラムに関する。
【０００２】
【従来の技術】
従来より、ソフト制作者により複数のオブジェクト画像が組み合わされた合成画像が制作されると共に、それぞれのオブジェクト画像ごとにその音声信号が組み合わされたステレオ音源が付加されて、電子マンガ、アニメーション、及びゲームなどの作品が制作され、配信されている。
【０００３】
それらの作品では、例えば主人公が歩くシーンでは「コツコツ」という足音を、川が流れていれば小川のせせらぎ音を付加し再生するようにしている。しかし、そのときの再生音はモノラル音声あるいはステレオ音声程度のものでしかなかった。
【０００４】
そして、そのステレオ再生音は、オブジェクト画像の位置及び移動と共に左右のスピーカより発音される音量レベルのバランスを変える等によっている。また、自動車運転用のシミュレーションソフトでは、前方向に関する情報は前のスピーカの音量を少し上げ、右方向に関する情報は右側にあるスピーカの音量を少し上げるなどにより、運転操作者に対して表示されるシミュレーション画面に合わせた音響信号を発音させるようにしている。
【０００５】
他の応用例として、複数の分割ウィンドウ表示を行うパソコン画面上に対応する音声情報を画面の周囲に配置される複数のスピーカを用いて発音させる方法がある。その方法では、上下左右に分割される４分割画面に対応させて表示器の四隅にスピーカを配置し、表示が選択された分割画面に対してはその画面に近いスピーカの発音レベルを大きくするようにしている。そして、例えば画面中央に切られたウインドウに係る音声は四隅のスピーカから同音量で発音するようにして、擬似的に立体音場の制御を行なっているものもある。
【０００６】
【発明が解決しようとする課題】
しかしながら、これらの複数スピーカの出力音量変化による立体音場生成では、より多くの発音方向を設定しようとするときに、それらの発音方向に対応する多くのスピーカが必要となる。さらに、それら多くのスピーカ出力音量の制御を行なう必要があるなど、伝送及び受信装置は複雑であり且つ高価なものとなってしまう。
【０００７】
そこで、従来通り２つのスピーカを用いて上下左右３６０度の方向より発音できる立体音場信号生成方法を実現できれば好適である。そして、その立体音場信号生成方法により生成した信号を伝送することにより、その信号を再生して行なう自宅学習、いわゆるｅ−ｌｅａｒｎｉｎｇ（イー・ラーニング）にも応用が可能となる。
【０００８】
その場合は、従来法のＬ（Ｌｅｆｔ）チャンネルが英語で、Ｒ（Ｒｉｇｈｔ）チャンネルが日本語訳といった画一的な音場のみならず、ＬＲチャンネルともに英語でしかも会話をしており、Ｌチャンネルの日本語訳を後方左の方向から、Ｒチャンネルの日本語訳を後方右の方向から与えるなどにより立体的な音場空間を実現することができ、それにより効果的な学習ができる。
【０００９】
その立体音場空間では、３人以上の会話シーンや、会話のレベルが非常に高いなどの複雑な会話シーンも、何度も同じ会話シーンを使って自分の学習レベルに応じて、「聞き分け」ることの学習など多様な学習方法を容易に実現できるようになる。
【００１０】
また、学習教材のような与えられた情報提示だけでなく、マンガやアニメなどユーザが自分で作った絵を、より効果的に見せるための立体音場再生に対しても効果的である。例えば、ユーザがデザインした鳥が右から左へ鳴きながら飛んで行く、川のせせらぎが聞こえてくる、というようなシーンをあたかも自分がその現場にいるような感覚で、再現できるようにして制作したソフトを、友人宅などに伝送し、そこの視聴空間でも好適な臨場感により再生することが可能となるものである。
【００１１】
そこで、本発明は上記の点に着目してなされたものであり、画像オブジェクトを画面上で指定される表示位置に時間を指定して配置する管理データを作成する。そして、その管理データに記述される画像オブジェクトの表示画面上の指定位置情報を基にし、その画像オブジェクトを視聴者が存在する視聴空間に仮想的に存在させる。さらに、画像に付随する音声オブジェクトの発音方向である定位方向情報を得る。次にそれらの画像オブジェクトに係る表示位置情報及び音声オブジェクトの再生に係る定位方向情報を伝送する。伝送された信号を受信して行なう再生側では受信された信号に基づいて画像オブジェクトを表示画面に表示すると共に、伝送された定位情報を基に音声オブジェクトに頭部伝達関数を畳み込むようにして立体音場信号を生成して再生する。そのようにして臨場感信号伝送装置により伝送される信号を好適な臨場感を伴って再生する臨場感信号受信装置の構成を実現するようにした。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）〜４）の手段より成るものである。
すなわち、
【００１３】
１） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムであって、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とすることを特徴とする臨場感信号の送受信システム。
２） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号伝送装置であって、
前記合成画面作成手段、前記立体音生成手段、及び前記伝送信号生成手段を具備すると共に、
前記伝送信号生成手段における立体音生成用情報は、
前記表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における前記画像オブジェクトの座標位置を基に生成した立体音生成用情報であることを特徴とする臨場感信号の伝送装置。
３） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号受信装置であって、
前記オブジェクト素材記憶手段、前記信号受信手段、前記合成画面生成手段、及び前記立体音生成手段を具備すると共に、
前記立体音生成手段における立体音響信号を、
前記音声オブジェクト情報に、前記所定位置の方向に定位させるための頭部伝達関数を畳み込んで生成することを特徴とする臨場感信号受信装置。
４） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とする臨場感信号の送受信システムにおける、前記オブジェクト画面の表示及び前記立体音響信号の再生を行なう機能を有して実行される臨場感信号受信装置用プログラムであって、
前記画像オブジェクト及び前記音声オブジェクトのそれぞれを記憶する第１のステップ（Ｓ１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る第２のステップ（Ｓ３）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成すると共に、前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する第３のステップ（Ｓ６）と、
を有して前記臨場感信号受信装置を制御することを特徴とする臨場感信号受信装置用プログラム。
【００１４】
【発明の実施の形態】
以下、本発明の臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラムの実施の形態につき、好ましい実施例により説明する。
図１に、臨場感信号伝送装置及び臨場感信号受信装置の概略ブロック図を示し、その構成と動作について概説する。
【００１５】
同図において、その臨場感信号伝送装置１はオブジェクト素材記憶部１１、オブジェクト編集手段１２、管理テーブル生成手段１３、頭部伝達関数記憶部１４、畳み込み手段１５、制御手段１６、及び送信手段１９より構成される。そして、その臨場感信号伝送装置には画像表示手段７及びステレオ音再生用の２つの発音手段８ａ、８ｂが接続されている。また、臨場感信号受信装置２はオブジェクト素材記憶部２１、頭部伝達関数記憶部２４、畳み込み手段２５、制御手段２６、及び受信手段２９より構成される。そして、同様にして画像表示手段７ａ及びステレオ音再生用の２つの発音手段８ｃ、８ｄが接続されている。
【００１６】
次に、臨場感信号伝送装置１の動作について概説する。
まず、オブジェクト素材記憶部１１には木や雲、人、動物などの絵の素材に関する画像オブジェクト情報と、その絵に関連する音声素材である音声オブジェクト情報とが記憶されている。
【００１７】
そして、オブジェクト編集手段１２では、画像表示手段７に表示されるオブジェクト画像をオブジェクト素材記憶部１１より選択して得ると共に、オブジェクト画像の加工編集などを行なう。さらに、そのオブジェクト画像に音声オブジェクトデータを貼りつけるかどうか、またその音声オブジェクトの音源の配置位置に係る設定などを行なう。
【００１８】
さらにまた、そのオブジェクト編集手段１２では、画像オブジェクトをどの時間に出現させ、どの音声オブジェクトを付随される音声としてどのタイミングでどのように発音させるかといった時間管理に関する編集など、効果音の編集設定を行なう。即ち、そのような編集設定は、いわゆるストーリーの記述されるコンテに従ったシナリオ編集でもある。
【００１９】
その編集されたシナリオデータは管理テーブル生成手段１３に供給され、そこでは表示画面７上の所定の位置に表示される画像オブジェクトに対する音場信号を生成するための管理テーブルの作成を行なう。即ち、表示画面上に配置される画像オブジェクトを視聴者を中心とする音場空間に配置したときに、その画像オブジェクトの配置点を仮想音源位置として予測し、その仮想音源位置を視聴者に対する到来方向とした音源方向データを作成する。
【００２０】
その音源方向データは畳み込み手段１５に供給されると共に、頭部伝達関数記憶部１４に記憶される。到来方向に係る頭部伝達関数データも畳み込み手段１５に供給される。そして、音声オブジェクトデータに頭部伝達関数データが畳み込み演算され、視聴者に対する所定の到来方向に定位する音声オブジェクトの立体音場データが作成される。
【００２１】
その頭部伝達関数は、視聴者に対して上下左右３６０度の方向より到来する音源に対する周波数特性及び両耳間時間差特性を基に予め演算して得られる頭部伝達関数の係数が求められ、頭部伝達関数記憶部１４に記憶されているものが用いられる。
【００２２】
以上、１つの画像オブジェクトに対する音声オブジェクトの音場データの生成について述べた。実際には画面上に配置される複数の画像オブジェクトに対して複数の音声オブジェクトデータが存在する。そして、それら複数の音声オブジェクトから発音される音声データが合成され左右１対のスピーカ８ａ、８ｂより発音される立体音場データとして生成されることになる。
【００２３】
このようにして臨場感信号伝送装置では、選択された画像オブジェクトが所定の表示位置に表示されると共に、その画像オブジェクトに付随する音声オブジェクトには所定の定位方向に定位した立体音場信号として再生することのできる音声信号の付随される映像作品が制作された。
【００２４】
その制作された映像作品を所定の伝送レートで受信装置側に伝送して映像及び立体音場信号の再生ができる。ここで送信手段１９より受信装置側に伝送される情報は、画像オブジェクトファイル、音声オブジェクトファイル、及びそれらファイルの表示に係る管理情報である。それらの情報は制作された映像に係る情報よりも少ない情報量の情報である。従って、低い伝送レートで伝送することが可能であり、且つ低い伝送レートで伝送されたにも拘らず再生側では伝送側で制作された画質、音質、及び表示効果を有して再生される。
【００２５】
次に、その臨場感信号受信装置の動作について述べる。
まず、送信側から伝送される画像オブジェクトファイル、音声オブジェクトファイル、及び管理情報は受信手段２９により受信される。受信された管理情報は制御手段２６に供給され、そこに一時記憶される。また画像及び音声ファイル情報は制御手段２６を介してオブジェクト素材記憶部２１に記憶される。
【００２６】
なお、画像及び音声ファイル情報が予め伝送されているものを用いる場合、及びＣＤ−ＲＯＭなどの記録メディアに記録されて受信側に供給されるような場合では、それらのファイル情報の伝送を省くことができる。
【００２７】
オブジェクト素材記憶部に記憶される画像及び音声ファイル情報は制御手段２６に蓄積される管理情報に従って表示及び発音がなされる。
即ち制御手段２６では、オブジェクト画像の表示に先立って管理情報に記述されるコマンドを解釈し、そのオブジェクト画像に音声オブジェクトデータが貼りつけられているかどうか、またその音声オブジェクトの音源の配置位置に係る動作情報などを得る。
【００２８】
その動作情報は、画像オブジェクトがどの時間に出現され、どの音声オブジェクトを付随される音声としてどのタイミングでどのように発音させるかといったストーリーの再生に係るシナリオデータである。
【００２９】
そのシナリオデータは、表示画面上に配置される画像オブジェクトを、視聴者を中心とする音場空間に配置したときの、音源位置に係る、視聴者に対する定位方向データを含んでいる。
【００３０】
その定位方向データは畳み込み手段２５に供給されると共に、頭部伝達関数記憶部２４より、その定位方向に係る頭部伝達関数データが畳み込み手段２５に供給される。そして、音声オブジェクトデータに頭部伝達関数データが畳み込み演算され、視聴者に対する所定の到来方向に定位する音声オブジェクトの立体音場信号が作成される。
【００３１】
その頭部伝達関数記憶部２４には、予め視聴者に対して上下左右３６０度の方向より到来する音源に対する周波数特性及び両耳間時間差特性を基に演算して得られた係数が記憶される場合、又は予め伝送装置側で作成された頭部伝達関数がそこに供給されて記憶されているものが用いられる場合などがある。
【００３２】
制御手段２６では、供給された管理情報を基にして表示用の画像信号を生成して画像表示手段７ａに供給すると共に、畳み込み手段２５により生成された立体音場信号はスピーカ８ｃ、８ｄに供給される。
【００３３】
以上述べたようにして、画像及び音声のオブジェクトデータ、及び頭部伝達関数が予め臨場感信号受信装置に供給されているときには、管理データのみを伝送することにより、受信装置側では伝送装置側と同じ画像信号の表示、及び付随される立体音場信号の再生がなされる。
【００３４】
次に、伝送装置側のオブジェクト編集手段１２で行なわれるシナリオ編集について詳細に述べる。
まず、ユーザはオブジェクト素材記憶部１１に記憶される画像素材群一覧を画像表示手段７に表示し、それらの中から好きな画像オブジェクトを選択する。そして、画像表示手段７により、いわゆる電子画用紙とも言える画像表示手段７の描画領域に、構図を考えながら想定される３次元配置場所への画像の貼り付けを行なう。
【００３５】
図２に、貼り付けられて表示される表示画像例を示す。
その画像貼り付けは、画像アイコンを順次貼り付けるようにしてなされる。例えば、遠近感を出すために画像の縮小や拡大をしたり、また画像オブジェクトを回転させるなどの変形も自由に行なう。そして、貼り付けられた画像の位置は、その画像の重心位置を示す座標を設定位置とする。
【００３６】
このとき、３次元座標としてＸ、Ｙ、及びＺの３軸を定義し、それらの軸の交点、例えば表示画面の中心位置をユーザの位置とする。即ち、原点Ｏは（ｘ、ｙ、ｚ）＝（０，０，０）の位置である。また、ユーザの位置は自由に場所及び方向を変更することができるものとする。場所の移動は軸の移動により、方向の変更は座標軸の回転により対応付がなされる。
【００３７】
一方、ユーザによる画面の編集時は常に静止された画に対して作業を行なうようにする。さらに、表示されるそれぞれの画像オブジェクトのアイコンには、例えば音声オブジェクト情報など、その画像オブジェクトに付随される他のオブジェクト情報を関連付けされるようにして付加していく。
【００３８】
図に示す編集画面は、「ユーザＯの右後方に川が流れ、左前方に牛がおり、右前方及び左後方に木が植わっている。そして、シーン開始から５秒後に右前方の木に赤い鳥が現れ、その２秒後に、２０秒間羽ばたきながら左後方の木へ移る」シーンを作成したものである。鳥の移動軌跡を破線により示している。
【００３９】
図３に、編集画面に表示される画像オブジェクトと、視聴者を中心とする再生音場の時間的な変化の様子を示す。
同図において、（ａ）はシーン開始時、（ｂ）は開始から７秒後の、そして（ｃ）は開始から１０秒後の表示画像と視聴空間で再生される立体音場の様子を示している。
【００４０】
即ち、効果音としては、終始右後方から川の流れる音が再生されている。また左前方から例えば１分間に６回の割合で牛が鳴く音が再生され、さらに右前方の木に止まっている赤い鳥が現れると同時に鳴き、羽ばたきながら飛んでいく画像と音場の様子が示されている。
【００４１】
図４に、それらの動作をチャートにより示す。
同チャートにおいて、右側にそれぞれの画像オブジェクトに対する名称が記されており、それらのオブジェクトに対する情報がそれぞれの項目として記されている。
【００４２】
最初に、関連付けとしてオブジェクトのファイル名が記される。英語名のファイル名に付される拡張子により、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、及びＢＭＰ（Ｂｉｔｍａｐ）形式により記述される画像ファイルと、ＷＡＶ（ｗａｖｅ）、ＡＩＦＦ（Ａｕｄｉｏ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、及びＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ３）により記述される音声ファイルとが関連付けされている。
【００４３】
次の表示開始時間はそれらの画像ファイル又は音声ファイルの提示が開始される時間を示す。そして、表示位置は視聴者を原点として定義されるＸ、Ｙ、及びＺ軸方向における位置をデシメートルを単位として示している。移動はオブジェクトの移動の有無を示し、移動する場合には移動開始時間と移動に要する時間とを記述してある。
【００４４】
そして移動するオブジェクトに対しては、経由する位置情報を記述する。さらに、再生回数は音声オブジェクトを連続して再生するか、又は所定の回数再生するかを記述する。最後の消滅時間は、値が「０」として記述されるときには再生音は消滅しないことを示し、数値が記述されるときにはその時間に再生が中止されることを示している。
【００４５】
ここで、移動位置は１秒ごとの移動軌跡の座標位置を示す場合、又は移動時間を記述する位置座標の数で除した単位時間毎の移動位置として示す場合のいずれによっても良い。さらに、移動位置情報はユーザにより描かれた描画画面における描画速度を予め検出するようにし、その検出データを基に自動的に取得されるようにしても良い。
【００４６】
以上のように記述された動作チャートは、各オブジェクトのプロパティ（Ｐｒｏｐｅｒｔｙ）として保存される。さらに、その動作チャートを基にして前述の図２及び３に示した表示画像のシナリオの自動作成を行なうことも可能である。
【００４７】
次に、管理テーブル生成手段１３の動作について詳細に述べる。
図５に、管理テーブル生成手段により生成される管理テーブルを含んで記述されたデータのディレクトリ構造を示す。
【００４８】
同図において、ルートディレクトリの下の階層にオブジェクトディレクトリと管理テーブルディレクトリがある。そして、オブジェクトディレクトリの下層には音声ファイル群、静止画ファイル群、動画ファイル群、及び管理情報のディレクトリがある。また、管理情報ディレクトリには音声と画像のそれぞれのオブジェクトデータを管理するためのディレクトリが存在している。
【００４９】
それらのディレクトリの下にはファイルが格納されている。例えば音声ファイル群のディレクトリには牛の鳴き声をＡＩＦＦフォーマットにより、鳥のさえずりをＭＰ３フォーマットにより、そして鳥の羽音がＷＡＶフォーマットにより記述された音声オブジェクトデータとして格納されている。
【００５０】
同様にして、静止画、動画、及びそれらの情報が記述される管理情報が、静止画ファイル、動画ファイル、及び管理情報ファイル等のデータファイルとして該当するディレクトリの下に格納されている。
【００５１】
それらのデータファイルは管理テーブルにより管理されて画像オブジェクトの表示、及び音声オブジェクトの発音などがなされる。
次に、その管理テーブルについて述べる。その管理テーブルは管理テーブル生成手段１３によって生成される。そして、管理テーブルにはどのオブジェクトを使用して、いつ、どこに表示するか、いつ、どこへ移動するか、などの情報が記述される。
【００５２】
更にその管理テーブルには、音声オブジェクトに係る立体音場信号を生成するための信号の処理方法についても記述されている。即ち、ユーザの位置である原点Ｏ（０，０，０）に対する画像オブジェクトの表示位置が点Ｐ（ｘ，ｙ，ｚ）として与えられるときに、それらの位置情報を基に音声オブジェクト音源の到来方向を求める。
【００５３】
そして、その到来方向、即ち定位方向に係る頭部伝達関数を頭部伝達関数記憶部１４より得る。次に、制御手段１６において音声オブジェクトの信号に得られた頭部伝達関数を畳み込み演算することにより原点Ｏで視聴される立体音場信号が生成される。
【００５４】
次に、その立体音場信号生成用管理テーブルについて述べる。
図６に、管理テーブルの記述に用いられるコマンドと、それらの意味を表により示す。
即ち、コマンドＳは表示開始時間を示し、その時間情報をコマンドに続いて記述する。そして、コマンドｘ、ｙ、ｚのそれぞれは視聴者であるユーザの位置を原点Ｏ（０，０，０）とするときの、前述の図２に示したそれぞれの軸に対する座標の値をｘ、ｙ、ｚの各々のコマンドに続けて記述する。
【００５５】
また、コマンドｍは画像オブジェクトの移動の有無を示す。そして、ｍの次に記述する数が０のときは移動しないことを、移動するときは移動を開始時間をｍに続けて記述する。また、コマンドｆは音声ファイルの毎分ごとの再生回数を示す。そして、コマンドｅは画像オブジェクトの消滅時間を示す。消滅しないときには０をｅの次に記述する。
【００５６】
次に、これらのコマンドを用いる管理データの記述例を示す。
図７に、前述の図２に示した表示画面に対する画像及び音声オブジェクトの表示に係る管理データテーブルの記述例を示す。
【００５７】
その管理データテーブルには、左側の列にオブジェクトナンバーが、次の列に画像オブジェクトファイル名及び音声オブジェクトファイル名が、そして右側の列にはそれらのオブジェクトに係る管理データが記述されている。
【００５８】
即ち、オブジェクトナンバーが１である川の画像ファイル名はｒｉｖｅｒ．ｇｉｆであり、音声ファイル名はｒｉｖｅｒ．ｗａｖである。その川は再生時間０秒より、ユーザの左側５ｍ、前方−５ｍ（＝後方５ｍ）、高さ−１ｍに移動することなく存在しており、川の流れを示す音声オブジェクトデータは連続して再生される。
【００５９】
オブジェクト２、３、及び４は木であり、それぞれの木の画像オブジェクトデータと、配置データなどがリンクされて記述されている。そして、オブジェクト５の牛は１分回に６回の割で鳴いている。また、オブジェクト６の鳥はオブジェクト２の木に止まっている鳥であり、再生時間が７秒のときに飛び立つため消滅し、その後はオブジェクト７により飛んでいる鳥と羽音が再生され、再生時間が２７秒でオブジェクト４の木に止まりオブジェクト７は消滅し、そこにオブジェクト８が表示される。
【００６０】
以上のようにして、管理データに記述されるコマンドを基にして画像オブジェクトの表示、及び音声オブジェクトの再生がなされる。そして、上記の管理データは表示画面ごとにユーザにより記述されても良いが、かかる管理データはユーザがシナリオに基づいて画像データの貼り付け及び移動処理を行なったときに、その操作情報を基にして自動的にこれらの管理データが、テーブル生成手段１３により生成されるように構成することも可能である。
【００６１】
なお、その場合の２次元の表示画面位置から３次元画像オブジェクトの座標の値は推測により自動的に求めるようにする。例えば、木のように地面の上に存在しているオブジェクトは地表に接している根本、即ち地上高が０ｍである部分の位置によりＸ、及びＹの座標点を求めることができる。
【００６２】
それにより原点からの距離が求められるので、オブジェクトの大きさにより高さに係るＺの座標点を求められる。また、鳥は木の上の部分から別の木の上の部分に移動する。従って、鳥の移動前と移動後の３次元座標を決めることができる。さらに、移動中の座標は、操作されて表示された移動軌跡を基に予測により求めても良い。
【００６３】
当然のことながら、表示画面より求めた３次元座標データには多少の誤差が含まれることになる。従って、自動的に求められた座標点に対して修正が必要とされるときは、その時点で３次元データの修正を行なえるようにしても良い。また、その修正時点は、作成された画像及び音場データがリハーサル機能により再生され、ユーザのイメージと異なる再生がなされたときに座標点の修正を行なうようにしても良い。
【００６４】
そのような修正を伴いながら行われる音声付オブジェクト画像作品の制作は、最初から３次元位置データを入力しながら行なうよりも容易である。また、ここで述べた音声付オブジェクト画像作品を構成するオブジェクト数は８であるが、更に多くのオブジェクトを組み合わせて構成する作品には、自動制作が行なわれることによる利便性が高い。
【００６５】
次に、上記の３次元データを有する画像オブジェクトより発音される音声オブジェクトの音を、座標軸原点において立体音場信号として視聴するための音場データ生成について述べる。その立体音場信号の生成は、音声データファイルに所定の定位方向を与える頭部伝達関数を畳み込み手段１５により畳み込むことにより行う。
【００６６】
まず、音声オブジェクトの定位方向を制御手段１６で求める。即ち、制御手段１６では管理テーブルを解析し、表示位置データ（ｘ，ｙ，ｚ）を基にして音源の到来方向である定位方向を求める。そして、頭部伝達関数記憶部１４よりその定位方向に係る頭部伝達関数のデータを得、畳み込み手段１５にロード（供給してそこに蓄積）する。
【００６７】
そして、例えば川のようにコマンドｍが０である移動なしの音声オブジェクトには、１つの頭部伝達関数が畳み込まれ、固定音源に対する立体音場の信号が生成される。しかし、コマンドｍが０でないオブジェクトは移動音源であるので、その移動に応じた音場信号の生成が必要となる。
【００６８】
制御手段１６では移動位置（ｘ、ｙ、ｚ）と移動時間から伝達関数切り替えタイミングを算出する。また、表示開始時点よりの時間のカウントも行なう。そして、オブジェクトの移動に応じて音声オブジェクトに対して畳み込む頭部伝達関数を移動中の方向に切り替えながら移動を伴う立体音場信号の生成を行う。
【００６９】
その動作を、オブジェクト６〜８の鳥の例について説明する。
まず、再生開始より７秒間は座標（７．５，５，５．５）の位置、即ちＹ軸方向である視聴者の正中面より右に５６度（ｔａｎ−１（７．５／５）＝５６°）の方向に定位させる頭部伝達関数を得、音声オブジェクト信号ファイルｓｉｎｇ．ｍｐ３を再生して得られる音声信号に畳み込み演算を行う。
【００７０】
そして、７秒経過時点で音声オブジェクトをｆｌｕｔｔｅｒ．ｗａｖを再生して得られる音声信号に変更して畳み込み演算を行なう。さらに、鳥の移動に対応させて頭部伝達関数の切り替えを行ないながら畳み込み演算を行なう。
【００７１】
ここで、頭部伝達関数記憶部１４に記憶される伝達関数は、離散的な音場定位方向、例えば１５度ごとの係数値が記憶されており、実際の演算は最も近い角度の係数値を得て畳み込み演算処理を行なう。
【００７２】
その係数値が例えば１度ごとの多数の係数値として記憶されているときには、小さな定位方向の変化に対応した音場信号の演算が出来る。しかし、限られた角度に対する伝達関数しか記憶されていないようなときには、その中間の角度に対する定位方向は隣り合う２つの伝達関数に対して行なう。そして、得られた２つの方向に対する音場定位信号を所定の比率により混合することにより、中間の方向に定位する音場信号を生成する。
【００７３】
即ち、４５度方向及び６０度方向の頭部伝達関数を用いて５６度方向に定位する信号の生成は、演算して得られる４５度方向の定位信号の４／１５と、６０度方向の定位信号の１１／１５を加算することにより近似された定位信号の生成が行なえる。
【００７４】
そのようにして、２つの頭部伝達関数による定位音場信号の生成と合成処理を行ないながらオブジェクト７の移動する羽根音の立体音場信号を生成する。なお、ここで水平方向に対する定位について述べたが、垂直方向に対しても頭部伝達関数は異なった値を有しており、高い場所を飛ぶ鳥の羽根音は立体方向をも含めた頭部伝達関数を用いる方がよりリアルな立体音場信号を生成することができる。
【００７５】
そして、立体音に対する頭部伝達関数のデータ数は多くなるため、離散的な角度に対する係数が頭部伝達関数記憶部１４の限られた記憶領域に記憶され、上記の分割合成処理を行ないながら補間された角度の立体音場信号を生成するようにする。
【００７６】
そのようにして、オブジェクト７の管理データに記載される鳥の通過座標点に従って移動する羽根音の立体音場信号が生成される。そして、コマンドｅに基づき２７秒の時間が経過した時点で羽根音が消滅する。その後はオブジェクト８の画像のみが表示され、鳥の移動に係る一連の動作が終了する。
【００７７】
その次に記述されるコマンドｆは、音声ファイルの再生回数を指定する。即ち、ｆの次の値が０の時は連続再生なので、停止、消滅することなく畳み込み処理を繰り返して実行し、１の時は１回の再生で停止し、１より大きな値の場合はその数だけ畳み込み処理を繰り返す。
【００７８】
次に、畳み込み手段１５について詳述する。
図８に、畳み込み手段の構成を示す。
同図において、音源の数ｍ（ｍは正の整数）に対するそれぞれの畳み込み処理ユニットを設けている。なお、畳み込み演算の処理時間が重ならないように、管理データの音源配置を設定できる場合は、ｍよりも少ない数の処理ユニットを時分割処理により用い、音源数ｍに対する演算処理を行なうことも可能である。
【００７９】
これらの処理ユニット１５ａ〜１５ｍは同一構成のものが用いられている。その１つの処理ユニットについて説明する。
図９に処理ユニットの構成を示し、その動作について述べる。
同図において、畳み込み演算処理ユニット１５ａは可変利得増幅器１５１、定位方向処理器１５２ａ〜１５２ｄ、クロスフェード器１５３ａ、１５３ｂ、頭部演算処理器１５４ａ〜１５４ｄ、極性反転器１５５ａ、１５５ｂ、加算器１５６ａ、１５６ｂ、両耳間時間差器１５７ａ、１５７ｂ、及び残響処理器１５８ａ、１５８ｂより構成される。
【００８０】
次に、このような構成によりなされる動作について述べる。
まず、音声オブジェクトの再生信号は音源１として入力される。そして、可変利得増幅器１５１により適当な音量レベルの信号に設定される。次に、定位方向処理器１５２ａ〜１５２ｄにより管理テーブルに記述される音源の定位方向に従った伝達関数が畳み込まれる。
【００８１】
ここで、頭部伝達関数記憶部１４に記憶される水平面内における伝達関数を例えば１５度おき、即ちｍ＝２４（３６０／１５＝２４）とする。そのときの右側用伝達関数としては、ｆｒ０（ｔ）〜ｆｒ３１（ｔ）、そして左側用伝達関数としてｆｌ０（ｔ）ｆｌ３１（ｔ）が存在している。
【００８２】
ここで、定位方向を５６度とするときには、それぞれの定位方向処理器１５２ａと１５２ｃには４５度方向のｆｒ３（ｔ）とｆｌ３（ｔ）の関数が用いられる。また、１５２ｂと１５２ｄには６０度方向のｆｒ４（ｔ）とｆｌ４（ｔ）とが用いられて音源１に定位方向伝達関数が畳み込まれる。
【００８３】
それぞれの演算結果は後述のクロスフェード器１５３ａ、及び１５３ｂに供給されて所定の比率の信号として加算合成される。次に、頭部演算処理器１５４ａ〜１５４ｄに供給され、そこでは頭部と両耳の位置関係により生じる特性の乱れ及び両耳間クロストークの補正がなされる。
【００８４】
次の極性反転器１５５ａ、１５５ｂでは両耳間のクロストークに係る信号の位相反転がなされる。次の加算器１５６ａ、１５６ｂでは供給される信号の加算を行なう。次の両耳間時間差器１５７ａ、１５７ｂでは定位方向が視聴者の正中面と異なる位置にあるときには左右の耳に到来する音響信号に時間差が生じる。そこでは、その遅延時間差を付与する。
【００８５】
そして、両耳間時間差器１５７ａ、１５７ｂを用いることにより、定位方向処理器１５２ａ〜１５２ｄにおける信号処理は遅延時間に係る演算の省略ができる。従って、そこでは簡易な周波数特性に係る演算処理により定位方向を与えることが出来る。
【００８６】
次の残響処理器１５８ａ、１５８ｂでは、反射面のある空間内に定位されるオブジェクトが存在する場合に、そこで生じる残響音を付加する。前述の図２に示す視聴空間は野外の反射のない空間であるので、特にホールトーンのような残響音の付加は行なわない。
【００８７】
以上、畳み込み演算処理ユニット１５ａの構成と動作について述べた。
前述の図８に示す畳み込み手段は複数の畳み込み演算処理ユニットにより構成されており、複数のユニットを用いて複数の音源を定位させた立体音場定位信号を生成することができる。
【００８８】
図１０に、視聴者を中心として定位される音源と、伝達関数の関係を示す。
同図において、それぞれのスピーカＬ１及びＬ２より発音される信号ｘ１（ｔ）及びｘ２（ｔ）が基にされて音源１、２、３、及びｍが定位していることを示している。
【００８９】
そして、例えば音源２に対しては左側の耳に対する伝達関数はｆｌ１（ｔ）、右側はｆｒ１（ｔ）である。また、スピーカＬ１から左耳に伝達される特性はｈｌ１（ｔ）、
右耳にはｈｒ１（ｔ）、スピーカＬ２から左耳に伝達される特性はｈｌ２（ｔ）、右耳にはｈｒ２（ｔ）である。
【００９０】
畳み込み手段はこれらの特性を基に、虚音源を定位させるための信号を生成している。
以上、静止している画像オブジェクトから発せられる音声オブジェクトの定位について述べた。
【００９１】
次に、移動するオブジェクトを移動させながら定位させる音声オブジェクトの定位方法について述べる。
基本的な動作は上述の通りであるが、移動オブジェクトに対しては定位方向の変更をスムーズに行なう必要がある。
【００９２】
図１１に、スムーズな移動音を生成するためのクロスフェード器の構成を模式的に示す。そして、このクロスフェード器は上述のクロスフェード器１５３ａ、１５３ｂに用いて、移動する音声オブジェクトの定位を自然に行なおうとするものである。
【００９３】
即ち、音源の移動に伴い頭部伝達関数が切り替えられて定位信号処理がなされる。そして、このクロスフェード処理により切り替え時に生じる信号の不連続に基づくノイズを軽減する。
【００９４】
そのクロスフェード処理は、上記のように現在の定位位置の処理と前回の定位位置の処理を並列に行い、それらの２つの処理信号出力信号の時間的なレベル変化を、一方は大レベルから小レベルへ、他方は小レベルから大レベルへと、お互いに反対になるように可変する。そしてそれらの可変された信号を加算した合成信号を得る。従って、特性の切り替えはレベルが０である信号に対して行なうことにより、特性切り替え時に生じる雑音の発生を防いでいる。
【００９５】
以上説明したようにして、音声オブジェクトを所定の位置に定位させた立体音場信号の生成がなされる。尚、上記音像定位処理は、ＦＩＲ（有限インパルス応答）フィルタの使用を想定して実現しているが、これをＩＩＲ（無限インパルス応答）フィルタを用いて実現しても良い。
【００９６】
そして、制御手段６は上述の畳み込み処理に係る立体音場信号生成装置の制御の他に、コマンドに従った画像表示処理の制御も行なう。これにより、画像の動きと音声の動きがリンクし、より臨場感あふれる表示再生が行なわれる。
【００９７】
次に、このようになされる臨場感信号受信装置の制御をマイコンを用いて行なう場合について述べる。
図１２に、臨場感信号受信装置の動作制御を行なうコンピュータプログラムのフローチャートを示す。
【００９８】
同図において、Ｓ（ステップ）１は画像オブジェクト及び音声オブジェクトを立体音場信号生成装置に取り込む動作である。それらのオブジェクトデータは臨場感信号伝送装置より得る場合、インターネットを介してネットワークの接続される外部プロバイダより得る場合、及びＣＤ−ＲＯＭなどの記録媒体に記録されているデータを再生して得る場合などがある。
【００９９】
次のＳ２は、視聴者の上下左右３６０度方向の頭部伝達関数を得て頭部伝達関数記憶部２４に記憶するステップである。頭部伝達関数は立体音場信号生成装置より、外部プロバイダより、又は記録媒体などから得て記憶する。
【０１００】
次のステップ３は、臨場感信号伝送装置の管理テーブル１３で生成されたシナリオデータを送信手段１９、ネットワーク、及び受信手段２９を介して受信するステップである。受信されたシナリオデータは制御手段２６に供給され、そこに蓄積される。
【０１０１】
次のＳ４は、オブジェクトの表示位置及び出現時間等をタイムスケジュールに記述されるシナリオデータに従って、画像表示手段７ａへの画像オブジェクトの表示位置指定を行なう。また、音声オブジェクトをオブジェクト素材記憶部２１より得て畳み込み手段２５に供給すると共に、定位方向に係る頭部伝達関数を頭部伝達関数記憶部２４より得て畳み込み手段２５に供給する。
【０１０２】
次のＳ５では、シナリオデータに記述される時間情報を基にしてオブジェクト素材記憶部２１、頭部伝達関数記憶部２４、及び畳み込み手段２５におけるオブジェクトデータの信号処理がなされる。
【０１０３】
即ち、制御手段２６では画像オブジェクトを所定の場所に貼り付けた画像信号が生成される。さらに制御手段２６からは、畳み込み手段２５においてなされる音声オブジェクトに対する頭部伝達関数の係数の畳み込み演算のタイミングに係る制御信号を発生させる。
【０１０４】
そしてその動作制御は、制御手段２６に内蔵される図示しないタイマーからの時刻情報を基にし、再生開始時刻からの時間が得られ、その時間情報を基にしてシナリオに記述される時間データに従った動作がなされる。
【０１０５】
次のＳ６では、シナリオデータに従って生成された画像オブジェクトの表示画像は画像表示手段７ａに供給されて表示されると共に、畳み込み演算されて得られた立体音場信号は発音手段８ｃ及び８ｄに供給されて立体音場信号が生成され、再生される。
【０１０６】
そして、その立体音場信号は、表示画面に予め設定されている仮想的な視聴位置の周りに配置される画像オブジェクトの音が、あたかも視聴者が表示画面の中にいて聞こえるような臨場感を伴った立体音場信号として再生されるものである。
【０１０７】
また、上記のごとく臨場感信号受信装置の動作はコンピュータプログラムにより制御されて実行される。そして、そのプログラムのコンピュータへの取り込みは、ネットワークを経由して取り込む場合、及びパッケージメディアを介して取り込む場合がある。
【０１０８】
以上詳述したように、実施例により説明した臨場感信号受信装置は、予めオブジェクトデータ、及び頭部伝達関数のデータなどを蓄積しているので、伝送される少量のシナリオデータにより画像表示、及び立体音場の再生を行うことが出来る。
【０１０９】
即ち、そのシナリオデータは、例えば表示ファイル名、表示開始時間、表示位置、表示された画像の移動の有無、移動開始時間、移動時間、移動先表示位置、音声再生の周期、及び表示消滅時間などが前述のコマンドにより記述されたデータである。
【０１１０】
以上、臨場感信号受信用プログラムについて、及びそれにより制御のなされる動作についてフローチャート共に述べた。そして、臨場感信号伝送用プログラムについて同様に作成して動作制御を行わせることができる。即ち、その臨場感信号伝送用プログラムは視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、前記表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される前記音声オブジェクトを前記仮想的な視聴位置で視聴したときの立体音響信号を、前記視聴空間で臨場感を有して再生するための伝送信号として生成し、前記視聴空間の側に伝送する機能を有して実行されるプログラムである。
【０１１１】
そして、そのプログラムは表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における画像オブジェクトの座標位置を得る第１のステップと、その座標位置を基に、音声オブジェクト信号の定位方向を求める第２のステップと、少なくとも音声オブジェクト信号を指定するための音声オブジェクト情報と、定位方向に係る定位方向情報とを含んだ伝送信号を生成する第３のステップと、を有して臨場感伝送装置を制御するようにした臨場感信号伝送装置用プログラムである。
【０１１２】
ところで、従来は、音響信号の付随される映像信号は毎秒数Ｍビットのデータにより伝送がなされていたが、上述のシナリオデータを伝送する方法による場合ではそれの１／１０００以下のデータ量によりオブジェクト動画信号を伝送することができる。
【０１１３】
従って、シナリオデータはＥメールに添付して伝送される程度の小容量のファイルにより伝送が可能であり、手軽に伝送できる。
次に、そのシナリオデータの伝送について説明する。
【０１１４】
図１３に、シナリオデータ伝送のための信号処理について述べる。
即ち、送信手段１９でなされるシナリオデータの伝送処理は、まずＳ１１において所定のデータサイズごとのパケット化されてデータとされる。そして、パケット化されたデータにはパケットヘッダが付与される。次にＳ１３によりネットワークに伝送される。
【０１１５】
図１４に、シナリオデータ受信のための信号処理について述べる。
まず、受信手段２９で受信された信号はＳ２１においてヘッダ信号が除去されてパケット化された信号が得られる。次に、Ｓ２２でパケット分割された信号は結合されるようにしてデータ復元が行われる。そしてＳ２３では、復元されたシナリオデータは制御手段２６の図示しないメモリに一時記憶される。
【０１１６】
以上詳述したようにして、本実施例で述べた立体音場信号伝送装置及び受信装置によれば、伝送装置側で簡易な操作によりユーザの希望するアニメーション映像が所望の音響信号と共に制作されると共に、受信装置側では制作された作品がより効果的に表示され、臨場感を有して再生される。特に頭部伝達関数を用いた畳み込み処理により音像の定位が明確化され、より好適な臨場感を有する立体音場再生が可能となっている。
【０１１７】
そして、音声オブジェクトの位置、及び視聴場所の位置を３次元のＸ、Ｙ、及びＺの３軸により定義される座標位置を基にして頭部伝達関数を畳み込む方法ついて述べたが、その位置は２次元平面上の座標を用いて動作させる場合であっても同様な効果を得ることができる。
【０１１８】
また、高さ方向の違いにより生じる頭部伝達関数の違いに基づいて音声オブジェクトから発音される信号の周波数特性には多少の誤差が生じる。しかし、定位に係る両耳間時間差信号の遅延時間には大きな差が生じないため、２次元座標を基に立体音場再生信号を生成する場合であっても遜色のない定位情報を得ることができる。そして、頭部伝達関数記憶部に記憶するデータ量を少なくすることが出来る。
【０１１９】
【発明の効果】
請求項１記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生するようにしているので、小さなデータレートにより伝送される信号によりオブジェクト合成画面及び好適な臨場感を有する立体音響信号を再生する臨場感信号の送受信システムを提供できる効果がある。
【０１２０】
また、請求項２記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、送信装置の伝送信号生成手段における立体音生成用情報は、表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における画像オブジェクトの座標位置を基に生成した立体音生成用情報として伝送するようにしているので、受信装置側では小さなデータレートにより伝送される信号によりオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号伝送装置の構成を提供できる効果がある。
【０１２１】
また、請求項３記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、受信装置側で再生される立体音響信号を、音声オブジェクト情報に所定位置の方向に定位させるための頭部伝達関数を畳み込んで生成するようにしているので、送信装置側より伝送される小さなデータレートの信号を受信してオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号受信装置の構成を提供できる効果がある。
【０１２２】
また、請求項４記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、受信装置側で再生される立体音響信号を生成する機能を有して実行される臨場感信号受信装置用プログラムを、画像オブジェクト及び前記音声オブジェクトのそれぞれを記憶する第１のステップと、伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る第２のステップと、画面生成用情報を基に記憶手段に記憶された画像オブジェクトを貼り付けてオブジェクト合成画面を生成すると共に立体音生成用情報を基に記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた立体音響信号を生成する第３のステップとを有して前記臨場感信号受信装置を制御するようにしているので、送信装置側より伝送される小さなデータレートの信号を受信してオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号受信装置用プログラムを提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例に係る、立体音場信号生成装置及び立体音場信号受信装置の概略を示したブロック図である。
【図２】本発明の実施例に係る、画像オブジェクトの配置された表示画面例を示した図である。
【図３】本発明の実施例に係る、画像オブジェクトの配置された表示画面と視聴空間における音声の定位の例を示した図である。
【図４】本発明の実施例に係る、オブジェクトの配置をチャートにより示したものである。
【図５】本発明の実施に係る、オブジェクトを管理する管理テーブルの構造を示した図である。
【図６】本発明の実施に係る、管理テーブルに記述されるコマンドの内容を示したものである。
【図７】本発明の実施に係る、オブジェクトの表示を管理データにより記述したものである。
【図８】本発明の実施に係る、頭部伝達関数の畳み込み処理ユニットの構成を例示した図である。
【図９】本発明の実施に係る、畳み込み手段の１つの処理ユニットの構成を例示した図である。
【図１０】本発明の実施に係る、視聴者を中心に定位される音源と伝達関数の関係を示した図である。
【図１１】本発明の実施に係る、クロスフェード器の構成を模式的に示した図である。
【図１２】本発明の実施に係る、臨場感信号受信装置の動作制御に係るフローチャートを示した図である。
【図１３】本発明の実施に係る、データ伝送のための動作をフローチャートにより示した図である。
【図１４】本発明の実施に係る、データ受信のための動作をフローチャートにより示した図である。
【符号の説明】
１立体音場信号生成装置
７、７ａ 画像表示手段
８ａ、８ｂ、８ｃ、８ｄ 発音手段
１１ オブジェクト素材記憶部
１２ オブジェクト編集手段
１３ 管理テーブル生成手段
１４ 頭部伝達関数記憶部
１５ 畳み込み手段
１５ａ、１５ｂ、１５ｍ 畳み込み処理ユニット
１６ 制御手段
１５１ 可変利得増幅器
１５２ａ〜１５２ｄ 定位方向処理器
１５３ａ、１５３ｂ クロスフェード器
１５４ａ〜１５４ｄ 頭部演算処理器
１５５ａ、１５５ｂ 極性反転器
１５６ａ、１５６ｂ 加算器
１５７ａ、１５７ｂ 両耳間時間差器
１５８ａ、１５８ｂ 残響処理器
【発明の属する技術分野】
本発明は、表示画面上の指定される位置にオブジェクト画像を表示すると共に、そのオブジェクトから発音される音声信号を視聴空間内の立体音場信号として生成する臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラムに関する。
【０００２】
【従来の技術】
従来より、ソフト制作者により複数のオブジェクト画像が組み合わされた合成画像が制作されると共に、それぞれのオブジェクト画像ごとにその音声信号が組み合わされたステレオ音源が付加されて、電子マンガ、アニメーション、及びゲームなどの作品が制作され、配信されている。
【０００３】
それらの作品では、例えば主人公が歩くシーンでは「コツコツ」という足音を、川が流れていれば小川のせせらぎ音を付加し再生するようにしている。しかし、そのときの再生音はモノラル音声あるいはステレオ音声程度のものでしかなかった。
【０００４】
そして、そのステレオ再生音は、オブジェクト画像の位置及び移動と共に左右のスピーカより発音される音量レベルのバランスを変える等によっている。また、自動車運転用のシミュレーションソフトでは、前方向に関する情報は前のスピーカの音量を少し上げ、右方向に関する情報は右側にあるスピーカの音量を少し上げるなどにより、運転操作者に対して表示されるシミュレーション画面に合わせた音響信号を発音させるようにしている。
【０００５】
他の応用例として、複数の分割ウィンドウ表示を行うパソコン画面上に対応する音声情報を画面の周囲に配置される複数のスピーカを用いて発音させる方法がある。その方法では、上下左右に分割される４分割画面に対応させて表示器の四隅にスピーカを配置し、表示が選択された分割画面に対してはその画面に近いスピーカの発音レベルを大きくするようにしている。そして、例えば画面中央に切られたウインドウに係る音声は四隅のスピーカから同音量で発音するようにして、擬似的に立体音場の制御を行なっているものもある。
【０００６】
【発明が解決しようとする課題】
しかしながら、これらの複数スピーカの出力音量変化による立体音場生成では、より多くの発音方向を設定しようとするときに、それらの発音方向に対応する多くのスピーカが必要となる。さらに、それら多くのスピーカ出力音量の制御を行なう必要があるなど、伝送及び受信装置は複雑であり且つ高価なものとなってしまう。
【０００７】
そこで、従来通り２つのスピーカを用いて上下左右３６０度の方向より発音できる立体音場信号生成方法を実現できれば好適である。そして、その立体音場信号生成方法により生成した信号を伝送することにより、その信号を再生して行なう自宅学習、いわゆるｅ−ｌｅａｒｎｉｎｇ（イー・ラーニング）にも応用が可能となる。
【０００８】
その場合は、従来法のＬ（Ｌｅｆｔ）チャンネルが英語で、Ｒ（Ｒｉｇｈｔ）チャンネルが日本語訳といった画一的な音場のみならず、ＬＲチャンネルともに英語でしかも会話をしており、Ｌチャンネルの日本語訳を後方左の方向から、Ｒチャンネルの日本語訳を後方右の方向から与えるなどにより立体的な音場空間を実現することができ、それにより効果的な学習ができる。
【０００９】
その立体音場空間では、３人以上の会話シーンや、会話のレベルが非常に高いなどの複雑な会話シーンも、何度も同じ会話シーンを使って自分の学習レベルに応じて、「聞き分け」ることの学習など多様な学習方法を容易に実現できるようになる。
【００１０】
また、学習教材のような与えられた情報提示だけでなく、マンガやアニメなどユーザが自分で作った絵を、より効果的に見せるための立体音場再生に対しても効果的である。例えば、ユーザがデザインした鳥が右から左へ鳴きながら飛んで行く、川のせせらぎが聞こえてくる、というようなシーンをあたかも自分がその現場にいるような感覚で、再現できるようにして制作したソフトを、友人宅などに伝送し、そこの視聴空間でも好適な臨場感により再生することが可能となるものである。
【００１１】
そこで、本発明は上記の点に着目してなされたものであり、画像オブジェクトを画面上で指定される表示位置に時間を指定して配置する管理データを作成する。そして、その管理データに記述される画像オブジェクトの表示画面上の指定位置情報を基にし、その画像オブジェクトを視聴者が存在する視聴空間に仮想的に存在させる。さらに、画像に付随する音声オブジェクトの発音方向である定位方向情報を得る。次にそれらの画像オブジェクトに係る表示位置情報及び音声オブジェクトの再生に係る定位方向情報を伝送する。伝送された信号を受信して行なう再生側では受信された信号に基づいて画像オブジェクトを表示画面に表示すると共に、伝送された定位情報を基に音声オブジェクトに頭部伝達関数を畳み込むようにして立体音場信号を生成して再生する。そのようにして臨場感信号伝送装置により伝送される信号を好適な臨場感を伴って再生する臨場感信号受信装置の構成を実現するようにした。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）〜４）の手段より成るものである。
すなわち、
【００１３】
１） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムであって、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とすることを特徴とする臨場感信号の送受信システム。
２） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号伝送装置であって、
前記合成画面作成手段、前記立体音生成手段、及び前記伝送信号生成手段を具備すると共に、
前記伝送信号生成手段における立体音生成用情報は、
前記表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における前記画像オブジェクトの座標位置を基に生成した立体音生成用情報であることを特徴とする臨場感信号の伝送装置。
３） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段（１２）と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段（１５）と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段（１９）と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段（２１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段（２９）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段（２６）と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段（２５）と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号受信装置であって、
前記オブジェクト素材記憶手段、前記信号受信手段、前記合成画面生成手段、及び前記立体音生成手段を具備すると共に、
前記立体音生成手段における立体音響信号を、
前記音声オブジェクト情報に、前記所定位置の方向に定位させるための頭部伝達関数を畳み込んで生成することを特徴とする臨場感信号受信装置。
４） 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とする臨場感信号の送受信システムにおける、前記オブジェクト画面の表示及び前記立体音響信号の再生を行なう機能を有して実行される臨場感信号受信装置用プログラムであって、
前記画像オブジェクト及び前記音声オブジェクトのそれぞれを記憶する第１のステップ（Ｓ１）と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る第２のステップ（Ｓ３）と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成すると共に、前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する第３のステップ（Ｓ６）と、
を有して前記臨場感信号受信装置を制御することを特徴とする臨場感信号受信装置用プログラム。
【００１４】
【発明の実施の形態】
以下、本発明の臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラムの実施の形態につき、好ましい実施例により説明する。
図１に、臨場感信号伝送装置及び臨場感信号受信装置の概略ブロック図を示し、その構成と動作について概説する。
【００１５】
同図において、その臨場感信号伝送装置１はオブジェクト素材記憶部１１、オブジェクト編集手段１２、管理テーブル生成手段１３、頭部伝達関数記憶部１４、畳み込み手段１５、制御手段１６、及び送信手段１９より構成される。そして、その臨場感信号伝送装置には画像表示手段７及びステレオ音再生用の２つの発音手段８ａ、８ｂが接続されている。また、臨場感信号受信装置２はオブジェクト素材記憶部２１、頭部伝達関数記憶部２４、畳み込み手段２５、制御手段２６、及び受信手段２９より構成される。そして、同様にして画像表示手段７ａ及びステレオ音再生用の２つの発音手段８ｃ、８ｄが接続されている。
【００１６】
次に、臨場感信号伝送装置１の動作について概説する。
まず、オブジェクト素材記憶部１１には木や雲、人、動物などの絵の素材に関する画像オブジェクト情報と、その絵に関連する音声素材である音声オブジェクト情報とが記憶されている。
【００１７】
そして、オブジェクト編集手段１２では、画像表示手段７に表示されるオブジェクト画像をオブジェクト素材記憶部１１より選択して得ると共に、オブジェクト画像の加工編集などを行なう。さらに、そのオブジェクト画像に音声オブジェクトデータを貼りつけるかどうか、またその音声オブジェクトの音源の配置位置に係る設定などを行なう。
【００１８】
さらにまた、そのオブジェクト編集手段１２では、画像オブジェクトをどの時間に出現させ、どの音声オブジェクトを付随される音声としてどのタイミングでどのように発音させるかといった時間管理に関する編集など、効果音の編集設定を行なう。即ち、そのような編集設定は、いわゆるストーリーの記述されるコンテに従ったシナリオ編集でもある。
【００１９】
その編集されたシナリオデータは管理テーブル生成手段１３に供給され、そこでは表示画面７上の所定の位置に表示される画像オブジェクトに対する音場信号を生成するための管理テーブルの作成を行なう。即ち、表示画面上に配置される画像オブジェクトを視聴者を中心とする音場空間に配置したときに、その画像オブジェクトの配置点を仮想音源位置として予測し、その仮想音源位置を視聴者に対する到来方向とした音源方向データを作成する。
【００２０】
その音源方向データは畳み込み手段１５に供給されると共に、頭部伝達関数記憶部１４に記憶される。到来方向に係る頭部伝達関数データも畳み込み手段１５に供給される。そして、音声オブジェクトデータに頭部伝達関数データが畳み込み演算され、視聴者に対する所定の到来方向に定位する音声オブジェクトの立体音場データが作成される。
【００２１】
その頭部伝達関数は、視聴者に対して上下左右３６０度の方向より到来する音源に対する周波数特性及び両耳間時間差特性を基に予め演算して得られる頭部伝達関数の係数が求められ、頭部伝達関数記憶部１４に記憶されているものが用いられる。
【００２２】
以上、１つの画像オブジェクトに対する音声オブジェクトの音場データの生成について述べた。実際には画面上に配置される複数の画像オブジェクトに対して複数の音声オブジェクトデータが存在する。そして、それら複数の音声オブジェクトから発音される音声データが合成され左右１対のスピーカ８ａ、８ｂより発音される立体音場データとして生成されることになる。
【００２３】
このようにして臨場感信号伝送装置では、選択された画像オブジェクトが所定の表示位置に表示されると共に、その画像オブジェクトに付随する音声オブジェクトには所定の定位方向に定位した立体音場信号として再生することのできる音声信号の付随される映像作品が制作された。
【００２４】
その制作された映像作品を所定の伝送レートで受信装置側に伝送して映像及び立体音場信号の再生ができる。ここで送信手段１９より受信装置側に伝送される情報は、画像オブジェクトファイル、音声オブジェクトファイル、及びそれらファイルの表示に係る管理情報である。それらの情報は制作された映像に係る情報よりも少ない情報量の情報である。従って、低い伝送レートで伝送することが可能であり、且つ低い伝送レートで伝送されたにも拘らず再生側では伝送側で制作された画質、音質、及び表示効果を有して再生される。
【００２５】
次に、その臨場感信号受信装置の動作について述べる。
まず、送信側から伝送される画像オブジェクトファイル、音声オブジェクトファイル、及び管理情報は受信手段２９により受信される。受信された管理情報は制御手段２６に供給され、そこに一時記憶される。また画像及び音声ファイル情報は制御手段２６を介してオブジェクト素材記憶部２１に記憶される。
【００２６】
なお、画像及び音声ファイル情報が予め伝送されているものを用いる場合、及びＣＤ−ＲＯＭなどの記録メディアに記録されて受信側に供給されるような場合では、それらのファイル情報の伝送を省くことができる。
【００２７】
オブジェクト素材記憶部に記憶される画像及び音声ファイル情報は制御手段２６に蓄積される管理情報に従って表示及び発音がなされる。
即ち制御手段２６では、オブジェクト画像の表示に先立って管理情報に記述されるコマンドを解釈し、そのオブジェクト画像に音声オブジェクトデータが貼りつけられているかどうか、またその音声オブジェクトの音源の配置位置に係る動作情報などを得る。
【００２８】
その動作情報は、画像オブジェクトがどの時間に出現され、どの音声オブジェクトを付随される音声としてどのタイミングでどのように発音させるかといったストーリーの再生に係るシナリオデータである。
【００２９】
そのシナリオデータは、表示画面上に配置される画像オブジェクトを、視聴者を中心とする音場空間に配置したときの、音源位置に係る、視聴者に対する定位方向データを含んでいる。
【００３０】
その定位方向データは畳み込み手段２５に供給されると共に、頭部伝達関数記憶部２４より、その定位方向に係る頭部伝達関数データが畳み込み手段２５に供給される。そして、音声オブジェクトデータに頭部伝達関数データが畳み込み演算され、視聴者に対する所定の到来方向に定位する音声オブジェクトの立体音場信号が作成される。
【００３１】
その頭部伝達関数記憶部２４には、予め視聴者に対して上下左右３６０度の方向より到来する音源に対する周波数特性及び両耳間時間差特性を基に演算して得られた係数が記憶される場合、又は予め伝送装置側で作成された頭部伝達関数がそこに供給されて記憶されているものが用いられる場合などがある。
【００３２】
制御手段２６では、供給された管理情報を基にして表示用の画像信号を生成して画像表示手段７ａに供給すると共に、畳み込み手段２５により生成された立体音場信号はスピーカ８ｃ、８ｄに供給される。
【００３３】
以上述べたようにして、画像及び音声のオブジェクトデータ、及び頭部伝達関数が予め臨場感信号受信装置に供給されているときには、管理データのみを伝送することにより、受信装置側では伝送装置側と同じ画像信号の表示、及び付随される立体音場信号の再生がなされる。
【００３４】
次に、伝送装置側のオブジェクト編集手段１２で行なわれるシナリオ編集について詳細に述べる。
まず、ユーザはオブジェクト素材記憶部１１に記憶される画像素材群一覧を画像表示手段７に表示し、それらの中から好きな画像オブジェクトを選択する。そして、画像表示手段７により、いわゆる電子画用紙とも言える画像表示手段７の描画領域に、構図を考えながら想定される３次元配置場所への画像の貼り付けを行なう。
【００３５】
図２に、貼り付けられて表示される表示画像例を示す。
その画像貼り付けは、画像アイコンを順次貼り付けるようにしてなされる。例えば、遠近感を出すために画像の縮小や拡大をしたり、また画像オブジェクトを回転させるなどの変形も自由に行なう。そして、貼り付けられた画像の位置は、その画像の重心位置を示す座標を設定位置とする。
【００３６】
このとき、３次元座標としてＸ、Ｙ、及びＺの３軸を定義し、それらの軸の交点、例えば表示画面の中心位置をユーザの位置とする。即ち、原点Ｏは（ｘ、ｙ、ｚ）＝（０，０，０）の位置である。また、ユーザの位置は自由に場所及び方向を変更することができるものとする。場所の移動は軸の移動により、方向の変更は座標軸の回転により対応付がなされる。
【００３７】
一方、ユーザによる画面の編集時は常に静止された画に対して作業を行なうようにする。さらに、表示されるそれぞれの画像オブジェクトのアイコンには、例えば音声オブジェクト情報など、その画像オブジェクトに付随される他のオブジェクト情報を関連付けされるようにして付加していく。
【００３８】
図に示す編集画面は、「ユーザＯの右後方に川が流れ、左前方に牛がおり、右前方及び左後方に木が植わっている。そして、シーン開始から５秒後に右前方の木に赤い鳥が現れ、その２秒後に、２０秒間羽ばたきながら左後方の木へ移る」シーンを作成したものである。鳥の移動軌跡を破線により示している。
【００３９】
図３に、編集画面に表示される画像オブジェクトと、視聴者を中心とする再生音場の時間的な変化の様子を示す。
同図において、（ａ）はシーン開始時、（ｂ）は開始から７秒後の、そして（ｃ）は開始から１０秒後の表示画像と視聴空間で再生される立体音場の様子を示している。
【００４０】
即ち、効果音としては、終始右後方から川の流れる音が再生されている。また左前方から例えば１分間に６回の割合で牛が鳴く音が再生され、さらに右前方の木に止まっている赤い鳥が現れると同時に鳴き、羽ばたきながら飛んでいく画像と音場の様子が示されている。
【００４１】
図４に、それらの動作をチャートにより示す。
同チャートにおいて、右側にそれぞれの画像オブジェクトに対する名称が記されており、それらのオブジェクトに対する情報がそれぞれの項目として記されている。
【００４２】
最初に、関連付けとしてオブジェクトのファイル名が記される。英語名のファイル名に付される拡張子により、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、及びＢＭＰ（Ｂｉｔｍａｐ）形式により記述される画像ファイルと、ＷＡＶ（ｗａｖｅ）、ＡＩＦＦ（Ａｕｄｉｏ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、及びＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ３）により記述される音声ファイルとが関連付けされている。
【００４３】
次の表示開始時間はそれらの画像ファイル又は音声ファイルの提示が開始される時間を示す。そして、表示位置は視聴者を原点として定義されるＸ、Ｙ、及びＺ軸方向における位置をデシメートルを単位として示している。移動はオブジェクトの移動の有無を示し、移動する場合には移動開始時間と移動に要する時間とを記述してある。
【００４４】
そして移動するオブジェクトに対しては、経由する位置情報を記述する。さらに、再生回数は音声オブジェクトを連続して再生するか、又は所定の回数再生するかを記述する。最後の消滅時間は、値が「０」として記述されるときには再生音は消滅しないことを示し、数値が記述されるときにはその時間に再生が中止されることを示している。
【００４５】
ここで、移動位置は１秒ごとの移動軌跡の座標位置を示す場合、又は移動時間を記述する位置座標の数で除した単位時間毎の移動位置として示す場合のいずれによっても良い。さらに、移動位置情報はユーザにより描かれた描画画面における描画速度を予め検出するようにし、その検出データを基に自動的に取得されるようにしても良い。
【００４６】
以上のように記述された動作チャートは、各オブジェクトのプロパティ（Ｐｒｏｐｅｒｔｙ）として保存される。さらに、その動作チャートを基にして前述の図２及び３に示した表示画像のシナリオの自動作成を行なうことも可能である。
【００４７】
次に、管理テーブル生成手段１３の動作について詳細に述べる。
図５に、管理テーブル生成手段により生成される管理テーブルを含んで記述されたデータのディレクトリ構造を示す。
【００４８】
同図において、ルートディレクトリの下の階層にオブジェクトディレクトリと管理テーブルディレクトリがある。そして、オブジェクトディレクトリの下層には音声ファイル群、静止画ファイル群、動画ファイル群、及び管理情報のディレクトリがある。また、管理情報ディレクトリには音声と画像のそれぞれのオブジェクトデータを管理するためのディレクトリが存在している。
【００４９】
それらのディレクトリの下にはファイルが格納されている。例えば音声ファイル群のディレクトリには牛の鳴き声をＡＩＦＦフォーマットにより、鳥のさえずりをＭＰ３フォーマットにより、そして鳥の羽音がＷＡＶフォーマットにより記述された音声オブジェクトデータとして格納されている。
【００５０】
同様にして、静止画、動画、及びそれらの情報が記述される管理情報が、静止画ファイル、動画ファイル、及び管理情報ファイル等のデータファイルとして該当するディレクトリの下に格納されている。
【００５１】
それらのデータファイルは管理テーブルにより管理されて画像オブジェクトの表示、及び音声オブジェクトの発音などがなされる。
次に、その管理テーブルについて述べる。その管理テーブルは管理テーブル生成手段１３によって生成される。そして、管理テーブルにはどのオブジェクトを使用して、いつ、どこに表示するか、いつ、どこへ移動するか、などの情報が記述される。
【００５２】
更にその管理テーブルには、音声オブジェクトに係る立体音場信号を生成するための信号の処理方法についても記述されている。即ち、ユーザの位置である原点Ｏ（０，０，０）に対する画像オブジェクトの表示位置が点Ｐ（ｘ，ｙ，ｚ）として与えられるときに、それらの位置情報を基に音声オブジェクト音源の到来方向を求める。
【００５３】
そして、その到来方向、即ち定位方向に係る頭部伝達関数を頭部伝達関数記憶部１４より得る。次に、制御手段１６において音声オブジェクトの信号に得られた頭部伝達関数を畳み込み演算することにより原点Ｏで視聴される立体音場信号が生成される。
【００５４】
次に、その立体音場信号生成用管理テーブルについて述べる。
図６に、管理テーブルの記述に用いられるコマンドと、それらの意味を表により示す。
即ち、コマンドＳは表示開始時間を示し、その時間情報をコマンドに続いて記述する。そして、コマンドｘ、ｙ、ｚのそれぞれは視聴者であるユーザの位置を原点Ｏ（０，０，０）とするときの、前述の図２に示したそれぞれの軸に対する座標の値をｘ、ｙ、ｚの各々のコマンドに続けて記述する。
【００５５】
また、コマンドｍは画像オブジェクトの移動の有無を示す。そして、ｍの次に記述する数が０のときは移動しないことを、移動するときは移動を開始時間をｍに続けて記述する。また、コマンドｆは音声ファイルの毎分ごとの再生回数を示す。そして、コマンドｅは画像オブジェクトの消滅時間を示す。消滅しないときには０をｅの次に記述する。
【００５６】
次に、これらのコマンドを用いる管理データの記述例を示す。
図７に、前述の図２に示した表示画面に対する画像及び音声オブジェクトの表示に係る管理データテーブルの記述例を示す。
【００５７】
その管理データテーブルには、左側の列にオブジェクトナンバーが、次の列に画像オブジェクトファイル名及び音声オブジェクトファイル名が、そして右側の列にはそれらのオブジェクトに係る管理データが記述されている。
【００５８】
即ち、オブジェクトナンバーが１である川の画像ファイル名はｒｉｖｅｒ．ｇｉｆであり、音声ファイル名はｒｉｖｅｒ．ｗａｖである。その川は再生時間０秒より、ユーザの左側５ｍ、前方−５ｍ（＝後方５ｍ）、高さ−１ｍに移動することなく存在しており、川の流れを示す音声オブジェクトデータは連続して再生される。
【００５９】
オブジェクト２、３、及び４は木であり、それぞれの木の画像オブジェクトデータと、配置データなどがリンクされて記述されている。そして、オブジェクト５の牛は１分回に６回の割で鳴いている。また、オブジェクト６の鳥はオブジェクト２の木に止まっている鳥であり、再生時間が７秒のときに飛び立つため消滅し、その後はオブジェクト７により飛んでいる鳥と羽音が再生され、再生時間が２７秒でオブジェクト４の木に止まりオブジェクト７は消滅し、そこにオブジェクト８が表示される。
【００６０】
以上のようにして、管理データに記述されるコマンドを基にして画像オブジェクトの表示、及び音声オブジェクトの再生がなされる。そして、上記の管理データは表示画面ごとにユーザにより記述されても良いが、かかる管理データはユーザがシナリオに基づいて画像データの貼り付け及び移動処理を行なったときに、その操作情報を基にして自動的にこれらの管理データが、テーブル生成手段１３により生成されるように構成することも可能である。
【００６１】
なお、その場合の２次元の表示画面位置から３次元画像オブジェクトの座標の値は推測により自動的に求めるようにする。例えば、木のように地面の上に存在しているオブジェクトは地表に接している根本、即ち地上高が０ｍである部分の位置によりＸ、及びＹの座標点を求めることができる。
【００６２】
それにより原点からの距離が求められるので、オブジェクトの大きさにより高さに係るＺの座標点を求められる。また、鳥は木の上の部分から別の木の上の部分に移動する。従って、鳥の移動前と移動後の３次元座標を決めることができる。さらに、移動中の座標は、操作されて表示された移動軌跡を基に予測により求めても良い。
【００６３】
当然のことながら、表示画面より求めた３次元座標データには多少の誤差が含まれることになる。従って、自動的に求められた座標点に対して修正が必要とされるときは、その時点で３次元データの修正を行なえるようにしても良い。また、その修正時点は、作成された画像及び音場データがリハーサル機能により再生され、ユーザのイメージと異なる再生がなされたときに座標点の修正を行なうようにしても良い。
【００６４】
そのような修正を伴いながら行われる音声付オブジェクト画像作品の制作は、最初から３次元位置データを入力しながら行なうよりも容易である。また、ここで述べた音声付オブジェクト画像作品を構成するオブジェクト数は８であるが、更に多くのオブジェクトを組み合わせて構成する作品には、自動制作が行なわれることによる利便性が高い。
【００６５】
次に、上記の３次元データを有する画像オブジェクトより発音される音声オブジェクトの音を、座標軸原点において立体音場信号として視聴するための音場データ生成について述べる。その立体音場信号の生成は、音声データファイルに所定の定位方向を与える頭部伝達関数を畳み込み手段１５により畳み込むことにより行う。
【００６６】
まず、音声オブジェクトの定位方向を制御手段１６で求める。即ち、制御手段１６では管理テーブルを解析し、表示位置データ（ｘ，ｙ，ｚ）を基にして音源の到来方向である定位方向を求める。そして、頭部伝達関数記憶部１４よりその定位方向に係る頭部伝達関数のデータを得、畳み込み手段１５にロード（供給してそこに蓄積）する。
【００６７】
そして、例えば川のようにコマンドｍが０である移動なしの音声オブジェクトには、１つの頭部伝達関数が畳み込まれ、固定音源に対する立体音場の信号が生成される。しかし、コマンドｍが０でないオブジェクトは移動音源であるので、その移動に応じた音場信号の生成が必要となる。
【００６８】
制御手段１６では移動位置（ｘ、ｙ、ｚ）と移動時間から伝達関数切り替えタイミングを算出する。また、表示開始時点よりの時間のカウントも行なう。そして、オブジェクトの移動に応じて音声オブジェクトに対して畳み込む頭部伝達関数を移動中の方向に切り替えながら移動を伴う立体音場信号の生成を行う。
【００６９】
その動作を、オブジェクト６〜８の鳥の例について説明する。
まず、再生開始より７秒間は座標（７．５，５，５．５）の位置、即ちＹ軸方向である視聴者の正中面より右に５６度（ｔａｎ−１（７．５／５）＝５６°）の方向に定位させる頭部伝達関数を得、音声オブジェクト信号ファイルｓｉｎｇ．ｍｐ３を再生して得られる音声信号に畳み込み演算を行う。
【００７０】
そして、７秒経過時点で音声オブジェクトをｆｌｕｔｔｅｒ．ｗａｖを再生して得られる音声信号に変更して畳み込み演算を行なう。さらに、鳥の移動に対応させて頭部伝達関数の切り替えを行ないながら畳み込み演算を行なう。
【００７１】
ここで、頭部伝達関数記憶部１４に記憶される伝達関数は、離散的な音場定位方向、例えば１５度ごとの係数値が記憶されており、実際の演算は最も近い角度の係数値を得て畳み込み演算処理を行なう。
【００７２】
その係数値が例えば１度ごとの多数の係数値として記憶されているときには、小さな定位方向の変化に対応した音場信号の演算が出来る。しかし、限られた角度に対する伝達関数しか記憶されていないようなときには、その中間の角度に対する定位方向は隣り合う２つの伝達関数に対して行なう。そして、得られた２つの方向に対する音場定位信号を所定の比率により混合することにより、中間の方向に定位する音場信号を生成する。
【００７３】
即ち、４５度方向及び６０度方向の頭部伝達関数を用いて５６度方向に定位する信号の生成は、演算して得られる４５度方向の定位信号の４／１５と、６０度方向の定位信号の１１／１５を加算することにより近似された定位信号の生成が行なえる。
【００７４】
そのようにして、２つの頭部伝達関数による定位音場信号の生成と合成処理を行ないながらオブジェクト７の移動する羽根音の立体音場信号を生成する。なお、ここで水平方向に対する定位について述べたが、垂直方向に対しても頭部伝達関数は異なった値を有しており、高い場所を飛ぶ鳥の羽根音は立体方向をも含めた頭部伝達関数を用いる方がよりリアルな立体音場信号を生成することができる。
【００７５】
そして、立体音に対する頭部伝達関数のデータ数は多くなるため、離散的な角度に対する係数が頭部伝達関数記憶部１４の限られた記憶領域に記憶され、上記の分割合成処理を行ないながら補間された角度の立体音場信号を生成するようにする。
【００７６】
そのようにして、オブジェクト７の管理データに記載される鳥の通過座標点に従って移動する羽根音の立体音場信号が生成される。そして、コマンドｅに基づき２７秒の時間が経過した時点で羽根音が消滅する。その後はオブジェクト８の画像のみが表示され、鳥の移動に係る一連の動作が終了する。
【００７７】
その次に記述されるコマンドｆは、音声ファイルの再生回数を指定する。即ち、ｆの次の値が０の時は連続再生なので、停止、消滅することなく畳み込み処理を繰り返して実行し、１の時は１回の再生で停止し、１より大きな値の場合はその数だけ畳み込み処理を繰り返す。
【００７８】
次に、畳み込み手段１５について詳述する。
図８に、畳み込み手段の構成を示す。
同図において、音源の数ｍ（ｍは正の整数）に対するそれぞれの畳み込み処理ユニットを設けている。なお、畳み込み演算の処理時間が重ならないように、管理データの音源配置を設定できる場合は、ｍよりも少ない数の処理ユニットを時分割処理により用い、音源数ｍに対する演算処理を行なうことも可能である。
【００７９】
これらの処理ユニット１５ａ〜１５ｍは同一構成のものが用いられている。その１つの処理ユニットについて説明する。
図９に処理ユニットの構成を示し、その動作について述べる。
同図において、畳み込み演算処理ユニット１５ａは可変利得増幅器１５１、定位方向処理器１５２ａ〜１５２ｄ、クロスフェード器１５３ａ、１５３ｂ、頭部演算処理器１５４ａ〜１５４ｄ、極性反転器１５５ａ、１５５ｂ、加算器１５６ａ、１５６ｂ、両耳間時間差器１５７ａ、１５７ｂ、及び残響処理器１５８ａ、１５８ｂより構成される。
【００８０】
次に、このような構成によりなされる動作について述べる。
まず、音声オブジェクトの再生信号は音源１として入力される。そして、可変利得増幅器１５１により適当な音量レベルの信号に設定される。次に、定位方向処理器１５２ａ〜１５２ｄにより管理テーブルに記述される音源の定位方向に従った伝達関数が畳み込まれる。
【００８１】
ここで、頭部伝達関数記憶部１４に記憶される水平面内における伝達関数を例えば１５度おき、即ちｍ＝２４（３６０／１５＝２４）とする。そのときの右側用伝達関数としては、ｆｒ０（ｔ）〜ｆｒ３１（ｔ）、そして左側用伝達関数としてｆｌ０（ｔ）ｆｌ３１（ｔ）が存在している。
【００８２】
ここで、定位方向を５６度とするときには、それぞれの定位方向処理器１５２ａと１５２ｃには４５度方向のｆｒ３（ｔ）とｆｌ３（ｔ）の関数が用いられる。また、１５２ｂと１５２ｄには６０度方向のｆｒ４（ｔ）とｆｌ４（ｔ）とが用いられて音源１に定位方向伝達関数が畳み込まれる。
【００８３】
それぞれの演算結果は後述のクロスフェード器１５３ａ、及び１５３ｂに供給されて所定の比率の信号として加算合成される。次に、頭部演算処理器１５４ａ〜１５４ｄに供給され、そこでは頭部と両耳の位置関係により生じる特性の乱れ及び両耳間クロストークの補正がなされる。
【００８４】
次の極性反転器１５５ａ、１５５ｂでは両耳間のクロストークに係る信号の位相反転がなされる。次の加算器１５６ａ、１５６ｂでは供給される信号の加算を行なう。次の両耳間時間差器１５７ａ、１５７ｂでは定位方向が視聴者の正中面と異なる位置にあるときには左右の耳に到来する音響信号に時間差が生じる。そこでは、その遅延時間差を付与する。
【００８５】
そして、両耳間時間差器１５７ａ、１５７ｂを用いることにより、定位方向処理器１５２ａ〜１５２ｄにおける信号処理は遅延時間に係る演算の省略ができる。従って、そこでは簡易な周波数特性に係る演算処理により定位方向を与えることが出来る。
【００８６】
次の残響処理器１５８ａ、１５８ｂでは、反射面のある空間内に定位されるオブジェクトが存在する場合に、そこで生じる残響音を付加する。前述の図２に示す視聴空間は野外の反射のない空間であるので、特にホールトーンのような残響音の付加は行なわない。
【００８７】
以上、畳み込み演算処理ユニット１５ａの構成と動作について述べた。
前述の図８に示す畳み込み手段は複数の畳み込み演算処理ユニットにより構成されており、複数のユニットを用いて複数の音源を定位させた立体音場定位信号を生成することができる。
【００８８】
図１０に、視聴者を中心として定位される音源と、伝達関数の関係を示す。
同図において、それぞれのスピーカＬ１及びＬ２より発音される信号ｘ１（ｔ）及びｘ２（ｔ）が基にされて音源１、２、３、及びｍが定位していることを示している。
【００８９】
そして、例えば音源２に対しては左側の耳に対する伝達関数はｆｌ１（ｔ）、右側はｆｒ１（ｔ）である。また、スピーカＬ１から左耳に伝達される特性はｈｌ１（ｔ）、
右耳にはｈｒ１（ｔ）、スピーカＬ２から左耳に伝達される特性はｈｌ２（ｔ）、右耳にはｈｒ２（ｔ）である。
【００９０】
畳み込み手段はこれらの特性を基に、虚音源を定位させるための信号を生成している。
以上、静止している画像オブジェクトから発せられる音声オブジェクトの定位について述べた。
【００９１】
次に、移動するオブジェクトを移動させながら定位させる音声オブジェクトの定位方法について述べる。
基本的な動作は上述の通りであるが、移動オブジェクトに対しては定位方向の変更をスムーズに行なう必要がある。
【００９２】
図１１に、スムーズな移動音を生成するためのクロスフェード器の構成を模式的に示す。そして、このクロスフェード器は上述のクロスフェード器１５３ａ、１５３ｂに用いて、移動する音声オブジェクトの定位を自然に行なおうとするものである。
【００９３】
即ち、音源の移動に伴い頭部伝達関数が切り替えられて定位信号処理がなされる。そして、このクロスフェード処理により切り替え時に生じる信号の不連続に基づくノイズを軽減する。
【００９４】
そのクロスフェード処理は、上記のように現在の定位位置の処理と前回の定位位置の処理を並列に行い、それらの２つの処理信号出力信号の時間的なレベル変化を、一方は大レベルから小レベルへ、他方は小レベルから大レベルへと、お互いに反対になるように可変する。そしてそれらの可変された信号を加算した合成信号を得る。従って、特性の切り替えはレベルが０である信号に対して行なうことにより、特性切り替え時に生じる雑音の発生を防いでいる。
【００９５】
以上説明したようにして、音声オブジェクトを所定の位置に定位させた立体音場信号の生成がなされる。尚、上記音像定位処理は、ＦＩＲ（有限インパルス応答）フィルタの使用を想定して実現しているが、これをＩＩＲ（無限インパルス応答）フィルタを用いて実現しても良い。
【００９６】
そして、制御手段６は上述の畳み込み処理に係る立体音場信号生成装置の制御の他に、コマンドに従った画像表示処理の制御も行なう。これにより、画像の動きと音声の動きがリンクし、より臨場感あふれる表示再生が行なわれる。
【００９７】
次に、このようになされる臨場感信号受信装置の制御をマイコンを用いて行なう場合について述べる。
図１２に、臨場感信号受信装置の動作制御を行なうコンピュータプログラムのフローチャートを示す。
【００９８】
同図において、Ｓ（ステップ）１は画像オブジェクト及び音声オブジェクトを立体音場信号生成装置に取り込む動作である。それらのオブジェクトデータは臨場感信号伝送装置より得る場合、インターネットを介してネットワークの接続される外部プロバイダより得る場合、及びＣＤ−ＲＯＭなどの記録媒体に記録されているデータを再生して得る場合などがある。
【００９９】
次のＳ２は、視聴者の上下左右３６０度方向の頭部伝達関数を得て頭部伝達関数記憶部２４に記憶するステップである。頭部伝達関数は立体音場信号生成装置より、外部プロバイダより、又は記録媒体などから得て記憶する。
【０１００】
次のステップ３は、臨場感信号伝送装置の管理テーブル１３で生成されたシナリオデータを送信手段１９、ネットワーク、及び受信手段２９を介して受信するステップである。受信されたシナリオデータは制御手段２６に供給され、そこに蓄積される。
【０１０１】
次のＳ４は、オブジェクトの表示位置及び出現時間等をタイムスケジュールに記述されるシナリオデータに従って、画像表示手段７ａへの画像オブジェクトの表示位置指定を行なう。また、音声オブジェクトをオブジェクト素材記憶部２１より得て畳み込み手段２５に供給すると共に、定位方向に係る頭部伝達関数を頭部伝達関数記憶部２４より得て畳み込み手段２５に供給する。
【０１０２】
次のＳ５では、シナリオデータに記述される時間情報を基にしてオブジェクト素材記憶部２１、頭部伝達関数記憶部２４、及び畳み込み手段２５におけるオブジェクトデータの信号処理がなされる。
【０１０３】
即ち、制御手段２６では画像オブジェクトを所定の場所に貼り付けた画像信号が生成される。さらに制御手段２６からは、畳み込み手段２５においてなされる音声オブジェクトに対する頭部伝達関数の係数の畳み込み演算のタイミングに係る制御信号を発生させる。
【０１０４】
そしてその動作制御は、制御手段２６に内蔵される図示しないタイマーからの時刻情報を基にし、再生開始時刻からの時間が得られ、その時間情報を基にしてシナリオに記述される時間データに従った動作がなされる。
【０１０５】
次のＳ６では、シナリオデータに従って生成された画像オブジェクトの表示画像は画像表示手段７ａに供給されて表示されると共に、畳み込み演算されて得られた立体音場信号は発音手段８ｃ及び８ｄに供給されて立体音場信号が生成され、再生される。
【０１０６】
そして、その立体音場信号は、表示画面に予め設定されている仮想的な視聴位置の周りに配置される画像オブジェクトの音が、あたかも視聴者が表示画面の中にいて聞こえるような臨場感を伴った立体音場信号として再生されるものである。
【０１０７】
また、上記のごとく臨場感信号受信装置の動作はコンピュータプログラムにより制御されて実行される。そして、そのプログラムのコンピュータへの取り込みは、ネットワークを経由して取り込む場合、及びパッケージメディアを介して取り込む場合がある。
【０１０８】
以上詳述したように、実施例により説明した臨場感信号受信装置は、予めオブジェクトデータ、及び頭部伝達関数のデータなどを蓄積しているので、伝送される少量のシナリオデータにより画像表示、及び立体音場の再生を行うことが出来る。
【０１０９】
即ち、そのシナリオデータは、例えば表示ファイル名、表示開始時間、表示位置、表示された画像の移動の有無、移動開始時間、移動時間、移動先表示位置、音声再生の周期、及び表示消滅時間などが前述のコマンドにより記述されたデータである。
【０１１０】
以上、臨場感信号受信用プログラムについて、及びそれにより制御のなされる動作についてフローチャート共に述べた。そして、臨場感信号伝送用プログラムについて同様に作成して動作制御を行わせることができる。即ち、その臨場感信号伝送用プログラムは視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、前記表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される前記音声オブジェクトを前記仮想的な視聴位置で視聴したときの立体音響信号を、前記視聴空間で臨場感を有して再生するための伝送信号として生成し、前記視聴空間の側に伝送する機能を有して実行されるプログラムである。
【０１１１】
そして、そのプログラムは表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における画像オブジェクトの座標位置を得る第１のステップと、その座標位置を基に、音声オブジェクト信号の定位方向を求める第２のステップと、少なくとも音声オブジェクト信号を指定するための音声オブジェクト情報と、定位方向に係る定位方向情報とを含んだ伝送信号を生成する第３のステップと、を有して臨場感伝送装置を制御するようにした臨場感信号伝送装置用プログラムである。
【０１１２】
ところで、従来は、音響信号の付随される映像信号は毎秒数Ｍビットのデータにより伝送がなされていたが、上述のシナリオデータを伝送する方法による場合ではそれの１／１０００以下のデータ量によりオブジェクト動画信号を伝送することができる。
【０１１３】
従って、シナリオデータはＥメールに添付して伝送される程度の小容量のファイルにより伝送が可能であり、手軽に伝送できる。
次に、そのシナリオデータの伝送について説明する。
【０１１４】
図１３に、シナリオデータ伝送のための信号処理について述べる。
即ち、送信手段１９でなされるシナリオデータの伝送処理は、まずＳ１１において所定のデータサイズごとのパケット化されてデータとされる。そして、パケット化されたデータにはパケットヘッダが付与される。次にＳ１３によりネットワークに伝送される。
【０１１５】
図１４に、シナリオデータ受信のための信号処理について述べる。
まず、受信手段２９で受信された信号はＳ２１においてヘッダ信号が除去されてパケット化された信号が得られる。次に、Ｓ２２でパケット分割された信号は結合されるようにしてデータ復元が行われる。そしてＳ２３では、復元されたシナリオデータは制御手段２６の図示しないメモリに一時記憶される。
【０１１６】
以上詳述したようにして、本実施例で述べた立体音場信号伝送装置及び受信装置によれば、伝送装置側で簡易な操作によりユーザの希望するアニメーション映像が所望の音響信号と共に制作されると共に、受信装置側では制作された作品がより効果的に表示され、臨場感を有して再生される。特に頭部伝達関数を用いた畳み込み処理により音像の定位が明確化され、より好適な臨場感を有する立体音場再生が可能となっている。
【０１１７】
そして、音声オブジェクトの位置、及び視聴場所の位置を３次元のＸ、Ｙ、及びＺの３軸により定義される座標位置を基にして頭部伝達関数を畳み込む方法ついて述べたが、その位置は２次元平面上の座標を用いて動作させる場合であっても同様な効果を得ることができる。
【０１１８】
また、高さ方向の違いにより生じる頭部伝達関数の違いに基づいて音声オブジェクトから発音される信号の周波数特性には多少の誤差が生じる。しかし、定位に係る両耳間時間差信号の遅延時間には大きな差が生じないため、２次元座標を基に立体音場再生信号を生成する場合であっても遜色のない定位情報を得ることができる。そして、頭部伝達関数記憶部に記憶するデータ量を少なくすることが出来る。
【０１１９】
【発明の効果】
請求項１記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生するようにしているので、小さなデータレートにより伝送される信号によりオブジェクト合成画面及び好適な臨場感を有する立体音響信号を再生する臨場感信号の送受信システムを提供できる効果がある。
【０１２０】
また、請求項２記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、送信装置の伝送信号生成手段における立体音生成用情報は、表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における画像オブジェクトの座標位置を基に生成した立体音生成用情報として伝送するようにしているので、受信装置側では小さなデータレートにより伝送される信号によりオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号伝送装置の構成を提供できる効果がある。
【０１２１】
また、請求項３記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、受信装置側で再生される立体音響信号を、音声オブジェクト情報に所定位置の方向に定位させるための頭部伝達関数を畳み込んで生成するようにしているので、送信装置側より伝送される小さなデータレートの信号を受信してオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号受信装置の構成を提供できる効果がある。
【０１２２】
また、請求項４記載の発明によれば、予め複数の画像オブジェクト及び音声オブジェクトを送信装置側及び受信装置側の両者で蓄積し、送信装置側では視聴空間の前方に配置される表示画面内に仮想的な視聴位置を定めると共に、表示画面内に音声オブジェクトが関連付けられた画像オブジェクトを貼り付けてオブジェクト合成画面を作成し、その作成されたオブジェクト合成画面内で発音される音声オブジェクトを仮想的な視聴位置で視聴したときの立体音響信号の生成を、表示画面内の視聴位置に対する画像オブジェクトから発音される音声オブジェクト信号の定位方向を指定した伝送信号として生成して伝送し、受信装置側では伝送された信号を受信すると共に表示画面内の画像オブジェクトが視聴者の周囲に配置されたような臨場感のある立体再生音を再生する臨場感信号の送受信システムにおいて、受信装置側で再生される立体音響信号を生成する機能を有して実行される臨場感信号受信装置用プログラムを、画像オブジェクト及び前記音声オブジェクトのそれぞれを記憶する第１のステップと、伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る第２のステップと、画面生成用情報を基に記憶手段に記憶された画像オブジェクトを貼り付けてオブジェクト合成画面を生成すると共に立体音生成用情報を基に記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた立体音響信号を生成する第３のステップとを有して前記臨場感信号受信装置を制御するようにしているので、送信装置側より伝送される小さなデータレートの信号を受信してオブジェクト合成画面及び更に好適な臨場感を有する立体音響信号を生成することのできる臨場感信号受信装置用プログラムを提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例に係る、立体音場信号生成装置及び立体音場信号受信装置の概略を示したブロック図である。
【図２】本発明の実施例に係る、画像オブジェクトの配置された表示画面例を示した図である。
【図３】本発明の実施例に係る、画像オブジェクトの配置された表示画面と視聴空間における音声の定位の例を示した図である。
【図４】本発明の実施例に係る、オブジェクトの配置をチャートにより示したものである。
【図５】本発明の実施に係る、オブジェクトを管理する管理テーブルの構造を示した図である。
【図６】本発明の実施に係る、管理テーブルに記述されるコマンドの内容を示したものである。
【図７】本発明の実施に係る、オブジェクトの表示を管理データにより記述したものである。
【図８】本発明の実施に係る、頭部伝達関数の畳み込み処理ユニットの構成を例示した図である。
【図９】本発明の実施に係る、畳み込み手段の１つの処理ユニットの構成を例示した図である。
【図１０】本発明の実施に係る、視聴者を中心に定位される音源と伝達関数の関係を示した図である。
【図１１】本発明の実施に係る、クロスフェード器の構成を模式的に示した図である。
【図１２】本発明の実施に係る、臨場感信号受信装置の動作制御に係るフローチャートを示した図である。
【図１３】本発明の実施に係る、データ伝送のための動作をフローチャートにより示した図である。
【図１４】本発明の実施に係る、データ受信のための動作をフローチャートにより示した図である。
【符号の説明】
１立体音場信号生成装置
７、７ａ 画像表示手段
８ａ、８ｂ、８ｃ、８ｄ 発音手段
１１ オブジェクト素材記憶部
１２ オブジェクト編集手段
１３ 管理テーブル生成手段
１４ 頭部伝達関数記憶部
１５ 畳み込み手段
１５ａ、１５ｂ、１５ｍ 畳み込み処理ユニット
１６ 制御手段
１５１ 可変利得増幅器
１５２ａ〜１５２ｄ 定位方向処理器
１５３ａ、１５３ｂ クロスフェード器
１５４ａ〜１５４ｄ 頭部演算処理器
１５５ａ、１５５ｂ 極性反転器
１５６ａ、１５６ｂ 加算器
１５７ａ、１５７ｂ 両耳間時間差器
１５８ａ、１５８ｂ 残響処理器
Claims (4)
- 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムであって、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とすることを特徴とする臨場感信号の送受信システム。 - 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号伝送装置であって、
前記合成画面作成手段、前記立体音生成手段、及び前記伝送信号生成手段を具備すると共に、
前記伝送信号生成手段における立体音生成用情報は、
前記表示画面内の視聴位置を原点とし、且つその原点を通るＸ、Ｙ座標軸を定め、その定められた座標系における前記画像オブジェクトの座標位置を基に生成した立体音生成用情報であることを特徴とする臨場感信号の伝送装置。 - 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とする臨場感信号の送受信システムにおける臨場感信号受信装置であって、
前記オブジェクト素材記憶手段、前記信号受信手段、前記合成画面生成手段、及び前記立体音生成手段を具備すると共に、
前記立体音生成手段における立体音響信号を、
前記音声オブジェクト情報に、前記所定位置の方向に定位させるための頭部伝達関数を畳み込んで生成することを特徴とする臨場感信号受信装置。 - 予め記憶される複数の画像オブジェクトを用いてオブジェクト合成画面を生成し、且つ予め記憶される音声オブジェクトを用いて前記オブジェクト合成画面に付随する立体音響信号を生成すると共に、前記オブジェクト合成画面を生成するための画面生成用情報、及び前記立体音響信号を生成するための立体音生成用情報を伝送する伝送装置と、予め記憶される前記画像オブジェクト及び前記音声オブジェクトを用い、受信される前記画面生成用情報を基に前記オブジェクト合成画面を生成し、且つ前記立体音生成用情報を基に前記立体音響信号を生成する受信装置とから成る臨場感信号の送受信システムを構成するに際し、
前記伝送装置を、
前記表示画面内の所定位置に前記音声オブジェクトが関連付けられる前記画像オブジェクトを貼り付けることによりオブジェクト合成画面を作成する合成画面作成手段と、
前記立体音響信号を再生する視聴空間の前方に配置されて、前記オブジェクト合成画像を表示する表示画面内に仮想的な視聴位置を定めると共に、その定められた視聴位置で所定の音像定位を行なう信号として視聴される前記立体音響信号を生成する立体音生成手段と、
前記画像オブジェクトの貼り付け位置情報を含む前記画面生成用情報と、前記音声オブジェクトの音像定位位置情報を含む前記立体音生成用情報とを伝送信号として生成する伝送信号生成手段と、
を具備した伝送装置とする一方、
前記受信装置を、
予め、前記画像オブジェクト及び前記音声オブジェクトを記憶するオブジェクト素材記憶手段と、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る信号受信手段と、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成する合成画面生成手段と、
前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する立体音生成手段と、
を具備して構成した装置とする臨場感信号の送受信システムにおける、前記オブジェクト画面の表示及び前記立体音響信号の再生を行なう機能を有して実行される臨場感信号受信装置用プログラムであって、
前記画像オブジェクト及び前記音声オブジェクトのそれぞれを記憶する第１のステップと、
前記伝送信号を受信して前記画面生成用情報及び前記立体音生成用情報を得る第２のステップと、
前記画面生成用情報を基に、前記記憶手段に記憶された画像オブジェクトを貼り付けて前記オブジェクト合成画面を生成すると共に、前記立体音生成用情報を基に、前記記憶手段に記憶された音声オブジェクトを所定の位置に音像定位させた前記立体音響信号を生成する第３のステップと、
を有して前記臨場感信号受信装置を制御することを特徴とする臨場感信号受信装置用プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159677A JP2004007211A (ja) | 2002-05-31 | 2002-05-31 | 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159677A JP2004007211A (ja) | 2002-05-31 | 2002-05-31 | 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004007211A true JP2004007211A (ja) | 2004-01-08 |
Family
ID=30429356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002159677A Pending JP2004007211A (ja) | 2002-05-31 | 2002-05-31 | 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004007211A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005295207A (ja) * | 2004-03-31 | 2005-10-20 | Yamaha Corp | 音像移動処理装置およびプログラム |
| JP2006068072A (ja) * | 2004-08-31 | 2006-03-16 | Aruze Corp | 遊技機 |
| JP2008131515A (ja) * | 2006-11-22 | 2008-06-05 | Sharp Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2008532374A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置および方法 |
| JP2008532373A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 波面合成システムをシミュレートするための装置および方法 |
| JP2008532372A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 波面合成レンダリング手段を制御するための装置および方法 |
| JP2010010844A (ja) * | 2008-06-24 | 2010-01-14 | Sony Computer Entertainment Inc | ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム |
| JP2010041485A (ja) * | 2008-08-06 | 2010-02-18 | Pioneer Electronic Corp | 映像音声出力装置 |
| JP2010109609A (ja) * | 2008-10-29 | 2010-05-13 | Fujitsu Ltd | 通信装置、効果音出力制御プログラム及び効果音出力制御方法 |
| US7813826B2 (en) | 2005-02-23 | 2010-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for storing audio files |
| US7962231B2 (en) | 2005-02-23 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for providing data in a multi-renderer system |
| JP2012119738A (ja) * | 2010-11-29 | 2012-06-21 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| JP2017011596A (ja) * | 2015-06-25 | 2017-01-12 | ヤマハ株式会社 | 制御方法 |
| CN108962115A (zh) * | 2018-05-11 | 2018-12-07 | 友达光电股份有限公司 | 显示设备及其驱动方法 |
| JP2020030376A (ja) * | 2018-08-24 | 2020-02-27 | 本田技研工業株式会社 | 音響シーン再構成装置、音響シーン再構成方法、およびプログラム |
-
2002
- 2002-05-31 JP JP2002159677A patent/JP2004007211A/ja active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005295207A (ja) * | 2004-03-31 | 2005-10-20 | Yamaha Corp | 音像移動処理装置およびプログラム |
| JP2006068072A (ja) * | 2004-08-31 | 2006-03-16 | Aruze Corp | 遊技機 |
| US7813826B2 (en) | 2005-02-23 | 2010-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for storing audio files |
| JP2008532374A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置および方法 |
| JP2008532373A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 波面合成システムをシミュレートするための装置および方法 |
| JP2008532372A (ja) * | 2005-02-23 | 2008-08-14 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 波面合成レンダリング手段を制御するための装置および方法 |
| JP4700071B2 (ja) * | 2005-02-23 | 2011-06-15 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 波面合成システムをシミュレートするための装置および方法 |
| US7962231B2 (en) | 2005-02-23 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for providing data in a multi-renderer system |
| US7930048B2 (en) | 2005-02-23 | 2011-04-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for controlling a wave field synthesis renderer means with audio objects |
| US7809453B2 (en) | 2005-02-23 | 2010-10-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for simulating a wave field synthesis system |
| JP2008131515A (ja) * | 2006-11-22 | 2008-06-05 | Sharp Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2010010844A (ja) * | 2008-06-24 | 2010-01-14 | Sony Computer Entertainment Inc | ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム |
| JP4512652B2 (ja) * | 2008-06-24 | 2010-07-28 | 株式会社ソニー・コンピュータエンタテインメント | ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム |
| JP2010041485A (ja) * | 2008-08-06 | 2010-02-18 | Pioneer Electronic Corp | 映像音声出力装置 |
| JP2010109609A (ja) * | 2008-10-29 | 2010-05-13 | Fujitsu Ltd | 通信装置、効果音出力制御プログラム及び効果音出力制御方法 |
| JP2012119738A (ja) * | 2010-11-29 | 2012-06-21 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2015008613A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| WO2015008576A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| JPWO2015008613A1 (ja) * | 2013-07-19 | 2017-03-02 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US10523975B2 (en) | 2013-07-19 | 2019-12-31 | Sony Corporation | Information processing device and information processing method |
| JP2017011596A (ja) * | 2015-06-25 | 2017-01-12 | ヤマハ株式会社 | 制御方法 |
| CN108962115A (zh) * | 2018-05-11 | 2018-12-07 | 友达光电股份有限公司 | 显示设备及其驱动方法 |
| JP2020030376A (ja) * | 2018-08-24 | 2020-02-27 | 本田技研工業株式会社 | 音響シーン再構成装置、音響シーン再構成方法、およびプログラム |
| US11373355B2 (en) | 2018-08-24 | 2022-06-28 | Honda Motor Co., Ltd. | Acoustic scene reconstruction device, acoustic scene reconstruction method, and program |
| JP7177631B2 (ja) | 2018-08-24 | 2022-11-24 | 本田技研工業株式会社 | 音響シーン再構成装置、音響シーン再構成方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004007211A (ja) | 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム | |
| JP4263217B2 (ja) | オーディオシーンでのオーディオ表現を生成し、保存し、編集するための装置および方法 | |
| US5812688A (en) | Method and apparatus for using visual images to mix sound | |
| US5990405A (en) | System and method for generating and controlling a simulated musical concert experience | |
| JP4913140B2 (ja) | グラフィカル・ユーザ・インタフェースを使って複数のスピーカを制御するための装置及び方法 | |
| JP2897586B2 (ja) | 音場制御装置 | |
| JP2007259888A (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
| US9967693B1 (en) | Advanced binaural sound imaging | |
| JP2005229618A (ja) | 動的音源とリスナーの位置による音声レンダリング | |
| JPH10137445A (ja) | ゲーム装置、画像音響処理装置および記録媒体 | |
| JPH0792981A (ja) | バーチャルワールドサウンドシステムを提供するための方法及び装置 | |
| WO2007145209A1 (ja) | ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム | |
| US20050182608A1 (en) | Audio effect rendering based on graphic polygons | |
| JP2000069600A (ja) | 音楽的臨場感形成装置の制御装置及び制御方法 | |
| CN110915240B (zh) | 向用户提供交互式音乐创作的方法 | |
| WO2019098022A1 (ja) | 信号処理装置および方法、並びにプログラム | |
| TWI322631B (en) | Audio processing device, audio processing method, and information recording medium | |
| Çamcı et al. | INVISO: a cross-platform user interface for creating virtual sonic environments | |
| JP2005046270A (ja) | ゲーム装置、コンピュータの制御方法及びプログラム | |
| JP2003348700A (ja) | 臨場感信号の生成方法、及び臨場感信号生成装置 | |
| JP2003061200A (ja) | 音声処理装置及び音声処理方法、並びに制御プログラム | |
| JP2001186599A (ja) | 音場創出装置 | |
| JPH1175151A (ja) | 音声処理機能付き画像表示システム | |
| JPH06285258A (ja) | ビデオゲーム機 | |
| Van Tonder et al. | Acoustic atlas–auralisation in the browser |