JP2009205626A - 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】ユーザの異なる触り方に合った適切な接触音をリアルタイムで生成するための方法、装置、あるいはプログラムを提供する。
【解決手段】本発明に係る多感覚インタラクションシステム１００は、制御部２００と、記憶部２６０と、３Ｄ表示部２７０と、力覚提示部２８０と、音出力部２９０とを備える。制御部２００は、記憶部２６０に格納された３Ｄモデル１７８ａおよび物性１７８ｂに基づき、仮想物体からの反力の法線成分および接面成分を算出する。また、記憶部２６０に格納された音モデル１７８ｃと法線成分とに基づいて叩き音を、音モデル１７８ｃと接面成分とに基づいてこすり音を、それぞれ求める。
【選択図】図２

Description

本発明は、仮想物体に他の物体が接触した時に発生する接触音を生成する技術に関し、特に、ユーザの操作に応じて移動する物体と仮想物体との接触音を生成する技術に関する。

仮想物体に力覚提示装置等で触れたときに音を生成する手法として、例えば、非特許文献１に開示されているように、物体に触れた際の構造変形を有限要素法によりモデル化し、音圧の拡散を計算で求める方法がある。

一方、音生成のもう一つの方法として、モード合成法がある。非特許文献２には、収音データを分析して物体に固有の振動モードを特定し、各モードの振幅と減衰パラメータを推定しておき、これらのパラメータで決まるインパルス応答と実際に物体に触れたときの反力の畳み込み積分で音を生成する手法が記載されている。
O'Brien, J. F., Cook, P. R., and Essl, G.: Synthesizing Sounds from Physically Based Motion, in Proceedings of SIGGRAPH 2001, Annual Conference Series, (Los Angeles, California), pp. 529-536 (2001) K. van den Doel, P. G. Kry, and D. K. Pai, "FoleyAutomatic: physically-based sound effects for interactive simulation and animation", in Computer Graphics (ACM SIGGRAPH 01 Conference Proceedings), Los Angeles, California, 2001, pp. 537-544

非特許文献１に記載の手法では、計算コストが多大であり、リアルタイムで音を算出することは極めて困難である。

また、非特許文献２に記載の手法は、主に物体を叩いたときの音生成に用いられていた。ユーザがスタイラス等で「叩く」「こする」「留める」の何れの動作を行なうか事前に決まっていない場合に、ユーザの動作に合わせて適切な接触音をリアルタイムで生成することは、この手法では極めて困難である。

本発明は、上記のような問題を解決するためになされたものであって、異なる触り方に合った適切な接触音をリアルタイムで生成するための方法、装置、あるいはプログラムを提供することを課題とする。

１つの局面に係る本願発明は、仮想物体への接触音を実時間で生成する接触音のリアルタイム生成装置であって、仮想物体のモデルを記憶する記憶部を備え、モデルは、仮想物体の形状を表わす３次元モデルと、仮想物体への叩きに対応する第１の接触音データと、仮想物体へのこすりに対応する第２の接触音データとを含み、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、演算装置とをさらに備え、演算装置は、位置および３次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出し、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出する算出部と、第１の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成し、第２の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成する音生成部とを含み、叩き音およびこすり音を出力する音出力部とをさらに備える。

好ましくは、算出部は、移動物体と仮想物体との接触時間が長くなるにつれ小さな値をとる第１の重み関数を法線成分に掛け合わせて叩き入力を算出し、接触時間が長くなるにつれ大きな値をとる第２の重み関数を接面成分に掛け合わせてこすり入力を算出する。

さらに好ましくは、第１の接触音データおよび第２の接触音データは、複数の振動モードの各々の周波数と、振幅と、減衰パラメータとで特定され、算出部は、第１の接触音データの各振動モードを足し合わせた第１のインパルス応答と、第２の接触音データの各振動モードを足し合わせた第２のインパルス応答とを算出し、音生成部は、第１のインパルス応答および叩き入力の畳み込み積分により叩き音を生成し、第２のインパルス応答およびこすり入力の畳み込み積分によりこすり音を生成する。

さらに好ましくは、算出部は、所定の時間内の変位が所定のしきい値以下のとき、叩き入力およびこすり入力の値を所定の値以下とし、第１のインパルス応答および第２のインパルス応答の減衰を大きくする。

好ましくは、操作部は、ユーザに反力を提示する力覚装置の操作部である。
他の局面に係る本願発明は、仮想物体への接触音を実時間で生成する接触音のリアルタイム生成方法であって、ユーザの動作に対応して仮想空間内を移動する移動物体の位置および仮想物体の形状を表わす３次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出するステップと、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出するステップと、仮想物体への叩きに対応する第１の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成し、仮想物体へのこすりに対応する第２の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成するステップと、叩き音およびこすり音を出力するステップとをさらに備える。

さらに他の局面に係る本願発明は、仮想物体再現システムに、仮想物体への接触音を実時間で生成させるための接触音のリアルタイム生成プログラムであって、仮想物体再現システムは、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、音出力部と、演算装置とを備え、演算装置に、位置および仮想物体の形状を表わす３次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出させるステップと、演算装置に、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出させるステップと、演算装置に、仮想物体への叩きに対応する第１の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成させ、仮想物体へのこすりに対応する第２の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成させるステップと、音出力部に、叩き音およびこすり音を出力させるステップとを備える。

さらに他の局面に係る本願発明は、上述の接触音のリアルタイム生成プログラムを格納した、コンピュータ読取可能な記録媒体である。

本発明によれば、ユーザの操作に応じて仮想空間内を移動する物体と仮想物体との接触時間および物体表面からの反力の法線・接面成分を測定し、これらの値を用いて「叩く・こする」といった音成分を制御する。このことにより、ユーザの動作に合わせた接触音をリアルタイムで生成することが可能になる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

［第１の実施の形態］
（１．はじめに）
聴覚は、我々の日々の生活において、いくつもの重要な役割を果たしている。私たちは、手の届くところにある物体に触れることにより様々な音を生み出しえる。これらの音は、素材、形、粗さ、堅さといった物体と相互作用についての情報、ジェスチャー、私たちの動作の頻度や強さなどのたくさんの情報を伝える。

バーチャルリアリティーシステムにおいて、利用者は、インターフェースが、音を出さなかったり、そぐわない音を出したりすると、すぐに、不自然さに気づくかもしれない。触覚と視覚の刺激に適切に対応する音のフィードバックは、存在と現実性の感覚を強めるかもしれない。

しかし、予め録音されたサンプルを加工することによって生成された音では、音質の変化や、表面の性質を再現することはできない。

本発明は、触覚インターフェースのためのリアルタイムな音合成の問題に関し、物理に基づく音モデルと、叩きやこすり音といった接触音の連続的生成のための利用者の動作とを合体したものである。

力覚装置（Ｐｈａｎｔｏｍ（登録商標）Ｐｒｅｍｉｕｍ１．５）に基づく本実施の形態に係る試作システムは、緊密に連携した視覚−触覚−聴覚刺激を提供することができる。このことにより、利用者は、本当の物体を操作しているかのように感じる。

図１を参照して、第１の実施の形態に係るシステム構成について説明する。本システムは、視覚、触覚、聴覚を介して、仮想物体と利用者との相互作用を表現する多感覚インタラクションシステムである。

図１（ａ）は、典型的な配置のシステムを示す。本発明に係るシステムは、力覚装置１１０と、ディスプレイ１２２と、ハーフミラー１２４と、ステレオシャッター眼鏡１２６と、ヘッドホン１３０とを含む。

力覚装置１１０は、スタイラス１１２の位置を測定し、位置に応じた反力をスタイラス１１２に与える。これにより、スタイラス１１２を操作する利用者は、仮想物体に実際に触れているかのような感覚を得る。本実施の形態においては、特にこれに限られるものではないが、力覚装置１１０として、Ｐｈａｎｔｏｍ（登録商標）Ｐｒｅｍｉｕｍ１．５を用いている。

ディスプレイ１２２には、仮想物体の画像が表示される。ハーフミラー１２４は、ディスプレイ１２２の画面を反射する。

ステレオシャッター眼鏡１２６をかけた利用者は、ハーフミラー１２４を介して物体の３次元像を見て、それに様々な方法でスタイラスで触り、力フィードバックと、同時に高フィディリティの接触音を聞く。

ただし、第１の実施の形態に係るシステムは、図１（ａ）に示した構成のものに限られるわけではない。

例えば、力覚装置１１０は、仮想物体に触れた利用者が受ける反力を再現するものであればよい。スタイラス１１２は、利用者の動作にしたがって移動し、利用者に反力を与える装置（操作部とよぶ）の一例であって、図１に示すようなペン型のものに限られるわけではない。例えば、グローブ型のものであってもよい。また、ディスプレイ１２２と、ハーフミラー１２４と、ステレオシャッター眼鏡１２６のかわりに、仮想物体を３次元表示できる別のシステムを用いてもよい。さらに、ヘッドホン１３０のかわりにスピーカなどの音出力機器を用いてもよい。

図１（ｂ）は、第１の実施の形態に係るシステムのハードウェアブロック図である。システムは、力覚装置１１０と、３次元モニタ１２０と、スピーカ１３０と、ヘッドホン１３５と、マウス１４０と、キーボート１４５と、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１５０と、メモリ１６０と、ハードディスク１７０と、モニタ１８０と、光ディスクドライブ１９０と、通信インターフェイス１９５とを備える。

３次元モニタ１２０は、仮想物体の画像を利用者に立体的に表示する。図１（ａ）のディスプレイ１２２と、ハーフミラー１２４と、ステレオシャッター眼鏡１２６との組み合わせは、３次元モニタ１２０の一例である。

スピーカ１３０、ヘッドホン１３５は、いずれも音を出力する。なお、本システムは、スピーカ１３０、ヘッドホン１３５の一方のみ備えるものであってもよい。

マウス１４０、キーボード１４５は、いずれも、利用者からの入力を受け付ける。なお、マウス１４０およびキーボード１４５は、利用者からの入力を受け付ける入力装置の一例であって、これらに加えて他の種類の入力装置が備えられていてもよいし、あるいは、これらのかわりに他の種類の入力装置が備えられていてもよい。

ＣＰＵ１５０は、マウス１４０、キーボード１４５が受け付けた入力や、力覚装置１１０からの変位信号などに基づいて、システムの各部の動作を制御する。

メモリ１６０は、ＣＰＵ１５０による処理の実行にあたり、一時的にデータを格納する。図１（ｂ）では、入力刺激１６２と、インパルス応答１６４と、合成音１６６とがメモリ１６０に格納されるものとしているが、メモリには、当然に、これら以外のデータも格納される。なお、入力刺激１６２、インパルス応答１６４、合成音１６６については、後で説明する。

ハードディスク１７０は、モデル作成プログラム１７２と、仮想物体を再現するプログラム１７４と、音合成プログラム１７６と、仮想物体の性質を表わす物体モデル１７８とを格納する。

モデル作成プログラム１７２を用いると、物体モデル１７８を作成することができる。本実施の形態では、後述するように、物体モデル１７８を、実際の物体の測定結果に基づいて作成する。

仮想物体を再現するプログラム１７４は、物体モデル１７８に基づいて、仮想物体の画像を生成する。また、スタイラス１１２が仮想物体に接触した場合（厳密には、スタイラス１１２の位置および物体モデル１７８から、スタイラス１１２が仮想物体に接触したと判断された場合）、仮想物体（厳密には、力覚装置１１０）がスタイラス１１２に与える力を生成する。

音合成プログラム１７６は、物体モデル１７８に基づいて、スタイラス１１２の仮想物体への接触に応じて、接触の性質に応じた音を合成する。この音合成の詳細については、後述する。

光ディスクドライブ１９０は、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｃ）やＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）などの光ディスク１９２に格納されたデータを読み取る。モデル作成プログラム１７２、仮想物体を再現するプログラム１７４、音合成プログラム１７６の各々は、光ディスク１９２に格納され、流通していてもよい。なお、光ディスク１９２は、データを格納する記録媒体の一例であり、プログラムが格納される記録媒体はこれに限られるものではない。

通信インターフェース１９５は、外部へのデータの送信あるいは、外部からのデータの受信を行なう。

（２．関連研究）
連続的なインタラクションによる音合成において、予め録音された音を再生することは、音の変化を予測できないため、不満足であり、また、実用的ではない。音を発生する物体は、様々な方法で、様々な物体により、刺激される。多くの研究者は、音生成の物理的モデルおよびパラメータ化された音合成方法のための音響的で物理的なデジタル信号処理を行ってきた［P. R. Cook, Real sound synthesis for interactive applications, A K Peters, Wellesley, MA. 2002, pp. 39-50］。

１つの方法は、有限要素法（ＦＥＭ；Ｆｉｎｉｔｅ Ｅｌｅｍｅｎｔ Ｍｅｔｈｏｄ）を、物体の表面振動に用いることである。非特許文献１（J. F. O'Brien, P. R. Cook, and G. Essl, “Synthesizing sounds from physically based motion”, in Proceedings of SIGGRAPH 2001, Annual Conference Series, Los Angeles, California, 2001, pp. 529-536）は、変形体の単一の物理モデルから、音と動きを計算するオフラインシステムについて記述している。音は、動きによって発生する音響的圧力波の伝播の計算によって生成される。［J. F. O’Brien, C. Shen, and C. M. Gatchalian, “ Synthesizing sounds from rigid-body simulations”, In the ACM SINGGRAPH 2002 Symposium on Computer Animation, ACM Press, pp. 175-181］においては、任意の形の物体を、４面体の体積要素に分割して扱う方法が提案されている。Ｙａｎｏなど［H. Yano, T. Kameda, K. Mizutani, and H. Iwata, “Synthesis of haptic and auditory senses based on physical model”, Trans. Of Virtual Reality Society of Japan, Vol. 5, No. 3, pp: 997-1004, 2000 (in Japanese)］は、スピーカを力覚装置（ＨａｐｔｉｃＭａｓｔｅｒ（登録商標））の端のエフェクターに備え付け、スピーカ位置からの音圧データをＦＥＭにより計算することで、力覚と聴覚の合成を研究している。

これらの方法は、視覚的な光景から直接に音を生成することができるが、公式化の複雑性および重い計算負荷により、リアルタイムの生成や相互的なアプリケーションへの使用はできない。

物体表面のより粗い近似は、物体の網トポロジーといくつかの物質パラメータから得たばね−質量モデルである。Ｒａｇｈｕｖａｎｓｈｉ、Ｌｉｎ［N. Raghuvanshi, and M. C. Lin, “Interactive sound synthesis of large scale environments”, in Proc. of the 2006 Symposium on Interactive 3D Graphics and Games, Redwood City, California, pp. 101-108］には、数１００個までの音を出す物体のやや複雑なシミュレーションを、ばね−質量システムで行なうための優先度に基づく質評価方法が示されている。

仮想物体の表面の変形からの音をシミュレーションする方法と異なり、Ｖａｎ ｄｅｎ Ｄｏｅｌと共同研究者［非特許文献２（K. van den Doel, P. G. Kry, and D. K. Pai, “FoleyAutomatic: physically-based sound effects for interactive simulation and animation”, in Computer Graphics (ACM SIGGRAPH 01 Conference Proceedings), Los Angeles, California, 2001, pp. 537-544）］［D. K. Pai, K. van den Doel, D. L. James, et al, “Scanning physical interaction behavior of 3D objects”, In Proc. of ACM SIGGRAPH 2001, pp. 87-96］は、アニメーションやシミュレーションの音効果を自動的に合成するため、解析的に計算された振動モードを物体表面に配置する、実在に基づくモード音モデルを提案している。物理的な測定が、振動モードと、その衝撃点への依存性とを決定するのに用いられる。

物体により生成される音をシミュレーションするために、振動体のみの物理的モデルでは不十分であり、音を発生する出来事の物理学そして音響学も考慮されるべきである。Ｇａｖｅｒ［W. W. Gaver, “How do we hear in the world? Explorations in ecological acoustics”, Ecological Psychology, Vol. 5, No.4 pp. 285-313, 1993］は、聴覚上の出来事の認知を調査し、合成変形は、出来事の与えられた局面についての同じ情報を伝達すべきであると論じた。

Ｈａｈｎらは、音質樹、つまり、音と動きとをまとめるための仮想環境における音の関数的な表現を提案した。アニメーションにおける叩き、回転、滑りの接触相互作用のモデルは、上に挙げたＤｏｅｌと共同研究者の論文で議論されている。ＤｉｆｉｌｉｐｐｏとＰａｉは、Ｐａｎｔｏｇｒａｐｈ（登録商標）の力覚装置を含む音響力覚インターフェースを提供した。ＡｖａｎｚｉｎｉとＣｒｏｓａｔｏ［F. Avanzini and P. Crosato, “Integrating physically based sound models in a multimodal rendering architecture”, Computer Animation and Virtual Worlds, Vol. 17, pp 411-419, 2006］は、衝撃音をシミュレーションするための、より複雑な非線型の接触力を用いた複数モードの表現構造を提示している。しかしながら、彼らの仕事では、利用者の動作の意図や動作間の音の遷移については言及されていない。

ＢａｒｒａｓｓとＡｄｃｏｃｋ［S. Barrass, M. Adcock, “Interactive granular synthesis of haptic contact sounds”, in Proceedings of the Audio Engineering Society 22nd International Conference on Virtual, Synthetic and Entertainment Audio (AES22), Espoo, Finland. AES. 2002, pp. 270-277］は、力覚ワークベンチ用の生態粒合成（ｅｃｏｌｏｇｉｃａｌ ｇｒａｎｉｌａｒ ｓｙｎｔｈｅｓｉｓ）を用いてこすり音を提供した。連続的なこすり音は、実際の物体からサンプルした３−３０ｍｓの短い音の粒のたまりから生成される。［G. Castle, M. Adcock, and S. Barrass, “Integrated modal and granular synthesis of haptic tapping and scratching sounds”, in EuroHaptics 2002, Edinburgh, UK］は、叩き音とこすり音とのそれぞれのためのモード合成と粒合成とを組み合わせるＴａｐＡｎｄＳｃｒａｔｃｈ構造を開発した。しかし、その結果は、彼らの観察によれば、不十分であった。２つのアルゴリズムの間の遷移は滑らかではなく、叩きの生成（モード合成）に含まれる共鳴の特徴付けは、こすり音（粒合成）には含められなかった。

本発明では、利用者の動作と、動作の音響効果に基づくモード音モデルとを実時間で統合する相互作用モデルに着目する。システムは、今まで論じられたものよりも多様な音響特性をもつ、物体のリアルな音効果を表現できる。システムは、相互的でなければならず、また、任意の接触動作に対し反応しなければならない。そのため、アニメーションやシミュレーションには現われない、ヒューマンインターフェースのいくつかの特別な事項を考慮する。

（３．概要）
図２を参照して、第１の実施の形態に係る多感覚インタラクションシステム１００の機能的構成について説明する。本システムは、Ｒｅａｃｈｉｎ（登録商標）の画像−力覚ＡＰＩ［Reachin API, www.reachin.se/products/reachinapi/］を、結合マルチモード表現のための物理に基づく音合成アルゴリズムで拡張したものである。

多感覚インタラクションシステム１００は、制御部２００と、記憶部２６０と、３Ｄ表示部２７０と、力覚提示部２８０と、音出力部２９０とを備える。

記憶部２６０は、各種データを格納する。図１のメモリ１６０あるいはハードディスク１７０に相当する。記憶部２６０が格納する物体モデル１７８は、仮想物体の３次元形状を表わす３Ｄモデル１７８ａと、仮想物体の堅さ、粗さ、風合いなどを表わす物性１７８ｂと、仮想物体へのスタイラス１１２の接触に応じて発生する接触音のパラメータ（周波数、減衰パラメータ、振幅など）で表わされる音モデル１７８ｃとを格納する。

３Ｄ表示部２７０は、図１の３Ｄモニタ１２０に相当し、仮想物体の３次元的な画像を表示する。

力覚提示部２８０は、図１の力覚装置１１０に相当し、スタイラス１１２の移動距離を検出する。また、力覚装置１１０内部のモータを駆動し、スタイラス１１２の位置および仮想物体の形状に基づいて、スタイラス１１２を把持している利用者に反力を与える。

音出力部２９０は、外部に音を出力する。スピーカ１３０またはヘッドホン１３５に相当する。

制御部２００は、力覚提示部２８０から入力されるスタイラス１１２の変位量および記憶部２６０に記憶された物体モデル２６０に基づいて、３Ｄ表示部２７０と、力覚提示部２８０、音出力部２９０の動作を制御する。

制御部２００は、視覚レンダリング部２１０と、変形算出部２２０と、反力算出部２３０と、音要素算出部２４０と、モード合成部２５０とを含む。

変形算出部２２０は、力覚提示部２８０で測定されるスタイラス１１０の移動距離および３Ｄモデル２６２に基づいて、スタイラス１１０が、仮想物体にどれだけ入り込んだかを算出し、仮想物体の変形量を算出する。

視覚レンダリング部２１０は、変形算出部２２０によって算出された変形量および３Ｄモデル１７８ａに基づいて、３Ｄ表示部２７０が表示する画像データを生成し、生成した画像データを３Ｄ表示部２７０に表示する。

反力算出部２３０は、変形量および仮想物体の物性１７８ｂに基づいて、仮想物体が利用者に与える反力、すなわち、力覚提示部２８０のモータの駆動力を算出する。また、力覚提示部２８０に、算出した駆動力での動作を指示する。

音要素算出部２４０は、変形量、３Ｄモデル１７８ａ、物性１７８ｂに基づいて、反力の物体表面に垂直な成分（法線成分）と、反力の物体表面内の成分（接面成分）を算出する。なお、ここでは、法線成分、接面成分を反力算出部２３０が算出した反力を利用して求めるものとする。ただし、変形量および物性１７８ｂに基づいて、直接にこれらを求めてもよい。

また、音要素算出部２４０は、スタイラス１１０と仮想物体の接触時間を求め、接触時間に応じて定まる２種類の重み関数を、法線成分、接面成分のそれぞれに掛け合わせた２つの入力刺激（叩き入力およびこすり入力）を算出する。重み関数および入力刺激の詳細については、後述する。

さらに、音要素算出部２４０は、所定時間内のスタイラス１１０の変位量がしきい値を超えるかどうか判断し、判断結果を入力刺激に反映する。また、判断結果および音モデル１７８ｃに基づいて、それぞれの入力刺激に応じて生成される音を表わす応答インパルスを生成する。判断結果が反映された入力刺激および応答インパルスの詳細については、後述する。

モード合成部２５０は、各入力刺激と応答インパルスの畳み込み積分を行ない、両者を足し合わせて、合成音を作成し、音出力部２９０に合成音を出力させる。

視覚レンダリング部２１０、変形算出部２２０は、６０Ｈｚで各量の計算を行なう。接触力の算出は、視覚グラフのループのレート（６０Ｈｚ）で生成される補完力モデルを用いて、１ｋＨｚもしくはそれ以上のレートで計算される。モード合成部２５０は、力覚ループのレートよりさらに早い４４．１ｋＨｚのレートで音信号を生成する。聴覚は、時間のずれに敏感であるからである。

本実施の形態では、物体モデル１７８を、実際の物体４００を物体測定部３００で測定して得るものとする。物体測定部３００は、物体の３次元形状や外観、そして、表面の風合い、堅さ、弾性、粗さなどを測定する形状測定部３１０と、接触音を測定する音測定部３２０とを含む。なお、本システムにおいて測定および再合成される接触音は、大きく共鳴する物体（和太鼓）に木の棒（ばち）で触ったときの音とする。

接触音モデルを含む実際の物体の物理的性質が取得され、“統合された視覚グラフ構造”のパラメータに変換される。音の性質を「表面」ノードに組み合わせることで、表面への接触事象によって関連する音モデルが活性化される。

表面は、異なる動作に対していくつかの音モデルを持ちうる。音レンダリングでどのようにこれらのモデルを励起するかは、（４．音モデルと利用者の動作との統合）で説明する。（５．操作物体：実在から仮想へ）では、音モデルのパラメータを取得する手順を例示する。

（４．音モデルと利用者の動作との統合）
＜Ａ．モード音合成＞
固体との相互作用の間に耳にする接触音は、構造の振動により放射される波である。様々な物体形状は、異なる変形をするので、その音の違いを知ることができる。固体から放出される相互作用音をシミュレーションするためには、物理的に動機付けられたモード合成モデルＭ＝｛ｆ，ｄ，ａ｝を用いることができる（例えば、非特許文献２を参照）。これは、物体を、モード周波数ｆ_ｎ、減衰パラメータｄ_ｎ、振幅ａ_ｎ（ω）を持つ減衰する調和振動子の集合で表わすものである。ここで、ｎ＝１，…，Ｎであり、ωは、接触の位置と、聞き手の位置とを表わすベクトルを表わす。

振動体は、線型の時間不変のシステム（ＬＴＩ；ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ）とみなされ、式（１）のインパルス応答ｈ（ｔ）で特徴付けられる。

システムの出力である接触音ｙ（ｔ）は、インパルス応答ｈ（ｔ）と入力刺激ｘ（ｔ）の畳み込みである。すなわち、ｙ（ｔ）＝（ｈ＊ｘ）（ｔ）である。それゆえに、音合成の問題は、２つの部分に分解できる。つまり、物体の音響特性を記述する振動モデルのパラメータを取得することと、接触相互作用を記述する励起モデルを得ることとである。

＜Ｂ．動作と音＞
叩き、こすり、といった相互作用が異なる多くの状況において、たとえ同じ位置に触れたとしても、接触音は全く異なる。その理由としては、叩き動作において、振動の重要な成分は、関連する物体の主要部（ボディ）の共鳴であるのに対し、こすり動作では、接触領域の表面振動の粒がより寄与するということが考えられる。

共鳴の特性は、関連する振動ボディの形、幾何形状、そして物質による。そのため、こすり音は、叩き音とは異なるパラメータの組のモード共振によって、モデル化することもできる。システムは、各動作に特別なアルゴリズムを必要としない、統一された表現を用いることにより、より一貫したものとなる。回転体により生成される音は、速度や加速度といった表面の輪郭および変形性質についての付加的な情報を含む、叩きの特別な場合であるとみなすこともできる。

表面の音響的な性質をより完全な記述を提供するため、１つの表面について１対の音モデルを割り当てる。

連続的な接触音を生成するためのこれらのモードの引き金を引くための１つの方法として、動作の種類（叩きまたはこすり）により対応するモデルを励起するトップダウン戦略がある。ここでは、これを分岐手法とよぶ。これは、予め定義されたプロットや動きシミュレーションにより計算された決定している相互作用をもつアニメーションでの音効果合成では上手くいくかもしれない。しかし、実時間のマン−マシンインターフェースにおいては利用者の意図はシステムには分からない。システムは、どの種類の動作が実行されているかを判断しなければならない。しかしながら、判断のためにある程度の量のデータを集めるためには時間がかかるのに対し、音は、利用者のスタイラスが表面に触れたときに生成されなければならない。人間の聴覚の時間分解能は、身体感覚の時間分解能よりもずっと高いので、力覚の出力を１ｋＨｚで更新し、４４．１ｋＨｚで音出力を生成するシステムにおいて、２ｍｓ以上の遅れは目立ってしまう可能性がある。さらに、動作の判断により引き起こされる過敏性のため、合成される音が、雑音が多く不自然なものになる。

このような問題のため、本発明では、ボトムアップ戦略を採用する。利用者の意図を別にして、相互作用の過程における表面振動を単に分析すれば、振動の仕方は、純粋な叩きモードでも、こすりモードでもない。例えば、利用者が、表面をこすろうとしていても、スタイラスが表面に触れたときに、法線力が、叩きモデルの振動モードを引き起こすことがある。あるいは、ある場合には、叩き動作が、こすりの音モデルを励起する接面成分ももたらすことがある。これらの振動モードは、排他的というよりは重ね合わせで表現される。そのため、本発明では、音モデルの励起を重ね合わせる、物理的に動機付けられた手法を提案する。

例として、２種類の相互作用動作と音モデル（叩きとこすり）を考える。ある時間にはただ１つの接触点しかないものと仮定する。合成音は、以下の式（２）で与えられる。

ここで、入力刺激ｘ_ｉｍｐ、ｘ_ｓｃｒは、接触時間と、表面に及ぼされる法線力Ｆ_ｎと、接面力Ｆ_ｔとの関数である。

接触時間τの増加につれて、動作が叩きである可能性は減り、こすり動作である可能性は増える。音の割合はそれに応じて変化する。このような性質を反映して、ｘ_ｉｍｐ、ｘ_ｓｃｒは以下の式（３）で与えられる。

αは０から１の値をとる、物質の弾性に関連した係数であり、叩き力の時間に影響する。大きなαは、叩き動作の接触時間が長いことを示す。αが小さくなるにつれ、物体音は硬くなる。これは、上に挙げたF. Avanzini and P. Crosatoの結果に一致する。βは０から１の値をとる、物質はもちろんのこと、表面の粗さやきめに関連した係数である。αおよびβは、経験的に選ばれる。

さらに、音を減衰させようと表面を静的に触る時の典型的な相互作用動作を特徴付けるため、式（２）に、抑制因子を導入する。

０か１をとるρが、接触が、留め動作であるかどうかを表わすために用いられる。連続する２サイクル（全部で２ｍｓ）にわたる表面上でのスタイラスの位置の変位δが、指標として用いられる。
０：閾値δ_０以上のとき、留めなし
１：閾値δ_０未満のとき、留め動作としてみなす
δ_０は、表面によって、経験的に決定される。

式（３）では、入力刺激に留めの動作を反映するため、因子１−ρを導入している。そのため留め動作であると判断された場合、入力刺激は０になる。ただし、留めと判断された場合に、入力刺激を完全に０にする必要は必ずしもない。例えば、ユーザの動作が留めであると判断された場合、入力刺激を、発生音が人間が知覚できない程度になる所定値以下にするようにしてもよい。この所定値は、経験的に定められるものとする。

叩き音について、τより高い周期の振動モードは、最小に励起される。連続的な接触は、全モードの振動も抑制する。留め動作は、付加されたダンピング因子に応じて、音の大きさは、劇的に減少する。

ここで、Ｄ_ｉｍｐ＞１、Ｄ_ｓｃｒ＞１であり、物質、そして、スタイラスと表面との接触領域に関係する。固有の小さな減衰をもつ金属体に対しては、留め動作の効果はより顕著である。

図３は、和太鼓の皮の音モデルを励起するために用いられる、力覚サイクルにより計算された力および入力刺激の例を示す。この例での利用者の相互作用は、１回の叩き、１．５秒間の表面のこすり、再度の叩き、そして、次第に力を増加させて表面にスタイラスを静的に置く、というものであった。もし音モデルが力覚力で駆動されたとしたら、静かであるべきこすり音は、同時に発生する叩き音や静止動作により、非常に雑音が多いものとなっており、騒音になっていたであろうことは、明らかである。

図３（ｂ）および図３（ｃ）において、たたき音とこすり音との間の遷移は滑らかである。そして、最後の留め段階において、スタイラスが表面に触れたときおよび表面から離れたときに、一時的に音が発生するのは、もっともらしい。

（５．操作物体：実在から仮想へ）
本発明の目的は、人が仮想物体に触ったときに、実際のものがその前に存在しているように感じるように実際の物体の仮想的な変形を表現することである。そのためには、実際の多感覚刺激を提供し、それらを緊密に同調させることが必要である。図１に示す試作システムは、３Ｄ表示部２７０と、力覚提示部２８０と、上述の本発明における実時間音合成方法で生成された音を出力する音出力部２９０とを備える。仮想物体のレンダリングの前に、実際の物体から多モードの性質を集め、視覚、力覚、音合成のためのデータ構造に組み入れる必要がある。

＜Ａ．画像と力覚の性質＞
まず、物体の３次元形状および風合いが、図４（ｂ）に示す非接触のデジタイザ（コニカミノルタのＶｉｖｉｄ９１０）により取得される。様々な視点からとられた形および画像が継ぎ合わされ、視覚および力覚表現のための完全な３次元モデルが作られる。太鼓の皮は、叩かれたときに大きく変形するので、表面は、振動の視覚的および力覚的な効果を表わす膜として定義される。

あまりに頂点が多いと、力覚フレームレートが急激に遅くなるので、各部分の頂点が７０００以下になるように、３次元モデルを分割し、再サンプリングする。精度を減らすことは、全体の幾何にはほとんど影響しないが、表面、特に木製の胴部の詳細は失われる。これを改善するため、グレースケールのテクスチャファイルを、木目にそった実際のぎざぎざに応じたバンピングマップとして用いる。同様の手法は、革製の太鼓の皮の力覚特性を回復するためにも用いられる。表面の詳細から計算される接面力は、力覚のフィードバックだけでなく、音響合成にも重要である。

＜Ｂ．音モデル＞
様々な物質からできた物体に対しては、幾何形状と物質の情報を近似する第１原理モデリングを用いて正確な結果を得ることは、かなり難しい。そこで、本発明では、パラメータを見積もるため、実際の世界の音を用いる。様々な位置の実際の物体の叩きおよびこすりの音は、無響室で録音される（図４（ａ）を参照）。距離減衰や部屋の音響といった空間的および環境的な音効果は、音モデル測定のサンプルには含まれない。

モードモデルのパラメータは、サンプルの音ファイルｓ（ｔ）に近似することにより見積もられる。録音は、サンプリングレートｆｓ＝４４１００Ｈｚでなされ、１６ビットのｗａｖファイルにエンコードされる。

まず、長さがＴ_ω＝９３ｍｓであるハニング窓ωを用いて、窓離散フーリエ変換（ＷＤＦＴ；ｗｉｎｄｏｗｅｄ ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を計算する。窓の中のサンプルの数は、Ｎ＝ｆ_ｓＴ_ω＝４０９６である。重なり因子Ｎ_{ｏｖｅｒｌａｐ}は４であり、ホップサイズＴ_Ｈ＝Ｔ_ω／Ｎ_{ｏｖｅｒｌａｐ}を与える。

録音信号ｓ（ｔ）から、式（５）で与えられるＷＤＦＴを得る。

ここで、ｊ＝０，…，Ｎ_ω、Ｎ_ωは信号領域にある窓の数、ｔ_ｊ＝ｊＴ_Ｈ、τ_ｎ＝ｎ／ｆ_ｓ、ｋ＝０，…，Ｎ−１である。離散周波数Ｆ_ｋ＝ｋ／Ｔ_ωは、ナイキスト周波数ｆ_ｓ／２で制限される。

モード周波数は、ピークの同定を用いて評価される。各音モデルについて、約２００のモード周波数が、ＷＤＦＴの結果から選ばれる。窓のサイズ９３ｍｓは、１１Ｈｚの周波数分解能を与える。よって、各周波数ビンＦ_ｋについて、ｌｏｇ｜ｕ（ｊ，ｋ）｜が離散時間ｔ_ｊの関数としてみなされ、最小２乗法を用いて線型関数−ｍ_ｋｔ_ｊ＋ｌ_ｋで近似される。減衰パラメータｄ_ｋと振幅ａ_ｋは、次の式（６）、式（７）のように計算される。

振幅の係数はあとで規格化される。負の減衰パラメータを持つ周波数は、不安定さをもたらすため［R. Corbett, K. van den Doel, J. E. Lloyd and W. Heidrich, “TimbreFields - 3D interactive sound models for real-time audio”, Presence, Vol. 16, No. 6, pp. 643-654, 2007］、取り除かれる。図５は、衝撃音モデルのスペクトルおよびパラメータを示す。図５（ａ）は、叩き音のスペクトルの一部を示す。データは、ばちで木の胴を叩いたときの音サンプルから得られた。各カーブは、各窓のスペクトルを表わす。縦線は、見積もられたモード周波数を表わす。多くの近いモードがあるのが見られる。モード数は、人による周波数除去の単純なモデルや、認知の影響を受けた刈り込み法［D. L. James, J. Barbic and D. K. Pai, “Precomputed acoustic transfer: Output-sensitive, accurate sound generation for geometrically complex vibration sources”, Proceedings of ACM SIGGRAPH 2006, ACM Trans. Graph., Vol. 25, No. 3, pp. 987-995］を用いて、減らしうる。図５（ｂ）および図５（ｃ）は、それぞれ、２００モードに対応する減衰パラメータおよび規格化された振幅を表わす。なお、図５（ａ）には、最初の５０モードが示されている。

各音モデルは、仮想物体の表面位置に対応する。力覚装置の力出力は、入力刺激を計算するのに用いられ、上述した音モデルを励起する。

具体的には、上記の手法で求められた音モデルは、仮想物体の種類および仮想物体の位置に対応付けて記憶される。つまり、本発明に係る音モデル１７８ｃは、例えば、図６に示すようなデータ構造で記憶部２６０に格納される。

ここでは、音モデルを決定するパラメータは、仮想物体とその部位、そして、動作種類によって定まるものとする。本実施の形態では、音モデルを決定するパラメータとして上記の手法で求められた周波数、振幅、減衰パラメータの組に加え、α、β、Ｄ_ｉｍｐ、Ｄ_ｓｃｒを用いる。

図６に示すモデルでは、和太鼓の皮と、胴と、鋲のそれぞれについて、叩いた場合と、こすりの場合のパラメータが別々に与えられている。また、図１に示される塔については、部位によらず、叩いた場合のパラメータと、こすりの場合のパラメータとが与えられている。

提案した励起モデルの有用性は、本多感覚相互作用システムにおける図１に示される和太鼓および塔のモデル化から証明される。金属の反応を試すため、ベル音のモデルが、塔の表面に割り当てられる。ソフトウェアは、Ｃ＋＋で提供され、システムは、Ｃｒｅａｔｉｖｅ Ｓｏｕｎｄ Ｂｌａｓｔｅｒ Ｘ−Ｆｉ（登録商標）オーディオカードを伴う３．０ＧＨｚのＸｅｏｎ（登録商標）プロセッサで動く。

（６．処理の流れ）
図７を参照して、本発明に係る音合成のための処理の流れについて説明する。

ＣＰＵ１５０は、ステップＳ７０１において、接触判定を行なう。すなわち、スタイラス１１２の位置および３Ｄモデル１７８ａに基づいて、スタイラス１１２が仮想物体に接触しているかどうか判定する。また、接触している場合には、仮想物体の変形量（スタイラス１１２がどれだけ仮想物体の内部に入り込んでいるか）を算出する。

ＣＰＵ１５０は、ステップＳ７０３において、仮想物体の変形量と、物性１７８ｂとに基づいて、反力の法線成分および接面成分を算出する。

ＣＰＵ１５０は、ステップＳ７０５において、接触判定の結果に基づいて、スタイラス１１２と仮想物体との接触時間τを算出する。

ＣＰＵ１５０は、ステップＳ７０７において、所定時間内のスタイラス１１２の変位量としきい値とを比較し、ρを算出する。

ＣＰＵ１５０は、ステップＳ７０９において、法線成分と、接面成分と、τと、ρとに基づいて、叩きの入力刺激とこすりの入力刺激を算出する。

ＣＰＵ１５０は、ステップＳ７１１において、音モデル１７８ｃおよびρに基づいて、叩きのインパルス応答とこすりのインパルス応答を算出する。

ＣＰＵ１５０は、ステップＳ７１３において、叩き、こすりそれぞれの入力刺激とインパルス応答との畳み込みにより、叩き音、こすり音を求め、叩き音とこすり音とを合成した合成音を算出する。

（７．まとめ）
本実施の形態は、利用者に仮想物体が実在している感覚を与える視覚、力覚、そして聴覚刺激を統合する多モードのインターフェースを提供する。実在感の補助のため、システムは、継ぎ目のない相互作用、即座の反応、連続性、一貫性、そして、実際の刺激における意味を提供する必要がある。関連文献に比べて、本システムは、次の性質を持つ。

−強調すべき点は、利用者の相互作用のふるまいが、能動的であることである。ある状態、例えば、留め動作は、そのような背景の下でしか起こらない。システムにこの現象が考慮されていない場合、利用者は、相互作用の間、日常生活の体験との違いに気づいてしまう。

−動的なシミュレーションから動きが予測できるアニメーションと異なり、利用者の動作は、決定できない因子を合成処理に加える。動作間の滑らかな遷移が重要であり、特に、様々な相互作用により異なる音響性質を持つ物体にとって重要である。

−本発明でシミュレーションされた物体は、他の研究に比べ、より複雑である。物体が複数の素材からなるとき、各部のシステム減衰および放射効率を、ＦＥＭに基づく方法や、境界要素法によってモデル化するのは非常に困難である。様々な動作は、異なる振動モードを励起するかもしれず、１つの表面は、刺激によって、いくつかの種類のインパルス応答をもつかもしれない。本発明によれば、接触により音を生成する事象をより完全に記述することができる。

非特許文献１は、アニメーションやシミュレーション用の自動音合成のため、解析的に計算した振動モードを物体表面にマッピングしている。しかしながら、非特許文献１では、こすりや回転にあたっては、振る舞いにより修正された表面プロファイルを再生しており、シミュレーションされた物体は、１種類の素材で簡単な構造である。この方法は、表面が例えば、木製のざらざらした表面など、ある程度不規則な風合をもつ場合、適用できないかもしれない。また、そのモデルが、人と機械との相互作用に対し、上手く動作するかは分からない。人と機械の相互作用では、利用者の意図と能動的な動作が、新たな問題をもたらすからである。

上に挙げたD. DiFilippo and D. K. Paiの論文においては、力覚に関するユーザインターフェイスにおいて、衝撃力と摩擦力とが、考慮されているが、その中では、真鍮の花瓶の単一の音モデルが試されているのみで、異なる音モデルは試されていない。F. Avanzini and P. Crosatoの論文においては、多モード表現構造での、衝撃音が議論されているのみである。

以上のように、本実施の形態は、様々な接触相互作用に対し一貫した音合成モデルを用いる方法、および、その方法を用いた多感覚相互作用システムに関する。音響フィードバックは、視覚や力覚のフィードバックでは、伝達できない、もしくは、伝達に限界があるような物体についての補完的な情報、例えば、素材、表面の粗さ、堅さなどを提供する。

［第２の実施の形態］
第１の実施の形態では、本発明に係る音生成方法を、視覚、力覚、触覚のいずれも再現する多感覚相互作用システムに適用することを説明した。

しかしながら、本発明に係る音生成方法の適用範囲はこれに限られるものではない。例えば、力の提示は行なわないが、利用者の操作に応じた表示および音を生成するシステムにも適用できる。第２の実施の形態では、このようなシステムについて説明する。

第２の実施の形態に係るシステム構成を、図８を参照して説明する。大部分は、第１の実施の形態に係るシステムの構成と同様であるが、力覚装置１１０のかわりに操作部８００と位置センサ８１０が設けられている点が異なる。

本実施の形態においては、操作部８００は、ユーザの動作にしたがって移動可能なものであるとする。操作部８００としては、特に限られるわけではないが、例えば、スティック状のものや、グローブ型のようなユーザが装着するタイプのものを用いることができる。

本システムの利用者は、操作部８００を把持あるいは装着し、操作部８００を移動させる。位置センサ８１０により操作部８００の移動は検出され、操作部８００の位置および物体モデル１７８に基づいて、第１の実施の形態と同様に、接触音が生成される。

ただし、操作部８００は、上述のものに限られるわけではない。一般に、操作部８００は、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付けるものであればよい。例えば、ジョイスティックや、３次元マウスなど、ユーザの動作量と同じだけ移動するわけではないものを操作部８００として用いることもできる。この場合、位置センサ８１０は不要だが、かわりに、操作部８００へのユーザからの入力を、仮想空間内の移動物体の位置に変換する処理が必要となる。この処理は、ＣＰＵ１５０で行なわれてもよい。また、操作部８００などに組み込まれた専用のハードウェアで行なわれてもよい。

なお、第１の実施の形態と異なり、必ずしも物体の完全な再現を必要としないので、３次元モニタ１２０のかわりに、通常の２次元ディスプレイを用い、２次元ディスプレイの画面内に、３次元コンピュータグラフィックスを表示する構成であってもよい。

また、いずれのディスプレイについても、移動物体に対応する画像を表示するようにしてもよい。そのような画像を表示することにより、臨場感が増し、また、ユーザにとっては、移動物体をより適切に操作することが可能になる。

本実施の形態に係るシステムは、例えば、ゲームの効果音の生成や、電子楽器（特に、太鼓などの打楽器）における音の合成に用いることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施の形態に係るシステム構成について説明するための図である。 第１の実施の形態に係るシステムの機能的構成を説明するための図である。 力および入力刺激の例を示す図である。 モードの性質測定に用いられた物体と装置を示す図である。 音モデルのパラメータの例を示す図である。 音モデル１７８ｃのデータ構造の一例を示す図である。 音合成のための処理の流れを示したフローチャートである。 第２の実施の形態に係るシステム構成について説明するための図である。

符号の説明

１００ 多感覚インタラクションシステム、１１０ 力覚装置、１１２ スタイラス、１２０ ３次元モニタ、１２２ ディスプレイ、１２４ ハーフミラー、１２６ ステレオシャッター眼鏡、１３０ スピーカ、１３５ ヘッドホン、１４０ マウス、１４５ キーボード、１５０ ＣＰＵ、１６０ メモリ、１７０ ハードディスク、１８０ モニタ、１９０ 光ディスクドライブ、１９５ 通信インターフェース、２００ 制御部、２７０ ３Ｄ表示部、２８０ 力覚提示部、２９０ 音出力部、３００ 物体測定部、４００ 物体、８００ 操作部、８１０ 位置センサ。

Claims (8)

1. 仮想物体への接触音を実時間で生成する接触音のリアルタイム生成装置であって、
   前記仮想物体のモデルを記憶する記憶部を備え、
   前記モデルは、
   前記仮想物体の形状を表わす３次元モデルと、
   前記仮想物体への叩きに対応する第１の接触音データと、
   前記仮想物体へのこすりに対応する第２の接触音データとを含み、
   ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
   演算装置とをさらに備え、
   前記演算装置は、
   前記位置および前記３次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出し、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出する算出部と、
   前記第１の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記第２の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成する音生成部とを含み、
   前記叩き音および前記こすり音を出力する音出力部とをさらに備える、接触音のリアルタイム生成装置。
2. 前記算出部は、前記移動物体と前記仮想物体との接触時間が長くなるにつれ小さな値をとる第１の重み関数を前記法線成分に掛け合わせて前記叩き入力を算出し、前記接触時間が長くなるにつれ大きな値をとる第２の重み関数を前記接面成分に掛け合わせて前記こすり入力を算出する、請求項１に記載の接触音のリアルタイム生成装置。
3. 前記第１の接触音データおよび前記第２の接触音データは、複数の振動モードの各々の周波数と、振幅と、減衰パラメータとで特定され、
   前記算出部は、前記第１の接触音データの各前記振動モードを足し合わせた第１のインパルス応答と、前記第２の接触音データの各前記振動モードを足し合わせた第２のインパルス応答とを算出し、
   前記音生成部は、前記第１のインパルス応答および前記叩き入力の畳み込み積分により前記叩き音を生成し、前記第２のインパルス応答および前記こすり入力の畳み込み積分により前記こすり音を生成する、請求項２に記載の接触音のリアルタイム生成装置。
4. 前記算出部は、所定の時間内の前記変位が所定のしきい値以下のとき、前記叩き入力および前記こすり入力の値を所定の値以下とし、前記第１のインパルス応答および前記第２のインパルス応答の減衰を大きくする、請求項３に記載の接触音のリアルタイム生成装置。
5. 前記操作部は、前記ユーザに前記反力を提示する力覚装置の操作部である、請求項１から４のいずれか１項に記載の接触音のリアルタイム生成装置。
6. 仮想物体への接触音を実時間で生成する接触音のリアルタイム生成方法であって、
   ユーザの動作に対応して仮想空間内を移動する移動物体の位置および前記仮想物体の形状を表わす３次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出するステップと、
   前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出するステップと、
   前記仮想物体への叩きに対応する第１の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記仮想物体へのこすりに対応する第２の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成するステップと、
   前記叩き音および前記こすり音を出力するステップとをさらに備える、接触音のリアルタイム生成方法。
7. 仮想物体再現システムに、仮想物体への接触音を実時間で生成させるための接触音のリアルタイム生成プログラムであって、
   前記仮想物体再現システムは、
   ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
   音出力部と、
   演算装置とを備え、
   前記演算装置に、前記位置および前記仮想物体の形状を表わす３次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出させるステップと、
   前記演算装置に、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出させるステップと、
   前記演算装置に、前記仮想物体への叩きに対応する第１の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成させ、前記仮想物体へのこすりに対応する第２の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成させるステップと、
   前記音出力部に、前記叩き音および前記こすり音を出力させるステップとを備える、接触音のリアルタイム生成プログラム。
8. 請求項７に記載の接触音のリアルタイム生成プログラムを格納した、コンピュータ読取可能な記録媒体。