JP2012150278A

JP2012150278A - 仮想空間のビジュアル変化に対応した音響効果の自動生成システム

Info

Publication number: JP2012150278A
Application number: JP2011008848A
Authority: JP
Inventors: Ikuyo Katsuse; 郁代勝瀬; Satomi Shibayama; 聡美芝山
Original assignee: Kitakyushu Foundation for Advancement of Industry Science and Technology
Current assignee: Kitakyushu Foundation for Advancement of Industry Science and Technology
Priority date: 2011-01-19
Filing date: 2011-01-19
Publication date: 2012-08-09

Abstract

【課題】ＣＧにおいて、ユーザの操作によって仮想空間における環境やキャラクタ（登場人物等）が変化したときに、そのビジュアル表現の変化に対応して “臨場感のある”音響をリアルタイムで与えるシステムを、より小さな演算処理負荷で実行できる音響効果の自動生成システムを提供すること。
【解決手段】ユーザが変更を加えた前後のモデリングデータファイルにおけるＣＧモデリングデータを分析するモデリングデータ分析部１０と、モデリングデータ分析部１０からの出力とサウンドデータを入力されビジュアル表現変更後の音響を出力する音変換・加工部２０とからなる。
【選択図】図８

Description

本発明は、仮想空間におけるビジュアル表現が変化したときに、それに合うように音を自動的に変換する音響効果の自動生成システムに関する。

コンピュータグラフィックス（ＣＧ）におけるレンダリング技術の進歩に伴って仮想空間は精巧に記述され、臨場感が高まってきた。近い将来、人々はＣＧで記述されている環境や登場人物をインタラクティブに変化させて楽しむことになると思われる。

仮想空間のビジュアル表現がユーザの意のままに変更されるようになると、それに合うように音響的な表現を変化させる必要がある。たとえば、仮想空間内で人が歩くシーンがあると仮定する。人が歩く足音は、地面の材質によって異なる。地面の材質が芝生から石畳へと変更されたとすると、足音は固い印象を与える音質に変化されねばならない。

また、仮想空間内で人が歩く環境が、映画館内である場合と大聖堂内である場合とでは異なる残響感を与えなければならない。

さらに、仮想空間内では、登場人物が変身したり成長したりすることがある。このような変身や成長が、ユーザの操作によって実現されるようになると、登場人物が発する声が変身や成長に合わせて変化すると臨場感がより向上する。

しかしながら、ユーザによる操作の自由度が増せば増すほど、それに似合う音響的な表現を予め用意しておくことが困難になる。従って、限られた音源を用いてビジュアル表現に合うような音の編集、加工が必要となる。

このような要求に応える手段として、従来、幾つかの手法が提案されている。仮想空間の音響的な表現として、仮想空間の環境のリアリティに関するものと、登場人物や物体自身のリアリティに関連するものがある。

仮想空間の環境のリアリティに関するものとして、以下の先行特許文献がある。

特許文献１は、仮想ゲーム空間に設定される聴取位置と発音位置の間の距離を算出し、それに基づいて周波数補正と音量設定を行うことによって仮想空間内の発音源から発せられる音を好適に出力することを開示している。

特許文献２は、発音位置と聴取位置間に障害物がある場合に、その障害物を考慮した音の生成を行うことを開示している。

特許文献３は、仮想空間内に配置される固定物の情報に基づいて、固定物からの仮想的な反射音を生成することを開示している。

特許文献４、５、６は、仮想空間内の室内音響を再現するために、仮想空間の形状、壁の反射率などからインパルス応答やエコータイムパターンを算出して、音源と畳み込み演算することによって、仮想空間内の音響をリアルタイムに再現することを開示している。

仮想空間の物体音のリアリティに関する先行特許文献として、特許文献７は、仮想物体に他の物体が接触したときに発生する音を生成する技術を開示している。

次に、登場人物や物体自身のリアリティに関連するものとして、以下の先行特許文献がある。

特許文献８は、身長の高い人は声が低いことなどについて言及している。

特許文献９は、ゲーム内でキャラクタの容姿が変わる（成長する）に従って、音声の変化を楽しめるゲームを開示している。この先行技術は、音声変化を機械音声合成を使って実現している。

特許文献１、２に開示の技術においては、仮想空間内において、発音体から聴取体への直接音のみを扱っており、仮想空間の環境に関する臨場感の向上にはさらに反射音が必要である。

特許文献３乃至特許文献６に開示の技術においては、モデリングで使用されている材質情報を利用して反射音を生成し仮想空間の臨場感を高めることがなされているけれども、物理的なシミュレーションを行っているため、演算処理量が膨大となり実時間処理が困難である問題がある。

そもそも仮想空間においてはレンダリング処理を軽減化するために、マッピング技術を利用して視覚的には存在して見えるオブジェクトが単なる平面である場合やモデリングデータさえ存在しない面がある。

このように、仮想空間においては計算（演算処理）コストをかけて厳密な物理シミュレーションを行ったとしても、必ずしも厳密な音響空間を再現できることはできない。また、仮想空間における物理空間の厳密な再現は、必ずしも“最適な” 臨場感を与えるとは限らない。

特許文献７に開示の技術においては、ユーザの操作が仮想物体に操作する方法に応じて異なる音を生成することによって仮想物体のリアリティを向上させようとするものであるが、仮想物体そのものが変化するような場合、その変化に関するリアリティを与えるものではない。

特許文献８はキャラクタのサイズと声質について言及しているけれども、具体的にどのように声質を変化させるかについては触れられていない。

特許文献９に開示の技術においては、キャラクタの変化に応じて声を変化させているけれども、その解決手段として機械音声合成を使用しており、声を変化させるというよりも別の声を生成しているといえる。

本発明は、上記従来技術における問題を解決し、ユーザの操作によって仮想空間において環境やキャラクタ（登場人物等）が変化したときに、そのビジュアル表現の変化に対応して “臨場感のある”音響をリアルタイムで与えるシステムを、より小さな演算処理負荷で実行できる仮想空間のビジュアル変化に対応した音響効果の自動生成システムを提供することを目的とする。

上記課題を解決するための請求項１に記載の発明は、コンピュータグラフィックス（ＣＧ）のモデリングファイルを分析するモデリングデータ分析部１０と、該モデリングデータ分析部１０からの材質情報に基づいて各室内面の吸音率を出力する材質−吸音特性データベース１３０と前記各室内面の吸音率およびモデリングデータ分析部１０から出力される室の容積と表面積を入力されて残響時間を演算算出する残響時間計算部１８０と室容積と残響時間によって分類されたさまざまな室のインパルス応答を貯蔵するインパルス応答データベース１７０と無響室録音音源の音と前記インパルス応答データベース１７０から出力されるインパルス応答とを入力され残響音を出力する畳み込み演算器１４０と上記モデリングデータ分析部１０から出力される音源と収音点間距離情報に基づいて前記無響室録音音源の音の大きさを調整し直接音を出力する減衰器１５０と前記直接音と前記畳み込み演算器１４０から出力される残響音とを加算し音を出力する加算器１６０とから構成される音変換・加工部２０とを有することを特徴とする仮想空間のビジュアル変化に対応した音響効果の自動生成システムである。

請求項２に記載の発明は、請求項１に記載の仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおいて、残響時間計算部（１８０）とインパルス応答データベース（１７０）間に効果強調演算部（２３０）を介挿してなる仮想空間のビジュアル変化に対応した音響効果の自動生成システムである。

請求項３に記載の発明は、請求項１又は請求項２に記載の仮想空間のビジュアル変化に対応した音響効果の自動生成システムに、ＣＧモデリングデータを分析し登場人物の身長変化を調べるモデリングデータ分析部（１０）と、得られた身長情報から音声変換パラメータを演算算出する変換パラメータ値算出部（１９０）、変換パラメータ値に従って音声データを変換する音声分析合成部（２００）とからなる音声変換システムを付加してなる仮想空間のビジュアル変化に対応した音響効果の自動生成システムである。

本発明によれば、ユーザがＣＧのビジュアル表現を変更しても臨場感の高い音響効果をリアルタイムで得ることができる。また、演算処理負荷の小さなシステムとすることができる。

本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムの基本構成を示す図である。本発明の一実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムを示す図である。本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、室内壁を決定する方法を示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムを示す図である。本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、材質−吸音特性データベースの内容を示す図である。本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、インパルス応答データベースの内容を示す図である。本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムによって仮想空間の音場が生成された例を示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムを示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、登場人物の変化に伴い音声を変換するシステムを示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、登場人物の変化に伴い音声を変換するシステムによって音声が変換された例を示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、登場人物の変化に伴い音声を変換するシステムによって音声が変換された例を示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおける、登場人物の変化に伴い音声を変換するシステムによって音声が変換された例を示す図である。本発明の他の実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムを示す図である。

以下、本発明の実施の形態について、詳細に説明する。
本発明においては、ＣＧにおけるビジュアル表現の変化を、モデリングデータの変化という形で取得し、環境を形成する材質や形状の変化に合わせて音の変換を行う。また、登場人物の変化に対応させて音声の変換をモデリングデータ分析部からの出力に基づいて行う。

仮想空間のビジュアル表現を自在に変化させるということは、ＣＧにおけるモデリングをユーザが変更するということである。従って、ビジュアル表現の変化をモデリングデータの変化という形で取得することが可能である。

そもそも視覚的に表現可能な材質は、ＣＧソフトウェア材質情報を保持しているものに限られる。従って、ＣＧモデリングデータを解析すれば、たとえば変更前の材質が芝生であり、変更後の材質が石畳であることが判別可能である。

同様に、ＣＧモデリングデータの座標値を解析すれば、各物体（オブジェクト）のサイズや位置を知ることができる。

このように、本発明においては、ユーザが変更を加えた前後のＣＧモデリングデータを分析する。分析によって得られた幾つかの値を用いてサウンド（音響）データの変換・加工を行い出力する。ＣＧモデリングデータが変更される前のサウンドデータはあるものとする。サウンド（音響）データの変換・加工の対象は、仮想空間の環境の変化に関するものと登場人物の変化に関するものである。

仮想空間の環境の変化に関するものについては、室内の残響感を与える処理と物体の材質感を与える処理がある。

室内の残響感については、室内音響を物理的に厳密にシミュレーションするのではなく、室容積と残響時間が近い環境を再現することによって、少ない計算（演算）処理コストで臨場感のある音響効果を与えることができる。

物体の材質感については、材質の周波数特性をフィルタリングすることによって、少ない計算（演算）処理コストで臨場感のある音響効果を与えることができる。

登場人物の変化に関するものについては、身長の変化に応じて声の高さと周波数特性を変化させることによって、少ない計算（演算）処理コストで臨場感のある音響効果を与えることができる。

図１に、本発明の仮想空間のビジュアル変化に対応した音響効果の自動生成システムの基本構成を示す。図１に示すように、本発明のシステムは、ユーザが変更を加えた前後のモデリングデータファイルにおけるＣＧモデリングデータを分析するモデリングデータ分析部１０と、モデリングデータ分析部１０からの出力とサウンドデータを入力されビジュアル表現変更後の音響を出力する音変換・加工部２０とからなる。

図１に示す本発明のシステムの基本構成の一展開例とした実施形態を図２に示す。この実施形態は、仮想空間が室内である場合に、その部屋の音響特性を考慮して音を変換するものである。この実施形態においては、ＣＧモデリングデータは必ずしも完全な室状況を記述していないことを前提にしている。図２に示すシステムは、ＣＧモデリングデータを分析し、材質情報や室内面の構成を調べるモデリングデータ分析部１０と、分析によって得られた材質情報から各室内面の吸音特性を求める材質−吸音特性データベース１３０と、室内形状と各室内面の吸音特性から室内の音伝播シミュレーションを行い室のインパルス応答を算出する音伝播シミュレーション部１２０と、音源とインパルス応答を畳み込む畳み込み演算部１４０とを有する。

図２に示すシステムの各構成機器を説明する。
ＣＧソフトウェアで作成されたモデリングデータは、一般に、バイナリーデータ形式で保存されており、ソフトウェアによって形式が異なる。そこで、ファイル形式がアスキー形式でありかつ、主たるＣＧソフトウェアからエクスポート可能なＣＯＬＬＡＤＡファイル形式でモデリングデータを出力する。これをモデリングデータファイルとする。

モデリングデータ分析部１０では、モデリングデータから仮想空間の室内面の構成とその材質情報を取得する。

一般に、ＣＧモデリングデータ中では、すべての物体はポリゴンの集合体で記述されている。図３左図は、四角形の部屋を実際にポリゴンで記述した例である。壁の厚みなどのために、部屋の壁面の数６よりも大きい数のポリゴンが使用されている。最初に、このポリゴンデータから部屋の内壁を構成するポリゴンのみを見つけ出さなければならない。

床面を構成するであろうポリゴンは比較的見つけやすい。普通、垂直方向座標が最小であるような面だからである。次に、床面の座標を手掛かりに、天井面を構成するであろうポリゴンを見つけることができる。床面と天井面の候補がみつかれば、その座標を手掛かりに部屋のおおよそ中心点を定めることができる。そこで、図３に示すように、このおおよそ中心点である点から全方向にビームを飛ばし、ビームが最初に交差したポリゴンを部屋の内壁を構成するポリゴンとする。

ところで、仮想空間は必ずしも完全に記述されているとは限らない。たとえば、室外へつながる開口部があったとする。開口部の外側は何ら記述されていないことがある。

このような記述されていない部分に関しては、ポリゴンの欠如箇所として、たとえば非特許文献１に開示されているようなそれ自体公知の手法等を用いて、隣接するポリゴンで補充する。

モデリングデータには、各ポリゴンの材質に関する記述がある。予め、ＣＧソフトウェアが有する材質情報とそれに対応する吸音特性の対応をデータベース化した材質−吸音特性データベース１３０を用いて、各室内面の吸音特性を調べる。

音伝播シミュレーション部１２０では、音線法や鏡像法を使って、音伝播の様子をシミュレーションし、収音点でのインパルス応答を算出する。

最後に、無響室録音音源とインパルス応答を畳み込み演算部１４０で畳みこみし、出力音を得る。

なお、ポリゴンの欠如部を補完する方法として、隣接するポリゴンで補完する代わりに、代表的な吸音率、たとえば０．２程度を仮定して当てはめてもよい。また、モデリングデータはＣＯＬＬＡＤＡファイル形式に限ることなく、他のファイル形式を用いてもよいしまた、バイナリーデータ形式で分析してもよい。

この実施例は、少ない計算（演算処理）量で残響を付加するシステムである。図４に、この実施例に係るシステムを示す。図４において、１０はモデリングデータ分析部であって、ＣＧモデリングデータを分析し、材質情報や室内面の構成および音源と収音点間の距離情報を調べる。１３０は材質−吸音特性データベースであり、ＣＧモデリングデータの分析によって得られた材質情報から各室内面の吸音特性を求める。１８０は残響時間計算部であって、室内容積ならびに表面積と各室内面の吸音特性から残響時間を算出する。

１７０はインパルス応答データベースであり、残響時間および室内容積によって分類されたインパルス応答のサンプルを有する。１４０は畳み込み演算器であって、無響室録音された音源とインパルス応答を畳み込み残響音を生成する。１５０は減衰器であり、音源と収音点間の距離に応じて音源の大きさを調整し直接音を生成する。１６０は加算器であって、残響音と直接音を加算して音を出力する。

室の残響時間Ｔ（秒）は、次のEyring-Knudsenの残響公式を使って計算できる。

ここで、Ｖは室容積（ｍ^３）、Ｓは全表面積（ｍ^２）、

は吸音率の平均値、ｍは空気吸収による減衰係数である。

ＶおよびＳは、モデリングデータから仮想空間の室内面の構成を取得することでモデリングデータ分析部１０において算出できる。室形状が複雑な場合は、上記非特許文献１に開示されているポリゴン統合方法を使うことによりシンプルな形状に近似できるので、ＶとＳの算出は簡単になる。

材質−吸音特性データベース１３０には、図５に示すようにデータが格納されている。平均吸音率

は、モデンリングデータ分析部１０で得られた材質情報から材質−吸音特性データベース１３０によって各面における吸音率を求め、全平面について平均をとることで求められる。ｍは定数であるので、室の残響時間Ｔが算出できる。

一般に、室内の吸音特性に大きな偏りがある環境つまり、一面の壁が完全吸音で、他面の壁が全反射であるような環境は考え難い。従って、室容積と残響時間が近い環境で収録されたインパルス応答を用いて残響音を生成しても、仮想空間のサウンドエフェクトとしてはそれほど違和感を与えない。

そこで、この実施例においては、モデンリングデータ分析部１０から得られた室容積と残響時間計算部１８０で得られた残響時間から、おおよそ同じくらいの室容積と残響時間の室で収録されたインパルス応答をインパルス応答データベース１７０から得て、これを無響室録音された音源と畳み込み演算器１４０を使って畳み込み演算することで残響音を生成する。データベースに収録するインパルス応答を音源から離れた所で収録されたものとすれば、ほぼ残響音のみを生成することができる。インパルス応答データベース１７０においては、図６に示すようなデータが格納されている。

直接音については、モデンリングデータ分析部１０から音源と収音点間の距離情報を得て、次式に従って距離減衰量を算出し、減衰器１５０によって大きさを調整する。

ここで、Ｐ（Ｗ）は点音源出力、ｒ（ｍ）は音源からの距離、ｌ１＝（Ｗ／ｍ^２）は収音点での音の強さである。

最後に、直接音と残響音を加算器１６０によって加算して出力音を得る。

この実施例で、室容積６０００ｍ^３のコンクリートでできた部屋（室１）と、室容積約８７０ｍ^３でプラスターボードとグラスウールを用いた部屋（室２）をモデリングして本実施例を適用した。図７に、音源、室１のシミュレーション、室２のシミュレーションの結果の波形を示す。音源よりも室２が、さらに室２よりも室１で残響が強いことが見てとれる。

なお、この実施例で挙げたEyring-Knudsenの残響公式は、他の代表的な残響公式に入れ替えてもよい。同様に、この実施例で挙げた距離減衰の計算式は自由空間における距離減衰の式であるが、半自由空間の式（右辺分母が２πｒ^２）を使用してもよい。

この実施例は、仮想空間により適した音響効果を与え得るシステムである。実施例１においては、仮想空間内の室容積や壁面材質により、その室らしい音響を与えるインパルス応答を選択していた。しかしながら、仮想空間の臨場感を得るには同様な実環境における音場再現が最適であるとは限らず、やや過度な効果をつけた方が適している場合が多い。そこで、この実施例では、ビジュアル表現の変化がより強調されるよう過度な音響効果をつけるようにした。

図８に、この実施例に係る残響感の変化をより強調するシステムを示す。図８において、１０はモデリングデータ分析部であり、ＣＧモデリングデータを分析し、材質情報や室内面の構成および音源と収音点間の距離情報を調べる。１３０は材質−吸音特性データベースであって、ＣＧモデリングデータの分析によって得られた材質情報から各室内面の吸音特性を求める。１８０は残響時間計算部であり、室内容積ならびに表面積および各室内面の吸音特性から残響時間を算出する。

２３０は効果強調演算部であって、残響時間を増減する。１７０はインパルス応答データベースであり、残響時間と室容積によって分類されたインパルス応答のサンプルを格納している。１４０は畳み込み演算器であって、無響室録音された音源とインパルス応答を畳み込み、残響音を生成する。１５０は減衰器であり、音源と収音点間の距離に応じて音源の大きさを調整し直接音を生成する。１６０は加算器であって、残響音と直接音を加算する。

効果強調演算部２３０では、残響計算部１８０で計算された残響時間の増減を行う。残響時間の基準を設けて、ある時間よりも残響時間が長い（残響が大きい）場合はより長めに、ある時間よりも残響時間が短い（残響が小さい）場合はより短めにする処理を行う。

本発明においては、仮想空間のビジュアル表現が変化したときに、それに合うように音を自動的に変換することを目的としているので、モデリングデータの変更が、より残響時間の長い方向へ行われた場合は、効果強調演算部２３０では、残響時間計算部１８０で計算された残響時間をさらに増加させる方向へ、逆の場合はさらに減少させる方向へ減少させる方向へ増減を行うなどの処理を行ってもよい。

この実施例は、仮想空間における登場人物が成長や変身をしたとき、成長や変身後の姿にあった音声になるように音声を変換する実施例である。

図９に、本実施例の、仮想空間のビジュアル変化に対応した音響効果の自動生成システムを用いた音声変換システムの全容を示す。図９において、１０はモデリングデータ分析部であって、ＣＧモデリングデータを分析し、登場人物の身長変化を調べる。１９０は変換パラメータ値算出部であり、分析によって得られた身長情報から音声変換パラメータ値を算出する。２００は音声分析合成部であって、変換パラメータ値算出部１９０で得られた変換パラメータ値に従って音声データを変換し音声を出力する。

モデリングデータ分析部１０では、登場人物に関するＣＧモデリングデータから、変身前後の身長を求める。

変換パラメータ値算出部１９０では、得られた身長から音声変換パラメータの値を求める。この実施例においては、変換パラメータとして声の高さとスペクトル伸縮率を用いる。

人の身長（ＢＨ）と声道長（ＶＴＬ）の間には、それ自体既知の次に示す関係がある（非特許文献２参照）。

この関係式は、非特許文献２に開示されている研究で、ＭＲＩを使って声道の形態を測定し、人の身長（ＢＨ）と声道長（ＶＴＬ）の間に有意な正の相関があることを解明し、線形回帰分析の結果得られた。

人の音声の母音のホルマント周波数からＶＴＬを推定するための理論的な基礎が既知である（非特許文献３参照）。非特許文献３での研究結果によれば、ＶＴＬは母音のホルマント周波数を決定する重要な要素の１つであり、音声パルスレートにも関係している。この研究によって得られたホルマントパターンモデルの最もシンプルな形は次の通りである。

ここで、Ｖは母音の種類、ｉは個々の話者、λ^ｖｉはホルマントの波長の３成分スペクトルである。集合の中での母音Ｖについてホルマントパターンを表している。αｉは集合平均に対して相対的な個々の声道の長さである。このように、個々のホルマントを集合に関係させるαｉという１つの値と、それぞれのホルマントに関する１つのパラメータがある。

従って、変身前の登場人物の身長をＶＴＬｐｒｅ、変身後の身長をＶＴＬｐｏｓｔとすると、ホルマント波長をＶＴＬｐｒｅ／ＶＴＬｐｏｓｔ倍にすれば、変化後のホルマントが得られる。ホルマントの変換は、簡易的にスペクトル伸縮操作によって実現できる。すなわち、ホルマント周波数がｋ倍ならば、スペクトルを周波数軸に沿ってｋ倍すればおおよそ実現できる。

次に、声の高さの変換率について説明する。非特許文献３における開示によれば、大人や思春期青年のＶＴＬは、ＧＰＲの１／４乗に比例している。また、非特許文献４における開示では、知覚的に調査した結果、ＶＴＬは、ＧＰＲの１／３乗に比例している。このように、ＶＴＬの比率から、ピッチ変換のスケールを簡単に決定できる。

音声合成部２００では、音声データを分析し変換パラメータ値に従って再合成することによって音声の変換を行い出力音を得る。

この実施例で得られた結果を示す。身長１６０ｃｍの女性が身長２７０ｃｍに変身した場合の音声を生成するために、図９に示すシステムを適用した。音声分析合成部には、ＴＡＮＤＥＭ−ＳＴＲＡＩＧＨＴ（非特許文献５参照）を使用した。音声データとして、身長１６０ｃｍの女性が「Welcome to Kumamoto. The voice is changed.」と話す声を使用した。図１０に、原音声データの基本周波数と出力音の基本周波数を示す。図１１に、原音声データのスペクトルを、図１２に出力音のスペクトルを示す。

この実施例においては、音声分析合成の手法としてＴＡＮＤＥＭ−ＳＴＲＡＩＧＨＴを用いたが、ＬＰＣといった他の音声分析法を使用することもできる。

この実施例は、オブジェクトの材質が変化した場合に、その音響特性を考慮して音を変換する実施例である。この実施例においては、物体の材質が変化する前にオブジェクトと接したときに発する音のデータは保持しているものとする。図１３に、この実施例に係る仮想空間のビジュアル変化に対応した音響効果の自動生成システムを示す。図１３において、１０はモデリングデータ分析部であって、ＣＧモデリングデータを分析し、材質情報を調べる。２１０は材質−周波数特性データベースであり、分析によって得られた材質の周波数特性を保持する。２２０は周波数特性比算出部、１４０は畳み込み演算器であって、音源と周波数特性を畳みこむ。

モデリングデータ分析部１０では、モデリングデータから仮想空間のオブジェクトの材質情報を取得する。

モデリングデータには、各ポリゴンの材質に関する記述がある。予め、ＣＧソフトウェアが有する材質情報とそれに対応する周波数特性の対応をとりデータベース化した材質−周波数特性データベース２１０を用いて、オブジェクトの周波数特性を調べる。

周波数特性比算出部２２０では、変化前の周波数特性と変化後の周波数特性の比をとり、その周波数特性比と音源を畳み込み演算器１４０で畳み込みし、出力音を得る。

コンピュータグラフィックスで表現される仮想空間の環境や登場人物に関するビジュアル表現を変更するに際して、臨場感に優れた音響効果を与えることを要する場に広く利用することができる。

１０モデリングデータ分析部
２０音変換・加工部
１２０音伝播シミュレーション部
１３０材質−吸音特性データベース
１４０畳み込み演算器
１５０減衰器
１６０加算器
１７０インパルス応答データベース
１８０残響時間計算部
１９０変換パラメータ値算出部
２００音声分析合成部
２１０材質−周波数特性データベース
２２０周波数特性比算出部
２３０効果強調演算部

特開２００５−０４６２７０号公報特開２００９−２４６６００号公報特開２００２−３３６５４４号公報特開平０７−３１２８００号公報特開２００５−０８０１２４号公報特開平０７−１６８５８５号公報特開２００９−２０５６２６号公報特開２００６−１０９９６６号公報特開２０１０−００４８９８号公報

大槻勇貴「３Ｄスキャンデータを対象とする圧縮率操作手法の開発」電気関係学会九州支部連合大会講演論文集０８−２Ｐ−１９，２００９ "Morphology and development of the vocal tract: A study using magnetic resonance imaging"W.T. Fitch and J. Giedd, Acoust. Soc. Am., 106(3),1511-1522(1999) "A statistical formant-pattern model for segregation vowel type and vocal- tract length in developmental formant data,"R.E. Turner, T.C. Walters, J.J.M. Monagahn, and R.D. Patterson, J. Acoust. Soc. Am.,125(4,2374-2386 (2009) "Perceptual effects of STRAIGHT parameter manipulations,"H. Kawahara, R. Akahane-Yamada, and R. Kubo, Trans. Tech. Com. Psycho. Physio. Acoust., H-97-65,(1997) 川原英紀他"時間方向および周波数方向の周期性の影響を除去した周期信号のパワースペクトルの表現について，"信学技報ＳＰ２００７−２６，１３−１８，２００７

Claims

コンピュータグラフィックス（ＣＧ）のモデリングファイルを分析するモデリングデータ分析部（１０）と、該モデリングデータ分析部（１０）からの材質情報に基づいて各室内面の吸音率を出力する材質−吸音特性データベース（１３０）と前記各室内面の吸音率およびモデリングデータ分析部（１０）から出力される室の容積と表面積を入力されて残響時間を演算算出する残響時間計算部（１８０）と室容積と残響時間とによって分類された、様々な室のインパルス応答を貯蔵するインパルス応答データベース（１７０）と無響室録音音源の音と前記インパルス応答データベース（１７０）から出力されるインパルス応答とを入力され残響音を出力する畳み込み演算器（１４０）と上記モデリングデータ分析部（１０）から出力される音源と収音点間距離情報に基づいて前記無響室録音音源の音の大きさを調整し直接音を出力する減衰器１５０と前記直接音と前記畳み込み演算器（１４０）から出力される残響音とを加算し音を出力する加算器（１６０）とから構成される音変換・加工部（２０）とを有することを特徴とする仮想空間のビジュアル変化に対応した音響効果の自動生成システム。
請求項１に記載の仮想空間のビジュアル変化に対応した音響効果の自動生成システムにおいて、残響時間計算部（１８０）とインパルス応答データベース（１７０）間に効果強調演算部（２３０）を介挿してなる仮想空間のビジュアル変化に対応した音響効果の自動生成システム。
請求項１又は請求項２に記載の仮想空間のビジュアル変化に対応した音響効果の自動生成システムに、ＣＧモデリングデータを分析し登場人物の身長変化を調べるモデリングデータ分析部（１０）と、得られた身長情報から音声変換パラメータを演算算出する変換パラメータ値算出部（１９０）、変換パラメータ値に従って音声データを変換する音声分析合成部（２００）とからなる音声変換システムを付加してなる仮想空間のビジュアル変化に対応した音響効果の自動生成システム。