JP2023062914A - 楽音信号合成方法、楽音信号合成装置およびプログラム - Google Patents

Abstract

【課題】弦と共鳴体からなる楽器（ピアノ、ハープシコード、ギター、バイオリンなど）の高品質でリアルな楽音信号を、計算コストを低く抑えて合成する。【解決手段】演奏情報に応じて、運動体が発音源に及ぼす力を示す第１情報と、発音源が運動体に及ぼす変位を示す第２情報と、発音源が本体と空気とから成る線形連成系に及ぼす力を示す第３情報と、当該線形連成系が発音源に及ぼす変位を示す第４情報と、を算出する楽器運動算出部（１１２）と、第３情報に基づいて観測点における音圧を算出する楽音信号算出部（１１３）と、を含み、当該線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、当該線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。【選択図】図３

Description

本開示は、楽音信号合成方法、楽音信号合成装置およびプログラムに関する。

自然楽器の発音メカニズムを物理法則に基づいてモデル化し、シミュレートすることで、リアルな楽音を疑似的（仮想的）に合成する方法が知られている。例えばピアノ音を例にとれば、非特許文献１には、弦に打撃を与えるハンマーと、当該弦との連成が考慮されて、詳細にいえば、ハンマーの振動と弦の振動とが互いに作用しあうことをコンピューターでシミュレートすることで楽音信号を合成する方法が記載されている。特許文献１には、ハンマーと弦との連成に加え、弦と楽器の本体との連成も考慮して、楽音信号を合成する方法が記載されている。また、非特許文献２には、ハンマーと弦との連成、および、弦と本体との連成に加え、本体と空気との連成も考慮して楽音信号を合成する方法が記載されている。

特開２０１５－１８４３０９号公報

DISTRIBUTED PIANO SOUNDBOARD MODELING WITH COMMON-POLE PARALLEL FILTERS, Proceedings of the Stockholm Music Acoustics Conference 2013, SMAC 2013 Modeling and Simulation of a grand piano J. Acoust. Soc. Am. 134(1), July 2013

しかしながら、非特許文献２において高品質でリアルな楽音を合成する場合には、大規模なモデルを用いた演算が必要となり、結果として計算コストが極めて高くなってしまう。一方、計算コストを低く抑えることを優先させる場合には、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない、という課題がある。

本開示の一態様に係る楽音信号合成方法は、運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、コンピューターが、演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、前記コンピューターが、前記演奏情報に応じて、前記運動体が前記発音源に及ぼす力を示す第１情報と、前記発音源が前記運動体に及ぼす変位を示す第２情報と、前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、を算出する楽器運動算出過程と、前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、を含み、前記線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される。

物理モデルを説明するための図である。 楽音信号を合成するコンピューターの構成を示す図である。 コンピューターにおける機能的な構成を示すブロック図である。 楽音信号合成処理の動作を示すフローチャートである。 楽音信号合成処理におけるモーダルパラメータの同定処理を示すフローチャートである。 参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。 参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。 参照ＦＲとモード合成によるＦＲとがほぼ一致していることを示す図である。 参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。 参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。 参照ＦＲとモード合成によるＩＲとがほぼ一致していることを示す図である。

以下、本開示の実施形態に係る楽音信号合成方法について図面を参照して説明する。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

まず、実際形態に係る楽音信号合成方法の原理について説明する。
図１は、実施形態に係る楽音信号合成方法の前提となる各物理モデルと、これらの各物理モデル同士の連成を説明するための図である。ここで言う物理モデルとは、アコースティックピアノの構成部品を“その物理的挙動における本質を失うことなく”単純化したものを意味する。本実施形態において、物理モデルは、ハンマーＨｍと、弦Ｓｔと、本体
Ｂｄおよび空気Ａｒとに大別される。各物理モデル同士の連成とは、２つの物理モデルが、相互に影響を及ぼし合うことを意味する。

物理モデルのうち、ハンマーＨｍは、弦Ｓｔを打撃する運動体であるハンマーの運動を模倣するモデルである。弦Ｓｔは、ハンマーＨｍによって打撃されることで振動する発音源である弦の運動を模倣するモデルである。本体Ｂｄとは、弦Ｓｔを支持し、かつ、音響を空気中に放射する役割を担うアコースティックピアノの本体のモデルであり、詳細には駒、響板、響棒、支柱、フレーム、屋根、脚などの各モデルから構成される。空気Ａｒは、本体Ｂｄの周辺に存在し、本体Ｂｄから放射された音響を、マイクＭｃに伝達する媒体としての役割を有する。
なお、マイクＭｃは、アコースティックピアノにおける物理モデルではないが、生成する楽音信号の観測位置を仮想的に示すために記載してある。換言すれば、本実施形態では、マイクＭｃが設けられる位置で観測される音圧の楽音信号を合成（生成）する。マイクＭｃは、本体Ｂｄが存在する空気中であれば、任意の位置に設けることが可能である。

実際のアコースティックピアノにおいて、ハンマーが弦に力を与えることで弦に生じた変位はハンマーの変位に影響を及ぼす。このようにハンマーと弦とが相互に影響を及ぼし合う、即ち連成する。ここで発生した弦の変位は、弦支持部（駒およびアグラフ、またはベアリング）を介して本体に力を与え、これによって生じた本体における弦支持部の変位は弦の変位に影響を及ぼす。このように弦と本体とが連成する。ここで発生した本体の変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。このように本体と空気とが連成する。
本実施形態では、このような各部の連成を図１に示される物理モデルで模倣することで、楽音信号を生成する。

図１において、ハンマーＨｍが弦Ｓｔに力（１）を与えることで生じた弦Ｓｔの変位（２）は、ハンマーＨｍの変位に影響を及ぼす。ここで発生した弦Ｓｔの変位は、弦支持部を介して本体Ｂｄに力（３）を与え、これによって生じた本体Ｂｄにおける弦支持部の変位（４）は弦Ｓｔの変位に影響を与える。ここで発生した本体Ｂｄの変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。即ち、ハンマーＨｍと弦
Ｓｔとの連成、弦Ｓｔと本体Ｂｄとの連成、弦Ｓｔと本体Ｂｄとの連成、および、本体
Ｂｄと空気Ａｒとの連成が考慮される。

特許文献１に記載された技術では、ハンマーＨｍと弦Ｓｔとの連成は考慮されるが、弦Ｓｔと本体Ｂｄとの連成は考慮されない。

非特許文献２に記載された技術では、ハンマーＨｍと弦Ｓｔとの連成、弦Ｓｔと本体
Ｂｄとの連成、弦Ｓｔと本体Ｂｄとの連成、および本体Ｂｄと空気Ａｒとの連成が考慮される。ところが、この技術では、「本体と空気との界面における相互作用」および「三次元空間における空気の運動」を時間軸上で逐次計算する必要があるため、実際のアコースティックピアノの挙動の詳細を記述した大規模なモデルを用いた場合、計算コストが極めて高くなってしまう。一方、計算コストを低く抑えようとすると、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない。このため、非特許文献２に記載された技術では、計算コストを低く抑える点と、高品質でリアルな楽音を合成する点とを両立することができない。

そこで、本実施形態に係る楽音信号合成方法では、第１に、本体Ｂｄと空気Ａｒとの連成系を一般粘性減衰系モデルで表現することにした。詳細には、弦と上記連成系との結合部、即ち弦支持点における応答変位を「複素固有モードの重ね合わせ」として、より具体的には、「複素数のフィルタ係数を有する一次ＩＩＲフィルタの重ね合わせ」として表現することにした。
なお、本説明では、本体Ｂｄと空気Ａｒとの連成系を特に「線形連成系Ｌｃ」と呼ぶことにし、運動体と発音源からなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。

本体と空気とから成る連成系、即ち、音響構造連成系を一般粘性減衰系モデルで表現できることの理論的根拠は、構造変位と空気速度ポテンシャルとを「時間および空間に依存する変数」とした場合の有限要素法による音響構造連成運動方程式が、形式的に実対称の質量行列、減衰行列、剛性行列によって書き表せることにある。この３つの実対称行列から構成される運動方程式の形は、（比例粘性減衰ではない）一般的な粘性減衰を有する構造物のモデル、即ち一般粘性減衰系モデルの有限要素法による運動方程式の形と数学的に同じである。
なお、音響構造連成系を一般粘性減衰系モデルで表現することの利点は、このモデルの固有モードが広義の直交性を有することにある。このとき、モード合成法を用いた高速な時間領域シミュレーションが可能になるのである。

一般粘性減衰系モデルにおけるインパルス応答（Impulse Response）は、次式（１）のように示される。

また、一般粘性減衰系モデルにおける周波数応答（Frequency Response）は、次式（２）のように示される。
インパルス応答と周波数応答との間には、インパルス応答のフーリエ変換が周波数応答であり、周波数応答の逆フーリエ変換がインパルス応答であるという関係がある。

式（１）または式（２）において、ｊは虚数単位であり、＊は複素共役であり、ｒはモード次数である。ｉは加振点のインデックスであり、ｌは応答点のインデックスである。
λ_ｒは複素固有値であり、λ_ｒ＝－σ_ｒ＋ｊω_ｄｒで示される。
σ_ｒはモード減衰率であり、ω_ｄｒは減衰固有角振動数である。

Ｒ_ｒｉｌはモード留数であり、次式（３）で示される。

なお、式（３）において、
ｘ_ｒｉは、加振点ｉにおける複素固有モードの実部であり、
ｙ_ｒｉは、加振点ｉにおける複素固有モードの虚部である。

線形連成系Ｌｃを一般粘性減衰系モデルで表現する場合に重要となる点は、当該一般粘性減衰系モデルのモーダルパラメータをいかに精度よく決定することができるか、という点にある。
このため、本実施形態では、第２に「例えば高速多重極境界要素法を用いて多点加振多点参照（Multi-Input Multi-Output）方式で算出した線形連成系の周波数応答」をリファレンス（参照）として、一般粘性減衰系モデルにフィットするようにモーダルパラメータである複素固有値と複素固有モードを同定することにした。

図２は、本実施形態に係る楽音信号合成方法を実行するコンピューター１０のブロック図である。本実施形態に係る楽音信号合成方法は、コンピューターとソフトウェアとの協働により実現される。
コンピューター１０は、制御装置１１と記憶装置１２と演奏情報出力装置１３と放音装置１４とを含む。

制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、コンピューター１０の各要素を統括的に制御する。なお、制御装置１１は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。

記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、コンピューター１０に対して着脱可能な可搬型の記録媒体、または、コンピューター１０が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。

演奏情報出力装置１３は、楽音信号の生成に必要な演奏情報を出力する。必要な演奏情報とは、例えば楽音信号の生成開始から生成終了までを指定する情報、生成する楽音信号の音高を示す情報、生成する楽音信号の大きさ（音量）を示す情報などである。このような演奏情報を出力するために、演奏情報出力装置１３は、鍵盤装置１３０を含む。
鍵盤装置１３０は、電子ピアノなどの鍵盤に相当し、複数の鍵（黒鍵１３１ｂ、白鍵１３１ｗ）が並べられた鍵盤を有する。また、鍵盤装置１３０における鍵１３１ｂ、１３１ｗには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー１３２ａ、および、押鍵速度を表す情報を出力する鍵速度センサー１３２ｂが設けられる。

鍵盤装置１３０は、鍵の押込量、押鍵速度、および、押し込まれた鍵を示す情報（例えば鍵番号）を、デジタル形式でバスＢを介して制御装置１１にサンプリング周期で定期的に出力する。
なお、ハンマー速度は、制御装置１１において、鍵盤装置１３０から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。鍵盤装置１３０から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。

楽音の発生は、押鍵によってハンマーが弦を打撃することで生じるので、楽音信号の生成開始を指定する情報は、押鍵速度の情報および鍵の押込量を示す情報から求めることができる。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、上記ハンマー速度を示す情報である。

このように鍵盤装置１３０から出力される情報と、当該情報に演算を施した情報とに基づいて、楽音信号の生成に必要な演奏情報を得ることができる。
なお、演奏情報出力装置１３は、鍵盤装置１３０のほか、特に図示しないがペダル装置を設けてもよい。このペダル装置は、アコースティックピアノにおけるダンパーペダルやシフトペダルに相当する操作子を有し、これらの操作子の操作量をデジタル形式でバスＢを介して制御装置１１にサンプリング周期で定期的に出力する。
「鍵の押込量」と「ダンパーペダル踏み込み量」との両情報はダンパー（弦の振動を抑制する部品）のメカニズムを、ダンパーの物理モデルを用いてシミュレートする際に用いられる。なお、本件では、ダンパーの物理モデルについては省略する。

放音装置１４は、制御装置１１からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置１４の典型例である。
なお、コンピューター１０としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略する。

図３は、制御装置１１の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽音信号を合成するための複数の要素（処理制御部１１０、前処理部１１１、楽器運動算出部１１２および楽音信号算出部）として機能する。
なお、制御装置１１における機能の一部を他のコンピューター装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。

次に、コンピューター１０において楽音信号を合成するまでの手順について説明する。 図４は、楽音信号合成処理の手順を例示するフローチャートである。

コンピューター１０における処理制御部１１０は、前処理部１１１に対して次のステップＳ１１からステップＳ１５までの処理を実行させて、線形連成系Ｌｃを表す一般粘性減衰系モデルのモーダルパラメータを決定する。なお、ステップＳ１１からステップＳ１５までの処理は、演奏情報に応じて楽音信号を算出する前に実行されるので、前処理と表現される。

まず、前処理部１１１は、本体Ｂｄを構成する材料についての弾性係数およびヒステリシス減衰係数の三次元直交異方性を考慮した上で、本体Ｂｄの三次元有限要素モデルを作成し、当該三次元有限要素モデルの質量行列、減衰行列および剛性行列を算出する（ステップＳ１１）。
前処理部１１１は、当該三次元有限要素モデルに対し、接着、ボルト締め、張弦などの製造工程に伴う接触非線形と幾何学的非線形とを考慮して、非線形静解析を実施し、ステップＳ１１で算出した剛性行列を修正する（ステップＳ１２）。

前処理部１１１は、ステップＳ１１で算出した質量行列およびステップＳ１２で修正した剛性行列をインプットとして、本体Ｂｄの三次元有限要素モデルが真空中に存在する場合の、即ち空気が存在しない場合の、当該三次元有限要素モデルの実固有値および実固有モードを固有値解析により算出する（ステップＳ１３）。
前処理部１１１は、ステップＳ１1で算出した減衰行列とステップＳ１３で算出した実固有モードとをインプットとして、当該本体Ｂｄの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する（ステップＳ１４）。

次に、前処理部１１１は、線形連成系Ｌｃを一般粘性減衰系モデルとしてモデル化し、ステップＳ１３で算出した実固有値および実固有モードと、ステップＳ１４で算出したモード減衰行列とをインプットとして、当該一般粘性減衰系モデルのモーダルパラメータ（複素固有値および複素固有モード）を次のようにして同定する（ステップＳ１５）。

図５は、図４におけるステップＳ１５の手順を詳細に例示するフローチャートである。
前処理部１１１は、ステップＳ１４までの処理で算出した真空中本体の実固有値、実固有モード、モード減衰行列をインプットとして、当該線形連成系Ｌｃの周波数応答を、例えば高速多重境界法（Fast Multipole Boundary Element Method）または有限要素法を用いて算出する（ステップＳ１５１）。この解析で算出される周波数応答は、次の２種類であり、この２種類を区別する意味で周波数応答（ａ）および周波数応答（ｂ）と表記する。２種類のうち、１つ目の周波数応答（ａ）は、入力、即ち「弦支持部（発音源Ｓｔと線形連成系Ｌｃとの結合部）における力」のフーリエ変換で、出力、即ち「弦支持部（発音源Ｓｔと線形連成系Ｌｃとの結合部）における変位」のフーリエ変換を割ったものである。

ここでは、加振点ｉの総数をｍ個、応答点ｌの総数をｎ個とする。ある一つの加振位置において加振方向が例えばｘ方向、ｙ方向およびｚ方向のように複数ある場合には、それぞれを１個の加振点として区別することにする。応答点ｌについても同様である。応答点ｌの集合は、加振点ｉの集合を含んでいるものとする。なお、ｍは、例えばアコースティックピアノにおける全８８鍵の弦支持部（駒およびベアリング）のｘ、ｙおよびｚの三方向のすべて、即ち、５２８ (＝８８×２×３) である必要はなく、２以上であって５２８以下の整数である。即ち、アコースティックピアノでは、ｍとｎとは、２≦ｍ≦ｎ≦５２８を満たす整数である。
また、２種類の周波数応答のうち、２つ目の周波数応答（ｂ）は、入力、即ち「弦支持部（発音源Ｓｔと線形連成系Ｌｃとの結合部）における力」のフーリエ変換で、出力、即ち「空気中の任意観測点における音圧」のフーリエ変換を割ったものである。

前処理部１１１は、算出した周波数応答（ａ）の逆高速フーリエ変換（Inverse Fast Fourier Transform）をリファレンスとして、線形連成系Ｌｃにおける複素固有値λ_ｒ（＝－σ_ｒ＋ｊω_ｄｒ）を例えばESPRIT（Estimation of Signal Parameters via Rotational Invariance Techniques）により同定する（ステップＳ１５２）。なお、複素固有値の同定に際し、例えば上記ｍ点における自己インパルス応答が参照される。また、複素固有値の同定についてはProny法を用いてもよいが、ESPRITに比べ同定精度が劣る傾向がある。

前処理部１１１は、周波数応答（ａ）をリファレンスとして、線形連成系Ｌｃの加振点ｉにおける複素固有モードを、非線形最適化法を用いて同定する（ステップＳ１５３）。非線形最適化法の例としては、ＢＦＧＳアルゴリズム（Broyden Fletcher Goldfarb Shanno algorithm)を用いた、直線探索法を伴う準ニュートン法、または、信頼領域法を伴う修正ガウスニュートン法（Levenberg-Marquardt法とも呼ばれる）が挙げられる。大規模な問題に対しては、前者の方法の方がより強力である。加振点ｉにおける複素固有モードの実部および虚部は、具体的には、後述する式（５）の右辺第１項におけるｘ_ｒｉおよびｙ_ｒｉで表される。なお、加振点ｉにおける複素固有モードの同定に際し、例えばｍ・（ｍ＋１）／２点における自己および相互周波数応答が参照される。

前処理部１１１は、周波数応答（ａ）をリファレンスとして、線形連成系Ｌｃにおいて加振点ｉ以外の応答点ｌにおける複素固有モードを、線形最適化法を用いて同定する（ステップＳ１５４）。線形最適化法の例としては、ＱＲ分解法、または、特異値分解法が挙げられる。応答点ｌにおける複素固有モードの実部および虚部は、具体的には、後述する式（５）の右辺第１項におけるｘ_ｒｌおよびｙ_ｒｌで表される。なお、応答点ｌにおける複素固有モードの同定に際し、例えばｍ・（ｎ－ｍ）点における相互周波数応答が参照される。
なお、線形連成系Ｌｃの規模がそれほど大きくない場合、あるいは、複素固有モードを出力したい点がそれほど多くない場合は、ステップＳ１５１における周波数応答解析の計算コストがそれほど大きくならないため、ｎ＝ｍとしてもよい。この場合、ステップＳ１５４は、スキップされる。

ステップＳ１５１～Ｓ１５４によって線形連成系Ｌｃを示す一般粘性減衰系モデルのモーダルパラメータ（複素固有値および複素固有モード）が同定されて、一次ＩＩＲのフィルタ係数が求められる。

同定について、次の式（４）および式（５）を参照して説明する。

同定とは、式（５）において左辺を、右辺第１項の 「モデルを用いて再合成した周波数応答」から右辺第２項の「リファレンスの周波数応答」を減じた残差、として表した場合に、式（４）の右辺で示されるように、当該残差の二乗和を最小とする値（実部、虚部）を求めることをいう。

前処理部１１１によって一般粘性減衰系モデルのモーダルパラメータが同定されると、演奏情報に応じて楽音信号を合成する準備が整ったことになる。このため、処理制御部１１０は、演奏情報出力装置１３から演奏情報が出力されたとき、楽器運動算出部１１２に対してステップＳ１６の処理を実行させ、この後、楽器運動算出部１１２に対してステップＳ１７の処理を実行させる。

楽器運動算出部１１２は、演奏情報出力装置１３から出力される演奏情報に基づいて、次のような楽器の運動情報を算出する（ステップＳ１６）。具体的には、楽器運動算出部１１２は、力（１）を示す第１情報、変位（２）を示す第２情報、力（３）を示す第３情報、および、変位（４）を示す第４情報を算出する。
なお、ステップＳ１６における運動情報の算出におけるインプットとしては、「物理パラメータ」と「演奏情報」とがある。このうち、「物理パラメータ」は、「線形連成系
Ｌｃのモーダルパラメータ（複素固有値、複素固有モード）」を含んでいる。「物理パラメータ」にはこれ以外に、「弦の物理パラメータ」、「ハンマーの物理パラメータ」、「ダンパーの物理パラメータ」などがあるが、図４における説明では省略する。
「演奏情報」は「鍵盤とペダルのセンシング」から得られるリアルタイムデータでも良いし、記録済みのＭＩＤＩデータでも良い。なお、ＭＩＤＩデータとは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠して演奏情報をデータ化したものである。
また、力（１）を示す第１情報、変位（２）を示す第２情報、力（３）を示す第３情報、および、変位（４）を示す第４情報の算出には、特許文献１に記載された技術を用いることができる。具体的には、楽器運動算出部１１２は、ハンマーの変位、弦の（物理座標上またはモード座標上の）変位、および、線形連成系におけるモード座標上の変位を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。

楽音信号算出部１１３は、ステップＳ１６で算出された力（３）を示す第３情報と周波数応答（ｂ）との高速畳み込み演算によって楽音信号を算出する（ステップＳ１７）。

本実施形態では、ステップＳ１５において、一般粘性減衰系モデルのモーダルパラメータが同定されると、変位（４）を示す第４情報の算出に必要な一次ＩＩＲの複素数のフィルタ係数が決定する。この係数を用いることで、ステップＳ１６が、低コストで、精度良く、逐次、計算されるので、次のステップＳ１７において必要な力（３）を示す第３情報も、低コストで、精度良く、逐次、算出することができることになる。
また、本実施形態によれば、一般粘性減衰系モデルのモーダルパラメータのうち、複素固有値の同定と複素固有モードの同定とが分離して実行されるので、多く点数で固有モードを同定することができ、大規模で複雑なモデルへの適用が容易になる。
したがって、本実施形態では、計算コストを低く抑えて、高品質でリアルな楽音信号を合成することが可能になる。

次に、本実施形態において一般粘性減衰系モデルにおいて同定されたモーダルパラメータが、どの程度までリファレンスに近づくか、について説明する。

図６乃至図８は、異なる３点（point １～３）において、リファレンスとした周波数応答（実線）に対して、モード合成による周波数応答（○印）を示す図である。図６乃至図８では、周波数に対する位相および振幅の特性が左欄に、周波数に対する実部および虚部の特性が右欄に、それぞれ示される。
図６乃至図８に示されるように、リファレンスとした周波数応答に対して、モード合成による周波数応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。

図９乃至図１１は、上記３点（point １～３）において、リファレンスとした周波数応答のＩＦＦＴとしてのインパルス応答（実線）に対して、モード合成によるインパルス応答（○印）を示す図である。
図９乃至図１１に示されるように、リファレンスとしたインパルス応答に対して、モード合成によるインパルス応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。

＜変形例＞
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で併合してもよい。

実施形態では、アコースティックピアノの楽音信号合成方法について説明したが、楽音信号を合成する楽器の対象は、アコースティックピアノに限られない。例えば、運動体と発音源とが相互に作用し、発音源と本体とが相互に作用し、本体と空気とが相互に作用するような発音機構を有する楽器であれば、当該発音機構を物理法則に基づいてモデル化し、シミュレートすることで適用可能である。具体的には、ハープシコードやギターなどの撥弦楽器や、バイオリンやチェロなどの擦弦楽器などにも適用可能である。なお、運動体は、撥弦楽器であればピックや爪になり、擦弦楽器であれば弓になる。

実施形態において、弦ＳｔがハンマーＨｍに与える変位（２）、あるいは、本体Ｂｄが弦Ｓｔに与える変位（４）、あるいは、本体Ｂｄが空気に与える変位については、当該変位の時間に関する導関数である速度、あるいは、当該速度の時間に関する導関数である加速度で置き換えてもよい。

楽音信号を合成するコンピューター１０の機能は、上述した通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。
このプログラムは、コンピューター１０が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ－ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置１２が、前述の非一過性の記録媒体に相当する。

上述したコンピューター１０では、楽音信号を演奏情報出力装置１３への演奏操作に応じてリアルタイムで合成したが、楽音信号の合成については非リアルタイムで合成する構成としてもよい。具体的には、実施形態のように物理モデルで合成した楽音信号をＰＣＭ（Pulse Code Modulation）でサンプリングして録音し、当該録音した信号を、演奏情報に応じて再生することで、楽音信号を合成する構成としてもよい。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業／工数が必要であったが、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター１０での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ（メカノイズ）も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。

楽音信号を合成する実質的な主体である制御装置１１を、演奏情報を出力する演奏情報出力装置１３や放音装置１４とは別にして、クラウドに配置する構成としてもよい。詳細には、利用者が望む楽音の仕様を、クラウドに配置された制御装置１１を含むコンピューターに送信し、当該コンピューターが上記仕様を満たす精緻な物理モデルを用いたシミュレーションにより楽音信号を合成し、当該利用者に提供する構成としてもよい。物理モデルを用いたシミュレーションにより楽音信号を合成する場合、マイクＭ（スピーカー）の位置が任意であることから、サービスの提供を受ける利用者の再生装置に合わせた楽音信号を合成することができる。例えば１６チャンネルのスピーカ再生装置のような特殊な再生装置であっても、当該特殊な再生装置に合わせて楽音信号を合成することができる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。

物理モデルを用いたシミュレーションによる楽音信号の合成を、アコースティック楽器の設計支援に用いてもよい。具体的には、物理モデルの設計を変更し、変更した物理モデルを用いて楽音信号を合成することにより、試作前の楽器の楽音をシミュレーションにより聴くことができる。したがって、例えば新規な楽器を効率良く開発することができる。 このように、物理モデルを用いたシミュレーションにより楽音信号を合成すれば、アコースティック楽器の仕様（原因）と発生楽音（結果）との因果関係が明確化されるので、楽器の設計効率を向上させることが可能になる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。

＜付記＞
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。

本開示のひとつの態様（態様１）に係る楽音信号合成方法は、運動体（Ｈｍ）と発音源（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と本体（Ｂｄ）とが相互に作用し、本体
（Ｂｄ）と空気（Ａｒ）とが相互に作用する場合に、コンピューター（１０）が、演奏情報に応じて、空気（Ａｒ）中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成方法であって、コンピューター（１０）が、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出過程（ステップＳ１７）と、コンピューター（１０）が、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出過程（ステップＳ１８）と、を含み、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。
この態様１によれば、線形連成系（Ｌｃ）の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。

態様１の具体例（態様２）において、変位（２）、（４）を、当該変位の時間に関する導関数で置き換えたものとする。この態様２おいても、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。

態様１または態様２の具体例（態様３）において、モーダルパラメータの同定は、コンピューター（１０）が演算の前処理として実行する。この態様３によれば、楽音信号算出過程（ステップＳ１８）を実行する際の計算コストを低く抑えることができる。

態様１乃至３のいずれの具体例（態様４）において、モーダルパラメータの同定は、コンピューター（１０）が、線形連成系（Ｌｃ）の周波数応答を算出する第１過程と、コンピューター（１０）が、周波数応答の逆フーリエ変換をリファレンスとして、複素固有値を同定する第２過程と、コンピューター（１０）が、周波数応答をリファレンスとして、線形連成系（Ｌｃ）における加振点の複素固有モードを同定する第３過程とを含む。
この態様４によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点を多数として、本体と空気との連成系への適用が容易となる。

態様４の具体例（態様５）において、第３過程の後に、コンピューター（１０）が、周波数応答をリファレンスとして、線形連成系（Ｌｃ）における加振点とは異なる応答点の複素固有モードを同定する第４過程とを含む。
この態様５によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点および応答点を多数として、本体と空気との連成系への適用が容易となる。

また、態様１に係る楽音信号合成方法は、次のようなプログラムとして把握することが可能である。即ち、態様６に係るプログラムは、運動体（Ｈｍ）と発音源（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と本体（Ｂｄ）とが相互に作用し、本体（Ｂｄ）と空気
（Ａｒ）とが相互に作用する場合に、コンピューター（１０）に、演奏情報に応じて、空気（Ａｒ）中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、コンピューター（１０）を、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出部（１１３）、および、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１４）、として機能させ、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系
（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。

なお、態様１に係る楽音信号合成方法は、次のような楽音信号合成装置として把握することが可能である。即ち、態様７に係る楽音信号合成装置は、運動体（Ｈｍ）と発音源
（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と本体（Ｂｄ）とが相互に作用し、本体
（Ｂｄ）と空気（Ａｒ）とが相互に作用する場合に、演奏情報に応じて、空気（Ａｒ）中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成装置であって、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出部（１１３）と、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１４）と、を含み、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系（Ｌｃ）の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第４情報は、複素固有値および複素固有モードを用いて算出される。

１０…コンピューター、１１…制御装置、１２…記憶装置、１３…演奏情報出力装置、１４…放音装置、１１０…処理制御部、１１１…前処理部、１１２…楽器運動算出部、１１３…楽音信号算出部、Ｈｍ…ハンマー（運動体）、Ｓｔ…弦（発音源）、Ｂｄ…本体、Ａｒ…空気、Ｌｃ…線形連成系。

Claims (7)

1. 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
   コンピューターが、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、
   前記コンピューターが、前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出過程と、
   前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
   を含み、
   前記線形連成系は、一般粘性減衰系モデルで表現され、
   当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   楽音信号合成方法。
   
2. 前記変位を、当該変位の時間に関する導関数で置き換えた
   請求項１に記載の楽音信号合成方法。
   
3. 前記モーダルパラメータの同定は、
   前記コンピューターが演算の前処理として実行する
   請求項１または２に記載の楽音信号合成方法。
   
4. 前記モーダルパラメータの同定は、
   前記コンピューターが、前記線形連成系の周波数応答を算出する第１過程と、
   前記コンピューターが、前記周波数応答の逆フーリエ変換をリファレンスとして、前記複素固有値を同定する第２過程と、
   前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における加振点の複素固有モードを同定する第３過程と、
   を含む請求項１乃至３のいずれかに記載の楽音信号合成方法。
   
5. 前記第３過程の後に、
   前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における前記加振点とは異なる応答点の複素固有モードを同定する第４過程、
   を含む請求項４に記載の楽音信号合成方法。
   
6. 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
   コンピューターに、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、
   前記コンピューターを、
   前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記本体が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出部、および、
   前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出部、
   として機能させ、
   前記線形連成系は、一般粘性減衰系モデルで表現され、
   当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   プログラム。
   
7. 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成装置であって、
   前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出部と、
   前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出部と、
   を含み、
   前記線形連成系は、一般粘性減衰系モデルで表現され、
   当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   楽音信号合成装置。

Images