JP2023143837A - 楽音信号合成方法、楽音信号合成装置およびプログラム - Google Patents

Abstract

【課題】弦と共鳴体からなる楽器（ピアノ、ハープシコード、ギター、バイオリンなど）の高品質でリアルな楽音信号を、計算コストを低く抑えて合成する。【解決手段】演奏情報に応じて、運動体が発音源に及ぼす力を示す第１情報と、発音源が運動体に及ぼす変位を示す第２情報と、発音源が楽器本体と空気とから成る線形連成系に及ぼす力を示す第３情報と、当該線形連成系が発音源に及ぼす変位を示す第４情報と、を算出する楽器運動算出部（１１２）と、第３情報に基づいて観測点における音圧を算出する楽音信号算出部（１１３）と、を含み、当該線形連成系のモーダルパラメータである複素固有値および複素固有モードは、当該線形連成系の非線形固有値解析により算出され、第４情報は、複素固有値および複素固有モードを用いて算出される。【選択図】図３

Description

本開示は、楽音信号合成方法、楽音信号合成装置およびプログラムに関する。

自然楽器の発音メカニズムを物理法則に基づいてモデル化し、シミュレートすることで、リアルな楽音を疑似的（仮想的）に合成する方法が知られている。例えばピアノ音を例にとれば、非特許文献１には、弦に打撃を与えるハンマーと、当該弦との連成が考慮されて、詳細にいえば、ハンマーの振動と弦の振動とが互いに作用しあうことをコンピューターでシミュレートすることで楽音信号を合成する方法が記載されている。特許文献１には、ハンマーと弦との連成に加え、弦と楽器の本体との連成も考慮して、楽音信号を合成する方法が記載されている。また、非特許文献２には、ハンマーと弦との連成、および、弦と本体との連成に加え、本体と空気との連成も考慮して楽音信号を合成する方法が記載されている。

特開２０１５－１８４３０９号公報

DISTRIBUTED PIANO SOUNDBOARD MODELING WITH COMMON-POLE PARALLEL FILTERS, Proceedings of the Stockholm Music Acoustics Conference 2013, SMAC 2013 Modeling and Simulation of a grand piano J. Acoust. Soc. Am. 134(1), July 2013

しかしながら、非特許文献２において高品質でリアルな楽音を合成する場合には、大規模なモデルを用いた演算が必要となり、結果として計算コストが極めて高くなってしまう。一方、計算コストを低く抑えることを優先させる場合には、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない、という課題がある。

本開示の一態様に係る楽音信号合成方法は、運動体と発音源とが相互に作用し、前記発音源と楽器本体とが相互に作用し、前記楽器本体と空気とが相互に作用する場合に、コンピューターが、演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、前記コンピューターが、前記演奏情報に応じて、前記運動体が前記発音源に及ぼす力を示す第１情報と、前記発音源が前記運動体に及ぼす変位を示す第２情報と、前記発音源が前記楽器本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、を算出する楽器運動算出過程と、前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、を含み、前記線形連成系のモーダルパラメータである複素固有値および複素固有モードは、少なくとも前記線形連成系の非線形固有値解析によって算出され、前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される。

物理モデルを説明するための図である。 楽音信号を合成するコンピューターの構成を示す図である。 コンピューターにおける機能的な構成を示すブロック図である。 楽音信号合成処理の動作を示すフローチャートである。 楽音信号合成処理におけるモーダルパラメータおよび周波数応答の算出処理を示すフローチャートである。 楽音信号合成処理におけるモーダルパラメータおよび周波数応答の算出処理を示すフローチャートである。

以下、本開示の実施形態に係る楽音信号合成方法について図面を参照して説明する。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

まず、実際形態に係る楽音信号合成方法の原理について説明する。
図１は、実施形態に係る楽音信号合成方法の前提となる各物理モデルと、これらの各物理モデル同士の連成を説明するための図である。ここで言う物理モデルとは、アコースティックピアノの構成部品を“その物理的挙動における本質を失うことなく”単純化したものを意味する。本実施形態において、物理モデルは、ハンマーＨｍと、弦Ｓｔと、本体Ｂｄおよび空気Ａｒとに大別される。各物理モデル同士の連成とは、２つの物理モデルが、相互に影響を及ぼし合うことを意味する。

物理モデルのうち、ハンマーＨｍは、弦Ｓｔを打撃する運動体であるハンマーの運動を模倣するモデルである。弦Ｓｔは、ハンマーＨｍによって打撃されることで振動する発音源である弦の運動を模倣するモデルである。本体Ｂｄとは、弦Ｓｔを支持し、かつ、音響を空気中に放射する役割を担うアコースティックピアノの本体（楽器本体）のモデルであり、詳細には駒、響板、響棒、支柱、フレーム、屋根、脚などの各モデルから構成される。空気Ａｒは、本体Ｂｄの周辺に存在し、本体Ｂｄから放射された音響を、マイクＭｃに伝達する媒体としての役割を有する。
なお、マイクＭｃは、アコースティックピアノにおける物理モデルではないが、生成する楽音信号の観測位置を仮想的に示すために記載してある。換言すれば、本実施形態では、マイクＭｃが設けられる位置で観測される音圧の楽音信号を合成（生成）する。マイクＭｃは、本体Ｂｄが存在する空気中であれば、任意の位置に設けることが可能である。

実際のアコースティックピアノにおいて、ハンマーが弦に力を与えることで弦に生じた変位はハンマーの変位に影響を及ぼす。このようにハンマーと弦とが相互に影響を及ぼし合う、即ち連成する。ここで発生した弦の変位は、弦支持部（駒およびアグラフ、またはベアリング）を介して本体に力を与え、これによって生じた本体における弦支持部の変位は弦の変位に影響を及ぼす。このように弦と本体とが連成する。ここで発生した本体の変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。このように本体と空気とが連成する。
本実施形態では、このような各部の連成を図１に示される物理モデルで模倣することで、楽音信号を生成する。

図１において、ハンマーＨｍが弦Ｓｔに力（１）を与えることで生じた弦Ｓｔの変位（２）は、ハンマーＨｍの変位に影響を及ぼす。ここで発生した弦Ｓｔの変位は、弦支持部を介して本体Ｂｄに力（３）を与え、これによって生じた本体Ｂｄにおける弦支持部の変位（４）は弦Ｓｔの変位に影響を与える。ここで発生した本体Ｂｄの変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。即ち、ハンマーＨｍと弦Ｓｔとの連成、弦Ｓｔと本体Ｂｄとの連成、および、本体Ｂｄと空気Ａｒとの連成が考慮される。

特許文献１に記載された技術では、ハンマーＨｍと弦Ｓｔとの連成は考慮されるが、弦Ｓｔと本体Ｂｄとの連成は考慮されない。

非特許文献２に記載された技術では、ハンマーＨｍと弦Ｓｔとの連成、弦Ｓｔと本体Ｂｄとの連成、弦Ｓｔと本体Ｂｄとの連成、および本体Ｂｄと空気Ａｒとの連成が考慮される。ところが、この技術では、「本体と空気との界面における相互作用」および「三次元空間における空気の運動」を時間軸上で逐次計算する必要があるため、実際のアコースティックピアノの挙動の詳細を記述した大規模なモデルを用いた場合、計算コストが極めて高くなってしまう。一方、計算コストを低く抑えようとすると、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない。このため、非特許文献２に記載された技術では、計算コストを低く抑える点と、高品質でリアルな楽音を合成する点とを両立することができない。

そこで、本実施形態に係る楽音信号合成方法では、第１に、「本体Ｂｄと空気Ａｒとの連成系」を一般粘性減衰系モデルで表現した上で、弦Ｓｔと上記連成系との結合部、即ち弦支持部における応答変位を「複素固有モードの重ね合わせ」として表現することにした。このとき、「本体Ｂｄと空気Ａｒとの連成系」の動特性を表す大規模な行列は対角化されるから、運動体と発音源を含めたシステム全体の高速な時間領域シミュレーションが可能になる。
なお、本説明では、「本体Ｂｄと空気Ａｒとの連成系」を特に「線形連成系Ｌｃ」と呼ぶことにし、運動体と発音源からなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。

上で示した方法を実現する上で重要となる点は、当該線形連成系Ｌｃのモーダルパラメータをいかに精度よく決定することができるか、という点にある。
このため、本実施形態では、第２に、「線形連成系の運動方程式に基づく境界積分方程式を離散化して得られる非線形固有値問題の解析、より詳細には、高速多重極境界要素法と周回積分法を併用した非線形固有値解析」によって、線形連成系のモーダルパラメータである複素固有値と「複素固有モードの形状」とを算出することにした。これには、例えば、文献「C.Zheng, H.Gao, L.Du, H.Chen, C.Zhang / An accurate and efficient acoustic eigensolver based on a fast multipole BEM and a contour integral method / Journal of Computational Physics (2016)」、あるいは、文献「J.Xiao, J.Wang, T.Liang, L.Wen / The RSRR method for solving large-scale nonlinear eigenvalue problems in boundary element method / Engineering Analysis with Boundary Elements (2018)」に記載されている方法を用いることができる。複素固有モードを完全に決定するためには「複素固有モードの形状」に加えて、「複素固有モードの大きさ」も決定する必要がある。これを決定するための方法として、「線形連成系の運動方程式に基づく境界積分方程式を離散化して得られる連立線形方程式の解析、より詳細には、高速多重極境界要素法を用いた周波数応答解析」によって得られる、「少なくとも前記結合部を含めた本体表面における力に対する変位の周波数応答」をリファランスとした線形最小二乗法を用いることができる。

更に、音を合成する際に必要となる複素固有モードの成分は、前記結合部における成分のみであることに着目し、「前記結合部への寄与度が小さい複素固有モード」とそれに付随する複素固有値を捨ててから、「少なくとも前記結合部を含めた本体表面における力に対する変位の周波数応答」をリファランスとした線形最小二乗法を、再度、適用することで「前記結合部における複素固有モードの大きさ」を算出し直してもよい。ここで、「前記結合部への寄与度」の評価には、例えば、「前記結合部における複素固有モードの成分のユークリッドノルム」を用いることができる。この方法によって、音質の劣化を極力抑えながら、音合成コストを更に低減することが可能となる。

図２は、本実施形態に係る楽音信号合成方法を実行するコンピューター１０のブロック図である。本実施形態に係る楽音信号合成方法は、コンピューターとソフトウェアとの協働により実現される。
コンピューター１０は、制御装置１１と記憶装置１２と演奏情報出力装置１３と放音装置１４とを含む。

制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、コンピューター１０の各要素を統括的に制御する。なお、制御装置１１は、ＣＰＵのほか、ＤＳＰ（Digital Signal Processor）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって構成されてもよい。

記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、コンピューター１０に対して着脱可能な可搬型の記録媒体、または、コンピューター１０が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。

演奏情報出力装置１３は、楽音信号の生成に必要な演奏情報を出力する。必要な演奏情報とは、例えば楽音信号の生成開始から生成終了までを指定する情報、生成する楽音信号の音高を示す情報、生成する楽音信号の大きさ（音量）を示す情報などである。このような演奏情報を出力するために、演奏情報出力装置１３は、鍵盤装置１３０を含む。
鍵盤装置１３０は、電子ピアノなどの鍵盤に相当し、複数の鍵（黒鍵１３１ｂ、白鍵１３１ｗ）が並べられた鍵盤を有する。また、鍵盤装置１３０における鍵１３１ｂ、１３１ｗには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー１３２ａ、および、押鍵速度を表す情報を出力する鍵速度センサー１３２ｂが設けられる。

鍵盤装置１３０は、鍵の押込量、押鍵速度、および、押し込まれた鍵を示す情報（例えば鍵番号）を、デジタル形式でバスＢを介して制御装置１１にサンプリング周期で定期的に出力する。
なお、ハンマー速度は、制御装置１１において、鍵盤装置１３０から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー１３２ｂを設けなくて済む。鍵盤装置１３０から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。

楽音の発生は、押鍵によってハンマーが弦を打撃することで生じるので、楽音信号の生成開始を指定する情報は、押鍵速度の情報および鍵の押込量を示す情報から求めることができる。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、上記ハンマー速度を示す情報である。

このように鍵盤装置１３０から出力される情報と、当該情報に演算を施した情報とに基づいて、楽音信号の生成に必要な演奏情報を得ることができる。
なお、演奏情報出力装置１３は、鍵盤装置１３０のほか、特に図示しないがペダル装置を設けてもよい。このペダル装置は、アコースティックピアノにおけるダンパーペダルやシフトペダルに相当する操作子を有し、これらの操作子の操作量をデジタル形式でバスＢを介して制御装置１１にサンプリング周期で定期的に出力する。
「鍵の押込量」と「ダンパーペダル踏み込み量」との両情報はダンパー（弦の振動を抑制する部品）のメカニズムを、ダンパーの物理モデルを用いてシミュレートする際に用いられる。なお、本件では、ダンパーの物理モデルについては省略する。

放音装置１４は、制御装置１１からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置１４の典型例である。
なお、コンピューター１０としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略する。

図３は、制御装置１１の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽音信号を合成するための複数の要素（処理制御部１１０、前処理部１１１、楽器運動算出部１１２および楽音信号算出部１１３）として機能する。
なお、制御装置１１における機能の一部を他のコンピューター装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。

次に、コンピューター１０において楽音信号を合成するまでの手順について説明する。 図４は、演奏情報に応じて楽音信号を算出する合成する楽音信号合成処理の手順を例示するフローチャートであり、図５および図６は、楽音信号合成処理における一部の処理であるステップＳ１の手順を例示するフローチャートである。なお、図５のステップＳ１は、図４に示される楽音信号合成処理の前提となる処理であるので、前処理と表現される。

コンピューター１０における処理制御部１１０は、前処理部１１１に対して図５および図６におけるステップＳ１１からステップＳ１９までの前処理を実行させて、線形連成系Ｌｃのモーダルパラメータを求める。

まず、前処理部１１１は、本体Ｂｄの物理パラメータ、特に本体Ｂｄを構成する材料についての弾性係数およびヒステリシス減衰係数の三次元直交異方性を考慮した上で、本体Ｂｄの三次元有限要素モデルを作成し、当該三次元有限要素モデルの質量行列、剛性行列および減衰行列を算出する（ステップＳ１１）。

前処理部１１１は、当該三次元有限要素モデルに対し、接着、ボルト締め、張弦などの製造工程に伴う接触非線形と幾何学的非線形とを考慮して、非線形静解析を実行し、算出した剛性行列を修正して、本体Ｂｄの残留歪を考慮した剛性行列を求める（ステップＳ１２）。

また、前処理部１１１は、ステップＳ１１で算出した質量行列およびステップＳ１２で修正した剛性行列をインプットとして、本体Ｂｄの三次元有限要素モデルが真空中に存在する場合の、即ち空気が存在しない場合の、当該三次元有限要素モデルの実固有値および実固有モードを（有限要素）固有値解析により算出する（ステップＳ１３）。
前処理部１１１は、ステップＳ１１で算出した減衰行列とステップＳ１３で算出した実固有モードとをインプットとして、当該本体Ｂｄの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する（ステップＳ１４）。

次に、前処理部１１１は、ステップＳ１３で算出した実固有値および実固有モードと、ステップＳ１４で算出したモード減衰行列と、空気の物理パラメータと、をインプットとして、当該線形連成系Ｌｃの複素固有値および「線形連成系の本体表面における複素固有モードの形状」を線形連成系の運動方程式に基づく境界積分方程式を離散化して得られる非線形固有値問題の解析、より詳細には、高速多重極境界要素法と周回積分法を併用した非線形固有値解析によって算出する（ステップＳ１５）。

このようにステップＳ１１～Ｓ１５によって線形連成系Ｌｃのモーダルパラメータ（複素固有値および複素固有モード）が算出される。

前処理部１１１は、ステップＳ１３で算出した真空中本体の実固有値および実固有モードと、ステップＳ１４で算出したモード減衰行列と、空気の物理パラメータと、をインプットとして、当該線形連成系Ｌｃの周波数応答を算出する（ステップＳ１６）。ここで言う周波数応答とは、２つあり、そのうち１つは、入力で、即ち「弦支持部（発音源と線形連成系Ｌｃとの結合部）における力」のフーリエ変換で、第１の出力を、即ち当該弦支持部における変位のフーリエ変換を、割った商（図６における力at弦支持部vs変位at弦支持部）である。なお、入力で第１の出力を割った商は、「線形連成系の周波数応答解析によって得られる、少なくとも前記結合部を含めた本体表面における力に対する変位の周波数応答」である。あとの１つの周波数応答は、当該入力で、第２の出力を、即ち「空気中の任意観測点であるマイクＭｃにおける音圧」のフーリエ変換を、割った商（図５における力at弦支持部vs音圧atマイク）である。

前処理部１１１は、「前記結合部における複素固有モードの大きさ」を、「線形連成系の周波数応答解析によって得られる、少なくとも前記結合部を含めた本体表面における力に対する変位の周波数応答」をリファランスとした線形最小二乗法を用いて算出する（ステップＳ１７）。

複素固有モードの大きさを、線形最小二乗法を用いて算出する方法について式（１）および式（２）を参照して説明する。

式（２）において右辺の第１項ｄ１は「モード合成法で表現した一般粘性系モデルの周波数応答」であり、右辺の第２項ｄ２は「周波数応答解析で算出した周波数応答」である。式（２）において、ｊは虚数単位であり、ｒはモード次数である。ｉは加振点のインデックスであり、ｌは応答点のインデックスである。ｘ_ｒ（ｉ）、ｙ_ｒ（ｉ）、ｘ_ｒ（ｌ）、ｙ_ｒ（ｌ）、σ_ｒ、ω_ｄｒは、非線形固有値解析によって決定される値であり、ｘ_ｒ（ｉ）とｙ_ｒ（ｉ）は、加振点ｉにおける「複素固有モードの形状」のそれぞれ実部と虚部であり、ｘ_ｒ（ｌ）とｙ_ｒ（ｌ）は、応答点ｌにおける「複素固有モードの形状」のそれぞれ実部と虚部である。（－σ_ｒ＋ｊω_ｄｒ）は複素固有値であり、σ_ｒはモード減衰率であり、ω_ｄｒは減衰固有角振動数である。（Ｃ_ｒ＋ｊｄ_ｒ）は複素定数である。

「複素固有モードの大きさ」を線形最小二乗法を用いて算出するとは、式（２）の左辺を、第１項ｄ１から第２項ｄ２を減じた残差として表した場合に、式（１）の右辺で示されるように、当該残差の二乗和を最小とするＣ_ｒとｄ_ｒの値を求めることをいう。

音を合成する際に必要となるのは、複素固有モードの弦支持部における成分のみである。換言すれば、弦支持部への寄与度が低い複素固有モードは、切り捨ててもよい。そこで、前処理部１１１は、例えば、複素固有モードの弦支持部における成分を（ユークリッド）ノルムによって優先順位付けして、順位の高いものから順番に所定数個を抽出する。なお、抽出されなかった、すなわち弦支持部への寄与度が低い複素固有モード、および、それに付随する複素固有値は切り捨てられる（ステップＳ１８）。

そして、前処理部１１１は、「線形連成系の周波数応答解析によって得られる、少なくとも前記結合部を含めた本体表面における力に対する変位の周波数応答」をリファランスとした線形最小二乗法を、再度、適用して「前記結合部における複素固有モードの大きさ」を算出し直す（ステップＳ１９）。
なお、切り捨てのみで再度の線形最小二乗法を適用しない場合、周波数応答を十分な精度で再現できない。これに対して、切り捨て後、再度の線形最小二乗法を適用することによって、周波数応答を十分な精度で再現することができる。
また、図１６において破線Ｓｂで示される処理は、オプションであるので、音を合成する際には、ステップＳ１９で算出された複素固有モードの大きさではなく、ステップＳ１７で算出された複素固有モードの大きさを用いてもよい。あるいは、このオプションを複数回、再帰的に用いることで、段階的にモード削減を行っても良い。

ステップＳ１５によって「複素固有モードの形状」が算出され、ステップＳ１７またはＳ１９によって「複素固有モードの大きさ」が算出されるので、複素固有モードを決定することができる。

前処理部１１１によって線形連成系Ｌｃのモーダルパラメータおよび周波数応答が算出されると、演奏情報に応じて楽音信号を合成する準備が整ったことになる。このため、処理制御部１１０は、演奏情報出力装置１３から演奏情報が出力されたとき、楽器運動算出部１１２に対してステップＳ２の処理を実行させ、この後、楽音信号算出部１１３に対してステップＳ３の処理を実行させる。

楽器運動算出部１１２は、演奏情報出力装置１３から出力される演奏情報に基づいて、次のような楽器の運動に関する情報を算出する（ステップＳ２）。具体的には、楽器運動算出部１１２は、力（１）を示す第１情報、変位（２）を示す第２情報、力（３）を示す第３情報、および、変位（４）を示す第４情報を算出する。
なお、ステップＳ２における運動情報の算出におけるインプットとしては、「（広義の）物理パラメータ」と「演奏情報」とがある。このうち、「（広義の）物理パラメータ」は、「本体と空気の物理パラメータに基づいて算出された線形連成系Ｌｃのモーダルパラメータ（複素固有値、複素固有モード）」、「弦の物理パラメータ」、「ハンマーの物理パラメータ」、「ダンパーの物理パラメータ」などがある。
「演奏情報」は、「鍵盤とペダルのセンシング」から得られるリアルタイムデータでも良いし、記録済みのＭＩＤＩデータでも良い。なお、ＭＩＤＩデータとは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠して演奏情報をデータ化したものである。

また、力（１）を示す第１情報、変位（２）を示す第２情報、力（３）を示す第３情報、および、変位（４）を示す第４情報の算出には、特許文献１に記載された技術を用いることができる。具体的には、楽器運動算出部１１２は、ハンマーの変位、弦の（物理座標上またはモード座標上の）変位、および、線形連成系におけるモード座標上の変位を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。

楽音信号算出部１１３は、ステップＳ２で算出された力（３）を示す第３情報とステップＳ１６で算出された周波数応答との高速畳み込み演算によって楽音信号を算出する（ステップＳ３）。ステップＳ１６で算出された周波数応答とは、入力で、即ち「弦支持部（発音源と線形連成系Ｌｃとの結合部）における力」で、第２の出力を、即ち「空気中の任意観測点であるマイクＭｃにおける音圧」のフーリエ変換を、割った商（図５における力at弦支持部vs音圧atマイク）である。

本実施形態では、ステップＳ１５において、線形連成系Ｌｃのモーダルパラメータが算出されると、変位（４）を示す第４情報の算出に必要な一次ＩＩＲの複素数のフィルタ係数が決定する。この係数を用いることで、ステップＳ２において、低コストで、精度良く、逐次、計算されるので、次のステップＳ３において必要になる力（３）を示す第３情報も、低コストで、精度良く、逐次、算出することができることになる。
更に、本実施形態によれば、大規模な線形連成系Ｌｃの時間軸上の挙動を固有モード毎に並列に計算することが可能となるので、計算コストを低く抑えて、高品質でリアルな楽音信号を高速に合成することが可能になる。

＜変形例＞
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で併合してもよい。

実施形態では、アコースティックピアノの楽音信号合成方法について説明したが、楽音信号を合成する楽器の対象は、アコースティックピアノに限られない。例えば、運動体と発音源とが相互に作用し、発音源と本体とが相互に作用し、本体と空気とが相互に作用するような発音機構を有する楽器であれば、当該発音機構を物理法則に基づいてモデル化し、シミュレートすることで適用可能である。具体的には、ハープシコードやギターなどの撥弦楽器や、バイオリンやチェロなどの擦弦楽器などにも適用可能である。なお、運動体は、撥弦楽器であればピックや爪になり、擦弦楽器であれば弓になる。

実施形態において、弦ＳｔがハンマーＨｍに与える変位（２）、あるいは、本体Ｂｄが弦Ｓｔに与える変位（４）、あるいは、本体Ｂｄが空気に与える変位については、当該変位の時間に関する導関数である速度、あるいは、当該速度の時間に関する導関数である加速度で置き換えてもよい。

楽音信号を合成するコンピューター１０の機能は、上述した通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。
このプログラムは、コンピューター１０が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ－ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置１２が、前述の非一過性の記録媒体に相当する。

上述したコンピューター１０では、楽音信号を演奏情報出力装置１３への演奏操作に応じてリアルタイムで合成したが、楽音信号の合成については非リアルタイムで合成する構成としてもよい。具体的には、実施形態のように物理モデルで合成した楽音信号をＰＣＭ（Pulse Code Modulation）でサンプリングして録音し、当該録音した信号を、演奏情報に応じて再生することで、楽音信号を合成する構成としてもよい。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業／工数が必要であったが、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター１０での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ（メカノイズ）も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をＰＣＭでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。

楽音信号を合成する実質的な主体である制御装置１１を、演奏情報を出力する演奏情報出力装置１３や放音装置１４とは別にして、クラウドに配置する構成としてもよい。詳細には、利用者が望む楽音の仕様を、クラウドに配置された制御装置１１を含むコンピューターに送信し、当該コンピューターが上記仕様を満たす精緻な物理モデルを用いたシミュレーションにより楽音信号を合成し、当該利用者に提供する構成としてもよい。物理モデルを用いたシミュレーションにより楽音信号を合成する場合、マイクＭ（スピーカー）の位置が任意であることから、サービスの提供を受ける利用者の再生装置に合わせた楽音信号を合成することができる。例えば１６チャンネルのスピーカ再生装置のような特殊な再生装置であっても、当該特殊な再生装置に合わせて楽音信号を合成することができる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。

物理モデルを用いたシミュレーションによる楽音信号の合成を、アコースティック楽器の設計支援に用いてもよい。具体的には、物理モデルの設計を変更し、変更した物理モデルを用いて楽音信号を合成することにより、試作前の楽器の楽音をシミュレーションにより聴くことができる。したがって、例えば新規な楽器を効率良く開発することができる。 このように、物理モデルを用いたシミュレーションにより楽音信号を合成すれば、アコースティック楽器の仕様（原因）と発生楽音（結果）との因果関係が明確化されるので、楽器の設計効率を向上させることが可能になる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。

＜付記＞
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。

本開示のひとつの態様（態様１）に係る楽音信号合成方法は、運動体（Ｈｍ）と発音源（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と楽器本体（Ｂｄ）とが相互に作用し、楽器本体（Ｂｄ）と空気（Ａｒ）とが相互に作用する場合に、コンピューター（１０）が、演奏情報に応じて、空気（Ａｒ）中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成方法であって、コンピューター（１０）が、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が楽器本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出過程（ステップＳ２）と、コンピューター（１０）が、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出過程（ステップＳ３）と、を含み、線形連成系（Ｌｃ）のモーダルパラメータである複素固有値および複素固有モードは、少なくとも当該線形連成系の運動方程式に基づく境界積分方程式を離散化して得られる非線形固有値問題の解析により算出され、第４情報は、当該複素固有値および複素固有モードを用いて算出される。
この態様１によれば、線形連成系（Ｌｃ）の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。

態様１の具体例（態様２）において、線形連成系（Ｌｃ）は、一般粘性減衰系モデルで表現され、コンピューター（１０）が、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードを、線形連成系（Ｌｃ）の非線形固有値解析、周波数応答解析および線形最小二乗法によって算出する。

態様１の具体例（態様３）において、変位（２）、（４）を、当該変位の時間に関する導関数で置き換えたものとする。この態様３おいても、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。

態様１の具体例（態様４）において、モーダルパラメータおよび周波数応答の算出は、コンピューター（１０）が演算の前処理として実行する。この態様４によれば、楽音信号算出過程（ステップＳ３）を実行する際の計算コストを低く抑えることができる。

態様１乃至４のいずれかの具体例（態様５）において、モーダルパラメータの算出は、コンピューター（１０）が、楽器本体（Ｂｄ）が真空中に存在する場合の固有値と固有モードとを有限要素固有値解析によって算出する第１過程（ステップＳ１３）と、コンピューター（１０）が、固有値と固有モードを入力として、線形連成系（Ｌｃ）の複素固有値と「線形連成系（Ｌｃ）と発音源（Ｓｔ）との連結部」における複素固有モードを線形連成系の非線形固有値解析、周波数応答解析および線形最小二乗法により算出する第２過程（ステップＳ１５）と、を含む。

また、態様１に係る楽音信号合成方法は、次のようなプログラムとして把握することが可能である。即ち、態様６に係るプログラムは、運動体（Ｈｍ）と発音源（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と楽器本体（Ｂｄ）とが相互に作用し、楽器本体（Ｂｄ）と空気（Ａｒ）とが相互に作用する場合に、コンピューター（１０）に、演奏情報に応じて、空気（Ａｒ）中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、コンピューター（１０）を、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が楽器本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出部（１１２）、および、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１３）、として機能させ、線形連成系（Ｌｃ）のモーダルパラメータである複素固有値および複素固有モードは、少なくとも当該線形連成系（Ｌｃ）の運動方程式に基づく境界積分方程式を離散化して得られる非線形固有値問題の解析によって算出され、第４情報は、複素固有値および複素固有モードを用いて算出される。

なお、態様１に係る楽音信号合成方法は、次のような楽音信号合成装置として把握することが可能である。即ち、態様７に係る楽音信号合成装置は、運動体（Ｈｍ）と発音源（Ｓｔ）とが相互に作用し、発音源（Ｈｍ）と楽器本体（Ｂｄ）とが相互に作用し、楽器本体（Ｂｄ）と空気（Ａｒ）とが相互に作用する場合に、演奏情報に応じて、空気（Ａｒ）中における任意の観測点（Ｍｃ）での音圧を示す楽音信号を合成する楽音信号合成装置であって、演奏情報に応じて、運動体（Ｈｍ）が発音源（Ｓｔ）に及ぼす力（１）を示す第１情報と、発音源（Ｓｔ）が運動体（Ｈｍ）に及ぼす変位（２）を示す第２情報と、発音源（Ｓｔ）が楽器本体（Ｂｄ）と空気（Ａｒ）とから成る線形連成系（Ｌｃ）に及ぼす力を示す第３情報と、線形連成系（Ｌｃ）が発音源（Ｓｔ）に及ぼす変位（４）を示す第４情報と、を算出する楽器運動算出部（１１２）と、第３情報に基づいて観測点（Ｍｃ）における音圧を算出する楽音信号算出部（１１３）と、を含み、線形連成系（Ｌｃ）のモーダルパラメータである複素固有値および複素固有モードは、少なくとも当該線形連成系（Ｌｃ）の運動方程式に基づく境界積分方程式を離散化して得られる非線形固有値問題の解析によって算出され、第４情報は、複素固有値および複素固有モードを用いて算出される。

１０…コンピューター、１１…制御装置、１２…記憶装置、１３…演奏情報出力装置、１４…放音装置、１１０…処理制御部、１１１…前処理部、１１２…楽器運動算出部、１１３…楽音信号算出部、Ｈｍ…ハンマー（運動体）、Ｓｔ…弦（発音源）、Ｂｄ…本体（楽器本体）、Ａｒ…空気、Ｌｃ…線形連成系。

Claims (7)

1. 運動体と発音源とが相互に作用し、前記発音源と楽器本体とが相互に作用し、前記楽器本体と空気とが相互に作用する場合に、
   コンピューターが、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、
   前記コンピューターが、前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記楽器本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出過程と、
   前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
   を含み、
   前記線形連成系のモーダルパラメータである複素固有値および複素固有モードは、少なくとも前記線形連成系の非線形固有値解析によって算出され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   楽音信号合成方法。
   
2. 前記線形連成系は、一般粘性減衰系モデルで表現され、
   前記コンピューターが、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードを、前記線形連成系の非線形固有値解析、周波数応答解析および線形最小二乗法によって算出する
   請求項１に記載の楽音信号生成方法。
   
3. 前記変位を、当該変位の時間に関する導関数で置き換えた
   請求項１に記載の楽音信号合成方法。
   
4. 前記モーダルパラメータの算出は、
   前記コンピューターが演算の前処理として実行する
   請求項１に記載の楽音信号合成方法。
   
5. 前記モーダルパラメータの算出は、
   前記コンピューターが、前記楽器本体が真空中に存在する場合の固有値と固有モードとを有限要素固有値解析によって算出する第１過程と、
   前記コンピューターが、前記固有値と前記固有モードを入力として、前記線形連成系の複素固有値と「前記線形連成系と前記発音源との連結部」における複素固有モードを前記線形連成系の非線形固有値解析、周波数応答解析および線形最小二乗法により算出する第２過程と、
   を含む請求項１乃至４のいずれかに記載の楽音信号合成方法。
   
6. 運動体と発音源とが相互に作用し、前記発音源と楽器本体とが相互に作用し、前記楽器本体と空気とが相互に作用する場合に、
   コンピューターが、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成するプログラムであって、
   前記コンピューターが、
   前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記楽器本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記本体が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出部と、
   前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
   を含み、
   前記線形連成系のモーダルパラメータである複素固有値および複素固有モードは、少なくとも前記線形連成系の非線形固有値解析により算出され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   プログラム。
   
7. 運動体と発音源とが相互に作用し、前記発音源と楽器本体とが相互に作用し、前記楽器本体と空気とが相互に作用する場合に、
   コンピューターが、
   演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成装置であって、
   前記コンピューターが、前記演奏情報に応じて、
   前記運動体が前記発音源に及ぼす力を示す第１情報と、
   前記発音源が前記運動体に及ぼす変位を示す第２情報と、
   前記発音源が前記楽器本体と前記空気とから成る線形連成系に及ぼす力を示す第３情報と、
   前記線形連成系が前記発音源に及ぼす変位を示す第４情報と、
   を算出する楽器運動算出部と、
   前記コンピューターが、前記第３情報に基づいて前記観測点における音圧を算出する楽音信号算出部と、
   を含み、
   前記線形連成系のモーダルパラメータである複素固有値および複素固有モードは、少なくとも前記線形連成系の非線形固有値解析により算出され、
   前記第４情報は、前記複素固有値および前記複素固有モードを用いて算出される
   楽音信号合成装置。

Images