JP2023088496A - 発音制御方法、プログラム、発音制御装置および電子鍵盤装置 - Google Patents

Abstract

【課題】電子鍵盤装置における演奏と発音態様との関係をモデルとなる鍵盤楽器における関係に近づけること【解決手段】本発明の発音制御方法は、鍵の押下量に対応する鍵位置データを順次取得し、鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データを入力し、前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力することを含む。【選択図】図５

Description

本発明は、発音を制御する技術に関する。

アコースティックピアノは、鍵の操作に応じて、鍵に連動するハンマが弦を打つことによりピアノ音を生成する。一方、電子ピアノは、鍵の操作に応じて電子的にピアノ音を生成する。例えば、鍵の押下量を検知するセンサを用いることで鍵の挙動が測定され、所定の深さまで鍵が押し込まれた場合にピアノ音が生成される。このように、電子ピアノとアコースティックピアノとは、いずれも鍵の操作によって発音するが、発音機構が異なる。したがって、電子ピアノを用いた演奏とアコースティックピアノを用いた演奏とでは、同じ演奏をしたとしても発音のタイミングが一致しないことがある。演奏時のタッチ感を向上させるために、電子ピアノがアコースティックピアノのハンマを模した構造体を有することもある。このように鍵に連動する構造体の挙動を測定して発音タイミングの制御に用いることで、電子ピアノを用いた演奏であっても、アコースティックピアノを用いた演奏に近い発音タイミングを実現することが試みられている（例えば、特許文献１）。

特開２０１３－２１０４５１号公報

上述したように、電子ピアノにはハンマを模した構造体が設けられる場合がある。この構造体は、演奏における鍵へのタッチ感をアコースティックピアノのタッチ感に近づけるための構成であり、アコースティックピアノのハンマと類似した形状であるとは限らない。アコースティックピアノのアクション機構と同等の構成を有していない場合には、アクション機構にセンサを用いたとしてもアコースティックピアノを用いた演奏に近い発音タイミングを実現することは難しい。

本発明の目的の一つは、電子鍵盤装置における演奏と発音態様との関係をモデルとなる鍵盤楽器における関係に近づけることにある。

本発明の一実施形態によれば、鍵の押下量に対応する鍵位置データを順次取得し、鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データ入力し、前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力することを含む、発音制御方法が提供される。

本発明によれば、電子鍵盤装置における演奏と発音態様との関係をモデルとなる鍵盤楽器における関係に近づけることができる。

一実施形態における鍵盤楽器の構成を示す図である。 一実施形態における音源部の機能構成を示すブロック図である。 一実施形態における鍵位置センサの位置関係と押鍵の検出パターンを示す図である。 一実施形態におけるモデルセットテーブルを示す図である。 一実施形態における変換部の機能構成を示すブロック図である。 学習済モデルＭＡに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＡのうち使用されるモデルを示す図である。 学習済モデルＭＡ（１）を生成するときに用いる教師データの例を示す図である。 学習済モデルＭＢに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＢのうち使用されるモデルを示す図である。 学習済モデルＭＣに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＣのうち使用されるモデルを示す図である。 学習済モデルＭＤに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＤのうち使用されるモデルを示す図である。 学習済モデルＭＥに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＥのうち使用されるモデルを示す図である。 学習済モデルＭＦに対応する鍵位置の変化の例を示す図である。 学習済モデルＭＦのうち使用されるモデルを示す図である。 一実施形態における発音制御方法を示すフローチャートである。 一実施形態におけるモデル生成システムの構成を示す図である。 一実施形態における教師データの生成方法を示すフローチャートである。 一実施形態における学習済モデルの生成方法を示すフローチャートである。 一実施形態におけるルールテーブルの登録方法を示すフローチャートである。 一実施形態におけるルールテーブルを示す図である。 一実施形態における音源部の機能構成を示すブロック図である。 変形例におけるモデルセットテーブルを示す図である。

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。

［鍵盤楽器の構成］
図１は、一実施形態における鍵盤楽器の構成を示す図である。鍵盤楽器１は、例えば、電子ピアノ等の電子鍵盤装置であって、演奏操作子として複数の鍵７０を有する電子楽器の一例である。ユーザが鍵７０を操作すると、スピーカ６０から音が発生する。発生する音の種類（音色）は、操作部２１を用いて変更される。この例において、鍵盤楽器１は、ピアノの音色を用いて発音する場合に、アコースティックピアノに近い発音をすることができる。特に、鍵７０の操作に応じたタイミングおよび音量を、アコースティックピアノに近い発音として実現することができる。続いて、鍵盤楽器１の各構成について、詳述する。

鍵盤楽器１は、複数の鍵７０および筐体５０を備える。複数の鍵７０は、筐体５０に回動可能に支持されている。筐体５０には、操作部２１、表示部２３、スピーカ６０が配置されている。筐体５０の内部には、制御部１０、記憶部３０、鍵挙動測定部７５および音源部８０が配置されている。筐体５０の内部に配置された各構成は、バスを介して接続されている。

この例では、鍵盤楽器１は、外部装置と信号の入出力をするためのインターフェイスを含んでいる。インターフェイスは、例えば、音信号を出力する端子、ＭＩＤＩデータの送受信をするためのケーブル接続端子などである。例えば、インターフェイスにペダル装置が接続されることによって、鍵盤楽器１にダンパペダル等の機能が付加されてもよい。

制御部１０は、ＣＰＵなどの演算処理回路（プロセッサ）、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部１０は、ＣＰＵを用いて制御プログラムを実行することによって、各種機能を鍵盤楽器１において実現させる。操作部２１は、操作ボタン、タッチセンサおよびスライダなどの装置であり、入力された操作に応じた信号を制御部１０に出力する。表示部２３は、制御部１０による制御に基づいた画面を表示する。

記憶部３０（メモリ）は、不揮発性メモリ等の記憶装置である。記憶部３０は、制御部１０によって実行される制御プログラムを記憶する。また、記憶部３０は、音源部８０において用いられるプログラム、パラメータ、波形データ等を記憶してもよい。スピーカ６０は、制御部１０または音源部８０から出力される音信号を増幅して出力することによって、音信号に応じた音を発生する。

鍵挙動測定部７５は、複数の鍵７０のそれぞれの挙動を測定し、測定結果を示す測定データを出力する。この測定データは、鍵番号データＫｎおよび鍵位置データＫｓ（ｍ）を含む。鍵番号データＫｎは、複数の鍵７０のうち操作された鍵７０を識別する情報（例えば鍵番号）である。鍵位置データＫｓ（ｍ）は鍵７０が押下されたときの位置、すなわち押下量を示す情報である。この例では、ｍは１、２、３、４のいずれかであり、鍵７０の押下量が所定の量に到達したときに出力される情報である。

鍵７０は、レスト位置（押下量が０ｍｍ）からエンド位置（押下量が１０ｍｍ）までの範囲（押下範囲）で回動可能である。Ｋｓ（１）は押下量が２．７ｍｍのときに出力される。Ｋｓ（２）は押下量が４．５ｍｍのときに出力される。Ｋｓ（３）は押下量が６．３ｍｍのときに出力される。Ｋｓ（４）は押下量が８．１ｍｍのときに出力される。このように、この例では、鍵７０の押下量を検出するために、１つの鍵７０に対して４つのセンサが設けられている。Ｋｓ（ｍ）が出力される押下量は一例であって、様々に設定することができる。ＫｎとＫｓ（ｍ）とが関連付けられて出力されることにより、操作された鍵７０とその鍵７０に対する操作内容とが、鍵挙動測定部７５から出力される測定データによって特定される。

音源部８０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含み、鍵挙動測定部７５から入力された測定データに基づいて音信号を生成してスピーカ６０に出力する。音源部８０が生成する音信号は、鍵７０への操作毎に得られる。複数の押鍵に対応してそれぞれ得られた複数の音信号は合成され、音源部８０から出力される。音源部８０の構成について詳述する。

［音源部の構成］
図２は、一実施形態における音源部の機能構成を示すブロック図である。音源部８０におけるＤＳＰは、記憶部３０に記憶された所定のプログラムを実行することによって、変換部８１、モデルセット記憶部８３、信号生成部８５、波形データ記憶部８７および音信号出力部８９を実現する。これらの各機能の少なくとも一部がハードウエアによって実現されてもよい。

変換部８１は、鍵挙動測定部７５から順次出力される鍵番号データＫｎおよび鍵位置データＫｓ（ｍ）を取得して、信号生成部８５において用いられるフォーマットの制御データＣＤに変換する。この例では、制御データＣＤは、ＭＩＤＩ形式によって発音内容を規定するデータであって、鍵番号データＫｎに応じたノートオンおよびノートオフを含む。発音を指示するためのデータ（発音指示データ）であるノートオンには、発音の音量に関連するベロシティが関連付けられる。変換部８１は、制御データＣＤを用いることによって、信号生成部８５において生成される音信号の発音内容を制御する。すなわち、変換部８１は、発音制御装置として機能する。

ここで、鍵７０が押下されるときの鍵位置データＫｓ（ｍ）のパターンについて説明する。

図３は、一実施形態における鍵位置センサの位置関係と押鍵の検出パターンを示す図である。一般的な押鍵によれば、図３のパターンＰ１に示すように、鍵７０がレスト位置（Ｒｅｓｔ）から押下されてエンド位置（Ｅｎｄ）まで押下される。しかし、実際の押鍵によれば、パターンＰ１に限られず、様々なパターンが存在する。鍵７０の移動速度を測定するためには少なくとも２箇所での鍵７０の押下量の検出を要する。この移動速度を測定することを前提とすると、この例のように４箇所での鍵７０の押下量が検出できる場合には、押鍵の検出パターン（以下、押鍵パターンという場合がある）は、パターンＰ１以外にパターンＰ２からＰ６まで存在する。

例えば、エンド位置まで押下される前に指を鍵７０から離すような場合であっても、実際のアコースティックピアノでは、アクション機構が慣性で動作し続けてハンマが弦を打つ場合がある。このような押鍵パターンは、図３に示すパターンＰ２、Ｐ３、Ｐ５に対応する。鍵７０が押下された後レスト位置に戻る前に、再び押下されるような演奏手法も存在する。このような押鍵パターンは、図３に示すパターンＰ４、Ｐ５、Ｐ６に対応する。

直前の離鍵操作から押鍵操作までの時間差が所定時間以上の場合には、ハンマが元の位置に戻ってハンマの動きが停止した状態において押鍵操作が開始される。一方、直前の離鍵操作から押鍵操作までの時間差が所定時間より小さい場合には、ハンマが元の位置に戻る前におけるハンマの動きが安定する前（慣性移動を停止する前）の状態において押鍵操作が開始される。この場合には、鍵７０の連打による演奏操作に対応する。単打の場合と連打の場合とでは、押鍵が開始されるときのハンマの状態が異なることになるから、押鍵後のハンマの挙動も異なることになる。以下の説明では、押鍵パターンが単打かつパターンＰ１である場合には単打パターンＰ１として表し、連打かつパターンＰ４である場合には連打パターンＰ４として表す場合がある。

図２に戻って説明を続ける。変換部８１は、鍵位置データＫｓ（ｍ）が入力される学習済モデルから作用データを取得し、作用データに基づいて制御データＣＤを出力する。学習済モデルは、アコースティックピアノにおける鍵の押下量の時系列データと作用データとの対応関係を、外部のサーバ等のコンピュータにおいて機械学習させることによって生成されるニューラルネットワークを有するモデルである。このように生成された学習済モデルは、鍵盤楽器１に提供される。この例では、学習済モデルはＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を利用したモデルである。学習済モデルは、他のモデルを利用したものであってもよく、例えば、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用したモデルであってもよいし、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）を利用したモデルであってもよい。他のモデルとしては、ＨＭＭ（ＨＩＤＤＥＮ ＭＡＲＫＯＶ ＭＯＤＥＬ）またはＳＶＭ（ＳＵＰＰＯＲＴ ＶＥＣＴＯＲ ＭＡＣＨＩＮＥ）であってもよい。ＳＶＭのようなモデルの場合は、ニューラルネットワークの部分とそのモデルとを入れ替えて用いられてもよい。

作用データは、鍵の押下に伴う発音体へのアクション機構の作用に関連するデータであって、発音タイミングに関する情報（Ｋｏｎ Ｔｉｍｅ）、および発音の音量に関する情報（Ｖｅｌｏｃｉｔｙ）を含む。作用データがアコースティックピアノと関連する場合には、発音体は弦であり、アクション機構は弦を打つハンマに相当する。この場合には、作用データは、アコースティックピアノにおけるハンマによる打弦に関連するデータといえる。作用データは、この例では、鍵の操作に対応するタイミングを基準とした打弦タイミング（Ｋｏｎ Ｔｉｍｅ）、および鍵が操作されたことによる打弦時のハンマ速度（Ｖｅｌｏｃｉｔｙ）を含む。以下の説明では、学習済モデルを生成するときに用いられるピアノ等の鍵盤楽器をモデル鍵盤楽器という場合がある。

変換部８１において用いられる学習済モデルは、鍵７０が押下されたときの押鍵パターンに対応して設けられている。この例では、変換部８１は、パターンＰ１からＰ６までのそれぞれについて単打および連打の場合を含む１２種類の押鍵パターンのそれぞれに対応した学習済モデルを用いる。変換部８１によって実現される詳細の構成については後述する。

モデルセット記憶部８３は、変換部８１において用いられる１２種類の学習済モデルの組み合わせ（以下、学習済モデルセットという）を音色に対応付けて記憶する。この対応関係は、モデルセットテーブルによって規定されている。

図４は、一実施形態におけるモデルセットテーブルを示す図である。図４に示すように、モデルセットテーブルは、音色と学習済モデルセットとの対応関係を規定している。図４に示す例では、音色「ＧＰ（グランドピアノ）」と学習済モデルセット「ＭＳ（ＧＰ）」とが対応付けられている。

学習済モデルセット「ＭＳ（ＧＰ）」は、上述した１２種類の学習済モデルを含む。この１２種類の学習済モデルは、上述したように、単打および連打のそれぞれについてパターンＰ１からＰ６による鍵操作に対応した学習済モデルである。各学習済モデルは、グランドピアノにおける鍵の操作態様に対する打弦タイミングおよびハンマ速度の関係を機械学習させることによって生成されたモデルである。実際のグランドピアノでは、鍵の操作態様と打弦タイミングとが相関関係を有し、鍵の操作態様とハンマ速度とが相関関係を有する。機械学習のために用いられる学習用の教師データは、鍵の押下量の時系列データおよびその結果としての打弦タイミングおよびハンマ速度を含む。このような教師データは、実際のグランドピアノにセンサを取り付けることによって予め測定される結果を用いて生成される。

音色「ＵＰ（アップライトピアノ）」には、学習済モデルセット「ＭＳ（ＵＰ）」が対応する。学習済モデルセット「ＭＳ（ＵＰ）」に含まれる１２種類の学習済モデルは、アップライトピアノにおける鍵の操作に対する打弦タイミングおよびハンマ速度の関係を機械学習させることによって生成されたモデルである。ここでは、グランドピアノおよびアップライトピアノとは１種類ずつの音色を示しているが、さらに機種によって異なる音色が設定されてもよい。その場合には、学習済モデルを生成するときの機械学習では、それぞれの音色に対応するピアノを用いて測定された結果から得られた教師データを使用する。

変換部８１は、入力される複数の鍵位置データＫｓ（ｍ）の時系列データを取得し、学習済モデルの入力層に入力する。この時系列データは、鍵位置データＫｓ（ｍ）の組み合わせパターンと鍵位置データＫｓ（ｍ）を取得したタイミング（鍵挙動測定部７５から出力されたタイミングであってもよい）との情報を含む。時系列データは、鍵７０の押下量を時系列で示すものであるから、鍵７０の挙動を示す挙動データということもできる。時系列データが入力された学習済モデルは、中間層において演算した結果として、打弦タイミングとハンマ速度とを含む作用データを出力層に出力する。

図２に戻って説明を続ける。波形データ記憶部８７は、設定可能な音色、例えば、グランドピアノおよびアップライトピアノのそれぞれに対応する波形データを記憶している。例えば、グランドピアノに対応する波形データは、グランドピアノの音（押鍵に伴う打弦によって生じた音）をサンプリングした波形データである。

信号生成部８５は、変換部８１から出力される制御データＤＣに基づいて、音信号を生成して出力する。このとき、波形データ記憶部８７に記憶された波形データのうち、設定された音色に応じた波形データを用いて音信号を生成する。

音信号出力部８９は、信号生成部８５によって生成された音信号を、音源部８０の外部に出力する。この例では、スピーカ６０に音データが出力されて、ユーザに聴取される。続いて、変換部８１の詳細の構成について説明する。

［変換部の構成］
図５は、一実施形態における変換部の機能構成を示すブロック図である。変換部８１は、学習済モデルセット８００、選択部８１０、モデル設定部８３０、タイミング調整部８５０、生成部８７０および出力部８９０を含む。学習済モデルセット８００は、上述したように、１２種類の押鍵パターンのそれぞれに対応する学習済モデルを含む。ここでは、学習済モデルＭＡ（ＭＡ（１）、ＭＡ（２）、ＭＡ（３））、ＭＢ（ＭＢ（１）、ＭＢ（２）、ＭＢ（３））、ＭＣ（ＭＣ（１）、ＭＣ（２））、ＭＤ（ＭＤ（１）、ＭＤ（２））、ＭＥ（ＭＥ（１））、ＭＦ（ＭＦ（１））を含む。

ユーザが鍵盤楽器１に対して使用する音色を設定すると、モデル設定部８３０は、その音色に対応する学習済モデルセットをモデルセット記憶部８３から読み出して、学習済モデルセット８００として設定する。例えば、グランドピアノの音色が設定されると、モデル設定部８３０は、学習済モデルセット「ＭＳ（ＧＰ）」を学習済モデルセット８００をとして設定する。

学習済モデルＭＡ（１）、ＭＡ（２）、ＭＡ（３）は、それぞれ、単打パターンＰ１、単打パターンＰ２、単打パターンＰ３に対応する。学習済モデルＭＢ（１）、ＭＢ（２）、ＭＢ（３）は、それぞれ、連打パターンＰ１、連打パターンＰ２、連打パターンＰ３に対応する。学習済モデルＭＣ（１）、ＭＣ（２）は、それぞれ、単打パターンＰ４、単打パターンＰ５に対応する。学習済モデルＭＤ（１）、ＭＤ（２）は、それぞれ、連打パターンＰ４、連打パターンＰ５に対応する。学習済モデルＭＥ（１）は、単打パターンＰ６に対応する。学習済モデルＭＦ（１）は、連打パターンＰ６に対応する。このように、学習済モデルＭＡ、ＭＣ、ＭＥは単打用のモデル（単打学習済モデル）であり、学習済モデルＭＢ、ＭＤ、ＭＦは連打用のモデル（連打学習済モデル）である。続いて、それぞれの学習済モデルについて説明する。

図６は、学習済モデルＭＡに対応する鍵位置の変化の例を示す図である。図６は、鍵位置変化ｋｖの時間変化と鍵位置データＫｓ（ｍ）の取得タイミングとを示す図である。横軸は時刻を示し、縦軸は鍵７０の押下量に対応する。縦軸方向については、レスト位置（Ｒｅｓｔ）とエンド位置（Ｅｎｄ）との間において、Ｋｓ（１）、Ｋｓ（２）、Ｋｓ（３）およびＫｓ（４）が均等に配置されている。これは、便宜上均等に配置しただけであって、必ずしも各センサが均等間隔で配置されることを前提としたものではない。この例では、Ｋｓ（１）からＫｓ（４）までは、隣接間が１．８ｍｍである。一方、レスト位置とＫｓ（１）との間は２．７ｍｍであり、エンド位置とＫｓ（４）との間は１．９ｍｍである。後述する図９、図１１、図１３、図１５、図１７についても同じである。

図６に示す鍵位置変化ｋｖによれば、直前の離鍵から次の押鍵までの一例を示している。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（２）、Ｋｓ（１）、押鍵におけるＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻（取得タイミング）は、ｔｒｋ２、ｔｒｋ１、ｔｐｋ１、ｔｐｋ２、ｔｐｋ３、ｔｐｋ４に対応する。離鍵時のＫｓ（１）から押鍵時のＫｓ（１）までの時間Ｔｗ１（ｔｐｋ１－ｔｒｋ１）は、押鍵が単打に対応するか連打に対応するかの判断に用いられる。Ｋｓ（１）が取得された場合において、直前にＫｓ（２）が取得されていれば離鍵時のＫｓ（１）であることが特定される。Ｋｓ（１）が取得された場合において、直前にＫｓ（１）が取得され直後にＫｓ（２）が取得された場合には押鍵時のＫｓ（１）であることが特定される。図６に示すように、Ｔｗ１が予め設定された時間Ｔｄ１以上である。この場合の押鍵は、離鍵によりハンマが元の位置に戻った後における操作であると解釈される。したがって、図６に示す鍵位置変化ｋｖの押鍵パターンは、単打パターンＰ１に対応する。押鍵時のＫｓ（１）が取得されたときに、過去のＴｄ１以内にＫｓ（１）が検出されていない場合においても同様である。

押鍵時において鍵７０がエンド位置まで押し込まれず、途中で鍵７０から指が離れた場合には、指が離れたタイミングに応じて以下の２つの例が想定される。第１の例として、押鍵時においてＫｓ（３）が取得された後にＫｓ（４）が取得されずに、再びＫｓ（３）が取得される場合がある。第１の例は、単打パターンＰ２に対応する。第２の例として、押鍵時においてＫｓ（２）が取得された後にＫｓ（３）が取得されずに、再びＫｓ（２）が取得される場合がある。第２の例は単打パターンＰ３に対応する。

図７は、学習済モデルＭＡのうち使用されるモデルを示す図である。変換部８１は、単打パターンＰ１から単打パターンＰ３の場合、すなわち単打かつ押鍵時にＫｓ（１）の取得から始まる場合には、学習済モデルＭＡを利用する。Ｋｓ（２）を取得した後にＫｓ（３）が取得されずに再びＫｓ（２）が取得される場合（条件Ｋｓ（２）→Ｋｓ（２））、すなわち単打パターンＰ３の場合には、学習モデルＭＡ（３）が変換部８１によって使用される。Ｋｓ（３）を取得した後にＫｓ（４）が取得されずに再びＫｓ（３）が取得される場合（条件Ｋｓ（３）→Ｋｓ（３））、すなわち単打パターンＰ２の場合には、学習モデルＭＡ（２）が変換部８１によって使用される。Ｋｓ（４）まで取得された場合、すなわち単打パターンＰ１の場合には、学習モデルＭＡ（１）が変換部８１によって使用される。

ここで、学習済モデルＭＡ（１）についてさらに説明する。上述したように、学習済モデルは、モデル鍵盤楽器における鍵の押下量の時系列に関連する学習用の時系列データと学習用の作用データとの対応関係（教師データ）を機械学習することによって生成される。学習済モデルの入力層に時系列データが入力されると、機械学習によってパラメータが決定された中間層において演算処理が実行され、作用データが学習済モデルの出力層から出力される。以下、時系列データを入力データという場合があり、作用データを出力データという場合がある。

時系列データは、押鍵パターンに対応して決められている。例えば、学習済モデルＭＡ（１）であれば、単打パターンＰ１に対応する。したがって、時系列データは、パターンＰ１に対応するＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータである。この例では、取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここではＫｓ（１））の時刻を基準とした値に変換されている。

図８は、学習済モデルＭＡ（１）を生成するときに用いる教師データの例を示す図である。教師データは、機械学習のときに用いる時系列データ（入力データ）と作用データ（出力データ）との対応関係を示すデータである。学習済モデルＭＡ（１）に対応する教師データは、図８に示す入力データと出力データとを含む。

入力データは、学習済モデルＭＡ（１）に対応する単打パターンＰ１に対応している。すなわち、入力データは、Ｋｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）のそれぞれの取得時刻「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」を示す。取得時刻は、図６に示す例では、「ｔｐｋ１」、「ｔｐｋ２」、「ｔｐｋ３」、「ｔｐｋ４」に対応する。ここでは、Ｋｓ（１）の取得時刻を基準としている。したがって、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」は、「０」、「ｔｐｋ２－ｔｐｋ１」、「ｔｐｋ３－ｔｐｋ１」、「ｔｐｋ４－ｔｐｋ１」として表される。取得時刻の単位は、例えば、内部クロックに応じて動作するタイマのカウント数である。

出力データは、モデル鍵盤楽器の鍵が入力データに示すように押下された場合において、発音体の発音タイミング「Ｋｏｎ Ｔｉｍｅ」、および発音体に作用するときのアクション機構（例えば、発音体に作用する部分）の速度「Ｖｅｌｏｃｉｔｙ」を示す。「Ｋｏｎ Ｔｉｍｅ」は、この例では、入力データの基準時刻、すなわち、押鍵パターンの最初に取得される鍵位置データ（ここではＫｓ（１））の時刻を基準として表される。「Ｖｅｌｏｃｉｔｙ」は、「０」から「１２７」までの１２８段階で表され、上述したように発音の音量に対応する。モデル鍵盤楽器がアコースティックピアノであれば、発音タイミングはハンマが打弦するときのタイミングに対応し、アクション機構の速度はハンマの速度に対応する。この例では、押鍵パターン、打弦タイミングおよびハンマ速度は、モデル鍵盤楽器であるアコースティックピアノを用いて実測したものである。

学習済モデルＭＡ（１）は、図８に例示する教師データを用いて機械学習をすることによって生成される。他の学習済モデルを生成するときに用いられる教師データは、それぞれ例示しないが、学習済モデルに対応する押鍵パターンにしたがった入力データであればよい。例えば、学習済モデルＭＡ（３）であれば、単打パターンＰ３に対応するため、教師データにおける入力データが、Ｋｓ（１）、Ｋｓ（２）のそれぞれの取得時刻「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」であればよい。

このような方法で機械学習をしているため、学習済モデルＭＡ（１）、ＭＡ（２）、ＭＡ（３）に入力される時系列データは、図７に示すように決まる。すなわち、単打パターンＰ２に対応する学習済モデルＭＡ（２）であれば、時系列データ（入力データ）は、Ｋｓ（１）、Ｋｓ（２）、Ｋｓ（３）の取得時刻に関連するデータ（「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」）である。単打パターンＰ３に対応する学習済モデルＭＡ（３）であれば、時系列データ（入力データ）は、Ｋｓ（１）、Ｋｓ（２）の取得時刻に関連するデータ（「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」）である。作用データ（出力データ）は、いずれの学習済モデルであっても、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。学習済モデルの生成方法の詳細については後述する。

図９は、学習済モデルＭＢに対応する鍵位置の変化の例を示す図である。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（２）、Ｋｓ（１）、押鍵におけるＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻は、ｔｒｋ２、ｔｒｋ１、ｔｐｋ１、ｔｐｋ２、ｔｐｋ３、ｔｐｋ４に対応する。この部分は、図６に示す例と同じである。一方、離鍵時のＫｓ（１）から押鍵時のＫｓ（１）までの時間Ｔｗ１（ｔｐｋ１－ｔｒｋ１）は、時間Ｔｄ１より小さい。この押鍵は、離鍵によりハンマが元の位置に戻る前の操作であると解釈される。したがって、図９に示す鍵位置変化ｋｖの押鍵パターンは、連打パターンＰ１に対応する。

押鍵時において鍵７０がエンド位置まで押し込まれず、途中で鍵７０から指が離れた場合には、単打のときと同様に、指が離れたタイミングに応じて、連打パターンＰ２および連打パターンＰ３に対応する場合がある。

図１０は、学習済モデルＭＢのうち使用されるモデルを示す図である。変換部８１は、連打パターンＰ１から連打パターンＰ３の場合、すなわち連打かつ押鍵時にＫｓ（１）の取得から始まる場合には、学習済モデルＭＢを利用する。Ｋｓ（２）を取得した後にＫｓ（３）が取得されずに再びＫｓ（２）が取得される場合（条件Ｋｓ（２）→Ｋｓ（２））、すなわち連打パターンＰ３の場合には、学習モデルＭＢ（３）が変換部８１によって使用される。Ｋｓ（３）を取得した後にＫｓ（４）が取得されずに再びＫｓ（３）が取得される場合（条件Ｋｓ（３）→Ｋｓ（３））、すなわち連打パターンＰ２の場合には、学習モデルＭＢ（２）が変換部８１によって使用される。Ｋｓ（４）まで取得された場合、すなわち連打パターンＰ１の場合には、学習モデルＭＢ（１）が変換部８１によって使用される。

学習済モデルＭＡと学習済モデルＭＢとでは、単打か連打かの違いであるが、学習済モデルに入力される時系列データが異なる。図１０に示すように、学習済モデルＭＢ（１）であれば、連打パターンＰ１に対応する。したがって、時系列データは、パターンＰ１に対応するＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータに加えて、その前の離鍵時のＫｓ（２）、Ｋｓ（１）の取得時刻に関連するデータを含む。このように連打の場合には、押鍵の直前における離鍵時のＫｓ（２）、Ｋｓ（１）の取得時刻がさらに用いられる。すなわち、時系列データは、単打の場合は押鍵に関する時間範囲の取得時刻を含んでいたが、連打の場合には、さらに離鍵に関する時間範囲の取得時刻も含む。取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここでは押鍵時のＫｓ（１））の時刻を基準とした値に変換されている。最初に用いる離鍵時のＫｓ（２）の取得時刻を基準としてもよい。

学習済モデルＭＢ（１）に入力される時系列データは、離鍵時のＫｓ（２）、Ｋｓ（１）、押鍵時のＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」を含む。学習済モデルＭＢ（２）に入力される時系列データは、離鍵時のＫｓ（２）、Ｋｓ（１）、押鍵時のＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」を含む。学習済モデルＭＢ（３）に入力される時系列データは、離鍵時のＫｓ（２）、Ｋｓ（１）、押鍵時のＫｓ（１）、Ｋｓ（２）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（１）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」を含む。作用データ（出力データ）は、いずれの学習済モデルであっても、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。

学習済モデルＭＢを生成するときに用いる教師データについては、入力データの部分が上述した時系列データに対応すればよく、学習済モデルＭＡの場合と同様であるため、その説明を省略する。

図１１は、学習済モデルＭＣに対応する鍵位置の変化の例を示す図である。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（３）、Ｋｓ（２）、押鍵におけるＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻は、ｔｒｋ３、ｔｒｋ２、ｔｐｋ２、ｔｐｋ３、ｔｐｋ４に対応する。離鍵時のＫｓ（２）から押鍵時のＫｓ（２）までの時間Ｔｗ２（ｔｐｋ２－ｔｒｋ２）は、予め設定された時間Ｔｄ２以上である。この場合の押鍵は、ハンマの動きが安定した状態（慣性移動を停止した後）における操作であると解釈される。したがって、図１１に示す鍵位置変化ｋｖの押鍵パターンは、単打パターンＰ４に対応する。押鍵時のＫｓ（２）が取得されたときに、過去のＴｄ２以内にＫｓ（２）が検出されていない場合においても同様である。時間Ｔｄ２と上述した時間Ｔｄ１とは、同じであってもよいし、異なっていてもよい。

押鍵時において鍵７０がエンド位置まで押し込まれず、途中で鍵７０から指が離れた場合には、指が離れたタイミングに応じて、単打パターンＰ５に対応する場合がある。

図１２は、学習済モデルＭＣのうち使用されるモデルを示す図である。変換部８１は、単打パターンＰ４または単打パターンＰ５の場合、すなわち単打かつ押鍵時にＫｓ（２）の取得から始まる場合には、学習済モデルＭＣを利用する。Ｋｓ（３）を取得した後にＫｓ（４）が取得されずに再びＫｓ（３）が取得される場合（条件Ｋｓ（３）→Ｋｓ（３））、すなわち単打パターンＰ５の場合には、学習モデルＭＣ（２）が変換部８１によって使用される。Ｋｓ（４）まで取得された場合、すなわち単打パターンＰ４の場合には、学習モデルＭＣ（１）が変換部８１によって使用される。

図１２に示すように、学習済モデルＭＣ（１）であれば、単打パターンＰ４に対応する。したがって、時系列データは、パターンＰ４に対応するＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータを含む。取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここではＫｓ（２））の時刻を基準とした値に変換されている。

学習済モデルＭＣ（１）に入力される時系列データはＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」を含む。学習済モデルＭＣ（２）に入力される時系列データは、Ｋｓ（２）、Ｋｓ（３）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」を含む。作用データ（出力データ）は、いずれの学習済モデルであっても、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。

学習済モデルＭＣを生成するときに用いる教師データについては、入力データの部分が上述した時系列データに対応すればよく、学習済モデルＭＡの場合と同様であるため、その説明を省略する。

図１３は、学習済モデルＭＤに対応する鍵位置の変化の例を示す図である。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（３）、Ｋｓ（２）、押鍵におけるＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻は、ｔｒｋ３、ｔｒｋ２、ｔｐｋ２、ｔｐｋ３、ｔｐｋ４に対応する。離鍵時のＫｓ（２）から押鍵時のＫｓ（２）までの時間Ｔｗ２（ｔｐｋ２－ｔｒｋ２）は、予め設定された時間Ｔｄ２より小さい。この場合の押鍵は、ハンマの動きが安定する前（慣性移動を停止する前）の状態における操作であると解釈される。したがって、図１３に示す鍵位置変化ｋｖの押鍵パターンは、連打パターンＰ４に対応する。

押鍵時において鍵７０がエンド位置まで押し込まれず、途中で鍵７０から指が離れた場合には、指が離れたタイミングに応じて、連打パターンＰ５に対応する場合がある。

図１４は、学習済モデルＭＤのうち使用されるモデルを示す図である。変換部８１は、連打パターンＰ４または連打パターンＰ５の場合、すなわち連打かつ押鍵時にＫｓ（２）の取得から始まる場合には、学習済モデルＭＤを利用する。Ｋｓ（３）を取得した後にＫｓ（４）が取得されずに再びＫｓ（３）が取得される場合（条件Ｋｓ（３）→Ｋｓ（３））、すなわち連打パターンＰ５の場合には、学習モデルＭＤ（２）が変換部８１によって使用される。Ｋｓ（４）まで取得された場合、すなわち連打パターンＰ４の場合には、学習モデルＭＤ（１）が変換部８１によって使用される。

学習済モデルＭＣと学習済モデルＭＤとでは、単打か連打かの違いであるが、学習済モデルに入力される時系列データが異なる。図１４に示すように、学習済モデルＭＤ（１）であれば、連打パターンＰ４に対応する。したがって、時系列データは、パターンＰ４に対応するＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータに加えて、その前の離鍵時のＫｓ（３）、Ｋｓ（２）の取得時刻に関連するデータを含む。このように連打の場合には、押鍵直前の離鍵時における２つの鍵位置データの取得時刻がさらに用いられることは、学習済モデルＭＢの場合と同じである。取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここでは押鍵時のＫｓ（２））の時刻を基準とした値に変換されている。最初に用いる離鍵時のＫｓ（２）の取得時刻を基準としてもよい。

学習済モデルＭＤ（１）に入力される時系列データは離鍵時のＫｓ（３）、Ｋｓ（２）、押鍵時のＫｓ（２）、Ｋｓ（３）、Ｋｓ（４）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」を含む。学習済モデルＭＤ（２）に入力される時系列データは、離鍵時のＫｓ（３）、Ｋｓ（２）、押鍵時のＫｓ（２）、Ｋｓ（３）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（２）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」を含む。作用データ（出力データ）は、いずれの学習済モデルであっても、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。

学習済モデルＭＤを生成するときに用いる教師データについては、入力データの部分が上述した時系列データに対応すればよく、学習済モデルＭＡの場合と同様であるため、その説明を省略する。

図１５は、学習済モデルＭＥに対応する鍵位置の変化の例を示す図である。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（４）、Ｋｓ（３）、押鍵におけるＫｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻は、ｔｒｋ４、ｔｒｋ３、ｔｐｋ３、ｔｐｋ４に対応する。離鍵時のＫｓ（３）から押鍵時のＫｓ（３）までの時間Ｔｗ３（ｔｐｋ３－ｔｒｋ３）は、予め設定された時間Ｔｄ３以上である。この場合の押鍵は、ハンマの動きが安定した状態（慣性移動を停止した後）における操作であると解釈される。したがって、図１５に示す鍵位置変化ｋｖの押鍵パターンは、単打パターンＰ６に対応する。押鍵時のＫｓ（３）が取得されたときに、過去のＴｄ３以内にＫｓ（３）が検出されていない場合においても同様である。時間Ｔｄ３と上述した時間Ｔｄ１、Ｔｄ２とは、同じであってもよいし、異なっていてもよい。

図１６は、学習済モデルＭＥのうち使用されるモデルを示す図である。変換部８１は、単打パターンＰ６の場合、すなわち単打かつ押鍵時にＫｓ（３）の取得から始まる場合には、学習済モデルＭＥ（この例では、学習済モデルＭＥ（１））を利用する。図１６に示すように、学習済モデルＭＥ（１）であれば、単打パターンＰ６に対応する。したがって、時系列データは、パターンＰ６に対応するＫｓ（３）、Ｋｓ（４）の取得時刻に関連するデータを含む。取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここではＫｓ（３））の時刻を基準とした値に変換されている。

学習済モデルＭＥ（１）に入力される時系列データはＫｓ（３）、Ｋｓ（４）の取得時刻に関連するデータ（「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」）である。作用データ（出力データ）は、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。

学習済モデルＭＥを生成するときに用いる教師データについては、入力データの部分が上述した時系列データに対応すればよく、学習済モデルＭＡの場合と同様であるため、その説明を省略する。

図１７は、学習済モデルＭＦに対応する鍵位置の変化の例を示す図である。鍵位置変化ｋｖによれば、離鍵におけるＫｓ（４）、Ｋｓ（３）、押鍵におけるＫｓ（３）、Ｋｓ（４）の順で取得される。それぞれの取得時刻は、ｔｒｋ４、ｔｒｋ３、ｔｐｋ３、ｔｐｋ４に対応する。離鍵時のＫｓ（３）から押鍵時のＫｓ（３）までの時間Ｔｗ３（ｔｐｋ３－ｔｒｋ３）は、予め設定された時間Ｔｄ３より小さい。この場合の押鍵は、ハンマの動きが安定する前（慣性移動を停止する前）の状態における操作であると解釈される。したがって、図１７に示す鍵位置変化ｋｖの押鍵パターンは、連打パターンＰ６に対応する。

図１８は、学習済モデルＭＦのうち使用されるモデルを示す図である。変換部８１は、連打パターンＰ６の場合、すなわち連打かつ押鍵時にＫｓ（３）の取得から始まる場合には、学習済モデルＭＦ（この例では、学習済モデルＭＦ（１））を利用する。学習済モデルＭＥと学習済モデルＭＦとでは、単打か連打かの違いであるが、学習済モデルに入力される時系列データが異なる。図１８に示すように、学習済モデルＭＦ（１）であれば、連打パターンＰ６に対応する。したがって、時系列データは、パターンＰ６に対応するＫｓ（３）、Ｋｓ（４）の取得時刻に関連するデータに加えて、その前の離鍵時のＫｓ（４）、Ｋｓ（３）の取得時刻に関連するデータを含む。このように連打の場合には、押鍵直前の離鍵時における２つの鍵位置データの取得時刻がさらに用いられることは、学習済モデルＭＢ、ＭＤの場合と同じである。取得時刻は、押鍵パターンの最初に取得される鍵位置データ（ここでは押鍵時のＫｓ（３））の時刻を基準とした値に変換されている。最初に用いる離鍵時のＫｓ（２）の取得時刻を基準としてもよい。

学習済モデルＭＦ（１）に入力される時系列データは離鍵時のＫｓ（４）、Ｋｓ（３）、押鍵時のＫｓ（３）、Ｋｓ（４）の取得時刻に関連するデータである。すなわち、時系列データは、「Ｋｓ（４）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（３）Ｔｉｍｅ」、「Ｋｓ（４）Ｔｉｍｅ」を含む。作用データ（出力データ）は、「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含む。

学習済モデルＭＦを生成するときに用いる教師データについては、入力データの部分が上述した時系列データに対応すればよく、学習済モデルＭＡの場合と同様であるため、その説明を省略する。

図５に戻って説明を続ける。選択部８１０は、鍵挙動測定部７５から順次出力される鍵番号データＫｎおよび鍵位置データＫｓ（ｍ）を取得する。選択部８１０は、以下に説明する処理を鍵番号データＫｎに対応する音高毎に分離して実行する。選択部８１０は、順次取得した鍵位置データＫｓ（ｍ）と取得したタイミングｔｃとに基づいて学習済モデルＭＡ、ＭＢ、ＭＣ、ＭＤ、ＭＥ、ＭＦのいずれかを選択し、Ｋｓ（ｍ）とｔｃとを関連付けて出力する。上述したように、Ｋｓ（ｍ）の取得順序と、Ｔｗ１、Ｔｗ２、Ｔｗ３、Ｔｗ４とに基づいて、学習済モデルＭＡ、ＭＢ、ＭＣ、ＭＤ、ＭＥ、ＭＦのいずれかが選択される。

学習済モデルＭＡは、単打かつ押鍵時にＫｓ（１）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（１）を取得したときに、その前のＴｄ１以内に離鍵時Ｋｓ（１）を取得していない場合が相当する。この場合には、選択部８１０は、学習済モデルＭＡ（１）、ＭＡ（２）、ＭＡ（３）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＡ（１）、ＭＡ（２）、ＭＡ（３）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。学習済モデルＭＡ（３）は、押鍵時のＫｓ（３）を受け取った場合（押鍵パターンＰ３ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。学習済モデルＭＡ（２）は、押鍵時のＫｓ（４）を受け取った場合（押鍵パターンＰ２ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。

学習済モデルＭＢは、連打かつ押鍵時にＫｓ（１）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（１）を取得したときに、その前のＴｄ１以内に離鍵時のＫｓ（１）を取得した場合が相当する。この場合には、選択部８１０は、学習済モデルＭＢ（１）、ＭＢ（２）、ＭＢ（３）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＢ（１）、ＭＢ（２）、ＭＢ（３）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。学習済モデルＭＢ（３）は、押鍵時のＫｓ（３）を受け取った場合（押鍵パターンＰ３ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。学習済モデルＭＢ（２）は、押鍵時のＫｓ（４）を受け取った場合（押鍵パターンＰ２ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。

学習済モデルＭＣは、単打かつ押鍵時にＫｓ（２）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（２）を取得したときに、その前のＴｄ２以内に離鍵時Ｋｓ（２）を取得していない場合が相当する。この場合には、選択部８１０は、学習済モデルＭＣ（１）、ＭＣ（２）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＣ（１）、ＭＣ（２）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。学習済モデルＭＣ（２）は、押鍵時のＫｓ（４）を受け取った場合（押鍵パターンＰ５ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。

学習済モデルＭＤは、連打かつ押鍵時にＫｓ（２）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（２）を取得したときに、その前のＴｄ２以内に離鍵時のＫｓ（２）を取得した場合が相当する。選択部８１０は、学習済モデルＭＤ（１）、ＭＤ（２）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＤ（１）、ＭＤ（２）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。学習済モデルＭＤ（２）は、押鍵時のＫｓ（４）を受け取った場合（押鍵パターンＰ５ではないことが確定した場合）には、作用データＯＤを出力するための演算処理を停止する。

学習済モデルＭＥは、単打かつ押鍵時にＫｓ（３）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（３）を取得したときに、その前のＴｄ３以内に離鍵時Ｋｓ（３）を取得していない場合が相当する。選択部８１０は、学習済モデルＭＥ（１）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＥ（１）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。

学習済モデルＭＦは、連打かつ押鍵時にＫｓ（３）の取得から始まる場合に選択される。例えば、押鍵時のＫｓ（３）を取得したときに、その前のＴｄ３以内に離鍵時のＫｓ（３）を取得した場合が相当する。選択部８１０は、学習済モデルＭＦ（１）に既に取得したＫｓ（ｍ）とｔｃとを出力し、続いてＫｓ（ｍ）が取得されるとそのＫｓ（ｍ）とｔｃとを順次出力する。学習済モデルＭＦ（１）は、Ｋｓ（ｍ）とｔｃとを時系列データとして受け取り、これらを入力データとした演算により出力データとして作用データＯＤを出力する。

タイミング調整部８５０は、学習済モデルセット８００のいずれかの学習済モデルから作用データＯＤを受け取ると、作用データＯＤに含まれる「Ｋｏｎ Ｔｉｍｅ」に応じたタイミングで、「Ｖｅｌｏｃｉｔｙ」を出力する。「Ｋｏｎ Ｔｉｍｅ」に応じたタイミングとは、例えば、作用データＯＤを出力した学習済モデルにおいて使用された基準時刻に「Ｋｏｎ Ｔｉｍｅ」を加算した時刻を示す。後段の処理等の影響を考慮して、このタイミングに対して所定時間の補正がされてもよい。例えば処理遅延を考慮する場合には、このタイミングを所定時間前の時刻とすればよい。

タイミング調整部８５０が「Ｖｅｌｏｃｉｔｙ」を出力すると、学習済モデルセット８００において演算処理中の学習済モデルがあれば、演算処理が中止される。例えば、タイミング調整部８５０が学習済モデルＭＡ（２）からの作用データＯＤを取得した場合を想定する。この場合には、学習済モデルＭＡ（１）がＫｓ（４）およびｔｃの入力を待っている状態であるため、学習済モデルＭＡ（１）の演算処理を停止させて入力層への入力を初期化する。

生成部８７０は、鍵挙動測定部７５から順次出力される鍵番号データＫｎおよび鍵位置データＫｓ（ｍ）を取得する。生成部８７０は、順次取得されるＫｓ（ｍ）のパターンにより離鍵を検出すると、Ｋｎに対応した音高のノートオフを示す情報を生成して出力部８９０に出力する。生成部８７０は、順次取得されるＫｓ（ｍ）のパターンにより押鍵を検出すると、Ｋｎに対応した音高のノートオンを示す情報を生成して出力部８９０に出力する。

出力部８９０は、生成部８７０からノートオフを示す情報を受け取ると、ノートオフを示す制御データＣＤを出力する。出力部８９０は、生成部８７０からノートオンを示す情報を受け取ると、タイミング調整部８５０から「Ｖｅｌｏｃｉｔｙ」を受け取るまで待機する。出力部８９０は、「Ｖｅｌｏｃｉｔｙ」を受け取ると、「Ｖｅｌｏｃｉｔｙ」をベロシティ値としてノートオンを示す制御データＣＤを出力する。

このようにして変換部８１から出力された制御データＣＤは、信号生成部８５において音信号の生成に用いられる。続いて、変換部８１における処理が実現する発音制御方法を説明する。

図１９は、一実施形態における発音制御方法を示すフローチャートである。鍵盤楽器１が起動されると、変換部８１は、発音制御方法のための処理を実行する。この処理は、各鍵（各音高）に対応して実行される。変換部８１は、鍵位置データＫｓ（ｍ）を取得するまで待機する（ステップＳ１０１；Ｎｏ）。変換部８１は、鍵位置データＫｓ（ｍ）を取得すると（ステップＳ１０１；Ｙｅｓ）、既に取得した鍵位置データＫｓ（ｍ）の組み合わせ（データセット）により、学習済モデルを選択することが可能か否かを判定する（ステップＳ１０３）。選択される学習済モデルは、選択部８１０がＫｓ（ｍ）およびｔｃを出力すべきモデルである。

データセットから学習済モデルを選択することができない場合（ステップＳ１０３；Ｎｏ）には、変換部８１は、再び鍵位置データＫｓ（ｍ）を取得するまで待機する（ステップＳ１０１；Ｎｏ）。データセットから学習済モデルを選択することができる場合（ステップＳ１０３；Ｙｅｓ）には、変換部８１は、使用する学習済モデルを選択する（ステップＳ１０５）。変換部８１は、選択した学習済モデルに対して鍵位置データＫｓ（ｍ）およびｔｃを入力する（ステップＳ１０７）。

変換部８１は、選択した学習済モデルから得られた作用データＯＤに含まれる「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を用いて制御データＣＤを生成し、信号生成部８５に出力して（ステップＳ１０９）、再び鍵位置データＫｓ（ｍ）を取得するまで待機する（ステップＳ１０１；Ｎｏ）。以上が、変換部８１についての説明である。

上述した一実施形態における鍵盤楽器１は、学習済モデルを用いて、鍵７０の操作に応じた鍵位置データＫｓ（ｍ）の時系列データから発音タイミングおよびベロシティを取得し、これらのパラメータを用いて音信号を生成する。この学習済モデルは、モデル鍵盤楽器を再現するようにした教師データを用いて生成される。そのため、モデル鍵盤楽器とは全く異なる発音機構の電子鍵盤装置のような鍵盤楽器１においても、演奏と発音態様との関係をモデル鍵盤楽器に近づけることができる。

続いて、学習済モデルを生成するためのシステムについて説明する。

図２０は、一実施形態におけるモデル生成システムの構成を示す図である。図２０に示すモデル生成システムは、モデル鍵盤楽器１Ｌおよびモデル生成装置４を含む。モデル鍵盤楽器１Ｌは、鍵７０Ｌ、アクション機構７２Ｌ、弦７４Ｌ、鍵挙動測定部７５Ｌ、ハンマ挙動測定部７７Ｌ、押鍵機構７８Ｌおよびインターフェイス７９Ｌを含む。鍵７０Ｌ、アクション機構７２Ｌおよび弦７４Ｌは、グランドピアノにおける鍵、アクション機構および弦にそれぞれ対応する。したがって、アクション機構７２Ｌは、弦を打つためのハンマを含む。

鍵挙動測定部７５Ｌは、上述した鍵挙動測定部７５と同様に、鍵７０Ｌの挙動を測定し、測定結果を示す鍵測定データを出力する。音高の異なる複数の鍵に対応した学習済モデルを生成する場合でなければ、特定の１つの鍵７０Ｌに対応して鍵測定データが出力されるようになっていればよい。この鍵測定データは、鍵位置データＫｓ（ｍ）を含み、鍵番号データＫｎは含まれていなくてもよい。鍵位置データＫｓ（ｍ）は、上述した鍵挙動測定部７５から出力される測定データに含まれるものと同じである。すなわち、鍵７０Ｌの押下量に応じて、Ｋｓ（１）からＫｓ（４）までが出力される。

ハンマ挙動測定部７７Ｌは、アクション機構７２Ｌにおけるハンマが弦７４Ｌを打つタイミングおよびハンマが弦７４Ｌを打つときの速度を測定し、測定結果を示すハンマ測定データを出力する。

押鍵機構７８Ｌは、鍵７０Ｌを押下するための構造、例えば、ソレノイドを有する。押鍵機構７８Ｌは、様々な態様で鍵７０Ｌを押下するように制御されている。押鍵機構７８Ｌの動作は、例えば、モデル生成装置４から送信される制御信号により制御される。

インターフェイス７９Ｌは、モデル生成装置４と有線または無線で接続する。インターフェイス７９Ｌは、モデル生成装置４から受信した制御信号を押鍵機構７８Ｌに出力する。インターフェイス７９Ｌは、鍵挙動測定部７５Ｌから出力された鍵測定データおよびハンマ挙動測定部７７Ｌから出力されたハンマ測定データをモデル生成装置４に送信する。

モデル生成装置４は、制御部４１、記憶部４３、通信部４５およびインターフェイス４７を含む。

制御部４１は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部４１は、ＣＰＵを用いて制御プログラムを実行することによって、教師データ生成機能と学習済モデル生成機能とをモデル生成装置４において実現させる。教師データ生成機能は、教師データを生成して記憶部４３に記録するための機能である。学習済モデル生成機能は、学習済モデルを生成して記憶部４３に記録するための機能である。制御部４１は、押鍵機構７８Ｌを制御するための制御信号を生成する。

記憶部４３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部４３は、制御部４１によって実行される制御プログラムを記憶する。また、記憶部４３は、生成した教師データ４３１および生成した学習済モデル４３５を記憶する。教師データ４３１は、図８で示した教師データのように入力データと出力データとを含む。学習済モデル４３５は、学習済モデルセットに含まれる学習済モデルに対応する。

通信部４５は、外部装置と通信することによって、学習済モデル４３５等を送信する。インターフェイス４７は、モデル鍵盤楽器１Ｌと有線または無線で接続する。インターフェイス４７は、制御信号をモデル生成装置４に送信する。インターフェイス４７は、モデル生成装置４から鍵測定データおよびハンマ測定データを受信する。

制御部４１によって実現される教師データ生成機能および学習済モデル生成機能によって実行される方法ついて説明する。

図２１は、一実施形態における教師データの生成方法を示すフローチャートである。教師データを開始するための指示がユーザによって入力されると、制御部４１が様々な押鍵の態様を設定し、各押鍵態様に対応した制御信号を順にモデル鍵盤楽器１Ｌに出力する。図２１に示す教師データの生成方法は、制御信号がモデル鍵盤楽器１Ｌに出力される度に実行される。学習済モデルを生成するために必要な数の制御信号が生成されモデル鍵盤楽器１Ｌに順に出力される。

制御部４１は、制御信号によって押鍵機構７８Ｌが鍵７０Ｌを操作することによってモデル鍵盤楽器１Ｌから出力される鍵測定データおよびハンマ測定データを取得する。これによって、制御部４１は、鍵位置データＫｓ（ｍ）を取得し（ステップＳ４０１）し、ハンマの打弦タイミングおよび打弦速度を取得する（ステップＳ４０３）。制御部４１は、鍵位置データＫｓ（ｍ）を入力データとし、打弦タイミングおよび打弦速度を出力データとして、教師データ４３１を生成して記憶部４３に記録して（ステップＳ４０５）、処理を終了する。

このようにして、生成された制御信号の数に相当する入力データと出力データとの組が教師データ４３１として記憶部４３に記録される。このとき、教師データ４３１は、上述した１２種類の押鍵パターン毎に分類される。

図２２は、一実施形態における学習済モデルの生成方法を示すフローチャートである。図２２に示す学習済モデルの生成方法は、学習済モデルを生成するための指示がユーザによって入力されると実行される。制御部４１は、記憶部４３から教師データ４３１を取得する（ステップＳ４１１）。制御部４１は、押鍵パターン毎に分類された教師データ４３１を用いて機械学習を実行し（ステップＳ４１３）、各押鍵パターンに対応する学習済モデル４３５を生成して記憶部４３に記録して（ステップＳ４１５）、処理を終了する。１２種類の押鍵パターンに対応する学習済モデルによって、上述した学習済モデルセットが生成される。以上が、学習済モデルを生成するためのシステムについての説明である。

ここで、モデル生成装置４は、さらに学習済モデルセットを用いて、入力データと出力データとの対応関係を規定するルールテーブルを生成してもよい。ルールテーブルは、例えば、記憶部４３に記憶される。ルールテーブルは、鍵盤楽器１の変換部８１で用いられる学習済モデルセットの代わりに用いられてもよい。

図２３は、一実施形態におけるルールテーブルの登録方法を示すフローチャートである。図２３に示すルールテーブルの登録方法は、ルールテーブルを生成するための指示がユーザによって入力されると実行される。制御部４１は、学習済モデル４３５を取得する（ステップＳ４２１）。制御部４１は、取得した学習済モデル４３５に対応する押鍵パターンに対応する入力データセットを取得する（ステップＳ４２３）。入力データセットは、互いに同一の押鍵パターンに対応する複数の入力データを含む。複数の入力データは、互いに同一の押鍵パターンに対応する鍵位置データＫｓ（ｍ）の少なくとも１つの値が互いに異なる。言い換えると、複数の入力データは、互いに同一の押鍵パターンにおける様々な態様の押鍵操作を示す。

制御部４１は、複数の入力データのうち、１つの入力データを学習済モデル４３５に提供し（ステップＳ４２５）、学習済モデル４３５から出力データを取得する（ステップＳ４２７）。制御部４１は、入力データと出力データとを対応付けてルールテーブルに登録する（ステップＳ４２９）。入力データセットに含まれる全ての入力データの処理が完了していない場合（ステップＳ４３１；Ｎｏ）には、制御部４１は、残っている入力データに対する処理として、ステップＳ４２５に戻って処理を続ける。一方、入力データセットに含まれる全ての入力データの処理が完了した場合（ステップＳ４３１；Ｙｅｓ）には、制御部４１は、ルールテーブルの登録方法における処理を終了する。このようにして生成されたルールテーブルについて説明する。ルールテーブルは押鍵パターン毎に生成される。

図２４は、一実施形態におけるルールテーブルを示す図である。図２４に示すルールテーブルは、押鍵パターンが単打パターンＰ１に対応する学習済モデルＭＡ（１）に代えて用いられるルールテーブルの例である。ルールテーブルに登録されている入力データは、上述したステップＳ４２３で取得された入力データセットに含まれる複数の入力データに対応する。ルールテーブルに対応する出力データは、それぞれの入力データに対応してステップＳ４２７で取得された出力データに対応する。

このように、ルールテーブルは、対応する押鍵パターンにおける様々な態様の押鍵操作（入力データ）に対して、出力データを規定している。単打パターンＰ１の場合には、入力データではＫｓ（１）を基準としたＫｓ（２）からＫｓ（４）において、例えばそれぞれ１００通りの値が設定される。これによって１０^６パターン（１Ｍパターン）がルールテーブルに登録される。連打パターンＰ１の場合に同様の考え方で対応すると、離鍵時のＫｓ（２）を基準として、離鍵時のＫｓ（１）、押鍵時のＫｓ（１）からＫｓ（４）が存在するから、１０^１０パターン（１０Ｇパターン）が必要となる。

一方、連打パターンＰ１は単打パターンＰ１よりも精度を求められない。したがって、連打パターンのときのＫｓ（ｍ）のそれぞれの取り得る値の数を、単打パターンよりも減らしてもよい。例えば、離鍵時のＫｓ（１）、押鍵時のＫｓ（１）をそれぞれ２０通りの値とし、押鍵時のＫｓ（２）からＫｓ（４）をそれぞれ５０通りの値とすれば、５×１０^７パターン（５０Ｍパターン）でよいことになる。押鍵時の操作態様の方が離鍵時の操作態様よりも出力データへの影響が大きい。したがって、この例示のように、Ｋｓ（ｍ）のそれぞれの取り得る値の数は、押鍵が始まる前よりも後において大きくなることが好ましい。

続いて、鍵盤楽器１の変換部８１において学習済モデルに代えてルールテーブルが用いられる場合の例について説明する。

図２５は、一実施形態における音源部の機能構成を示すブロック図である。図２５に示す音源部８０Ａは、変換部８１Ａ、テーブル記憶部８３Ａ、信号生成部８５、波形データ記憶部８７および音信号出力部８９を含む。信号生成部８５、波形データ記憶部８７および音信号出力部８９は、上述した音源部８０と同様の機能を有する。テーブル記憶部８３Ａは、ルールテーブルセットを記憶する。ルールテーブルセットは、各押鍵パターンに対応するルールテーブルを含む。

変換部８１Ａは、図５に示す変換部８１の構成に類似するが、学習済モデルセット８００における各押鍵パターンに対応する学習済モデルに代えて、ルールテーブルが用いられる。したがって、モデル設定部８３０については、ルールテーブルを設定する機能として実現される。変換部８１Ａは、設定されたルールテーブルを用いて、入力データから出力データを得る機能を有する。

ルールテーブルを用いて入力データから出力データを得るための演算量は、学習済モデルを用いて入力データから出力データを得る演算量よりも少ない。したがって、変換部８１Ａを用いた音源部８０Ａを鍵盤楽器１に用いることによって、音源部８０Ａに用いるＤＳＰの演算処理能力を低くすることができる。

＜変形例＞
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。一実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。以下、一部の変形例について説明する。

（１）モデルセット記憶部８３は、音色に対応付けて学習済モデルセットを記憶する。学習済モデルセットは、鍵７０が対応する音高に応じて異なるセットが適用されるように記憶されていてもよい。全ての鍵７０のそれぞれにおいて、互いに異なる学習済モデルセットが適用されてもよいし、複数の音域のそれぞれにおいて、互いに異なる学習済モデルセットを有していてもよい。すなわち、鍵７０のうち、第１鍵を操作した場合と、第１鍵とは異なる音高の第２鍵を操作した場合とで互いに異なる学習済モデルセットが適用されてもよい。

図２６は、変形例におけるモデルセットテーブルを示す図である。図２６に示すモデルセットテーブルの例では、複数の音域（低音域、中音域、高音域）のそれぞれに対応して学習済モデルセットが存在する。例えば、音色が「ＧＰ」である場合には、学習済モデルセットは、低音域に適用される学習済モデルセットＭＬＳ（ＧＰ）、中音域に適用される学習済モデルセットＭＭＳ（ＧＰ）および高音域に適用される学習済モデルセットＭＨＳ（ＧＰ）を含む。低音域、中音域および高音域のそれぞれに所属する鍵７０は予め設定されればよい。

各音域の学習済モデルセットは、それぞれを生成するときの教師データについても異なっている。すなわち、教師データは、各音域に対応する鍵を操作することによって得られたデータである。

このようにすると、鍵７０が所属する音域に対応した学習済モデルセットに含まれる学習済モデルを使用することができる。すなわち、鍵盤楽器１は、音高の違いによる鍵７０の操作から学習済モデルを用いることで、よりモデル鍵盤楽器に近いものとなる作用データによって音信号を生成することができる。

（２）作用データＯＤは「Ｋｏｎ Ｔｉｍｅ」および「Ｖｅｌｏｃｉｔｙ」を含んでいたが、いずれか一方のみを含んでいてもよい。作用データＯＤが「Ｖｅｌｏｃｉｔｙ」を含んでいない場合には、生成部８７０において、「Ｖｅｌｏｃｉｔｙ」に相当する情報を鍵位置データＫｓ（ｍ）に基づいて生成してもよい。例えば、２つのＫｓ（ｍ）の取得時間差に基づいて鍵７０の速度を測定し、その速度に応じて「Ｖｅｌｏｃｉｔｙ」に相当する情報が生成されればよい。一方、作用データＯＤが「Ｋｏｎ Ｔｉｍｅ」を含んでいない場合には、生成部８７０において、「Ｋｏｎ Ｔｉｍｅ」に相当する情報を鍵位置データＫｓ（ｍ）に基づいて生成してもよい。例えば、Ｋｓ（３）を取得したタイミングに応じて「Ｋｏｎ Ｔｉｍｅ」に相当する情報が生成されればよい。

（３）モデル鍵盤楽器は、鍵の操作によってアクション機構が動作してハンマが打弦する構造を有するグランドピアノおよびアップライトピアノなどのアコースティックピアノを例示したが、ハンマが打弦する構造以外を有する鍵盤楽器であってもよい。例えば、モデル鍵盤楽器は、発音体としての弦を弾くアクション機構を有するクラビコードであってもよいし、発音体としての金属板を打つアクション機構を有するチェレスタであってもよい。このように、モデル鍵盤楽器は、鍵の操作によって発音体に発音させるためのアクション機構を有するものであればよい。

（４）鍵盤楽器１は、アコースティックピアノと組み合わせて適用されることもある。例えば、アコースティックピアノに電子鍵盤装置の機能を加えた鍵盤楽器である。このような鍵盤楽器は、アコースティックピアノにおける鍵と鍵盤楽器１における鍵７０とを共通の構成として有する。さらに、鍵盤楽器は、アコースティックピアノとして動作させるときには電子鍵盤装置として音信号を生成する機能が停止する構成、および電子鍵盤装置としての動作させる場合にハンマによる打弦を阻止するように動作する構成を有してもよい。

このような構成を有する鍵盤楽器の場合には、モデル鍵盤楽器として、鍵盤楽器１に組み合わされるアコースティックピアノが適用されてもよい。このようにすると、アコースティックピアノとして動作させる場合と電子鍵盤装置として動作させる場合とのいずれにおいても、ユーザが同じ感覚で演奏することができる。さらに、上述したモデル生成システムが鍵盤楽器１に組み合わされることによって、鍵盤楽器において学習済モデルが生成できるようになっていてもよい。

（５）変換部８１は、制御データＣＤを信号生成部８５に出力する場合に限らず、外部装置に提供するためのインターフェイスに出力されてもよい。

（６）変換部８１は、単打パターンＰ１のようにＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）、Ｋｓ（４）の順で取得する場合には学習済モデルＭＡ（１）を使用する。変換部８１は、単打パターンＰ２のようにＫｓ（１）、Ｋｓ（２）、Ｋｓ（３）の順で取得する場合には学習済モデルＭＡ（２）を使用する。上述したように、学習済モデルＭＡ（２）は、Ｋｓ（４）が取得されると演算処理を停止する。

単打パターンＰ２、単打パターンＰ３の場合には、通常はＫｓ（４）が取得される前の時刻として、「Ｋｏｎ Ｔｉｍｅ」が演算される可能性は低い。一方、Ｋｓ（４）が取得される前に、学習済モデルＭＡ（２）が作用データＯＤを出力するような場合も想定される。このような場合には、作用データＯＤに含まれる「Ｋｏｎ Ｔｉｍｅ」に対応する時刻に近づいてもＫｓ（４）が取得されなければ、学習済モデルＭＡ（１）の演算処理を停止するようにしてもよい。

（７）変換部８１は、取得した鍵位置データＫｓ（ｍ）の一部を用いて制御データＣＤに変換してもよい。この場合には、学習済モデルにおいて入力データとして用いられる鍵位置データＫｓ（ｍ）が規定されるようにして、押鍵パターン毎または音色毎に用いられる鍵位置データＫｓ（ｍ）が異なるように規定されてもよい。このように使用される鍵位置データＫｓ（ｍ）を異ならせる場合には、鍵７０の押下量を測定可能なセンサの数がさらに多くてもよく、また、押下量を離散値として測定する場合に限らず、連続値として測定可能なセンサを用いてもよい。

（８）学習済モデルにおいて入力データとして用いられる情報には、さらに鍵の速度が含まれていてもよい。鍵の速度は、例えば、２つの鍵位置データＫｓ（ｍ）に対応するｔｃの時間差と押下量の差とを用いて演算されてもよいし、速度を測定するセンサによって得られてもよい。この場合には、学習済モデルを生成するときにも学習用の鍵の速度が用いられる。

（９）教師データに用いられる入力データおよび学習済モデルへの入力データは、鍵の押下量の時系列に関連する挙動データであれば、上述した時系列データに限らない。例えば、鍵の押下量の時系列から演算された鍵の速度が挙動データとして用いられてもよい。このときの挙動データでは、鍵の速度に対応する鍵の位置に関する位置情報が鍵の速度に対応付けられている。

鍵の速度は、例えば、２つの鍵位置データＫｓ（ｍ）に対応するｔｃの時間差と押下量の差とを用いて演算される。この速度は、実際の速度であってもよいし、上述したＶｅｌｏｃｉｔｙと同様に、「０」から「１２７」までの１２８段階で表されるように換算されてもよい。速度の演算に用いられる２つの鍵位置データＫｓ（ｍ）は、互いに隣接する位置に対応するものであってもよいし、隣接しない位置に対応するものであってもよい。

例えば、Ｋｓ（１）のタイミング（ｔｃ（１）という）とＫｓ（２）のタイミング（ｔｃ（２）という）とから演算される速度（Ｖｓ（１，２）という）は、Ｖｓ（１，２）＝（４．５－２．７）／（ｔｃ（２）－ｔｃ（１））として表される。Ｖｓ（１，２）に対応する位置情報は、演算に用いた鍵位置データの組み合わせ、すなわちＫｓ（１）とＫｓ（２）とを示す情報に対応する。

例えば、押鍵時のＫｓ（１）のタイミングｔｃ（１）とＫｓ（３）のタイミング（ｔｃ（３）という）とから演算される速度（Ｖｓ（１，３）という）は、Ｖｓ（１，３）＝（６．３－２．７）／（ｔｃ（３）－ｔｃ（１））として表される。Ｖｓ（１，３）に対応する位置情報は、演算に用いた鍵位置データの組み合わせ、すなわちＫｓ（１）とＫｓ（３）とを示す情報に対応する。

挙動データに含まれる鍵の速度は、以下の位置の組み合わせのうち少なくとも２つが用いられる。位置の組み合わせから得られる速度は、Ｖｓ（１，２）、Ｖｓ（１，３）、Ｖｓ（１，４）、Ｖｓ（２，３）、Ｖｓ（２，４）、Ｖｓ（３，４）である。押鍵パターンにより学習済モデルを区別する場合には、適用される押鍵パターンによって取り得る位置の組み合わせは異なる。例えば、Ｋｓ（１）を含まない押鍵パターンの場合には、置の組み合わせから得られる速度は、Ｖｓ（２，３）、Ｖｓ（２，４）、Ｖｓ（３，４）である。この例は押鍵時の速度の例として示したが、連打を想定して離鍵時の速度を考慮する場合には、位置の組み合わせから得られる速度にＶｓ（２，１）等を追加してもよい。

変形例（９）における挙動データを用いる場合、鍵の速度と位置情報とに対して、ハンマ速度が相関関係を有する。したがって、作用データは、発音の音量に関する情報（Ｖｅｌｏｃｉｔｙ）を含み、発音タイミングに関する情報（Ｋｏｎ Ｔｉｍｅ）を含まない。この挙動データにさらにｔｃに関する情報が追加されれば、打弦タイミングも相関関係を有するため、作用データにおいて発音タイミングに関する情報（Ｋｏｎ Ｔｉｍｅ）を追加することができる。

以上が変形例に関する説明である。

以上のとおり、本発明の一実施形態によれば、鍵の押下量に対応する鍵位置データを順次取得し、鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データを入力し、前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力することを含む、発音制御方法が提供される。

前記作用データは、ハンマによる打弦速度を含んでもよい。

前記作用データは、ハンマによる打弦タイミングを含んでもよい。

前記鍵位置データは、前記鍵の押下範囲のうち予め決められた複数の位置における押下量に対応して取得されてもよい。

前記鍵位置データを取得することは、第１鍵に対応する第１鍵位置データを取得すること、および第２鍵に対応する第２鍵位置データを取得することを含んでもよい。前記学習済モデルに対して前記鍵位置データを入力することは、第１鍵の押下量の時系列に関連する学習用の挙動データと前記第１鍵に対応する前記学習用の作用データとの対応関係を学習させた第１学習済モデルに前記第１鍵位置データに関連する挙動データを入力することと、第２鍵の押下量の時系列に関連する学習用の挙動データと前記第２鍵に対応する前記学習用の作用データとの対応関係を学習させた第２学習済モデルに前記第２鍵位置データに関連する挙動データを入力することと、を含んでもよい。

前記学習済モデルに対して前記挙動データを入力することは、前記鍵位置データに対応する押鍵と直前の離鍵との時間差が所定時間以上の場合には、鍵の押下量の時系列に関連する学習用の挙動データであって前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた単打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、前記時間差が前記所定時間より小さい場合には、前記モデル鍵盤楽器における鍵の押下量の時系列に関連する学習用の挙動データであって前記直前の離鍵および前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた連打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、を含んでもよい。

前記学習用の挙動データは、前記鍵の押下量の時系列データを含んでもよい。前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとを含んでもよい。

前記学習用の挙動データは、鍵の速度を含んでもよい。前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとから演算した前記鍵の速度を含んでもよい。

本発明の一実施形態によれば、この発音制御方法をコンピュータに実行させるためのプログラムとして提供されてもよいし、発音制御方法を実行する発音制御装置として提供されてもよいし、発音制御装置を含む電子鍵盤装置として提供されてもよい。

１：鍵盤楽器、１Ｌ：モデル鍵盤楽器、４：モデル生成装置、１０：制御部、２１：操作部、２３：表示部、３０：記憶部、４１：制御部、４３：記憶部、４５：通信部、４７：インターフェイス、５０：筐体、６０：スピーカ、７０，７０Ｌ：鍵、７２Ｌ：アクション機構、７４Ｌ：弦、７５，７５Ｌ：鍵挙動測定部、７７Ｌ：ハンマ挙動測定部、７８Ｌ：押鍵機構、７９Ｌ：インターフェイス、８０，８０Ａ：音源部、８１：変換部、８３：モデルセット記憶部、８３Ａ：テーブル記憶部、８５：信号生成部、８７：波形データ記憶部、８９：音信号出力部、８００：学習済モデルセット、８１０：選択部、８３０：モデル設定部、８５０：タイミング調整部、８７０：生成部、８９０：出力部

Claims (20)

1. 鍵の押下量に対応する鍵位置データを順次取得し、
   鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データを入力し、
   前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力すること
   を含む、発音制御方法。
2. 前記作用データは、ハンマによる打弦速度を含む、請求項１に記載の発音制御方法。
3. 前記作用データは、ハンマによる打弦タイミングを含む、請求項１または請求項２に記載の発音制御方法。
4. 前記鍵位置データは、前記鍵の押下範囲のうち予め決められた複数の位置における押下量に対応して取得される、請求項１から請求項３のいずれかに記載の発音制御方法。
5. 前記鍵位置データを取得することは、第１鍵に対応する第１鍵位置データを取得すること、および第２鍵に対応する第２鍵位置データを取得することを含み、
   前記学習済モデルに対して前記鍵位置データを入力することは、
   第１鍵の押下量の時系列に関連する学習用の挙動データと前記第１鍵に対応する前記学習用の作用データとの対応関係を学習させた第１学習済モデルに前記第１鍵位置データに関連する挙動データを入力することと、
   第２鍵の押下量の時系列に関連する学習用の挙動データと前記第２鍵に対応する前記学習用の作用データとの対応関係を学習させた第２学習済モデルに前記第２鍵位置データに関連する挙動データを入力することと、
   を含む、請求項１から請求項４のいずれかに記載の発音制御方法。
6. 前記学習済モデルに対して前記挙動データを入力することは、
   前記鍵位置データに対応する押鍵と直前の離鍵との時間差が所定時間以上の場合には、鍵の押下量の時系列に関連する学習用の挙動データであって前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた単打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、
   前記時間差が前記所定時間より小さい場合には、学習用の鍵の押下量の時系列に関連する学習用の挙動データであって前記直前の離鍵および前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた連打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、
   を含む、請求項１から請求項５のいずれかに記載の発音制御方法。
7. 前記学習用の挙動データは、前記鍵の押下量の時系列データを含み、
   前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとを含む、請求項１から請求項６のいずれかに記載の発音制御方法。
8. 前記学習用の挙動データは、鍵の速度を含み、
   前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとから演算した前記鍵の速度を含む、請求項１から請求項７のいずれかに記載の発音制御方法。
9. 鍵の押下量に対応する鍵位置データを順次取得し、
   鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データを入力し、
   前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力すること、
   をコンピュータに実行させるためのプログラム。
10. プログラムを記憶したメモリと、
    前記プログラムを実行するプロセッサと、
    を含む発音制御装置であって、
    前記プログラムを実行する前記プロセッサは、
    鍵の押下量に対応する鍵位置データを順次取得し、
    鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの取得タイミングとに基づいて得られる挙動データを入力し、
    前記学習済モデルから出力される作用データに基づいて、信号生成部において音信号を生成させるための発音指示データを出力する、
    発音制御装置。
11. 前記作用データは、ハンマによる打弦速度を含む、請求項１０に記載の発音制御装置。
12. 前記作用データは、ハンマによる打弦タイミングを含む、請求項１０または請求項１１に記載の発音制御装置。
13. 前記鍵位置データは、前記鍵の押下範囲のうち予め決められた複数の位置における押下量に対応して取得される、請求項１０から請求項１２のいずれかに記載の発音制御装置。
14. 前記鍵位置データを取得することは、第１鍵に対応する第１鍵位置データを取得すること、および第２鍵に対応する第２鍵位置データを取得することを含み、
    前記学習済モデルに対して前記鍵位置データを入力することは、
    第１鍵の押下量の時系列に関連する学習用の挙動データと前記第１鍵に対応する前記学習用の作用データとの対応関係を学習させた第１学習済モデルに前記第１鍵位置データに関連する挙動データを入力することと、
    第２鍵の押下量の時系列に関連する学習用の挙動データと前記第２鍵に対応する前記学習用の作用データとの対応関係を学習させた第２学習済モデルに前記第２鍵位置データに関連する挙動データを入力することと、
    を含む、請求項１０から請求項１３のいずれかに記載の発音制御装置。
15. 前記学習済モデルに対して前記挙動データを入力することは、
    前記鍵位置データに対応する押鍵と直前の離鍵との時間差が所定時間以上の場合には、鍵の押下量の時系列に関連する学習用の挙動データであって前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた単打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、
    前記時間差が前記所定時間より小さい場合には、学習用の鍵の押下量の時系列に関連する学習用の挙動データであって前記直前の離鍵および前記押鍵における時間範囲を含む学習用の挙動データと前記学習用の作用データとの対応関係を学習させた連打学習済モデルに前記鍵位置データに関連する挙動データを入力することと、
    を含む、請求項１０から請求項１４のいずれかに記載の発音制御装置。
16. 前記学習用の挙動データは、前記鍵の押下量の時系列データを含み、
    前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとを含む、請求項１０から請求項１５のいずれかに記載の発音制御装置。
17. 前記学習用の挙動データは、鍵の速度を含み、
    前記学習済モデルに対して入力される挙動データは、前記鍵位置データと前記取得タイミングとから演算した前記鍵の速度を含む、請求項１０から請求項１６のいずれかに記載の発音制御装置。
18. 請求項１０から請求項１７のいずれかに記載の発音制御装置と、
    前記鍵と、
    を含む電子鍵盤装置。
19. 前記発音指示データに応じて音信号を生成する前記信号生成部をさらに含む、請求項１８に記載の電子鍵盤装置。
20. 鍵と、
    前記鍵の押下量に対応する鍵位置データを出力する鍵挙動測定部と、
    鍵の押下量の時系列に関連する学習用の挙動データと、鍵の押下に伴う発音体へのアクション機構の作用に関連する学習用の作用データとの対応関係を学習させた学習済モデルに対して、前記鍵位置データと当該鍵位置データの出力タイミングとに基づいて得られる挙動データを入力することによって得られる作用データに基づいて、音信号を生成させるための発音指示データを生成する発音制御装置と、
    を含む電子鍵盤装置。
    

Images