JP2023154288A - 制御装置 - Google Patents

Abstract

【課題】合奏をする複数の演奏者が一体感を得られるようにすること【解決手段】一実施形態における制御装置は、第１送信部と、第１受信部と、第１生成部と、を含む。第１送信部は、第１通信拠点における鍵盤楽器に対する演奏内容を含む第１演奏データを第２通信拠点に送信する。第１受信部は、第２通信拠点から第２演奏データを受信する。第１生成部は、第２演奏データに応じた発音をするための駆動信号を生成して、第１通信拠点における発音装置に出力する。第１演奏データおよび第２演奏データの少なくとも一方は、鍵盤楽器における鍵の押下量を示す鍵位置信号を含む。【選択図】図４

Description

本発明は制御装置に関する。

楽器が演奏される複数の通信拠点がネットワークを介して接続されることにより、離れた場所に置いても合奏を可能とする技術が開発されている。快適な合奏を実現するために通信遅延の影響を少なくするための技術が、例えば、特許文献１に開示されている。

特開２００５－１９５９８２号公報

複数の通信拠点における合奏によれば、同じ場所で行う合奏に比べて、様々な観点で、複数の演奏者が一体感を得られにくい。

本発明の目的の一つは、合奏をする複数の演奏者が一体感を得られるようにすることにある。

一実施形態における制御装置は、第１送信部と、第１受信部と、第１生成部と、を含む。第１送信部は、第１通信拠点における鍵盤楽器に対する演奏内容を含む第１演奏データを第２通信拠点に送信する。第１受信部は、第２通信拠点から第２演奏データを受信する。第１生成部は、第２演奏データに応じた発音をするための駆動信号を生成して、第１通信拠点における発音装置に出力する。第１演奏データおよび第２演奏データの少なくとも一方は、鍵盤楽器における鍵の押下量を示す鍵位置信号を含む。

本発明によれば、合奏をする複数の演奏者が一体感を得られるようにすることができる。

第１実施形態における通信システム構成を説明するための図である。 第１実施形態における自動演奏ピアノの内部構成を説明する図である。 第１実施形態における制御装置の構成を説明する図である。 第１実施形態における合奏制御機能の構成を説明する図である。 第２実施形態における加振器およびピックアップセンサの位置関係を説明する図である。 第２実施形態における駆動信号生成部の構成を説明する図である。 第３実施形態におけるベロシティと遅延時間との関係を説明する図である。 第３実施形態におけるベロシティと補正値との関係を説明する図である。 第４実施形態における通信拠点Ｔ１における環境収集装置の構成を説明する図である。 第４実施形態における通信拠点Ｔ２における環境提供装置の構成を説明する図である。 第５実施形態における制御信号生成部の構成を説明する図である。 第６実施形態におけるスクリーンの表示例を説明する図である。

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。各実施形態において説明される構成は、他の実施形態に適用することもできる。以下に説明する複数の実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなど付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。図面は、説明を明確にするために、構成の一部が図面から省略されたりして、模式的に説明される場合がある。

＜第１実施形態＞
［通信システム］
図１は、一実施形態における通信システムの構成を説明する図である。通信システムは、インターネットなどのネットワークＮＷに接続されたサーバ１０００を含む。サーバ１０００は、ＣＰＵ等の制御部、記憶部および通信部を含む。制御部は、所定のプログラムを実行することにより、通信拠点間における合奏を実現するためのサービスを提供する。サーバ１０００は、ネットワークＮＷに接続された複数の通信拠点間の通信を制御し、各通信拠点における自動演奏ピアノ１が互いにＰ２Ｐ型通信を実現するために必要な処理を実行する。この処理は、公知の方法により実現されればよい。図１では、２つの通信拠点Ｔ１、Ｔ２が例示されているが、この数に限られず、さらに多くの通信拠点が存在してもよい。以下の説明において、通信拠点Ｔ１、Ｔ２を区別せずに説明する場合には、単に通信拠点という。

この例では、通信拠点Ｔ１と通信拠点Ｔ２との間で、それぞれの通信拠点における演奏に関連する情報が、Ｐ２Ｐ通信によって相互にやり取りされる。この通信によって、複数の通信拠点間における合奏が実現される。各通信拠点においては、自動演奏ピアノ１が配置されている。自動演奏ピアノ１には、この例では、環境収集装置８２および環境提供装置８８が接続されている。

環境収集装置８２は、自動演奏ピアノ１の周囲環境の情報を収集するためのセンサを含み、センサの測定結果を示す収集信号を出力する。周囲環境は、例えば、音、光、振動、温度、空気の流れなどである。環境提供装置８８は、周囲環境を示す制御信号を取得すると、制御信号に基づく環境を提供する。環境収集装置８２と環境提供装置８８とは、一体に構成されていてもよい。環境提供装置８８は、他の通信拠点の数に応じて設けられてもよい。例えば、通信拠点Ｔ１の他に、３つの通信拠点が存在する場合には、通信拠点Ｔ１においては３つの環境提供装置８８がそれぞれの通信拠点に対応して設けられてもよい。環境収集装置８２と環境提供装置８８との少なくとも一方は、自動演奏ピアノ１に組み込まれた構成であってもよい。環境収集装置８２および環境提供装置８８の具体例については、後述する。

自動演奏ピアノ１は、鍵盤楽器１０、制御装置２０、センサ３０および駆動装置４０を含む。

［自動演奏ピアノ］
続いて、自動演奏ピアノ１の構成について説明する。

図２は、第１実施形態における自動演奏ピアノの内部構成を説明する図である。自動演奏ピアノ１のうち、鍵盤楽器１０は、例えばグランドピアノに相当する。鍵盤楽器１０は、複数の鍵１２を含む。鍵盤楽器１０は、各鍵１２に対応して設けられたハンマ１４、弦１５およびダンパ１８を含む。自動演奏ピアノ１において、各鍵１２に対応して設けられている構成は、図２に示した１つの鍵２に対応して設けられている各構成に着目して示している。したがって、他の鍵１２に対応して設けられている各構成については記載を省略している。ダンパ１８など一部の構成については、一部の鍵１２に対しては設けられていない場合もある。

鍵盤楽器１０は、複数のペダル１３を含む。複数のペダル１３は、例えば、ダンパペダル、シフトペダルおよびソステヌートペダルである。自動演奏ピアノ１において、各ペダル１３に対応して設けられている構成は、図２に示した１つのペダル１３に対応して設けられている各構成に着目して示している。したがって、他のペダル１３に対応して設けられている各構成については記載を省略している。鍵盤楽器１０は、鍵盤蓋１１、駒１６、響板１７および直支柱１９などをさらに含む。

センサ３０は、鍵センサ３２、ペダルセンサ３３およびハンマセンサ３４を含む。鍵センサ３２は、各鍵１２に対応して設けられ、鍵１２の挙動に応じた測定信号を制御装置２０に出力する。この例では、鍵センサ３２は、鍵１２の位置（押下量）に応じた測定信号を制御装置２０に出力する。鍵１２の位置は、連続量（微細な分解能）で測定されてもよいし、鍵１２が予め決められた位置を通過したことを検出することによって測定されてもよい。鍵１２が検出される位置は、鍵１２の押下範囲（レスト位置からエンド位置までの範囲）のうち複数の位置であればよい。

ハンマセンサ３４は、各ハンマ１４に対応して設けられ、ハンマ１４の挙動に応じた測定信号を制御装置２０に出力する。この例では、ハンマセンサ３４は、ハンマ１４が弦１５を打撃する直前におけるハンマシャンクの位置（回動量）を測定し、測定結果に応じた測定信号を制御装置２０に出力する。ハンマシャンクの位置は、連続量（微細な分解能）で測定されてもよいし、ハンマシャンクが予め決められた位置を通過したことを検出することによって測定されてもよい。ハンマシャンクが検出される位置は、ハンマ１４が弦１５を打撃する直前の範囲のうち複数の位置であればよい。

ペダルセンサ３３は、各ペダル１３に対応して設けられ、ペダル１３の挙動に応じた測定信号を制御装置２０に出力する。この例では、ペダルセンサ３３は、ペダル１３の位置（踏込量）に応じた測定信号を制御装置２０に出力する。ペダル１３の位置は、連続量（微細な分解能）で検出されてもよいし、ペダル１３が予め決められた位置を通過したことで検出されてもよい。ペダル１３が検出される位置は、ペダル１３の踏込範囲（レスト位置からエンド位置までの範囲）のうち、複数の位置であればよい。

駆動装置４０は、鍵駆動装置４２、ペダル駆動装置４３、ストッパ４４、加振器４７およびダンパ駆動装置４８を含む。鍵駆動装置４２は、各鍵１２に対応して設けられ、制御装置２０による駆動信号を用いた制御によって鍵１２を押下するように駆動する。これによって、演奏者が鍵１２を押下したときと同じ状況を機械的に再現する。ペダル駆動装置４３は、各ペダル１３対応して設けられ、制御装置２０による駆動信号を用いた制御によってペダル１３を押下するように駆動する。これによって、演奏者がペダル１３を踏み込んだときと同じ状況を機械的に再現する。ダンパ駆動装置４８は、各ダンパ１８に対応して設けられ、制御装置２０による駆動信号を用いた制御によって、ダンパ１８を弦１５から離すように駆動する。ダンパ駆動装置４８は、全てのダンパ１８を同時に駆動する構成を有していてもよい。

ストッパ４４は、ハンマシャンクと衝突する位置（阻止位置）と、ハンマシャンクと衝突しない位置（待避位置）とのいずれかになるように、制御装置２０からの制御によって駆動される。ストッパ４４が阻止位置にある場合には、鍵１２が押下されても、ハンマシャンクの移動が制限されてハンマ１４が弦１５を打撃しない。ストッパ４４が待避位置にある場合には、鍵１２が押下されると、鍵１２に連動するハンマ１４が弦１５を打撃する。弦１５が打撃されることによって、鍵盤楽器１０は音を発生する。

加振器４７は、この例では、響板１７のうち駒１６が配置されている部分の反対側の面に接触するように、直支柱９に接続された支持部によって支持されている。加振器４７は、制御装置２０による駆動信号を用いた制御によって、響板１７を振動させる。加振器４７は、例えば、制御装置２０からピアノ音を含む駆動信号が供給されると、その駆動信号に応じた振動を響板１７に印加する。これによって、響板１７からピアノ音が放出される。複数の加振器４７が響板１７に接触するように配置されていてもよい。響板１７を振動させる加振器４７に代えて、音を放出するスピーカが用いられてもよい。

鍵盤楽器１０による発音は、ハンマ１４により弦１５を打撃することによって実現される場合と、加振器４７により響板１７を振動させることによって実現される場合とを含む。したがって、鍵盤楽器１０は、鍵１２を駆動することによって打弦音を発生させる発音装置、および加振器４７を駆動することにより響板１７から音を発生させる発音装置を含んでいるということもできる。鍵１２の駆動および加振器４７の駆動は、後述するように駆動信号が駆動装置４０に出力されることによって実現される。

制御装置２０の構成について説明する。この例では、制御装置２０は、鍵盤楽器１０に取り付けられている。制御装置２０は、鍵盤楽器１０に取り付けられる装置でなくてもよく、例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン等であってもよい。

図３は、第１実施形態における制御装置の構成を説明する図である。制御装置２０は、制御部２１、記憶部２２、操作パネル２３、通信部２４、音源部２５およびインターフェイス２６を有する。これらの各構成はバス２７を介して接続されている。

制御部２１は、ＣＰＵなどのプロセッサおよびＲＡＭ等の記憶装置を備えるコンピュータの一例である。制御部２１は、記憶部２２に記憶されたプログラムを、ＣＰＵ（プロセッサ）を用いて実行し、様々な処理を実行するための機能を制御装置２０において実現させる。制御装置２０において実現される機能は、後述する合奏制御機能を含む。この合奏制御機能により、制御装置２０の各部およびインターフェイス２６に接続された各構成が制御される。インターフェイス２６には、センサ３０および駆動装置４０が接続される。この例では、インターフェイス２６には、さらに、外部装置８０が接続される。インターフェイス２６は、対象となる構成に対して、制御部２１によって生成された駆動信号、制御信号等を送信したり、対象となる各構成から測定信号、収集信号等を受信したりする。

記憶部２２は、不揮発性メモリ、ハードディスクドライブなどの記憶装置である。記憶部２２は、制御部２１において実行されるプログラムおよびこのプログラムを実行するときに必要となる各種データを記憶する。

操作パネル２３は、ユーザの操作を受け付ける操作ボタンなどを有する。この操作ボタンによりユーザの操作が受け付けられると、操作に応じた操作信号が制御部２１に出力される。操作パネル２３は、表示画面を有してもよい。この場合には操作パネル２３は、表示画面にタッチセンサが組み合わされたタッチパネルであってもよい。

通信部２４は、無線、有線などにより他の装置と通信を行う通信モジュールである。通信部２４が通信を行う他の装置は、この例では、サーバ１０００または他の通信拠点における自動演奏ピアノ１である。この例では、通信拠点間において、鍵盤楽器１０に対する演奏内容を示す演奏データ、環境データなどが通信される。

音源部２５は、制御部２１からの制御によって音信号を生成する。音信号は、加振器４７を駆動するための駆動信号（後述する加振駆動信号）等に用いられる。音信号は、この例では、ピアノの音を示す信号を含む。制御部２１は、例えば、演奏データに対応する演奏内容に応じたピアノの音を示す音信号を生成するように音源部２５を制御する。演奏データは、センサ３０により生成される測定信号に基づいて生成されるデータであればよい。演奏データは、例えば、ノートオン、ノートオフ、ノートナンバ、ベロシティなどの発音制御情報を含むＭＩＤＩ形式のデータであってもよいし、測定信号によって直接的に示される情報であってもよい。

インターフェイス２６は、制御装置２０と外部の各構成とを接続するインターフェイスである。インターフェイス２６に接続される各構成は、上述したように、この例では、センサ３０、駆動装置４０および外部装置８０を含む。インターフェイス２６は、センサ３０から出力される測定信号を、制御部２１に出力する。インターフェイス２６は、駆動装置４０に対して各装置を駆動するための駆動信号を出力する。駆動信号は、後述する合奏制御機能１００において生成される。インターフェイス２６は、音源部２５において生成されたピアノ音を示す音信号が供給されるヘッドフォン端子などを含んでもよい。

［合奏制御機能］
続いて、制御部２１がプログラムを実行することにより実現される合奏制御機能について説明する。合奏制御機能を実現する構成がプログラムの実行によって実現される場合に限らず、少なくとも一部の構成がハードウエアによって実現されてもよい。合奏制御機能を実現する構成が、制御装置２０ではなく、インターフェイス２６に接続される装置（例えば、このプログラムがインストールされたコンピュータ）によって実現されてもよい。

この例では、合奏制御機能が実現されるときには、制御部２１は、ストッパ４４を阻止位置に配置されるように制御する。この場合には、ユーザにより鍵１２およびペダル１３に対して演奏操作が入力されると、ストッパ４４により打弦が阻止される一方、演奏操作に応じた音信号（例えば、ピアノの演奏音）が音源部２５において生成される。この音信号を用いて加振器４７が響板１７を振動させることによって、音として放出される。加振器４７を駆動させるための信号は、以下に示す駆動信号生成部１４５において生成される。

図４は、第１実施形態における合奏制御機能の構成を説明する図である。合奏制御機能１００は、演奏データ生成部１３１、演奏データ送信部１３３、演奏データ受信部１４３および駆動信号生成部１４５を含む。合奏制御機能１００は、この例では、さらに合奏に付随して、自動演奏ピアノ１の周囲環境を通信拠点間で共有するための機能として、環境データ生成部１２１、環境データ送信部１２３、環境データ受信部１８３および制御信号生成部１８５を含む。

演奏データ生成部１３１は、センサ３０から出力される測定信号に基づいて、鍵盤楽器１０に対する演奏内容を示す演奏データを生成する。この例では、演奏データは、鍵センサ３２から出力される測定信号（以下、鍵位置信号という）およびペダルセンサ３３から出力される測定信号（以下、ペダル位置信号という）を含む。鍵位置信号は、この例では、押下された鍵１２の音高と鍵１２の押下量とを含む。鍵センサ３２が鍵１２の押下量を４箇所で測定するセンサであれば、鍵位置信号に含まれる鍵１２の押下量の情報は、４箇所のいずれかの位置を示す。

ペダル位置信号は、この例では、押下されたペダル１３の種類とペダル１３の踏込量とを含む。ペダルセンサ３３がペダルの踏込量を３箇所で測定するセンサであれば、ペダル１３の踏込量の情報は、３箇所のいずれかの位置を示す。演奏データは、さらにハンマセンサ３４から出力される測定信号（以下、ハンマ位置信号という）を含んでもよい。ハンマ位置信号は、例えば、鍵の音高とハンマ１４の回動位置とを含む。

演奏データ生成部１３１において生成される演奏データが、鍵センサ３２およびペダルセンサ３３の測定結果に基づいて生成された発音制御情報を含むデータ（例えばＭＩＤＩ形式）の場合を想定する。この場合には、例えば、ノートオンを送信するには、鍵１２における押下量がノートオンを発生させる状態まで進む必要がある。

一方、この例における演奏データ生成部１３１によれば、鍵１２が押下されている途中の段階で、鍵１２の押下量を順次送信することができる。したがって、他の通信拠点の自動演奏ピアノ１に対して、ノートオンに至る前であっても鍵１２が押下され始めたことを認識させることができる。例えば、通信拠点Ｔ１の自動演奏ピアノ１において、鍵１２が押下され始めると、ノートオンに至る前であっても、通信拠点Ｔ２の自動演奏ピアノ１における鍵１２を、認識した押下量になるように駆動し始めることができる。このようにすることで、通信拠点Ｔ１おける鍵１２への演奏操作を、通信拠点Ｔ２においても、短い遅延時間で追従させるように鍵１２を駆動することができる。

演奏データ送信部１３３は、演奏データ生成部１３１において生成された演奏データを他の通信拠点へ送信する。

演奏データ受信部１４３は、他の通信拠点から送信された演奏データを受信する。

駆動信号生成部１４５は、演奏データ受信部１４３によって受信された演奏データに基づいて、駆動装置４０において用いられる駆動信号を生成する。この駆動信号は、鍵駆動装置４２に供給される信号（鍵駆動信号）、ペダル駆動装置４３に供給される信号（ペダル駆動信号）、および加振器４７に供給される信号（加振駆動信号）を含む。

鍵駆動信号は、演奏データに基づいて生成され、より詳細には演奏データに含まれる鍵位置信号に基づいて生成される。鍵駆動信号は、鍵位置信号に応じた押下量を再現するように鍵１２を駆動するように鍵駆動装置４２を制御するための信号である。駆動される対象となる鍵１２は、鍵位置信号によって特定される音高に対応する鍵である。ペダル駆動信号は、演奏データに基づいて生成され、より詳細にはペダル位置信号に基づいて生成される。ペダル駆動信号は、ペダル位置信号によって特定される種類に対応するペダルを踏込量に対応する位置に移動させるように、ペダル駆動装置４３を制御するための信号である。

加振駆動信号は、演奏データに基づいて生成され、より詳細には鍵位置信号およびペダル位置信号に基づいて音源部２５によって生成された信号である。加振駆動信号により加振器４７が響板１７を振動させると、音源部２５において生成された信号に対応する音（この例では、ピアノ音）が響板１７を介して鍵盤楽器１０の周囲に拡がる。

駆動信号生成部１４５は、音源部２５において音信号を生成するときに、鍵位置信号およびペダル位置信号に基づいて発音制御情報を生成し、発音制御情報に基づいて音源部２５に音信号を生成させてもよい。このとき、駆動信号生成部１４５は、演奏データにおける鍵位置信号が示す鍵１２の押下量の変化から、ノートオンとなるタイミングおよびベロシティを予測する演算を用いて発音制御情報を生成してもよい。演奏データにおけるハンマ位置信号が示すハンマ１４の回動位置の変化をこの予測演算に用いてもよい。予測演算は、予め機械学習によって得られた学習済モデルを用いてもよいし、押下量の変化から、等速軌道、等加速度軌道等を想定したフィッティング処理を用いてもよい。これにより鍵１２とハンマ１４との動きが揃わない場合でも予測精度を向上することができる。

演奏データに基づいて鍵１２が駆動され、その結果として動作するハンマ１４が弦１５を打撃する場合を想定する。この場合には、発音指示（例えばノートオン）から鍵１２の駆動のための時間を要することで、発音されるタイミングが遅くなる。したがって、発音のタイミングは、通信拠点間における通信遅延の影響に加えて、鍵１２が駆動されるときの遅延の影響も受ける。

一方、駆動信号生成部１４５によれば、鍵駆動信号およびペダル駆動信号によって鍵１２およびペダル１３を駆動するが、ストッパ４４によりハンマ１４の弦１５への打撃が阻止されるため、打弦音が発生しない。その代わりに、加振駆動信号によって加振器４７が駆動されることで、響板１７から発音される。加振器４７を用いた発音は、鍵１２の駆動を要しない。したがって、発音指示（例えば、ノートオン）から実際の発音に至るまでの時間に関して、加振器４７による発音の場合の時間が打弦による発音の場合の時間よりも短い。

このとき、加振器４７による発音と鍵１２の駆動とは別々に制御されるため、互いのタイミングにずれが生じる。一方、そのずれの量は少ないため、ユーザの感覚に与える影響は少ない。

送信される演奏データと発音方法については、上記の組み合わせに限らない。例えば、鍵１２の押下量が演奏データとして送信されるのではなく、発音制御情報が演奏データとして送信されてもよい。この場合であっても、上述したように加振器４７による発音を用いることにより、打弦による発音を用いる場合よりも、通信拠点間における発音の時間差を短くすることができる。

各駆動信号は、演奏データにおける発音制御情報に基づいて生成される。このとき、鍵駆動信号について、発音制御情報におけるベロシティの値を所定値以上になるように大きくしてもよい。ベロシティの値が小さい、すなわち、鍵１２の押下速度が遅い場合（ハンマ１４の回動速度が小さい場合）には、鍵駆動装置４２は、鍵１２の駆動速度を遅くする。

このとき、ソレノイドの特性によって、駆動速度が遅く設定されるほど、鍵１２が予定されたタイミングよりも遅延して動く場合がある。その遅延を補償するためベロシティの値を大きくすることが考えられる。ベロシティの値を大きくすると、鍵１２が駆動されるときの遅延時間が短くなるが、打弦音が大きくなってしまう。一方、この例では、ハンマ１４の打弦がストッパ４４により阻止されて打弦音は生じないため、発音への影響がない。したがって、発音に寄与しない鍵１２については、ベロシティの値を大きくすることができる。加振駆動信号については、発音内容が変わらないように、ベロシティの値を変更しない。このときには、ユーザの演奏に影響を与えないようにするために、一部の鍵１２については駆動されないようにしてもよい。駆動されない鍵１２は、予め演奏曲が設定されることで、演奏曲に使用される音高の鍵を対象としてもよい。

他の例として、加振器による発音が用いられるのではなく、ストッパ４４が待避位置に制御されることで鍵１２の駆動および打弦による発音が用いられてもよい。この場合であっても、上述したように、鍵１２の押下量を演奏データとして送信することにより、発音制御情報を演奏データとして送信する場合よりも、通信拠点間における発音の時間差を短くすることができる。この場合、ユーザの演奏操作により生じる音（例えば、通信拠点Ｔ１における演奏により生じる音）および他の通信拠点（例えば、通信拠点Ｔ２）における演奏により生じる音は、いずれも打弦音を含む。

このときには、ユーザの演奏に影響を与えないようにするために、ペダル１３がペダル駆動装置４３によって駆動されないようにする一方、ダンパ駆動装置４８によってダンパ１８が駆動されてもよい。

さらに他の例として、ストッパ４４を待避位置に制御しつつも加振器４７による発音を用いてもよい。この場合には、駆動信号生成部１４５は、鍵駆動信号およびペダル駆動信号を生成せずに鍵１２およびペダル１３が動かないようにしてもよい。このようにすると、ユーザの演奏操作により生じる音は打弦音を含む一方、他の通信拠点における演奏により生じる音は、遅延の少ない加振器４７による音とすることができる。送信される演奏データと発音方法との組み合わせについては、複数の例を説明したが、いずれを選択するかを操作パネル２３への操作によって設定できるようにしてもよい。

環境データ生成部１２１は、環境収集装置８２から出力される収集信号に基づいて、周囲環境を示す環境データを生成する。この例では、周囲環境は、装置周辺の画像および音を含む。そのため、環境収集装置８２は、周囲環境を収集するための装置、すなわち、画像を取得するためのカメラ（撮像装置）および音を取得するためのマイクロフォン（収音装置）を含む。カメラは、この例では、鍵盤楽器１０の演奏者が含まれる範囲の画像を取得する。

環境データに含まれる画像に関する情報は、画像（動画）そのものを示す画像情報であってもよいが、この例では、演奏者の動きをモーションキャプチャの技術によって取得することによって得られた動作情報を含む。演奏者の動きを測定するセンサは、カメラに限らず、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、圧力センサ、変位センサ等を含んでもよい。動作情報は、例えば、画像から抽出された所定の特徴を有する複数の部分について、各部分の座標によって示される情報である。環境データは、音信号を示すオーディオデータの形式で送信されてもよい。この場合には、動作情報は、オーディオデータにおける所定のチャンネルのデータとして送信されることで、オーディオデータに含まれる音信号に同期させることもできる。同様に、環境データは、発音制御情報を示す形式（例えば、ＭＩＤＩ形式）、動画データの形式等、既に存在するデータの一部として送信されるようにデータの形式が変換されてから、他の通信拠点に対して送信されてもよい。

環境収集装置８２が収集する音は、鍵盤楽器１０に対する演奏により生じる音（ピアノ音）が含まれる場合がある。鍵盤楽器１０に対する演奏により生じる音が存在する期間は、鍵位置信号等から特定することができる。演奏により生じる音が加振器４７による発音である場合には、音源部２５においてその音が特定できる。したがって、環境データ生成部１２１は、環境データを生成するときに、収集信号に含まれる音から、音源部２５において生成した音の成分をキャンセルするように信号処理を施してもよい。

環境データ生成部１２１は、演奏により生じる音が打弦音であったとしても、収集信号に含まれる音から打弦音の成分をキャンセルするように信号処理を施してもよい。打弦音の成分は、音源部２５において鍵位置信号およびペダル駆動信号を用いて生成されればよい。環境データ生成部１２１は、鍵盤楽器１０に対する演奏により生じる音が存在する期間について、収集信号に含まれる音を用いずに環境データを生成してもよい。このとき、環境収集装置８２は、演奏中の期間を認識させることで、その期間は音を収集しないようにしてもよい。

環境データ送信部１２３は、環境データ生成部１２１において生成された環境データを他の通信拠点へ送信する。

環境データ受信部１８３は、他の通信拠点から送信された環境データを受信する。

制御信号生成部１８５は、環境データ受信部１８３によって受信された環境データに基づいて、環境提供装置８８において用いられる制御信号を生成する。この制御信号は、環境データに含まれる周囲環境の情報を再現するための信号であり、この例では、画像をディスプレイ（表示装置）に表示するための信号および音をスピーカ（放音装置）から出力するための信号を含む。そのため、環境提供装置８８は、画像を表示するためのディスプレイおよび音を出力するためのスピーカを含む。ディスプレイは、鍵盤楽器１０における鍵盤蓋１１、譜面台等、演奏者が見やすい位置に配置されていてもよい。鍵盤蓋１１に画像を表示する場合には、ディスプレイに代えて、鍵盤蓋１１に画像を投影するプロジェクタが用いられてもよい。複数の通信拠点が通信対象である場合には、各通信拠点に対応して環境提供装置８８が設けられてもよい。この場合には、環境提供装置８８に供給される制御信号は、その環境提供装置８８に対応する通信拠点から受信された環境データに基づいて生成される。

制御信号生成部１８５は、環境データに含まれる動作情報を用いて、演奏者を模した画像を生成し、生成した画像をディスプレイに表示するための信号を生成してもよい。このとき、特定の部分または動作を強調する画像が生成されてもよい。特定の部分とは、例えば、演奏者の目、顔、指等であってもよい。特定の動作は、例えば、視線の動き、顔の動き、演奏動作における指の動き等であってもよい。制御信号生成部１８５は、環境データに含まれる動作情報を用いて、演奏者の動きを数値化して示すグラフ等の画像を生成し、生成した画像をディスプレイに表示するための信号を生成してもよい。演奏者は、演奏を合わせるために、表示された情報を用いることができる。

制御信号生成部１８５は、演奏データ受信部１４３によって受信された演奏データに基づく画像をディスプレイに表示するための信号を生成してもよい。演奏データに基づく画像は、その演奏データに含まれる演奏内容を示す画像、例えば、操作されている鍵、ペダルを示す画像を含んでもよい。

このように、第１実施形態における合奏制御機能１００によれば、通信拠点間での発音の時間差を低減し、互いの周囲環境を身近に感じることができる。したがって、合奏をする複数の演奏者が一体感を得ることができる。

＜第２実施形態＞
演奏データに含まれる演奏内容は、鍵１２等への演奏操作を示す場合に限らない。第２実施形態では、演奏による打弦音が伝達された響板１７の振動を示す信号が、演奏データに含まれている例について説明する。響板１７の振動は、この例では、センサ３０に含まれるピックアップセンサによって測定される。

図５は、第２実施形態における加振器およびピックアップセンサの位置関係を説明する図である。図５は、鍵盤楽器１０を下側から見た図である。図５に示すように、響板１７には、２つの加振器４７（加振器４７Ｈ、４７Ｌ）が設けられている。加振器４７Ｈ、４７Ｌは、響板１７のうち、複数存在する響棒１７ａの間に接続されている。加振器４７Ｈは、２つの駒１６（駒１６Ｈ（長駒）、１６Ｌ（短駒））のうち、駒１６Ｈに対応する位置に設けられている。加振器４７Ｌは、駒１６Ｌに対応する位置に設けられている。駒１６Ｈは、高音側の弦１５を支持する駒であり、駒１６Ｌは、低音側の弦１５を支持する駒である。加振器４７Ｈは、直支柱１９に接続された支持部９７Ｈによって支持されている。加振器４７Ｌは、直支柱１９に接続された支持部９７Ｌによって支持されている。

加振器４７は、響板１７のうち駒１６に対応する位置に設けられている場合に限らず、駒１６とは離れた位置に設けられていてもよいし、響棒１７ａに対応する位置に設けられていてもよい。響棒１７ａに対応する位置に設けられる場合には、響板１７の弦１５側に加振器４７が設けられればよい。

ピックアップセンサ３７Ｈは、加振器４７Ｈの近傍において響板１７に取り付けられ、響板１７の振動を測定し、測定結果を示す測定信号を出力する。ピックアップセンサ３７Ｌは、加振器４７Ｌの近傍において響板１７に取り付けられ、響板１７の振動を測定し、測定結果を示す測定信号を出力する。そのため、演奏データ送信部１３３が他の通信拠点に送信する演奏データ、および演奏データ受信部１４３が他の通信拠点から受信する演奏データは、ピックアップセンサ３７Ｈからの測定信号ＰＵ１およびピックアップセンサ３７Ｌからの測定信号ＰＵ２を含む。

図６は、第２実施形態における駆動信号生成部の構成を説明する図である。駆動信号生成部１４５Ａは、演奏データ受信部１４３によって受信された演奏データに含まれる測定信号ＰＵ１、ＰＵ２から加振駆動信号ＤＳ１、ＤＳ２を生成する。加振駆動信号ＤＳ１は、加振器４７Ｈに供給される。加振駆動信号ＤＳ２は、加振器４７Ｌに供給される。

駆動信号生成部１４５Ａは、クロストーク処理部１４５１、音響付与部１４５３および増幅部１４５５を含む。クロストーク処理部１４５１は、測定信号ＰＵ１に対して所定のディレイ処理および所定のフィルタ処理を施して測定信号ＰＵ２に加算する。クロストーク処理部１４５１は、測定信号ＰＵ２に対して所定のディレイ処理および所定のフィルタ処理を施して測定信号ＰＵ１に加算する。これによって、それぞれの測定信号ＰＵ１、ＰＵ２に含まれるクロストーク成分を低減する。

音響付与部１４５３は、測定信号ＰＵ１、ＰＵ２に対して、ディレイ、コンプレッサ、エキスパンダ、イコライザなどの音響効果を付与するための信号処理を施す。増幅部１４５５は、測定信号ＰＵ１、ＰＵ２を増幅することによって、加振器４７Ｈ、４７Ｌに供給される加振駆動信号ＤＳ１、ＤＳ２を出力する。

例えば通信拠点Ｔ１における鍵盤楽器１０と通信拠点Ｔ２における鍵盤楽器１０とにおいて、響板１７等の大きさおよび形状が異なる場合、響板１７における振動モードの違い等が生じる。これに起因して、それぞれの鍵盤楽器１０から放出される音が異なる。クロストーク処理部１４５１および音響付与部１４５３における信号処理におけるパラメータが、鍵盤楽器１０における相違する構成に対応して設定される。これにより、他の通信拠点における鍵盤楽器１０の形状等が異なっていても、その違いに起因する発音の違いを低減することができる。

複数の通信拠点間で合奏が行われる場合、ピックアップセンサ３７Ｈ、３７Ｌにおいて測定される響板１７の振動は、打弦音に起因する振動のみではなく、加振駆動信号ＤＳ１、ＤＳ２に基づく加振器４７Ｈ、４７Ｌによる振動も含む。そのため、演奏データ送信部１３３は、演奏データを他の通信拠点に送信する前に、演奏データに含まれる測定信号ＰＵ１、ＰＵ２に対して、加振駆動信号ＤＳ１、ＤＳ２の成分を低減させる信号処理を施してもよい。

＜第３実施形態＞
上述したように、ベロシティの値が小さい場合、鍵駆動装置４２における鍵１２の駆動に時間がかかり、ベロシティの値が大きい場合よりも、鍵１２の動きが遅延する。上述したように、打弦音が発生しない状況であれば、ベロシティの値を大きくすることができるが、打弦音が発生する場合には、ベロシティの値を大きくしすぎると、発音内容が大きく変わってしまう。第３実施形態ではそのような発音内容の変化をできるだけ低減するための例について説明する。

図７は、第３実施形態におけるベロシティと遅延時間との関係を説明する図である。横軸は、ベロシティの値であり、鍵駆動信号の生成のために駆動信号生成部１４５における演算パラメータとして用いられる値である。縦軸は、鍵駆動信号に基づいて鍵駆動装置４２が鍵１２を駆動するときの遅延時間に対応する。ベロシティの値は、例えば、駆動信号生成部１４５が用いる演奏データに含まれる情報から取得される。より具体的には、ベロシティの値は、演奏データに含まれる鍵位置信号またはハンマ位置信号から演算されることによって取得されてもよい。演奏データに発音制御情報が含まれている場合には、そのベロシティの値から取得されてもよい。この例では、ベロシティは、「１」から「１２７」までの値をとる。

図７に示すようにベロシティが小さくなると、遅延時間が増加する。ベロシティがＶｔより小さくなると、遅延時間が急激に増加する。そのため、この例では、駆動信号生成部１４５は、ベロシティがＶｔより小さくなる場合にその値が大きくなるように補正する。

図８は、第３実施形態におけるベロシティと補正値との関係を説明する図である。図８に示すように、ベロシティがＶｔより小さい値であるときに、その値を大きくするようにして得られる補正値が、駆動信号生成部１４５における演算パラメータとして用いられる。例えば、ベロシティが「１」から「Ｖｔ」に変化する場合に、補正値が「Ｖａ」から「Ｖｔ」に変化するように設定される。このようにすると、ベロシティが小さい場合の遅延時間を小さくすることができる。補正値は補正前の値に比べて大きいため、想定よりも大きい音が発生することになる、一方、遅延時間を低減する効果に比べると、音の大きさの変化は聴取者に与える影響は小さい。遅延時間を低減する効果をより強くするために、ベロシティが「１」であるときに補正値が「Ｖａ」よりも大きい「Ｖｂ」になるように設定されてもよい。

合奏を行うときにはできるだけ遅延を少なくする方が好ましい。一方、合奏をするのではなく、演奏データに基づく発音を聴取するだけであれば、遅延を少なくするよりは、入力値の全体にわたって遅延時間が変化しないことが好ましい。したがって、このような場合には、駆動信号生成部１４５は、ベロシティの値が大きい範囲（所定値以上の範囲）において、意図的に鍵１２の押下が始まるタイミングを遅らせるように遅延させた鍵駆動信号を生成してもよい。このとき、入力値が「Ｖｔ」から「１」に向かって小さくなるほど、タイミングを遅らせる時間が徐々に減るようにしてもよい。

＜第４実施形態＞
第４実施形態では、異なる通信拠点において、演奏される楽器が異なる例について説明する。ここでは、通信拠点Ｔ１は、オーケストラによる演奏が可能な大きなホールである。通信拠点Ｔ２は、防音室のような小さなスタジオである。この例では、通信拠点Ｔ１においてオーケストラによる演奏が行われ、通信拠点Ｔ２においてピアノによる演奏が行われる。すなわち、通信拠点Ｔ１におけるオーケストラにはピアノの演奏者は存在せず、遠隔の通信拠点Ｔ２においてピアノの演奏者が存在する。

通信拠点Ｔ１におけるオーケストラの演奏音は、通信拠点Ｔ２に送信される。通信拠点Ｔ２における演奏者は、通信拠点Ｔ１から受信した演奏音を聴きながら、自動演奏ピアノ１を演奏する。ユーザの演奏内容は、演奏データとして自動演奏ピアノ１から通信拠点Ｔ２の自動演奏ピアノ１に送信される。そのため、通信拠点Ｔ２における自動演奏ピアノ１は、通信拠点Ｔ１における演奏を再現するように音を発生する。すなわち、通信拠点Ｔ１においては、ピアノの演奏者が存在しなくても、オーケストラの演奏音と共にピアノの演奏音も聴取することができる。第４実施形態では、通信拠点Ｔ２における自動演奏ピアノ１の演奏者に対して、通信拠点Ｔ１におけるオーケストラ演奏の臨場感を伝えることができる。これを実現するための構成について以下に詳述する。

図９は、第４実施形態における通信拠点Ｔ１における環境収集装置の構成を説明する図である。通信拠点Ｔ１において、指揮台ＣＳ、自動演奏ピアノ１および椅子５０が、ホールのステージＳＴ１に設置されている。ステージＳＴ１には、振動測定板８２１、８２２およびマイクロフォン８２３を含む環境収集装置８２が設けられている。振動測定板８２１は、ステージＳＴ１における椅子５０が設置される場所に配置されている。振動測定板８２１は、ステージＳＴ１を介して伝達される振動を測定し、測定した振動を示す収集信号を出力する。振動測定板８２２は、ステージＳＴ１における自動演奏ピアノ１が設置される場所に配置されている。振動測定板８２２は、ステージＳＴ１を介して伝達される振動を測定し、測定した振動を示す収集信号を出力する。マイクロフォン８２３は、この例では、椅子５０の近傍に配置される。マイクロフォン８２３は、到達した音を収集して、その音を示す収集信号を出力する。

図１０は、第４実施形態における通信拠点Ｔ１における環境提供装置の構成を説明する図である。通信拠点Ｔ２においては、自動演奏ピアノ１および椅子５０がスタジオのステージＳＴ２に設置されている。ステージＳＴ２には、振動発生板８８１、８８２およびスピーカ８８３を含む環境提供装置８８が設けられている。振動発生板８８１は、ステージＳＴ２における椅子５０が設置される場所に配置されている。振動発生板８８１は、制御信号に基づいて振動する。振動発生板８８２は、ステージＳＴ２における自動演奏ピアノ１が設置される場所に配置されている。振動発生板８８２は、制御信号に基づいて振動する。スピーカ８８３は、この例では、椅子５０の近傍（演奏者の近傍）に配置される。スピーカ８８３は、制御信号に基づく音を放出する。振動発生板８８１、８８２、スピーカ８８３において用いられる制御信号が生成されるときに、振動特性に応じた信号処理、伝達特性を変化させるための信号処理等が施されてもよい。

通信拠点Ｔ１においてオーケストラが演奏すると、演奏に伴う振動がステージＳＴ１を介して振動測定板８２１、８２２に伝達され、演奏音がマイクロフォン８２３において収集される。振動測定板８２１、８２２およびマイクロフォン８２３のそれぞれから出力された収集信号は、環境データとして通信拠点Ｔ２に送信される。通信拠点Ｔ２において自動演奏ピアノ１を演奏すると、演奏内容が演奏データとして通信拠点Ｔ１に送信される。

これにより、通信拠点Ｔ１においては、自動演奏ピアノ１が、通信拠点Ｔ２からの演奏データに基づいて駆動されて発音する。すなわち、通信拠点Ｔ１における自動演奏ピアノ１は、通信拠点Ｔ２における自動演奏ピアノ１に対する演奏に従って駆動される。通信拠点Ｔ２においては、スピーカ８８３が、通信拠点Ｔ１からの環境データに基づいて音を発生する。この音は、マイクロフォン８２３によって収集された音であり、通信拠点Ｔ１におけるオーケストラの演奏音に対応する。

さらに振動発生板８８１および振動発生板８８２が、通信拠点Ｔ１からの環境データに基づいて駆動されて振動する。振動発生板８８１における振動は、通信拠点Ｔ１における振動測定板８２１によって測定された振動に対応する。すなわち、通信拠点Ｔ１において椅子５０に伝わるような振動が、通信拠点Ｔ２における椅子５０に対しても伝わる。振動発生板８８２における振動は、通信拠点Ｔ１における振動測定板８２２によって測定された振動に対応する。振動発生板８８２における振動は、通信拠点Ｔ１における振動測定板８２２によって測定された振動に対応する。すなわち、通信拠点Ｔ２において自動演奏ピアノ１に伝わるような振動が、通信拠点Ｔ２における自動演奏ピアノ１に対しても伝わる。したがって、通信拠点Ｔ２における演奏者は、通信拠点Ｔ１において演奏しているような臨場感を得ることができる。

通信拠点Ｔ１における振動測定板８２１、８２２およびマイクロフォン８２３は、自動演奏ピアノ１が駆動されることによりピアノ音の成分についても収集することになる。したがって、通信拠点Ｔ２における振動発生板８８１、８８２およびスピーカ８８３が駆動されるまでの経路において、ピアノ音の成分を減少させるための信号処理が行われる。ピアノ音の成分は、通信拠点Ｔ１において自動演奏ピアノ１を駆動するための信号から生成することができる。したがって、この信号処理は、例えば、通信拠点Ｔ１から送信される環境データが生成されるときに環境データ生成部１２１が実行してもよい。このようにすることで、通信拠点Ｔ２における環境提供装置８８によって提供される環境において、通信拠点Ｔ２における演奏の影響を低減することができる。

＜第５実施形態＞
第５実施形態では、環境提供装置８８において他の通信拠点における演奏者の画像を表示する場合に、自らの画像（他の通信拠点に対して送信される演奏者の画像）についても表示する構成について説明する。

図１１は、第５実施形態における制御信号生成部の構成を説明する図である。第５実施形態における制御信号生成部１８５Ｂは、自画像取得部１８５１、遠隔画像取得部１８５３および画像合成部１８５５を含む。

自画像取得部１８５１は、環境収集装置８２から出力される収集信号に基づいて、演奏者を含む画像に関する自画像情報を取得する。遠隔画像取得部１８５３は、環境データ受信部１８３によって受信された環境データに基づいて、他の通信拠点の環境収集装置８２において収集された演奏者を含む画像に関する遠隔画像情報を取得する。自画像情報および遠隔画像情報は、いずれも演奏者および鍵盤楽器１０の鍵盤部分を含む画像である。

画像合成部１８５５は、自画像情報および遠隔画像情報に基づいて、合成画像を生成する。合成画像は、遠隔画像情報に含まれる演奏者の画像領域を抽出して、自画像情報の画像に重畳した画像である。このとき、画像合成部１８５５は、自画像情報および遠隔画像情報のそれぞれにおける画像から鍵盤部分を特定し、互いの鍵盤部分が一致するように、遠隔画像情報における演奏者の画像の重畳位置を決定する。画像合成部１８５５は、例えば、互いの鍵盤部分の相互相関が最大化するように遠隔画像情報に変換行列を適用して得られる画像を、自画像情報の画像に重畳する。画像合成部１８５５は、合成画像を表示するための制御信号を生成して環境提供装置８８に出力する。環境提供装置８８は、ディスプレイに合成画像を表示するディスプレイであってもよいし、遠隔画像情報の画像の少なくとも一部を、鍵盤部分に投影するプロジェクタであってもよい。プロジェクタを用いて投影する場合には、その鍵盤部分の位置に応じた所定の変換行列を遠隔画像情報に適用してもよい。

２人で１つのピアノを演奏する連弾では、それぞれの演奏者が演奏する音域が異なるため、鍵盤に対する演奏者の位置も異なる。連弾を２つの通信拠点に分けて１人ずつ演奏する場合であっても、鍵盤に対する演奏者の位置は、１つのピアノを演奏する場合とほぼ同じである。したがって、生成される合成画像は、１つのピアノを演奏する２人の演奏者の画像として得られる。

この例では、画像合成部１８５５は、２人の演奏者の画像が互いに接触したかどうかを判定し、接触した場合には接触部分に対応する領域を発光させる等、その領域を特定できるように合成画像を修正する。このとき、発光させる接触部分を一部（例えば、腕または手など）に限定してもよい。２人の演奏者の画像が接触したことを画像以外で演奏者に認識させてもよい。例えば、２人の演奏者の画像が互いに接触した場合には、演奏者が利用する椅子の座面を振動させてもよい。この場合には、椅子の座面を振動させる構成は環境提供装置８８に含まれ、制御信号生成部１８５Ｂからの制御信号によって制御される。このようにすることで、２人の演奏者が互いにことなる通信拠点で演奏したとしても、実際に同じ場所で演奏しているような状況を体験することができる。

遠隔画像取得部１８５３は、遠隔画像情報に代えて上述した動作情報（遠隔動作情報）として取得してもよい。この場合には、画像合成部１８５５は、動作情報を用いて演奏者を模した画像を生成して、自画像情報の画像に合成して合成画像を生成してもよい。画像合成部１８５５は、自画像情報と遠隔画像情報との時間的なずれ（通信遅延等）を考慮して、合成画像を生成するときに、自画像情報の画像を遅延させてから遠隔画像情報の画像を重畳してもよいし、遠隔画像情報の画像または遠隔動作情報から、遅延時間分の未来の予測画像を生成して自画像情報の画像に重畳してもよい。

＜第６実施形態＞
第６実施形態では、２つの通信拠点が同じ部屋に存在する場合について説明する。この場合には、１つの部屋に互いに通信可能な２つの自動演奏ピアノ１が存在する。このような場合に、２つの自動演奏ピアノ１の間に、それぞれの演奏内容に関連する画像が表示されるスクリーンが配置されてもよい。

図１２は、第６実施形態におけるスクリーンの表示例を説明する図である。通信拠点Ｔ１に対応する自動演奏ピアノ１ａと通信拠点Ｔ２に対応する自動演奏ピアノ１ｂとが、１つの部屋に配置されている。自動演奏ピアノ１ａと自動演奏ピアノ１ｂとの間には、プロジェクタＰＪによって画像が投影されるスクリーンＳＣが配置されている。この例では、スクリーンＳＣには、自動演奏ピアノ１ａと自動演奏ピアノ１ｂ間で通信される演奏データに応じた画像が表示される。

表示される画像は、演奏内容に応じた音に関連する画像であり、この例では、音高と発音タイミングとで決まる位置に音長に応じた長さで表した帯状画像である。図１２においては、帯状画像ｓｂａは自動演奏ピアノ１ａにおける演奏内容に応じた音を示す画像であり、帯状画像ｓｂｂは自動演奏ピアノ１ａにおける演奏内容に応じた音を示す画像である。帯状画像ｓｂａ、ｓｂｂは、通信の向きに応じて流れるように表示される。

すなわち、自動演奏ピアノ１ａにおいて鍵１２が押下されると、その鍵１２に応じた音に相当する帯状画像ｓｂａが、自動演奏ピアノ１ｂに向けて移動していくようにスクリーンに表示される。ここで、帯状画像ｓｂａが自動演奏ピアノ１ｂ側に到達したときに、その画像に対応した音が自動演奏ピアノ１ｂにおいて発音されるようにしてもよい。この場合には、自動演奏ピアノ１ｂは、帯状画像ｓｂａに対応する演奏データを受信した後に、そのタイミングに到達するまで遅延させてから、鍵１２を駆動すればよい。自動演奏ピアノ１ａと自動演奏ピアノ１ｂとの関係は入れ替えても同じである。

このようなプロジェクタＰＪとスクリーンＳＣとは、環境提供装置８８の一例ということもできる。この場合には、環境提供装置８８は、２つの自動演奏ピアノ１ａ、１ｂに共有されている。

＜変形例＞
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。以下、一部の変形例について説明する。第１実施形態を変形した例として説明するが、他の実施形態を変形する例としても適用することができる。複数の変形例を組み合わせて各実施形態に適用することもできる。

（１）駆動信号生成部１４５は、演奏データにおける鍵位置信号が示す鍵１２の押下量の変化から、ノートオンなどの発音制御情報を予測する場合に限らず、別の情報を用いて発音制御情報を予測してもよい。駆動信号生成部１４５は、例えば、環境データに含まれる演奏者の画像のうち、鍵１２に向かう指の動きを抽出し、その指の動きの変化からその後の鍵１２が押下されるときの動きを推定して、発音制御情報を予測してもよい。指の動きを示す情報は、鍵１２の押下に関する情報でもある。したがって、指の画像または指の動きは、センサ３０において取得されたものとしてもよい。この場合には、指の動きを示す情報は演奏データによって送信されてもよい。

センサ３０において、鍵１２への接触または近接することを検出する構成を有していてもよい。この場合、演奏データ生成部１３１は、この検出結果に基づいて演奏データを生成して送信することによって、実際に鍵１２が押下され始める前に、他の通信拠点に鍵１２が押下され始めることを認識させることができる。これによって、発音制御情報の予測精度を向上させてもよい。

これらの予測において、鍵１２の動きまたは指の動き等の動き履歴情報と、ノートオンのタイミングおよびベロシティの値等の発音制御情報との相関関係を機械学習させた学習済モデルが用いられてもよい。学習済モデルは、各演奏者に対応するように生成されてもよい。

このように発音制御情報を予測することは、他の通信拠点における自動演奏ピアノ１を制御する場合に適用される場合に限られず、様々な連動に用いてもよい。例えば、鍵盤装置と音源装置とが無線で接続されているような構成の場合に適用することできる。例えば、鍵盤装置での鍵の押下によりノートオンが発生してから音源装置にノートオンが送信されると、通信遅延の影響で発音タイミングが遅くなる。一方、鍵盤装置でノートオンが発生する前に音源装置に鍵の動きを送信することで、その動きを用いた予測演算によって、通信遅延の影響を小さくすることができる。

（２）自動演奏ピアノ１への鍵１２の押下に応じて生成される鍵位置信号を用いて、同じ自動演奏ピアノ１における他の鍵１２を制御してもよい。例えば、鍵１２の押下に応じて、その鍵１２の１オクターブ高い音に対応する鍵１２が連動するように制御することもできる。連動する鍵１２は、１オクターブ高い音に限らず、予め決められた音であればよい。予め決められた音は、押下された鍵１２の音高に対して相対的に決められてもよいし、その音高とは関係なく絶対的に決められてもよい。このとき、発音制御情報ではなく鍵位置信号を用いることにより、演奏対象の鍵１２の押下と、連動する鍵１２の駆動との時間差を小さくすることができる。

（３）制御装置２０において、自動演奏ピアノ１への演奏内容が記録されるようにしてもよい。記録されるデータは、発音制御情報に基づくデータであってもよいし、鍵位置信号、ハンマ位置信号およびペダル位置信号などのセンサ３０から出力される信号に応じたデータであってもよい。

（４）演奏データ送信部１３３は、他の通信拠点における自動演奏ピアノ１の鍵１２を駆動するかしないかを、鍵１２毎に設定するための情報を演奏データに含めて送信してもよい。駆動の有無は、送信側の通信拠点において演奏者によって、演奏中に設定されてもよいし、特定の鍵または音域によって予め決められていてもよい。受信側の通信拠点において自動演奏ピアノ１は、駆動しない設定の鍵１２に関する鍵位置信号に対しては、鍵１２の駆動をせずに、加振器４７を駆動する。

（５）環境収集装置８２は、演奏者に取り付けるセンサ、例えば、演奏者の呼吸を測定するセンサを含んでもよい。自動演奏ピアノ１は、演奏者の呼吸の測定結果を環境データとして他の通信拠点に送信し、他の通信拠点における環境提供装置８８のディスプレイ等で呼吸の変化に応じた情報を表示させてもよい。演奏者の呼吸は、演奏動作と密接に関連している。例えば、演奏を開始する直前には、演奏者が息を大きく吸い込むことが多い。したがって、息を大きく吸い込むことが測定された場合に、そのことを示す情報または演奏が開始されると考えられるまでの時間がディスプレイに表示されてもよい。演奏者によって息を大きく吸い込んでから演奏を開始するまでの時間が異なることを想定して、演奏者によって、その時間を異ならせるように設定されてもよい。この時間の予測において、息を大きく吸い込んだタイミングと演奏開始までの時間との相関関係を機械学習させた学習済モデルが用いられてもよい。

（６）環境提供装置８８は、様々な環境を提供することができる小型の可動型装置であってもよく、例えば、何らかのキャラクタを模した人型の形状であってもよい。例えば、環境提供装置８８は、制御信号に基づいて腕および手が動く人型のロボットであってもよい。環境提供装置８８は、演奏者に取り付けることができる形状（腕時計型、肩掛け型、首掛け型等）であってもよい。様々な環境を提供する構成は、上述したディスプレイ、スピーカであってもよいし、例えば、温度を制御するための熱源、冷却源、ファン等であってもよいし、部屋の明るさ、色合い、模様等を制御するための照明、プロジェクタ等であってもよい。環境提供装置８８は、例えば、熱源等の位置を変化させるためのロボットアーム等の構造を含んでもよいし、複数の熱源を配置していずれかかが駆動されることで実質的に熱源の位置が変化するようにしてもよい。熱源は、例えば、他の通信拠点における演奏者の位置を再現するために用いられてもよい。環境収集装置８２は、環境提供装置８８に対応したセンサを含んでいればよく、例えば、温度センサ、風量センサ、照度センサ等を含んでもよい。

（７）環境提供装置８８は、複数のスピーカを含むことで、音像を定位させたり所定の音場を再現したりすることができてもよい。このとき、所定のリバーブ処理またはＦＩＲ等のフィルタ処理を環境データに含まれる音信号に付加してもよい。環境収集装置８２において部屋の音場特性を再現するための情報を収集して環境データとして他の通信拠点に送信してもよい。これにより、受信側の通信拠点における環境提供装置８８は、環境データに含まれる情報に基づいて、送信側の通信拠点における部屋の音場を再現するようにしてもよい。このとき、受信側の通信拠点における部屋の音場特性をキャンセルするための信号処理を含めることで、送信側の通信拠点における部屋の音場をより正確に再現するようにしてもよい。このような音場を再現する処理は、加振駆動信号に付加されてもよい。

（８）各通信拠点において同期された共通のメトロノームを音、光、振動等によって実現してもよい。絶対的な時刻で同期する場合には、例えば、ＧＰＳ信号など衛星測位システムで用いられる時刻情報が用いられてもよいし、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）による時刻同期技術が用いられてもよい。この場合には、ＢＰＭの値が設定され、拍の開始タイミングが時刻情報に基づいて決定されればよい。ＢＰＭの値は、予め設定された演奏曲に基づいて決められてもよいし、演奏者によって設定されてもよい。

絶対的な時刻を基準とするのではなく、複数の通信拠点のうちいずれかの通信拠点がメトロノームの基準とされてもよい。この場合には、基準となる通信拠点での演奏内容からビート位置が解析されて、メトロノームとして用いられてもよい。複数の通信拠点における演奏内容からそれぞれビート位置を検出した場合に、最も多い数の通信拠点で一致した扱えるビート位置が、他の通信拠点でもメトロノームとして用いられてもよい。これらのメトロノームにしたがって、所定のデータ（発音制御情報を含むデータ、音データ、動画データなど）を再生してもよい。所定のデータは、演奏を記録することによって得られてもよい。例えば、ドラムのリズムパターンがメトロノームの設定により再生されてもよい。

メトロノームを振動で実現する場合には、自動演奏ピアノ１のうち可動の構成を振動させることによってメトロノームの拍を演奏者に認識させてもよい。例えば、駆動信号生成部１４５は、メトロノームの拍毎にペダル１３を少し動かすように駆動信号を生成してもよい。ペダル１３を動かす量は、ダンパペダルであれば、ダンパ１８が弦１５から離れない程度のわずかな量である。メトロノームの拍毎に動く構成は、ペダル１３に限らず、いずれかの鍵１２であってもよく、この場合には、鍵１２は打弦またはノートオンを発生させない発音しない程度の押下量であることが好ましい。

（９）送信される演奏データにおいて演奏データを送信するときの時刻情報が含まれてもよい。このようにすると、複数の通信拠点から受信された演奏データを、時刻情報に応じて時間軸上で調整することで、通信遅延における時間軸上のずれを無くすように補正することできる。例えば、自動演奏ピアノ１を演奏しなかったり、演奏したとしても他の通信拠点へ演奏データを送信しなかったりする場合であれば、他の複数の通信拠点からの演奏データが通信遅延によってそれぞれ異なるタイミングで受信されたとしても、時刻情報が揃うように時間軸上で演奏データをずらすことで、同じ遅延量であるものとして自動演奏ピアノ１を駆動することができる。

この時刻情報を利用して、各通信拠点から届く演奏データの遅延時間が認識できる。駆動信号生成部１４５は、この遅延時間が大きいほど、ベロシティの値を小さくするようにして駆動信号を生成してもよい。駆動信号生成部１４５は、遅延時間が大きいほど、残響を付すようにしてもよい。このようにすると、遅延時間の長さを距離の大きさによる効果とした発音を、自動演奏ピアノ１において実現することができる。すなわち、遅延時間が大きいことを遠い場所での演奏とした感覚を聴取者に与えることができる。各通信拠点に関して、遅延時間の大きさを視覚的に示す画像がディスプレイに表示されてもよい。各通信拠点に関して、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いて遅延時間の大きさを視覚的に示す画像が提示されてもよい。例えば、遅延時間をＡＲ空間上の位置・距離関係に変換して、各通信拠点に関する画像が提示されればよい。

（１０）制御装置２０は、複数の通信拠点間での演奏データを互いに比較して相関度を演算して、相関度をディスプレイに表示するようにしてもよい。相関度は、例えば、信号処理またはＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて演算されてもよい。このとき、上述のように、複数の通信拠点間で時刻情報が揃うように調整された演奏データを用いて相関度を演算してもよい。制御装置２０は、受信した演奏データを解析してコードを特定したり、ビート位置を特定したりして、特定した情報をディスプレイに表示してもよい。このとき、複数の通信拠点における演奏データのうち、最も尤度が高いコード、ビート位置をディスプレイに表示するようにしてもよい。このコードの構成音に相当する鍵１２が演奏者に認識させるように、鍵盤に光が照射されてもよい。

（１１）制御装置２０は、受信した演奏データからコードを解析し、そのコードの尤度が所定値より高い場合には、現在のコードとして特定する。制御装置２０は、鍵１２への演奏操作に応じて加振器４７による発音をする場合、コードに対応する音以外の鍵１２への演奏操作は、加振器４７を駆動しないように制御する。

（１２）制御装置２０は、受信した演奏データからビート位置を解析し、そのビート位置の尤度が所定値より高い場合には、現在のビート位置として特定する。制御装置２０は、鍵１２への演奏操作に応じて加振器４７による発音をする場合、次に予測されるビート位置に至るまでに所定時間の範囲内に鍵１２への押下が発生したときには、予測されるビート位置まで遅延させることで加振器４７による発音を実現する。このようにして、演奏音をビート位置に合わせるようにしてもよい。

（１３）制御装置２０は、受信した演奏データから音量を特定するとともに、自動演奏ピアノ１に対する自分の演奏による音量を特定する。音量は、例えば、過去の所定時間におけるベロシティの平均値によって特定される。駆動信号生成部１４５は、受信した演奏データの音量が自分の演奏による音量に近づくように調整して、鍵駆動信号または加振駆動信号を生成する。音量を調整するときは、急激に変化させるのではなく、徐々に変化させてもよい。このようにすると、合奏における音量バランスを調整することができる。音量バランスは、予め設定することによって、いずれか一方の音量が相対的に大きくなるようにしてもよい。

（１４）制御装置２０は、鍵１２への演奏操作に応じて加振器４７による発音をする場合、鍵１２の押下に応じた発音のタイミングを遅延させてもよい。このとき、他の通信拠点に送信される演奏データおよび他の通信拠点から送信された演奏データは遅延させない。これにより、演奏者は遅延時間を考慮して早めに鍵１２を押下するように演奏するため、合奏における通信遅延の影響を少なくすることができる。

（１５）いずれかの通信拠点において自動演奏ピアノ１が設置されているのではなく、センサ３０および駆動装置４０が配置されていないアコースティックピアノである場合には、制御装置２０は、センサ３０および駆動装置４０に関連する構成を含んでいなくてもよく、デスクトップパソコン、タブレットコンピュータ等で構成されてもよい。

この場合には、制御装置２０は、演奏音を演奏データに変換して、他の通信拠点に送信してもよい。演奏音はマイクロフォンにより収集されればよく、制御装置２０は、収集された演奏音に含まれる構成音を解析して、発音制御情報に変換することで、演奏データを生成してもよい。このような処理によれば、ピアノ以外の楽器にも適用することができる。

（１６）環境収集装置８２は、鍵盤蓋１１の開閉を検出するセンサ、椅子への演奏者の着座を検出するセンサなどを有してもよい。この場合には、環境提供装置８８は、鍵盤蓋１１の開閉、椅子への演奏者の着座を表示するディスプレイを有してもよい。環境提供装置８８は、制御信号に応じて鍵盤蓋１１を開閉する構造を有してもよい。この場合には、特定の通信拠点における鍵盤蓋１１の開閉に対応して、他の通信拠点における鍵盤蓋１１が連動してもよい。

（１７）自動演奏ピアノ１における鍵盤楽器１０は、グランドピアノ等のアコースティックピアノに限らず、電子鍵盤楽器であってもよい。電子鍵盤楽器は、鍵１２に相当する構造を有する鍵盤装置であってもよいし、鍵１２がシート状の構造を有する鍵盤装置であってもよい。シート状の構造を有する鍵盤装置の場合には、床に置いて足で踏んで演奏することもできるから、手を使用することができない状況においても演奏することができる。足で演奏するような鍵盤装置の場合には、演奏可能な音域が狭いことがある。このような場合には、互いに異なる音域が予め設定された複数の鍵盤装置を用いることにより、複数人で演奏するようにしてもよい。シート状の構造を有する鍵盤装置の場合、ベッドのサイドテーブルの裏面に配置されてもよい。この場合には、サイドテーブルを支持する支持部材において、サイドテーブルの表面と裏面とのいずれかが上面を向くように切り替えられる回転機構が設ければよい。

（１８）制御装置２０の機能の少なくとも一部は、ビデオ会議システムを実現するソフトウエアにおけるプラグインとして用意されてもよい。

（１９）通信拠点間を接続するネットワークＮＷは、光ケーブル等で実現される専用回線であってもよい。

（２０）環境収集装置８２および環境提供装置８８は、自動演奏ピアノ１に着脱可能に取り付けるための構成を含んでいてもよい。自動演奏ピアノ１においても環境収集装置８２および環境提供装置８８を取り付けるための構成を含んでいてもよい。この場合には、環境収集装置８２または環境提供装置８８は、自動演奏ピアノ１に取り付けられることで、インターフェイス２６に接続されてもよい。

以上が変形例に関する説明である。

以上のとおり、本発明の一実施形態によれば、第１通信拠点における鍵盤楽器に対する演奏内容を含む第１演奏データを第２通信拠点に送信する第１送信部と、前記第２通信拠点から第２演奏データを受信する第１受信部と、前記第２演奏データに応じた発音をするための駆動信号を生成して、前記第１通信拠点における発音装置に出力する第１生成部と、を含み、前記第１演奏データおよび前記第２演奏データの少なくとも一方は、前記鍵盤楽器における鍵の押下量を示す鍵位置信号を含む、制御装置が提供される。

前記発音装置は、前記鍵盤楽器の響板に接続された加振器を含んでもよい。前記第２演奏データに応じた発音は、前記駆動信号に応じた前記加振器の振動によって生じてもよい。

前記発音装置は、前記鍵盤楽器の鍵、前記鍵に連動するハンマおよび前記ハンマに打撃される弦を含んでもよい。前記第２演奏データに応じた発音は、前記駆動信号に応じた前記鍵の駆動によって生じてもよい。前記駆動信号は、前記鍵位置信号に応じた前記押下量を再現するように前記鍵を駆動するための信号であってもよい。

前記第１通信拠点における環境収集装置によって収集された周囲環境の情報に応じた第１環境データを取得して前記第２通信拠点に送信する第２送信部と、前記第２通信拠点から第２環境データを受信する第２受信部と、前記第２環境データに応じた周囲環境を提供するための制御信号を生成して、前記第１通信拠点における環境提供装置に出力する第２生成部と、をさらに含んでもよい。

１，１ａ，１ｂ：自動演奏ピアノ、１０：鍵盤楽器、１１：鍵盤蓋、１２：鍵、１３：ペダル、１４：ハンマ、１５：弦、１６，１６Ｈ，１６Ｌ：駒、１７：響板、１７ａ：響棒、１８：ダンパ、１９：直支柱、２０：制御装置、２１：制御部、２２：記憶部、２３：操作パネル、２４：通信部、２５：音源部、２６：インターフェイス、２７：バス、３０：センサ、３２：鍵センサ、３３：ペダルセンサ、３４：ハンマセンサ、３７Ｈ，３７Ｌ：ピックアップセンサ、４０：駆動装置、４２：鍵駆動装置、４３：ペダル駆動装置、４４：ストッパ、４７，４７Ｈ，４７Ｌ：加振器、４８：ダンパ駆動装置、４９Ｈ，４９Ｌ：支持部、５０：椅子、８２：環境収集装置、８８：環境提供装置、１００：合奏制御機能、１２１：環境データ生成部、１２３：環境データ送信部、１３１：演奏データ生成部、１３３：演奏データ送信部、１４３：演奏データ受信部、１４５，１４５Ａ：駆動信号生成部、１８３：環境データ受信部、１８５，１８５Ｂ：制御信号生成部、８２１，８２２：振動測定板、８２３：マイクロフォン、８８１，８８２：振動発生板、８８３：スピーカ、１０００：サーバ、１４５１：クロストーク処理部、１４５３：音響付与部、１４５５：増幅部、１８５１：自画像取得部、１８５３：遠隔画像取得部、１８５５：画像合成部

Claims (4)

1. 第１通信拠点における鍵盤楽器に対する演奏内容を含む第１演奏データを第２通信拠点に送信する第１送信部と、
   前記第２通信拠点から第２演奏データを受信する第１受信部と、
   前記第２演奏データに応じた発音をするための駆動信号を生成して、前記第１通信拠点における発音装置に出力する第１生成部と、
   を含み、
   前記第１演奏データおよび前記第２演奏データの少なくとも一方は、前記鍵盤楽器における鍵の押下量を示す鍵位置信号を含む、
   制御装置。
2. 前記発音装置は、前記鍵盤楽器の響板に接続された加振器を含み、
   前記第２演奏データに応じた発音は、前記駆動信号に応じた前記加振器の振動によって生じる、
   請求項１に記載の制御装置。
3. 前記発音装置は、前記鍵盤楽器の鍵、前記鍵に連動するハンマおよび前記ハンマに打撃される弦を含み、
   前記第２演奏データに応じた発音は、前記駆動信号に応じた前記鍵の駆動によって生じ、
   前記駆動信号は、前記鍵位置信号に応じた前記押下量を再現するように前記鍵を駆動するための信号である、請求項１に記載の制御装置。
4. 前記第１通信拠点における環境収集装置によって収集された周囲環境の情報に応じた第１環境データを取得して前記第２通信拠点に送信する第２送信部と、
   前記第２通信拠点から第２環境データを受信する第２受信部と、
   前記第２環境データに応じた周囲環境を提供するための制御信号を生成して、前記第１通信拠点における環境提供装置に出力する第２生成部と、
   をさらに含む、請求項１から請求項３のいずれかに記載の制御装置。