JP2023154288A - 制御装置 - Google Patents

制御装置 Download PDF

Info

Publication number
JP2023154288A
JP2023154288A JP2022063525A JP2022063525A JP2023154288A JP 2023154288 A JP2023154288 A JP 2023154288A JP 2022063525 A JP2022063525 A JP 2022063525A JP 2022063525 A JP2022063525 A JP 2022063525A JP 2023154288 A JP2023154288 A JP 2023154288A
Authority
JP
Japan
Prior art keywords
key
sound
communication base
performance
performance data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022063525A
Other languages
English (en)
Inventor
善政 磯崎
Yoshimasa Isozaki
克典 鈴木
Katsunori Suzuki
隆洋 寺田
Takahiro Terada
隆志 森
Takashi Mori
潤 石井
Jun Ishii
伊吹 半田
Ibuki Handa
琢哉 藤島
Takuya Fujishima
幸司 谷高
Koji Tanitaka
幸夫 涌井
Yukio Wakui
宗一 瀧川
Soichi Takigawa
陽 前澤
Akira Maezawa
陽貴 大川
Haruki Okawa
吉勝 松原
Yoshikatsu Matsubara
保彦 大場
Yasuhiko Oba
福太郎 奥山
Fukutaro Okuyama
智也 佐々木
Tomoya Sasaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2022063525A priority Critical patent/JP2023154288A/ja
Priority to PCT/JP2023/010952 priority patent/WO2023195333A1/ja
Publication of JP2023154288A publication Critical patent/JP2023154288A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】合奏をする複数の演奏者が一体感を得られるようにすること【解決手段】一実施形態における制御装置は、第1送信部と、第1受信部と、第1生成部と、を含む。第1送信部は、第1通信拠点における鍵盤楽器に対する演奏内容を含む第1演奏データを第2通信拠点に送信する。第1受信部は、第2通信拠点から第2演奏データを受信する。第1生成部は、第2演奏データに応じた発音をするための駆動信号を生成して、第1通信拠点における発音装置に出力する。第1演奏データおよび第2演奏データの少なくとも一方は、鍵盤楽器における鍵の押下量を示す鍵位置信号を含む。【選択図】図4

Description

本発明は制御装置に関する。
楽器が演奏される複数の通信拠点がネットワークを介して接続されることにより、離れた場所に置いても合奏を可能とする技術が開発されている。快適な合奏を実現するために通信遅延の影響を少なくするための技術が、例えば、特許文献1に開示されている。
特開2005-195982号公報
複数の通信拠点における合奏によれば、同じ場所で行う合奏に比べて、様々な観点で、複数の演奏者が一体感を得られにくい。
本発明の目的の一つは、合奏をする複数の演奏者が一体感を得られるようにすることにある。
一実施形態における制御装置は、第1送信部と、第1受信部と、第1生成部と、を含む。第1送信部は、第1通信拠点における鍵盤楽器に対する演奏内容を含む第1演奏データを第2通信拠点に送信する。第1受信部は、第2通信拠点から第2演奏データを受信する。第1生成部は、第2演奏データに応じた発音をするための駆動信号を生成して、第1通信拠点における発音装置に出力する。第1演奏データおよび第2演奏データの少なくとも一方は、鍵盤楽器における鍵の押下量を示す鍵位置信号を含む。
本発明によれば、合奏をする複数の演奏者が一体感を得られるようにすることができる。
第1実施形態における通信システム構成を説明するための図である。 第1実施形態における自動演奏ピアノの内部構成を説明する図である。 第1実施形態における制御装置の構成を説明する図である。 第1実施形態における合奏制御機能の構成を説明する図である。 第2実施形態における加振器およびピックアップセンサの位置関係を説明する図である。 第2実施形態における駆動信号生成部の構成を説明する図である。 第3実施形態におけるベロシティと遅延時間との関係を説明する図である。 第3実施形態におけるベロシティと補正値との関係を説明する図である。 第4実施形態における通信拠点T1における環境収集装置の構成を説明する図である。 第4実施形態における通信拠点T2における環境提供装置の構成を説明する図である。 第5実施形態における制御信号生成部の構成を説明する図である。 第6実施形態におけるスクリーンの表示例を説明する図である。
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。各実施形態において説明される構成は、他の実施形態に適用することもできる。以下に説明する複数の実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号(数字の後にA、Bなど付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。図面は、説明を明確にするために、構成の一部が図面から省略されたりして、模式的に説明される場合がある。
<第1実施形態>
[通信システム]
図1は、一実施形態における通信システムの構成を説明する図である。通信システムは、インターネットなどのネットワークNWに接続されたサーバ1000を含む。サーバ1000は、CPU等の制御部、記憶部および通信部を含む。制御部は、所定のプログラムを実行することにより、通信拠点間における合奏を実現するためのサービスを提供する。サーバ1000は、ネットワークNWに接続された複数の通信拠点間の通信を制御し、各通信拠点における自動演奏ピアノ1が互いにP2P型通信を実現するために必要な処理を実行する。この処理は、公知の方法により実現されればよい。図1では、2つの通信拠点T1、T2が例示されているが、この数に限られず、さらに多くの通信拠点が存在してもよい。以下の説明において、通信拠点T1、T2を区別せずに説明する場合には、単に通信拠点という。
この例では、通信拠点T1と通信拠点T2との間で、それぞれの通信拠点における演奏に関連する情報が、P2P通信によって相互にやり取りされる。この通信によって、複数の通信拠点間における合奏が実現される。各通信拠点においては、自動演奏ピアノ1が配置されている。自動演奏ピアノ1には、この例では、環境収集装置82および環境提供装置88が接続されている。
環境収集装置82は、自動演奏ピアノ1の周囲環境の情報を収集するためのセンサを含み、センサの測定結果を示す収集信号を出力する。周囲環境は、例えば、音、光、振動、温度、空気の流れなどである。環境提供装置88は、周囲環境を示す制御信号を取得すると、制御信号に基づく環境を提供する。環境収集装置82と環境提供装置88とは、一体に構成されていてもよい。環境提供装置88は、他の通信拠点の数に応じて設けられてもよい。例えば、通信拠点T1の他に、3つの通信拠点が存在する場合には、通信拠点T1においては3つの環境提供装置88がそれぞれの通信拠点に対応して設けられてもよい。環境収集装置82と環境提供装置88との少なくとも一方は、自動演奏ピアノ1に組み込まれた構成であってもよい。環境収集装置82および環境提供装置88の具体例については、後述する。
自動演奏ピアノ1は、鍵盤楽器10、制御装置20、センサ30および駆動装置40を含む。
[自動演奏ピアノ]
続いて、自動演奏ピアノ1の構成について説明する。
図2は、第1実施形態における自動演奏ピアノの内部構成を説明する図である。自動演奏ピアノ1のうち、鍵盤楽器10は、例えばグランドピアノに相当する。鍵盤楽器10は、複数の鍵12を含む。鍵盤楽器10は、各鍵12に対応して設けられたハンマ14、弦15およびダンパ18を含む。自動演奏ピアノ1において、各鍵12に対応して設けられている構成は、図2に示した1つの鍵2に対応して設けられている各構成に着目して示している。したがって、他の鍵12に対応して設けられている各構成については記載を省略している。ダンパ18など一部の構成については、一部の鍵12に対しては設けられていない場合もある。
鍵盤楽器10は、複数のペダル13を含む。複数のペダル13は、例えば、ダンパペダル、シフトペダルおよびソステヌートペダルである。自動演奏ピアノ1において、各ペダル13に対応して設けられている構成は、図2に示した1つのペダル13に対応して設けられている各構成に着目して示している。したがって、他のペダル13に対応して設けられている各構成については記載を省略している。鍵盤楽器10は、鍵盤蓋11、駒16、響板17および直支柱19などをさらに含む。
センサ30は、鍵センサ32、ペダルセンサ33およびハンマセンサ34を含む。鍵センサ32は、各鍵12に対応して設けられ、鍵12の挙動に応じた測定信号を制御装置20に出力する。この例では、鍵センサ32は、鍵12の位置(押下量)に応じた測定信号を制御装置20に出力する。鍵12の位置は、連続量(微細な分解能)で測定されてもよいし、鍵12が予め決められた位置を通過したことを検出することによって測定されてもよい。鍵12が検出される位置は、鍵12の押下範囲(レスト位置からエンド位置までの範囲)のうち複数の位置であればよい。
ハンマセンサ34は、各ハンマ14に対応して設けられ、ハンマ14の挙動に応じた測定信号を制御装置20に出力する。この例では、ハンマセンサ34は、ハンマ14が弦15を打撃する直前におけるハンマシャンクの位置(回動量)を測定し、測定結果に応じた測定信号を制御装置20に出力する。ハンマシャンクの位置は、連続量(微細な分解能)で測定されてもよいし、ハンマシャンクが予め決められた位置を通過したことを検出することによって測定されてもよい。ハンマシャンクが検出される位置は、ハンマ14が弦15を打撃する直前の範囲のうち複数の位置であればよい。
ペダルセンサ33は、各ペダル13に対応して設けられ、ペダル13の挙動に応じた測定信号を制御装置20に出力する。この例では、ペダルセンサ33は、ペダル13の位置(踏込量)に応じた測定信号を制御装置20に出力する。ペダル13の位置は、連続量(微細な分解能)で検出されてもよいし、ペダル13が予め決められた位置を通過したことで検出されてもよい。ペダル13が検出される位置は、ペダル13の踏込範囲(レスト位置からエンド位置までの範囲)のうち、複数の位置であればよい。
駆動装置40は、鍵駆動装置42、ペダル駆動装置43、ストッパ44、加振器47およびダンパ駆動装置48を含む。鍵駆動装置42は、各鍵12に対応して設けられ、制御装置20による駆動信号を用いた制御によって鍵12を押下するように駆動する。これによって、演奏者が鍵12を押下したときと同じ状況を機械的に再現する。ペダル駆動装置43は、各ペダル13対応して設けられ、制御装置20による駆動信号を用いた制御によってペダル13を押下するように駆動する。これによって、演奏者がペダル13を踏み込んだときと同じ状況を機械的に再現する。ダンパ駆動装置48は、各ダンパ18に対応して設けられ、制御装置20による駆動信号を用いた制御によって、ダンパ18を弦15から離すように駆動する。ダンパ駆動装置48は、全てのダンパ18を同時に駆動する構成を有していてもよい。
ストッパ44は、ハンマシャンクと衝突する位置(阻止位置)と、ハンマシャンクと衝突しない位置(待避位置)とのいずれかになるように、制御装置20からの制御によって駆動される。ストッパ44が阻止位置にある場合には、鍵12が押下されても、ハンマシャンクの移動が制限されてハンマ14が弦15を打撃しない。ストッパ44が待避位置にある場合には、鍵12が押下されると、鍵12に連動するハンマ14が弦15を打撃する。弦15が打撃されることによって、鍵盤楽器10は音を発生する。
加振器47は、この例では、響板17のうち駒16が配置されている部分の反対側の面に接触するように、直支柱9に接続された支持部によって支持されている。加振器47は、制御装置20による駆動信号を用いた制御によって、響板17を振動させる。加振器47は、例えば、制御装置20からピアノ音を含む駆動信号が供給されると、その駆動信号に応じた振動を響板17に印加する。これによって、響板17からピアノ音が放出される。複数の加振器47が響板17に接触するように配置されていてもよい。響板17を振動させる加振器47に代えて、音を放出するスピーカが用いられてもよい。
鍵盤楽器10による発音は、ハンマ14により弦15を打撃することによって実現される場合と、加振器47により響板17を振動させることによって実現される場合とを含む。したがって、鍵盤楽器10は、鍵12を駆動することによって打弦音を発生させる発音装置、および加振器47を駆動することにより響板17から音を発生させる発音装置を含んでいるということもできる。鍵12の駆動および加振器47の駆動は、後述するように駆動信号が駆動装置40に出力されることによって実現される。
制御装置20の構成について説明する。この例では、制御装置20は、鍵盤楽器10に取り付けられている。制御装置20は、鍵盤楽器10に取り付けられる装置でなくてもよく、例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン等であってもよい。
図3は、第1実施形態における制御装置の構成を説明する図である。制御装置20は、制御部21、記憶部22、操作パネル23、通信部24、音源部25およびインターフェイス26を有する。これらの各構成はバス27を介して接続されている。
制御部21は、CPUなどのプロセッサおよびRAM等の記憶装置を備えるコンピュータの一例である。制御部21は、記憶部22に記憶されたプログラムを、CPU(プロセッサ)を用いて実行し、様々な処理を実行するための機能を制御装置20において実現させる。制御装置20において実現される機能は、後述する合奏制御機能を含む。この合奏制御機能により、制御装置20の各部およびインターフェイス26に接続された各構成が制御される。インターフェイス26には、センサ30および駆動装置40が接続される。この例では、インターフェイス26には、さらに、外部装置80が接続される。インターフェイス26は、対象となる構成に対して、制御部21によって生成された駆動信号、制御信号等を送信したり、対象となる各構成から測定信号、収集信号等を受信したりする。
記憶部22は、不揮発性メモリ、ハードディスクドライブなどの記憶装置である。記憶部22は、制御部21において実行されるプログラムおよびこのプログラムを実行するときに必要となる各種データを記憶する。
操作パネル23は、ユーザの操作を受け付ける操作ボタンなどを有する。この操作ボタンによりユーザの操作が受け付けられると、操作に応じた操作信号が制御部21に出力される。操作パネル23は、表示画面を有してもよい。この場合には操作パネル23は、表示画面にタッチセンサが組み合わされたタッチパネルであってもよい。
通信部24は、無線、有線などにより他の装置と通信を行う通信モジュールである。通信部24が通信を行う他の装置は、この例では、サーバ1000または他の通信拠点における自動演奏ピアノ1である。この例では、通信拠点間において、鍵盤楽器10に対する演奏内容を示す演奏データ、環境データなどが通信される。
音源部25は、制御部21からの制御によって音信号を生成する。音信号は、加振器47を駆動するための駆動信号(後述する加振駆動信号)等に用いられる。音信号は、この例では、ピアノの音を示す信号を含む。制御部21は、例えば、演奏データに対応する演奏内容に応じたピアノの音を示す音信号を生成するように音源部25を制御する。演奏データは、センサ30により生成される測定信号に基づいて生成されるデータであればよい。演奏データは、例えば、ノートオン、ノートオフ、ノートナンバ、ベロシティなどの発音制御情報を含むMIDI形式のデータであってもよいし、測定信号によって直接的に示される情報であってもよい。
インターフェイス26は、制御装置20と外部の各構成とを接続するインターフェイスである。インターフェイス26に接続される各構成は、上述したように、この例では、センサ30、駆動装置40および外部装置80を含む。インターフェイス26は、センサ30から出力される測定信号を、制御部21に出力する。インターフェイス26は、駆動装置40に対して各装置を駆動するための駆動信号を出力する。駆動信号は、後述する合奏制御機能100において生成される。インターフェイス26は、音源部25において生成されたピアノ音を示す音信号が供給されるヘッドフォン端子などを含んでもよい。
[合奏制御機能]
続いて、制御部21がプログラムを実行することにより実現される合奏制御機能について説明する。合奏制御機能を実現する構成がプログラムの実行によって実現される場合に限らず、少なくとも一部の構成がハードウエアによって実現されてもよい。合奏制御機能を実現する構成が、制御装置20ではなく、インターフェイス26に接続される装置(例えば、このプログラムがインストールされたコンピュータ)によって実現されてもよい。
この例では、合奏制御機能が実現されるときには、制御部21は、ストッパ44を阻止位置に配置されるように制御する。この場合には、ユーザにより鍵12およびペダル13に対して演奏操作が入力されると、ストッパ44により打弦が阻止される一方、演奏操作に応じた音信号(例えば、ピアノの演奏音)が音源部25において生成される。この音信号を用いて加振器47が響板17を振動させることによって、音として放出される。加振器47を駆動させるための信号は、以下に示す駆動信号生成部145において生成される。
図4は、第1実施形態における合奏制御機能の構成を説明する図である。合奏制御機能100は、演奏データ生成部131、演奏データ送信部133、演奏データ受信部143および駆動信号生成部145を含む。合奏制御機能100は、この例では、さらに合奏に付随して、自動演奏ピアノ1の周囲環境を通信拠点間で共有するための機能として、環境データ生成部121、環境データ送信部123、環境データ受信部183および制御信号生成部185を含む。
演奏データ生成部131は、センサ30から出力される測定信号に基づいて、鍵盤楽器10に対する演奏内容を示す演奏データを生成する。この例では、演奏データは、鍵センサ32から出力される測定信号(以下、鍵位置信号という)およびペダルセンサ33から出力される測定信号(以下、ペダル位置信号という)を含む。鍵位置信号は、この例では、押下された鍵12の音高と鍵12の押下量とを含む。鍵センサ32が鍵12の押下量を4箇所で測定するセンサであれば、鍵位置信号に含まれる鍵12の押下量の情報は、4箇所のいずれかの位置を示す。
ペダル位置信号は、この例では、押下されたペダル13の種類とペダル13の踏込量とを含む。ペダルセンサ33がペダルの踏込量を3箇所で測定するセンサであれば、ペダル13の踏込量の情報は、3箇所のいずれかの位置を示す。演奏データは、さらにハンマセンサ34から出力される測定信号(以下、ハンマ位置信号という)を含んでもよい。ハンマ位置信号は、例えば、鍵の音高とハンマ14の回動位置とを含む。
演奏データ生成部131において生成される演奏データが、鍵センサ32およびペダルセンサ33の測定結果に基づいて生成された発音制御情報を含むデータ(例えばMIDI形式)の場合を想定する。この場合には、例えば、ノートオンを送信するには、鍵12における押下量がノートオンを発生させる状態まで進む必要がある。
一方、この例における演奏データ生成部131によれば、鍵12が押下されている途中の段階で、鍵12の押下量を順次送信することができる。したがって、他の通信拠点の自動演奏ピアノ1に対して、ノートオンに至る前であっても鍵12が押下され始めたことを認識させることができる。例えば、通信拠点T1の自動演奏ピアノ1において、鍵12が押下され始めると、ノートオンに至る前であっても、通信拠点T2の自動演奏ピアノ1における鍵12を、認識した押下量になるように駆動し始めることができる。このようにすることで、通信拠点T1おける鍵12への演奏操作を、通信拠点T2においても、短い遅延時間で追従させるように鍵12を駆動することができる。
演奏データ送信部133は、演奏データ生成部131において生成された演奏データを他の通信拠点へ送信する。
演奏データ受信部143は、他の通信拠点から送信された演奏データを受信する。
駆動信号生成部145は、演奏データ受信部143によって受信された演奏データに基づいて、駆動装置40において用いられる駆動信号を生成する。この駆動信号は、鍵駆動装置42に供給される信号(鍵駆動信号)、ペダル駆動装置43に供給される信号(ペダル駆動信号)、および加振器47に供給される信号(加振駆動信号)を含む。
鍵駆動信号は、演奏データに基づいて生成され、より詳細には演奏データに含まれる鍵位置信号に基づいて生成される。鍵駆動信号は、鍵位置信号に応じた押下量を再現するように鍵12を駆動するように鍵駆動装置42を制御するための信号である。駆動される対象となる鍵12は、鍵位置信号によって特定される音高に対応する鍵である。ペダル駆動信号は、演奏データに基づいて生成され、より詳細にはペダル位置信号に基づいて生成される。ペダル駆動信号は、ペダル位置信号によって特定される種類に対応するペダルを踏込量に対応する位置に移動させるように、ペダル駆動装置43を制御するための信号である。
加振駆動信号は、演奏データに基づいて生成され、より詳細には鍵位置信号およびペダル位置信号に基づいて音源部25によって生成された信号である。加振駆動信号により加振器47が響板17を振動させると、音源部25において生成された信号に対応する音(この例では、ピアノ音)が響板17を介して鍵盤楽器10の周囲に拡がる。
駆動信号生成部145は、音源部25において音信号を生成するときに、鍵位置信号およびペダル位置信号に基づいて発音制御情報を生成し、発音制御情報に基づいて音源部25に音信号を生成させてもよい。このとき、駆動信号生成部145は、演奏データにおける鍵位置信号が示す鍵12の押下量の変化から、ノートオンとなるタイミングおよびベロシティを予測する演算を用いて発音制御情報を生成してもよい。演奏データにおけるハンマ位置信号が示すハンマ14の回動位置の変化をこの予測演算に用いてもよい。予測演算は、予め機械学習によって得られた学習済モデルを用いてもよいし、押下量の変化から、等速軌道、等加速度軌道等を想定したフィッティング処理を用いてもよい。これにより鍵12とハンマ14との動きが揃わない場合でも予測精度を向上することができる。
演奏データに基づいて鍵12が駆動され、その結果として動作するハンマ14が弦15を打撃する場合を想定する。この場合には、発音指示(例えばノートオン)から鍵12の駆動のための時間を要することで、発音されるタイミングが遅くなる。したがって、発音のタイミングは、通信拠点間における通信遅延の影響に加えて、鍵12が駆動されるときの遅延の影響も受ける。
一方、駆動信号生成部145によれば、鍵駆動信号およびペダル駆動信号によって鍵12およびペダル13を駆動するが、ストッパ44によりハンマ14の弦15への打撃が阻止されるため、打弦音が発生しない。その代わりに、加振駆動信号によって加振器47が駆動されることで、響板17から発音される。加振器47を用いた発音は、鍵12の駆動を要しない。したがって、発音指示(例えば、ノートオン)から実際の発音に至るまでの時間に関して、加振器47による発音の場合の時間が打弦による発音の場合の時間よりも短い。
このとき、加振器47による発音と鍵12の駆動とは別々に制御されるため、互いのタイミングにずれが生じる。一方、そのずれの量は少ないため、ユーザの感覚に与える影響は少ない。
送信される演奏データと発音方法については、上記の組み合わせに限らない。例えば、鍵12の押下量が演奏データとして送信されるのではなく、発音制御情報が演奏データとして送信されてもよい。この場合であっても、上述したように加振器47による発音を用いることにより、打弦による発音を用いる場合よりも、通信拠点間における発音の時間差を短くすることができる。
各駆動信号は、演奏データにおける発音制御情報に基づいて生成される。このとき、鍵駆動信号について、発音制御情報におけるベロシティの値を所定値以上になるように大きくしてもよい。ベロシティの値が小さい、すなわち、鍵12の押下速度が遅い場合(ハンマ14の回動速度が小さい場合)には、鍵駆動装置42は、鍵12の駆動速度を遅くする。
このとき、ソレノイドの特性によって、駆動速度が遅く設定されるほど、鍵12が予定されたタイミングよりも遅延して動く場合がある。その遅延を補償するためベロシティの値を大きくすることが考えられる。ベロシティの値を大きくすると、鍵12が駆動されるときの遅延時間が短くなるが、打弦音が大きくなってしまう。一方、この例では、ハンマ14の打弦がストッパ44により阻止されて打弦音は生じないため、発音への影響がない。したがって、発音に寄与しない鍵12については、ベロシティの値を大きくすることができる。加振駆動信号については、発音内容が変わらないように、ベロシティの値を変更しない。このときには、ユーザの演奏に影響を与えないようにするために、一部の鍵12については駆動されないようにしてもよい。駆動されない鍵12は、予め演奏曲が設定されることで、演奏曲に使用される音高の鍵を対象としてもよい。
他の例として、加振器による発音が用いられるのではなく、ストッパ44が待避位置に制御されることで鍵12の駆動および打弦による発音が用いられてもよい。この場合であっても、上述したように、鍵12の押下量を演奏データとして送信することにより、発音制御情報を演奏データとして送信する場合よりも、通信拠点間における発音の時間差を短くすることができる。この場合、ユーザの演奏操作により生じる音(例えば、通信拠点T1における演奏により生じる音)および他の通信拠点(例えば、通信拠点T2)における演奏により生じる音は、いずれも打弦音を含む。
このときには、ユーザの演奏に影響を与えないようにするために、ペダル13がペダル駆動装置43によって駆動されないようにする一方、ダンパ駆動装置48によってダンパ18が駆動されてもよい。
さらに他の例として、ストッパ44を待避位置に制御しつつも加振器47による発音を用いてもよい。この場合には、駆動信号生成部145は、鍵駆動信号およびペダル駆動信号を生成せずに鍵12およびペダル13が動かないようにしてもよい。このようにすると、ユーザの演奏操作により生じる音は打弦音を含む一方、他の通信拠点における演奏により生じる音は、遅延の少ない加振器47による音とすることができる。送信される演奏データと発音方法との組み合わせについては、複数の例を説明したが、いずれを選択するかを操作パネル23への操作によって設定できるようにしてもよい。
環境データ生成部121は、環境収集装置82から出力される収集信号に基づいて、周囲環境を示す環境データを生成する。この例では、周囲環境は、装置周辺の画像および音を含む。そのため、環境収集装置82は、周囲環境を収集するための装置、すなわち、画像を取得するためのカメラ(撮像装置)および音を取得するためのマイクロフォン(収音装置)を含む。カメラは、この例では、鍵盤楽器10の演奏者が含まれる範囲の画像を取得する。
環境データに含まれる画像に関する情報は、画像(動画)そのものを示す画像情報であってもよいが、この例では、演奏者の動きをモーションキャプチャの技術によって取得することによって得られた動作情報を含む。演奏者の動きを測定するセンサは、カメラに限らず、IMU(Inertial Measurement Unit)、圧力センサ、変位センサ等を含んでもよい。動作情報は、例えば、画像から抽出された所定の特徴を有する複数の部分について、各部分の座標によって示される情報である。環境データは、音信号を示すオーディオデータの形式で送信されてもよい。この場合には、動作情報は、オーディオデータにおける所定のチャンネルのデータとして送信されることで、オーディオデータに含まれる音信号に同期させることもできる。同様に、環境データは、発音制御情報を示す形式(例えば、MIDI形式)、動画データの形式等、既に存在するデータの一部として送信されるようにデータの形式が変換されてから、他の通信拠点に対して送信されてもよい。
環境収集装置82が収集する音は、鍵盤楽器10に対する演奏により生じる音(ピアノ音)が含まれる場合がある。鍵盤楽器10に対する演奏により生じる音が存在する期間は、鍵位置信号等から特定することができる。演奏により生じる音が加振器47による発音である場合には、音源部25においてその音が特定できる。したがって、環境データ生成部121は、環境データを生成するときに、収集信号に含まれる音から、音源部25において生成した音の成分をキャンセルするように信号処理を施してもよい。
環境データ生成部121は、演奏により生じる音が打弦音であったとしても、収集信号に含まれる音から打弦音の成分をキャンセルするように信号処理を施してもよい。打弦音の成分は、音源部25において鍵位置信号およびペダル駆動信号を用いて生成されればよい。環境データ生成部121は、鍵盤楽器10に対する演奏により生じる音が存在する期間について、収集信号に含まれる音を用いずに環境データを生成してもよい。このとき、環境収集装置82は、演奏中の期間を認識させることで、その期間は音を収集しないようにしてもよい。
環境データ送信部123は、環境データ生成部121において生成された環境データを他の通信拠点へ送信する。
環境データ受信部183は、他の通信拠点から送信された環境データを受信する。
制御信号生成部185は、環境データ受信部183によって受信された環境データに基づいて、環境提供装置88において用いられる制御信号を生成する。この制御信号は、環境データに含まれる周囲環境の情報を再現するための信号であり、この例では、画像をディスプレイ(表示装置)に表示するための信号および音をスピーカ(放音装置)から出力するための信号を含む。そのため、環境提供装置88は、画像を表示するためのディスプレイおよび音を出力するためのスピーカを含む。ディスプレイは、鍵盤楽器10における鍵盤蓋11、譜面台等、演奏者が見やすい位置に配置されていてもよい。鍵盤蓋11に画像を表示する場合には、ディスプレイに代えて、鍵盤蓋11に画像を投影するプロジェクタが用いられてもよい。複数の通信拠点が通信対象である場合には、各通信拠点に対応して環境提供装置88が設けられてもよい。この場合には、環境提供装置88に供給される制御信号は、その環境提供装置88に対応する通信拠点から受信された環境データに基づいて生成される。
制御信号生成部185は、環境データに含まれる動作情報を用いて、演奏者を模した画像を生成し、生成した画像をディスプレイに表示するための信号を生成してもよい。このとき、特定の部分または動作を強調する画像が生成されてもよい。特定の部分とは、例えば、演奏者の目、顔、指等であってもよい。特定の動作は、例えば、視線の動き、顔の動き、演奏動作における指の動き等であってもよい。制御信号生成部185は、環境データに含まれる動作情報を用いて、演奏者の動きを数値化して示すグラフ等の画像を生成し、生成した画像をディスプレイに表示するための信号を生成してもよい。演奏者は、演奏を合わせるために、表示された情報を用いることができる。
制御信号生成部185は、演奏データ受信部143によって受信された演奏データに基づく画像をディスプレイに表示するための信号を生成してもよい。演奏データに基づく画像は、その演奏データに含まれる演奏内容を示す画像、例えば、操作されている鍵、ペダルを示す画像を含んでもよい。
このように、第1実施形態における合奏制御機能100によれば、通信拠点間での発音の時間差を低減し、互いの周囲環境を身近に感じることができる。したがって、合奏をする複数の演奏者が一体感を得ることができる。
<第2実施形態>
演奏データに含まれる演奏内容は、鍵12等への演奏操作を示す場合に限らない。第2実施形態では、演奏による打弦音が伝達された響板17の振動を示す信号が、演奏データに含まれている例について説明する。響板17の振動は、この例では、センサ30に含まれるピックアップセンサによって測定される。
図5は、第2実施形態における加振器およびピックアップセンサの位置関係を説明する図である。図5は、鍵盤楽器10を下側から見た図である。図5に示すように、響板17には、2つの加振器47(加振器47H、47L)が設けられている。加振器47H、47Lは、響板17のうち、複数存在する響棒17aの間に接続されている。加振器47Hは、2つの駒16(駒16H(長駒)、16L(短駒))のうち、駒16Hに対応する位置に設けられている。加振器47Lは、駒16Lに対応する位置に設けられている。駒16Hは、高音側の弦15を支持する駒であり、駒16Lは、低音側の弦15を支持する駒である。加振器47Hは、直支柱19に接続された支持部97Hによって支持されている。加振器47Lは、直支柱19に接続された支持部97Lによって支持されている。
加振器47は、響板17のうち駒16に対応する位置に設けられている場合に限らず、駒16とは離れた位置に設けられていてもよいし、響棒17aに対応する位置に設けられていてもよい。響棒17aに対応する位置に設けられる場合には、響板17の弦15側に加振器47が設けられればよい。
ピックアップセンサ37Hは、加振器47Hの近傍において響板17に取り付けられ、響板17の振動を測定し、測定結果を示す測定信号を出力する。ピックアップセンサ37Lは、加振器47Lの近傍において響板17に取り付けられ、響板17の振動を測定し、測定結果を示す測定信号を出力する。そのため、演奏データ送信部133が他の通信拠点に送信する演奏データ、および演奏データ受信部143が他の通信拠点から受信する演奏データは、ピックアップセンサ37Hからの測定信号PU1およびピックアップセンサ37Lからの測定信号PU2を含む。
図6は、第2実施形態における駆動信号生成部の構成を説明する図である。駆動信号生成部145Aは、演奏データ受信部143によって受信された演奏データに含まれる測定信号PU1、PU2から加振駆動信号DS1、DS2を生成する。加振駆動信号DS1は、加振器47Hに供給される。加振駆動信号DS2は、加振器47Lに供給される。
駆動信号生成部145Aは、クロストーク処理部1451、音響付与部1453および増幅部1455を含む。クロストーク処理部1451は、測定信号PU1に対して所定のディレイ処理および所定のフィルタ処理を施して測定信号PU2に加算する。クロストーク処理部1451は、測定信号PU2に対して所定のディレイ処理および所定のフィルタ処理を施して測定信号PU1に加算する。これによって、それぞれの測定信号PU1、PU2に含まれるクロストーク成分を低減する。
音響付与部1453は、測定信号PU1、PU2に対して、ディレイ、コンプレッサ、エキスパンダ、イコライザなどの音響効果を付与するための信号処理を施す。増幅部1455は、測定信号PU1、PU2を増幅することによって、加振器47H、47Lに供給される加振駆動信号DS1、DS2を出力する。
例えば通信拠点T1における鍵盤楽器10と通信拠点T2における鍵盤楽器10とにおいて、響板17等の大きさおよび形状が異なる場合、響板17における振動モードの違い等が生じる。これに起因して、それぞれの鍵盤楽器10から放出される音が異なる。クロストーク処理部1451および音響付与部1453における信号処理におけるパラメータが、鍵盤楽器10における相違する構成に対応して設定される。これにより、他の通信拠点における鍵盤楽器10の形状等が異なっていても、その違いに起因する発音の違いを低減することができる。
複数の通信拠点間で合奏が行われる場合、ピックアップセンサ37H、37Lにおいて測定される響板17の振動は、打弦音に起因する振動のみではなく、加振駆動信号DS1、DS2に基づく加振器47H、47Lによる振動も含む。そのため、演奏データ送信部133は、演奏データを他の通信拠点に送信する前に、演奏データに含まれる測定信号PU1、PU2に対して、加振駆動信号DS1、DS2の成分を低減させる信号処理を施してもよい。
<第3実施形態>
上述したように、ベロシティの値が小さい場合、鍵駆動装置42における鍵12の駆動に時間がかかり、ベロシティの値が大きい場合よりも、鍵12の動きが遅延する。上述したように、打弦音が発生しない状況であれば、ベロシティの値を大きくすることができるが、打弦音が発生する場合には、ベロシティの値を大きくしすぎると、発音内容が大きく変わってしまう。第3実施形態ではそのような発音内容の変化をできるだけ低減するための例について説明する。
図7は、第3実施形態におけるベロシティと遅延時間との関係を説明する図である。横軸は、ベロシティの値であり、鍵駆動信号の生成のために駆動信号生成部145における演算パラメータとして用いられる値である。縦軸は、鍵駆動信号に基づいて鍵駆動装置42が鍵12を駆動するときの遅延時間に対応する。ベロシティの値は、例えば、駆動信号生成部145が用いる演奏データに含まれる情報から取得される。より具体的には、ベロシティの値は、演奏データに含まれる鍵位置信号またはハンマ位置信号から演算されることによって取得されてもよい。演奏データに発音制御情報が含まれている場合には、そのベロシティの値から取得されてもよい。この例では、ベロシティは、「1」から「127」までの値をとる。
図7に示すようにベロシティが小さくなると、遅延時間が増加する。ベロシティがVtより小さくなると、遅延時間が急激に増加する。そのため、この例では、駆動信号生成部145は、ベロシティがVtより小さくなる場合にその値が大きくなるように補正する。
図8は、第3実施形態におけるベロシティと補正値との関係を説明する図である。図8に示すように、ベロシティがVtより小さい値であるときに、その値を大きくするようにして得られる補正値が、駆動信号生成部145における演算パラメータとして用いられる。例えば、ベロシティが「1」から「Vt」に変化する場合に、補正値が「Va」から「Vt」に変化するように設定される。このようにすると、ベロシティが小さい場合の遅延時間を小さくすることができる。補正値は補正前の値に比べて大きいため、想定よりも大きい音が発生することになる、一方、遅延時間を低減する効果に比べると、音の大きさの変化は聴取者に与える影響は小さい。遅延時間を低減する効果をより強くするために、ベロシティが「1」であるときに補正値が「Va」よりも大きい「Vb」になるように設定されてもよい。
合奏を行うときにはできるだけ遅延を少なくする方が好ましい。一方、合奏をするのではなく、演奏データに基づく発音を聴取するだけであれば、遅延を少なくするよりは、入力値の全体にわたって遅延時間が変化しないことが好ましい。したがって、このような場合には、駆動信号生成部145は、ベロシティの値が大きい範囲(所定値以上の範囲)において、意図的に鍵12の押下が始まるタイミングを遅らせるように遅延させた鍵駆動信号を生成してもよい。このとき、入力値が「Vt」から「1」に向かって小さくなるほど、タイミングを遅らせる時間が徐々に減るようにしてもよい。
<第4実施形態>
第4実施形態では、異なる通信拠点において、演奏される楽器が異なる例について説明する。ここでは、通信拠点T1は、オーケストラによる演奏が可能な大きなホールである。通信拠点T2は、防音室のような小さなスタジオである。この例では、通信拠点T1においてオーケストラによる演奏が行われ、通信拠点T2においてピアノによる演奏が行われる。すなわち、通信拠点T1におけるオーケストラにはピアノの演奏者は存在せず、遠隔の通信拠点T2においてピアノの演奏者が存在する。
通信拠点T1におけるオーケストラの演奏音は、通信拠点T2に送信される。通信拠点T2における演奏者は、通信拠点T1から受信した演奏音を聴きながら、自動演奏ピアノ1を演奏する。ユーザの演奏内容は、演奏データとして自動演奏ピアノ1から通信拠点T2の自動演奏ピアノ1に送信される。そのため、通信拠点T2における自動演奏ピアノ1は、通信拠点T1における演奏を再現するように音を発生する。すなわち、通信拠点T1においては、ピアノの演奏者が存在しなくても、オーケストラの演奏音と共にピアノの演奏音も聴取することができる。第4実施形態では、通信拠点T2における自動演奏ピアノ1の演奏者に対して、通信拠点T1におけるオーケストラ演奏の臨場感を伝えることができる。これを実現するための構成について以下に詳述する。
図9は、第4実施形態における通信拠点T1における環境収集装置の構成を説明する図である。通信拠点T1において、指揮台CS、自動演奏ピアノ1および椅子50が、ホールのステージST1に設置されている。ステージST1には、振動測定板821、822およびマイクロフォン823を含む環境収集装置82が設けられている。振動測定板821は、ステージST1における椅子50が設置される場所に配置されている。振動測定板821は、ステージST1を介して伝達される振動を測定し、測定した振動を示す収集信号を出力する。振動測定板822は、ステージST1における自動演奏ピアノ1が設置される場所に配置されている。振動測定板822は、ステージST1を介して伝達される振動を測定し、測定した振動を示す収集信号を出力する。マイクロフォン823は、この例では、椅子50の近傍に配置される。マイクロフォン823は、到達した音を収集して、その音を示す収集信号を出力する。
図10は、第4実施形態における通信拠点T1における環境提供装置の構成を説明する図である。通信拠点T2においては、自動演奏ピアノ1および椅子50がスタジオのステージST2に設置されている。ステージST2には、振動発生板881、882およびスピーカ883を含む環境提供装置88が設けられている。振動発生板881は、ステージST2における椅子50が設置される場所に配置されている。振動発生板881は、制御信号に基づいて振動する。振動発生板882は、ステージST2における自動演奏ピアノ1が設置される場所に配置されている。振動発生板882は、制御信号に基づいて振動する。スピーカ883は、この例では、椅子50の近傍(演奏者の近傍)に配置される。スピーカ883は、制御信号に基づく音を放出する。振動発生板881、882、スピーカ883において用いられる制御信号が生成されるときに、振動特性に応じた信号処理、伝達特性を変化させるための信号処理等が施されてもよい。
通信拠点T1においてオーケストラが演奏すると、演奏に伴う振動がステージST1を介して振動測定板821、822に伝達され、演奏音がマイクロフォン823において収集される。振動測定板821、822およびマイクロフォン823のそれぞれから出力された収集信号は、環境データとして通信拠点T2に送信される。通信拠点T2において自動演奏ピアノ1を演奏すると、演奏内容が演奏データとして通信拠点T1に送信される。
これにより、通信拠点T1においては、自動演奏ピアノ1が、通信拠点T2からの演奏データに基づいて駆動されて発音する。すなわち、通信拠点T1における自動演奏ピアノ1は、通信拠点T2における自動演奏ピアノ1に対する演奏に従って駆動される。通信拠点T2においては、スピーカ883が、通信拠点T1からの環境データに基づいて音を発生する。この音は、マイクロフォン823によって収集された音であり、通信拠点T1におけるオーケストラの演奏音に対応する。
さらに振動発生板881および振動発生板882が、通信拠点T1からの環境データに基づいて駆動されて振動する。振動発生板881における振動は、通信拠点T1における振動測定板821によって測定された振動に対応する。すなわち、通信拠点T1において椅子50に伝わるような振動が、通信拠点T2における椅子50に対しても伝わる。振動発生板882における振動は、通信拠点T1における振動測定板822によって測定された振動に対応する。振動発生板882における振動は、通信拠点T1における振動測定板822によって測定された振動に対応する。すなわち、通信拠点T2において自動演奏ピアノ1に伝わるような振動が、通信拠点T2における自動演奏ピアノ1に対しても伝わる。したがって、通信拠点T2における演奏者は、通信拠点T1において演奏しているような臨場感を得ることができる。
通信拠点T1における振動測定板821、822およびマイクロフォン823は、自動演奏ピアノ1が駆動されることによりピアノ音の成分についても収集することになる。したがって、通信拠点T2における振動発生板881、882およびスピーカ883が駆動されるまでの経路において、ピアノ音の成分を減少させるための信号処理が行われる。ピアノ音の成分は、通信拠点T1において自動演奏ピアノ1を駆動するための信号から生成することができる。したがって、この信号処理は、例えば、通信拠点T1から送信される環境データが生成されるときに環境データ生成部121が実行してもよい。このようにすることで、通信拠点T2における環境提供装置88によって提供される環境において、通信拠点T2における演奏の影響を低減することができる。
<第5実施形態>
第5実施形態では、環境提供装置88において他の通信拠点における演奏者の画像を表示する場合に、自らの画像(他の通信拠点に対して送信される演奏者の画像)についても表示する構成について説明する。
図11は、第5実施形態における制御信号生成部の構成を説明する図である。第5実施形態における制御信号生成部185Bは、自画像取得部1851、遠隔画像取得部1853および画像合成部1855を含む。
自画像取得部1851は、環境収集装置82から出力される収集信号に基づいて、演奏者を含む画像に関する自画像情報を取得する。遠隔画像取得部1853は、環境データ受信部183によって受信された環境データに基づいて、他の通信拠点の環境収集装置82において収集された演奏者を含む画像に関する遠隔画像情報を取得する。自画像情報および遠隔画像情報は、いずれも演奏者および鍵盤楽器10の鍵盤部分を含む画像である。
画像合成部1855は、自画像情報および遠隔画像情報に基づいて、合成画像を生成する。合成画像は、遠隔画像情報に含まれる演奏者の画像領域を抽出して、自画像情報の画像に重畳した画像である。このとき、画像合成部1855は、自画像情報および遠隔画像情報のそれぞれにおける画像から鍵盤部分を特定し、互いの鍵盤部分が一致するように、遠隔画像情報における演奏者の画像の重畳位置を決定する。画像合成部1855は、例えば、互いの鍵盤部分の相互相関が最大化するように遠隔画像情報に変換行列を適用して得られる画像を、自画像情報の画像に重畳する。画像合成部1855は、合成画像を表示するための制御信号を生成して環境提供装置88に出力する。環境提供装置88は、ディスプレイに合成画像を表示するディスプレイであってもよいし、遠隔画像情報の画像の少なくとも一部を、鍵盤部分に投影するプロジェクタであってもよい。プロジェクタを用いて投影する場合には、その鍵盤部分の位置に応じた所定の変換行列を遠隔画像情報に適用してもよい。
2人で1つのピアノを演奏する連弾では、それぞれの演奏者が演奏する音域が異なるため、鍵盤に対する演奏者の位置も異なる。連弾を2つの通信拠点に分けて1人ずつ演奏する場合であっても、鍵盤に対する演奏者の位置は、1つのピアノを演奏する場合とほぼ同じである。したがって、生成される合成画像は、1つのピアノを演奏する2人の演奏者の画像として得られる。
この例では、画像合成部1855は、2人の演奏者の画像が互いに接触したかどうかを判定し、接触した場合には接触部分に対応する領域を発光させる等、その領域を特定できるように合成画像を修正する。このとき、発光させる接触部分を一部(例えば、腕または手など)に限定してもよい。2人の演奏者の画像が接触したことを画像以外で演奏者に認識させてもよい。例えば、2人の演奏者の画像が互いに接触した場合には、演奏者が利用する椅子の座面を振動させてもよい。この場合には、椅子の座面を振動させる構成は環境提供装置88に含まれ、制御信号生成部185Bからの制御信号によって制御される。このようにすることで、2人の演奏者が互いにことなる通信拠点で演奏したとしても、実際に同じ場所で演奏しているような状況を体験することができる。
遠隔画像取得部1853は、遠隔画像情報に代えて上述した動作情報(遠隔動作情報)として取得してもよい。この場合には、画像合成部1855は、動作情報を用いて演奏者を模した画像を生成して、自画像情報の画像に合成して合成画像を生成してもよい。画像合成部1855は、自画像情報と遠隔画像情報との時間的なずれ(通信遅延等)を考慮して、合成画像を生成するときに、自画像情報の画像を遅延させてから遠隔画像情報の画像を重畳してもよいし、遠隔画像情報の画像または遠隔動作情報から、遅延時間分の未来の予測画像を生成して自画像情報の画像に重畳してもよい。
<第6実施形態>
第6実施形態では、2つの通信拠点が同じ部屋に存在する場合について説明する。この場合には、1つの部屋に互いに通信可能な2つの自動演奏ピアノ1が存在する。このような場合に、2つの自動演奏ピアノ1の間に、それぞれの演奏内容に関連する画像が表示されるスクリーンが配置されてもよい。
図12は、第6実施形態におけるスクリーンの表示例を説明する図である。通信拠点T1に対応する自動演奏ピアノ1aと通信拠点T2に対応する自動演奏ピアノ1bとが、1つの部屋に配置されている。自動演奏ピアノ1aと自動演奏ピアノ1bとの間には、プロジェクタPJによって画像が投影されるスクリーンSCが配置されている。この例では、スクリーンSCには、自動演奏ピアノ1aと自動演奏ピアノ1b間で通信される演奏データに応じた画像が表示される。
表示される画像は、演奏内容に応じた音に関連する画像であり、この例では、音高と発音タイミングとで決まる位置に音長に応じた長さで表した帯状画像である。図12においては、帯状画像sbaは自動演奏ピアノ1aにおける演奏内容に応じた音を示す画像であり、帯状画像sbbは自動演奏ピアノ1aにおける演奏内容に応じた音を示す画像である。帯状画像sba、sbbは、通信の向きに応じて流れるように表示される。
すなわち、自動演奏ピアノ1aにおいて鍵12が押下されると、その鍵12に応じた音に相当する帯状画像sbaが、自動演奏ピアノ1bに向けて移動していくようにスクリーンに表示される。ここで、帯状画像sbaが自動演奏ピアノ1b側に到達したときに、その画像に対応した音が自動演奏ピアノ1bにおいて発音されるようにしてもよい。この場合には、自動演奏ピアノ1bは、帯状画像sbaに対応する演奏データを受信した後に、そのタイミングに到達するまで遅延させてから、鍵12を駆動すればよい。自動演奏ピアノ1aと自動演奏ピアノ1bとの関係は入れ替えても同じである。
このようなプロジェクタPJとスクリーンSCとは、環境提供装置88の一例ということもできる。この場合には、環境提供装置88は、2つの自動演奏ピアノ1a、1bに共有されている。
<変形例>
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。以下、一部の変形例について説明する。第1実施形態を変形した例として説明するが、他の実施形態を変形する例としても適用することができる。複数の変形例を組み合わせて各実施形態に適用することもできる。
(1)駆動信号生成部145は、演奏データにおける鍵位置信号が示す鍵12の押下量の変化から、ノートオンなどの発音制御情報を予測する場合に限らず、別の情報を用いて発音制御情報を予測してもよい。駆動信号生成部145は、例えば、環境データに含まれる演奏者の画像のうち、鍵12に向かう指の動きを抽出し、その指の動きの変化からその後の鍵12が押下されるときの動きを推定して、発音制御情報を予測してもよい。指の動きを示す情報は、鍵12の押下に関する情報でもある。したがって、指の画像または指の動きは、センサ30において取得されたものとしてもよい。この場合には、指の動きを示す情報は演奏データによって送信されてもよい。
センサ30において、鍵12への接触または近接することを検出する構成を有していてもよい。この場合、演奏データ生成部131は、この検出結果に基づいて演奏データを生成して送信することによって、実際に鍵12が押下され始める前に、他の通信拠点に鍵12が押下され始めることを認識させることができる。これによって、発音制御情報の予測精度を向上させてもよい。
これらの予測において、鍵12の動きまたは指の動き等の動き履歴情報と、ノートオンのタイミングおよびベロシティの値等の発音制御情報との相関関係を機械学習させた学習済モデルが用いられてもよい。学習済モデルは、各演奏者に対応するように生成されてもよい。
このように発音制御情報を予測することは、他の通信拠点における自動演奏ピアノ1を制御する場合に適用される場合に限られず、様々な連動に用いてもよい。例えば、鍵盤装置と音源装置とが無線で接続されているような構成の場合に適用することできる。例えば、鍵盤装置での鍵の押下によりノートオンが発生してから音源装置にノートオンが送信されると、通信遅延の影響で発音タイミングが遅くなる。一方、鍵盤装置でノートオンが発生する前に音源装置に鍵の動きを送信することで、その動きを用いた予測演算によって、通信遅延の影響を小さくすることができる。
(2)自動演奏ピアノ1への鍵12の押下に応じて生成される鍵位置信号を用いて、同じ自動演奏ピアノ1における他の鍵12を制御してもよい。例えば、鍵12の押下に応じて、その鍵12の1オクターブ高い音に対応する鍵12が連動するように制御することもできる。連動する鍵12は、1オクターブ高い音に限らず、予め決められた音であればよい。予め決められた音は、押下された鍵12の音高に対して相対的に決められてもよいし、その音高とは関係なく絶対的に決められてもよい。このとき、発音制御情報ではなく鍵位置信号を用いることにより、演奏対象の鍵12の押下と、連動する鍵12の駆動との時間差を小さくすることができる。
(3)制御装置20において、自動演奏ピアノ1への演奏内容が記録されるようにしてもよい。記録されるデータは、発音制御情報に基づくデータであってもよいし、鍵位置信号、ハンマ位置信号およびペダル位置信号などのセンサ30から出力される信号に応じたデータであってもよい。
(4)演奏データ送信部133は、他の通信拠点における自動演奏ピアノ1の鍵12を駆動するかしないかを、鍵12毎に設定するための情報を演奏データに含めて送信してもよい。駆動の有無は、送信側の通信拠点において演奏者によって、演奏中に設定されてもよいし、特定の鍵または音域によって予め決められていてもよい。受信側の通信拠点において自動演奏ピアノ1は、駆動しない設定の鍵12に関する鍵位置信号に対しては、鍵12の駆動をせずに、加振器47を駆動する。
(5)環境収集装置82は、演奏者に取り付けるセンサ、例えば、演奏者の呼吸を測定するセンサを含んでもよい。自動演奏ピアノ1は、演奏者の呼吸の測定結果を環境データとして他の通信拠点に送信し、他の通信拠点における環境提供装置88のディスプレイ等で呼吸の変化に応じた情報を表示させてもよい。演奏者の呼吸は、演奏動作と密接に関連している。例えば、演奏を開始する直前には、演奏者が息を大きく吸い込むことが多い。したがって、息を大きく吸い込むことが測定された場合に、そのことを示す情報または演奏が開始されると考えられるまでの時間がディスプレイに表示されてもよい。演奏者によって息を大きく吸い込んでから演奏を開始するまでの時間が異なることを想定して、演奏者によって、その時間を異ならせるように設定されてもよい。この時間の予測において、息を大きく吸い込んだタイミングと演奏開始までの時間との相関関係を機械学習させた学習済モデルが用いられてもよい。
(6)環境提供装置88は、様々な環境を提供することができる小型の可動型装置であってもよく、例えば、何らかのキャラクタを模した人型の形状であってもよい。例えば、環境提供装置88は、制御信号に基づいて腕および手が動く人型のロボットであってもよい。環境提供装置88は、演奏者に取り付けることができる形状(腕時計型、肩掛け型、首掛け型等)であってもよい。様々な環境を提供する構成は、上述したディスプレイ、スピーカであってもよいし、例えば、温度を制御するための熱源、冷却源、ファン等であってもよいし、部屋の明るさ、色合い、模様等を制御するための照明、プロジェクタ等であってもよい。環境提供装置88は、例えば、熱源等の位置を変化させるためのロボットアーム等の構造を含んでもよいし、複数の熱源を配置していずれかかが駆動されることで実質的に熱源の位置が変化するようにしてもよい。熱源は、例えば、他の通信拠点における演奏者の位置を再現するために用いられてもよい。環境収集装置82は、環境提供装置88に対応したセンサを含んでいればよく、例えば、温度センサ、風量センサ、照度センサ等を含んでもよい。
(7)環境提供装置88は、複数のスピーカを含むことで、音像を定位させたり所定の音場を再現したりすることができてもよい。このとき、所定のリバーブ処理またはFIR等のフィルタ処理を環境データに含まれる音信号に付加してもよい。環境収集装置82において部屋の音場特性を再現するための情報を収集して環境データとして他の通信拠点に送信してもよい。これにより、受信側の通信拠点における環境提供装置88は、環境データに含まれる情報に基づいて、送信側の通信拠点における部屋の音場を再現するようにしてもよい。このとき、受信側の通信拠点における部屋の音場特性をキャンセルするための信号処理を含めることで、送信側の通信拠点における部屋の音場をより正確に再現するようにしてもよい。このような音場を再現する処理は、加振駆動信号に付加されてもよい。
(8)各通信拠点において同期された共通のメトロノームを音、光、振動等によって実現してもよい。絶対的な時刻で同期する場合には、例えば、GPS信号など衛星測位システムで用いられる時刻情報が用いられてもよいし、NTP(Network Time Protocol)による時刻同期技術が用いられてもよい。この場合には、BPMの値が設定され、拍の開始タイミングが時刻情報に基づいて決定されればよい。BPMの値は、予め設定された演奏曲に基づいて決められてもよいし、演奏者によって設定されてもよい。
絶対的な時刻を基準とするのではなく、複数の通信拠点のうちいずれかの通信拠点がメトロノームの基準とされてもよい。この場合には、基準となる通信拠点での演奏内容からビート位置が解析されて、メトロノームとして用いられてもよい。複数の通信拠点における演奏内容からそれぞれビート位置を検出した場合に、最も多い数の通信拠点で一致した扱えるビート位置が、他の通信拠点でもメトロノームとして用いられてもよい。これらのメトロノームにしたがって、所定のデータ(発音制御情報を含むデータ、音データ、動画データなど)を再生してもよい。所定のデータは、演奏を記録することによって得られてもよい。例えば、ドラムのリズムパターンがメトロノームの設定により再生されてもよい。
メトロノームを振動で実現する場合には、自動演奏ピアノ1のうち可動の構成を振動させることによってメトロノームの拍を演奏者に認識させてもよい。例えば、駆動信号生成部145は、メトロノームの拍毎にペダル13を少し動かすように駆動信号を生成してもよい。ペダル13を動かす量は、ダンパペダルであれば、ダンパ18が弦15から離れない程度のわずかな量である。メトロノームの拍毎に動く構成は、ペダル13に限らず、いずれかの鍵12であってもよく、この場合には、鍵12は打弦またはノートオンを発生させない発音しない程度の押下量であることが好ましい。
(9)送信される演奏データにおいて演奏データを送信するときの時刻情報が含まれてもよい。このようにすると、複数の通信拠点から受信された演奏データを、時刻情報に応じて時間軸上で調整することで、通信遅延における時間軸上のずれを無くすように補正することできる。例えば、自動演奏ピアノ1を演奏しなかったり、演奏したとしても他の通信拠点へ演奏データを送信しなかったりする場合であれば、他の複数の通信拠点からの演奏データが通信遅延によってそれぞれ異なるタイミングで受信されたとしても、時刻情報が揃うように時間軸上で演奏データをずらすことで、同じ遅延量であるものとして自動演奏ピアノ1を駆動することができる。
この時刻情報を利用して、各通信拠点から届く演奏データの遅延時間が認識できる。駆動信号生成部145は、この遅延時間が大きいほど、ベロシティの値を小さくするようにして駆動信号を生成してもよい。駆動信号生成部145は、遅延時間が大きいほど、残響を付すようにしてもよい。このようにすると、遅延時間の長さを距離の大きさによる効果とした発音を、自動演奏ピアノ1において実現することができる。すなわち、遅延時間が大きいことを遠い場所での演奏とした感覚を聴取者に与えることができる。各通信拠点に関して、遅延時間の大きさを視覚的に示す画像がディスプレイに表示されてもよい。各通信拠点に関して、AR(Augmented Reality)を用いて遅延時間の大きさを視覚的に示す画像が提示されてもよい。例えば、遅延時間をAR空間上の位置・距離関係に変換して、各通信拠点に関する画像が提示されればよい。
(10)制御装置20は、複数の通信拠点間での演奏データを互いに比較して相関度を演算して、相関度をディスプレイに表示するようにしてもよい。相関度は、例えば、信号処理またはDNN(Deep Neural Network)を用いて演算されてもよい。このとき、上述のように、複数の通信拠点間で時刻情報が揃うように調整された演奏データを用いて相関度を演算してもよい。制御装置20は、受信した演奏データを解析してコードを特定したり、ビート位置を特定したりして、特定した情報をディスプレイに表示してもよい。このとき、複数の通信拠点における演奏データのうち、最も尤度が高いコード、ビート位置をディスプレイに表示するようにしてもよい。このコードの構成音に相当する鍵12が演奏者に認識させるように、鍵盤に光が照射されてもよい。
(11)制御装置20は、受信した演奏データからコードを解析し、そのコードの尤度が所定値より高い場合には、現在のコードとして特定する。制御装置20は、鍵12への演奏操作に応じて加振器47による発音をする場合、コードに対応する音以外の鍵12への演奏操作は、加振器47を駆動しないように制御する。
(12)制御装置20は、受信した演奏データからビート位置を解析し、そのビート位置の尤度が所定値より高い場合には、現在のビート位置として特定する。制御装置20は、鍵12への演奏操作に応じて加振器47による発音をする場合、次に予測されるビート位置に至るまでに所定時間の範囲内に鍵12への押下が発生したときには、予測されるビート位置まで遅延させることで加振器47による発音を実現する。このようにして、演奏音をビート位置に合わせるようにしてもよい。
(13)制御装置20は、受信した演奏データから音量を特定するとともに、自動演奏ピアノ1に対する自分の演奏による音量を特定する。音量は、例えば、過去の所定時間におけるベロシティの平均値によって特定される。駆動信号生成部145は、受信した演奏データの音量が自分の演奏による音量に近づくように調整して、鍵駆動信号または加振駆動信号を生成する。音量を調整するときは、急激に変化させるのではなく、徐々に変化させてもよい。このようにすると、合奏における音量バランスを調整することができる。音量バランスは、予め設定することによって、いずれか一方の音量が相対的に大きくなるようにしてもよい。
(14)制御装置20は、鍵12への演奏操作に応じて加振器47による発音をする場合、鍵12の押下に応じた発音のタイミングを遅延させてもよい。このとき、他の通信拠点に送信される演奏データおよび他の通信拠点から送信された演奏データは遅延させない。これにより、演奏者は遅延時間を考慮して早めに鍵12を押下するように演奏するため、合奏における通信遅延の影響を少なくすることができる。
(15)いずれかの通信拠点において自動演奏ピアノ1が設置されているのではなく、センサ30および駆動装置40が配置されていないアコースティックピアノである場合には、制御装置20は、センサ30および駆動装置40に関連する構成を含んでいなくてもよく、デスクトップパソコン、タブレットコンピュータ等で構成されてもよい。
この場合には、制御装置20は、演奏音を演奏データに変換して、他の通信拠点に送信してもよい。演奏音はマイクロフォンにより収集されればよく、制御装置20は、収集された演奏音に含まれる構成音を解析して、発音制御情報に変換することで、演奏データを生成してもよい。このような処理によれば、ピアノ以外の楽器にも適用することができる。
(16)環境収集装置82は、鍵盤蓋11の開閉を検出するセンサ、椅子への演奏者の着座を検出するセンサなどを有してもよい。この場合には、環境提供装置88は、鍵盤蓋11の開閉、椅子への演奏者の着座を表示するディスプレイを有してもよい。環境提供装置88は、制御信号に応じて鍵盤蓋11を開閉する構造を有してもよい。この場合には、特定の通信拠点における鍵盤蓋11の開閉に対応して、他の通信拠点における鍵盤蓋11が連動してもよい。
(17)自動演奏ピアノ1における鍵盤楽器10は、グランドピアノ等のアコースティックピアノに限らず、電子鍵盤楽器であってもよい。電子鍵盤楽器は、鍵12に相当する構造を有する鍵盤装置であってもよいし、鍵12がシート状の構造を有する鍵盤装置であってもよい。シート状の構造を有する鍵盤装置の場合には、床に置いて足で踏んで演奏することもできるから、手を使用することができない状況においても演奏することができる。足で演奏するような鍵盤装置の場合には、演奏可能な音域が狭いことがある。このような場合には、互いに異なる音域が予め設定された複数の鍵盤装置を用いることにより、複数人で演奏するようにしてもよい。シート状の構造を有する鍵盤装置の場合、ベッドのサイドテーブルの裏面に配置されてもよい。この場合には、サイドテーブルを支持する支持部材において、サイドテーブルの表面と裏面とのいずれかが上面を向くように切り替えられる回転機構が設ければよい。
(18)制御装置20の機能の少なくとも一部は、ビデオ会議システムを実現するソフトウエアにおけるプラグインとして用意されてもよい。
(19)通信拠点間を接続するネットワークNWは、光ケーブル等で実現される専用回線であってもよい。
(20)環境収集装置82および環境提供装置88は、自動演奏ピアノ1に着脱可能に取り付けるための構成を含んでいてもよい。自動演奏ピアノ1においても環境収集装置82および環境提供装置88を取り付けるための構成を含んでいてもよい。この場合には、環境収集装置82または環境提供装置88は、自動演奏ピアノ1に取り付けられることで、インターフェイス26に接続されてもよい。
以上が変形例に関する説明である。
以上のとおり、本発明の一実施形態によれば、第1通信拠点における鍵盤楽器に対する演奏内容を含む第1演奏データを第2通信拠点に送信する第1送信部と、前記第2通信拠点から第2演奏データを受信する第1受信部と、前記第2演奏データに応じた発音をするための駆動信号を生成して、前記第1通信拠点における発音装置に出力する第1生成部と、を含み、前記第1演奏データおよび前記第2演奏データの少なくとも一方は、前記鍵盤楽器における鍵の押下量を示す鍵位置信号を含む、制御装置が提供される。
前記発音装置は、前記鍵盤楽器の響板に接続された加振器を含んでもよい。前記第2演奏データに応じた発音は、前記駆動信号に応じた前記加振器の振動によって生じてもよい。
前記発音装置は、前記鍵盤楽器の鍵、前記鍵に連動するハンマおよび前記ハンマに打撃される弦を含んでもよい。前記第2演奏データに応じた発音は、前記駆動信号に応じた前記鍵の駆動によって生じてもよい。前記駆動信号は、前記鍵位置信号に応じた前記押下量を再現するように前記鍵を駆動するための信号であってもよい。
前記第1通信拠点における環境収集装置によって収集された周囲環境の情報に応じた第1環境データを取得して前記第2通信拠点に送信する第2送信部と、前記第2通信拠点から第2環境データを受信する第2受信部と、前記第2環境データに応じた周囲環境を提供するための制御信号を生成して、前記第1通信拠点における環境提供装置に出力する第2生成部と、をさらに含んでもよい。
1,1a,1b:自動演奏ピアノ、10:鍵盤楽器、11:鍵盤蓋、12:鍵、13:ペダル、14:ハンマ、15:弦、16,16H,16L:駒、17:響板、17a:響棒、18:ダンパ、19:直支柱、20:制御装置、21:制御部、22:記憶部、23:操作パネル、24:通信部、25:音源部、26:インターフェイス、27:バス、30:センサ、32:鍵センサ、33:ペダルセンサ、34:ハンマセンサ、37H,37L:ピックアップセンサ、40:駆動装置、42:鍵駆動装置、43:ペダル駆動装置、44:ストッパ、47,47H,47L:加振器、48:ダンパ駆動装置、49H,49L:支持部、50:椅子、82:環境収集装置、88:環境提供装置、100:合奏制御機能、121:環境データ生成部、123:環境データ送信部、131:演奏データ生成部、133:演奏データ送信部、143:演奏データ受信部、145,145A:駆動信号生成部、183:環境データ受信部、185,185B:制御信号生成部、821,822:振動測定板、823:マイクロフォン、881,882:振動発生板、883:スピーカ、1000:サーバ、1451:クロストーク処理部、1453:音響付与部、1455:増幅部、1851:自画像取得部、1853:遠隔画像取得部、1855:画像合成部

Claims (4)

  1. 第1通信拠点における鍵盤楽器に対する演奏内容を含む第1演奏データを第2通信拠点に送信する第1送信部と、
    前記第2通信拠点から第2演奏データを受信する第1受信部と、
    前記第2演奏データに応じた発音をするための駆動信号を生成して、前記第1通信拠点における発音装置に出力する第1生成部と、
    を含み、
    前記第1演奏データおよび前記第2演奏データの少なくとも一方は、前記鍵盤楽器における鍵の押下量を示す鍵位置信号を含む、
    制御装置。
  2. 前記発音装置は、前記鍵盤楽器の響板に接続された加振器を含み、
    前記第2演奏データに応じた発音は、前記駆動信号に応じた前記加振器の振動によって生じる、
    請求項1に記載の制御装置。
  3. 前記発音装置は、前記鍵盤楽器の鍵、前記鍵に連動するハンマおよび前記ハンマに打撃される弦を含み、
    前記第2演奏データに応じた発音は、前記駆動信号に応じた前記鍵の駆動によって生じ、
    前記駆動信号は、前記鍵位置信号に応じた前記押下量を再現するように前記鍵を駆動するための信号である、請求項1に記載の制御装置。
  4. 前記第1通信拠点における環境収集装置によって収集された周囲環境の情報に応じた第1環境データを取得して前記第2通信拠点に送信する第2送信部と、
    前記第2通信拠点から第2環境データを受信する第2受信部と、
    前記第2環境データに応じた周囲環境を提供するための制御信号を生成して、前記第1通信拠点における環境提供装置に出力する第2生成部と、
    をさらに含む、請求項1から請求項3のいずれかに記載の制御装置。
JP2022063525A 2022-04-06 2022-04-06 制御装置 Pending JP2023154288A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022063525A JP2023154288A (ja) 2022-04-06 2022-04-06 制御装置
PCT/JP2023/010952 WO2023195333A1 (ja) 2022-04-06 2023-03-20 制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022063525A JP2023154288A (ja) 2022-04-06 2022-04-06 制御装置

Publications (1)

Publication Number Publication Date
JP2023154288A true JP2023154288A (ja) 2023-10-19

Family

ID=88242727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022063525A Pending JP2023154288A (ja) 2022-04-06 2022-04-06 制御装置

Country Status (2)

Country Link
JP (1) JP2023154288A (ja)
WO (1) WO2023195333A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552869U (ja) * 1991-12-25 1993-07-13 カシオ計算機株式会社 電子楽器システム
JP2002091291A (ja) * 2000-09-20 2002-03-27 Vegetable House:Kk ピアノ教授用データ通信システム
EP2043088A1 (en) * 2007-09-28 2009-04-01 Yamaha Corporation Music performance system for music session and component musical instruments
JP5891620B2 (ja) * 2011-07-01 2016-03-23 ヤマハ株式会社 演奏データ送信装置及び演奏データ受信装置
JP6627325B2 (ja) * 2014-10-17 2020-01-08 ヤマハ株式会社 音響システム及び音響装置

Also Published As

Publication number Publication date
WO2023195333A1 (ja) 2023-10-12

Similar Documents

Publication Publication Date Title
Hoffman et al. Interactive improvisation with a robotic marimba player
US7842875B2 (en) Scheme for providing audio effects for a musical instrument and for controlling images with same
JP4501725B2 (ja) 鍵盤楽器
US11557269B2 (en) Information processing method
WO2007037068A1 (ja) 合奏システム
US20190237048A1 (en) System and method for musical performance
EP3381032B1 (en) Apparatus and method for dynamic music performance and related systems and methods
JP4639795B2 (ja) 楽器の演奏駆動装置、鍵盤楽器の演奏駆動システム及び鍵盤楽器。
US11694665B2 (en) Sound source, keyboard musical instrument, and method for generating sound signal
US11551653B2 (en) Electronic musical instrument
US7504572B2 (en) Sound generating method
WO2023195333A1 (ja) 制御装置
Sarkar et al. Recognition and prediction in a network music performance system for Indian percussion
CN101777342B (zh) 电子键盘乐器
WO2023182005A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
Turchet The Hyper-Hurdy-Gurdy
JP2015138160A (ja) キャラクタ演奏画像生成装置、キャラクタ演奏画像生成方法、キャラクタ演奏システム及びキャラクタ演奏方法
WO2023181571A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
Menzies New performance instruments for electroacoustic music
CA3022402A1 (en) Method for creating music from observed motion
JP7440727B2 (ja) リズム把握支援システム
Martin Percussion and computer in live performance
Angell Combining Acoustic Percussion Performance with Gesture Control Electronics
JP2005062766A (ja) 自動演奏装置
Norderval Electrifying Opera: Amplifying agency for opera singers improvising with interactive audio technology