JP2008249771A - 演奏処理システム、演奏処理装置及び演奏処理プログラム - Google Patents
演奏処理システム、演奏処理装置及び演奏処理プログラム Download PDFInfo
- Publication number
- JP2008249771A JP2008249771A JP2007087353A JP2007087353A JP2008249771A JP 2008249771 A JP2008249771 A JP 2008249771A JP 2007087353 A JP2007087353 A JP 2007087353A JP 2007087353 A JP2007087353 A JP 2007087353A JP 2008249771 A JP2008249771 A JP 2008249771A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- performance
- processing
- interface device
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】異なる種類のセンサを有する複数の演奏インターフェース装置を同時に接続することができるようにする。
【解決手段】ピエゾセンサ１２を内蔵する打楽器である演奏インターフェース装置１１、バランスボール内部の空気圧を検出する気圧センサ２２を有する演奏インターフェース装置２１、３次元加速度センサ３２を有する指揮棒である演奏インターフェース装置３１から、それぞれのセンサ信号とその演奏インターフェース装置を識別する識別情報を含むセンサ情報が演奏処理装置５１に送信される。演奏処理装置５１では、受信したセンサ情報に含まれる識別情報に基づいて当該演奏インターフェース装置の種別を判定し、それに用いられているセンサに応じた処理方法及び処理パラメータを用いて受信したセンサ信号を処理し、対応する演奏制御を行う。
【選択図】 図１
【解決手段】ピエゾセンサ１２を内蔵する打楽器である演奏インターフェース装置１１、バランスボール内部の空気圧を検出する気圧センサ２２を有する演奏インターフェース装置２１、３次元加速度センサ３２を有する指揮棒である演奏インターフェース装置３１から、それぞれのセンサ信号とその演奏インターフェース装置を識別する識別情報を含むセンサ情報が演奏処理装置５１に送信される。演奏処理装置５１では、受信したセンサ情報に含まれる識別情報に基づいて当該演奏インターフェース装置の種別を判定し、それに用いられているセンサに応じた処理方法及び処理パラメータを用いて受信したセンサ信号を処理し、対応する演奏制御を行う。
【選択図】 図１
Description
本発明は、複数種類の音楽演奏インターフェース装置を用いて演奏することができる演奏処理システム、演奏処理装置及び演奏処理プログラムに関する。
演奏者と楽音発生装置との間に介在し、利用者の動きや動作に応じて楽音発生装置を制御する演奏インターフェース装置として様々なセンサを使用するものが知られている。
例えば、特許文献１及び特許文献２には、ジャイロセンサを内蔵する指揮棒を使用し、操作者の手振り動作に応じてＭＩＤＩの曲データの再生のテンポや音量を制御することができる自動演奏制御装置が記載されている。
また、特許文献３及び特許文献４には、ピエゾ素子を使った振動センサを用い、打撃面への打撃を検出したときに打楽器音を発生させる電子打楽器が記載されている。
さらに、特許文献５には、３次元加速度センサや歪み検出器などの動作センサと脈拍検出器などの状態センサを用い、演奏参加者の動きや状態に応じてＭＩＤＩの曲データの再生のテンポや音量、音色、効果などを制御することができる演奏システムが記載されている。
さらにまた、息圧を検出するブレスセンサや流量センサを用いる電子管楽器も知られている（特許文献６、７）。
さらにまた、本出願人は、ボールの空気圧を検出する圧力センサを用い、ボールを使用したエクササイズの動作に応じて楽曲の再生テンポや音量を制御する楽音発生装置を提案している（特願２００６−２５６６４９号）。
例えば、特許文献１及び特許文献２には、ジャイロセンサを内蔵する指揮棒を使用し、操作者の手振り動作に応じてＭＩＤＩの曲データの再生のテンポや音量を制御することができる自動演奏制御装置が記載されている。
また、特許文献３及び特許文献４には、ピエゾ素子を使った振動センサを用い、打撃面への打撃を検出したときに打楽器音を発生させる電子打楽器が記載されている。
さらに、特許文献５には、３次元加速度センサや歪み検出器などの動作センサと脈拍検出器などの状態センサを用い、演奏参加者の動きや状態に応じてＭＩＤＩの曲データの再生のテンポや音量、音色、効果などを制御することができる演奏システムが記載されている。
さらにまた、息圧を検出するブレスセンサや流量センサを用いる電子管楽器も知られている（特許文献６、７）。
さらにまた、本出願人は、ボールの空気圧を検出する圧力センサを用い、ボールを使用したエクササイズの動作に応じて楽曲の再生テンポや音量を制御する楽音発生装置を提案している（特願２００６−２５６６４９号）。
一方、楽器の操作に不慣れな人たちであっても、容易に合奏を行うことができる電子楽器が提案されている（特許文献８）。この提案されている電子楽器によれば、手を振るといった簡単な動作で合奏を行うことができる。
楽器の操作に不慣れな人たちがリハビリ等のために合奏を行うような場合、所定の人数（例えば、５人程度）でグループを形成し、ファシリテータ（facilitator：ガイド役）が参加者（生徒）を導いて合奏を行うことが多い。
そこで、本出願人により、ファシリテータの演奏や指揮に合わせて各参加者が簡単な操作を行うことにより容易に合奏ができる合奏システムが提案されている（特願２００５−２８１０６０号）。
この合奏システムにおいては、参加者の１回の演奏操作（拍打）により、その参加者に割り当てられた演奏パートの所定拍数分の楽音が発生されるようになされている。
楽器の操作に不慣れな人たちがリハビリ等のために合奏を行うような場合、所定の人数（例えば、５人程度）でグループを形成し、ファシリテータ（facilitator：ガイド役）が参加者（生徒）を導いて合奏を行うことが多い。
そこで、本出願人により、ファシリテータの演奏や指揮に合わせて各参加者が簡単な操作を行うことにより容易に合奏ができる合奏システムが提案されている（特願２００５−２８１０６０号）。
この合奏システムにおいては、参加者の１回の演奏操作（拍打）により、その参加者に割り当てられた演奏パートの所定拍数分の楽音が発生されるようになされている。
上記提案されている合奏システムに、ピエゾセンサを備えた電子打楽器型演奏インターフェース装置、加速度センサを備えた指揮入力装置、気圧センサを備えたバランスボール、流量センサを備えた電子管楽器など各種の演奏インターフェース装置を接続することができる。
しかしながら、センサの出力信号は、定常静止状態時の電圧、演奏センシング時の電圧変化幅やその波形が、センサの種類によって大きく変わる。
例えば、ある３次元加速度センサは、静止時にＺ軸だけ重力に相当する１．５Ｖを出力し、Ｙ軸とＸ軸は１Ｖを出力しているが、センサを手に持って指揮の揺動動作をすると、前記電圧を中心に±１Ｖの範囲で加速度変動に応じた比較的滑らかで連続的な電圧変化波形を出力する。一方、ピエゾ素子は、静止時は０Ｖだが、叩かれた瞬間のごく短時間だけ、その叩かれた強さに応じた最大電圧の鋭いピーク波形を出力する。
このように、接続されるセンサに応じて出力波形が大きく異なるため、音楽演奏に最適なセンサ信号処理には、異なる信号処理ルーチンや信号処理パラメータが必要となる。
これまでは、接続される演奏インターフェース装置（センサ）ごとに、異なるシステム（ハードウエア）を用意したり、同じ演奏処理装置上でも、センサごとに別のアプリケーションを立ち上げたりすることが必要で、煩雑であったり、操作や設定が複雑で利用者に判り辛かったり、誤操作を招いたりしていた。
しかしながら、センサの出力信号は、定常静止状態時の電圧、演奏センシング時の電圧変化幅やその波形が、センサの種類によって大きく変わる。
例えば、ある３次元加速度センサは、静止時にＺ軸だけ重力に相当する１．５Ｖを出力し、Ｙ軸とＸ軸は１Ｖを出力しているが、センサを手に持って指揮の揺動動作をすると、前記電圧を中心に±１Ｖの範囲で加速度変動に応じた比較的滑らかで連続的な電圧変化波形を出力する。一方、ピエゾ素子は、静止時は０Ｖだが、叩かれた瞬間のごく短時間だけ、その叩かれた強さに応じた最大電圧の鋭いピーク波形を出力する。
このように、接続されるセンサに応じて出力波形が大きく異なるため、音楽演奏に最適なセンサ信号処理には、異なる信号処理ルーチンや信号処理パラメータが必要となる。
これまでは、接続される演奏インターフェース装置（センサ）ごとに、異なるシステム（ハードウエア）を用意したり、同じ演奏処理装置上でも、センサごとに別のアプリケーションを立ち上げたりすることが必要で、煩雑であったり、操作や設定が複雑で利用者に判り辛かったり、誤操作を招いたりしていた。
そこで本発明は、様々な演奏インターフェース装置を使って音楽演奏をすることができるシステムにおいて、どの演奏インターフェース装置を接続しても、特に設定変更操作をすることなく、直ぐに演奏を開始することができる演奏処理システムを提供することを目的としている。
上記目的を達成するために、本発明の演奏処理システムは、演奏インターフェース装置と、複数の前記演奏インターフェース装置を接続することができる演奏処理装置とからなる演奏処理システムであって、前記演奏インターフェース装置は、利用者の動作に応じた信号を出力するセンサであってその演奏インターフェース装置に対応する種類のセンサと、該センサから出力されるセンサ信号及び自装置を識別する識別情報を含むセンサ情報を前記演奏処理装置に送出するセンサ情報送出手段とを有するものであり、前記演奏処理装置は、接続された前記演奏インターフェース装置から前記センサ情報を受信する受信手段と、前記受信したセンサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別手段と、前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理手段と、前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理手段と、前記演奏制御処理手段の出力に基づいて楽音を発生させる楽音発生手段とを有するものである。
また、本発明の演奏処理装置は、異なる種類のセンサを有する演奏インターフェース装置を接続することができる演奏処理装置であって、接続された前記演奏インターフェース装置から、その演奏インターフェース装置に用いられているセンサから利用者の動作に応じて出力されるセンサ信号と自装置を識別する識別情報とを含むセンサ情報を受信する手段と、前記受信したセンサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別手段と、前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理手段と、前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理手段と、前記演奏制御処理手段の出力に基づいて楽音を発生させる楽音発生手段とを有するものである。
さらに、本発明の演奏処理プログラムは、異なる種類のセンサを有する演奏インターフェース装置から送出されるセンサ情報に基づいて楽音を発生させるための演奏処理プログラムであって、前記センサ情報は、当該演奏インターフェース装置に用いられているセンサから利用者の動作に応じて出力されるセンサ信号と自装置を識別する識別情報とを含むものであり、コンピュータに、受信したセンサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別機能、前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理機能、前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理機能、及び、前記演奏制御処理機能の出力に基づいて楽音を発生させる楽音発生機能を実現させるものである。
さらにまた、前記センサは、加速度センサ、ピエゾセンサ、圧力センサ、流量センサ又は角速度センサとされているものである。
さらにまた、前記センサは、加速度センサ、ピエゾセンサ、圧力センサ、流量センサ又は角速度センサとされているものである。
本発明の演奏処理システムによれば、接続される演奏インターフェース装置（センサ）を自動認識できるシステムとし、接続されたセンサに応じたセンサ信号処理パラメータと信号処理ルーチンに自動切換えされるため、利用者は上記の煩雑さ、判り辛さから解放され、使いたい演奏インターフェース装置（センサ）を接続して、すぐに演奏を始めることができるようになった。
例えば、指揮棒を繋げば指揮動作で、ボールを繋げばボールエクササイズで、パーカッションを繋げば打楽器演奏で、直ぐに音楽演奏制御をすることができる。
また、異なる種類のセンサを有する演奏インターフェース装置が混在していても、それぞれの演奏インターフェース装置やセンサに対応した処理が行われるため、合奏に参加する人がそれぞれ好みの演奏インターフェース装置を使って合奏をすることができる。
例えば、ボールとパーカッションを複数台繋いで、パートを分担して合奏したり、ボールとパーカッションと電子管楽器等、異なる演奏インターフェース装置を混在させ、それぞれの演奏インターフェース装置に適した演奏制御をさせて合奏することもできる。
さらに、演奏インターフェース装置を識別できるので、パーカッションには打楽器系の音色、電子管楽器には管楽器系の音色のパートを自動アサインすることも可能である。
例えば、指揮棒を繋げば指揮動作で、ボールを繋げばボールエクササイズで、パーカッションを繋げば打楽器演奏で、直ぐに音楽演奏制御をすることができる。
また、異なる種類のセンサを有する演奏インターフェース装置が混在していても、それぞれの演奏インターフェース装置やセンサに対応した処理が行われるため、合奏に参加する人がそれぞれ好みの演奏インターフェース装置を使って合奏をすることができる。
例えば、ボールとパーカッションを複数台繋いで、パートを分担して合奏したり、ボールとパーカッションと電子管楽器等、異なる演奏インターフェース装置を混在させ、それぞれの演奏インターフェース装置に適した演奏制御をさせて合奏することもできる。
さらに、演奏インターフェース装置を識別できるので、パーカッションには打楽器系の音色、電子管楽器には管楽器系の音色のパートを自動アサインすることも可能である。
図１は、本発明の演奏処理システムの一実施の形態の構成を示すブロック図である。
この図において、１１はピエゾセンサ１２とセンサ情報送信部１３を有する打楽器形状の演奏インターフェース装置、２１はバランスボールの内部の空気圧を検出する気圧センサ２２とセンサ情報送信部２３を有する演奏インターフェース装置、３１は３次元加速度センサ３２とセンサ情報送信部３３を有する指揮棒形状の演奏インターフェース装置である。このように、本発明の演奏処理システムにおいては、異なる種類のセンサを有する複数の演奏インターフェース装置を混在させることができる。
各センサ情報送信部１３、２３及び３３は、それぞれ対応するセンサ（１２、２２及び３２）の計測信号を入力して所定のサンプリング周期でデジタルデータ（センサ信号）に変換し、該センサ信号とそれぞれの演奏インターフェース装置を識別する識別情報（ＩＤ番号）を含むセンサ情報を生成して、信号線４１、４２及び４３を介して演奏処理装置５１に送出するものであり、例えば、Ａ／Ｄ変換器とＲＳ２３２Ｃなどのシリアルインターフェース回路を内蔵したマイクロプロセッサ（ＭＰＵ）により構成されている。
なお、演奏インターフェース装置のＩＤ番号は、各センサ情報送信部（１３、２３及び３３）に接続された図示しない設定部（スイッチなど）により設定することができるようにしてもよいし、あるいは、各センサ情報送信部内に固定的に設定しておいても良い。図示する例では、演奏インターフェース装置１１のＩＤ番号は「１」、演奏インターフェース装置２１のＩＤ番号は「６」、演奏インターフェース装置３１のＩＤ番号は「４」とされている。
この図において、１１はピエゾセンサ１２とセンサ情報送信部１３を有する打楽器形状の演奏インターフェース装置、２１はバランスボールの内部の空気圧を検出する気圧センサ２２とセンサ情報送信部２３を有する演奏インターフェース装置、３１は３次元加速度センサ３２とセンサ情報送信部３３を有する指揮棒形状の演奏インターフェース装置である。このように、本発明の演奏処理システムにおいては、異なる種類のセンサを有する複数の演奏インターフェース装置を混在させることができる。
各センサ情報送信部１３、２３及び３３は、それぞれ対応するセンサ（１２、２２及び３２）の計測信号を入力して所定のサンプリング周期でデジタルデータ（センサ信号）に変換し、該センサ信号とそれぞれの演奏インターフェース装置を識別する識別情報（ＩＤ番号）を含むセンサ情報を生成して、信号線４１、４２及び４３を介して演奏処理装置５１に送出するものであり、例えば、Ａ／Ｄ変換器とＲＳ２３２Ｃなどのシリアルインターフェース回路を内蔵したマイクロプロセッサ（ＭＰＵ）により構成されている。
なお、演奏インターフェース装置のＩＤ番号は、各センサ情報送信部（１３、２３及び３３）に接続された図示しない設定部（スイッチなど）により設定することができるようにしてもよいし、あるいは、各センサ情報送信部内に固定的に設定しておいても良い。図示する例では、演奏インターフェース装置１１のＩＤ番号は「１」、演奏インターフェース装置２１のＩＤ番号は「６」、演奏インターフェース装置３１のＩＤ番号は「４」とされている。
演奏処理装置５１は、シリアルインターフェース回路を備えたマイクロプロセッサなどからなる制御部５２、各種制御プログラムや各種パラメータ及び信号処理ルーチンなどが格納されているＲＯＭ５３、ワークメモリなどとして使用されるＲＡＭ５４、ＬＣＤなどの表示部５５、操作スイッチなどを有する入力部５６、ＭＩＤＩの曲データを格納する曲データメモリ５７、ＭＩＤＩ音源などの音源部５８及び前記音源部５８で発生された楽音を再生するスピーカー５９などを有している。
前記複数の演奏インターフェース装置１１、２１及び３１から所定のサンプリング周期で送信されるセンサ情報は、前記制御部５２のシリアルインターフェース回路で受信される。後述するように、制御部５２は、受信したセンサ情報に含まれるＩＤ番号からそのセンサ情報を送信した演奏インターフェース装置を識別し、その演奏インターフェース装置に用いられているセンサに対応した信号処理方法及び信号処理パラメータを使用してそのセンサ信号の処理を行い、それに基づいて発音又は楽曲の再生を制御する。
これにより、複雑な設定や操作をすることなく、複数種類のセンサを有する演奏インターフェース装置を同時に演奏処理装置に接続して合奏を行うことができる。
前記複数の演奏インターフェース装置１１、２１及び３１から所定のサンプリング周期で送信されるセンサ情報は、前記制御部５２のシリアルインターフェース回路で受信される。後述するように、制御部５２は、受信したセンサ情報に含まれるＩＤ番号からそのセンサ情報を送信した演奏インターフェース装置を識別し、その演奏インターフェース装置に用いられているセンサに対応した信号処理方法及び信号処理パラメータを使用してそのセンサ信号の処理を行い、それに基づいて発音又は楽曲の再生を制御する。
これにより、複雑な設定や操作をすることなく、複数種類のセンサを有する演奏インターフェース装置を同時に演奏処理装置に接続して合奏を行うことができる。
図１においては、ピエゾセンサ１２、気圧センサ２２及び３次元加速度センサ３２をそれぞれ使用する演奏インターフェース装置１１、２１及び３１が接続されている例を示したが、さらに他の演奏インターフェース装置を用いることができる。
図２は、前記演奏処理装置５１に接続可能な演奏インターフェース装置の例を示す図である。
この図に示す接続可能な演奏インターフェース装置としては、ピエゾセンサを有する打楽器（ＩＤ＝１、図１の１１）、ピエゾセンサを有するデジタルパーカッション（ＩＤ＝２）、ピエゾセンサを有する電子ドラム（ＩＤ＝３）、３次元加速度センサを有する指揮棒（ＩＤ＝４、図１の３１）、演奏者の両手両足などに取り付けられた３次元加速度センサを有するミブリ（登録商標）（ＩＤ＝５）、気圧センサが取り付けられたバランスボール（ＩＤ＝６、図１の２１）、気圧センサが取り付けられて机上に置かれる小ボール（ＩＤ＝７）、８人で同時に使用することができるようにそれぞれに気圧センサが取り付けられた８個のバランスボール（業務用バランスボール）（ＩＤ＝８）、流量センサを有する電子ピアニカ（登録商標）（ＩＤ＝９）、流量センサを有する電子リコーダ（ＩＤ＝１０）などがある。また、これら以外にも、角速度を検出するジャイロセンサなど他のセンサを使用する演奏インターフェース装置を接続することができる。
図２は、前記演奏処理装置５１に接続可能な演奏インターフェース装置の例を示す図である。
この図に示す接続可能な演奏インターフェース装置としては、ピエゾセンサを有する打楽器（ＩＤ＝１、図１の１１）、ピエゾセンサを有するデジタルパーカッション（ＩＤ＝２）、ピエゾセンサを有する電子ドラム（ＩＤ＝３）、３次元加速度センサを有する指揮棒（ＩＤ＝４、図１の３１）、演奏者の両手両足などに取り付けられた３次元加速度センサを有するミブリ（登録商標）（ＩＤ＝５）、気圧センサが取り付けられたバランスボール（ＩＤ＝６、図１の２１）、気圧センサが取り付けられて机上に置かれる小ボール（ＩＤ＝７）、８人で同時に使用することができるようにそれぞれに気圧センサが取り付けられた８個のバランスボール（業務用バランスボール）（ＩＤ＝８）、流量センサを有する電子ピアニカ（登録商標）（ＩＤ＝９）、流量センサを有する電子リコーダ（ＩＤ＝１０）などがある。また、これら以外にも、角速度を検出するジャイロセンサなど他のセンサを使用する演奏インターフェース装置を接続することができる。
このような様々な種類のセンサを有する演奏インターフェース装置から出力されるセンサ信号は、センサの種類及び演奏インターフェース装置の構成に応じて異なるものとなる。
図２に示した例では、ＩＤ＝１、２及び３の演奏インターフェース装置に含まれているピエゾセンサの出力信号はパルス波形で、その出力電圧範囲は０〜７Ｖであるのに対し、ＩＤ＝４及びＩＤ＝５の加速度センサから出力される信号は出力電圧範囲０．２〜３．８Ｖの連続波形、ＩＤ＝６及びＩＤ＝８の気圧センサから出力される信号は出力電圧範囲０．７〜４．５Ｖの連続波形、ＩＤ＝７の気圧センサの出力は出力電圧範囲０．３〜３．５Ｖの連続波形、ＩＤ＝９及びＩＤ＝１０の流量センサの出力は出力電圧範囲０〜４．４Ｖの連続波形となっている。
また、演奏インターフェース装置に含まれているセンサ数、すなわち、センサ信号の次元数も各演奏インターフェース装置によって異なっており、ＩＤ＝１の打楽器は、３箇所にピエゾセンサが設けられていて３次元の計測信号が出力され、ＩＤ＝２のデジタルパーカッションは５次元、ＩＤ＝３の電子ドラムは８次元、ＩＤ＝４の指揮棒は３次元、ＩＤ＝５のミブリ（登録商標）は４×３次元、ＩＤ＝６のバランスボールは１次元、ＩＤ＝７の机上の小ボールは２次元、ＩＤ＝８の業務用バランスボールは８次元、ＩＤ＝９の電子ピアニカ（登録商標）及びＩＤ＝１０の電子リコーダは１次元となっている。
図２に示した例では、ＩＤ＝１、２及び３の演奏インターフェース装置に含まれているピエゾセンサの出力信号はパルス波形で、その出力電圧範囲は０〜７Ｖであるのに対し、ＩＤ＝４及びＩＤ＝５の加速度センサから出力される信号は出力電圧範囲０．２〜３．８Ｖの連続波形、ＩＤ＝６及びＩＤ＝８の気圧センサから出力される信号は出力電圧範囲０．７〜４．５Ｖの連続波形、ＩＤ＝７の気圧センサの出力は出力電圧範囲０．３〜３．５Ｖの連続波形、ＩＤ＝９及びＩＤ＝１０の流量センサの出力は出力電圧範囲０〜４．４Ｖの連続波形となっている。
また、演奏インターフェース装置に含まれているセンサ数、すなわち、センサ信号の次元数も各演奏インターフェース装置によって異なっており、ＩＤ＝１の打楽器は、３箇所にピエゾセンサが設けられていて３次元の計測信号が出力され、ＩＤ＝２のデジタルパーカッションは５次元、ＩＤ＝３の電子ドラムは８次元、ＩＤ＝４の指揮棒は３次元、ＩＤ＝５のミブリ（登録商標）は４×３次元、ＩＤ＝６のバランスボールは１次元、ＩＤ＝７の机上の小ボールは２次元、ＩＤ＝８の業務用バランスボールは８次元、ＩＤ＝９の電子ピアニカ（登録商標）及びＩＤ＝１０の電子リコーダは１次元となっている。
このように、各演奏インターフェース装置から波形や出力電圧範囲及び次元数が異なる種々のセンサ信号が演奏処理装置５１に送信されるのであるが、本発明においては、これら様々なセンサ信号を各演奏インターフェース装置から演奏処理装置５１に送信するときに、各演奏インターフェース装置内のセンサ情報送信部において、統一されたデータフォーマットを有するセンサ情報に編集して送信するようしている。そして、このセンサ情報中には、その演奏インターフェース装置に用いられているセンサにより計測されたセンサ信号とともに、その演奏インターフェース装置を識別する識別情報（ＩＤ番号）を含むようにしている。
全ての演奏インターフェース装置から同一のデータフォーマットを有するセンサ情報が送信されるようになされているため、演奏処理装置５１では、どの種類の演奏インターフェース装置からのセンサ情報も区別することなく同様に受信することができ、また、受信したセンサ情報に含まれているＩＤ番号から、そのセンサ情報がどの演奏インターフェース装置から送信されたものであるかを識別することができる。そして、各演奏インターフェース装置（ＩＤ番号）ごとに、それに用いられているセンサの種類に応じた信号処理を行うときに用いる信号処理パラメータと実行すべき信号処理ルーチンのセットを記憶しておくことにより、識別した演奏インターフェース装置からのセンサ信号に適した信号処理を自動的に行うことができ、さらに、その結果に基づいて、その演奏インターフェース装置に対応する演奏制御を行うことができる。
全ての演奏インターフェース装置から同一のデータフォーマットを有するセンサ情報が送信されるようになされているため、演奏処理装置５１では、どの種類の演奏インターフェース装置からのセンサ情報も区別することなく同様に受信することができ、また、受信したセンサ情報に含まれているＩＤ番号から、そのセンサ情報がどの演奏インターフェース装置から送信されたものであるかを識別することができる。そして、各演奏インターフェース装置（ＩＤ番号）ごとに、それに用いられているセンサの種類に応じた信号処理を行うときに用いる信号処理パラメータと実行すべき信号処理ルーチンのセットを記憶しておくことにより、識別した演奏インターフェース装置からのセンサ信号に適した信号処理を自動的に行うことができ、さらに、その結果に基づいて、その演奏インターフェース装置に対応する演奏制御を行うことができる。
図３は、前記各演奏インターフェース装置から送信されるセンサ情報のデータフォーマットを示す図である。
この図に示すように、センサ情報は全部で３８バイトのデータとされており、最初の２バイトがデータの開始を示すヘッダ（１６進の「Ａ５」と「５Ａ」）、続いて、センサ信号（第３バイト〜第３４バイト）、どの種類の演奏インターフェース装置であるかを示す識別情報（ＩＤ番号）（第３５バイト）、予備バイト（第３６バイト）、誤り訂正用ＣＲＣコード（第３７、３８バイト）という構造となっている。センサ信号は、４軸のセンサ（ｘ、ｙ、ｚ、４）を１ユニットとし、それを８ユニット分で一組のデータセットとされている。
つまり、センサ情報は、ヘッダ「Ａ５」、ヘッダ「５Ａ」、１Ｘ、１Ｙ、１Ｚ、１４、２Ｘ、２Ｙ、２Ｚ、２４、３Ｘ、・・・、７４、８Ｘ、８Ｙ、８Ｚ、８４、ＩＤ、予備、ＣＲＣ１、ＣＲＣ２という並びの３８バイトで構成されている。
この図に示すように、センサ情報は全部で３８バイトのデータとされており、最初の２バイトがデータの開始を示すヘッダ（１６進の「Ａ５」と「５Ａ」）、続いて、センサ信号（第３バイト〜第３４バイト）、どの種類の演奏インターフェース装置であるかを示す識別情報（ＩＤ番号）（第３５バイト）、予備バイト（第３６バイト）、誤り訂正用ＣＲＣコード（第３７、３８バイト）という構造となっている。センサ信号は、４軸のセンサ（ｘ、ｙ、ｚ、４）を１ユニットとし、それを８ユニット分で一組のデータセットとされている。
つまり、センサ情報は、ヘッダ「Ａ５」、ヘッダ「５Ａ」、１Ｘ、１Ｙ、１Ｚ、１４、２Ｘ、２Ｙ、２Ｚ、２４、３Ｘ、・・・、７４、８Ｘ、８Ｙ、８Ｚ、８４、ＩＤ、予備、ＣＲＣ１、ＣＲＣ２という並びの３８バイトで構成されている。
例えば、ＩＤ＝１の打楽器の場合は、１次元のピエゾセンサが３箇設けられているので、１Ｘ、２Ｘ、３Ｘにその各ピエゾ出力信号が入るだけで、他（１Ｙ〜１４、２Ｙ〜２４、３Ｙ〜３４、４Ｘ〜８４）は空データとなる。
ＩＤ＝５のミブリ（登録商標）の場合は、３次元加速度に加えて温度補償データの計４軸が１センサユニットとなり、それが両手両足に計４ユニット接続されるので、１Ｘ〜４４までのデータ欄が使われ、５Ｘ〜８４までは空データとなる。
ＩＤ＝８の業務用バランスボールでは、１軸の気圧センサを一人用ユニットとし、それを８人分含むので、１Ｘ、２Ｘ、３Ｘ、４Ｘ、５Ｘ、６Ｘ、７Ｘ、８Ｘに計測信号を入れ、他は空データとなる。
なお、例えば、予備バイトに拡張フラグを定義し、前述したデータセットを複数使って複数の演奏インターフェース装置を１グループとし、このグループを単位とする複数のグループを識別する拡張フラグを付加することで、大人数を扱う演奏形態に対応できる拡張フォーマットを判別するようにしてもよい。この場合、複数の演奏グループに拡張フラグを対応させたテーブルを演奏処理装置５１に記憶させることで実行される。
ＩＤ＝５のミブリ（登録商標）の場合は、３次元加速度に加えて温度補償データの計４軸が１センサユニットとなり、それが両手両足に計４ユニット接続されるので、１Ｘ〜４４までのデータ欄が使われ、５Ｘ〜８４までは空データとなる。
ＩＤ＝８の業務用バランスボールでは、１軸の気圧センサを一人用ユニットとし、それを８人分含むので、１Ｘ、２Ｘ、３Ｘ、４Ｘ、５Ｘ、６Ｘ、７Ｘ、８Ｘに計測信号を入れ、他は空データとなる。
なお、例えば、予備バイトに拡張フラグを定義し、前述したデータセットを複数使って複数の演奏インターフェース装置を１グループとし、このグループを単位とする複数のグループを識別する拡張フラグを付加することで、大人数を扱う演奏形態に対応できる拡張フォーマットを判別するようにしてもよい。この場合、複数の演奏グループに拡張フラグを対応させたテーブルを演奏処理装置５１に記憶させることで実行される。
このように構成された本発明の演奏処理システムは、様々な種類の演奏インターフェース装置から送られてくるセンサ信号から利用者の演奏操作（拍打）を検出して演奏制御を行うが、そのときに、（１）従来の電子打楽器（特許文献３、４）などと同様に、拍打を検出したときに所定の楽音を発生する、（２）従来の指揮棒による再生制御の場合（特許文献１、２、５）などと同様に、拍打のタイミングと強さに応じて曲データの再生のテンポと音量を制御する、（３）前記提案されている合奏システム（特願２００５棒２８１０６０号）と同様に、あらかじめ１小節における拍打数を設定しておき、拍打を検出したときに曲データの前記拍打数により決定される拍数分（例えば、４／４拍子の曲で１小節の拍打数が２のときは２拍分）のデータを再生する、の３通りの演奏態様で演奏を行うことができる。
図４は、前記演奏処理装置５１における処理の流れを示すフローチャートである。
処理が開始されると、まず、演奏曲の選択が行われる（Ｓ１）。これは、例えば、前記表示部５５に前記曲データメモリ５７に曲データが記録されている曲名を表示し、その中から入力部５６を用いて所望の楽曲を選択することにより行われる。これにより、前記曲データメモリ５７から選択された楽曲の曲データがＲＡＭ５４に読み出される。
続いて、演奏態様、パート割り当て及び音色などを設定する処理が実行される（Ｓ２）。
すなわち、各演奏インターフェース装置から送出されたセンサ信号に応じて前述した３通りの方法のうちのどの演奏態様で演奏させるか、前記（２）と（３）の演奏態様の場合には、その演奏インターフェース装置にどのパートを割り当てるか、及び、前記（１）の発音制御を行う場合には、どの音色の楽音を発生させるかについての設定を行う。例えば、ＩＤ＝１の打楽器である演奏インターフェース装置には、上記（１）の利用者により打撃面が叩かれたときに打楽器系の音色の楽音を発生させる演奏態様を割り当て、ＩＤ＝６のバランスボールには、上記（２）の演奏態様を割り付ける。
処理が開始されると、まず、演奏曲の選択が行われる（Ｓ１）。これは、例えば、前記表示部５５に前記曲データメモリ５７に曲データが記録されている曲名を表示し、その中から入力部５６を用いて所望の楽曲を選択することにより行われる。これにより、前記曲データメモリ５７から選択された楽曲の曲データがＲＡＭ５４に読み出される。
続いて、演奏態様、パート割り当て及び音色などを設定する処理が実行される（Ｓ２）。
すなわち、各演奏インターフェース装置から送出されたセンサ信号に応じて前述した３通りの方法のうちのどの演奏態様で演奏させるか、前記（２）と（３）の演奏態様の場合には、その演奏インターフェース装置にどのパートを割り当てるか、及び、前記（１）の発音制御を行う場合には、どの音色の楽音を発生させるかについての設定を行う。例えば、ＩＤ＝１の打楽器である演奏インターフェース装置には、上記（１）の利用者により打撃面が叩かれたときに打楽器系の音色の楽音を発生させる演奏態様を割り当て、ＩＤ＝６のバランスボールには、上記（２）の演奏態様を割り付ける。
また、上述のように演奏態様をマニュアル操作で割り付けるのではなく、ＩＤ番号に対応して自動的に割り付けるようにしてもよい。すなわち、演奏処理装置５１が演奏インターフェース装置と演奏態様との対応をテーブルとして記憶しておき、下記ステップＳ４において演奏処理装置が演奏インターフェース装置のＩＤ番号を取得した後に、ステップＳ５の信号処理の冒頭に前記テーブルを参照することで複数の演奏インターフェース装置の演奏態様を設定するようにしてもよい。このようにすることで、あらかじめテーブルに設定された演奏態様を複数の演奏インターフェース装置ごとに自動的に割り当てることができる。さらに、同じ種類のセンサを有する演奏インターフェース装置であっても、ＩＤ番号で識別することで異なる演奏態様を有する演奏インターフェースを構成することができる。
そして、上記（２）又は（３）の演奏態様とされた演奏インターフェース装置については、前記選択された楽曲の曲データのうち、その演奏インターフェース装置による演奏操作により再生するパートを割り当てる。例えば、選択された曲データに含まれている複数の演奏パートを上記（２）又は（３）の演奏態様に設定された演奏インターフェース装置に順次割り当てて、その結果を前記表示部５５に表示し、利用者が必要に応じてそれを変更する。
また、上記（１）の演奏態様とされた演奏インターフェース装置については、演奏操作に応じて発音する楽曲の音色を決定する。この音色も、各演奏インターフェース装置ごとにその装置に適した音色があらかじめ決定されており、必要に応じて、利用者が変更することができるようにする。例えば、ＩＤ＝１、２及び３のパーカッション系の演奏インターフェース装置には打楽器系の音色、ＩＤ＝９及び１０の電子管楽器には管楽器系の音色があらかじめ割り当てられている。
また、上記（１）の演奏態様とされた演奏インターフェース装置については、演奏操作に応じて発音する楽曲の音色を決定する。この音色も、各演奏インターフェース装置ごとにその装置に適した音色があらかじめ決定されており、必要に応じて、利用者が変更することができるようにする。例えば、ＩＤ＝１、２及び３のパーカッション系の演奏インターフェース装置には打楽器系の音色、ＩＤ＝９及び１０の電子管楽器には管楽器系の音色があらかじめ割り当てられている。
そして、前記各演奏インターフェース装置１１、２１、３１からセンサ情報が送信されるのを待つ（Ｓ３）。
演奏インターフェース装置からセンサ情報を受信すると（Ｓ３がＹＥＳ）、そのセンサ情報の第３５バイトから、その演奏インターフェース装置のＩＤ番号を取得する（Ｓ４）。
そして、そのＩＤ番号の演奏インターフェース装置に用いられているセンサに対応する信号処理方法及び信号処理パラメータを用いてそのセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に対応する演奏制御処理を実行する（Ｓ５）。
ここで実行される処理としては、（ａ）センサ信号からノイズ等を除去するためのフィルタ処理、（ｂ）ノイズ等を除去されたセンサ信号のピークを検出するピーク検出処理、（ｃ）該検出されたピーク値とそれに応じて出力する楽音制御パラメータとの対応を決定するタッチテーブル処理、及び、（ｄ）ＭＩＤＩ音源にＭＩＤＩメッセージを送出する演奏制御処理などである。なお、このステップＳ５の処理の詳細については後述する。
そして、曲の終りまで、前記ステップＳ３以降を繰り返す（Ｓ６）。
このようにして、異なる種類のセンサを有する様々な演奏インターフェース装置から送られてくるセンサ情報に対して、それぞれに適した処理が自動的に選択されて実行される。
演奏インターフェース装置からセンサ情報を受信すると（Ｓ３がＹＥＳ）、そのセンサ情報の第３５バイトから、その演奏インターフェース装置のＩＤ番号を取得する（Ｓ４）。
そして、そのＩＤ番号の演奏インターフェース装置に用いられているセンサに対応する信号処理方法及び信号処理パラメータを用いてそのセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に対応する演奏制御処理を実行する（Ｓ５）。
ここで実行される処理としては、（ａ）センサ信号からノイズ等を除去するためのフィルタ処理、（ｂ）ノイズ等を除去されたセンサ信号のピークを検出するピーク検出処理、（ｃ）該検出されたピーク値とそれに応じて出力する楽音制御パラメータとの対応を決定するタッチテーブル処理、及び、（ｄ）ＭＩＤＩ音源にＭＩＤＩメッセージを送出する演奏制御処理などである。なお、このステップＳ５の処理の詳細については後述する。
そして、曲の終りまで、前記ステップＳ３以降を繰り返す（Ｓ６）。
このようにして、異なる種類のセンサを有する様々な演奏インターフェース装置から送られてくるセンサ情報に対して、それぞれに適した処理が自動的に選択されて実行される。
図５は、前記ステップＳ５の各演奏インターフェース装置に対応する処理の具体例を示す図である。
この図において、Ａの部分は、受信したセンサ情報に含まれているＩＤ番号が「１」の場合、すなわち、受信したセンサ情報が打楽器である演奏インターフェース装置１１からのものであるときの処理を示している。なお、こここでは、ＩＤ＝１の演奏インターフェース装置に対して、前述した（１）の演奏態様が割り当てられているものとする。
この場合には、まず、各センサ信号に対し、ノイズを除去するためにピエゾセンサ用低域通過フィルタ処理（LPF_pa()）を実行し、次に、前記ピエゾセンサ用低域通過フィルタ処理を施されたセンサ信号に対し、ピエゾセンサ用チャタリング処理（chatter_pa()）を実行する。ここで、チャタリング処理とは、センサ信号波形における所定時間（例えば、0.5msec）内の複数のピークを一つのピークとみなす処理であって、一つの演奏操作（打撃操作）によって複数の楽音が発音されることを回避するためのものである。
そして、低域通過フィルタ処理とチャタリング除去がなされたセンサ信号に対して、ピエゾセンサ用ローカルピーク検出処理（peak_pa()）を実行する。これにより、ピエゾセンサからのセンサ信号のピーク、すなわち、利用者により打楽器の打撃面を叩く演奏動作が行われたこと（拍打があったこと）を検出する。
上記低域通過フィルタ処理におけるＬＰＦの遮断周波数などの上述した信号処理に使用されるパラメータは、ＩＤ＝１の演奏インターフェース装置に用いられているピエゾセンサに対応するものが選択されて使用されるようになされている。
この図において、Ａの部分は、受信したセンサ情報に含まれているＩＤ番号が「１」の場合、すなわち、受信したセンサ情報が打楽器である演奏インターフェース装置１１からのものであるときの処理を示している。なお、こここでは、ＩＤ＝１の演奏インターフェース装置に対して、前述した（１）の演奏態様が割り当てられているものとする。
この場合には、まず、各センサ信号に対し、ノイズを除去するためにピエゾセンサ用低域通過フィルタ処理（LPF_pa()）を実行し、次に、前記ピエゾセンサ用低域通過フィルタ処理を施されたセンサ信号に対し、ピエゾセンサ用チャタリング処理（chatter_pa()）を実行する。ここで、チャタリング処理とは、センサ信号波形における所定時間（例えば、0.5msec）内の複数のピークを一つのピークとみなす処理であって、一つの演奏操作（打撃操作）によって複数の楽音が発音されることを回避するためのものである。
そして、低域通過フィルタ処理とチャタリング除去がなされたセンサ信号に対して、ピエゾセンサ用ローカルピーク検出処理（peak_pa()）を実行する。これにより、ピエゾセンサからのセンサ信号のピーク、すなわち、利用者により打楽器の打撃面を叩く演奏動作が行われたこと（拍打があったこと）を検出する。
上記低域通過フィルタ処理におけるＬＰＦの遮断周波数などの上述した信号処理に使用されるパラメータは、ＩＤ＝１の演奏インターフェース装置に用いられているピエゾセンサに対応するものが選択されて使用されるようになされている。
そして、前記ピエゾセンサ用ローカルピーク検出処理でピークが検出されると、ピエゾセンサ用ノートオン変換処理を実行する。すなわち、ピーク値に対応するベロシティを有するＭＩＤＩのノートオンメッセージを生成し、前記音源部５８に出力する。なお、最初の発音のときには、発生する楽音の音色を打楽器音に設定するメッセージを最初に出力する。一方、ピークでないときは、次のサンプルタイミングにおけるセンサ情報の受信時の処理のために今回のセンサ信号を記憶する。
前記ノートオンメッセージに応じて前記音源部５８において対応する打楽器音が生成され、図示しないサウンドシステムを経て、スピーカー５９から放音される。
このように、ＩＤ＝１の打楽器からのセンサ情報を受信したときには、その演奏インターフェース装置に用いられているピエゾセンサに対応する信号処理方法及び信号処理パラメータを用いてセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に割り付けられている演奏態様で楽音を発生させることができる。
前記ノートオンメッセージに応じて前記音源部５８において対応する打楽器音が生成され、図示しないサウンドシステムを経て、スピーカー５９から放音される。
このように、ＩＤ＝１の打楽器からのセンサ情報を受信したときには、その演奏インターフェース装置に用いられているピエゾセンサに対応する信号処理方法及び信号処理パラメータを用いてセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に割り付けられている演奏態様で楽音を発生させることができる。
図５のＢで示す部分は、受信したセンサ情報がＩＤ＝６のバランスボールである演奏インターフェース装置から送信されたものであるときの処理である。ここでは、ＩＤ＝６の演奏インターフェース装置に対して、上記（２）の再生する曲データのテンポと音量を制御する演奏態様が割り付けられているものとする。
受信したセンサ情報に含まれるＩＤ番号が「６」であるときには、気圧センサ用低域通過フィルタ処理（LPF_bb()）が実行される。この低域通過フィルタの遮断周波数はＩＤ＝６の演奏インターフェース装置に用いられている気圧センサの特性に応じたものとされている。
そして、気圧センサ用低域通過フィルタ処理が施されたセンサ信号に対して、気圧センサ用しきい値比較処理（threshold_bb()）が実行される。この処理により、センサ出力（バランスボールの内部の空気圧）が所定のしきい値ｂｂ以上であるか否かが判定される。このしきい値ｂｂも、ＩＤ＝６の演奏インターフェース装置に用いられている気圧センサの特性に応じた値とされている。
その結果、センサ信号値がしきい値ｂｂを超えたときには、拍打信号変換処理ｂｂを実行する。すなわち、そのタイミングを拍打タイミングとし、しきい値を超える直前に受信されたセンサ信号値から算出したセンサ信号の傾斜値（すなわち、センサ信号波形の微分値）に基づいて強さ（ベロシティ）を決定する。なお、センサ信号が前記しきい値ｂｂを超えないときは、次のサンプリングタイミングにおける信号処理のために今回のセンサ信号を記憶しておく。
受信したセンサ情報に含まれるＩＤ番号が「６」であるときには、気圧センサ用低域通過フィルタ処理（LPF_bb()）が実行される。この低域通過フィルタの遮断周波数はＩＤ＝６の演奏インターフェース装置に用いられている気圧センサの特性に応じたものとされている。
そして、気圧センサ用低域通過フィルタ処理が施されたセンサ信号に対して、気圧センサ用しきい値比較処理（threshold_bb()）が実行される。この処理により、センサ出力（バランスボールの内部の空気圧）が所定のしきい値ｂｂ以上であるか否かが判定される。このしきい値ｂｂも、ＩＤ＝６の演奏インターフェース装置に用いられている気圧センサの特性に応じた値とされている。
その結果、センサ信号値がしきい値ｂｂを超えたときには、拍打信号変換処理ｂｂを実行する。すなわち、そのタイミングを拍打タイミングとし、しきい値を超える直前に受信されたセンサ信号値から算出したセンサ信号の傾斜値（すなわち、センサ信号波形の微分値）に基づいて強さ（ベロシティ）を決定する。なお、センサ信号が前記しきい値ｂｂを超えないときは、次のサンプリングタイミングにおける信号処理のために今回のセンサ信号を記憶しておく。
そして、前記拍打信号変換処理ｂｂの結果に基づいてＭＩＤＩ曲データ演奏制御処理ｂｂを実行する。すなわち、前記拍打信号変換処理ｂｂで決定された拍打タイミングに基づいてテンポを決定し、該テンポに従って選択された曲データにおけるバランスボールに割り当てられたパートに含まれるＭＩＤＩメッセージを前記音源部５８に供給する。また、前記センサ信号の傾斜に基づいて決定された強さに基づいてその音量（ベロシティ）を決定して、前記音源部５８に供給するＭＩＤＩメッセージに含まれているベロシティのデータを変更して送出する。
これにより、利用者がバランスボールに座ってジャンプしたするエクササイズに同期してＭＩＤＩ曲データの対応するパートを再生することができる。
このように、ＩＤ＝６のバランスボールからのセンサ情報を受信したときには、バランスボールに接続されている気圧センサに対応する信号処理方法及び信号処理パラメータを用いてセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に割り付けられている演奏態様で楽音を発生させることができる。
これにより、利用者がバランスボールに座ってジャンプしたするエクササイズに同期してＭＩＤＩ曲データの対応するパートを再生することができる。
このように、ＩＤ＝６のバランスボールからのセンサ情報を受信したときには、バランスボールに接続されている気圧センサに対応する信号処理方法及び信号処理パラメータを用いてセンサ信号に対応する信号処理を実行し、その演奏インターフェース装置に割り付けられている演奏態様で楽音を発生させることができる。
図５のＣで示す部分は、受信したセンサ情報がＩＤ＝４の指揮棒である演奏インターフェース装置からのものであるときの処理である。ここでは、ＩＤ＝４の指揮棒に対しては、上記（３）の１回の拍打に対してあらかじめ設定されている拍数のデータを再生する演奏態様が割り付けられているものとする。
受信したセンサ情報に含まれているＩＤ番号が「４」であるときには、該センサ情報に含まれているセンサ信号に対して、加速度センサ用低域通過フィルタ処理が行われる。この場合には、センサ信号は３次元加速度センサの出力であるので、ｘ軸、ｙ軸、ｚ軸の各軸の計測信号に対して、それぞれ低域通過フィルタ処理が実行される（ｘ軸LPF_Ax()、ｙ軸LPF_Ay()、ｚ軸LPF_Az()）。この各低域通過フィルタの遮断周波数は、ＩＤ＝４の演奏インターフェース装置に内蔵されている３次元加速度センサの特性に応じたものとされている。
受信したセンサ情報に含まれているＩＤ番号が「４」であるときには、該センサ情報に含まれているセンサ信号に対して、加速度センサ用低域通過フィルタ処理が行われる。この場合には、センサ信号は３次元加速度センサの出力であるので、ｘ軸、ｙ軸、ｚ軸の各軸の計測信号に対して、それぞれ低域通過フィルタ処理が実行される（ｘ軸LPF_Ax()、ｙ軸LPF_Ay()、ｚ軸LPF_Az()）。この各低域通過フィルタの遮断周波数は、ＩＤ＝４の演奏インターフェース装置に内蔵されている３次元加速度センサの特性に応じたものとされている。
次に、各低域通過フィルタ処理を施された各軸のセンサ信号から、加速度の絶対値を算出する絶対加速度計算処理（√(x2+y2+z2)）が実行される。
そして、算出された加速度の絶対値に含まれている直流分を除去する直流分除去処理（dc_cut_A()）が行われた後、加速度センサー用ローカルピーク検出処理（peak_A()）が行われる。
ここで、加速度の絶対値のピークが検出されたときには、そのタイミングを拍打位置であるとし、拍打信号変換テーブル処理Ａにより、拍打のタイミングと、そのピーク値に応じた強さを決定する。ピーク値に応じた強さは、加速度の絶対値のピーク値の大きさと再生される楽音の強さ（音量）の対応を示す変換テーブルを使用して行われるものであり、このＩＤ＝４の指揮棒に内蔵されている３次元加速度センサの特性に対応した変換テーブルが用いられる。なお、ピークが検出されなかったときは、次回のサンプリングタイミング時の信号処理のために、今回の加速度の絶対値を記憶しておく。
そして、算出された加速度の絶対値に含まれている直流分を除去する直流分除去処理（dc_cut_A()）が行われた後、加速度センサー用ローカルピーク検出処理（peak_A()）が行われる。
ここで、加速度の絶対値のピークが検出されたときには、そのタイミングを拍打位置であるとし、拍打信号変換テーブル処理Ａにより、拍打のタイミングと、そのピーク値に応じた強さを決定する。ピーク値に応じた強さは、加速度の絶対値のピーク値の大きさと再生される楽音の強さ（音量）の対応を示す変換テーブルを使用して行われるものであり、このＩＤ＝４の指揮棒に内蔵されている３次元加速度センサの特性に対応した変換テーブルが用いられる。なお、ピークが検出されなかったときは、次回のサンプリングタイミング時の信号処理のために、今回の加速度の絶対値を記憶しておく。
そして、前記拍打信号変換テーブル処理Ａの結果に基づいて、ＭＩＤＩ曲データ演奏制御処理Ａを行う。すなわち、前記拍打信号変換テーブル処理Ａにより決定された拍打タイミングに基づいてテンポを決定し、該テンポに従って、１回の拍打に応じて演奏すべき拍数のこの演奏インターフェース装置に割り当てられたパートのＭＩＤＩメッセージを前記音源部５８に出力する。このとき、前記拍打信号変換テーブル処理Ａで決定された強さに応じて、ＭＩＤＩメッセージに含まれているベロシティが変更される。
これにより、利用者による指揮棒の振り上げ振り下げなどの拍打動作に応じて、対応する拍数の曲データが、その強さに応じた音量で再生されることとなる。
このように、ＩＤ＝４の指揮棒からのセンサ情報を受信したときは、それに内蔵されている３次元加速度センサに対応する信号処理方法及び信号処理パラメータを用いて、センサ信号に対応する信号処理を実行し、指揮棒に割り付けられている演奏態様で楽音を発生させることができる。
これにより、利用者による指揮棒の振り上げ振り下げなどの拍打動作に応じて、対応する拍数の曲データが、その強さに応じた音量で再生されることとなる。
このように、ＩＤ＝４の指揮棒からのセンサ情報を受信したときは、それに内蔵されている３次元加速度センサに対応する信号処理方法及び信号処理パラメータを用いて、センサ信号に対応する信号処理を実行し、指揮棒に割り付けられている演奏態様で楽音を発生させることができる。
また、ＩＤ＝９の電子ピアニカ（登録商標）である演奏インターフェース装置からのセンサ情報を受信したときには、Ｄで示すように、その演奏インターフェース装置に対応した信号処理方法及び信号処理パラメータを使用した信号処理及び演奏制御処理が行われることとなる。
このように、本発明によれば、複数種類の演奏インターフェース装置から送信されるセンサ情報に応じて、それぞれのセンサ及び演奏インターフェース装置に適した信号処理パラメータ及び信号処理ルーチンが選択され、それぞれの演奏インターフェース装置に対応する演奏制御が行われる。したがって、利用者は自分の好みの演奏インターフェース装置を自由に選択して合奏を行うことができ、そのために煩雑な設定操作を行う必要もない。
なお、上記においては、演奏インターフェース装置と演奏処理装置とがシリアルインターフェースにより接続されているものとして説明したが、ＭＩＤＩインターフェースにより接続するようにしてもよいし、両者を混在させるようにしてもよい。また、無線により送信するようにしても良い。
また、上述した実施の形態では、演奏処理装置５１に音源部５８を備え、該音源部５８を用いて楽音を発生させるようにしたが、外部に接続した音源を用いて楽音を発生させるようにしてもよい。
このように、本発明によれば、複数種類の演奏インターフェース装置から送信されるセンサ情報に応じて、それぞれのセンサ及び演奏インターフェース装置に適した信号処理パラメータ及び信号処理ルーチンが選択され、それぞれの演奏インターフェース装置に対応する演奏制御が行われる。したがって、利用者は自分の好みの演奏インターフェース装置を自由に選択して合奏を行うことができ、そのために煩雑な設定操作を行う必要もない。
なお、上記においては、演奏インターフェース装置と演奏処理装置とがシリアルインターフェースにより接続されているものとして説明したが、ＭＩＤＩインターフェースにより接続するようにしてもよいし、両者を混在させるようにしてもよい。また、無線により送信するようにしても良い。
また、上述した実施の形態では、演奏処理装置５１に音源部５８を備え、該音源部５８を用いて楽音を発生させるようにしたが、外部に接続した音源を用いて楽音を発生させるようにしてもよい。
１１、２１、３１：演奏インターフェース装置、１２：ピエゾセンサ、１３、２３、３３：センサ情報送信部、２２：気圧センサ、３２：３次元加速度センサ、４１、４２、４３：信号線、５１：演奏処理装置、５２：制御部、５３：ＲＯＭ、５４：ＲＡＭ、５５：表示部、５６：入力部、５７：曲データメモリ、５８：音源部、５９：スピーカー
Claims (6)
- 演奏インターフェース装置と、複数種類の前記演奏インターフェース装置を接続することができる演奏処理装置とからなる演奏処理システムであって、
前記演奏インターフェース装置は、利用者の動作に応じた信号を出力するセンサであってその演奏インターフェース装置に対応する種類のセンサと、該センサから出力されるセンサ信号及び自装置を識別する識別情報を含むセンサ情報を前記演奏処理装置に送出するセンサ情報送出手段とを有するものであり、
前記演奏処理装置は、
接続された前記演奏インターフェース装置から前記センサ情報を受信する受信手段と、
前記受信したセンサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別手段と、
前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理手段と、
前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理手段と、
前記演奏制御処理手段の出力に基づいて楽音を発生させる楽音発生手段と
を有するものであることを特徴とする演奏処理システム。 - 前記センサは、加速度センサ、ピエゾセンサ、圧力センサ、流量センサ又は角速度センサであることを特徴とする請求項１に記載の演奏処理システム。
- 複数種類の演奏インターフェース装置を接続することができる演奏処理装置であって、
接続された前記演奏インターフェース装置から、その演奏インターフェース装置に用いられているセンサから利用者の動作に応じて出力されるセンサ信号と自装置を識別する識別情報とを含むセンサ情報を受信する手段と、
前記受信したセンサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別手段と、
前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理手段と、
前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理手段と、
前記演奏制御処理手段の出力に基づいて楽音を発生させる楽音発生手段と
を有することを特徴とする演奏処理装置。 - 前記センサは、加速度センサ、ピエゾセンサ、圧力センサ、流量センサ又は角速度センサであることを特徴とする請求項３に記載の演奏処理装置。
- 複数種類の演奏インターフェース装置から送出されるセンサ情報に基づいて楽音を発生させるための演奏処理プログラムであって、
前記センサ情報は、当該演奏インターフェース装置に用いられているセンサから利用者の動作に応じて出力されるセンサ信号と自装置を識別する識別情報とを含むものであり、
コンピュータに、
受信した前記センサ情報に含まれている前記識別情報に基づいて、前記センサ情報を送信した演奏インターフェース装置を識別する識別機能、
前記識別された演奏インターフェース装置に用いられているセンサの種類に対応する処理方法及び処理パラメータを用いて前記受信したセンサ信号に対して信号処理を行う信号処理機能、
前記信号処理されたセンサ信号に基づいて、前記センサ情報を送信した演奏インターフェース装置に応じた演奏制御処理を行う演奏制御処理機能、及び、
前記演奏制御処理機能の出力に基づいて楽音を発生させる楽音発生機能
を実現させることを特徴とする演奏処理プログラム。 - 前記センサは、加速度センサ、ピエゾセンサ、圧力センサ、流量センサ又は角速度センサであることを特徴とする請求項５に記載の演奏処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007087353A JP2008249771A (ja) | 2007-03-29 | 2007-03-29 | 演奏処理システム、演奏処理装置及び演奏処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007087353A JP2008249771A (ja) | 2007-03-29 | 2007-03-29 | 演奏処理システム、演奏処理装置及び演奏処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008249771A true JP2008249771A (ja) | 2008-10-16 |
Family
ID=39974836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007087353A Pending JP2008249771A (ja) | 2007-03-29 | 2007-03-29 | 演奏処理システム、演奏処理装置及び演奏処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008249771A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160320186A1 (en) * | 2013-12-24 | 2016-11-03 | Kyocera Corporation | Mobile electronic device, controlling method, and control program for computer |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63203168A (ja) * | 1987-02-20 | 1988-08-23 | ヤマハ株式会社 | 楽音制御装置 |
-
2007
- 2007-03-29 JP JP2007087353A patent/JP2008249771A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63203168A (ja) * | 1987-02-20 | 1988-08-23 | ヤマハ株式会社 | 楽音制御装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160320186A1 (en) * | 2013-12-24 | 2016-11-03 | Kyocera Corporation | Mobile electronic device, controlling method, and control program for computer |
| US10228244B2 (en) * | 2013-12-24 | 2019-03-12 | Kyocera Corporation | Mobile electronic device, controlling method, and control program for computer |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7012182B2 (en) | Music apparatus with motion picture responsive to body action | |
| EP1431955B1 (en) | Coding heart rate information | |
| US8445769B2 (en) | Performance apparatus and electronic musical instrument | |
| JP5182655B2 (ja) | 電子打楽器およびプログラム | |
| JP5803720B2 (ja) | 電子管楽器、振動制御装置及びプログラム | |
| JP5316816B2 (ja) | 入力装置およびプログラム | |
| JP5381293B2 (ja) | 放音制御装置 | |
| US7297857B2 (en) | System of processing music performance for personalized management and evaluation of sampled data | |
| JP2008249771A (ja) | 演奏処理システム、演奏処理装置及び演奏処理プログラム | |
| JP2009198714A (ja) | カラオケ装置及びカラオケ伴奏音楽の再生処理方法及びプログラム | |
| JP6693803B2 (ja) | カラオケ装置 | |
| KR101212019B1 (ko) | 무선 전자 퍼커션의 동작으로부터 음악 신호를 동적으로 생성할 수 있는 노래방 시스템 | |
| US20080000345A1 (en) | Apparatus and method for interactive | |
| JP4407757B2 (ja) | 演奏処理装置 | |
| JP2008233558A (ja) | 電子楽器及びプログラム | |
| JP3227548U (ja) | 演奏制御システム、演奏制御装置 | |
| JP3706386B2 (ja) | キー変更ユーザインタフェースに特徴を有するカラオケ装置 | |
| JP6271362B2 (ja) | 音楽療法支援システム及び音楽療法支援装置 | |
| KR101551260B1 (ko) | 노래 반주 시스템 | |
| JP4973753B2 (ja) | カラオケ装置およびカラオケ情報処理のプログラム | |
| WO2003075259A1 (en) | Portable midi converting apparatus | |
| JP2010181604A (ja) | 演奏制御装置、演奏システム、プログラム | |
| JP2018097157A (ja) | 電子打楽器、テンポ設定方法およびテンポ設定プログラム | |
| JP5157125B2 (ja) | 楽音発生装置 | |
| JP2010020140A (ja) | 演奏制御装置、演奏操作子、プログラム、演奏制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120619 |