JP2007310178A

JP2007310178A - 演奏インターフェース

Info

Publication number: JP2007310178A
Application number: JP2006139613A
Authority: JP
Inventors: Toshio Tsuji; 敏夫辻; Kenji Shiba; 建次柴; Osamu Fukuda; 修福田; Toshiaki Sugiyama; 利明杉山; Hiromi Ueno; 洋美植野
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2006-05-18
Filing date: 2006-05-18
Publication date: 2007-11-29
Anticipated expiration: 2026-05-18
Also published as: JP4815594B2

Abstract

【課題】MIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる演奏インターフェースを提供する。
【解決手段】本発明に係る演奏インターフェースは、筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は／及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する。
【選択図】図１

Description

本発明は、MIDI規格による電子楽器等の演奏装置を演奏するための演奏インターフェースに係り、特に筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力して演奏させることができる演奏インターフェースに関する。

楽器の演奏や作曲は一般に高度な技能を要し、誰でも簡単に演奏や作曲ができるというわけにはいかないが、できるならば楽器の演奏や作曲をしたいと思う人は多い。このため、多くの人に楽器の演奏や作曲を楽しんでもらうための方法や装置が提案されている。

例えば、特許文献１に、指揮棒や手振りコントローラなどの揺動操作子の揺動または該揺動操作子に設けられたセンサの出力に基づいて音量、音色、音長などに関する楽音パラメータを制御する楽音パラメータ制御装置が提案されている。すなわち、楽音パラメータを出力する演奏手段と、揺動センサを備えた揺動操作子と、前記揺動センサの出力波形の特徴を抽出する特徴抽出手段と、該特徴抽出手段で抽出された特徴に基づいて前記楽音パラメータを制御する楽音パラメータ制御手段と、を備えた楽音パラメータ制御装置が提案されている。

特許文献２に、ユーザーの指示に応じて音符単位に、その音符の種類、及びその発音条件を自動的、且つ個別に選択するようにしたことにより、ユーザーにとっては自身が作曲を行っている実感が持て、また、音楽の専門知識が乏しいものでも作曲を容易に行うことができる作曲支援装置が提案されている。すなわち、楽曲の演奏内容を示す音符の並びである音符列を生成することにより行われる作曲を支援する装置であって、前記音符列を構成させる音符単位に、該音符の種類、及び該音符の楽譜上の配置に相当する発音条件をユーザーの指示に応じて自動的、且つ個別に選択する音符選択手段と、前記音符選択手段が自動的に個別に選択した種類、及び発音条件で指定される音符を有する前記音符列を生成する音符列生成手段と、を具備する作曲支援装置が提案されている。

一方、このような演奏又は作曲のための装置が身体の不自由な人にも容易に利用可能であるならば、そのような人の治療やリハビリテーション、または、楽しみにつながる。すなわち、身体の不自由な人が容易に利用可能な演奏又は作曲のための装置の開発は、社会的貢献に価するものである。身体の不自由な人にも利用可能な装置として、例えば、特許文献３に、筋電位により家電製品等の制御を行うリモートコントローラが提案されており、特許文献４に、筋電位により電動車椅子の制御を行う車両制御装置及びこれを備えた車両が提案されている。また、非特許文献１及び２には、筋電位信号自体を音源として演奏又は作曲を行ういわゆるインタラクティブ・アートが提案されている。

特開平09-127937号公報特開2006-84855号公報特開2003-244780号公報特開2006-84855号公報長嶋洋一著「生体センサによる音楽表現の拡大と演奏表現の支援について」、情報処理学会研究報告、情報処理学会、vol.98、No.74(98-MUS-26)、1998、p.75〜p.82 長嶋洋一著「新・筋電センサ"MiniBioMuse III"とその情報処理」、情報処理学会研究報告、情報処理学会、vol.2001、No.82(2001-MUS-41)、2001、p.1〜p.8

しかしながら、身体の不自由な人に容易に利用可能な演奏又は作曲のための装置は未だ提案されていない。また、筋電位を利用して制御を行う従来の装置は、筋電位信号自体を音源として、またはスイッチとして利用するものであり、そのままでは操作者が満足できるような演奏又は作曲のための装置を構成するのが非常に困難である。

本発明は、このような従来の問題点に鑑み、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる演奏インターフェースを提供することを目的とする。さらには、従来提案されている演奏又は作曲のための装置以上に簡単に複雑な音楽表現を行うことができ、より操作者に満足感を与えることができる演奏インターフェースを提供することを目的とする。

本発明者等は、一般に、電子楽器においては、音色、音高、音量及び効果の４つの演奏パラメータが決まると所望の楽音を発音することができ、CD、MD、DVD、DATや、MIDI（Musical Instrument Digital Interface）ソース等の音響情報を再生する楽音再生装置では、テンポ、音量及び効果の３つの演奏パラメータが決まると所望の楽音を再生することができるといわれていることと、これらの音楽的要素は、筋電信号又は筋電時間微分信号の発生タイミング、大きさ、持続時間とそれぞれ容易に関連づけることができ、高度な音楽表現が可能であるということに着目して本発明を完成させた。

本発明に係る演奏インターフェースは、筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は／及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する。

上記発明において、入力装置は、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、音高及び音価を選択する音符取得手段と、操作メニューと結果を表示させる表示手段と、前記特徴保管手段に保管された筋電信号の持続時間を音価に対応させる関連づけ手段と、を有するものであって、演奏データを作製することができるものとするのがよい。

そして、その入力装置は、さらに、筋電時間微分信号を音量に対応させる関連づけ手段を有するものとすることができ、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を有するものとすることができる。

また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとするのがよい。そして、この入力装置に、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。

また、上記入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものとすることができる。そして、この入力装置に、演奏曲のニュアンスの程度をパラメータとし、レガート度を表示させる表示手段を設けることができる。

また、さらに、上記入力装置に筋電信号の大きさ及び筋電時間微分信号の大きさを表示させる表示手段を設けることができる。

また、上記発明において、筋電信号の機能選択手段による識別は、筋電信号をニューラルネットワーク処理により行うものであるのがよい。

さらに、上記発明において、筋電センサの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をE_l(t)(l=1、2、・・・、L)として、下記式（１）により表されるP(t)を入力装置へ筋電信号として出力するセンサ信号処理手段を有するのがよい。

本発明に係る演奏インターフェースによれば、国際規格であるMIDI規格による電子楽器等の演奏装置を身体の不自由な人が容易に演奏し、また、その演奏のための作曲をすることができる。さらに、従来提案されている演奏又は作曲のための装置以上に複雑な音楽表現を簡単に行うことができ、より操作者に満足感を与えることができる。

以下、本発明に係る演奏インターフェースの実施の形態を図面に基づいて説明する。図１は、本発明に係る演奏インターフェースの構成を示す。本演奏インターフェース100は、筋電センサ40、筋電センサ40からの出力信号を処理するセンサ信号処理手段43、センサ信号処理手段43からの出力信号を時間微分して筋電時間微分信号を作製する微分手段45、筋電信号又は／及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置10、入力装置10により作製された演奏データ及び演奏制御データを保存する記録手段50を有し、演奏インターフェース100によりMIDI規格による電子楽器等の演奏装置55を演奏することができる。

入力装置10は、演奏データを作製するための入力装置10A、演奏制御データを作製するための入力装置10Bからなる。入力装置10Aの構成を図１(b)及び図２に、入力装置10Bの構成を図１(c)及び図３に示す。図２又は図３は、入力装置10A又は10Bの表示手段18部分を詳細に示す説明図である。本発明においては、演奏制御データは入力装置10Bにより作製することができるのであるが、演奏制御データは操作者の操作の瞬間に作製され、演奏制御データの作製と同時に演奏することが可能であり、また、一部の演奏制御データを作製しないで、その部分を予め記録された演奏制御データにより自動演奏させることもできる。すなわち、操作者自身があたかも演奏を指揮しているように演奏することが可能であり、また、自身で演奏しているように演奏することも、合奏しているように演奏することも可能である。

図１(b)及び図２に示すように、入力装置10Aは、筋電信号を識別させる機能選択手段11と、機能選択手段11に識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、音高及び音価を選択する音符取得手段12と、操作メニューと結果を表示させる表示手段18と、特徴保管手段15に保管された筋電信号の持続時間を音価に対応させる関連づけ手段16と、を有する。表示手段18には、図２に示すように、操作メニューを表す機能選択手段11と音符取得手段12が表示され、操作の結果として、例えば、取得した音符が五線譜上に表示される。

入力装置10Bは、図１(c)及び図３に示すように、筋電信号の発生タイミングを教示する動作教示手段19と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び動作教示手段21を表示する表示手段18と、を有する。なお、上記において、ニュアンスとは、スタッカート、レガートあるいはレガート的であるかの程度（レガート度）、すなわちその曲のニュアンスを示すものである。

この入力装置10Bには、さらに、図３に示すように、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けるのがよい。これにより、操作者はより高度の音楽表現ができ、その結果を視覚的に確認することができる。なお、指揮パターンのパラメータは多いほど複雑な表現が可能であるが、１つであってもよい。

また、本入力装置10Bには、図３に示すように、筋電信号の大きさ、筋電時間微分信号の大きさ等を表示させる表示手段を設けることができる。これにより、操作者はどの程度の音量あるいはニュアンス等で演奏しているか視覚的に知ることができる。

本発明において、筋電センサ40は公知のものを使用することができる。筋電センサ40は、一対の電極により一つの筋電位を測定する形式のものが外乱による影響を受けにくいので好ましい。測定の対象にする筋電位は、一以上五（チャンネル）以下とすることができ、二又は三（チャンネル）の筋電位を測定する演奏インターフェースが感度を高くすることができるとともに、装置全体の構造を簡単にすることができるので好ましい。例えば、腕の指伸筋及び指屈筋の筋電位などから手のひらを「掌屈及び背屈、握る及び開く」4つの動作に対応する筋電位を測定するには、３チャンネル必要である。

センサ信号処理手段43、微分手段45、記録手段50及び演奏装置55は公知のものを使用することができる。センサ信号処理手段43は、筋電センサ40からの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をE_l(t)(l=1、2、・・・、L)として、下記式（１）により表されるP(t)を筋電信号として入力装置10に出力することができる。これにより精度の高い筋電信号を得ることができる。

以上、本演奏インターフェース100の構成を説明した。本演奏インターフェース100は以下のように使用される。まず、演奏データの作製について説明する。所要の部位に筋電センサ40を装着した操作者は、入力装置10Aを操作することによって演奏データを作製することができる。

入力装置10Aをさらに詳細に説明すると、機能選択手段11は図１(b)又は図２右側部分に示すように、図２において文字を□枠で囲んだキー部分が機能選択手段11である。どのような機能が選択されているかは選択されたキー部分が明示されるので、操作者はどの操作をしているか認識することができる。選択されたキーによりその筋電信号を識別する識別記号が付与される。「Play」キーは、記録手段50に蓄えられた演奏データを自動演奏する場合の機能キーである。視聴している演奏を停止する場合が「Stop」、記録手段50に蓄えられた演奏データを以下に説明する音符取得手段12に読み込む場合は「Load」、作製した演奏データを記録手段50に蓄える場合は「Save」である。

演奏データを作製するパートを選択する場合は「Select」で、メロディー「Melody」、和音「Chord」、ベース「Base」、リズム「Rhythm」を選択することができる。記録手段50に蓄えられた演奏データを自在に演奏したい場合は、演奏法「To play」を選択し、さらに「P1」又は「P2」のいずれかを選択することができる。P1演奏法は、以下に説明するように一拍ごとに演奏を制御することができる演奏法であり、P2演奏法は一小節ごとに演奏を制御することができる演奏法である。

演奏データを取得するための音符取得手段12に移行するには、機能選択手段11の作曲「Compose」を選択し、曲の拍子を決めるため「Beat」を選択する。「Beat」を選択し、表示される所定の拍子及び作曲する最小の音価の音符を選択することにより、図２の左側の音符取得手段12に移行することができる。なお、機能選択「function」を選択することによって、機能選択手段11に移行することができる。

作曲のための拍子及び最小の音価の音符が決定されると、図２の左上部に所定の小節から構成される五線譜及中央部分に音符の音価を決定するための所定のマス目が表示される。図２の例は、3/4拍子で、最小の音価の音符が八分音符の場合を示す。

音符取得手段12は、まず、図２の左側に表示された鍵盤を選択し、音高を決めることによりなされる。音高が決定されると、その音高に対応するマス目の位置にマーク（斜線部）される。音価は、選択された位置で選択動作を持続することによってなされる。例えば、手のひらを掌屈又は背屈動作に伴う筋電信号により、鍵盤の任意の位置に選択ポインターを移動させ、握る動作に伴う筋電信号により音高を決定する。そして、その動作を維持すると、図２に示すように斜線部に連なる横線部が次第に横方向に伸びる。所定の位置に伸びたときに、握りを開く動作に伴う筋電信号を与えると横線部の伸びが停止し、関連づけ手段16により所定の音価が決定される。このようにして、音高及び音価が決定されると、その音符が五線譜上に表示される。なお、音符を取得したマス目を斜線と横線で表示することにより、同一音高の音符が連なる場合であってもこれを明確に区別することができる。図２のマス目の縦線部は、これから音高を選択する位置であることを明示するポインターである。また、図２の鍵盤の上部に示された「Delete」は、既に取得した音符を削除する場合に選択され、その五線譜上の位置は矢印「→」又「←」により移動させて選択することができる。なお、矢印「→」又「←」によって選択ポインターを移動させ、移動した点から再度握りの動作を行うことで、音符の上書き修正を行うことができる。

本発明においては、上記の操作において、筋電センサ40からの信号は、筋電信号及び筋電時間微分信号として入力装置に受け入れられる。そして、それらの信号はどのような機能を選択したかにより識別記号が付されて識別され、発生タイミング、大きさ、持続時間データとして特徴保管手段15に保管される。そして保管されたこれらのデータは、例えば、特徴保管手段15に設けられた比較判定手段により、保管された筋電信号が所定の閾値以上でない限り機能選択は行われなかったものとすることができるようになっている。

また、特徴保管手段15により保管された筋電時間微分信号を音量に対応させる関連づけ手段16が設けられており、例えば、上述の音高を選択するときその選択動作が激しく筋電時間微分信号の大きさが所定値以上であるときはその程度によって所定の音量になるようにすることができる。また、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を設け所定のテンポを選択するようにすることができる。さらに、筋電信号をニューラルネットワーク処理し、この出力信号により機能の選択判定を決定するようにすることができる。これにより精度の高い操作が可能になる。ニューラルネットワーク処理は、例えば、特開2003-244780号公報に開示された方法を使用するのがよい。

つぎに、演奏制御データを作製する場合について説明する。この演奏制御データ作製により、一拍ごとに演奏するP1演奏法の演奏データを作製することができる。操作者は、まず、所要の部位に筋電センサ40を装着し、入力装置10Bを操作することによって演奏制御データを作製する。そして、その演奏制御データに基づいて演奏装置55を演奏することができる。

入力装置10Bについてさらに詳細に説明する。本入力装置10Bにも、入力装置10Aの場合と同様に特徴保管手段15及び関連づけ手段16が設けられている。機能選択手段11は、図３の下部に示すように、文字を□枠で囲んだキー部分で示されている。どのような機能が選択されているかは選択されたキー部分が明示され、その操作に関する筋電信号に識別記号が付されるのは、入力装置10Aの場合と同様である。「Play」は、記録手段50に蓄えられた演奏データを演奏する機能キーである。視聴している演奏をとめる場合が「Stop」、繰り返し視聴する場合が「Repeat」、視聴を一時停止する場合が「Pause」キーである。

メロディー「Melody」、和音「Chord」、ベース「Base」及びリズム「Rhythm」キーは、それぞれメロディー、和音、ベース又はリズムの異なるパートを選択して演奏することができ、ともに「ON」の場合に以下に説明する演奏制御データにより自在にそのパートを演奏することができ、「OFF」がそのパートの発音を制限する場合であり、「Auto-play」が予め作製した演奏制御データに基づいて自動演奏をさせる場合である。

また、この入力装置10Bには、筋電信号の発生タイミングを教示する動作教示手段21が図３の上部に「Timing input」として表示され、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンが図３の中央左部に表示されている。本例の場合は、3/4拍子の場合であり、拍子が進むに従って、「Timing input」は１、２、３と着色部分が伸張して拍子を表示し、指揮パターンは三角印を描く。「Timing input」は選択された演奏曲の演奏制御データに基づいて拍子を取るので変えることはできないが、指揮パターンは、操作者の作製する演奏制御データに基づいて変化する。なお、演奏される曲は、操作者が作製する演奏制御データに従って演奏される。

具体的な演奏操作について説明すると、先ず、操作者は演奏する曲目を選び図３に示す操作メニュー画面を選択する。つぎに、例えば、「Melody」キーを選んで、他のパートは自動演奏させるようにする。そして、「Play」キーを選んで演奏を始める。曲の進行に従って、「Timing input」が変化する。その指示に従って、例えば手を握る動作に関する筋電信号を発生させることにより、「Timing input」に従った演奏をすることができる。この操作において、握る動作を激しく（速く）すると、大きな筋電微分時間信号を発生させることができ音量の大きい演奏をさせることができる。また、一拍に相当する握る動作を長くするとレガート的な演奏をすることができる。なお、上記において、「Timing input」に従った演奏操作をしなかった場合は、操作者の指示に従った演奏が行われる。また、
本例の場合は、筋電信号の大きさ（「Power level」）及び筋電時間微分信号の大きさ（「Estimated velocity」）が表示されるようになっており、操作者は、どの程度の筋力を発揮したか（筋力情報）が分かるようになっている。

以上本発明について説明した。上述のように、本発明に係る演奏インターフェースは、MIDI規格の演奏装置を演奏させる演奏曲の作曲や記録された曲の自在な演奏を身体の不自由な人にも筋電信号を使って容易に行うことができる。また、本発明は、筋電信号とその時間微分信号を利用するので多くの情報を処理することができ、複雑な音楽表現も行うことができる。本発明は上記に説明した実施例のみならず、身体の不自由な人の操作程度によって、種々の利用をすることができ、例えば、演奏を一小節ごとに制御する演奏法（P2演奏法）用の演奏制御データを作製することができる。

図４は、P2演奏法用の演奏制御データを作製するための入力装置の例を示す。本例の入力装置10Bは、筋電信号の発生タイミングを教示する動作教示手段21と、筋電信号を識別させる機能選択手段11と、機能選択手段11により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段15と、特徴保管手段15に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段16と、操作メニュー及び前記動作教示手段を表示させる表示手段18と、を有する。

本例の場合、動作教示手段21は、図４の上部に、６個の□枠（「Input」）で表示されており、６つの□枠で一小節分が示される。曲が進行するに従って、図右方に□は色つきされていくので、操作者は、演奏タイミングを知ることができる。図４の場合は各小節の一拍目を演奏している場合を示す。テンポは、上記演奏タイミングの表示図の下部に１３個の小の□枠（「Slow Fast」）で表示されるようになっている。また、本例の場合も筋力情報が表示されるようになっている。なお、本例の場合は、演奏曲のニュアンスは予め定められている。

演奏は、操作者が演奏タイミングを計り、次の小節に進む前、すなわち、演奏する小節の直前の裏拍の所定の時間内に筋電信号が入力されたときにその小節が演奏できるようになっている。そしてタイミングがずれた場合はその小節を演奏することができないようになっている。これにより、操作者は、演奏を楽しむと同時に筋電位の操作、すなわち、身体の動作訓練をも行うことができる。なお、演奏タイミングのとり方は、表拍とすることもできるが、操作者の満足度から言えば裏拍でタイミングをとるのがよい。

また、本発明は上述のように身体の不自由な人にも容易に使用することができるものであるが、必ずしも必要な筋電位を採取することができない場合がある。このような場合、図４のような演奏タイミング表示、ニュアンス表示及び筋力情報表示を設けた訓練テストパターンを設け、操作者が所定の筋電信号を発生するように訓練するようにすることもできる。

本発明に係る演奏インターフェースの構成図であり、図(a)は全体図、図(b)は演奏データ作成用の入力装置部分図、図(c)は演奏制御データ作成用の入力装置部分図である。演奏データ作成用の入力装置の表示手段部分の構成図である。演奏制御データ作成用の入力装置の表示手段部分の構成図である。他の例の演奏制御データ作成用の入力装置の表示手段部分の構成図である。

符号の説明

10 入力装置
11 機能選択手段
12 音符取得手段
15 特徴保管手段
16 関連づけ手段
18 表示手段
21 動作教示手段
40 筋電センサ
43 センサ信号処理手段
45 微分手段
50 記録手段
55 演奏装置
100 演奏インターフェース

Claims

筋電信号に基づき演奏データ又は演奏制御データを作製し、これを演奏装置に入力するための演奏インターフェースであって、筋電信号を取得するための筋電センサと、該筋電センサからの筋電信号に基づき筋電時間微分信号を作製する微分手段と、筋電信号又は／及び筋電時間微分信号を利用して演奏データ又は演奏制御データを作製する入力装置と、該入力装置により作製された演奏データ及び演奏制御データを保存する記録手段と、を有する演奏インターフェース。
により
入力装置は、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、音高及び音価を選択する音符取得手段と、操作メニューと結果を表示させる表示手段と、前記特徴保管手段に保管された筋電信号の持続時間を音価に対応させる関連づけ手段と、を有するものであって、演奏データを作製することができるものであることを特徴とする請求項１に記載の演奏インターフェース。
さらに、筋電時間微分信号を音量に対応させる関連づけ手段を設けたことを特徴とする請求項２に記載の演奏インターフェース。
さらに、筋電信号の発生タイミングを演奏のテンポに対応させる関連づけ手段を設けたことを特徴とする請求項２又は３に記載の演奏インターフェース。
入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の発生タイミングに演奏曲のテンポ、筋電信号の持続時間に演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものであることを特徴とする請求項１に記載の演奏インターフェース。
さらに、筋電信号と関係づけられた、演奏曲のテンポ、演奏曲のニュアンス及び音量のうち、いずれか一以上のデータをパラメータとする指揮パターンを表示させる表示手段を設けたことを特徴とする請求項５に記載の演奏インターフェース。
入力装置は、筋電信号の発生タイミングを教示する動作教示手段と、筋電信号を識別させる機能選択手段と、該機能選択手段により識別された筋電信号及びそれに基づく筋電時間微分信号の識別記号、発生タイミング、大きさ、持続時間を保存する特徴保管手段と、該特徴保管手段に保管された筋電信号の大きさに演奏曲のニュアンス、筋電時間微分信号の大きさに音量を対応させる関連づけ手段と、操作メニュー及び前記動作教示手段を表示させる表示手段と、を有するものであって、演奏制御データを作製することができるものであることを特徴とする請求項１に記載の演奏インターフェース。
さらに、演奏曲のニュアンスの程度を表示させる表示手段を設けたことを特徴とする請求項７に記載の演奏インターフェース。
さらに、筋電信号の大きさ及び筋電時間微分信号の大きさを表示させる表示手段を設けたことを特徴とする請求項５〜８のいずれかに記載の演奏インターフェース。
筋電信号の機能選択手段による識別は、筋電信号をニューラルネットワーク処理により行うものであることを特徴とする請求項１〜９のいずれかに記載の演奏インターフェース。
筋電センサの出力をA/D変換し、全波整流及び平滑化処理して得られる時系列信号をE_l(t)(l=1、2、・・・、L)として、下記式（１）により表されるP(t)を入力装置へ筋電信号として出力するセンサ信号処理手段を有することを特徴とする請求項１〜１０のいずれかに記載の演奏インターフェース。