JP2004252149A

JP2004252149A - Virtual percussion instrument playing system

Info

Publication number: JP2004252149A
Application number: JP2003042427A
Authority: JP
Inventors: Tomokazu Hikita; 智一疋田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2003-02-20
Filing date: 2003-02-20
Publication date: 2004-09-09
Anticipated expiration: 2023-02-20
Also published as: JP3933057B2

Abstract

<P>PROBLEM TO BE SOLVED: To enable a player to experience playing of a percussion instrument even if the percussion instrument, such as a drum, is not actually installed with a virtual percussion instrument playing system for playing the virtual percussion instrument by the physical motion of the player. <P>SOLUTION: The virtual percussion instrument playing system 1 for playing the virtual percussion instrument by the physical motion of the player equipped with a batter head setting means 104 for setting the virtual batter head position in a three-dimensional space, a motion detecting means 102 for detecting the position motion of a portion associated with at least the playing motion, a musical tone forming means 102 for forming musical tone data based on the position information in the batter head position and the above portion, and a musical tone reproducing means 25, 43 for reproducing the musical tones based on the musical tone data is provided. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、演奏者の身体動作により仮想の打楽器を演奏するための仮想打楽器演奏システムに関する。
【０００２】
【従来の技術】
従来の仮想楽器演奏システムとしては、演奏者の身体動作により楽音を出力するものがある（例えば、非特許文献１参照。）。この仮想楽器演奏システムでは、広い設置場所を必要とするドラム等の打楽器が不要となり、また、身体に装着して使用するため、場所を選ばずに楽器を演奏できる利点を有する。
【０００３】
【非特許文献１】
［ｏｎｌｉｎｅ］、平成１０年４月１０日、ヤマハ、［平成１５年１月２４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｙａｍａｈａ．ｃｏ．ｊｐ／ｎｅｗｓ／１９９６／９６０４１００１．ｈｔｍｌ＞
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の仮想楽器演奏システムにおいては、演奏を行う際に、演奏者の身体動作のみにより楽音を出力していたため、打楽器の打面の配置位置とは無関係に楽音が発生することがある。したがって、演奏者が打楽器の演奏を十分に体感できないという問題があった。
【０００５】
この発明は、上述した事情に鑑みてなされたものであって、ドラム等の打楽器を実際に設置しなくても、打楽器の演奏を体感できる仮想打楽器演奏システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、この発明は以下の手段を提案している。
請求項１に係る発明は、演奏者の身体動作により仮想の打楽器を演奏する仮想打楽器演奏システムであって、３次元空間に仮想の打面位置を設定する打面設定手段と、少なくとも演奏動作に関連する部位の位置情報を検出する動作検出手段と、前記打面位置および前記部位の位置情報に基づいて楽音データを生成する楽音生成手段と、前記楽音データに基づいて楽音を再生する楽音再生手段とを備えることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏する際には、打面設定手段により設定された仮想打面に向けて、肘、手首、指、手に握られたスティック、足首、足のつま先等の演奏動作に関連する部位を動かして叩く動作を行う。そして、動作検出手段により所定の部位が仮想打面に到達したことが検出されると、楽音生成手段において楽音データが生成される。そして、この楽音データに基づいて楽音再生手段により楽音が出力される。
【０００７】
請求項２に係る発明は、請求項１に記載の仮想打楽器演奏システムにおいて、前記打面設定手段が、前記演奏者の位置を基準として前記打面の位置を設定することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏者の座る位置や立つ位置にかかわらず、演奏者と仮想打面との位置関係が変化しないため、演奏者が、立った状態や座った状態で演奏したり、また、移動しながら演奏することが可能となる。
【０００８】
請求項３に係る発明は、請求項１または請求項２に記載の仮想打楽器演奏システムにおいて、前記打面設定手段が、前記打面を複数設定し、前記各打面毎に異なる音色を設定することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、打面毎に異なる音色を設定することにより、打面に応じて異なる楽音を発生させることができるため、複数の楽音を有すると共に、広い設置場所が必要となるドラムや木琴・鉄琴等の複数の音色を有する打楽器として使用できる。
【０００９】
請求項４に係る発明は、請求項１から請求項３のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、少なくとも前記部位の移動速度および移動角度のいずれか一方の動作データを検出し、前記楽音生成手段が、前記動作データに応じた楽音データを生成することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏動作に関連する部位の移動速度や移動角度、すなわち、演奏者の叩く動作の大きさや速さに応じて楽音データを生成するため、音量や音色等を変化させた楽音データを生成することが可能となる。
【００１０】
請求項５に係る発明は、請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、前記部位に設けられ、赤外線を発信する赤外線マーカを有する部位指標部と、該部位指標部からの赤外線を受信する受信部とを備えていることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、部位の位置に関連する情報を赤外線により受信部に伝達することにより、この部位の位置を特定できるため、演奏の際に各部位を自由に動かすことができる。
【００１１】
請求項６に係る発明は、請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、前記部位に設けられた部位指標部と、該部位指標部の複数の画像データを同時に取得する撮像部とを備えていることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏動作に関連する部位に取り付けられた部位指標部を撮像部において捉えることにより、この部位の位置を特定できるため、演奏の際に各部位を自由に動かすことができる。
【００１２】
請求項７に係る発明は、請求項１から請求項６のいずれか１項に記載の仮想打楽器演奏システムにおいて、携帯端末装置に予め備えられている楽音再生手段を前記楽音再生手段とすることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、楽音データを再生する楽音再生手段として、近年幅広く普及している携行可能なＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｉｓｓｔａｎｔｓ）、携帯電話機等の携帯端末装置を使用することにより、新たに楽音再生手段を設ける必要が無くなるため、仮想打楽器演奏システムのコストダウンを図ることができる。
【００１３】
請求項８に係る発明は、請求項１から請求項７のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記打面の映像を表示する表示手段を備えることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏者が表示手段により表示される仮想打面を視認して仮想打面の位置を確認することが可能となる。
【００１４】
【発明の実施の形態】
図１から図１１はこの発明に係る一実施形態を示している。この実施の形態に係る仮想打楽器演奏システム１は、３次元空間に設定された仮想の打面に対して演奏者が叩く動作を行うことによりドラムと同様の楽音を発生するものである。この仮想打楽器演奏システム１は、図１に示すように、スティックＳ、手指、手首、肘、足のつま先等、演奏動作に関連する部位に取り付けられる部位指標部２〜６と、ベルト１１を介して演奏者の腹部に装着されるコントロールユニット２１と、コントロールユニット２１に電気的に接続された携帯電話機（楽音再生手段）２３と、仮想の打面を表示する表示装置（表示手段）２５とを備えている。
【００１５】
部位指標部２〜６は、演奏動作に関連する各部位の位置および動作を検出するものであり、例えば、図２に示すように、スティックの先端部、スティックを握る指、手首および足のつま先に巻き付け、綿ファスナーにより固定されている。
この部位指標部２〜６には、図示しない赤外線マーカおよび加速度センサが設けられている。赤外線マーカは、所謂赤外線発光ダイオードからなり、赤外線によってコントロールユニット２１に各部位の位置や動作に関連する情報を送信するものである。
加速度センサは、各部位の加速度の大きさを検出するものであり、ストレインゲージ等を用いて構成されている。また、手首および肘の関節に設けられる部位指標部４，５には、角度センサ（図示せず）が設けられており、各関節の曲げ角度や捻れ角度を検出するようになっている。
【００１６】
コントロールユニット２１は、仮想の打面および各部位指標部２〜６からの情報に基づいて楽音データを生成するものであり、図３に示すように、受信部３１、３次元部位検出部３３、楽音データ生成部３５および外部接続端子３７（以下、外部Ｉ／Ｆ３７と略称する。）を備えている。
受信部３１は、互いに間隔を隔てて配置された複数の赤外線検出器（図示せず）を備えており、各赤外線検出器が部位指標部２〜６の赤外線マーカからの赤外線を受信するように構成されている。
【００１７】
３次元部位検出部３３は、受信部３１の赤外線検出器において受信した各部位指標部２〜６の情報に基づいて、各部位指標部２〜６の３次元空間内の位置データ、速度データ（動作データ）および角度データ（動作データ）を特定するものである。
すなわち、各部位指標部２〜６の３次元的な位置データは、赤外線マーカから複数の赤外線検出器への赤外線の到達時間に基づいて算出され、コントロールユニット２１の位置を基準として距離および方位により特定されるものである。また、各部位指標部２〜６の速度データは、各部位指標部２〜６の加速度センサにおいて検出された加速度の大きさに基づいて算出されるものである。
また、手首、肘に設けられた部位指標部４，５の角度データは、部位指標部４，５の角度センサにおいて検出された関節の曲げ角度や捻れ角度の大きさの情報と、これら曲げ角度や捻れ角度に基づいて算出される角度の変化（移動角度）の情報とからなる。
これら部位指標部２〜６、受信部３１および３次元部位検出部３３により、演奏動作に関連する部位の位置データ、速度データ、角度データを検出する動作検出手段１０１が構成されている。
【００１８】
楽音データ生成部３５は、３次元部位検出部３３において特定された各部位の位置データ、速度データおよび角度データと、打面データメモリ部３８およびベロシティメモリ部３９に記憶された情報とを照合し、この照合結果に基づいてＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔｓＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）規格に準拠した楽音データを生成するものである。
すなわち、打面データメモリ部３８には、表１に示すように、３次元空間に設定された仮想打面の位置および領域からなる打面データと、スネアドラム、ハイハット、タムタム、バスドラム等のノート（音高および音色）とが対応づけて記憶されている。なお、仮想打面の位置は、コントロールユニット２１の位置を基準として距離および方位により設定されている。
【００１９】
【表１】

【００２０】
また、ベロシティメモリ部３９には、表２に示すように、演奏検出部位２〜６の角度データ、速度データと、ベロシティ（音量）とが対応づけて記憶されており、角度データや速度データの値が大きい程、大きいベロシティが選択されるようになっている。
【００２１】
【表２】

【００２２】
この楽音データ生成部３５は、例えば、図４に示すように、スティックＳの先端部Ｓａが仮想の打面Ｃに到達した場合に、この先端部Ｓａに取り付けられた部位指標部２の位置データが、打面Ｃの打面領域に含まれていると判断する。この際には、楽音データ生成部３５が、この判断結果に基づいて打面データメモリ部３８から打面Ｃに対応するノートを読み出す。
また、この際には、楽音データ生成部３５が、スティックＳの先端部Ｓａが打面Ｃに到達する直前の動作に関連する部位の速度データ、角度データに基づいて、ベロシティメモリ部３９からベロシティを読み出す。ここで、動作に関連する部位とは、スティック先端部、スティックを握る指、手首、肘のことを示している。
つまり、仮想の打面Ｃに向けて手を大きく、速く振った場合には、大きいベロシティが読み出され、また、肘、手首を使わずに指だけを振ったり、手をゆっくり振った場合には、小さいベロシティが読み出されることになる。
【００２３】
また、例えば、図５に示すように、足のつま先が地面に設定された仮想の打面Ｇに到達した場合には、足のつま先が打面Ｇに到達する直前の速度データに基づいて、ベロシティメモリ部３９からベロシティが読み出されることになる。なお、足のつま先を打面Ｇに接触し続ける場合には、足のつま先の移動速度が０となるため、ベロシティを０として、楽音が発生しないようになっている。
【００２４】
以上のように、仮想打面に向けて叩く動作を行うことでノートおよびノートに対応するベロシティを有する楽音データが生成されることになる。
したがって、図３に示すように、これら楽音データ生成部３５、打面データメモリ部３８およびベロシティメモリ部３９により、仮想打面、演奏動作に関連する部位の位置および動作に基づいて楽音データを生成する楽音生成手段１０２が構成されている。
【００２５】
また、このコントロールユニット２１には、画像データ生成部４１、表示部（表示手段）４３、打面設定部４５および操作部４７が設けられている。画像データ生成部４１は、打面データメモリ部３８に記憶されている打面データに基づいて仮想打面の画像データを生成するものであり、生成した画像データを表示部４３に出力するようになっている。表示部４３は、この画像データの映像を表示するようになっている。
【００２６】
打面設定部４５は、後述する記憶用パッド５１と共に、打面データメモリ部３８に打面データおよび各打面に対応づけたノートを記憶させるものである。
記憶用パッド５１は、図６に示すように、平板状に形成されたパッド本体５３と、パッド本体５３の表面５３ａの周縁部に設けられた３つの赤外線マーカ５５と、パッド本体５３の高さ、向きを調整するスタンド５７とを備えている。
赤外線マーカ５５は、部位指標部２〜６に設けられているものと同様であり、これら赤外線マーカ５５の位置データは、打面設定部４５において部位指標部２〜６の位置データと同様にして算出される。そして、これら赤外線マーカ５５の位置データに基づき、打面設定部４５において、コントロールユニット２１の位置を基準とした３次元空間内の打面位置および打面領域からなる打面データが算出されるようになっている。
また、この打面データに対応させるノートは、図示しないノートメモリ部に記憶された多数のノートデータから選択できるようになっている。これら打面データおよび各打面に対応づけたノートの設定は、演奏者が操作部４７を操作することにより行われる。
これら記憶用パッド５１、受信部３１、打面設定部４５、打面データメモリ部３８、ノートメモリ部および操作部４７により仮想の打面を設定する打面設定手段１０４が構成されている。
【００２７】
実際のコントロールユニット２１は、図７に示すように、受信部３１、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）６１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）６３、操作部４７、表示部４３、外部Ｉ／Ｆ３７およびＣＰＵ（中央処理装置）６５から構成されており、これらは互いに電気的に接続されている。
前述した３次元部位検出部３３、楽音データ生成部３５、打面設定部４５および画像データ生成部４１は、各種のデータを算出する複数の演算プログラムを記憶するＲＯＭ６３と、これら演算プログラムを用いてデータ処理を行うＣＰＵ６５とにより実現される。また、打面データメモリ部３８は、書き換え可能なＲＡＭ６１に含まれており、ベロシティメモリ部３９は、書き換え不能なＲＯＭ６３に含まれている。
【００２８】
なお、操作部４７は、仮想打面の設定のほか、演奏機能の開始・停止等の各種操作を行うようになっている。また、表示部４３は、打面データを表示するほか、ＲＡＭ６１やＲＯＭ６３に記憶されている各種データや、操作部４７における操作状況等の各種情報を表示するようになっている。
外部Ｉ／Ｆ３７は、ケーブル等を介して楽音データや画像データを携帯電話機２３、表示装置２５等の外部機器に送信するためのものである。
【００２９】
携帯電話機２３は、図８に示すように、無線で通話するための通信部７１および音声処理部７３、各種情報を表示する表示部７５、通話キー、テンキー等の押圧可能な複数の操作キーからなる操作キー部７７、携帯電話機２３の各部の動作を制御するプログラム等が記憶されたＲＯＭ７９、各種の制御を行うＣＰＵ８１等を備えており、一般に幅広く普及しているものである。
この携帯電話機２３は、コントロールユニット２１において生成された楽音データに基づいて楽音を再生することができる。すなわち、この携帯電話機２３が、コントロールユニット２１からの楽音データを受信した際には、ＣＰＵ８１がこの楽音データを着信音用音源８３に供給する。そして、着信音用音源８３は、供給された楽音データに基づいて楽音を生成し、スピーカ８５から再生させる。
【００３０】
表示装置２５は、コントロールユニット２１の表示部４３と同様に、画像データ生成部４１において生成された画像データの映像を表示面２５ａに表示するものである。この表示装置２５は、図９（ａ）に示すように、所謂眼鏡の外観をなしている。
コントロールユニット２１を演奏者の腹部に装着し、この表示装置２５を顔にかけた状態においては、図９（ｂ）に示すように、仮想打面Ａ〜Ｆが実際に見えると想定されるように表示面２５ａに映し出される。また、この表示装置２５には、部位指標部２〜６と同様の赤外線マーカ（図示せず）が設けられており、表示面２５ａに表示される仮想打面Ａ〜Ｆの映像が、コントロールユニット２１を基準とした演奏者の顔の向き、すなわち、表示装置２５の向きに合わせて移動するように構成されている。さらに、この表示装置２５は、表示面２５ａに仮想打面Ａ〜Ｆの映像が表示されていても、表示面２５ａの向こう側を視認できるように構成されている。したがって、表示面２５ａに表示される仮想打面Ａ〜Ｆと同時にスティックＳを視認してドラム演奏を容易に行うことができる。
【００３１】
以上のように構成された仮想打楽器演奏システム１の使用方法について説明する。
仮想打面の位置設定は、以下のようにして行われる。はじめに、コントロールユニット２１を演奏者の腹部にベルト１１を介して装着し、演奏者が記憶用パッド５１を所望の位置に配置し、打面の高さ、向きを調整する。そして、図１０に示すように、演奏者がコントロールユニット２１の操作部４７において仮想打面の設定操作を行うことにより（ステップＳ１０１）、打面設定部４５が記憶用パッド５１に設けられた赤外線マーカ５５からの信号を取得し（ステップＳ１０２）、仮想の打面位置および打面領域を算出する。
その後、演奏者が、この仮想打面にバスドラム、スネアドラム、ハイハット、シンバル等のドラムの種類（ノート）を操作部４７において選択すると（ステップＳ１０３）、打面設定部４５が、仮想の打面位置および打面領域からなる打面データと、ドラムの種類とを対応づけてＲＡＭ６１（打面データメモリ部３８）に保存する（ステップＳ１０４）。
そして、演奏者が操作部４７において仮想打面の設定の継続もしくは完了を選択する（ステップＳ１０５）。すなわち、全ての仮想打面の設定が完了していない場合には、演奏者が記憶用パッド５１の位置を動かして上述のステップＳ１０１〜Ｓ１０４の作業を繰り返し行う。また、全ての仮想打面の設定が完了した場合には、演奏者が操作部４７を操作して仮想打面の設定を終了する。
【００３２】
次に、演奏を行う際の仮想打楽器演奏システム１の作用について説明する。
この仮想打楽器演奏システム１を用いて演奏する場合には、予め、図１に示すように、演奏者の肘、手首、指先、足のつま先、およびスティックの先端部に部位指標部２〜６を取り付けておく。また、演奏者の腹部にコントロールユニット２１を取り付け、表示装置２５を顔に装着しておく。また、コントロールユニット２１と、携帯電話機２３および表示装置２５とをケーブル等により電気的に接続しておく。
【００３３】
演奏を開始する際には、操作部４７を操作し、図１１に示すように、３次元部位検出部３３に各部位指標部２〜６の位置データ、速度データおよび角度データを取得させる（ステップＳ２０１）。この状態においては、楽音データ生成部３５が仮想打面を叩く動作の有無を判断する（ステップ２０２）。仮想打面を叩く動作が無い場合には、ステップ２０１の作業が繰り返し行われる。そして、仮想打面を叩く動作を検出した際、すなわち、例えば、スティックＳに取り付けられた部位指標部２が仮想打面に到達した際には、楽音データ生成部３５が、仮想打面に到達する直前の各部位の位置データ、速度データおよび角度データに基づいて楽音データを生成する（ステップＳ２０３）。生成された楽音データは、外部Ｉ／Ｆ３７を介して携帯電話機２３に送信され（ステップＳ２０４）、携帯電話機２３のスピーカ８５から楽音として出力される。
【００３４】
上記のように、この仮想打楽器演奏システム１によれば、３次元空間内設定された仮想打面に向けて叩く動作を行うことにより楽音が発生するため、また、打面に応じて異なる楽音を発生させることができるため、実際にドラムを演奏している状況を十分に体感できると共に、ドラムのイメージトレーニングや基礎練習を行うことができる。
また、実際のドラムとは異なり、ドラムを設置する場所が不要であるため、場所を選ぶことなく手軽に演奏することができる。
【００３５】
さらに、演奏者の位置を基準として仮想打面の位置を設定すると共に、演奏に必要な部位指標部２〜６、コントロールユニット２１、携帯電話機２３および表示装置２５を全て装着する構成となっている。このため、演奏者が、立った状態や座った状態で演奏したり、移動しながら演奏でき、様々な状況下において手軽にドラム演奏を行うことができる。
また、演奏動作に関連する部位の速度データおよび角度データに基づいて楽音データを生成することにより、ベロシティを変化させた楽音データを生成することができるため、表現豊かな演奏を行うことが可能となる。
さらに、演奏動作に関連する部位の情報を赤外線により部位指標部２〜６から受信部３１に伝達して、各部位の位置や動作を特定しているため、部位指標部２〜６とコントロールユニット２１とをケーブル等で電気的に接続する必要が無く、結果として各部位を自由に動かして容易に演奏することが可能となる。
【００３６】
また、近年幅広く普及している携行可能な携帯電話機２３を楽音の音源として使用しているため、新たに楽音の音源を設ける必要が無くなり、仮想打楽器演奏システム１のコストダウンを図ることができる。
さらに、演奏者が表示装置２５（や表示部４３）に表示される仮想打面を視認することにより、仮想打面の位置を確認できるため、仮想打面の設定やドラム演奏を容易に行うことができる。
【００３７】
なお、上記の実施の形態においては、部位指標部２〜６が、各部位に巻き付けて綿ファスナーにより固定されるとしたが、これに限ることはなく、例えば、ボタンにより固定してもよい。
また、部位指標部４，５に加速度センサや角度センサを設けて、演奏動作に関連する各部位の速度データや角度データを特定するとしたが、これに限ることはなく、少なくとも楽音データの生成に必要な部位の位置データ、速度データ、角度データが得られればよい。したがって、例えば、加速度センサ、角度センサを用いずに、３次元部位検出部３３において算出される位置データや位置データの変化に基づいて速度データ、角度データを算出するとしてもよい。
【００３８】
さらに、記憶用パッド５１には、３つの赤外線マーカ５５が設けられるとしたが、これに限ることはなく、３つ以上の赤外線マーカを設けるとしても構わない。
また、演奏動作に関連する部位の位置データ、仮想打面の打面データ等の検出は、部位指標部２〜６、記録用パッド５１、表示装置２５に設けられた赤外線マーカ、およびコントロールユニット２１の受信部３１に設けられた複数の赤外線検出器を用いて行うとしたが、これに限ることはなく、少なくとも部位指標部２〜６、記録用パッド５１および表示装置２５の３次元的な位置を検出できればよい。したがって、例えば、各部位指標部２〜６、記録用パッド５１および表示装置２５に図示しないターゲットマークを設け、受信部３１の代わりに複数のデジタルカメラからなる撮像部（図示せず）を設けるとしてもよい。
【００３９】
この構成の場合には、複数のデジタルカメラにより部位指標部２〜６、記録用パッド５１および表示装置２５に設けられた各ターゲットマークを撮影する。そして、取得した画像データを３次元部位検出部３３において解析することにより、各ターゲットマークの３次元的な位置データを取得することができる。なお、部位指標部２〜６および表示装置２５については、動作を検出する必要があるため、撮像部による撮影は連続的に行われる。
以上のことから、赤外線マーカおよび受信部の場合と同様にして、これらターゲットマークおよび撮像部により、この部位の３次元的な位置を特定できるため、部位指標部２〜６とコントロールユニット２１とをケーブル等で電気的に接続する必要が無く、結果として各部位を自由に動かして容易に演奏することが可能となる。
【００４０】
また、演奏動作に関連する部位の速度データや角度データに応じてベロシティが変化するとしたが、ベロシティ以外にも音色を微小に変化させるとしてもよい。
さらに、楽音データ生成部３５は、ＭＩＤＩ規格に準拠した楽音データを生成するとしたが、これに限ることはなく、少なくとも携帯電話機２３において楽音を再生できるデータ形式の楽音データを生成すればよい。
【００４１】
また、楽音は携帯電話機２３のスピーカ８５から出力されるとしたが、これに限ることはなく、例えば、コントロールユニット２１の外部Ｉ／Ｆ３７にアンプを接続し、楽音が、このアンプを介して別途スピーカから出力されるとしてもよい。この構成の場合には、楽音データ生成部３５において生成された楽音データに対応する楽音を携帯電話機２３からコントロールユニット２１およびアンプを介して別途スピーカから出力されることになる。
さらに、楽音データから楽音に変換する音源として携帯電話機２３を利用するとしたが、これに限ることはなく、音源を備えた携行可能なＰＤＡ等のように携行可能な携帯端末装置であればよい。コントロールユニット２１に楽音データを再生するための演算プログラムを設けるとしてもよい。この場合には、コントロールユニット２１において演算プログラムにより楽音データを楽音に変換し、外部Ｉ／Ｆ３７、アンプを介して別途スピーカに出力することになる。
【００４２】
また、表示装置２５に映し出される仮想打面の映像が、演奏者の顔の向きに合わせて移動するとしたが、これに限ることはなく、この映像が演奏者の頭の動きに関係なく固定されるとしてもよい。
さらに、表示装置２５を、表示面２５ａに表示されると同時にスティックＳを視認できるように構成するとしたが、これに限ることはなく、例えば、演奏動作に関連する各部位に取り付けられる部位指標部２〜６の位置も表示するように構成するとしてもよい。
【００４３】
また、表示装置２５は、顔にかける所謂眼鏡型であるとしたが、これに限ることはなく、打面位置を設定する際や演奏する際に、仮想打面を視認できるものであればよい。したがって、表示装置２５は、例えば、テレビ、パーソナルコンピュータのモニターのように据え置き型のものであってもよい。また、コントロールユニット２１に設けられた表示部４３に仮想打面を映し出すことができるため、特に表示装置２５を設けなくても構わない。また、表示装置２５に映し出される仮想画面は、図９（ｂ）のＡ〜Ｆの様な簡略された画像ではなく、設定されたドラム種類そのものの画像であればさらに好ましい。
【００４４】
さらに、コントロールユニット２１は、演奏者の腹部に装着されるとしたが、これに限ることはなく、少なくとも演奏者の身体に装着されていればよい。ただし、コントロールユニット２１の装着位置は、演奏の際に移動しない部位であることが好ましい。
また、コントロールユニット２１は、演奏者の身体に設けられるとしたが、これに限ることはなく、例えば、地面に配置されるとしてもよい。この構成の場合には、仮想打面の位置が演奏者の動きに合わせて移動することがないため、設置場所を要する実際のドラムなどの打楽器に酷似した状況を作ることができる。
【００４５】
さらに、本実施形態においては、仮想打楽器演奏システム１をドラムに適用した場合について述べたが、これに限ることはなく、他の打楽器に適用してもよい。したがって、例えば、手が打面に直接触れるボンゴ、コンガ等の打楽器に適用してもよいし、音程を有する木琴、鉄琴等の打楽器に適用してもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００４６】
【発明の効果】
以上説明したように、請求項１に係る発明によれば、３次元空間内に仮想打面を設定し、この仮想打面に向けて叩く動作を行うことにより楽音が発生するため、実際に打楽器を演奏している状況を十分に体感できる。また、実際の打楽器とは異なり、打楽器を設置する場所が不要であるため、場所を選ぶことなく手軽に演奏することができる。
また、請求項２に係る発明によれば、演奏者の位置を基準として仮想の打面位置を設定することにより、演奏者が、立った状態や座った状態で演奏したり、移動しながら演奏できるため、様々な状況下において手軽に打楽器を演奏することができる。
また、請求項３に係る発明によれば、場所を選ぶことなく、ドラムや木琴、鉄琴等の複数の音色を有する打楽器のイメージトレーニングや基礎練習を行うことができる。
また、請求項４に係る発明によれば、部位の移動速度や移動角度からなる動作データに基づいて楽音データを生成することにより、音量や音色等を変化させた楽音データを生成することができるため、表現豊かな演奏を行うことが可能となる。
また、請求項５および請求項６に係る発明によれば、赤外線マーカおよび受信部により、または、部位指標部および撮像部により演奏動作に関連する部位の位置を特定できるため、各部位を自由に動かして容易に演奏することができる。
また、請求項７に係る発明によれば、楽音再生手段として、近年幅広く普及している携行可能な携帯端末装置を使用することにより、仮想打楽器演奏システムのコストダウンを図ることができる。
また、請求項８に係る発明によれば、演奏者が仮想打面の位置を確認できるため、仮想打面の設定や演奏を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る仮想打楽器演奏システムの部位指標部、コントロールユニット、携帯電話機および表示装置を演奏者に装着した状態を示す概略図である。
【図２】図１の仮想打楽器演奏システムにおいて、演奏動作に関連する部位に部位指標部を取り付けた状態を示す概略図である。
【図３】本発明の実施形態に係る仮想打楽器演奏システムを示すブロック図である。
【図４】図３の仮想打楽器演奏システムにおいて、部位指標部を仮想打面に到達させた状態を示す概略図である。
【図５】図３の仮想打楽器演奏システムにおいて、部位指標部を仮想打面に到達させた状態を示す概略図である。
【図６】図３の仮想打楽器演奏システムにおいて、記憶用パッドを示す概略図である。
【図７】図３の仮想打楽器演奏システムにおいて、コントロールユニットの実際の構成を示すブロック図である。
【図８】図３の仮想打楽器演奏システムにおいて、携帯電話機の実際の構成を示すブロック図である。
【図９】図３の仮想打楽器演奏システムにおいて、表示装置の概略を示しており、（ａ）は、表示装置の斜視図であり、（ｂ）は、表示面に映し出された画像を示す図である。
【図１０】図３の仮想打楽器演奏システムにおいて、仮想打面の設定手順を示すフローチャートである。
【図１１】図３の仮想打楽器演奏システムにおいて、演奏を行う際のコントロールユニットの動作を示すフローチャートである。
【符号の説明】
１・・・仮想打楽器演奏システム、２〜６・・・部位指標部、２３・・・携帯電話機（楽音再生手段）、２５・・・表示装置（表示手段）、３１・・・受信部、４３・・・表示部（表示手段）、１０１・・・動作検出手段、１０２・・・楽音生成手段、１０４・・・打面設定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a virtual percussion instrument playing system for playing a virtual percussion instrument by a player's body movement.
[0002]
[Prior art]
2. Description of the Related Art As a conventional virtual musical instrument playing system, there is a system that outputs a musical tone by a player's body movement (for example, see Non-Patent Document 1). This virtual musical instrument playing system has an advantage that a percussion instrument such as a drum that requires a large installation space is not required, and that the musical instrument can be played regardless of the place because it is worn on the body and used.
[0003]
[Non-patent document 1]
[Online], April 10, 1998, Yamaha, [searched January 24, 2003], Internet <URL: http: // www. yamaha. co. jp / news / 1996/960041001. html>
[0004]
[Problems to be solved by the invention]
However, in the above-mentioned conventional virtual musical instrument performance system, when performing, since the musical tone is output only by the player's physical movement, the musical tone may be generated irrespective of the arrangement position of the hitting surface of the percussion instrument. . Therefore, there is a problem that the player cannot fully experience the performance of the percussion instrument.
[0005]
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and has as its object to provide a virtual percussion instrument playing system that allows the user to experience percussion performance without actually installing percussion instruments such as drums.
[0006]
[Means for Solving the Problems]
In order to solve the above problems, the present invention proposes the following means.
The invention according to claim 1 is a virtual percussion instrument playing system for playing a virtual percussion instrument by a player's body movement, wherein a percussion surface setting means for setting a virtual percussion position in a three-dimensional space, Motion detecting means for detecting positional information of a relevant part, musical sound generating means for generating musical sound data based on the hitting surface position and positional information of the part, and musical sound reproducing means for reproducing musical sounds based on the musical sound data And has proposed a virtual percussion instrument playing system characterized by the following.
According to the virtual percussion instrument performance system according to the present invention, when performing, the elbow, wrist, finger, stick held by the hand, ankle, and foot are directed toward the virtual percussion surface set by the percussion surface setting means. A hit operation is performed by moving a part related to a performance operation such as a toe. Then, when the movement detecting means detects that the predetermined portion has reached the virtual hitting surface, the musical sound generating means generates musical sound data. Then, a musical sound is output by the musical sound reproducing means based on the musical sound data.
[0007]
According to a second aspect of the present invention, in the virtual percussion instrument playing system according to the first aspect, the hitting surface setting means sets the position of the hitting surface based on the position of the player. We propose a performance system.
ADVANTAGE OF THE INVENTION According to the virtual percussion instrument performance system which concerns on this invention, since the positional relationship of a player and a virtual percussion surface does not change regardless of a player's sitting position or a standing position, a player is standing or sitting. And perform while moving.
[0008]
According to a third aspect of the present invention, in the virtual percussion instrument performance system according to the first or second aspect, the hitting surface setting means sets a plurality of the hitting surfaces and sets a different tone for each of the hitting surfaces. A virtual percussion instrument performance system characterized by this is proposed.
According to the virtual percussion instrument performance system according to the present invention, since different tones are set for each percussion surface, different musical tones can be generated according to the percussion surface. It can be used as a percussion instrument having multiple tones such as necessary drums, xylophones, and iron tones.
[0009]
According to a fourth aspect of the present invention, in the virtual percussion instrument playing system according to any one of the first to third aspects, the operation detecting means operates at least one of a moving speed and a moving angle of the part. A virtual percussion instrument playing system is proposed, wherein data is detected, and the musical sound generating means generates musical sound data according to the operation data.
According to the virtual percussion instrument performance system of the present invention, since the tone data is generated in accordance with the moving speed and the moving angle of the part related to the performance operation, that is, the magnitude and speed of the player's beating operation, It is possible to generate musical sound data in which the tone data is changed.
[0010]
According to a fifth aspect of the present invention, in the virtual percussion instrument playing system according to any one of the first to fourth aspects, the motion detection means is provided in the portion and has an infrared marker transmitting infrared light. There has been proposed a virtual percussion instrument performance system comprising an index unit and a receiving unit that receives infrared rays from the region index unit.
ADVANTAGE OF THE INVENTION According to the virtual percussion instrument performance system which concerns on this invention, since the information relevant to the position of a part is transmitted to a receiving part by infrared rays, since the position of this part can be specified, each part can be freely moved at the time of a performance. Can be.
[0011]
According to a sixth aspect of the present invention, in the virtual percussion instrument performance system according to any one of the first to fourth aspects, the movement detecting means includes a part indicator provided in the part, and the part indicator. A virtual percussion instrument playing system comprising an imaging unit for simultaneously acquiring a plurality of pieces of image data.
According to the virtual percussion instrument performance system according to the present invention, the position of this part can be specified by capturing the part index part attached to the part related to the performance operation by the imaging unit, so that each part can be freely set during the performance. Can be moved.
[0012]
According to a seventh aspect of the present invention, in the virtual percussion instrument performance system according to any one of the first to sixth aspects, the musical sound reproducing means provided in advance in the portable terminal device is the musical sound reproducing means. We propose a featured virtual percussion instrument performance system.
According to the virtual percussion instrument performance system of the present invention, by using a portable terminal device such as a portable PDA (Personal Digital Assistants), a portable telephone, etc., which has been widely spread in recent years, as a musical sound reproducing means for reproducing musical sound data. Since there is no need to provide a new tone reproducing means, the cost of the virtual percussion instrument performance system can be reduced.
[0013]
According to an eighth aspect of the present invention, in the virtual percussion instrument performance system according to any one of the first to seventh aspects, the virtual percussion instrument performance system further comprises a display means for displaying an image of the percussion surface. Has been proposed.
According to the virtual percussion instrument performance system according to the present invention, it becomes possible for a player to visually check the virtual percussion surface displayed by the display means and confirm the position of the virtual percussion surface.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
1 to 11 show an embodiment according to the present invention. The virtual percussion instrument performance system 1 according to this embodiment generates a musical tone similar to that of a drum by performing an operation of a player hitting a virtual hitting surface set in a three-dimensional space. As shown in FIG. 1, the virtual percussion instrument performance system 1 includes, via a belt 11, site index units 2 to 6 attached to sites related to a performance operation, such as a stick S, fingers, wrists, elbows, and toes. A control unit 21 attached to the player's abdomen, a cellular phone (musical sound reproducing means) 23 electrically connected to the control unit 21, and a display device (display means) 25 for displaying a virtual hitting surface. Have.
[0015]
The part indexing units 2 to 6 detect the position and operation of each part related to the performance operation. For example, as shown in FIG. 2, the tip of the stick, the finger holding the stick, the wrist and the toe of the foot And secured with a cotton zipper.
Each of the region index portions 2 to 6 is provided with an infrared marker and an acceleration sensor (not shown). The infrared marker is composed of a so-called infrared light emitting diode, and transmits information relating to the position and operation of each part to the control unit 21 by infrared rays.
The acceleration sensor detects the magnitude of the acceleration of each part, and is configured using a strain gauge or the like. Further, an angle sensor (not shown) is provided in each of the region index portions 4 and 5 provided at the joints of the wrist and the elbow, and detects a bending angle and a twist angle of each joint.
[0016]
The control unit 21 generates musical sound data based on the virtual hitting surface and information from each of the region index units 2 to 6, and as shown in FIG. 3, the reception unit 31, the three-dimensional region detection unit 33, A tone data generator 35 and an external connection terminal 37 (hereinafter, abbreviated as an external I / F 37) are provided.
The receiving unit 31 includes a plurality of infrared detectors (not shown) arranged at intervals from each other, such that each of the infrared detectors receives infrared rays from the infrared markers of the site indicators 2 to 6. It is configured.
[0017]
The three-dimensional part detection unit 33 receives the position data and velocity data (in the three-dimensional space) of each of the part index units 2 to 6 based on the information of each of the part index units 2 to 6 received by the infrared detector of the reception unit 31. (Operation data) and angle data (operation data).
That is, the three-dimensional position data of each of the part index units 2 to 6 is calculated based on the arrival time of the infrared rays from the infrared marker to the plurality of infrared detectors, and is calculated based on the distance and the direction based on the position of the control unit 21. It is specified. Further, the speed data of each of the region index portions 2 to 6 is calculated based on the magnitude of the acceleration detected by the acceleration sensor of each of the region index portions 2 to 6.
The angle data of the part index units 4 and 5 provided on the wrists and elbows includes information on the magnitudes of the bending angles and torsion angles of the joints detected by the angle sensors of the part index units 4 and 5, and the bending angles. And information on a change in the angle (moving angle) calculated based on the torsion angle.
The region indexing units 2 to 6, the receiving unit 31, and the three-dimensional region detecting unit 33 constitute an operation detecting unit 101 for detecting position data, speed data, and angle data of a region related to the performance operation.
[0018]
The musical sound data generator 35 compares the position data, velocity data, and angle data of each part specified by the three-dimensional part detector 33 with information stored in the hitting surface data memory 38 and the velocity memory 39. Based on the result of the collation, musical tone data conforming to the MIDI (Musical Instruments Digital Interface) standard is generated.
That is, as shown in Table 1, the hitting surface data memory unit 38 stores hitting surface data including the position and area of a virtual hitting surface set in a three-dimensional space and snare drums, hi-hats, tom-toms, and bass drums. Notes (pitch and timbre) are stored in association with each other. The position of the virtual hitting surface is set based on the distance and the azimuth with reference to the position of the control unit 21.
[0019]
[Table 1]

[0020]
As shown in Table 2, the velocity memory 39 stores the angle data and speed data of the performance detection parts 2 to 6 in association with the velocity (volume), and stores the angle data and the speed data. The higher the value, the higher the velocity is selected.
[0021]
[Table 2]

[0022]
For example, as shown in FIG. 4, when the tip Sa of the stick S reaches the virtual hitting surface C, the tone data generator 35 generates position data of the part index unit 2 attached to the tip Sa. Is included in the hitting surface area of the hitting surface C. At this time, the musical sound data generation unit 35 reads out the note corresponding to the hitting surface C from the hitting surface data memory unit 38 based on the determination result.
At this time, the tone data generation unit 35 sends a velocity data from the velocity memory unit 39 to the velocity memory unit 39 based on velocity data and angle data of a part related to the operation immediately before the tip Sa of the stick S reaches the hitting surface C. Read out. Here, the parts related to the movement indicate the tip of the stick, the finger holding the stick, the wrist, and the elbow.
In other words, when the hand is shaken large and fast toward the virtual hitting surface C, a large velocity is read out, and when only the finger is shaken without using the elbow and the wrist, or when the hand is shaken slowly, Means that a small velocity is read.
[0023]
For example, as shown in FIG. 5, when the toes of the feet reach the virtual hitting surface G set on the ground, based on the speed data immediately before the toes of the feet reach the hitting surface G, The velocity is read from the velocity memory unit 39. When the toe of the foot is kept in contact with the striking surface G, the velocity of the toe of the foot becomes zero, so that the velocity is set to zero and no musical sound is generated.
[0024]
As described above, by performing the operation of hitting the virtual hitting surface, a note and musical sound data having a velocity corresponding to the note are generated.
Therefore, as shown in FIG. 3, the musical sound data is generated based on the position and operation of the virtual hitting surface and the part related to the performance operation by the musical sound data generating unit 35, the hitting surface data memory unit 38, and the velocity memory unit 39. A musical sound generating means 102 is provided.
[0025]
The control unit 21 includes an image data generation unit 41, a display unit (display unit) 43, a hitting surface setting unit 45, and an operation unit 47. The image data generation unit 41 generates image data of the virtual hitting surface based on the hitting surface data stored in the hitting surface data memory unit 38, and outputs the generated image data to the display unit 43. Has become. The display unit 43 displays the image of the image data.
[0026]
The hitting surface setting unit 45 causes the hitting surface data memory unit 38 to store hitting surface data and notes associated with each hitting surface, together with a storage pad 51 described later.
As shown in FIG. 6, the storage pad 51 includes a pad body 53 formed in a flat plate shape, three infrared markers 55 provided on a peripheral portion of a surface 53 a of the pad body 53, and a height of the pad body 53. And a stand 57 for adjusting the direction.
The infrared markers 55 are the same as those provided in the part index portions 2 to 6, and the position data of these infrared markers 55 is set in the hitting surface setting portion 45 in the same manner as the position data of the part index portions 2 to 6. Is calculated. Then, based on the position data of these infrared markers 55, the hitting surface setting unit 45 calculates hitting surface data including a hitting surface position and a hitting surface area in a three-dimensional space based on the position of the control unit 21. It has become.
A note corresponding to the hitting surface data can be selected from a large number of note data stored in a not-shown note memory unit. The setting of the hitting surface data and the notes associated with each hitting surface is performed by the player operating the operation unit 47.
The storage pad 51, the receiving unit 31, the hitting surface setting unit 45, the hitting surface data memory unit 38, the note memory unit and the operation unit 47 constitute a hitting surface setting unit 104 for setting a virtual hitting surface.
[0027]
As shown in FIG. 7, the actual control unit 21 includes a receiving unit 31, a random access memory (RAM) 61, a read only memory (ROM) 63, an operation unit 47, a display unit 43, an external I / F 37, and a CPU (central control unit). (Processing apparatus) 65, which are electrically connected to each other.
The above-described three-dimensional part detection unit 33, musical sound data generation unit 35, hitting surface setting unit 45, and image data generation unit 41 use a ROM 63 that stores a plurality of arithmetic programs for calculating various data, and use these arithmetic programs. This is realized by the CPU 65 that performs data processing. The hitting surface data memory unit 38 is included in a rewritable RAM 61, and the velocity memory unit 39 is included in a non-rewritable ROM 63.
[0028]
The operation unit 47 performs various operations such as starting and stopping a performance function in addition to setting a virtual hitting surface. The display unit 43 displays various data stored in the RAM 61 and the ROM 63 and various information such as the operation status of the operation unit 47 in addition to displaying the hitting surface data.
The external I / F 37 is for transmitting musical sound data and image data to external devices such as the mobile phone 23 and the display device 25 via a cable or the like.
[0029]
As shown in FIG. 8, the mobile phone 23 includes a communication unit 71 and a voice processing unit 73 for making a wireless call, a display unit 75 for displaying various information, a call key, and a plurality of pressable operation keys such as a numeric keypad. An operation key unit 77, a ROM 79 in which a program for controlling the operation of each unit of the mobile phone 23 is stored, a CPU 81 for performing various controls, and the like are generally widely used.
The mobile phone 23 can reproduce a tone based on the tone data generated by the control unit 21. That is, when the portable telephone 23 receives the musical sound data from the control unit 21, the CPU 81 supplies the musical sound data to the ring tone sound source 83. Then, the tone generator 83 generates a tone based on the supplied tone data and reproduces the tone from the speaker 85.
[0030]
The display device 25 displays an image of the image data generated by the image data generation unit 41 on the display surface 25a, similarly to the display unit 43 of the control unit 21. As shown in FIG. 9A, the display device 25 has the appearance of so-called glasses.
In a state where the control unit 21 is attached to the abdomen of the player and the display device 25 is put on the face, as shown in FIG. 9B, the virtual hit surfaces A to F are assumed to be actually seen. The image is displayed on the display surface 25a. In addition, the display device 25 is provided with the same infrared markers (not shown) as those of the site indicators 2 to 6, and the images of the virtual hit surfaces A to F displayed on the display surface 25a are displayed on the control unit. It is configured to move in accordance with the direction of the player's face with respect to 21, that is, the direction of the display device 25. Further, the display device 25 is configured so that the other side of the display surface 25a can be visually recognized even when the images of the virtual hit surfaces A to F are displayed on the display surface 25a. Therefore, the stick S can be visually recognized simultaneously with the virtual hitting surfaces A to F displayed on the display surface 25a, and the drum performance can be easily performed.
[0031]
A method of using the virtual percussion instrument performance system 1 configured as described above will be described.
The position setting of the virtual hitting surface is performed as follows. First, the control unit 21 is mounted on the abdomen of the player via the belt 11, and the player arranges the memory pad 51 at a desired position and adjusts the height and direction of the hitting surface. Then, as shown in FIG. 10, when the player performs an operation of setting a virtual hitting surface on the operation unit 47 of the control unit 21 (step S <b> 101), the hitting surface setting unit 45 provides the infrared light provided on the storage pad 51. A signal from the marker 55 is obtained (step S102), and a virtual hitting surface position and hitting surface area are calculated.
Thereafter, when the player selects a drum type (note) such as a bass drum, a snare drum, a hi-hat, a cymbal, etc. on the virtual hitting surface with the operation unit 47 (step S103), the hitting surface setting unit 45 causes the virtual hitting surface setting unit 45 to select a virtual hitting surface. The hitting surface data including the hitting surface area and hitting surface area and the drum type are stored in the RAM 61 (hitting surface data memory unit 38) in association with each other (step S104).
Then, the player selects continuation or completion of setting of the virtual hitting surface on the operation unit 47 (step S105). That is, when the setting of all the virtual hitting surfaces has not been completed, the player moves the position of the storage pad 51 and repeats the above-described steps S101 to S104. When the setting of all the virtual hitting surfaces is completed, the player operates the operation unit 47 to end the setting of the virtual hitting surface.
[0032]
Next, the operation of the virtual percussion instrument performance system 1 when performing a performance will be described.
When playing using this virtual percussion instrument playing system 1, as shown in FIG. 1, the part indicators 2 to 6 are previously provided on the player's elbow, wrist, fingertip, toe of the foot, and the tip of the stick. Install it. The control unit 21 is attached to the abdomen of the player, and the display device 25 is attached to the face. Further, the control unit 21 is electrically connected to the mobile phone 23 and the display device 25 by a cable or the like.
[0033]
When the performance is started, the operation unit 47 is operated to cause the three-dimensional region detection unit 33 to acquire the position data, velocity data, and angle data of each of the region index units 2 to 6 as shown in FIG. S201). In this state, the tone data generator 35 determines whether or not there is an operation of hitting the virtual hitting surface (step 202). If there is no operation of hitting the virtual hitting surface, the operation of step 201 is repeatedly performed. Then, when the operation of hitting the virtual hitting surface is detected, that is, for example, when the part index unit 2 attached to the stick S reaches the virtual hitting surface, the musical sound data generation unit 35 reaches the virtual hitting surface. The tone data is generated based on the position data, speed data, and angle data of each part immediately before the execution (step S203). The generated tone data is transmitted to the mobile phone 23 via the external I / F 37 (step S204), and is output as a tone from the speaker 85 of the mobile phone 23.
[0034]
As described above, according to the virtual percussion instrument playing system 1, since a musical sound is generated by performing an operation of hitting the virtual percussion surface set in the three-dimensional space, a different musical sound is generated depending on the percussion surface. Since it can be generated, it is possible to fully experience the situation of actually playing the drum, and to perform drum image training and basic training.
Also, unlike an actual drum, a place for installing the drum is not required, so that it is possible to easily perform without selecting a place.
[0035]
Further, the position of the virtual hitting surface is set based on the position of the player, and all the part index units 2 to 6, the control unit 21, the mobile phone 23 and the display device 25 necessary for the performance are mounted. . For this reason, the player can perform while standing or sitting, or perform while moving, and can easily perform the drum performance under various situations.
In addition, by generating musical sound data based on velocity data and angle data of a part related to a performance operation, it is possible to generate musical sound data with a changed velocity, so that it is possible to perform an expressive performance. Become.
Furthermore, since the information of the part related to the performance operation is transmitted from the part index units 2 to 6 to the receiving unit 31 by infrared rays to specify the position and operation of each part, the part index units 2 to 6 and the control unit are specified. There is no need to electrically connect 21 with a cable or the like, and as a result, it is possible to freely move each part and easily perform.
[0036]
Further, since the portable telephone 23 which has been widely used in recent years is used as a musical sound source, there is no need to newly provide a musical sound source, and the cost of the virtual percussion instrument performance system 1 can be reduced.
Furthermore, since the player can confirm the position of the virtual hitting surface by visually recognizing the virtual hitting surface displayed on the display device 25 (or the display unit 43), it is possible to easily set the virtual hitting surface and perform drum playing. Can be.
[0037]
In the above-described embodiment, the region index portions 2 to 6 are wrapped around each region and fixed by the cotton fastener. However, the present invention is not limited to this. For example, the regions may be fixed by buttons.
In addition, although acceleration sensors and angle sensors are provided in the part index units 4 and 5 to specify velocity data and angle data of each part related to the performance operation, the present invention is not limited to this. It suffices if position data, speed data, and angle data of necessary parts can be obtained. Therefore, for example, the speed data and the angle data may be calculated based on the position data calculated by the three-dimensional part detection unit 33 or a change in the position data without using the acceleration sensor and the angle sensor.
[0038]
Furthermore, although the storage pad 51 is provided with three infrared markers 55, the present invention is not limited to this, and three or more infrared markers may be provided.
In addition, the position data of the part related to the performance operation, the hitting face data of the virtual hitting face, and the like are detected by the part indexing units 2 to 6, the recording pad 51, the infrared marker provided on the display device 25, and the control unit 21. Is performed using a plurality of infrared detectors provided in the receiving unit 31 of the present embodiment, but the present invention is not limited to this. At least the three-dimensional positions of the part index units 2 to 6, the recording pad 51, and the display device 25 It is only necessary to detect. Therefore, for example, it is assumed that a target mark (not shown) is provided on each of the region index units 2 to 6, the recording pad 51, and the display device 25, and an imaging unit (not shown) including a plurality of digital cameras is provided instead of the receiving unit 31. Is also good.
[0039]
In the case of this configuration, each of the target marks provided on the region index portions 2 to 6, the recording pad 51, and the display device 25 is photographed by a plurality of digital cameras. Then, by analyzing the obtained image data in the three-dimensional part detection unit 33, it is possible to obtain three-dimensional position data of each target mark. In addition, since it is necessary to detect the operation of the site index units 2 to 6 and the display device 25, the imaging unit continuously performs the imaging.
From the above, in the same manner as in the case of the infrared marker and the receiving unit, the three-dimensional position of this part can be specified by the target mark and the imaging unit. There is no need to electrically connect with a cable or the like, and as a result, each part can be freely moved to easily perform.
[0040]
Although the velocity changes according to the speed data and the angle data of the part related to the performance operation, the timbre may be minutely changed in addition to the velocity.
Further, although the tone data generation unit 35 generates tone data conforming to the MIDI standard, the present invention is not limited to this, and it is sufficient to generate tone data in a data format in which at least the tone can be reproduced on the mobile phone 23.
[0041]
Further, although the tone is output from the speaker 85 of the mobile phone 23, the present invention is not limited to this. For example, an amplifier is connected to the external I / F 37 of the control unit 21, and the tone is separately output through the amplifier. It may be output from a speaker. In the case of this configuration, a tone corresponding to the tone data generated by the tone data generator 35 is separately output from the speaker via the control unit 21 and the amplifier from the mobile phone 23.
Further, the mobile phone 23 is used as a sound source for converting musical sound data into musical sounds. However, the present invention is not limited to this, and a portable terminal device such as a portable PDA equipped with a sound source may be used. The control unit 21 may be provided with an arithmetic program for reproducing musical sound data. In this case, the control unit 21 converts the musical tone data into musical tones according to an arithmetic program, and outputs the musical tones separately to the speakers via the external I / F 37 and the amplifier.
[0042]
Also, it is assumed that the image of the virtual hitting surface projected on the display device 25 moves in accordance with the direction of the player's face. However, the present invention is not limited to this. You may.
Further, the display device 25 is configured so that the stick S can be visually recognized at the same time as being displayed on the display surface 25a. However, the present invention is not limited to this. For example, a site index unit attached to each site related to a performance operation. You may comprise so that the position of 2-6 may be displayed.
[0043]
In addition, the display device 25 is a so-called eyeglass type that is worn on the face. However, the present invention is not limited to this. . Therefore, the display device 25 may be of a stationary type such as a television or a monitor of a personal computer. In addition, since the virtual hitting surface can be displayed on the display unit 43 provided in the control unit 21, the display device 25 does not need to be particularly provided. Further, the virtual screen displayed on the display device 25 is more preferably an image of the set drum type itself, instead of a simplified image like A to F in FIG. 9B.
[0044]
Furthermore, although the control unit 21 is described as being mounted on the abdomen of the player, the invention is not limited to this, and it is sufficient that the control unit 21 is mounted at least on the player's body. However, the mounting position of the control unit 21 is preferably a part that does not move during the performance.
Further, the control unit 21 is provided on the body of the player, but is not limited to this. For example, the control unit 21 may be provided on the ground. In this configuration, since the position of the virtual hitting surface does not move in accordance with the movement of the player, it is possible to create a situation very similar to a percussion instrument such as an actual drum that requires an installation location.
[0045]
Furthermore, in the present embodiment, the case where the virtual percussion instrument performance system 1 is applied to a drum has been described, but the present invention is not limited to this, and may be applied to other percussion instruments. Therefore, for example, the present invention may be applied to a percussion instrument such as a bongo or a conga whose hand directly touches a hitting surface, or may be applied to a percussion instrument such as a xylophone or an iron koto having a pitch.
As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a design change or the like without departing from the gist of the present invention.
[0046]
【The invention's effect】
As described above, according to the first aspect of the present invention, a musical sound is generated by setting a virtual hitting surface in a three-dimensional space and performing an operation of hitting the virtual hitting surface. You can fully experience the situation of playing. Also, unlike an actual percussion instrument, there is no need to install a percussion instrument, so that it is possible to easily play without selecting a location.
According to the second aspect of the present invention, by setting the virtual hitting surface position based on the position of the player, the player can perform while standing or sitting, or while moving. Therefore, it is possible to easily play percussion instruments under various circumstances.
Further, according to the third aspect of the present invention, it is possible to perform image training and basic training for percussion instruments having a plurality of tones such as drums, xylophones, and iron toys without selecting a place.
According to the fourth aspect of the present invention, the tone data is generated based on the movement data including the moving speed and the moving angle of the part, thereby making it possible to generate the tone data in which the volume, tone and the like are changed. Therefore, it is possible to perform an expressive performance.
According to the invention according to claims 5 and 6, since the position of a part related to the performance operation can be specified by the infrared marker and the receiving unit or by the part index unit and the imaging unit, each part can be freely set. It can be moved and played easily.
According to the seventh aspect of the present invention, the cost of the virtual percussion instrument performance system can be reduced by using a portable terminal device that has been widely used in recent years as a musical sound reproducing means.
Further, according to the invention of claim 8, since the player can check the position of the virtual hitting surface, setting and playing of the virtual hitting surface can be easily performed.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a state in which a part indicator, a control unit, a mobile phone, and a display device of a virtual percussion instrument playing system according to an embodiment of the present invention are mounted on a player.
FIG. 2 is a schematic diagram showing a state in which a part indicator is attached to a part related to a performance operation in the virtual percussion instrument playing system of FIG. 1;
FIG. 3 is a block diagram showing a virtual percussion instrument performance system according to the embodiment of the present invention.
FIG. 4 is a schematic diagram showing a state in which a part index portion reaches a virtual hitting surface in the virtual percussion instrument playing system of FIG. 3;
FIG. 5 is a schematic diagram showing a state in which a part index portion reaches a virtual hitting surface in the virtual percussion instrument playing system of FIG. 3;
FIG. 6 is a schematic diagram showing a memory pad in the virtual percussion instrument playing system of FIG. 3;
FIG. 7 is a block diagram showing an actual configuration of a control unit in the virtual percussion instrument playing system of FIG. 3;
8 is a block diagram showing an actual configuration of a mobile phone in the virtual percussion instrument performance system of FIG.
FIGS. 9A and 9B schematically show a display device in the virtual percussion instrument playing system of FIG. 3, wherein FIG. 9A is a perspective view of the display device, and FIG. 9B is a diagram showing an image projected on a display surface; It is.
FIG. 10 is a flowchart showing a procedure for setting a virtual percussion surface in the virtual percussion instrument playing system of FIG. 3;
11 is a flowchart showing the operation of the control unit when performing a performance in the virtual percussion instrument performance system of FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Virtual percussion instrument performance system, 2-6 ... Part index part, 23 ... Mobile telephone (musical sound reproducing means), 25 ... Display device (display means), 31 ... Receiving part, 43 ··· Display unit (display means) · 101 · Motion detection means · 102 · Musical sound generation means · 104 · Hit surface setting means

Claims

A virtual percussion instrument playing system for playing a virtual percussion instrument by a player's body movement,
Hitting surface setting means for setting a virtual hitting surface position in a three-dimensional space;
Operation detection means for detecting at least position information of a part related to the performance operation,
Musical sound generating means for generating musical sound data based on the hitting surface position and the positional information of the part,
A musical sound reproducing means for reproducing a musical sound based on the musical sound data.

2. The virtual percussion instrument performance system according to claim 1, wherein the hitting surface setting means sets the position of the hitting surface based on the position of the player.

3. The virtual percussion instrument performance system according to claim 1, wherein the hitting surface setting means sets a plurality of the hitting surfaces and sets a different timbre for each hitting surface.

The operation detecting means detects at least one of the movement speed and the movement angle of the part of the movement data,
The virtual percussion instrument performance system according to any one of claims 1 to 3, wherein the musical sound generating means generates musical sound data according to the operation data.

2. The apparatus according to claim 1, wherein the operation detecting means includes a part indicator provided at the part and having an infrared marker transmitting infrared light, and a receiving part receiving infrared light from the part indicator. The virtual percussion instrument performance system according to any one of claims 1 to 4.

5. The apparatus according to claim 1, wherein the motion detection unit includes a region index unit provided in the region, and an imaging unit that simultaneously acquires a plurality of images of the region index unit. 6. 2. The virtual percussion instrument performance system according to claim 1.

The virtual percussion instrument performance system according to any one of claims 1 to 6, wherein a musical sound reproducing means provided in a portable terminal device in advance is used as the musical sound reproducing means.

The virtual percussion instrument performance system according to any one of claims 1 to 7, further comprising display means for displaying an image of the percussion surface.