JP2007264026A - 演奏装置 - Google Patents

Abstract

【課題】 実際の楽器がなくてもその演奏を体験することができる演奏装置を提供する。
【解決手段】 演奏装置は、ユーザの姿勢を取得する姿勢取得手段と、前記取得した姿勢に基づき、前記ユーザの身体に対して、物理的圧力を加えることにより、前記ユーザに対して触感を付与する触感付与手段と、前記取得した姿勢に基づき、前記ユーザの視界に表示を行う表示手段と、前記取得した姿勢に基づき、楽音を生成する楽音生成手段とを有する。
【選択図】 図３

Description

本発明は、演奏装置に関する。

楽器演奏を楽しむ場合、当然、その楽器本体が必要であり、複数種類の楽器演奏を体験してみたい場合は、それぞれの種類の楽器本体を用意する必要がある。

全ての楽器を用意することは、個人ユーザには非現実的であるので、例えば、鍵盤を有する電子楽器等では、さまざまな楽器の音色を用意している。また例えば、動画等を利用した仮想楽器演奏システムがある。このような仮想楽器演奏システムでは、例えば、ビデオカメラで撮影したユーザの映像を仮想楽器の映像と合成して画面に表示するとともに、ユーザの動作を検出して該検出した動きにあわせて楽音を生成するものがある。（例えば特許文献１参照）

特開２００１-０４１０３８号公報

通常の多音色を備えた電子楽器では、さまざまな楽器の音色を楽しむことはできるが、自然楽器の演奏方法等を体験することはできない。

また、上述したような従来の仮想楽器演奏システムでは、視覚的には仮想楽器の演奏を楽しめたが、画面小で仮想的に演奏を体験するだけなので、楽器の形態や触感等の実際の自然楽器を演奏する感覚を得ることはできない。

本発明の目的は、実際の楽器がなくてもその演奏を体験することができる演奏装置を提供することである。

また、本発明の他の目的は、さまざまな種類の自然楽器の演奏を簡単に体験できる演奏装置を提供することである。

本発明の一観点によれば、演奏装置は、ユーザの姿勢を取得する姿勢取得手段と、前記取得した姿勢に基づき、前記ユーザの身体に対して、物理的圧力を加えることにより、前記ユーザに対して触感を付与する触感付与手段と、前記取得した姿勢に基づき、前記ユーザの視界に表示を行う表示手段と、前記取得した姿勢に基づき、楽音を生成する楽音生成手段とを有する。

本発明によれば、実際の楽器がなくてもその演奏を体験することができる演奏装置を提供することができる。

また、本発明によれば、さまざまな種類の自然楽器の演奏を簡単に体験できる演奏装置を提供することができる。

図１は、本発明の実施例による演奏装置１のハードウェア構成を表すブロック図である。

演奏装置１のバス６には、ＲＡＭ７、ＲＯＭ８、ＣＰＵ９、外部記憶装置１５、検出回路１１、表示回路１３、ＭＩＤＩインターフェイス１６、音源回路１８、効果回路１９、通信インターフェイス（Ｉ／Ｆ）２１、客観カメラ３０、（ユーザ）視点カメラ３５、センサインターフェイス３１、駆動制御回路４１が接続される。

ＲＡＭ７は、バッファ領域、フラグ、レジスタ、各種パラメータ等を記憶するＣＰＵ９のワーキングエリアを有する。

ＲＯＭ８には、各種パラメータ及び制御プログラム、又は本実施例を実現するためのプログラム等を記憶することができる。この場合、プログラム等を重ねて、外部記憶装置１５に記憶する必要は無い。

ＣＰＵ９は、ＲＯＭ８又は、外部記憶装置１５に記憶されている制御プログラム等に従い、演算又は制御を行う。タイマ１０は、ＣＰＵ９に接続されており、基本クロック信号、割り込み処理タイミング等をＣＰＵ９に供給する。

ユーザは、検出回路１１に接続される設定操作子１２を用いて、各種入力及び設定、選択をすることができる。設定操作子１２は、例えば、文字入力用キーボード、マウス、スイッチ、パッド、フェーダ、スライダ、ロータリーエンコーダ、ジョイスティック、ジョグシャトル等、ユーザの入力に応じた信号を出力できるものならどのようなものでもよい。また、設定操作子１２は、マウス等の他の操作子を用いて操作するディスプレイ１４上に表示されるソフトスイッチ等でもよい。

表示回路１３は、ディスプレイ１４に接続され、各種情報をディスプレイ１４に表示することができる。ユーザは、このディスプレイ１４に表示される情報を参照して、各種入力及び設定を行う。また、ディスプレイ１４は、外部の表示装置を接続することにより構成してもよい。

外部記憶装置１５には、図３に示す演奏データＭＤ、楽器演奏姿勢データベース（ＤＢ）１５１、楽器演奏操作データベース（ＤＢ）１５２、映像データベース（ＤＢ）１５３が記憶されている。外部記憶装置１５は、外部記憶装置用のインターフェイスを含み、そのインターフェイスを介してバス６に接続される。外部記憶装置１５は、例えばフレキシブルディスク又はフロッピー（登録商標）ディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、光磁気ディスク（ＭＯ）ドライブ、ＣＤ−ＲＯＭ（コンパクトディスク−リードオンリィメモリ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、半導体メモリ等である。

外部記憶装置１５として、ハードディスクドライブ（ＨＤＤ）が接続されている場合には、制御プログラム又は本実施例を実現するためのプログラム等は、外部記憶装置１５内のハードディスク（ＨＤＤ）に記憶させることもできる。ハードディスクからＲＡＭ７に制御プログラム等を読み出すことにより、ＲＯＭ８に制御プログラム等を記憶させている場合と同様の動作をＣＰＵ９にさせることができる。このようにすると、制御プログラム等の追加やバージョンアップ等が容易に行える。

また、ハードディスクドライブに加えて、ＣＤ−ＲＯＭドライブが接続されている場合には、制御プログラム又は本実施例を実現するためのプログラム等をＣＤ−ＲＯＭに記憶させることもできる。ＣＤ−ＲＯＭからハードディスクに制御プログラムや本実施例を実現するためのプログラム等をコピーすることができる。制御プログラム等の新規インストールやバージョンアップを容易に行うことができる。

ＭＩＤＩインターフェイス（ＭＩＤＩ Ｉ／Ｆ）１６は、ＭＩＤＩ機器１７、その他の楽器、音響機器、コンピュータ等に接続できるものであり、少なくともＭＩＤＩ信号を送受信できるものである。ＭＩＤＩインターフェイス１６は、専用のＭＩＤＩインターフェイスに限らず、ＲＳ−２３２Ｃ、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインターフェイスを用いて構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信するようにしてもよい。なお、ＵＳＢインターフェイス３０をＭＩＤＩインターフェイス１６として用いても良い。

ＭＩＤＩ機器１７は、ＭＩＤＩインターフェイス１６に接続される音響機器及び楽器等である。ＭＩＤＩ機器１７の形態は鍵盤楽器に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の形態でもよい。また、音源装置、自動演奏装置等を１つの電子楽器本体に内蔵したものに限らず、それぞれが別体の装置であり、ＭＩＤＩや各種ネットワーク等の通信方法用いて各装置を接続するものであってもよい。

音源回路１８は、外部記憶装置１５、ＲＯＭ８又はＲＡＭ７等に記録された伴奏パターンデータ、演奏データ若しくは演奏操作子２２又はＭＩＤＩインターフェイス１６に接続されたＭＩＤＩ機器１７等から供給される演奏信号、ＭＩＤＩ信号等に応じて楽音信号を生成し、効果回路１９を介して、サウンドシステム２０に供給する。

効果回路１９は、音源回路１８から供給される楽音信号に対して、各種音楽的効果を付与する。サウンドシステム２０は、Ｄ／Ａ変換器及びスピーカを含み、供給されるデジタル形式の楽音信号をアナログ形式に変換し、発音する。

通信インターフェイス２１は、ＬＡＮ（ローカルエリアネットワーク）及びインターネット等の通信ネットワーク３に接続可能であり、該通信ネットワーク３を介して、サーバ２及び他の電子楽器と相互に接続可能である。

なお、通信インターフェイス２１及び通信ネットワーク３は、有線のものに限らず無線でもよい。また双方を備えていてもよい。また、通信インターフェイス２１は、内蔵のものでも良いし、ＰＣカード等の着脱可能なものでも良い。

客観カメラ３０は、ユーザの姿勢や動作を取得（撮影）するための動画撮影用の撮像装置である。なお、本明細書において「姿勢」とは、ユーザの身体全体の構えのみならず手指の構えも含む。

視点カメラ３５は、ユーザの視点から見た映像を取得（撮影）するための動画撮影用の撮像装置である。視点カメラ３５は、ディスプレイ（ＨＭＤ）１４に表示される仮想空間と実空間との位置合わせを行うために、客観カメラ３０により映像とあわせて用いるための映像を取得する。

センサＩ／Ｆ３１は、複数のセンサ３２を接続するためのインターフェイスである。センサ３２は、ユーザの身体に装着して、ユーザの姿勢や動作を取得（検出）するためのセンサ群であり、例えば、圧力センサ、加速度センサ、位置センサ、方向センサ等のいずれか又は全部の組み合わせからなる。
駆動制御回路４１は、ＣＰＵ９からの指示を受けて、複数の駆動部４２を制御する。駆動部（触感付与装置）４２は、ユーザの身体に対して、圧力等を加えることにより触感を与えるアクチュエータ及び、ユーザの関節等の可動部分に対して、強制力を加えてユーザの身体の動きを制限し、又はユーザに特定の動作を強制するためのハプティック機能を有する装置である。また、触感の一つとして熱を与えるもの（加熱及び冷却を含む）を駆動部４２として追加しても良い。

例えば、ユーザが仮想楽器の演奏操作子を操作する場合に、演奏操作子に触れたと判断される空間座標にユーザの指が位置する場合は、当該ユーザの指に対して圧力を加えることにより、楽器への触感を与え、当該操作子を押下する場合には、徐々に圧力を高めると共に、ユーザの指の動きを制限することにより、操作子の重みを体感させる。また、演奏操作子を限界まで押下したときは、それ以上のユーザの動きを制限する。また、仮想楽器の筐体に対しては、ユーザの動きを強制的に停止させる。

なお、ユーザの動作の制限及び動作の強制は、例えば、２本以上のワイヤを用いて、１本を関節の内側、他方を関節の外側に配置し、それらを緊張及び弛緩させることにより行う。

図２は、本発明の実施例による姿勢取得装置３３及び触感付与装置４２の使用例を表す概略図である。

それぞれのセンサ３２及び駆動部４２は、共に図に示すように、ユーザの身体の関節部に対応して、当該関節部及びその周辺を覆うように装着される。なお、センサ３２は、一つの関節に対応して、複数種類のセンサが設けられているものとする。また、駆動部４２も、一つの関節に対応して、圧力を与えるもの、及び、動作を制限・強制するものが配置される。また、圧力や熱を加える駆動部４２は、関節及びその周辺に限らず、ユーザが仮想楽器に触れると考えられる身体部位に装着されることが好ましく、特に指先に装着することが好ましい。

また、ユーザの手には、多数のセンサ３２及び駆動部４２を装着することが必要であることから、本実施例では、多数のセンサ３２及び駆動部４２を備えるグローブ（手袋）状のアタッチメント４３を装着している。

客観カメラ３０は、ユーザの上半身又は、全身を撮影可能な場所に設置される。なお、カメラ３０で撮影した映像を元にユーザの姿勢を判別することを容易にするために、例えば、ユーザの各関節部に識別装置を取り付けるようにしても良い。

ＨＭＤ（ヘッドマウントディスプレイ）１４は、ユーザの視界に装着される表示装置であり、仮想楽器及びそれを操作するユーザの身体を含む仮想空間が合成されて表示される。ＨＭＤ１４には、例えば、図２（Ｂ）に示すような自然楽器（この例では、トランペット）の画像や、自然楽器に限らず、図２（Ｃ）に示すような電子楽器の画像が表示される。また、背景もあわせて表示するようにしてもよい。その場合、背景は、カメラ３０又はカメラ３５で撮影した実際の背景でも良いし、その他の場所の映像でも良い。

また、ＨＭＤ１４で表示される映像をユーザの視線に応じて切り替えるために、ＨＭＤ１４にセンサ３２（例えば、方向センサ、位置センサ）を取り付けることが好ましい。なお、図２（Ａ）では、トランペットの画像のみを例としてあげたが、ＨＭＤ１４に表示される自然楽器は、ホルン、トロンボーン、クラリネット、フルート、サックス等の管楽器、バイオリン、チェロ、ギター、マンドリン等の弦楽器、ピアノ、オルガン、ハープシコード等の鍵盤楽器（打弦楽器を含む）、ドラムセット、ラテンパーカッション等の打楽器等、どのようなものでもよい。

さらに、ＨＭＤ１４で表示される仮想空間の映像と、実空間の位置あわせの精度を高めるために、ユーザの視点からの映像を撮影する視点カメラ３５をＨＭＤ１４に取り付けることが好ましい。

ヘッドホン２０は、ユーザが仮想楽器を演奏した場合の楽音を発音するためのサウンドシステムである。なお、このヘッドホン２０から発音される楽音に対して、ＨＲＴＦ（頭部伝達関数）理論を応用した音響効果を施すことにより、仮想楽器の位置やユーザの向いている方向等にあわせて楽音を変化させることが好ましい。

なお、姿勢取得装置３３及び触感付与装置４２は、この図２での装着例に限らず、ユーザの姿勢や動作を取得でき、また、ユーザに対して触感を付与したり動作を制限・強制したりできる形態であれば、どのようなものでも良い。また、図２の例では、上半身のみを示したが、全身に適用しても良い。さらに、グローブ状のアタッチメント４３のみを装着する等、一部の装置を組み合わせて装着するようにしてもよい。

図３は、本発明の実施例による演奏装置１の機能ブロック図である。

外部記憶装置１５には、複数の演奏データＭＤ、楽器演奏姿勢データベース（ＤＢ）１５１、楽器演奏操作データベース（ＤＢ）１５２、映像データベース（ＤＢ）１５３が記憶されている。

演奏データＭＤは、例えば、ＳＭＦ形式のＭＩＤＩデータ等の自動演奏データである。

楽器演奏姿勢データベース（ＤＢ）１５１は、各種楽器を演奏する際の演奏者の姿勢（楽器演奏姿勢データ）を記憶するデータベースである。楽器演奏姿勢データは、カメラ３０からのユーザの姿勢を撮影した映像と比較して、ユーザが演奏しようとしている楽器種類を判別するためのデータであり、各楽器種類ごとの一般的な演奏姿勢を、カメラ３０からの映像と比較可能な形態で記憶したデータである。例えば、各種楽器の演奏者による一般的な演奏姿勢（バイオリンを弾く姿勢、トランペットを吹く姿勢等）を比較演奏姿勢映像として記憶している。また、各種楽器の演奏を行う場合に想定されるセンサ群３２のセンサ出力値を記憶するようにしてもよい。

楽器演奏操作データベース（ＤＢ）１５２は、楽器演奏姿勢データベース（ＤＢ）１５１に記憶されている楽器種類に対応して、各楽器の演奏操作時の演奏者の姿勢（楽器演奏操作データ）を複数記憶するデータベースである。楽器演奏操作データは、センサ群３２からのセンサ出力及びカメラ３０からのユーザの演奏操作映像とを比較して、ユーザの意図する演奏操作を検出すると共に、後述する自動演奏モード時に、駆動部４２に対して、ユーザが理想的な演奏操作姿勢をとるように制御するためのデータである。例えば、所定の楽器に対する所定の演奏操作を行った場合に想定されるセンサ群３２のセンサ出力値を記憶すると共に、当該演奏操作を行った場合の一般的な演奏者の姿勢を映像として記憶する。

映像データベース（ＤＢ）１５３は、ＨＭＤ１４に表示するための各種映像を記憶するデータベースである。このデータベースに記憶する映像には少なくとも、楽器演奏姿勢データベース（ＤＢ）１５１、楽器演奏操作データベース（ＤＢ）１５２に記憶される楽器種類と同一の楽器の様々な角度からの実際の映像又はコンピューターグラフィック映像を含む。また、楽器映像と合成して表示するための演奏者の身体（特に手指）の映像を記憶することもできる。さらに、背景となる映像も記憶することができる。なお、一つの楽器種類について一つの楽器に関する映像を記憶しても良いし、複数の楽器の映像を記憶するようにしてもよい。また、実際に存在する楽器に限らず、現存しない古い楽器や架空の楽器の映像を記憶するようにしても良い。その場合には、当該楽器に関するデータを楽器演奏姿勢データベース（ＤＢ）１５１、楽器演奏操作データベース（ＤＢ）にも記憶する必要がある。
姿勢照合部９２は、カメラ３０で撮影されるユーザの姿勢映像を取得して、該取得した映像と一致もしくは近似する楽器演奏姿勢データが楽器演奏姿勢データベース（ＤＢ）１５１内に記憶されているか否かを判断する。

楽器種類決定部９１は、姿勢照合部９２での照合（判断）結果に基づき、楽器種類を特定する。例えば、姿勢照合部９２において、取得した映像と一致もしくは近似するデータがある場合は、当該データと同一の楽器を演奏するものとして、ユーザの演奏しようとしている楽器を特定して、姿勢検出部９０に楽器種類を指示する。また、同時に楽音生成部１８０で生成する楽音の音色を決定すると共に、映像生成部１３０で用いる楽器映像の種類を特定する。なお、楽器種類の特定は、カメラ３０からの映像に加えてセンサ群３２からのセンサ出力を考慮して決定してもよい。また、センサ群３２からのセンサ出力のみから決定するようにしてもよい。その場合は、楽器演奏姿勢データとして、各種楽器を演奏する場合に想定されるセンサ出力値を予め記憶しておく。

姿勢検出部９０は、センサ群３２からのセンサ出力及びカメラ３０からのユーザの演奏操作映像を取得して、楽器種類決定部９１において決定された楽器種類に基づき、取得したセンサ群３２からのセンサ出力及びカメラ３０からのユーザの演奏操作映像と一致もしくは近似する楽器演奏操作データが楽器演奏操作データベース（ＤＢ）１５２内に記憶されているか否かを判断する。一致もしくは近似するデータがある場合は、当該データと同一の演奏操作をしているものとして、ユーザの意図する演奏操作を特定する。特定された演奏操作は、楽器種類決定部９１で決定した楽器種類情報と共に演奏操作情報として駆動制御部９１０、楽音生成部１８０及び映像生成部１３０に送られる。なお、後述する自動演奏モードにおいては、演奏データＭＤから理想的な演奏姿勢を算出して、演奏操作情報として出力する。

駆動制御部９１０は、楽器種類決定部９１で決定した楽器種類情報と姿勢検出部９０で決定した演奏操作情報に基づき、駆動部４２を制御する。例えば、ユーザが演奏操作子に触れたと判断される空間座標にユーザの指が位置する場合は、当該ユーザの指に対して圧力を加えることにより、楽器への触感を与えるように制御し、当該操作子を押下する場合には、徐々に圧力を高めると共に、ユーザの指の動きを制限することにより、操作子の重みを体感させるように制御する。また、演奏操作子を限界まで押下したときは、それ以上のユーザの動きを制限するように制御し、仮想楽器の筐体に対しては、ユーザの動きを強制的に停止させるように制御する。なお、後述する自動演奏モードにおいては、ユーザが理想的な演奏姿勢を取るように各駆動部４２を制御する。

楽音生成部１８０は、楽器種類決定部９１で決定した楽器種類情報において特定される音色で、当該楽器を姿勢検出部９０で決定した演奏操作情報において特定される演奏操作をした場合の楽音（所定の音高及び所定の音長で所定の効果付与がされた楽音）を生成する。なお、後述する自動演奏モードにおいては、演奏データに基づいて楽音を生成する。なお、演奏データをもともとのテンポで再生しても良いし、ユーザの演奏操作をトリガとして、再生タイミングを決定して自動演奏を行ってもよい。ここで生成した楽音は例えば、ヘッドホン３０から発音される。

映像生成部１３０は、楽器種類決定部９１で決定した楽器種類情報において特定される楽器を用いて、姿勢検出部９０で決定した演奏操作情報において特定される演奏操作をした場合の映像を映像データベース１５３の映像を用いて生成する。このとき、客観カメラ３及び視点カメラ３５により取得した映像を用いて、生成した仮想空間の映像と、実空間との位置合わせを行う。生成した映像はＨＭＤ１４によってユーザに提示される。

図４は、本発明の実施例による演奏処理を表すフローチャートである。なお、この処理の開始前に、必要に応じて、予め自動演奏データが選択されているものとする。また、後述するステップＳＡ７で特定する楽器種類も、必要に応じて、初期設定としてユーザが設定できるものとする。

ステップＳＡ１で、処理を開始し、ステップＳＡ２で、各種フラグ、レジスタ、バッファ等の初期化を行う。

ステップＳＡ３では、図１のカメラ３０（及びカメラ３５）からユーザの姿勢映像を取得する。ステップＳＡ４では、ステップＳＡ３で取得したカメラ映像と演奏姿勢データとを比較・照合する。すなわち、取得した映像と一致もしくは近似する楽器演奏姿勢データを楽器演奏姿勢データベース（ＤＢ）１５１内から抽出する。なお、楽器演奏姿勢データベース（ＤＢ）１５１内に記憶されている映像のいずれとも一致もしくは近似しない場合は、ステップＳＡ３に戻り再度カメラ画像を取得する。

ステップＳＡ５では、図１のセンサ群３２からのセンサ出力を取得する。ステップＳＡ６では、ステップＳＡ５で取得したセンサ出力と一致もしくは近似する楽器演奏姿勢データを楽器演奏姿勢データベース（ＤＢ）１５１内から抽出する。なお、楽器演奏姿勢データベース（ＤＢ）１５１内に記憶されているセンサ出力値のいずれとも一致もしくは近似しない場合は、ステップＳＡ５に戻り再度センサ出力値を取得するか、ステップＳＡ３に戻り再度カメラ画像を取得し、以降の処理を繰り返すようにしてもよい。

ステップＳＡ７では、ステップＳＡ４及びステップＳＡ６で抽出した楽器演奏姿勢データに基づき、ユーザが演奏を意図している楽器を特定する。なお、ステップＳＡ４及びステップＳＡ６で抽出した楽器演奏姿勢データが一致しない場合は、予め設定したいずれかの結果を優先するようにしてもよいし、現在設定されている楽器種類と同一のものを優先しても良い。

ステップＳＡ８では、ステップＳＡ７で特定した楽器が、現在設定されている楽器と同一か否かを判断する。同一である場合は、ＹＥＳの矢印で示すステップＳＡ１０に進み、同一ではない場合、すなわち、ユーザが新たに違う楽器の演奏に対応する姿勢をとったと判断される場合は、ＮＯの矢印で示すステップＳＡ９に進み、ステップＳＡ７で特定した楽器種類に基づき、音色を設定する。

ステップＳＡ１０では、現在のモードが自動モードであるか否かを判断する。自動モードである場合は、ＹＥＳの矢印で示すステップＳＡ１３に進み、自動モードでない場合は、ＮＯの矢印で示すステップＳＡ１１に進む。なお、自動モードとは、自動演奏データに基づき、楽音を生成すると共に、ユーザの姿勢や動作を矯正または制限するものである。

ステップＳＡ１１では、ステップＳＡ７で特定した楽器種類の形状を想定して、ユーザの動作や姿勢に規制を加えるように、駆動部４２を制御する。

ステップＳＡ１２では、ステップＳＡ３で取得したカメラ映像及びステップＳＡ５で取得したセンサ出力に基づき、音高値等の楽音生成パラメータを決定する。例えば、取得したセンサ群３２からのセンサ出力及びカメラ３０からのユーザの演奏操作映像と一致もしくは近似する楽器演奏操作データを楽器演奏操作データベース（ＤＢ）１５２から抽出し、当該データに表される演奏操作に対応する楽音生成パラメータを生成する。なお、取得したセンサ群３２からのセンサ出力及びカメラ３０からのユーザの演奏操作映像と一致もしくは近似する楽器演奏操作データが無い場合は、演奏操作が無かったものとみなす。その後、ステップＳＡ１６に進む。

ステップＳＡ１３では、外部記憶装置１５等に記憶されている自動演奏データを読み出す。なお、自動演奏データは、複数の自動演奏データの中から予め選択されているものとする。自動演奏データに複数のパート（トラック）が存在する場合は、ステップＳＡ７で特定された楽器種類に対応するパートをユーザが演奏するものとして設定するか、ユーザに演奏するパートを予め選択させる。また、ユーザが演奏するパートについては、自動演奏で発音させないようにもできるし、発音させるようにもできる。また、いわゆるエニーキープレイに設定することもできる。この場合は、ユーザの演奏操作は、自動演奏を進めるタイミングを決定するものとして判断される。
ステップＳＡ１４では、ステップＳＡ７で特定した楽器種類の形状を想定し、ステップＳＡ１３で読み出した自動演奏データに基づき、ユーザの動作や姿勢が当該楽器演奏に相応しいものとなるように、ユーザの姿勢や動作を矯正するために駆動部４２を制御する。

ステップＳＡ１５では、ステップＳＡ１３で読み出した自動演奏データに基づき、音高値等の楽音生成パラメータを決定する。

ステップＳＡ１６では、ステップＳＡ１２又はステップＳＡ１５で決定された楽音生成パラメータに基づき発音処理を行う。

ステップＳＡ１７では、ステップＳＡ７で決定した楽器種類、ステップＳＡ１２で決定した演奏操作（自動モードの場合は、自動演奏データに基づき決定する演奏操作）に基づき、仮想楽器、身体（手指）、背景画像等を含む映像を生成して、ＨＭＤ１４に表示する。なお、このとき、ＨＭＤ１４に設けられる方向センサ及び位置センサのセンサ出力に応じて、ユーザの視点を想定した画像を生成するようにしてもよい。また、客観カメラ３０及び視点カメラ３５により取得した映像を元に、ＨＭＤ１４に表示する仮想空間の映像と、実空間との位置合わせを行う。この位置合わせにより、ユーザは、仮想空間内のオブジェクト（仮想楽器等）に対して、実空間から手を出すことが可能となる。

ステップＳＡ１８では、ユーザによる終了指示を検出する。終了指示を検出した場合は、ＹＥＳの矢印で示すステップＳＡ１９に進み演奏処理を終了する。終了指示を検出しない場合は、ＮＯの矢印で示すステップＳＡ３に戻り、以降の処理を繰り返す。

以上、本発明の実施例によれば、仮想楽器の映像をユーザの視界に表示するとともに、当該仮想楽器の触感をユーザに与えることができる。また、仮想楽器の筐体に対してのユーザの動作を制限することで、ユーザに楽器の演奏操作を仮想体験させることができる。

また、本発明の実施例によれば、ユーザの姿勢を取得して、該取得した姿勢に基づき、楽器種類を特定して、楽音生成における音色を指定することができる。よって、簡単に仮想楽器の持ち替え（切り替え）及び音色の切り替えを行うことができる。

さらに、本発明の実施例によれば、自動演奏データに基づき、楽音を発生させるとともに、当該自動演奏データに即した演奏に適した演奏操作をユーザに行わせることができる。よって、演奏操作方法を知らないユーザに当該楽器の演奏操作をユーザに体験させることができる。

以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。

本発明の実施例による演奏装置１のハードウェア構成を表すブロック図である。 本発明の実施例による姿勢取得装置３３及び触感付与装置４２の使用例を表す概略図である。 本発明の実施例による演奏装置１の機能ブロック図である。 本発明の実施例による演奏処理を表すフローチャートである。

符号の説明

１…電子音楽装置、２…サーバ、３…通信ネットワーク、６…バス、７…ＲＡＭ、８…ＲＯＭ、９…ＣＰＵ、１０…タイマ、１１…検出回路、１２…設定操作子、１３…表示回路、１４…ディスプレイ（ＨＭＤ）、１５…外部記憶装置、１６…ＭＩＤＩ Ｉ／Ｆ、１７…ＭＩＤＩ機器、１８…音源回路、１９…効果回路、２０…サウンドシステム（ヘッドホン）、２１…通信Ｉ／Ｆ、２２…演奏操作子、３０…カメラ、３１…センサＩ／Ｆ、３２…センサ、３３…姿勢取得装置、４１…駆動御回路、４２…駆動部（アクチュエータ）、４３…アタッチメント、９０…姿勢検出部、９１…楽器種類決定部、９２…姿勢照合部、１３０…映像生成部、１５１…楽器演奏姿勢ＤＢ、１５２…楽器演奏操作ＤＢ、１５３…映像ＤＢ、１８０…楽音生成部、４１０…駆動制御部

Claims (2)

1. ユーザの姿勢を取得する姿勢取得手段と、
   前記取得した姿勢に基づき、前記ユーザの身体に対して、物理的圧力を加えることにより、前記ユーザに対して触感を付与する触感付与手段と、
   前記取得した姿勢に基づき、前記ユーザの視界に表示を行う表示手段と、
   前記取得した姿勢に基づき、楽音を生成する楽音生成手段と
   を有する演奏装置。
2. ユーザの姿勢を取得する姿勢取得手順と、
   前記取得した姿勢に基づき、前記ユーザの身体に対して、物理的圧力を加えることにより、前記ユーザに対して触感を付与する触感付与手順と、
   前記取得した姿勢に基づき、前記ユーザの視界に表示を行う表示手順と、
   前記取得した姿勢に基づき、楽音を生成する楽音生成手順と
   を有する演奏処理をコンピュータに実行させるためのプログラム。

Images