JP2016521381A

JP2016521381A - 電子楽器と音楽の演奏方法

Info

Publication number: JP2016521381A
Application number: JP2016507981A
Authority: JP
Inventors: 初紹軍
Original assignee: 初紹軍
Priority date: 2013-04-16
Filing date: 2014-04-04
Publication date: 2016-07-21
Anticipated expiration: 2034-04-04
Also published as: JP6344578B2; WO2014169700A1; CN103258529A; US9558727B2; US20160063975A1; CN103258529B

Abstract

電子楽器と音楽の演奏方法であって、主に、ａ．電子楽譜管理ユニットにおいて、演奏しようとする楽譜を選択し、演奏及び／又は自動伴奏のパート、楽器種別、対応する入力デバイス、演奏楽器、出力バイス及び基準パートを選択し、ｂ．前記楽譜の演奏に必要な電子楽器演奏デバイスを起動し、演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する。当該電子楽器と音楽の演奏方法では、電子楽譜、電子楽器及びデジタル楽器におけるデジタル特性との特徴を利用及び組み合わせることで、楽器や音楽の演奏を充足させることを前提に、新たな楽器と音楽の演奏方式を実現して、楽器演奏の複雑さを簡略化するとともに、音楽の演奏形態を豊かにしている。【選択図】図１

Description

本発明は、電子楽器と音楽の演奏、及び電子楽譜情報処理の技術分野に関し、具体的に、電子楽器と音楽の演奏方法に関する。

楽器演奏は、鍵、弦、息などを制御することで楽器から適切な音程の楽音を発するだけでなく、リズム、強弱、音色等を制御して、楽曲演奏を完成させねばならない。楽器の多くは相当量の練習を積んでようやく技能が身に付き、楽曲演奏が可能となる。

現在では、ｉＰｈｏｎｅやｉＰａｄで動作する「魔幻古筝」、「古琴」「ＭａｇｉｃＰｉａｎｏ」といった類似のソフトウェア製品がある。当該ソフトウェアでは、ミュージックライブラリから選択された曲目に基づき、スクリーン上でのタッチやスライド動作によって制御システムが楽音を発し、楽曲演奏が実現される。ソフトウェアには、強弱やポルタメント、ビブラート等の音色制御機能が備わっている。このような製品では、音程を制御しなくとも（楽譜上の音符に対応する楽器の弦を選択すれば）、楽譜に基づいて正確な音を演奏可能である。しかし、当該製品は、電子楽器に基づくものではなく、楽譜に従って演奏するのではない。また、マルチパートを単独或いは同時に演奏することができないほか、複数人や複数の楽器による合奏、未演奏パートの自動演奏、外部動作信号の入力、（ＭＩＤＩ規格を採用した）外部のデジタル楽器、電子楽器との接続をサポートしていない。

例えば、「マン・マシン連携音楽演奏システム」（出願番号：８７１０４０７４、無効）、及び「マン・マシン連携を超越した音楽プログラム制御装置」（出願番号：８７２０９２５３、無効）を名称とする２つの特許（出願）文献では、音程を制御することなく（楽譜上の音符に対応する楽器の鍵を選択すれば）、楽譜に従って正確な音を演奏可能としている。しかし、このような「コントロールキーが動作しないと、命令が発せられたとしても音は鳴らず、コントロールキーが動作しても、命令が発せられなければ音は鳴らず、コントロールキーが動作し、且つ命令も発せられて初めて音が鳴る」という演奏方式では、マルチパートを単独又は同時に演奏することができない。また、複数の楽器による合奏、未演奏パートの自動演奏、一組の音符のうち１つの音符の演奏制御、外部動作信号の入力、（ＭＩＤＩ規格を採用した）外部のデジタル楽器、電子楽器との接続がサポートされていない。

このほか、動作を利用して音楽再生を制御する技術や製品もある。例えば、「動作方向の変化によって音符再生を制御する方法」（出願番号：２０１１１０４４２２３０．Ｘ、出願日：２０１１年１２月２６日）、「デジタル音楽ファイルに基づいて楽器を演奏する方法及び装置」（出願番号：００８１４３７２．２）、及び「演者によってリアルタイムで音楽又は音声を制御可能なトリガー再生装置及び方法」（出願番号：２００６１０１１０５６５．０）を名称とする特許（出願）では、楽器演奏を制御することで音楽演奏を制御するのではなく、動作を利用して音楽再生装置による音楽再生の速度（リズム）、音量（強弱）等を制御することを主眼としている。結果、パート単体や音符単体の演奏制御はできず、楽器演奏は不可能となっている。

このように、従来技術では、楽器と音楽の演奏を簡略化してはいるが、楽器による音楽演奏を全面的且つ正確に制御するにはいたっていない。よって、音楽演奏体験や効果が実際の楽器演奏から大きく乖離してしまっている。

本発明は、電子楽器、特にデジタル楽器と電子楽譜の特徴を創造的に組み合わせることで、楽器と音楽の演奏要求を満たすことを前提に、簡単且つ容易に楽譜に基づく演奏を実現する電子楽器と音楽の演奏方法を提供する。

上記の目的を実現するために、本発明では以下の技術方案を用いた。即ち、電子楽器と音楽の演奏方法であって、主に、ａ．電子楽譜管理ユニットにおいて、演奏しようとする楽譜を選択し、ｂ．演奏制御ユニットにおいて、１又は複数の操作者が演奏するパート（少なくとも１つの演奏パートを選択する必要がある）と、自動演奏するパートを選択し、演奏パートに対応する操作制御入力デバイス及び／又は動作、演奏楽器を選択して、デジタル楽器ユニット及び／又は信号出力ユニットに選択出力してから、基準パートを選択し、演奏起動後に、演奏者が入力デバイスを操作して操作信号を生成し、演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する、ことを含む。

更に、ステップｂの、前記演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する操作は、具体的に以下を含む。

ｂ１．動作捕捉ユニットが、入力デバイスを制御して入力された操作信号を受信して、楽器の演奏動作信号に変換する。当該動作捕捉ユニットは、同時に複数種類、複数タイプの操作制御入力デバイスを操作して楽器と音楽の演奏を実行可能であり、１つのデバイスの操作動作別に異なるパート譜を対応付けてもよい。

ｂ２．演奏制御ユニットは、前記動作捕捉ユニットにより得られた楽器演奏動作信号に基づき、楽譜情報を組合せて演奏制御信号を合成する。

ｂ３．前記制御信号の合成結果に基づいて、基準パート譜の演奏速度を検出し、得られた基準演奏速度に基づいて自動演奏パートの自動演奏を制御する。ステップｂ３において、得られた基準演奏速度に基づいて自動演奏パートを制御する前記の操作は、具体的に、基準演奏速度（即ち、音楽リズム）に基づいて、自動演奏パートごとに演奏される各音符又は各組の音符の演奏タイミングを決定し、毎回の基準パート演奏時及びその後に、自動演奏パートの演奏タイミングが到達すると、楽譜から対応する演奏情報を抽出して演奏制御信号を形成する、ことを含む。

ｂ４．演奏制御信号をデジタル楽器ユニットに送信して演奏を実行するか、或いは信号出力ユニットに送信して第三者の電子楽器、デジタル楽器を制御して演奏を実行する。

更に、前記電子楽譜管理ユニットは、ユーザが楽譜データファイルを入力するための楽譜入力モジュールと、前記楽譜入力モジュールから入力された楽譜データファイルを記憶し、ユーザ楽譜ライブラリを形成して、前記演奏制御ユニットの呼び出しに供する楽譜記憶モジュール、を含む。

更に、前記入力デバイスは、前記電子楽器演奏デバイスにそれぞれ接続可能なコンピュータキーボード、タッチスクリーン、カメラ、外部機器を接続するための通信インタフェースのうちの１種類又は複数種類を含み、更に、前記入力デバイスを接続するための通信インタフェースを含み、前記通信インタフェースが、ＭＩＤＩインタフェース及び／又はブルートゥースインタフェース及び／又はＵＳＢインタフェースを含む。

更に、前記出力デバイスは、前記デジタル楽器ユニットに接続されて、デジタル楽器ユニットから出力されるオーディオ信号を受信するためのオーディオデバイスと、前記信号出力ユニットにそれぞれ接続されて、信号出力ユニットから出力される演奏信号を受信するための電子楽器、デジタル楽器、ローカルマシンのデジタル楽器及びシンセサイザーのうちの１種類又は複数種類を含む。

更に、前記演奏制御ユニットは、入力デバイスや動作に対応する演奏パート譜から、タイミングが直近でまだ演奏されていない１つ又は一組の音符及び関連の演奏情報を抽出する楽譜情報抽出モジュール、第１信号変換モジュールにより取得された演奏情報を、前記楽譜情報抽出モジュールにより抽出された現在の楽譜演奏情報と合成し、完全な楽器演奏制御信号としてデジタル楽器ユニット及び／又は信号出力ユニットへそれぞれ出力する第２信号合成モジュール、前記楽器演奏制御信号に基づいて、基準パート譜の演奏速度を基準演奏速度又はリズムとして検出する演奏リズム検出モジュール、及び、前記基準演奏速度に基づいて自動演奏パートの演奏を制御して、自動伴奏や合奏を実現する自動演奏ユニット、を含む。更に、前記電子楽器演奏デバイスは、前記操作制御入力デバイスに順に接続される動作捕捉ユニット及び演奏制御ユニットと、前記演奏制御ユニットにそれぞれ接続される電子楽譜管理ユニット、デジタル楽器ユニット及び信号出力ユニット、を含み、前記デジタル楽器ユニット及び信号出力ユニットは前記出力デバイスにそれぞれ接続される。

更に、前記動作捕捉ユニットは、前記操作制御入力デバイスにより生成された操作信号を受信するための信号受信モジュール、及び、前記信号受信モジュールにより受信された操作信号を、入力デバイスの違いに応じて、少なくとも操作番号、可能な強弱、音色、音調及びアフタータッチ等の演奏動作を含む演奏情報に変換する第１信号変換モジュール、を含む。

また、本発明が採用する他の技術方案として、前記電子楽器と音楽の演奏方法を実現するための電子楽器及び音楽演奏システムは、操作信号を入力するための操作制御入力デバイス、前記操作制御入力デバイスにより入力された操作信号に基づいて処理を実行する、電子楽器演奏ソフトウェアを備えた電子楽器演奏制御デバイス、及び、前記電子楽器演奏デバイスの処理により得られた信号を出力するための出力デバイス、を主に含む。

更に、前記操作制御入力デバイスは、前記電子楽器演奏デバイスにそれぞれ接続可能なコンピュータキーボード、タッチスクリーン、カメラ、外部機器に接続するための通信インタフェースのうちの１種類又は複数種類を含む。

更に、前記通信インタフェースは、ＭＩＤＩインタフェース及び／又はブルートゥースインタフェース及び／又はＵＳＢインタフェースを含む。

更に、前記電子楽器演奏デバイスは、前記操作制御入力デバイスに順に接続される動作捕捉ユニット及び演奏制御ユニットと、前記演奏制御ユニットにそれぞれ接続される電子楽譜管理ユニット、デジタル楽器ユニット及び信号出力ユニットを含み、前記デジタル楽器ユニット及び信号出力ユニットが前記出力デバイスにそれぞれ接続され、前記演奏制御ユニットに電子楽器演奏ソフトウェアがインストールされている。

更に、前記動作捕捉ユニットは、前記操作制御入力デバイスにより生成された操作信号を受信するための信号受信モジュール、及び、前記信号受信モジュールにより受信された操作信号を、少なくとも操作番号、可能な強弱、音色、音調等の演奏動作を含む演奏情報に変換する第１信号変換モジュール、を含む。

更に、前記演奏制御ユニットは、入力デバイスや動作に対応する演奏パート譜から、タイミングが直近でまだ演奏されていない１つ又は一組の音符及び関連の演奏情報を抽出する楽譜情報抽出モジュール、第１信号変換モジュールにより取得された演奏情報を、前記楽譜情報抽出モジュールにより抽出された現在の楽譜演奏情報と合成し、完全な楽器演奏制御信号としてデジタル楽器ユニット及び／又は信号出力ユニットへそれぞれ出力する第２信号合成モジュール、前記楽器演奏制御信号に基づいて、基準パート譜の演奏速度を基準演奏速度又はリズムとして検出する演奏リズム検出モジュール、及び、前記基準演奏速度に基づいて非演奏パートの自動演奏を制御し、自動伴奏や合奏を実現する自動演奏ユニット、を含む。

更に、前記出力デバイスは、前記デジタル楽器ユニットに接続されて、デジタル楽器ユニットから出力されるオーディオ信号を受信するオーディオデバイスと、前記信号出力ユニットにそれぞれ接続されて、信号出力ユニットから出力される演奏信号を受信するための電子楽器、デジタル楽器、ローカルマシンのデジタル楽器及びシンセサイザーのうちの１種類又は複数種類を含む。

本発明における各実施例の電子楽器と音楽の演奏方法は、電子楽譜管理ユニットにおいて、演奏しようとする楽譜を選択するとともに、演奏するパート、楽器種別、対応する入力デバイス、演奏楽器、出力バイス及び基準パートを選択し、前記楽譜の演奏に必要な電子楽器演奏デバイスを起動して、演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する、ことを主に含む。また、独立した入力デバイス又は動作を組み合わせて楽譜上の各パートを演奏するので、一人又は複数人で複数又は複数種類の入力デバイスを同時に用いて、異なる楽器や複数パートを含む総譜を演奏可能となり、操作者（演奏者）の動作と楽譜情報を合成して完全な楽器演奏動作とすることができる。従って、楽器操作に必要な制御動作が簡略化されるほか、楽器と音楽の演奏が簡略化される。

本発明でいう電子楽器は、演奏制御信号インタフェースを備えた電子楽器（Ｅｌｅｃｔｒｏｎｉｃｍｕｓｉｃａｌｉｎｓｔｒｕｍｅｎｔ）、デジタル楽器（ＤｉｇｉｔａｌＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔ）及びミュージックシンセサイザー（Ｍｕｓｉｃｓｙｎｔｈｅｓｉｚｅｒ）等のハードウエアを含むほか、ソフトウェア形式の楽器も含む。また、電子楽譜（Ｄｉｇｉｔａｌｍｕｓｉｃｓｃｏｒｅ）は、一定のデータ構造で示される楽譜電子ファイル及び電子データであり、例えばｍｉｄｉ形式の楽譜、Ｏｖｅｒｔｕｒｅ形式の楽譜といったデータファイル及びデータである。

本発明のその他の特徴及び利点については後述の明細書で詳述するが、一部については明細書から自明であるか、或いは本発明の実施を通じて理解される。

以下に、図面と実施例を用いて本発明の技術方案について更に詳細に説明する。

なお、図面は本発明を更に理解するために提供され、明細書の一部を構成する。図面は本発明の実施例とともに本発明を説明するものであって、本発明を制限するものではない。

図１は、本発明における電子楽器と音楽の演奏方法の動作フローを示す図である。図２は、本発明における電子楽器と音楽の演奏方法を実現するための電子楽器及び音楽演奏システムの動作原理を示す図である。

以下に、図面を組み合わせて本発明の好ましい実施例について説明する。なお、ここで述べる好ましい実施例は本発明を説明及び解釈するためのものにすぎず、本発明を限定する主旨ではない。

図１を参照して、前記実施例における電子楽器と音楽の演奏方法の動作フローには、電子楽器及び音楽演奏システム内にインストールされている電子楽譜演奏ソフトウェアを起動して、ステップ１０１を実行するステップ１００、演奏しようとする楽譜を選択してステップ１０２を実行するステップ１０１、演奏するパート、楽器種別及び対応する入力制御（即ち、入力デバイス）を選択してステップ１０３を実行するステップ１０２、演奏楽器、出力デバイスを選択してステップ１０４を実行するステップ１０３、基準パートを選択してステップ１０５を実行するステップ１０４、電子楽器演奏デバイスを起動してステップ１０６を実行するステップ１０５、動作を捕捉してステップ１０７を実行するステップ１０６、楽器演奏制御信号を合成してステップ１０８を実行するステップ１０７、基準パート譜の演奏速度を検出してステップ１０９を実行するステップ１０８、デジタル楽器ユニットの制御が必要か否かを判断し、ＹＥＳの場合はステップ１１０を実行し、ＮＯの場合はステップ１１１を実行するステップ１０９、デジタル楽器ユニットが実行され、ステップ１１２を実行するステップ１１０、演奏信号を出力し、ステップ１１２を実行するステップ１１１、楽譜演奏の終了が必要か否かを判断し、ＹＥＳの場合はステップ１１３を実行し、ＮＯの場合はステップ１０６に戻るステップ１１２、及び、現在の演奏を終了するステップ１１３、が含まれる。

前記ステップ１００〜ステップ１１３で示される電子楽器と音楽の演奏方法において、電子楽譜管理ユニットは、ユーザが楽譜データファイルを入力するための楽譜入力モジュールと、楽譜入力モジュールから入力された楽譜データファイルを記憶し、ユーザ楽譜ライブラリを形成して、演奏制御ユニットの呼び出しに供する楽譜記憶モジュール、を含む。入力デバイスは、電子楽器演奏デバイスにそれぞれ接続可能なコンピュータキーボード、タッチスクリーン、カメラ、外部機器を接続するための通信インタフェースのうちの１種類又は複数種類を含むほか、入力デバイスを接続するための通信インタフェースを更に含み、当該通信インタフェースがＭＩＤＩインタフェース及び／又はブルートゥースインタフェース及び／又はＵＳＢインタフェースを含む。出力デバイスは、デジタル楽器ユニットに接続されて、デジタル楽器ユニットから出力されるオーディオ信号を受信するためのオーディオデバイスと、信号出力ユニットにそれぞれ接続されて、信号出力ユニットから出力される演奏信号を受信するための電子楽器、デジタル楽器、ローカルマシンのデジタル楽器及びシンセサイザーのうちの１種類又は複数種類を含む。

前記ステップ１００〜ステップ１１３で示される電子楽器と音楽の演奏方法において、演奏制御ユニットは、入力デバイスや動作に対応する演奏パート譜から、タイミングが直近でまだ演奏されていない１つ又は一組の音符及び関連の演奏情報を抽出する楽譜情報抽出モジュール、第１信号変換モジュールにより取得された演奏情報を、前記楽譜情報抽出モジュールにより抽出された現在の楽譜演奏情報と合成し、完全な楽器演奏制御信号としてデジタル楽器ユニット及び／又は信号出力ユニットへそれぞれ出力する第２信号合成モジュール、前記楽器演奏制御信号に基づいて、基準パート譜の演奏速度を基準演奏速度又はリズムとして検出する演奏リズム検出モジュール、及び、前記基準演奏速度に基づいて非演奏パートの自動演奏を制御し、自動伴奏や合奏を実現する自動演奏ユニット、を含む。電子楽器演奏デバイスは、操作制御入力デバイスに順に接続される動作捕捉ユニット及び演奏制御ユニットと、演奏制御ユニットにそれぞれ接続される電子楽譜管理ユニット、デジタル楽器ユニット及び信号出力ユニットを含み、デジタル楽器ユニットと信号出力ユニットが出力デバイスにそれぞれ接続される。動作捕捉ユニットは、操作制御入力デバイスから入力された操作信号を受信するための信号受信モジュールと、信号受信モジュールにより受信された操作信号を、少なくとも操作番号、可能な強弱、音色、音調という演奏動作を含む演奏情報に変換する第１信号変換モジュール、を含む。

具体的な実施にあたっては、前記ステップ１００〜ステップ１１３に示される電子楽器と音楽の演奏方法において、例えば、コンピュータキーボードを入力デバイスとして用い、片手でピアノ楽曲の主旋律を演奏しながら、システムが伴奏旋律を自動演奏することで、完全な楽曲演奏を実現可能となる。また、両手で２つのパートをそれぞれ演奏することも可能である。キーボードのキーはリズム制御情報のみを提供可能であり、その他の情報は楽譜上の情報で補足される。また、例えば、ＭＩＤＩキーボードをパソコンに接続することで、演奏時にＭＩＤＩキーボードの演奏時間（速度）、強弱及び音色等の制御情報を抽出し、楽譜上の演奏される音符と合成して完全な演奏情報とすることが可能である。また、出力デバイスとしては、例えばＷｉｎｄｏｗｓ（登録商標）システムに付属のウェーブテーブル・ソフト・シンセサイザー（デジタル楽器の一種）を選択可能であり、ＭＩＤＩケーブルでローカルマシンのデジタル楽器ソフトウェア（例えば、著名なデジタル楽器であるＰＩＡＮＯＴＥＱ）や、その他のデジタル楽器、電子楽器デバイスに接続してもよい。このほか、将来的にはより多くの製品シーンが想定され、特に、タッチスクリーンを用いた入力方式は大変な価値を持つはずである。

上記の実施例における電子楽器と音楽の演奏方法では、独立した入力デバイス又は動作を組み合わせて楽譜上の各パートを演奏するので、一人又は複数人で複数或いは複数種類の入力デバイスを同時に利用して、異なる楽器や複数のパートを含む総譜を演奏可能となる。

実際の演奏時には、操作者はまず演奏しようとする楽譜を選択してから、入力デバイスや動作と、演奏パート及び楽器との対応関係を決定する必要がある。最少の場合には、演奏する総譜の中の１パートを選択し、その他のパートは演奏しないか自動演奏とすることが可能である。演奏が開始されると、電子楽器や音楽演奏システム等は、ユーザが制御デバイスを操作して動作を入力するのを待つ。そして、１又は一組の操作動作を受信するごとに、電子楽器及び音楽演奏システムは、対応するパートから、直近でまだ演奏されていない１つ又は一組の同時に演奏される音符及び関連の演奏情報を抽出し、入力動作に含まれる演奏情報と合成した後に、完全な演奏制御信号を形成する。そして、接続されている楽器にこれを速やかに出力して、演奏を実現する。選択演奏される各パートが、楽譜が終了するまで個々に上記の過程を完遂する。選択演奏されないパート譜やパートについては、システムが実際の演奏リズムに基づいて自動的に演奏してもよい。

演奏簡略化の要点として、演奏者は正確な音符、音調で演奏しているか否かに気を遣う必要はなく、リズム（速度）、強弱及び音色等の楽器演奏の操作動作を制御するだけでよい。

本発明の実施例では、図２に示すように、上記の電子楽器と音楽の演奏方法を実現するための電子楽器及び音楽演奏システムを提供し、動作に基づいて楽器演奏を制御可能である。

当該電子楽器及び音楽演奏システムは、操作信号を入力するための操作制御入力デバイス、操作制御入力デバイスにより入力された操作信号に基づいて処理を実行する、電子楽器演奏ソフトウェアを備えた電子楽器演奏デバイス、及び電子楽器演奏デバイスの処理により得られた信号を出力するための出力デバイス、を主に含む。

なお、前記操作制御入力デバイスは、電子楽器演奏デバイスにそれぞれ接続可能なコンピュータキーボード、タッチスクリーン、カメラ、外部機器を接続するための通信インタフェースのうちの１種類又は複数種類を含む。当該通信インタフェースは、ＭＩＤＩインタフェース及び／又はブルートゥースインタフェース及び／又はＵＳＢインタフェースを含む。

前記電子楽器演奏デバイスは、操作制御入力デバイスに順に接続される動作捕捉ユニット及び演奏制御ユニットと、演奏制御ユニットにそれぞれ接続される電子楽譜管理ユニット、デジタル楽器ユニット及び信号出力ユニットを含み、デジタル楽器ユニットと信号出力ユニットが出力デバイスにそれぞれ接続され、演奏制御ユニットに電子楽器演奏ソフトウェアがインストールされている。

ここで、動作捕捉ユニットは、操作制御入力デバイスから入力された操作信号を受信するための信号受信モジュールと、信号受信モジュールにより受信された操作信号を、少なくともリズム及び／又は強弱、音色等の演奏動作を含む演奏情報に変換する第１信号変換モジュール、を含んでもよい。演奏制御ユニットは、入力デバイスや動作に対応する演奏パート譜から、タイミングが直近でまだ演奏されていない１つ又は一組の音符及び関連の演奏情報を抽出する楽譜情報抽出モジュール、第１信号変換モジュールにより取得された演奏情報を、前記楽譜情報抽出モジュールにより抽出された現在の楽譜演奏情報と合成し、完全な楽器演奏制御信号としてデジタル楽器ユニット及び／又は信号出力ユニットへそれぞれ出力する第２信号合成モジュール、前記楽器演奏制御信号に基づいて、基準パート譜の演奏速度を基準演奏速度又はリズムとして検出する演奏リズム検出モジュール、及び、前記基準演奏速度に基づいて非演奏パートの自動演奏を制御し、自動伴奏や合奏を実現する自動演奏ユニット、を含んでもよい。電子楽譜管理ユニットは、ユーザが楽譜データファイルを入力するための楽譜入力モジュールと、楽譜入力モジュールから入力された楽譜データファイルを記憶し、ユーザ楽譜ライブラリを形成して、演奏制御ユニットの呼び出しに供する楽譜記憶モジュール、を含んでもよい。

前記出力デバイスは、デジタル楽器ユニットに接続されて、デジタル楽器ユニットから出力されるオーディオ信号を受信するためのオーディオデバイスと、信号出力ユニットにそれぞれ接続されて、信号出力ユニットから出力される演奏信号を受信するための電子楽器、デジタル楽器、ローカルマシンのデジタル楽器及びシンセサイザーのうちの１種類又は複数種類を含む。

図２を参照して、図１に示す電子楽器と音楽の演奏方法を実現するための電子楽器及び音楽演奏システムは、電子楽譜管理ユニット、動作捕捉ユニット、演奏制御ユニット、デジタル楽器ユニット及び信号出力ユニットを主に含む。以下に、具体的に述べる。

（１）電子楽譜管理ユニット
電子楽譜管理ユニットは、楽譜データファイルの入力と記憶を実現し、ユーザ楽譜ライブラリを形成可能とする。当該電子楽器及び音楽演奏システムは、様々な形式の電子楽譜をサポートしているだけでなく、楽譜情報を含むＭＩＤＩ等の音楽形式ファイルもサポートしている。楽譜は、パート譜又はパートを１つだけ含むものでもよいし、複数のパート譜及び楽器を含むものでもよい。また、コンピュータのスクリーンに楽譜を表示可能であり、楽譜の一部及び／又はパート譜を自由に再生して、デモンストレーションやレッスンを実施することも可能である。

（２）動作捕捉ユニット
動作捕捉ユニットは複数種類の入力信号を受信可能であり、入力デバイスの違いに応じて、少なくとも操作番号、強弱、音色、音調及びアフタータッチ等の演奏動作を含む演奏情報に変換する。入力デバイスは、コンピュータキーボード、タッチスクリーン、カメラ等のコンピュータ周辺装置を含むほか、ＵＳＢ、ＭＩＤＩインタフェース等により接続される電子楽器等のデバイスも含む。入力信号は、楽器演奏体験と効果を高めるために、良好なリアルタイム性を備え、できるだけ多くの動作情報を含む必要がある。

楽器によって演奏方式は異なるため、必要とされる制御動作もまた異なる。ピアノであれば、指によるタッチの強弱のほか、テヌート、弱音、ソフト音、ソステヌート、複数弦などの制御が必要とされ、古箏演奏の場合には、弦をはじく強弱、角度、位置のほか、バイブレーション、ビブラート、ポルタメント等の制御も必要となる。

当該電子楽器及び音楽演奏システムは、外部入力デバイスとしての電子楽器やデジタル楽器によるＭＩＤＩインタフェースを通じた演奏操作信号の入力をサポートしている。ＭＩＤＩ規格では、楽器演奏用の制御動作が大量に定義されている。当該ユニットは、必要に応じてそのうちの一部動作の意味を新たに定義し、楽曲演奏が実現されることを前提に、利便性や操作しやすさを高めている。

当該電子楽器及び音楽演奏システムは、タッチスクリーン上での演奏をサポートしている。指のスライド速度、長さ、形状、位置等から、楽器演奏のリズム、強弱、音色を操作する制御情報が形成される。また、スクリーン上を別々のエリアに分割することで、各演奏パートの制御が分けられる。

当該電子楽器及び音楽演奏システムは、カメラのリアルタイム画像によりジェスチャーを分析し、楽器演奏制御情報を形成するようサポートしている。

最も簡単な演奏制御は、コンピュータキーボードにより実現可能である。このとき、キーには番号、時間等の情報しかないため、楽譜に含まれる強弱、音色等の演奏情報を用いて、完全な演奏制御情報が形成される。また、コンピュータキーボードのキー別に異なるパートを対応づけるよう定義してもよく、複数の手によって異なるパートの同時演奏を実現可能となる。

（３）演奏制御ユニット
動作捕捉ユニットにより生成された演奏情報を受信すると、演奏制御ユニットは動作番号に基づいて、対応する演奏楽譜からタイミングが直近でまだ演奏されていない音符及び関連の情報を抽出し、動作捕捉ユニットにより生成された演奏情報と合成することで、完全な楽器演奏制御信号とする。

動作捕捉ユニットにより生成された演奏情報が楽器演奏要求に対して不完全な場合、当該電子楽器及び音楽演奏システムは、楽譜から関連の情報を抽出して補足するか、或いは、予め設定しておいたデフォルト値を用いる。例えば、強弱制御が不足している場合には、楽譜に含まれる強弱情報をデフォルトとして用いればよい。また、選択した自動演奏パート譜については、演奏制御ユニットが当該パートの演奏情報を自動的に形成し、パート譜の自動演奏を実現する。なお、パート譜の自動演奏は自動伴奏に相当する。例えば、ピアノの楽譜であれば、操作者は旋律パートのみを演奏し、伴奏パートは実際の演奏リズムに合わせて自動演奏とすればよい。

単一パートで同時に演奏される一組の音符については、ソフトウェアは１つの演奏制御動作でこれらが演奏されるよう設定してもよいし、同一組の各音符が個別にそれぞれの演奏制御動作で演奏されるよう設定してもよい。

当該電子楽器及び音楽演奏システムは、実際に楽曲全体を演奏する際のリズム、速度を示すために、１つの演奏パート譜を基準パート譜として指定する必要がある。演奏制御では、基準パート譜の演奏リズムを検出してパート譜の自動演奏速度の制御に用いるとともに、操作者へ提示して注意を促す。

演奏制御ユニットにより形成された完全な楽器演奏制御信号は、デジタル楽器ユニットに直接送信してもよいし、信号出力ユニットを介して第三者の楽器に送信してもよい。

（４）デジタル楽器ユニット
デジタル楽器ユニットは、ソフトウェアで実現される１又は複数の電子楽器を含む。当該デジタル楽器ユニットは、演奏制御ユニットの楽器演奏制御信号に基づき、電子楽器を駆動して楽音信号を生成する。そして、コンピュータのオーディオデバイスを通じて音楽のオーディオ信号を生成する。例えば、スピーカーを通じて楽音を発したり、オーディオインタフェースを通じてオーディオ信号を出力したりする。

現在、ＭＩＤＩインタフェース規格で電子楽器やデジタル楽器を操作することで、多くの鍵盤楽器（例えば、ピアノ）については比較的良好に模倣可能となっており、大部分の演奏動作や効果の制御は実現されている。しかし、擦弦楽器、撥弦楽器、管楽器等についてはまだかなりの限界がある。当該デジタル楽器に含まれるデジタル楽器ユニットによれば、ＭＩＤＩ規格よりも複雑な操作動作、信号定義を採用可能となり、より良好に楽器の操作動作を模倣したり、更に複雑な演奏動作や形式を創造したりできる。

（５）信号出力ユニット
電子楽器デバイスのインタフェース規格に応じてソフトウェア・ハードウェア接続を実現し、信号を１又は複数の接続されている電子楽器へ送信する。当該電子楽器及び音楽演奏システムは、デジタル楽器インタフェース（ＭＩＤＩ）による外部の電子楽器、デジタル楽器との接続をサポートするとともに、ローカルマシンにインストールされているデジタル楽器デバイスやソフトウェアとの接続もサポートしている。

本発明における上記各実施例の電子楽器と音楽の演奏方法によれば、操作者（演奏者）の動作と楽譜情報を合成して完全な楽器演奏動作とする。具体的には、楽譜に従って電子楽器で音楽を演奏する簡易的な方法であって、楽器が発する楽音の音程は制御せずに、リズム及び／又は強弱、音色など電子楽器の演奏動作を制御することで、電子楽器を用いて楽器、楽音を演奏可能となる。これにより、楽器演奏に必要な技能が大幅に簡略化され、楽器演奏習得の難易度が下がるため、楽器及び音楽の演奏しやすさが高まる。

本発明における上記各実施例の電子楽器と音楽の演奏方法によれば、前記電子楽譜管理ユニット、動作捕捉ユニット、演奏制御ユニット及びデジタル楽器ユニット（オプション）の各機能を含む電子楽器演奏ソフトウェアを、コンピュータ又はソフトウェア実行能力を有するスマート端末（例えば、スマートフォン、タブレットパソコン等）にインストールすることで、関連の入力・出力デバイスと共に電子楽器及び音楽演奏システムを構成可能となる（図２参照）。使用時には、キーボード、タッチスクリーン又は動作情報を生成可能なその他のデバイスによって操作信号を入力し、分析処理を経て楽器演奏制御信号を生成してから、デジタル楽器ユニットを制御して音楽を演奏するか、或いは、ＭＩＤＩ及びその他のインタフェースを通じて第三者の電子楽器デバイスへ出力することで音楽演奏を実現する。第三者の電子楽器デバイスは、例えばＭＩＤＩインタフェースを備えた電子キーボード、電子ピアノ、電子シンセサイザー等の外部機器であってもよいし、同一のコンピュータにインストールされたデジタル音楽ソフトウェア、例えばＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ（登録商標）システムの「ウェーブテーブル・ソフト・シンセサイザー」であってもよい。

本発明における上記各実施例の電子楽器と音楽の演奏方法は、（１）楽譜、演奏進度及び演奏提示情報を可視化して表示する、（２）演奏リズム、速度を検出して提示、評価する、（３）演奏しないパート譜を実際の演奏リズム、速度に基づいて自動演奏する、（４）携帯に便利、（５）ネットワーク化できる、との特徴を備える。

最後に、以上は本発明の好ましい実施例にすぎず、本発明を制限するものではない。上記実施例を参照して本発明を詳細に説明したが、当業者であれば、上記各実施例に記載の技術方案を修正、又は一部の技術的特徴を等価に置き換えることが可能である。本発明の精神及び原則の範囲内で行われる修正、等価の置き換え、改良等は、いずれも本発明の保護の範囲に含まれるものとする。

Claims

ａ．電子楽譜管理ユニットにおいて、演奏しようとする楽譜を選択し、
ｂ．演奏制御ユニットにおいて、少なくとも１つの演奏パートと、必要な自動演奏パートを選択し、演奏パートに対応する操作制御入力デバイス（以下、入力デバイスと略称する）及び／又は動作、演奏楽器を選択し、自動演奏パートに対応する演奏楽器を選択して、デジタル楽器ユニット及び／又は信号出力ユニットに選択出力してから、１つの演奏パートを基準パートとして選択し、
演奏起動後に、演奏者が入力デバイスを操作して操作信号を生成し、演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する、ことを主に含むことを特徴とする電子楽器と音楽の演奏方法。
ステップｂの、前記演奏制御ユニットの制御下において、デジタル楽器ユニットに演奏制御信号を送信して対応する演奏動作を実行させるか、或いは、演奏制御信号を信号出力ユニットに送信する操作は、具体的に、
ｂ１．動作捕捉ユニットが、入力デバイスを制御して入力された操作信号を受信して、楽器の演奏動作信号に変換し、
ｂ２．演奏制御ユニットが前記演奏動作信号に基づいて、楽譜情報を組み合わせて演奏制御信号に合成し、
ｂ３．前記演奏制御信号に基づいて、基準パート譜の演奏速度を検出し、得られた基準演奏速度と楽譜情報に基づいて、自動演奏パートの演奏制御信号を合成し、
ｂ４．演奏制御信号をデジタル楽器ユニットに送信して演奏を実行するか、或いは信号出力ユニットに送信し、対応する電子楽器を制御して演奏を実行する、ことを含むことを特徴とする請求項１記載の電子楽器と音楽の演奏方法。
ステップｂ３において、得られた基準演奏速度に基づいて自動演奏パートを制御する前記の操作は、具体的に、
音楽リズムである基準演奏速度に基づいて、自動演奏パートごとに演奏される各音符又は各組の音符の演奏タイミングを決定し、毎回の基準パート演奏時及びその後に、自動演奏パートの演奏タイミングが到達すると、楽譜から対応する演奏情報を抽出して演奏制御信号に合成する、ことを含むことを特徴とする請求項２記載の電子楽器と音楽の演奏方法。
前記電子楽譜管理ユニットは、
ユーザが楽譜データファイルを入力するための楽譜入力モジュールと、
前記楽譜入力モジュールから入力された楽譜データファイルを記憶し、ユーザ楽譜ライブラリを形成して、前記演奏制御ユニットの呼び出しに供する楽譜記憶モジュール、を含むことを特徴とする請求項１〜３のいずれか１項記載の電子楽器と音楽の演奏方法。
前記入力デバイスは、前記電子楽器演奏デバイスにそれぞれ接続可能なコンピュータキーボード、タッチスクリーン、カメラ、外部機器を接続するための通信インタフェースのうちの１種類又は複数種類を含み、
更に、前記入力デバイスを接続するための通信インタフェースを含み、前記通信インタフェースが、ＭＩＤＩインタフェース及び／又はブルートゥースインタフェース及び／又はＵＳＢインタフェースを含む、ことを特徴とする請求項１〜３のいずれか１項記載の電子楽器と音楽の演奏方法。
前記出力デバイスは、前記デジタル楽器ユニットに接続されて、デジタル楽器ユニットから出力されるオーディオ信号を受信するためのオーディオデバイスと、前記信号出力ユニットにそれぞれ接続されて、信号出力ユニットから出力される演奏信号を受信するための電子楽器、デジタル楽器、ローカルマシンのデジタル楽器及びシンセサイザーのうちの１種類又は複数種類を含む、ことを特徴とする請求項１〜３のいずれか１項記載の電子楽器と音楽の演奏方法。
前記演奏制御ユニットは、
入力デバイスや動作に対応する演奏パート譜から、タイミングが直近でまだ演奏されていない１つ又は一組の音符及び関連の演奏情報を抽出する楽譜情報抽出モジュール、
第１信号変換モジュールにより取得された演奏情報を、前記楽譜情報抽出モジュールにより抽出された現在の楽譜演奏情報と合成し、完全な楽器演奏制御信号としてデジタル楽器ユニット及び／又は信号出力ユニットへそれぞれ出力する第２信号合成モジュール、
前記楽器演奏制御信号に基づいて、基準パート譜の演奏速度を基準演奏速度又はリズムとして検出する演奏リズム検出モジュール、及び、
前記基準演奏速度に基づいて非演奏パートの自動演奏を制御し、自動伴奏や合奏を実現する自動演奏ユニット、を含むことを特徴とする請求項１〜３のいずれか１項記載の電子楽器と音楽の演奏方法。
前記電子楽器演奏デバイスは、前記操作制御入力デバイスに順に接続される動作捕捉ユニット及び演奏制御ユニットと、前記演奏制御ユニットにそれぞれ接続される電子楽譜管理ユニット、デジタル楽器ユニット及び信号出力ユニット、を含み、前記デジタル楽器ユニット及び信号出力ユニットは、前記出力デバイスにそれぞれ接続される、ことを特徴とする請求項１〜３のいずれか１項記載の電子楽器と音楽の演奏方法。
前記動作捕捉ユニットは、
前記操作制御入力デバイスにより生成された操作信号を受信するための信号受信モジュール、及び、
前記信号受信モジュールにより受信された操作信号を、少なくとも操作番号を含む演奏情報に変換する第１信号変換モジュール、を含み、
複数種類の操作動作を備える入力デバイスから変換された演奏情報には、強弱、音色、音調及びアフタータッチとの演奏動作のうちの１種類又は複数種類が含まれる、ことを特徴とする請求項８記載の電子楽器と音楽の演奏方法。