JP2008008946A - 楽音制御装置およびプログラム - Google Patents

Abstract

【課題】演奏感覚と合った操作で、ピッチ変化を伴う楽音を発生させることが可能となる楽音制御装置およびプログラムを提供する。
【解決手段】鍵盤の両端近傍にそれぞれ設置された２台のカメラによってそれぞれ撮像され、デジタルデータに変換された各画像データに所定の画像認識処理が施され、演奏者の手や指の左右方向の位置が認識される。たとえば、手単位で手の位置を認識する場合、まず手の左右方向の領域が認識され、次に認識された領域内の１点（中央や端など）がその手の左右方向の位置と認識され、その位置に最も近い一音について、ピッチ変化を伴った楽音が発音される。一方、指単位で指の位置を認識する場合、各指で独立して、各指の左右方向の位置が認識され（（ｂ））、認識された各指の位置にそれぞれ最も近い各音について、ピッチ変化を伴った楽音が発音される。
【選択図】図４

Description

本発明は、鍵盤上の演奏者の手および／または指の動きを検出し、該検出した手および／または指の動きに応じて楽音特性を制御する楽音制御装置およびプログラムに関する。

鍵盤を用いて、グリッサンド（奏法）に応じた音（以下、「グリッサンド音」という）などのピッチ変化を伴う楽音を発生させる楽音制御装置は、従来から知られている。

このような楽音制御装置がピッチ変化を伴う楽音を発生させる方法として、たとえば、
（ｉ）単純に鍵を押したまま、その手を高音側または低音側へスライドさせることで、連続する複数の鍵を順次押鍵して行き、これにより、ピッチが階段状に変化した楽音を発生させる方法
（ｉｉ）音源として、奏法対応音源（たとえば、グリッサンドなどの各種奏法で、実楽器を演奏したときに、実楽器から発生する楽音、すなわち、楽音特性が変更制御されている楽音をサンプリングして収録し、発音時に、奏法種類を指定することで、指定された奏法に対応した波形サンプルを読み出して発音する音源）を搭載しておき、所定の操作（奏法選択スイッチの操作等）によって奏法の種類を指定することで、指定した奏法に対応するピッチ変化を伴う楽音（グリッサンドやスライド奏法などに対応する楽音）を発生させる方法（たとえば、特許文献１参照）がある。
特開２００４−７８０９５号公報

しかし、上記（ｉ）の方法では、弦楽器や管楽器のグリッサンド音とは、そのピッチ変化特性がかけ離れた楽音しか発生されない。

また、上記（ｉｉ）の方法では、奏法の種類を指定するときに、通常の演奏操作（たとえば、鍵盤の押離鍵操作）とは違和感のある操作、つまり奏法選択スイッチの押下操作を伴うため、演奏がし辛く、また演奏感覚と合わないことがある。

本発明は、この点に着目してなされたものであり、演奏感覚と合った操作で、ピッチ変化を伴う楽音を発生させることが可能となる楽音制御装置およびプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の楽音制御装置は、演奏者による鍵盤の押鍵を検出する押鍵検出手段と、前記鍵盤上の演奏者の手および／または指の左右方向の位置を検出する位置検出手段と、前記押鍵検出手段により押鍵が検出されない鍵近傍において、前記位置検出手段により、前記演奏者の手および／または指の左右方向の位置が検出されたときに、該検出された位置に基づいて、予め定められた音高変化特性を有する楽音を発生させる楽音発生手段とを有することを特徴とする。

好ましくは、前記位置検出手段によって検出された位置に基づいて、前記演奏者の手および／または指の左右方向の位置の変化特性を検出する変化特性検出手段をさらに有し、前記楽音発生手段は、前記変化特性検出手段によって検出された位置の変化特性に応じて、異なった音高変化特性を有する楽音を発生させることを特徴とする。

上記目的を達成するため、請求項３に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。

請求項１または３に記載の発明によれば、鍵盤の押鍵を伴わない、演奏者の手および／または指の左右（音高）方向の位置を検出し、検出した左右方向の位置に基づいて、予め定められた音高変化特性を有した楽音を発生させるようにしたので、たとえば、予め定められた音高変化特性を有した楽音として、弦楽器や管楽器のグリッサンド音を用意しておけば、これを押鍵操作を伴わない左右方向の手および／または指の動作で発音させることができる。つまり、演奏感覚と合った演奏操作で、リアルなグリッサンド音を発音させることができる。

また、請求項２に記載の発明によれば、左右方向の位置の変化特性（位置変化の速さや移動距離など）に応じて、音高変化特性を異ならせるようにしたので、たとえば、グリッサンド音とスライド音とを使い分けるなど、異なる音高変化特性の音を簡単に発音させることができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る楽音制御装置の概略構成を示すブロック図である。

同図に示すように、本実施の形態の楽音制御装置は、音高情報を入力するための鍵盤１ａ（図２参照）を含む演奏操作子１と、各種情報を入力するための複数のスイッチを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、主に演奏者の手や指を撮像する撮像装置５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ９と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１１と、外部からのＭＩＤＩ（Musical Instrument Digital Interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１２と、通信ネットワーク１０１を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）１０２とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１３と、演奏操作子１から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する音源回路１４と、該音源回路１４からの楽音信号に各種効果を付与するための効果回路１５と、該効果回路１５からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１６とにより構成されている。

上記構成要素３〜１５は、バス１７を介して相互に接続され、ＣＰＵ６にはタイマ９が接続され、ＭＩＤＩＩ／Ｆ１２には他のＭＩＤＩ機器１００が接続され、通信Ｉ／Ｆ１３には通信ネットワーク１０１が接続され、音源回路１４には効果回路１５が接続され、効果回路１５にはサウンドシステム１６が接続されている。ここで、通信Ｉ／Ｆ１３および通信ネットワーク１０１は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。

外部記憶装置１１としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１１には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この外部記憶装置１１に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。

通信Ｉ／Ｆ１３は、上述のように、たとえばＬＡＮ（Local Area Network）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバ１０２に接続される。外部記憶装置１１に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１３は、サーバ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる楽音制御装置は、通信Ｉ／Ｆ１３および通信ネットワーク１０１を介してサーバ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介して楽音制御装置へと配信し、楽音制御装置が通信Ｉ／Ｆ１３を介して、これらプログラムやパラメータを受信して外部記憶装置１１に蓄積することにより、ダウンロードが完了する。

撮像装置５は、本実施の形態では、図２に示すように、鍵盤１ａの両端近傍にそれぞれ設置された２台の小型カメラ５ａおよび５ｂによって構成されている。図２は、カメラ５ａおよび５ｂの設置の一例を示す図であり、鍵盤１ａを含む鍵盤近傍の外観を示している。そして、図２（ａ）は、その平面図であり、図２（ｂ）は、その正面図であり、図（ｃ）２は、その側面図である。

図２（ａ）に示すように、カメラ５ａおよび５ｂのそれぞれの光軸は鍵盤１ａの中央方向に向けられ、カメラ５ａおよび５ｂのそれぞれが鍵盤１ａの全域を撮像できるようになっている。なお、カメラ５ａおよび５ｂは、演奏者の手や指を撮像可能な、通常のものを用いればよいが、特殊なもの、たとえば赤外線カメラを用いてもよい。赤外線カメラを用いた場合、演奏者の手や指は熱を発しているため、撮像対象である演奏者の手や指がその周囲のものより浮き上がって撮像されるので、演奏者の手や指の位置の検出精度をより向上させることができる。また、検出精度を向上させるために、演奏者の手や指に特定の色などによるマーキングを行う（たとえば、爪にマニキュアを塗る、指にアタッチメントを装着する、腕輪をするなど）ようにしてもよい。なお、カメラ５ａおよび５ｂの位置や個数は、上記位置や個数に限らない。たとえば、１オクターブ間隔等で、数多くのカメラを設置してもよく、そのようにすることで、手や指の位置を検出する精度がさらに向上する。

以上のように構成された楽音制御装置が実行する制御処理を、まずその概要を説明し、次に図３および図４を参照して詳細に説明する。

各カメラ５ａおよび５ｂによってそれぞれ撮像され、デジタルデータに変換された各画像データは、前記バス１７を通って、前記ＲＡＭ８の所定位置に確保された画像データ格納領域に格納される。前記ＣＰＵ６は、画像データ格納領域に格納された２つの画像データに対して、所定の画像認識処理を行い、演奏者の各手や各指の所定方向（上下方向＝鉛直方向および左右方向＝鍵盤１ａの長手（音高）方向）の位置を認識する。ここで、所定の画像認識処理とは、たとえば特開２００１−１３２３４０号公報で開示されているような、ある公知の画像認識処理を意味する。このような公知の画像認識処理を採用したのは、本発明の特徴は、画像認識処理自体にあるのではなく、画像認識処理結果の用い方にあるので、公知の画像認識処理を採用したとしても、本発明の特徴は変わらないからである。

このようにして、演奏者の各手や各指の位置が認識された結果、鍵盤１ａに触れているものの、押鍵状態には至っていない手や指があり、その手や指が左右方向に移動したことが検出されると、ＣＰＵ６は、検出された演奏者の各手や各指の位置に基づいて、ピッチ変化を伴う楽音の発生を指示するための指示情報を生成し、音源回路１４に供給する。これに応じて、音源回路１４は、ピッチ変化を伴う楽音を発生させる楽音信号を生成する。なお、画像認識のレベルは、指単位であっても、手単位であってもよい。指単位で画像認識を行うと、指毎にグリッサンド音、つまり複音グリッサンドなど、高度な発音ができるが、画像認識の高い精度が要求される。これに対して、手単位（あるいは、１本の指のみ）の画像認識であれば、手毎にグリッサンド、つまり単音グリッサンドなど、比較的単純な発音になるが、画像認識の精度はそれほど高くなくてもよい。

一方、演奏者が鍵盤１ａの押鍵を行うと、ＣＰＵ６は、押鍵に対応するキーオンイベントデータを生成して前記音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオンイベントデータに対応する楽音の発音を開始する。

また、演奏者が鍵盤１ａの離鍵を行うと、ＣＰＵ６は、離鍵に対応するキーオフイベントデータを生成して音源回路１４に供給する。これに応じて、音源回路１４は、発音中の楽音の消音を開始する。

次に、この制御処理を詳細に説明する。

図３は、本実施の形態の楽音制御装置、特にＣＰＵ６が実行する楽音特性制御処理の手順を示すフローチャートである。本楽音特性制御処理は、主として、
（１）演奏者の手および／または指の位置認識処理（ステップＳ１）
（２）上記（１）の位置認識処理による認識結果に基づいて、ピッチ変化を伴う楽音を発生させる楽音発生処理（ステップＳ３）
（３）上記（２）の楽音発生処理によって発生された、ピッチ変化を伴う楽音を消音させる第１の消音処理（ステップＳ５）
（４）押鍵に応じた楽音の発音開始処理（ステップＳ７）
（５）離鍵に応じた楽音を消音させる第２の消音処理（ステップＳ９）
を行う。

本楽音特性制御処理が起動されると、ＣＰＵ６は、処理を上記（１）の演奏者の手および／または指の位置認識処理に進め、取り込んだ画像データ、つまり、前記ＲＡＭ８の画像データ格納領域に格納された、２つの画像データに前記所定の画像認識処理を施すことで、手毎および／または指毎独立に、手および／または指の左右方向の位置を認識する（ステップＳ１）。なお、本実施の形態では、演奏者の手および／または指が鍵盤１ａに触れている状態で、演奏者がその手および／または指を左右方向に動かしたときに、上記（２）の楽音発生処理によって、ピッチ変化を伴う楽音を発生させるので、上記（１）の演奏者の手および／または指の位置認識処理によって、演奏者の手および／または指の左右方向の位置を検出する前に、演奏者の手および／または指が鍵盤１ａに触れている（実質的に触れているとみなせる程度に近づいている状態も含む）かどうかを検出する、つまり、演奏者の手および／または指の上下方向の位置を認識する必要がある。この上下方向の位置を認識する処理は、上記（１）の演奏者の手および／または指の位置認識処理によってなされる上下方向の位置を認識する処理とほぼ同様なので、この（１）の演奏者の手および／または指の位置認識処理中に、上下方向の位置を認識する処理を追加しておき、上下方向の位置を認識する処理によって、演奏者の手および／または指が鍵盤１ａに触れていることが検出されると、それに続いて、演奏者の手および／または指の左右方向の位置を認識するようにすればよい。

図４は、上記（１）の演奏者の手および／または指の位置認識処理を説明するための図であり、同図（ａ）は、手単位での位置認識を示し、同図（ｂ）は、指単位での位置認識を示している。

手単位での位置認識処理では、図４（ａ）に示すように、手の左右方向の位置を認識する。認識された手の位置は、その位置に最も近い一音について、ピッチ変化を伴った楽音を発生させるために用いられるが、画像データから手と認識される領域は、複数音（鍵盤１ａ中の複数の鍵）を含んでしまうので、その領域内の１点を手の位置と定義しておかなければ、手の位置に最も近い一音がどれであるか判別できない。手の位置と定義する１点は、その領域内であればどこでもよいが、たとえば、その領域の中央や端などを挙げることができる。なお、図４（ａ）では、左手の位置を認識する様子が描かれているが、これは便宜上に過ぎず、右手が鍵盤１ａ上にあれば、右手の位置を認識すればよいし、両手が鍵盤１ａ上にあれば、両手の位置を手毎に認識すればよい。もちろん、両手が鍵盤１ａ上にあったとしても、いずれか一方の手の位置のみ認識するようにしてもよい。

指単位での位置認識処理では、図４（ｂ）に示すように、各指で独立して、指の左右方向の位置を認識する。ここで、左右方向の位置は、前述のように、鍵盤１ａに触れている指についてのみ認識する。本実施の形態では、左右方向の位置を認識した指が複数ある場合には、各指の位置にそれぞれ最も近い各音について、ピッチ変化を伴った楽音を発生させる。しかし、左右方向の位置を認識した指が複数ある場合でも、そのうちのいずれか１本（たとえば、中央または端など）に最も近い一音について、ピッチ変化を伴った楽音を発生させるようにしてもよい。なお、図４（ｂ）では、左手の指を認識する様子が描かれているが、これは便宜上に過ぎず、右手の指が鍵盤１ａに触れていれば、その右手の指の位置を認識すればよいし、両手の指が鍵盤１ａに触れていれば、その両手の指の位置を指毎に認識すればよい。もちろん、両手の指が鍵盤１ａに触れていたとしても、いずれか一方の手の指の位置のみ認識するようにしてもよい。

なお、本実施の形態では、前記カメラ５ａおよび５ｂから得られた、２つの画像データに基づいて、その時点の演奏者の手および／または指の位置を認識するようにしたが、所定時間に亘って認識した演奏者の手および／または指の位置を、たとえばＲＡＭ８に設けたリングバッファに時系列データとして格納しておき、この時系列データの変化から、演奏者の手および／または指の左右方向の位置変化の速度や加速度、あるいは位置変化の長さ（距離）を求め、これらの情報に基づいて楽音特性を制御するようにしてもよい。

図３に戻り、所定の条件が成立すると、ＣＰＵ６は、処理を前記（２）の楽音発生処理に進める。ここで、所定の条件とは、上記（１）の演奏者の手および／または指の位置認識処理によって認識された、演奏者の手および／または指の位置が、押鍵による発音中の楽音の音高に対応する位置でないという条件である。つまり、本実施の形態では、押鍵が検出され、発音が開始された後、その鍵の近傍で、演奏者の手および／または指の左右方向の位置やその位置の変化が認識されたとしても、ピッチ変化を伴った楽音は発生されず、押鍵に応じた楽音のみが発生される。なお、楽音発生開始時のみ、手および／または指の位置が停止状態あるいは新規に検出された状態から、左または右方向に移動し始めたことも条件とされる。以下、（２）の楽音発生処理について説明する。
（Ａ）手単位で位置認識を行う場合：手毎に特定の一音について、ピッチ変化を伴った楽音を発生させる。ここで、「特定の一音」とは、前述のように、左右方向の位置が認識された手の位置に最も近い音高の音である。
（Ｂ）指単位で位置認識を行う場合：鍵盤１ａに接触している指に対応する音高の音（その数は、接触している指の数と同じでもよいし、接触している指が複数ある場合には、そのうちの一部でもよい）について、ピッチ変化を伴った楽音を発生させる。
（Ｃ）音源回路１４として、奏法対応音源を採用した場合：認識された手や指の位置とその変化に応じて、手や指の位置（左右方向の移動開始時の位置）に対応する音高からスタートし、位置の変化に応じて決定されるピッチ変化特性を有した奏法対応波形データを読み出して発音させる。ここで、「位置の変化に応じたピッチ変化特性」とは、たとえば、「位置変化の速さと同期した速さでピッチが変化する特性」、「位置変化の長さ（距離）に対応した音域でピッチが変化する特性」、「位置変化の速さに応じて、グリッサンド音とスライド奏法に応じた音（以下、「スライド音」という）とが切り替わる特性」など、種々の態様が考えられる。また、手や指の移動方向に応じて、異なるピッチ変化特性としてもよい。
（Ｄ）音源回路１４として、非奏法対応音源を採用した場合：ピッチ変化を伴った楽音波形フレーズデータ（ウェーブデータ）または演奏フレーズデータ（ＭＩＤＩシーケンスデータ）を予め用意しておき、認識した手や指の位置（左右方向の移動開始時の位置）に対応する音高からスタートするようフレーズデータの音高をシフトした後、これを読み出して発音させる。

このようにして、ピッチ変化を伴った楽音の発音が開始すると、所定の条件が成立するまで、その発音を継続させる。そして、所定の条件が成立すると、ＣＰＵ６は、処理を前記（３）の第１の消音処理へ進める。ここで、所定の条件とは、具体的には、ピッチ変化を伴った楽音を発生させるための基礎となるフレーズデータ（前記奏法対応波形データ、前記楽音波形フレーズデータあるいは前記演奏フレーズデータ）の読み出しが完了したという条件や、演奏者の手および／または指が鍵盤１ａから離れ、その左右方向の位置が認識されなくなったという条件や、発音中の楽音のピッチに対応する鍵が押鍵されたという条件などが考えられる。

次に、前記検出回路３によって、鍵盤１ａの押鍵が検出されると、ＣＰＵ６は、処理を前記（４）の押鍵に応じた楽音の発音開始処理に進め、検出された押鍵に応じたキーオンイベントデータ、具体的には、その押鍵鍵の音高に対応するキーコードデータ、その押鍵に応じたベロシティデータおよびキーオンデータからなるキーオンイベントデータを生成して、音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオンイベントデータに対応する楽音信号を生成し始める、つまり、楽音の発音を開始する（ステップＳ７）。

そして、検出回路３によって、鍵盤１ａの離鍵が検出されると、ＣＰＵ６は、処理を前記（５）の離鍵に応じた楽音の消音処理に進め、検出された離鍵に応じたキーオフイベントデータ、具体的には、その離鍵鍵の音高に対応するキーコードデータ、その離鍵に応じたベロシティデータおよびキーオフデータからなるキーオフイベントデータを生成して、音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオフイベントデータに対応する発音中の楽音を消音する（ステップＳ９）。

このように、本実施の形態では、鍵盤１ａの押鍵を伴わない、演奏者の手および／または指の左右（音高）方向の位置を検出し、検出した左右方向の位置に基づいて、予め定められた音高変化特性を有した楽音を発生させるようにしたので、たとえば、予め定められた音高変化特性を有した楽音として、弦楽器や管楽器のグリッサンド音を用意しておけば、これを押鍵操作を伴わない左右方向の手および／または指の動作で発音させることができる。つまり、演奏感覚と合った演奏操作で、リアルなグリッサンド音を発音させることができる。もちろん、グリッサンド音以外のピッチ変化を伴う音、たとえばスライド音を発音させてもよい。また、本実施の形態の楽音制御装置では、通常の連続押鍵操作によるグリッサンドも発音できるので、両グリッサンド音を使い分けるようにしてもよい。さらに、左右方向の位置の変化特性（位置変化の速さや移動距離など）に応じて、音高変化特性を異ならせるようにしたので、グリッサンド音とスライド音とを使い分けるなど、異なる音高変化特性の音を簡単に発音させることができる。

なお、本実施の形態では、演奏者の手および／または指の位置を認識する方法として、撮像した手や指の画像データを画像処理する方法を採用したが、これに限らず、カメラ以外の検出装置たとえば、距離センサ、レーザ反射光観測、各鍵に設けた触覚センサなどのセンサを用い、用いたセンサに応じた処理によって、演奏者の手および／または指の位置を検出するようにしてもよい。

また、選択している音色に応じて、異なるピッチ変化特性の楽音を発生させるようにしてもよい。たとえば、フレットを有するギターやベースの音色を選択しているときには、段階的にピッチが変化する楽音を発生させ、フレットレスのギターやベースの音色を選択しているときには、連続的にピッチが変化する楽音を発生させるというようにである。もちろん、弦楽器の音色を選択したときと、管楽器の音色を選択したときとでは、ピッチの変化特性を異ならせた方が望ましい。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施の形態に係る楽音制御装置の概略構成を示すブロック図である。 図１中の撮像装置を構成する２台のカメラの設置の一例を示す図である。 図１の楽音制御装置、特にＣＰＵが実行する楽音特性制御処理の手順を示すフローチャートである。 図３のステップＳ１の演奏者の手および／または指の位置認識処理を説明するための図である。

符号の説明

３…検出回路（位置検出手段），５…撮像装置（位置検出手段），６…ＣＰＵ（位置検出手段、楽音発生手段、変化特性検出手段），８…ＲＡＭ（位置検出手段），１４…音源回路（楽音発生手段）

Claims (3)

1. 演奏者による鍵盤の押鍵を検出する押鍵検出手段と、
   前記鍵盤上の演奏者の手および／または指の左右方向の位置を検出する位置検出手段と、
   前記押鍵検出手段により押鍵が検出されない鍵近傍において、前記位置検出手段により、前記演奏者の手および／または指の左右方向の位置が検出されたときに、該検出された位置に基づいて、予め定められた音高変化特性を有する楽音を発生させる楽音発生手段と
   を有することを特徴とする楽音制御装置。
2. 前記位置検出手段によって検出された位置に基づいて、前記演奏者の手および／または指の左右方向の位置の変化特性を検出する変化特性検出手段をさらに有し、
   前記楽音発生手段は、前記変化特性検出手段によって検出された位置の変化特性に応じて、異なった音高変化特性を有する楽音を発生させることを特徴とする請求項１に記載の楽音制御装置。
3. 演奏者による鍵盤の押鍵を検出する押鍵検出モジュールと、
   前記鍵盤上の演奏者の手および／または指の左右方向の位置を検出する位置検出モジュールと、
   前記押鍵検出モジュールにより押鍵が検出されない鍵近傍において、前記位置検出モジュールにより、前記演奏者の手および／または指の左右方向の位置が検出されたときに、該検出された位置に基づいて、予め定められた音高変化特性を有する楽音を発生させる楽音発生モジュールと
   をコンピュータに実行させるためのプログラム。

Images