JP2005250378A - 画像生成装置および楽器 - Google Patents

Abstract

【課題】直接的な目視が不可能な環境において、適切な指使いで適切な楽器操作が為されているか否かを確認する。
【解決手段】画像生成装置３６は、鍵盤情報テーブル３６１、鍵特定部３６２およびオーバーレイ画像生成部３６３を有する。鍵盤情報テーブル３６１は、鍵毎に、キーナンバー、操作状態および座標を格納している。鍵特定部３６２は鍵盤楽器３１からのＭＩＤＩデータの内容に応じて鍵盤情報テーブル３６１内の操作状態を更新する。オーバーレイ画像生成部３６３はカメラ３３からの画像データにおける鍵盤３１１の各鍵の座標を特定し、鍵盤情報テーブル３６１内の座標を更新する一方、操作状態が「オン」の鍵の座標に識別画像が位置するオーバーレイ画像データ（カメラ３３で撮影した画像データに透過合成される画像データ）を生成する。
【選択図】 図２

Description

本発明は、楽器の演奏操作の様子を伝えるための技術に関する。

鍵盤楽器の教習においては、楽器が出力する楽音だけでなく、運指やタッチに代表される指使いも重要となる。このため、教師は、鍵盤および生徒の手を目視し、適切な指使いで適切な鍵が操作されているか否かを確認する。しかし、ネットワークを用いた遠隔教習では直接的な目視は不可能であるため、これに代わる確認方法を教師に提供する必要がある。

このような確認方法の一つとしては、生徒側にて、鍵盤をカメラで撮影し、撮影された画像データをネットワーク経由で送信し、送信された画像データを教師側にて受信して表示する方法が考えられる。この方法によれば、教師は表示された実写画像を見て生徒の手の形状を確認することができる。一般に、教師は手の形状から指使いを推定することができるから、この方法によれば、教師は適切な指使いであるか否かを確認することができる。
しかし、現実には、画像データのデータサイズや表示サイズが制限されるため、生徒が操作している鍵を教師が特定するのは困難である。また、実写画像において生徒が操作している鍵が生徒の手に隠れてしまうこともあり得る。つまり、この方法を採用しても、適切な指使いで適切な鍵が操作されているか否かを確認することは困難である。

他の確認方法としては、特許文献１〜３に開示されている方法が挙げられる。
特許文献１には、教師のキーオン／キーオフ等の操作内容を表す演奏情報を生徒の押鍵案内に用いる装置が開示されている。この装置は、教師の演奏と比較することにより、生徒の演奏が正しいか否かを判定する。この判定では、まず演奏情報が比較され、次に指使いを表す指使い情報が比較され、次に押鍵箇所を表す押鍵箇所情報が比較される。指使い情報および押鍵箇所情報は、それぞれ、実写画像に対して画像認識処理を行うことにより得られる。
この方法を応用すれば、教師は適切な鍵が操作されているか否かを確認することができる。しかし、教師が生徒の指使いを特定するために必要な情報は多様であり、教師毎に相異し得るから、これらの情報を漏れなく画像データから抽出する装置を提供するのは困難である。

特許文献２には、楽器演奏の様子を表す画像を演奏者が装着するＨＭＤ（Head Mounted Display）に表示させる装置が開示されている。この表示では、観客等の背景画像のレイヤと、楽器画像のレイヤと、楽器のスイッチの状態から定まる運指画像のレイヤとが重ねられる。楽器画像は予め記憶された３次元画像を回転・移動した後に平面に投影して得られる擬似的な画像であり、回転・移動の方向および量は楽器の実写画像を用いて定められる。
この装置では、実写画像は３次元画像の回転・移動の方向および量を定めるために用いられるだけであり、表示されない。つまり、教師が生徒の指使いを特定するために必要な情報は提供されないことになる。

特許文献３には、曲データに従って鍵を発光させて演奏を案内する装置が開示されている。この装置は、背景が透けて見えるゴーグル型の液晶ディスプレイを装着した演奏者の視野における発光鍵の座標を検出し、検出した座標を用いて、曲データ内の指データで表される運指画像が視野内の発光鍵に重なるように液晶ディスプレイを制御する。
しかし、この方法は、操作されている鍵盤が直接的に目視可能な位置にあることを前提としており、直接的な目視が不可能な環境には適用不可能である。
特開２００２−１８２５５３号公報 特開２０００−２９３１７２号公報 特開２０００−３５２９７３号公報

本発明は、上述した事情に鑑みて為されたものであり、直接的な目視が不可能な環境においても適切な指使いで適切な楽器操作部が操作されているか否かを確認することができる技術を提供することを目的とする。

本発明は、楽音信号を入力する楽音入力手段と、前記楽音入力手段により入力された楽音信号が表す楽音を楽器が発する場合に前記楽器において操作されるべき操作部を特定する操作部特定手段と、実写画像を表す画像信号を入力する画像入力手段と、前記画像入力手段により入力された画像信号を用いて、該画像信号で表される実写画像における前記楽器の操作部の位置を特定する位置特定手段と、前記操作部特定手段により特定された操作部を、該操作部について前記位置特定手段により特定された位置を用いて、前記画像入力手段により入力された画像信号で表される実写画像において強調して示す画像信号を生成する画像生成手段とを有する画像生成装置を提供する。
この画像生成装置は、入力した画像信号で表される実写画像において、入力した楽音信号が表す楽音を楽器が発する場合に当該楽器において操作されるべき操作部が、当該画像信号で表される実写画像における当該楽器の操作部の位置を用いて強調して示されることになる画像信号を生成する。

また、本発明は、操作部を有する楽器において、操作されている前記操作部を特定する操作部特定手段と、実写画像を表す画像信号を入力する画像入力手段と、前記画像入力手段により入力された画像信号で表される実写画像における前記操作部の実写画像の位置を特定する位置特定手段と、前記操作部特定手段により特定された操作部を、該操作部について前記位置特定手段により特定された位置を用いて、前記画像入力手段により入力された画像信号で表される実写画像において強調して示す画像信号を生成する画像生成手段とを有する楽器を提供する。
この楽器は、入力した画像信号で表される実写画像において、操作されている操作部が、当該画像信号で表される実写画像における当該楽器の操作部の位置を用いて強調して示されることになる画像信号を生成する。

本発明によれば、楽器の、操作されるべき、又は操作されている操作部を実写画像において強調して示す画像信号が得られる。この実写画像が楽器の操作部周辺の実写画像であれば、この実写画像を視認することにより、楽器を操作する手の形状、ひいては指使いを確認することができる。更に、この実写画像においては楽音信号を用いて特定された操作部が強調して示されるから、操作されている楽器操作部を確認することができる。また、生成した画像信号を遠隔地において用いることも可能であるから、本発明は、直接的な目視が不可能な環境にも対応可能である。
よって、本発明によれば、生成された画像信号を用いることにより、直接的な目視が不可能な環境においても適切な指使いで適切な楽器操作部が操作されているか否かを確認することができる。
更に、操作部の操作量を特定し、この操作量に応じた態様で操作部を強調して示す画像信号を生成するようにすれば、この画像信号を用いることにより、直接的な目視が不可能な環境においても適切な指使いで適切な楽器操作部が適切に操作されているか否かを確認することができる。

以下、図面を参照して、本発明の実施形態について説明する。
［構成］
図１は生徒と教師との間で楽器演奏の遠隔教習を行う遠隔教習システムの構成を示すブロック図である。
この図に示すように、ネットワーク１の教師側には教師に使用される教師側設備２が配置されており、生徒側には生徒に使用される生徒側設備３が配置されている。教師側設備２および生徒側設備３はネットワーク１を介して相互に通信する。

まず、教師側設備２の構成について説明する。
鍵盤楽器２１は鍵盤２１１を備え、教師に演奏されて楽音を出力する。
マイク２２は鍵盤楽器２１から出力された楽音を集音して音声データを出力する。
カメラ２３は鍵盤２１１の周辺を撮影して画像データをフレーム単位で出力する。
端末２４は、マイク２２からの音声データおよびカメラ２３からの画像データを入力し、ネットワーク１経由で通信相手の端末へ送信する。その一方、ネットワーク１経由で相手端末からの画像データ及び音声データを受信し、受信した画像データをディスプレイ２４１に表示するとともに、受信した音声データをスピーカ２５へ出力する。

次に、生徒側設備３の構成について説明する。
鍵盤楽器３１はＭＩＤＩ（Musical Instruments Digital Interface）規格に対応しており、８８鍵の鍵盤３１１を備え、生徒に演奏されてＭＩＤＩデータおよび楽音を出力する。鍵盤３１１付近の所定位置には、鍵盤３１１をカメラ３３で撮影した画像データ中の基準位置、基準方向および基準長を示すための基準画像Ｂが形成されている（図６参照）。基準画像Ｂは、基準方向が分かるように、向き毎の特徴量を異なるようにしてある。基準画像Ｂの形成方法は任意である。例えば印刷により形成してもよいし、基準画像Ｂが印刷された紙を鍵盤楽器３１に載置して形成してもよいし、鍵盤楽器３１の製造過程において鍵盤楽器３１表面に立体形状として形成してもよい。

画像生成装置３６は、カメラ３３からの画像データおよび鍵盤楽器３１からのＭＩＤＩデータを入力し、これらのデータを用いて画像データを生成して出力する。画像生成装置３６の構成については後述する。
ビデオミキサ３７は、カメラ３３からの画像データおよび画像生成装置３６からの画像データを入力し、前者の画像データに後者の画像データを透過合成して合成画像データを生成し、生成した合成画像データを出力する。

マイク３２、カメラ３３、スピーカ３５および端末３４の機能は、教師側設備２における同名のものと同様である。ただし、端末３４は、カメラ３３からの画像データではなく、ビデオミキサ３７からの合成画像データを入力する。つまり、教師側設備２の端末２４がディスプレイ２４１に表示する画像データは、生徒側設備３のカメラ３３で撮影したものではなく、生徒側設備３のビデオミキサ３７から出力された合成画像データである。

図２は画像生成装置３６の構成を示す図である。
鍵盤情報テーブル３６１は、図３に示すように、鍵盤３１１の各鍵について、鍵を識別するためのキーナンバー、押鍵されているか否かを示す操作状態、打鍵強度を示す操作量、およびカメラ３３で撮影した画像データ中の鍵の座標を格納している。キーナンバーは１以上１２８以下の整数を値とし、操作状態は「オン」／「オフ」を値とし、操作量は０以上１２７以下の整数を値とする。初期状態において、鍵盤情報テーブル３６１内の操作状態は全て「オフ」であり、操作量は全て０である。

鍵特定部３６２は鍵盤楽器３１からのＭＩＤＩデータを入力し、入力したＭＩＤＩデータ中のノートオンメッセージの内容に応じて鍵盤情報テーブル３６１内の操作状態および操作量を更新する。その一方、入力したＭＩＤＩデータ中のノートオンメッセージの内容に応じて鍵盤情報テーブル３６１内の操作状態を更新する。

オーバーレイ画像生成部３６３はカメラ３３からの画像データを入力し、入力した画像データ中の基準位置、基準方向および基準長を特定し、これらを用いて鍵盤情報テーブル３６１内の座標を更新する。その一方、入力した画像データおよび鍵盤情報テーブル３６１を用いて、操作状態が「オン」の鍵の座標に当該鍵の操作量に応じた色の識別画像が位置するオーバーレイ画像データを生成して出力する。

［動作］
次に、上述した構成の遠隔教習システムの動作について説明する。
まず、教師の演奏の様子を生徒が確認するための動作について説明する。
教師側設備２のマイク２２は集音して音声データを出力しており、カメラ２３は教師に演奏される鍵盤楽器２１の鍵盤２１１周辺を撮影して画像データを出力している。これらのデータは端末２４に入力され、ネットワーク１経由で端末３４へ送信される。端末３４は、これらのデータを受信し、音声データについてはスピーカ３５へ出力し、画像データについてはディスプレイ３４１に表示する。この結果、スピーカ３５からは鍵盤楽器２１から出力されている楽音が放音され、ディスプレイ３４１には鍵盤２１１周辺の実写画像が表示される。

次に、生徒の演奏の様子を教師が確認するための動作について説明する。ただし、上述の動作と同様の動作については説明を省略する。
まず、生徒が鍵盤楽器３１の鍵盤３１１のＣ、ＥおよびＧの鍵（キーナンバーが７６、８０および８３の鍵）を同時に打鍵したものとする。この打鍵により、鍵盤楽器３１からＭＩＤＩデータが出力される。このＭＩＤＩデータには３つのノートオンメッセージが含まれている。各ノートオンメッセージはノートナンバー（９６、１００、１０３）およびベロシティ（４０、５０、６０）を格納している。

鍵特定部３６２は、このＭＩＤＩデータを入力し、まず、このＭＩＤＩデータにノートオンメッセージが含まれているか否かを判定する（図４のステップＳＡ１）。このＭＩＤＩデータにはノートオンメッセージが含まれているから、この判定結果は「ＹＥＳ」となる。よって、鍵特定部３６２は、このＭＩＤＩデータ内のノートオンメッセージを用いて鍵盤情報テーブル３６１を更新する（ステップＳＡ２）。この更新では、図５に示すように、上記３つのノートオンメッセージ内のノートナンバーに相当するキーナンバー（７６、８０、８３）の鍵（Ｃ、Ｅ、Ｇの鍵）の操作状態が「オン」となる一方、これら３つの鍵の操作量に上記３つのノートオンメッセージ内のベロシティ値（４０、５０、６０）が設定される。

次に、鍵特定部３６２は、このＭＩＤＩデータにノートオフメッセージが含まれているか否かを判定する（ステップＳＡ３）。このＭＩＤＩデータにはノートオフメッセージが含まれていないから、この判定結果は「ＮＯ」となる。よって、鍵特定部３６２は、このＭＩＤＩデータについての処理を終了する。

一方、カメラ３３は鍵盤楽器３１の鍵盤３１１周辺を撮影して画像データを出力しており、上記の打鍵直後にも画像データを出力する。この画像データはオーバーレイ画像生成部３６３およびビデオミキサ３７に入力される。この画像データを表示した場合の画像を図６に示す。この画像は鍵盤３１１周辺の実写画像であり、基準画像Ｂを含んでいる。この実写画像において鍵盤３１１に重なっているのは生徒の手である。

オーバーレイ画像生成部３６３は、この画像データを入力すると、まず、この画像データにおける基準位置ＰＳ、基準方向ＤＲおよび基準長（Ｌ）を特定する（図７のステップＳＢ１、図８参照）。この特定では、この画像データにおける基準画像Ｂの位置ＰＳが基準位置とされ、この画像データにおいて基準画像Ｂの特徴量が所定の特徴量となる向きが基準方向ＤＲとされ、この画像データにおける基準画像Ｂ内の所定区間の長さが基準長（Ｌ）とされる。なお、基準方向ＤＲは、この画像データにおいて基準画像Ｂに最も近接している鍵の長手方向と平行な向きであり、基準位置ＰＳを基点とした場合に当該鍵の中央を通る。また、基準長（Ｌ）は、この画像データ中の鍵盤３１１の幅を鍵数（８８）で割った長さ（半音分の幅）に一致している。

次に、オーバーレイ画像生成部３６３は、これらの基準位置ＰＳ、基準方向ＤＲおよび基準長（Ｌ）を用いて、この画像データにおける鍵盤３１１の各鍵の座標を算出する（ステップＳＢ２）。この算出の原理について、図８を参照して説明する。この図では、基準位置ＰＳを基点とした場合に基準方向ＤＲにある鍵は鍵Ｋ１である。この場合、鍵Ｋ１の座標は、基準位置ＰＳから基準方向ＤＲへ基準長（Ｌ）の所定数（ｋ）倍の距離だけ進んだ位置である。また、鍵Ｋ１の５つ隣りの鍵Ｋ２の座標は、鍵Ｋ１の座標から基準方向ＤＲに直交する方向へ基準長（Ｌ）の５倍の距離だけ進んだ位置である。

次に、オーバーレイ画像生成部３６３は、算出した座標を用いて鍵盤情報テーブル３６１を更新する（ステップＳＢ３）。この更新により、鍵盤３１１の各鍵に対応付けられて鍵盤情報テーブル３６１に格納されている座標の値が最新の値に変更される。

次に、オーバーレイ画像生成部３６３は、鍵盤情報テーブル３６１を参照し、操作状態が「オン」の鍵があるか否かを判定する（ステップＳＢ４）。この時点では、Ｃ、ＥおよびＧの鍵（キーナンバーが７６、８０および８３の鍵）の操作状態が「オン」であるから、この判定結果は「ＹＥＳ」となる。よって、オーバーレイ画像生成部３６３は、鍵盤情報テーブル３６１からＣ、ＥおよびＧの鍵の座標および操作量を読み出す（ステップＳＢ５）。

次に、オーバーレイ画像生成部３６３は、読み出した座標および操作量を用いて、入力した画像データと同一サイズのオーバーレイ画像データを生成して出力し（ステップＳＢ６）、入力した画像データについての処理を終了する。このオーバーレイ画像データを表示した場合の画像を図９に示す。このオーバーレイ画像データでは、上記３つの鍵の各座標に各鍵の操作量に応じた色の識別画像Ｐ１〜Ｐ３が位置しており、これらの識別画像Ｐ１〜Ｐ３を構成しない画素の明度が０となっている。このオーバーレイ画像データはビデオミキサ３７に入力される。

ビデオミキサ３７は、カメラ３３からの画像データにオーバーレイ画像生成部３６３からのオーバーレイ画像データを透過合成して合成画像データを生成し、これを出力する。この透過合成では、カメラ３３からの画像データの前面に画像生成装置３６からのオーバーレイ画像データを重ねて後者の画像における明度が０の画素を透明画素とした場合に前面側から見える画像データを合成画像データとする。

ビデオミキサ３７から出力された合成画像データは端末３４に入力され、ネットワーク１経由で端末２４へ送信される。端末２４は、この合成画像データを受信し、ディスプレイ２４１に表示する。この結果、ディスプレイ２４１には図１０に示す画像が表示される。この画像では、上記３つの鍵について、鍵の実写画像に当該鍵の打鍵強度に応じた色の識別画像Ｐ１〜Ｐ３が重ねられている。

以降、生徒によって次の打鍵または離鍵が行われるまで、鍵特定部３６２が鍵盤情報テーブル３６１を更新することはない（ステップＳＡ１：ＮＯ、ＳＡ３：ＮＯ）。したがって、オーバーレイ画像生成部３６３は上述と同様の処理を繰り返す（ステップＳＢ１〜ＳＢ３、ＳＢ４：ＹＥＳ、ＳＢ５、ＳＢ６）。この結果、ディスプレイ２４１には図１０と同様の画像が表示され続ける。ただし、上記３つの鍵が押鍵されている間にも生徒は次の打鍵または離鍵に備えて手を動かすから、識別画像Ｐ１〜Ｐ３の背景の実写画像は変化し続ける。

また、以降、上記３つの鍵の離鍵に先立って他の鍵が打鍵されると、鍵特定部３６２およびオーバーレイ画像生成部３６３において上述と同様の処理が繰り返され（ステップＳＡ１：ＹＥＳ、ＳＡ２、ＳＡ３：ＮＯ、ＳＢ１〜ＳＢ３、ＳＢ４：ＹＥＳ、ＳＢ５、ＳＢ６）、ディスプレイ２４１には、より多くの識別画像が表示されることになる。

ここでは、図１０に示す画像がディスプレイ２４１に表示されているときに、生徒が上記３つの鍵を同時に離鍵するものとする。この離鍵時には、鍵盤楽器３１からＭＩＤＩデータが出力される。このＭＩＤＩデータには３つのノートオフメッセージが含まれている。ノートオフメッセージ中のノートナンバーとしては、Ｃの鍵用のものが９６を、Ｅの鍵用のものが１００を、Ｇの鍵用のものが１０３を格納している。

このＭＩＤＩデータは鍵特定部３６２に入力される。このＭＩＤＩデータにはノートオンメッセージが含まれておらず、ノートオフメッセージが含まれているから、鍵特定部３６２は、このＭＩＤＩデータ内のノートオフメッセージを用いて鍵盤情報テーブル３６１を更新する（ステップＳＡ１：ＮＯ、ＳＡ３：ＹＥＳ、ＳＡ４）。この更新では、図３に示すように、上記３つのノートオフメッセージ内のノートナンバーに相当するキーナンバー（７６、８０、８３）の鍵（Ｃ、Ｅ、Ｇの鍵）の操作状態が「オフ」となる。この結果、鍵盤情報テーブル３６１内の全ての操作状態が「オフ」となる。

一方、オーバーレイ画像生成部３６３は、上記の離鍵直後にカメラ３３から出力された画像データを入力すると、前述と同様の処理により鍵盤情報テーブル３６１内の座標を更新する（ステップＳＢ１〜ＳＢ３）。次に、オーバーレイ画像生成部３６３は鍵盤情報テーブル３６１を参照し、操作状態が「オン」の鍵があるか否かを判定する（ステップＳＢ４）。この時点では、鍵盤情報テーブル３６１内の全ての操作状態が「オフ」となっているから、この判定結果は「ＮＯ」となる。よって、オーバーレイ画像生成部３６３は、入力した画像データと同一サイズであり、かつ全ての画素が透明画素であるオーバーレイ画像データを生成して出力し（ステップＳＢ７）、入力した画像データについての処理を終了する。このオーバーレイ画像データはビデオミキサ３７に入力される。

ビデオミキサ３７は、カメラ３３からの画像データにオーバーレイ画像生成部３６３からのオーバーレイ画像データを透過合成して合成画像データを生成し、これを出力する。ビデオミキサ３７から出力された合成画像データは、最終的に、ディスプレイ２４１に表示される。この結果、ディスプレイ２４１には鍵盤３１１周辺の実写画像そのものが表示される（図６参照）。

以上、説明したように、本システムによれば、教師側設備２のディスプレイ２４１には、生徒側設備３の鍵盤３１１周辺の実写画像において、生徒に押鍵されている鍵の実写画像を各鍵の操作量に応じた色の識別画像で強調した画像が表示される。よって、教師は、ディスプレイ２４１を参照するだけで、適切な指使いで適切な鍵が操作されているか否かを確認することができる。

ところで、カメラ３３の設置位置が変更されると、カメラ３３で撮影した画像データ中の鍵の位置が変わる。しかし、本システムでは、オーバーレイ画像生成部３６３がカメラ３３からの画像データを入力する度に基準位置、基準方向および基準長を特定して鍵盤情報テーブル３６１内の座標を更新するから、ディスプレイ２４１における識別画像の表示位置は常に適切な位置となる。

［変形］
上述した実施形態を以下に列記するように変形してもよい。
例えば、鍵盤楽器のペダルについても鍵盤と同様の処理を行うようにしてもよい。
例えば、鍵盤情報テーブル３６１に鍵の種別（白鍵／黒鍵）をも格納しておき、押鍵されている鍵が黒鍵であれば当該黒鍵についての識別画像を表示しない、または当該黒鍵に重なる位置に表示する、ようにしてもよい。さらに、これらの形態において、白鍵の前幅を前述の所定区間の長さとした基準画像を用いて各白鍵の座標を算出し、白鍵についての識別画像が当該白鍵の前幅における中央付近に表示されるようにしてもよい。
例えば、各鍵の座標の算出に、基準位置、基準方向および基準長のみならず、基準画像Ｂの歪みの程度をも用いるようにしてもよい。この形態であれば、鍵盤３１１に対するカメラ３３の向きが可変の場合にも対応可能である。

例えば、カメラ３３の設置の仕方を制限するのであれば、基準位置および基準方向のみを用いる形態としてもよいし、基準位置および基準長のみを用いる形態としてもよいし、基準位置のみを用いる形態としてもよい。
例えば、周知の画像認識技術により鍵の画像を認識して鍵の座標を求めるようにしてもよい。この形態では、基準画像Ｂを不要としてもよいし、基準画像Ｂを用いて基準位置、基準方向および基準長の少なくとも１つを求めることにより鍵の画像の認識処理を簡素化するようにしてもよい。

例えば、打鍵強度を表す数字を識別画像として表示するようにしてもよいし、打鍵強度が異なっても同一色の識別画像を表示するようにしてもよい。また、表示する識別画像を鍵に応じて変えるようにしてもよい。例えば、識別画像を表示すべき鍵に対応する音高が「ミ」であれば、文字「ミ」を識別画像としてもよい。また、識別画像越しに背後の実写画像が透けて見えるような透過合成を行うようにしてもよい。

例えば、操作されていない鍵の位置に識別画像を表示し、操作されている鍵の位置に識別画像を表示しないようにしてもよい。また、識別画像の表示位置を、該当する鍵の位置そのものではなく、その近傍位置としてもよい。
例えば、画像生成装置３６の機能をプログラムで実現してもよい。この場合、このプログラムを実行するコンピュータが画像生成装置３６と同等の装置として機能する。

例えば、画像生成装置３６にビデオミキサ３７を一体化してもよい。また、画像生成装置３６において、オーバーレイ画像生成部３６３で合成画像データの生成および出力を行うようにしてもよい。この場合、ビデオミキサ３７は不要となる。また、画像生成装置３６を鍵盤楽器３１に一体化してもよいし、画像生成装置３６にビデオミキサ３７を一体化したものを鍵盤楽器３１に一体化してもよい。

ところで、ノートオンメッセージまたはノートオフメッセージを含むＭＩＤＩデータは楽音の音高を表している。つまり、ＭＩＤＩデータは楽音信号の一種である。この観点で眺めると、鍵特定部３６２では入力した楽音信号が表す音高の楽音を鍵盤楽器が発する場合に打鍵されるべき鍵が特定されていることになる。よって、例えば、鍵特定部３６２を、マイクで集音した楽音信号を入力し、この楽音信号から操作されている操作部（鍵）を特定するように変形することも可能である。この態様であれば、ＭＩＤＩに対応していない鍵盤楽器はもちろん、楽音の音高から操作されるべき操作部を特定可能な任意の楽器（例えば管楽器）の教習にも対応できる。なお、この形態では、操作部の操作量は、集音した楽音信号の大きさ（音圧／音量）に基づいて特定される。

本発明の一実施形態に係る遠隔教習システムの構成を示すブロック図である。 同システム内の画像生成装置３６の構成を示すブロック図である。 画像生成装置３６内の鍵盤情報テーブル３６１の内容を模式的に示す図である。 画像生成装置３６内の鍵特定部３６２が行う処理の流れを示すフローチャートである。 画像生成装置３６内の鍵盤情報テーブル３６１の内容を模式的に示す図である。 同システム内のカメラ３３が撮影した画像データの表示イメージを示す図である。 画像生成装置３６内のオーバーレイ画像生成部３６３が行う処理の流れを示すフローチャートである。 オーバーレイ画像生成部３６３における座標の算出原理を説明するための図である。 オーバーレイ画像生成部３６３が出力したオーバーレイ画像データの表示イメージを示す図である。 同システムを構成する端末２４のディスプレイ２４１に表示される画像を示す図である。

符号の説明

１…ネットワーク、２…教師側設備、２４，３４…端末、２４１，３４１…ディスプレイ、３…生徒側設備、３１…鍵盤楽器、３１１…鍵盤、３３…カメラ、３６…画像生成装置、３６１…鍵盤情報テーブル、３６２…鍵特定部、３６３…オーバーレイ画像生成部、３７…ビデオミキサ。

Claims (6)

1. 楽音信号を入力する楽音入力手段と、
   前記楽音入力手段により入力された楽音信号が表す楽音を楽器が発する場合に前記楽器において操作されるべき操作部を特定する操作部特定手段と、
   実写画像を表す画像信号を入力する画像入力手段と、
   前記画像入力手段により入力された画像信号を用いて、該画像信号で表される実写画像における前記楽器の操作部の位置を特定する位置特定手段と、
   前記操作部特定手段により特定された操作部を、該操作部について前記位置特定手段により特定された位置を用いて、前記画像入力手段により入力された画像信号で表される実写画像において強調して示す画像信号を生成する画像生成手段と
   を有する画像生成装置。
2. 前記画像生成手段は、前記画像入力手段により入力された画像信号で表される実写画像に重ねて表示された場合に前記操作部特定手段により特定された操作部について前記位置特定手段により特定された位置またはその近傍に予め定められた識別画像が位置することになるオーバーレイ画像を表す画像信号を生成する
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記楽音入力手段により入力された楽音信号が表す楽音を前記楽器が発する場合に前記楽器において操作されるべき操作部の操作量を特定する操作量特定手段を有し、
   前記画像生成手段は、前記操作部特定手段により特定された操作部を、該操作部について前記位置特定手段により特定された位置を用いて、前記画像入力手段により入力された画像信号で表される実写画像において前記操作量特定手段により特定された操作量に応じた態様で強調して示す画像信号を生成する
   ことを特徴とする請求項１に記載の画像生成装置。
4. 前記画像入力手段により入力された画像信号を用いて、該画像信号で表される実写画像における基準画像の向きを検出する向き検出手段を有し、
   前記位置特定手段は、前記向き検出手段により検出された向きと前記画像入力手段により入力された画像信号とを用いて、該画像信号で表される実写画像から前記楽器の操作部の位置を特定する
   ことを特徴とする請求項１に記載の画像生成装置。
5. 前記画像入力手段により入力された画像信号を用いて、該画像信号で表される実写画像における基準画像の長さを検出する長さ検出手段を有し、
   前記位置特定手段は、前記長さ検出手段により検出された長さと前記画像入力手段により入力された画像信号とを用いて、該画像信号で表される実写画像から前記楽器の操作部の位置を特定する
   ことを特徴とする請求項１に記載の画像生成装置。
6. 操作部を有する楽器において、
   操作されている前記操作部を特定する操作部特定手段と、
   実写画像を表す画像信号を入力する画像入力手段と、
   前記画像入力手段により入力された画像信号で表される実写画像における前記操作部の実写画像の位置を特定する位置特定手段と、
   前記操作部特定手段により特定された操作部を、該操作部について前記位置特定手段により特定された位置を用いて、前記画像入力手段により入力された画像信号で表される実写画像において強調して示す画像信号を生成する画像生成手段と
   を有する楽器。

Images