JP2002175071A - 演奏ガイド方法、演奏ガイド装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 電子鍵盤楽器等において演奏ガイドを行う
際、微妙な演奏ニュアンスを伝えながらも操作すべき内
容をユーザに明確に呈示する。 【解決手段】 図４(a)に示す鍵盤画像３６はコンピュ
ータグラフィック等によって作成され、演奏ガイド時に
は色分け表示等によって操作すべき鍵を明示する。ま
た、同図(b)の手画像３７，３８は、プロのピアニスト
等の模範演奏を撮影し、手以外の部分を透過状態にした
ものである。ユーザに対して演奏ガイドを行う場合は、
両者をスーパーインポーズし、同図(c)のように手画像
３７，３８を上のレイヤーに位置させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子楽器等、演奏
者が演奏情報を入力する装置に用いられる演奏ガイド方
法、演奏ガイド装置および記録媒体に関し、特に鍵盤楽
器の演奏の学習に用いて好適な演奏ガイド方法、演奏ガ
イド装置および記録媒体に関する。

【０００２】

【従来の技術】ピアノ等の演奏の練習を行う際、演奏の
進行に応じて、次に押下する鍵や当該鍵を押下する指を
指示できれば、効果的な練習が可能になる。そこで、従
来より、押鍵指示機能および演奏ガイド機能を備えた各
種の演奏指示装置が知られている。例えば、特開平９−
３０５１７１号公報においては、鍵盤画像とピアノロー
ル譜をディスプレイに表示し、演奏の進行に応じてピア
ノロール譜をスクロールするとともに、鍵盤画像のうち
押下すべき鍵を色分け表示する技術が開示されている。
また、特開平７−３６４４６号公報においては、例えば
プロのピアニスト等の模範演奏を撮影し、その画像デー
タを再生時のテンポに応じて再生する技術が開示されて
いる。

【０００３】

【発明が解決しようとする課題】ところで、プロのピア
ニスト等の模範演奏をそのまま再生することは、操作す
べき鍵および運指をユーザが正確に認識できている場合
には、確かに好適であると思われる。ユーザは模範演奏
を参照することによって微妙なニュアンスのつけ方をさ
らに学ぶことができるからである。しかし、ユーザが操
作すべき鍵や運指を正確に認識できていない場合には、
実写画像に基づいてこれを学ぶことは困難である。すな
わち、鍵盤は平面的な操作子であるから、鍵盤を実写し
た画像ではどの鍵が押下されているのか、またどの指で
押下されているのか解りにくいという問題があった。こ
の発明は上述した事情に鑑みてなされたものであり、微
妙な演奏ニュアンスを伝えながらも操作すべき内容を明
確に呈示できる演奏ガイド方法、演奏ガイド装置および
記録媒体を提供することを目的としている。

【０００４】

【課題を解決するための手段】上記課題を解決するため
本発明にあっては、下記構成を具備することを特徴とす
る。なお、括弧内は例示である。請求項１記載の構成に
あっては、演奏情報をメモリから読み出す過程（ステッ
プＳＰ３）と、該演奏情報に基づいて、演奏操作子の操
作状況を示す演奏操作子画像を生成する過程（ステップ
ＳＰ１４，ＳＰ１５）と、該演奏情報に基づいて、演奏
者が前記演奏操作子の操作を行う状態を撮影して成る操
作画像を再生する過程（ステップＳＰ１４，ＳＰ１５）
と、前記操作画像が優先して表示されるように前記演奏
操作子画像と前記操作画像とを合成して表示する表示過
程（ステップＳＰ１４，ＳＰ１５）とを有することを特
徴とする。さらに、請求項２記載の構成にあっては、請
求項１記載の演奏ガイド方法において、前記操作画像は
鍵盤を操作する演奏者の手を撮影して成る画像であり、
前記演奏操作子画像は、該鍵盤を上方から見た状態を描
写して成る描写画像であり、操作画像の撮影時における
鍵盤に対応する大きさを有し、押下されるべき鍵を他の
鍵とは異なる態様で描画して成る画像であることを特徴
とする。さらに、請求項３記載の構成にあっては、請求
項１記載の演奏ガイド方法において、前記演奏情報に基
づいて楽音信号を発生する楽音信号発生過程（ステップ
ＳＰ３１〜ＳＰ３９）をさらに有し、前記表示過程は該
楽音信号発生過程に同期して実行されることを特徴とす
る。さらに、請求項４記載の構成にあっては、請求項１
記載の演奏ガイド方法において、前記演奏操作子画像
は、該鍵盤を上方から見た状態を描写して成る描写画像
であり、前記演奏情報に基づいて、操作すべき鍵とこれ
ら鍵の操作タイミングとを表すピアノロール譜（３３）
を生成する過程（ステップＳＰ２１〜ＳＰ２４）と、前
記演奏操作子画像に隣接するように該ピアノロール譜を
表示する過程（図３）とをさらに有することを特徴とす
る。さらに、請求項５記載の構成にあっては、請求項１
記載の演奏ガイド方法において、前記演奏情報、前記演
奏操作子画像および前記操作画像を、予め共通の記憶装
置（ハードディスクドライブ１１）に格納する過程をさ
らに有することを特徴とする。また、請求項６記載の構
成にあっては、演奏情報をメモリから読み出す過程（ス
テップＳＰ３）と、該演奏情報に基づいて、演奏操作子
の操作状況を示す演奏操作子画像を生成する過程と、第
１または第２の動作モードの指定を受ける過程と、前記
第１の動作モード（上級者モード）の指定を受けたこと
を条件として、前記演奏情報に基づいて、演奏者が前記
演奏操作子の操作を行う状態を撮影して成る画像を操作
画像として再生する過程と、前記第２の動作モード（初
心者モード）の指定を受けたことを条件として、前記演
奏情報に基づいて、演奏者が前記演奏操作子の操作を行
う状態を描写して成る画像を操作画像として生成する過
程と、前記操作画像が優先して表示されるように、前記
演奏操作子画像と前記操作画像とを合成して表示する表
示過程（図４）とを有することを特徴とする。さらに、
請求項７記載の構成にあっては、請求項６記載の演奏ガ
イド方法において、前記演奏操作子画像は、鍵盤を上方
から見た状態を描写して成る描写画像であり、前記第１
の動作モードの操作画像の撮影時における鍵盤に対応す
る大きさを有し、押下されるべき鍵を他の鍵とは異なる
態様で描画して成る画像であることを特徴とする。ま
た、請求項８記載の構成にあっては、演奏情報をメモリ
から読み出す過程と、第１または第２の動作モードの指
定を受ける過程と、前記第１の動作モード（上級者モー
ド）の指定を受けたことを条件として、該演奏情報に基
づいて、演奏操作子および演奏者が前記演奏操作子の操
作を行う状態を撮影して成る撮影画像を表示する第１の
表示過程と、前記第２の動作モード（初心者モード）の
指定を受けたことを条件として、演奏操作子の操作状況
を示す演奏操作子画像を生成する過程と、前記第２の動
作モードの指定を受けたことを条件として、前記演奏情
報に基づいて、演奏者が前記演奏操作子の操作を行う状
態を描写して成る画像を操作画像として生成する過程
と、前記第２の動作モードの指定を受けたことを条件と
して、前記操作画像が優先して表示されるように、前記
演奏操作子画像と前記操作画像とを合成して表示する第
２の表示過程とを有することを特徴とする。また、請求
項９記載の構成にあっては、請求項１ないし８の何れか
に記載の方法を実行することを特徴とする。また、請求
項１０記載の構成にあっては、請求項１ないし８の何れ
かに記載の方法を実行するプログラムを記憶したことを
特徴とする。

【０００５】

【発明の実施の形態】１．実施形態の構成 １．１．ハードウエア構成 次に、本発明の一実施形態の電子鍵盤楽器のハードウエ
ア構成を図１を参照し説明する。同図に示すように、本
実施形態の電子鍵盤楽器は、音高情報を入力するための
鍵盤１と、各種情報を入力するための複数のスイッチを
備えたパネルスイッチ２と、鍵盤１の各鍵の押鍵状態を
検出する押鍵検出回路３と、パネルスイッチ２の各スイ
ッチの押下状態を検出するスイッチ検出回路４と、装置
全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制
御プログラムやテーブルデータ等を記憶するＲＯＭ６
と、自動演奏データ、各種入力情報および演算結果等を
一時的に記憶するＲＡＭ７と、タイマ割り込み処理にお
ける割り込み時間や各種時間を計時するタイマ８と、各
種情報等を表示する、たとえば大型ＬＣＤ若しくはＣＲ
ＴおよびＬＥＤ等を備えた表示装置９と、記憶媒体であ
るフロッピディスク（ＦＤ）をドライブするフロッピデ
ィスクドライブ（ＦＤＤ）１０と、前記制御プログラム
を含む各種アプリケーションプログラムや各種データ等
を記憶する外部記憶装置であるハードディスクドライブ
（ＨＤＤ）１１と、前記制御プログラムを含む各種アプ
リケーションプログラムや各種データ等を記憶するコン
パクトディスク−リード・オンリ・メモリ（ＣＤ−ＲＯ
Ｍ）をドライブするＣＤ−ＲＯＭドライブ１２と、外部
からのＭＩＤＩ（Musical Instrument Digital Interfa
ce）信号を入力したり、ＭＩＤＩ信号として外部に出力
したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３
と、通信ネットワーク１０１を介して、たとえばサーバ
コンピュータ１０２とデータの送受信を行う通信インタ
ーフェース（Ｉ／Ｆ）１４と、鍵盤１から入力された演
奏データや自動演奏データ等を楽音信号に変換する音源
回路１５と、該音源回路１５からの楽音信号に各種効果
を付与するための効果回路１６と、該効果回路１６から
の楽音信号を音響に変換する、たとえばスピーカ等のサ
ウンドシステム１７とにより構成されている。

【０００６】上記構成要素３〜１６は、バス１８を介し
て相互に接続され、ＣＰＵ５にはタイマ８が接続され、
ＭＩＤＩインターフェース１３には他のＭＩＤＩ機器１
００が接続され、通信インターフェース１４には通信ネ
ットワーク１０１が接続され、音源回路１５には効果回
路１６が接続され、効果回路１６にはサウンドシステム
１７が接続されている。

【０００７】ＨＤＤ１１には、前述のようにＣＰＵ５が
実行する制御プログラムが記憶され、ＲＯＭ６に制御プ
ログラムが記憶されていない場合には、このＨＤＤ１１
内のハードディスクに制御プログラムを記憶させてお
き、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に
制御プログラムを記憶している場合と同様の動作をＣＰ
Ｕ５にさせることができる。このようにすると、制御プ
ログラムの追加やバージョンアップ等が容易に行える。

【０００８】ＣＤ−ＲＯＭドライブ１２のＣＤ−ＲＯＭ
から読み出された制御プログラムや各種データは、ＨＤ
Ｄ１１内のハードディスクにストアされる。これによ
り、制御プログラムの新規インストールやバージョンア
ップ等が容易に行える。なお、このＣＤ−ＲＯＭドライ
ブ１２以外にも、外部記憶装置として、光磁気ディスク
（ＭＯ）装置等、様々な形態のメディアを利用するため
の装置を設けるようにしてもよい。

【０００９】通信Ｉ／Ｆ１４は、上述のように、ＬＡＮ
（ローカルエリアネットワーク）やインターネット、電
話回線等の通信ネットワーク１０１に接続されており、
該通信ネットワーク１０１を介して、サーバコンピュー
タ１０２と接続される。ハードディスク装置１１内に上
記各プログラムや各種パラメータが記憶されていない場
合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１０２
からプログラムやパラメータをダウンロードするために
用いられる。クライアントとなるコンピュータ（本実施
形態の電子楽器）は、通信Ｉ／Ｆ１４及び通信ネットワ
ーク１０１を介してサーバコンピュータ１０２へとプロ
グラムやパラメータのダウンロードを要求するコマンド
を送信する。サーバコンピュータ１０２は、このコマン
ドを受け、要求されたプログラムやパラメータを、通信
ネットワーク１０１を介してコンピュータへと配信し、
コンピュータが通信Ｉ／Ｆ１０１を介して、これらプロ
グラムやパラメータを受信してハードディスク装置１１
に蓄積することにより、ダウンロードが完了する。な
お、この他、外部コンピュータ等との間で直接データの
やりとりを行うためのインターフェースを備えてもよ
い。

【００１０】１．２．データフォーマット 次に、本実施形態において使用される自動演奏データの
データフォーマットを図２に示す。同図に示すように、
自動演奏データは、ヘッダデータ２１、デュレーション
データ２２、ノートイベントデータ２３、小節線データ
２４、テンポデータ２５およびファイルエンドデータ２
６により、主として構成されている。ヘッダデータ２１
とは、自動演奏データの先頭に記憶されるデータをい
い、本実施形態では、ヘッダデータ２１として、曲名や
初期テンポ等のデータが記憶されている。デュレーショ
ンデータ２２とは、イベントデータ（本実施形態では、
ノートイベントデータ２３、小節線データ２４およびテ
ンポデータ２５）間の間隔を示す時間データをいう。こ
のデュレーションデータ２２は、４分音符の１／６４を
単位として記録される。また、ノートイベントデータ２
３とは、ノートオンイベントデータおよびノートオフイ
ベントデータの２種類のデータをいう。

【００１１】ノートオンイベントデータは、ノートオ
ン、ＭＩＤＩチャンネル、ノートナンバおよびベロシテ
ィの各データにより構成され、ノートオフイベントデー
タは、ノートオフ、ＭＩＤＩチャンネルおよびノートナ
ンバの各データにより構成されている。ＭＩＤＩチャン
ネルは、たとえば１６チャンネルで構成され、チャンネ
ル１および２には、それぞれ右手および左手データが割
り当てられ、その他のチャンネルには伴奏用のイベント
データが割り当てられている。ここで、チャンネル１お
よび２とは、演奏ガイドを行うためのノートイベントデ
ータが割り当てられるＭＩＤＩチャンネルをいい、右手
データとは、演奏者が右手で弾くべきノートイベントデ
ータをいい、左手データとは、演奏者が左手で弾くべき
ノートイベントデータをいう。

【００１２】このように、各ノートイベントデータ毎に
ＭＩＤＩチャンネルを記憶したことにより、ノートイベ
ントデータ２３を各イベントの種類に拘わらず出力順に
１列に並べて記憶させることができる。そして、実際に
これらを読み出して処理する段階で、当該ＭＩＤＩチャ
ンネルに基づいてイベントの種類を判別し、その判別結
果に応じて当該ノートイベントの処理を行うことができ
る。なお、本実施形態では、ノートオフイベントデータ
は、ベロシティを含まない構成にしているが、ベロシテ
ィを含むような構成にしてもよいことはいうまでもな
い。

【００１３】次に、小節線データ２４とは、小節線を表
示するためのデータをいい、テンポデータ２５とは、テ
ンポを変更するためのデータをいう。さらに、ファイル
エンドデータ２６とは、ファイル、すなわち自動演奏デ
ータの終わりを示すデータをいう。実際には、自動演奏
データには、上述のデータ以外のデータも含まれている
が、本発明を説明する上で必須のものではないため、そ
の説明を省略する。なお、本実施形態では、イベントデ
ータを、その割り当てられたＭＩＤＩチャンネルに拘わ
らず、出力順に１列に並べて記憶するようにしたが、こ
れに限らず、ＭＩＤＩチャンネルに対応したトラックを
設け、このトラック毎にイベントデータを割り当てるよ
うにしてもよい。このようにすれば、上述のように、ノ
ートイベントデータ毎にＭＩＤＩチャンネルを記憶する
必要はないが、メモリ容量は増大する。

【００１４】また、本実施形態では、自動演奏データの
データフォーマットを上述のように「イベントデータ＋
デュレーションデータ」という構成にしたが、これに限
る必要はなく、たとえば「イベントデータ＋相対時間デ
ータ」、「イベントデータ＋絶対時間データ」、「音高
データ＋符長データ」等どのようなフォーマットでもよ
い。

【００１５】１．３．表示装置９における表示例 次に、表示装置９における表示の一例を図３に示す。図
において３２は楽譜表示部であり、自動演奏データに基
づいて合成された楽譜画像が表示される。楽譜表示部３
２中の３２ａは演奏ポインタであり、現在演奏すべき位
置を表示する。３３はピアノロール譜表示部であり、押
鍵から離鍵までの鍵の操作範囲が縦バーで表示され、こ
の縦バーに係る音名（Ａ，Ｂ，Ｃ等）が縦バーの下方に
表示される。以下、「縦バー」を「スクロールバー」と
いう。３５は鍵操作表示部であり、鍵盤画像３６と、こ
れを演奏する模範演奏の手画像３７，３８が表示され
る。

【００１６】ピアノロール譜表示部３３は、白鍵の個数
に、かつ白鍵の幅と等間隔に分割され、操作すべき鍵が
白鍵の場合には、前記スクロールバーが、この複数個の
分割領域中、当該鍵に対応する領域上の、操作すべき鍵
および操作すべきタイミングに応じた位置に表示され
る。一方、操作すべき鍵が黒鍵の場合には、スクロール
バーは、実際の鍵盤１と同様に白鍵と白鍵とを跨いだ位
置、すなわち当該各白鍵にそれぞれ対応する分割領域を
跨いだ位置であって、操作すべき鍵および操作すべきタ
イミングに応じた位置に表示される。また、ピアノロー
ル譜表示部３３には、小節の区切りを示す実線である小
節線３３ａおよび拍の区切りを示す破線である拍線３３
ｂが横方向に描画されている。

【００１７】スクロールエリア３２ａは、縮小表示鍵盤
３１の白鍵の個数にかつ等間隔に分割され、操作すべき
鍵が白鍵の場合には、前記スクロールバーが、この複数
個の分割領域中、当該鍵に対応する領域上の、操作すべ
き鍵および操作すべきタイミングに応じた位置に表示さ
れる。一方、操作すべき鍵が黒鍵の場合には、スクロー
ルバーは、実際の鍵盤１と同様に白鍵と白鍵とを跨いだ
位置、すなわち当該各白鍵にそれぞれ対応する分割領域
を跨いだ位置であって、操作すべき鍵および操作すべき
タイミングに応じた位置に表示される。

【００１８】演奏者が押鍵すべきタイミングは、スクロ
ールバーの下限がピアノロール譜表示部３３の下限に到
達したときであり、このとき、鍵操作表示部３５におい
ては、当該押鍵すべき鍵の色が、そのスクロールバーの
色と同一の色（例えば水色）に着色され表示される。こ
れに応じて演奏者が鍵盤１を押鍵したときに、その押鍵
が正しければ、縮小表示鍵盤３１の当該鍵の色は、たと
えば青色に変更される一方、その押鍵が間違っていれ
ば、縮小表示鍵盤３１の当該鍵の色は、例えば赤色に変
更される。そして、離鍵時においては、その鍵の色が例
えば黄色に変更される。

【００１９】ここで、鍵操作表示部３５の画像合成方法
を図４を参照し説明しておく。同図(a)は鍵盤画像３６
であり、同図(b)は手画像３７，３８である。これらの
画像は別々に作成される。鍵盤画像３６はコンピュータ
グラフィックにより作図される。また、同図(b)の手画
像３７，３８は、動作モードに応じたものが選択され
る。すなわち、本実施形態の動作モードとしては、初心
者モードと上級者モードとがあり、初心者モードにおい
てはコンピュータグラフィックにより手画像３７，３８
が合成される。

【００２０】一方、上級者モードにおいては、ピアニス
ト等の演奏状態を撮影した実写画像が用いられる。手画
像３７，３８の撮影は、鍵盤全体が自然な形で映るよう
に鍵盤の略真上にカメラを設置して行うとよい。また、
演奏者の手は手首まで映るようにしておくと、後に視認
しやすくなる。

【００２１】演奏状態を撮影する際には、演奏者の手の
みならず、鍵盤や演奏者の衣服等も撮影されるが、これ
は画像処理によって除去することができる。最も簡易な
方法としては、鍵、ピアノの筐体、衣服等を青色に着色
しておき、撮影後に青色を透過色に変換すればよい。か
かる手法はブルーバック撮影と称されている。

【００２２】この上級者モード用の実写画像は、ハード
ディスクドライブ１１に格納されるが、ファイルフォー
マットとしてはＡＶＩフォーマットを利用すると好適で
ある。後に鍵操作表示部３５を生成する際には、同図
(c)に示すように、鍵盤画像３６と手画像３７，３８と
をスーパーインポーズするとよい。その際、手画像３
７，３８の方を上のレイヤーに位置させる必要がある。
すなわち、鍵盤画像３６と手画像３７，３８が重なる部
分については、手画像３７，３８が優先的に表示される
ことになる。

【００２３】ここで、鍵盤画像３６として実写画像を用
いずコンピュータグラフィックを用いた理由は、押下す
べき鍵の色を変える等の画像処理を容易に行うことがで
き、ユーザに対してより明確な演奏ガイドを行うことが
できるからである。さらに、初心者モードにおいては手
画像３７，３８としてコンピュータグラフィックを用い
たため、ユーザが行うべき演奏操作を強調して表示する
ことができる。

【００２４】次に、初心者モード用の手画像３７，３８
の生成方法について説明しておく。先に述べた実写画像
を撮影する際、演奏者の指の関節に磁気式、赤外線式等
のセンサが装着され、実写画像の撮影とともに、これら
センサの検出値も記録される。記録されたデータはスケ
ルトンモデルに当てはめられ、コンピュータグラフィッ
クのアニメーションによって初心者モード用の手画像３
７，３８が生成される。なお、かかる手法は、モーショ
ンキャプチャと呼ばれている。

【００２５】図５は、初心者モードにおける鍵操作表示
部３５の表示例を示す。この図において操作すべき鍵は
上述したように着色して表示され、さらにこれらの鍵を
押下する指も着色表示されている（図上ではハッチング
されている）。なお、操作すべき指を強調表示する手法
はこれに限定されるものではなく、例えば操作すべき指
を長く、あるいは太く表示する等、他の指とは異なる態
様で表示すればよい。

【００２６】２．実施形態の動作 ２．１．初期設定 次に、本実施形態の動作を説明する。まず、電子鍵盤楽
器の電源が投入されると、図６に示すメインルーチン
（図６）が起動される。図において処理がステップＳＰ
１０１に進むと、所定の初期設定が行われる。すなわ
ち、レジスタ、フラグ、その他種々のパラメータに対し
て初期値が入力される。そして、ステップＳＰ１０１に
おいては、所定の初期画面（図示せず）が表示される。
初期画面においては、記憶されている自動演奏データの
楽曲名が表示装置９に表示され、ユーザはこの中から練
習を行う楽曲名を選択すること等が可能になる。

【００２７】２．２．パネル処理（ＳＰ１０２） 次に、処理がステップＳＰ１０２に進むと、図７に示す
パネル処理ルーチンが呼び出される。図において処理が
ステップＳＰ１に進むと、スイッチ検出回路４を介して
パネルスイッチ２のイベントが検出され、検出されたイ
ベントに応じた各種の処理が実行される。例えば、ユー
ザが選曲操作を行ったのであれば、複数の楽曲の中から
ユーザの指定する楽曲が選択され、その自動演奏データ
がハードディスクドライブ１１からＲＡＭ７に読み込ま
れる。

【００２８】また、ユーザが動作モード選択操作を行っ
たのであれば、動作モードとして上級者モードまたは初
心者モードの何れかが選択される。また、パネルスイッ
チ２の操作により、演奏ガイドとともに自動演奏を行う
か否かが設定される。その際、自動演奏を行うべきＭＩ
ＤＩチャンネルも指定される。これにより、ユーザは、
所望の練習態様にとって最適なＭＩＤＩチャンネルを自
動演奏させることができる。例えば、ユーザが演奏すべ
きＭＩＤＩチャンネル１，２のみを自動演奏させること
もでき、ＭＩＤＩチャンネル１，２のうち一方のみ（す
なわち片手の演奏のみ）を自動演奏させることもでき、
ＭＩＤＩチャンネル１，２以外のＭＩＤＩチャンネルを
自動演奏させることも可能である。

【００２９】また、パネルスイッチ２の操作により、図
３における楽譜表示部３２を表示するか否かも選択され
る。さらに、演奏ガイドのテンポも選択される。演奏ガ
イドに係る自動演奏データは、記録時にはテンポ「１０
０」で記録されている。従って、演奏ガイドのテンポが
これよりも増減した場合は、各種画像の更新周期が増減
されることになる。次に、処理がステップＳＰ２に進む
と、パネルスイッチ２において「演奏ガイドスタート指
示」が行われたか否かが判定される。ここで「ＮＯ」と
判定されると、処理はメインルーチンに戻る。

【００３０】一方、ステップＳＰ２において「ＹＥＳ」
と判定されると、処理はステップＳＰ３に進み、演奏ガ
イドの初期画像が表示装置９に表示される。まず、初期
画像を表示するために、４小節分の自動演奏データがＲ
ＡＭ７から読み出され、楽曲開始部分における２小節分
のピアノロール譜がピアノロール譜表示部３３に表示さ
れる。また、楽譜画像の表示を行う旨が選択されていた
場合には、楽譜表示部３２に当該楽曲の４小節分の楽譜
が表示され、演奏ポインタ３２ａが演奏開始位置に表示
される。以上のステップが終了すると、処理はメインル
ーチンに戻る。

【００３１】２．３．演奏ガイド処理（ＳＰ１０３） 次に、メインルーチンにおいて処理がステップＳＰ１０
３に進むと、図８に示す演奏ガイド処理ルーチンが呼び
出される。図において処理がステップＳＰ１１に進む
と、既に演奏ガイドがスタートされているか否かが判定
される。すなわち過去にステップＳＰ１において演奏ガ
イドスタート指示が行われたか否かが判定される。ここ
で「ＮＯ」と判定されると、本ルーチンにおいては実質
的な処理は行われず、処理はメインルーチン（図６）に
戻る。一方、ここで「ＹＥＳ」と判定されると、処理は
ステップＳＰ１２に進み、画像更新タイミングに達した
か否かが判定される。

【００３２】ここで、「画像更新タイミング」について
説明しておく。上述したように演奏ガイドに係る自動演
奏データは、記録時にはテンポ「１００」で記録されて
いる。そして、このテンポ「１００」に対して、表示装
置９の更新周期は「１／３０秒」になるように設定され
る。従って、演奏ガイドのテンポも「１００」であれ
ば、表示装置９の表示画像は「１／３０秒」毎に更新す
る必要があり、画像更新タイミングは「１／３０秒」毎
に発生することになる。ステップＳＰ１２においては、
現在時刻がこの画像更新タイミングに達したか否かが判
定されるのである。

【００３３】但し、上述したように、演奏ガイドのテン
ポはユーザが任意に設定できるため、設定されたテンポ
Ｎに応じて、更新周期Ｔは、Ｔ＝１００／（Ｎ・３０）
になるように設定される。例えば、演奏ガイドのテンポ
が「１２０」であれば、更新周期は「１／３６秒」に設
定される。現在時刻が画像更新タイミングに達していな
かった場合はステップＳＰ１２において「ＮＯ」と判定
され、実質的な処理は行われず、処理はメインルーチン
（図６）に戻る。一方、画像更新タイミングに達してい
れば「ＹＥＳ」と判定され、処理はステップＳＰ１３に
進む。

【００３４】ステップＳＰ１３においては、動作モード
が上級者モードであるか否かが判定される。ここで「Ｙ
ＥＳ」と判定されると、処理はステップＳＰ１４に進
む。ここでは、ハードディスクドライブ１１から鍵盤画
像３６と、実写による手画像３７，３８とが読み出され
る。そして、これらの画像は図４において説明したよう
にスーパーインポーズされ、表示装置９の鍵操作表示部
３５に表示される。その際、上述したように、ユーザが
正しい鍵を押下したか否かに応じて、押下すべき鍵が着
色される。

【００３５】一方、ステップＳＰ１３において「ＮＯ」
と判定されると、処理はステップＳＰ１５に進む。な
お、この際に設定されている動作モードは初心者モード
である。ステップＳＰ１５においては、ステップＳＰ１
４と同様に、ハードディスクドライブ１１から鍵盤画像
３６と、手画像３７，３８とが読み出され、両者がスー
パーインポーズされて表示される。但し、この場合に読
み出される手画像３７，３８は実写によるものではな
く、コンピュータグラフィックによって合成された画像
である。また、ステップＳＰ１４と同様に鍵盤画像３６
においては押下すべき鍵が着色されるが、これに加えて
手画像３７，３８においても押鍵操作を行うべき指が着
色される（図５参照）。以上のステップが終了すると、
処理はメインルーチンに戻る。

【００３６】２．４．ピアノロール画像作成処理（ＳＰ
１０４） 次に、メインルーチンにおいて処理がステップＳＰ１０
４に進むと、図９に示すピアノロール画像作成処理ルー
チンが呼び出される。図において処理がステップＳＰ２
１に進むと、先にピアノロール譜表示部３３が表示また
は更新された後に所定時間が経過したか否かが判定され
る。この所定時間は、例えば４分音符の１／６４の長さ
に設定される。この所定時間が経過していなければ「Ｎ
Ｏ」と判定され、実質的な処理が行われることなく処理
はメインルーチンに戻る。

【００３７】一方、ステップＳＰ２１において「ＹＥ
Ｓ」と判定されると、処理はステップＳＰ２２に進み、
上記所定時間相当の長さ（すなわち、拍線３３ｂの間隔
の１／６４）だけ、下方向に向かってピアノロール譜が
スクロールされる。その際、先読みされた自動演奏デー
タのうち演奏前２小節以内に達したイベントに基づい
て、ピアノロール譜の内容が更新される。すなわち、か
かる範囲内に達したノートオンイベントに対して、新た
なスクロールバーが表示される。また、既に演奏タイミ
ングが終了したスクロールバーは消去される。

【００３８】次に、処理がステップＳＰ２３に進むと、
先読みデータが不足しているか否かが判定される。すな
わち、上述したように、ピアノロール譜表示部３３を表
示するためには最短２小節分の先読みデータが必要であ
り、楽譜表示部３２を表示するためには最大４小節の先
読みデータが必要である。そこで、ステップＳＰ２３に
おいては、所定のバッファ領域に読み込まれている先読
みデータが４小節未満になったか否かが判定されるので
ある。

【００３９】ここで「ＹＥＳ」と判定されると、処理は
ステップＳＰ２４に進む。ここでは、既にバッファ領域
に読み込まれている自動演奏データの次の２小節の部分
が上記バッファ領域に読み込まれる。なお、先読みデー
タが不足していなければステップＳＰ２３において「Ｎ
Ｏ」と判定され、ステップＳＰ２４はスキップされる。
以上のステップが終了すると、処理はメインルーチンに
戻る。

【００４０】２．５．自動演奏処理（ＳＰ１０５） 次に、メインルーチンにおいて処理がステップＳＰ１０
５に進むと、図１０に示す自動演奏処理ルーチンが呼び
出される。図において処理がステップＳＰ３１に進む
と、再生タイマの値が「０」以下であるか否かが判定さ
れる。ここで、再生タイマとは、次のイベントを発生さ
せるまでに要する時間を４分音符の１／６４の値を単位
として表した数値であり、４分音符の１／６４毎のクロ
ック信号によって「１」づつデクリメントされる。な
お、再生タイマの値は初期設定時に「０」に設定されて
おり、その後は後述するステップＳＰ３８において設定
される。

【００４１】ステップＳＰ３１において「ＮＯ」と判定
されると、実質的な処理が行われることなく処理はメイ
ンルーチンに戻る。一方、「ＹＥＳ」と判定されると、
処理はステップＳＰ３２に進み、先読みされている自動
演奏データのうち１ブロックの自動演奏データが読み出
される。次に、処理がステップＳＰ３３に進むと、読み
出されたデータがイベントデータ（ノートオフまたはノ
ートオフ）であるか否かが判定される。以後の処理は、
読み出された自動演奏データの種類に応じて異なるた
め、場合を分けて説明する。

【００４２】２．５．１．イベントデータに対する処理 読み出された自動演奏データがイベントデータであった
場合はステップＳＰ３３において「ＹＥＳ」と判定さ
れ、処理はステップＳＰ３４に進む。ここでは、さら
に、当該自動演奏データがノートオンイベントであるか
否かが判定される。ここで「ＹＥＳ」と判定されると、
処理はステップＳＰ３６に進む。ここでは、音源回路１
５において新たな発音チャンネルが確保され、当該発音
チャンネルに音高、ベロシティ等の発音パラメータが設
定され、発音が開始される。一方、ステップＳＰ３３に
おいて「ＮＯ」と判定されると、当該イベントデータは
ノートオフイベントである。かかる場合は処理はステッ
プＳＰ３５に進み、対応する発音チャンネルに対して消
音処理が行われる。

【００４３】２．５．２．デュレーションデータ，その
他データに対する処理 読み出された自動演奏データがデュレーションデータで
あった場合は、ステップＳＰ３３において「ＮＯ」と判
定され、処理はステップＳＰ３７に進む。ここでは、該
自動演奏データがデュレーションデータであるか否かが
判定される。ここで「ＹＥＳ」と判定されると、処理は
ステップＳＰ３８に進み、再生タイマに該デュレーショ
ンデータが加算される。これにより、以後、新たなデュ
レーションデータが４分音符の１／６４毎のタイミング
で「１」づつデクリメントされる。そして、デュレーシ
ョンデータが「０」になった後に再びステップＳＰ３２
以降が実行され、次に自動演奏データが読み出される。
なお、読み出されたブロックがデュレーションデータ以
外のデータであった場合、処理はステップＳＰ３９に進
み、その他のイベント処理が実行される。以上のステッ
プが終了すると、処理はメインルーチンに戻る。

【００４４】２．６．その他の処理（ＳＰ１０６） 次に、メインルーチンにおいて処理がステップＳＰ１０
６に進むと、その他各種の処理が行われる。そして、処
理はステップＳＰ１０２に戻り、上述したのと同様の動
作が繰り返される。例えば、演奏途中でユーザがパネル
スイッチ２を操作して再生テンポの変更指示を行うと、
その都度ステップＳＰ１を介して再生テンポが変更され
る。

【００４５】３．実施形態の効果 本実施形態によれば、以下のような効果が得られる。ま
ず、鍵盤は平面的な操作子であるから、鍵盤を実写した
画像ではどの鍵が押下されているのか、またどの指で押
下されているのか解りにくかったが、本実施形態におい
てはコンピュータグラフィックのアニメーションによっ
て鍵盤が描画されるから、押鍵すべき鍵を色分け表示し
たり、押鍵された際の凹み状態を強調して表示すること
ができる。これにより、押鍵すべき鍵あるいは押鍵され
た鍵をユーザは容易に認識することができる。

【００４６】また、本実施形態によれば、動作モードの
切替によって手画像３７，３８として実写画像を用いる
のかコンピュータグラフィックを用いるのかを選択でき
るため、ユーザのレベルに応じて最適な演奏ガイドを表
示することができる。すなわち、上級者モードにおいて
採用される実写による手画像３７，３８は手指がしなや
かに動くため、特に上級者にとって参考になりやすい。

【００４７】一方、初心者モードにおいて採用される、
コンピュータグラフィックのアニメーションによる手画
像３７，３８は、演奏に係る指を色分け表示したり、あ
るいは太く表示する等、他の指とは異なる態様をで表示
することが容易である。このため、視認性が高くなり、
特に初心者に対して理解しやすい演奏ガイドを行うこと
ができる。さらに、アニメーションによる手画像３７，
３８を採用すると、画像データ量を少なくすることがで
きる。さらに、表示・非表示の切替も容易であるため、
例えば片手のみを表示して片手のみのレッスンを行うこ
とも可能である。

【００４８】また、本実施形態においては、楽譜表示部
３２の表示・非表示の切替も可能である。初心者におい
ては、楽譜表示部３２を見ながらピアノロール譜表示部
３３および鍵操作表示部３５を見ることは困難であるた
め、楽譜表示部３２の表示を省略することにより、ピア
ノロール譜表示部３３および鍵操作表示部３５を一層見
やすく表示することが可能になる。また、本実施形態に
おいて、ピアノロール譜表示部３３の終端部が鍵操作表
示部３５の上端に対向させて表示されるから、初心者に
おいても両者を対応付けて演奏内容を認識することが一
層容易になる。

【００４９】４．変形例 本発明は上述した実施形態に限定されるものではなく、
例えば以下のように種々の変形が可能である。 （１）上記実施形態は電子鍵盤楽器において本発明を実
現した例を示したが、各構成要素を各種コンピュータ上
で動作するソフトウエアによって構成してもよい。その
場合、このソフトウエアをＣＤ−ＲＯＭ、フロッピー
（登録商標）ディスク等の記録媒体に格納して頒布し、
あるいは伝送路を通じて頒布することもできる。パーソ
ナルコンピュータ上で上記実施形態と同様の動作を行う
ためには、パーソナルコンピュータのディスプレイに表
示装置９と同様の内容を表示させるとよい。また、ユー
ザの鍵操作に応じてスクロールバーの色を変更するよう
な操作を行うためには、ユーザの鍵操作をパーソナルコ
ンピュータ側で検出する必要がある。かかる場合には、
パーソナルコンピュータにＭＩＤＩ鍵盤等を接続し、こ
こから供給される演奏情報に基づいて鍵操作を検出する
とよい。

【００５０】（２）また、上記実施形態は電子鍵盤楽器
の演奏ガイドを行うものであったが、本発明は鍵盤楽器
に限定されるものではなく、擦弦楽器、管楽器等、あら
ゆる種類の楽器の演奏ガイドに適用されることは言うま
でもない。

【００５１】（３）上記実施形態においては、上級者モ
ードにおいても初心者モードにおいても、鍵盤画像３６
はコンピュータグラフィック等によって生成されたもの
が用いられてた。しかし、上級者モードにおいては、鍵
盤画像３６は実写されたものを用いてもよい。すなわ
ち、かかる場合、上級者モードにおいては鍵操作表示部
３５は鍵盤画像３６と手画像３７，３８にとを合成して
生成されるものではなく、当初から一系統の画像データ
として撮影されたものが用いられる。一方、初心者モー
ドにおいては、上記実施形態と同様に、別々に生成され
た鍵盤画像３６と手画像３７，３８にとを合成して鍵操
作表示部３５が形成される。

【００５２】（４）また、鍵操作表示部３５に表示する
画像として、予め鍵盤画像３６と手画像３７，３８とを
スーパーインポーズしたものを記憶してもよい。かかる
場合には、上級者モード用および初心者モード用の２系
統の画像データがハードディスクドライブ１１に予め記
憶されることになる。

【００５３】（５）また、上記実施形態においてピアノ
ロール譜表示部３３は自動演奏データに基づいてリアル
タイムに作成されたが、ピアノロール譜表示部３３も自
動演奏データに対応付けて予めＡＶＩフォーマット等の
画像データとして作成しておき、ハードディスクドライ
ブ１１に記憶させてもよい。

【００５４】（６）上記実施形態においては、初心者モ
ード用の手画像３７，３８は、予めコンピュータグラフ
ィックのアニメーションとして作成されていた。しか
し、特開平１０−９１０６１号公報にあるように、複数
の手の画像データを用意しておき、楽曲の演奏情報に基
づいて予め作成した「手の前後位置」、「手の種類」、
「指情報」に基づいて、各音に対応する演奏手指を描画
するようにしてもよい。この場合にも、演奏手の描画像
は、演奏情報に基づいて、所定のテンポ（例えばテンポ
１００）で、鍵盤画像３６に応じた大きさで描画され
る。

【００５５】本変形例においても、演奏手の描画像にお
ける指を実写の指よりも太く描いたり、押離鍵時にはそ
の指の色または表示態様を変化させ、視認性が高くなる
ようにするとよい。例えば、押鍵時にはその指の色を水
色に設定し、離鍵時には黄色に設定するとよい。また、
各指に爪を描き、この爪によって指の動きを表現しても
よい。例えば、押鍵時には次第に爪が短くなり爪が隠れ
るとともにより暗い色になり、離鍵時には爪が次第に長
くなるとともに明るい色になるようにするとよい。

【００５６】（７）さらに、上記実施形態においては、
パネルスイッチ２を介して設定されたテンポで演奏ガイ
ドが行われたが、ユーザの操作がガイド内容と一致する
まで処理を待機させ、一致したことを条件として次の操
作のガイドを行うようにしてもよい。かかる技術は、特
開平１０−９１０６１号公報に詳述されている。

【００５７】

【発明の効果】以上説明したように本発明によれば、演
奏情報に基づいて生成された演奏操作子画像と、撮影さ
れた操作画像とを合成して表示するから、ユーザは操作
画像によって操作内容の微妙なニュアンスを学びとるこ
とができるとともに、演奏操作子画像によって、演奏操
作子の状態を明確に把握することが可能である。

【図面の簡単な説明】

【図１】 本発明の一実施形態の電子鍵盤楽器のブロッ
ク図である。

【図２】 上記実施形態のデータ構造を示す図である。

【図３】 上記実施形態の表示装置９の表示例を示す図
である。

【図４】 鍵操作表示部３５を合成する原理を説明する
図である。

【図５】 初心者モードにおける鍵操作表示部３５の表
示例を示す図である。

【図６】 上記実施形態のメインルーチンのフローチャ
ートである。

【図７】 上記実施形態のパネル処理ルーチンのフロー
チャートである。

【図８】 上記実施形態の演奏ガイド処理ルーチンのフ
ローチャートである。

【図９】 上記実施形態のピアノロール画像作成処理ル
ーチンのフローチャートである。

【図１０】 上記実施形態の自動演奏処理ルーチンのフ
ローチャートである。

【符号の説明】

１……鍵盤、２……パネルスイッチ、３……押鍵検出回
路、４……スイッチ検出回路、５……ＣＰＵ、６……Ｒ
ＯＭ、７……ＲＡＭ、８……タイマ、９……表示装置、
１０……フロッピディスクドライブ、１１……ハードデ
ィスクドライブ、１１……ＨＤＤ、１２……ＣＤ−ＲＯ
Ｍドライブ、１３……ＭＩＤＩインターフェース、１４
……通信インターフェース、１５……音源回路、１６…
…効果回路、１７……サウンドシステム、１８……バ
ス、２１……ヘッダデータ、２２……デュレーションデ
ータ、２３……ノートイベントデータ、２４……小節線
データ、２５……テンポデータ、２６……ファイルエン
ドデータ、３２……楽譜表示部、３２ａ……演奏ポイン
タ、３３……ピアノロール譜表示部、３３ａ……小節
線、３３ｂ……拍線、３５……鍵操作表示部、３６……
鍵盤画像、３７，３８……手画像、１００……ＭＩＤＩ
機器、１０１……通信ネットワーク、１０２……サーバ
コンピュータ。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 演奏情報をメモリから読み出す過程と、 該演奏情報に基づいて、演奏操作子の操作状況を示す演
   奏操作子画像を生成する過程と、 該演奏情報に基づいて、演奏者が前記演奏操作子の操作
   を行う状態を撮影して成る操作画像を再生する過程と、 前記操作画像が優先して表示されるように前記演奏操作
   子画像と前記操作画像とを合成して表示する表示過程と
   を有することを特徴とする演奏ガイド方法。
2. 【請求項２】 前記操作画像は鍵盤を操作する演奏者の
   手を撮影して成る画像であり、 前記演奏操作子画像は、該鍵盤を上方から見た状態を描
   写して成る描写画像であり、操作画像の撮影時における
   鍵盤に対応する大きさを有し、押下されるべき鍵を他の
   鍵とは異なる態様で描画して成る画像であることを特徴
   とする請求項１記載の演奏ガイド方法。
3. 【請求項３】 前記演奏情報に基づいて楽音信号を発生
   する楽音信号発生過程をさらに有し、 前記表示過程は該楽音信号発生過程に同期して実行され
   ることを特徴とする請求項１記載の演奏ガイド方法。
4. 【請求項４】 前記演奏操作子画像は、該鍵盤を上方か
   ら見た状態を描写して成る描写画像であり、 前記演奏情報に基づいて、操作すべき鍵とこれら鍵の操
   作タイミングとを表すピアノロール譜を生成する過程
   と、 前記演奏操作子画像に隣接するように該ピアノロール譜
   を表示する過程とをさらに有することを特徴とする請求
   項１記載の演奏ガイド方法。
5. 【請求項５】 前記演奏情報、前記演奏操作子画像およ
   び前記操作画像を、予め共通の記憶装置に格納する過程
   をさらに有することを特徴とする請求項１記載の演奏ガ
   イド方法。
6. 【請求項６】 演奏情報をメモリから読み出す過程と、 該演奏情報に基づいて、演奏操作子の操作状況を示す演
   奏操作子画像を生成する過程と、 第１または第２の動作モードの指定を受ける過程と、 前記第１の動作モードの指定を受けたことを条件とし
   て、前記演奏情報に基づいて、演奏者が前記演奏操作子
   の操作を行う状態を撮影して成る画像を操作画像として
   再生する過程と、 前記第２の動作モードの指定を受けたことを条件とし
   て、前記演奏情報に基づいて、演奏者が前記演奏操作子
   の操作を行う状態を描写して成る画像を操作画像として
   生成する過程と、 前記操作画像が優先して表示されるように、前記演奏操
   作子画像と前記操作画像とを合成して表示する表示過程
   とを有することを特徴とする演奏ガイド方法。
7. 【請求項７】 前記演奏操作子画像は、鍵盤を上方から
   見た状態を描写して成る描写画像であり、前記第１の動
   作モードの操作画像の撮影時における鍵盤に対応する大
   きさを有し、押下されるべき鍵を他の鍵とは異なる態様
   で描画して成る画像であることを特徴とする請求項６記
   載の演奏ガイド方法。
8. 【請求項８】 演奏情報をメモリから読み出す過程と、 第１または第２の動作モードの指定を受ける過程と、 前記第１の動作モードの指定を受けたことを条件とし
   て、該演奏情報に基づいて、演奏操作子および演奏者が
   前記演奏操作子の操作を行う状態を撮影して成る撮影画
   像を表示する第１の表示過程と、 前記第２の動作モードの指定を受けたことを条件とし
   て、演奏操作子の操作状況を示す演奏操作子画像を生成
   する過程と、 前記第２の動作モードの指定を受けたことを条件とし
   て、前記演奏情報に基づいて、演奏者が前記演奏操作子
   の操作を行う状態を描写して成る画像を操作画像として
   生成する過程と、 前記第２の動作モードの指定を受けたことを条件とし
   て、前記操作画像が優先して表示されるように、前記演
   奏操作子画像と前記操作画像とを合成して表示する第２
   の表示過程とを有することを特徴とする演奏ガイド方
   法。
9. 【請求項９】 請求項１ないし８の何れかに記載の方法
   を実行することを特徴とする演奏ガイド装置。
10. 【請求項１０】 請求項１ないし８の何れかに記載の方
    法を実行するプログラムを記憶したことを特徴とする記
    録媒体。