JP2015026069A - 表示コンテンツに対応付けてオーディオを記録する表示記録方法を実現するためのプログラム、当該表示記録方法および表示記録装置 - Google Patents

Abstract

【課題】音楽演奏の時間的推移を表す表示コンテンツの表示に関連付けて、指示またはコメントなどを簡単に記録することが可能となる表示記録方法を実現するためのプログラム、当該表示記録方法および表示記録装置を提供する。
【解決手段】タッチパネル上に楽譜が表示された状態で、録音開始ボタンがタッチされると、演奏音を含む周囲の音声の録音が開始される。第１回目の演奏で、ユーザは、フレーズＡを演奏し、フレーズＢに入ったところで、先生から演奏を止められ、まず、フレーズＢの２小節目について指示を受ける。この指示音声が音声データＶ１である（（ｂ））。ユーザは、この音声データＶ１をレッスン終了後、直ぐに聞くことができるように楽譜のフレーズＢの２小節目をタッチすると、そのタッチ位置に音声メモアイコンＶ１が表示される（（ｃ））とともに、タッチ時刻Ｔ１が検出され（（ｂ））、音声メモアイコンＶ１に対応付けて記憶される。
【選択図】図２

Description

本発明は、楽譜などの音楽演奏の時間的推移を表す表示コンテンツを表示し、それに関連するコメントなどを含むオーディオを対応させて記録する表示記録方法を実現するためのプログラム、当該表示記録方法および表示記録装置に関する。

演奏内容を表示する表示装置は、従来から知られている。

このような表示装置として、演奏内容の代表例である、楽譜を画面上に表示し、表示された楽譜に対して注釈を付加するようにした楽譜編集装置がある（たとえば、特許文献１参照）。この従来の楽譜編集装置では、
Ａ．ユーザが図形の種類を指示し、表示楽譜上、注釈対象の記号を指し示すだけで、記号の大きさに適合したサイズのマークが付加される；
Ｂ．ユーザがポインティング・デバイスを使って手書きした線で注釈対象の記号を囲むと、その記号を囲む定型の図形が表示される；
Ｃ．テキストで注釈文を入力する場合に、図形入力モードからテキスト入力モードに切り替えることなく、ユーザがテキスト入力位置でマウスをダブルクリックするだけで、テキスト入力が開始される；
などにより、注釈の図形の付加やテキストの書き込みを効率的に行うことができるようにしている。

また近年は、タブレット型の携帯端末（以下「タブレット端末」という）が普及しているので、楽器を演奏する場所にタブレット端末を持ち込み、タブレット端末上に楽譜を表示させて、紙の楽譜代わりに用いることもよく行われている。

また、会議等において音声録音を行う場合に、録音データ中の任意の時間位置に対応付けてインデックスマーク若しくはオーディオブックマークを記録し、再生時にインデックスマーク若しくはオーディオブックマークの付いた時間位置の録音データを選択して再生できるようにしたものもある（たとえば、特許文献２あるいは特許文献３参照）。

特開２００７−１０８２９２号公報 特開平９−３２０１４８号公報 米国特許出願公開第２００９／０２５１４４０号

ところで、アンサンブル演奏時や演奏レッスン受講時など、自分以外の演奏者や指導者などの他者がいる場合に、その他者の指示などを楽譜上にメモしたいことがある。このとき、タブレット端末上に表示された楽譜を使用していれば、表示楽譜上の指定位置に、マークを付与した上で、あるいはマークを付与しないで、メモしたい内容を文字でテキスト入力することになるが、上記特許文献１の楽譜編集装置で開示された技術を使ったとしても、マーク付与とテキスト入力の効率が多少よくなるだけで、マークの種類を選択するには手間がかかり、楽器を持ったままテキスト入力するのは困難である。

さらに特許文献３には、手書き入力した、またはテキスト入力したメモ（ノート）をオーディオブックマークに同期して記録し、このオーディオブックマークされた時間位置の録音データを再生するときに当該メモ若しくはノートを再生表示できるようにした構成も記載されている。しかしこの構成では、楽譜のような音楽演奏の時間的推移を表す表示コンテンツ中の特定の時間位置に関連付けてオーディオブックマークを付与することはできない。

本発明は、この点に着目してなされたものであり、音楽演奏の時間的推移を表す表示コンテンツの表示に関連付けて、指示またはコメントなどを簡単に記録することが可能となる表示記録方法を実現するためのプログラム、当該表示記録方法および表示記録装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載のプログラムは、表示記録方法をコンピュータに実行させるためのプログラムであって、前記表示記録方法は、演奏内容の時間的推移を表す表示コンテンツを表示手段に表示させる表示ステップと、音声入力手段によって入力された音声を録音する録音ステップと、前記録音ステップによる録音中に前記表示手段に表示された表示コンテンツにおける任意の時間位置を指定する第１のユーザ入力を受け付ける第１の入力ステップと、前記第１のユーザ入力が受け付けられた時点における前記音声の記録時刻と、当該第１のユーザ入力により指定された、前記表示コンテンツにおける時間位置とを対応付けて記憶手段に記憶する記憶ステップとを有することを特徴とする。

請求項２に記載のプログラムは、請求項１のプログラムにおいて、前記表示記録方法はさらに、前記第１のユーザ入力によって指定された、前記表示コンテンツにおける時間位置に関連した表示箇所にマークを付与する付与ステップを有することを特徴とする。

請求項３に記載のプログラムは、請求項２のプログラムにおいて、前記表示記録方法はさらに、前記付与ステップにより付与された、前記表示コンテンツにおけるマークの時間位置を異なる時間位置へ移動させる第２のユーザ入力を受け付ける第２の入力ステップと、前記第２のユーザ入力によるマークの時間位置の移動に応じて、前記第１のユーザ入力が受け付けられた時点における前記音声の記録時刻を、当該第２のユーザ入力によって移動された時間位置に対応付けるように変更制御する制御ステップとを有することを特徴とする。

請求項４に記載のプログラムは、請求項１〜３のプログラムにおいて、前記表示記録方法はさらに、前記音声の記録時刻に対応付けられた時間位置のいずれかを選択可能な選択手段によっていずれかの時間位置が選択された場合、当該選択された時間位置に基づいて、前記録音された音声を再生する再生ステップを有することを特徴とする。

請求項５に記載のプログラムは、請求項４のプログラムにおいて、前記再生ステップでは、前記録音された音声を再生する場合、当該選択された時間位置に対応する音声の記録時刻より所定時間だけ前から、当該音声の再生を開始することを特徴とする。

上記目的を達成するため、請求項６および７にそれぞれ記載の表示記録方法および表示記録装置は、請求項１と同様の技術的思想によって実現できる。

請求項１，６または７に記載の発明によれば、音声入力手段によって入力された音声が録音されるとともに、当該録音中に表示された表示コンテンツにおける、第１のユーザ入力が受け付けられた時点での前記音声の記録時刻と、当該第１のユーザ入力により指定された、前記表示コンテンツにおける時間位置とが対応付けられて記憶されるので、つまり、記録したい内容を、表示された表示コンテンツ上に文字や記号として入力するのではなく、音声で録音するようにしたので、指示またはコメントなどを簡単な操作で表示コンテンツに関連付けて記録することができる。

また、第１のユーザ入力が受け付けられた時点、つまり音声の記録時刻とは無関係に、前記表示コンテンツにおける任意の時間位置を、当該第１のユーザ入力によって指定することができるように構成されているので、記録した音声（指示またはコメントなど）と表示コンテンツによって表される音楽演奏の時間位置との関連付けを任意に定めることができ、好都合である。

請求項２に記載の発明によれば、前記第１のユーザ入力によって指定された、前記表示コンテンツにおける時間位置に関連した表示箇所にマークが付与されるので、録音された音声で、聞き直したいものが表示された表示コンテンツ上のどの部位のものかユーザに一目で分からせることができる。

請求項３に記載の発明によれば、前記付与された、前記表示コンテンツにおけるマークの時間位置を異なる時間位置へ移動させる第２のユーザ入力によるマークの時間位置の移動に応じて、前記第１のユーザ入力が受け付けられた時点における前記音声の記録時刻を、当該第２のユーザ入力によって移動された時間位置に対応付けるように変更されるので、マークを一旦付与した後に、このマークを移動することにより、記録した音声（指示またはコメントなど）と当該表示コンテンツによって表される音楽演奏の時間位置との関連付けを任意に変更することができ、使い勝手がよく、好都合である。

請求項４に記載の発明によれば、選択手段によっていずれかの時間位置が選択された場合、当該選択された時間位置に基づいて、前記録音された音声が再生されるので、録音後に聞きたい位置を表示された表示コンテンツ上で指定しておけば、聞きたい箇所から直ぐに再生することができる。

請求項５に記載の発明によれば、前記録音された音声を再生する場合、当該選択された時間位置に対応する音声の記録時刻より所定時間だけ前から、当該音声の再生が開始されるので、聞きたい箇所の始めから再生することができる。

本発明の一実施の形態に係る表示記録装置を適用した汎用のタブレット端末の概略構成を示すブロック図である。 曲の構成（（ａ））、録音状況（（ｂ））および楽譜上の表示（（ｃ））の各一例を示す図である。 図１のタブレット端末、特にＣＰＵが実行する録音中のタッチ処理の手順を示すフローチャートである。 図１のタブレット端末、特にＣＰＵが実行する録音停止中のタッチ処理の手順を示すフローチャートである。 図２の楽譜に基づいた録音が複数回行われた際に記録される、録音データ（（ａ））とタッチ位置および時刻の情報（（ｂ））の一例を示す図である。 図４の録音停止中のタッチ処理の変更例の手順を示すフローチャートである。 図４および図６中のその他処理に含まれる譜めくり操作処理の手順を示すフローチャートである。 楽譜上のタッチ位置に発話内容を文字で表示したときの図１のタッチパネルの画面の一例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の一実施の形態に係る表示記録装置を適用した汎用のタブレット端末１の概略構成を示すブロック図である。

同図に示すように、タブレット端末１は、端末全体の制御を司るＣＰＵ（central processing unit）１０を備えている。ＣＰＵ１０には、タッチパネル１１、操作子１２、各種センサ１３，メモリ１４、タイマ１５、音声入力インターフェース（Ｉ／Ｆ）１６、通信インターフェース（Ｉ／Ｆ）１７およびサウンドシステム１８が接続されている。

タッチパネル１１は、一般的なタブレット端末が備えているものと変わらず、表示デバイスとしての機能と、入力デバイスとしての機能を兼ね備えたものである。ユーザは、たとえば自身の指で、タッチパネル１１をタッチすることにより、タッチパネル１１の表示画面上の任意の位置を指定することができる。ユーザによって表示画面上の位置が指定されると、その位置情報（座標）がタッチパネル１１からＣＰＵ１０に伝送される。ＣＰＵ１０は、その位置情報に応じた処理を行う（もちろん、その位置によっては処理をしないこともある）。表示画面上には、各種機能のそれぞれの動作を指示するための複数のソフトウェアボタンの他に、表示コンテンツが表示される。本実施の形態では、演奏内容を時間的推移に沿って表示したもの、具体的には五線譜で表現された楽譜が「表示コンテンツ」である（後述する図２（ｃ）参照）。「演奏内容」は、楽譜を構成する音符や休符などの各種要素を意味し、「時間的推移」は、楽曲の時間進行を規定する拍や小節と、音符や休符などの各種要素との関係を意味する。もちろん「演奏内容」は、音符や休符など楽譜を構成する各種要素に限らず、歌詞やコード（和音）名など、ユーザ（演奏者）が演奏の際に参照するものであれば何でもよい。さらに「演奏内容の時間的推移」の表示態様も、五線譜に限らず、タブ譜やコード譜、歌詞表示、曲の構成表など、どのようなものであってもよい。

操作子１２は、タッチパネル１１上に表示されるソフトウェアボタンではなく、ハードウェアスイッチである。その典型例としては、電源スイッチやリセットスイッチ（ともに図示せず）などを挙げることができる。

各種センサ１３には、地磁気センサ、ＧＰＳ（Global Positioning System）、重力加速度も検出可能な加速度センサ、超音波センサ、カメラ、赤外線または可視光を検出する光センサなどが含まれる。

メモリ１４には、ＣＰＵ１０によって実行される制御プログラムや各種アプリケーションプログラム、各プログラムによって画面表示に利用される画像データや発音に利用される音声データを含む各種データ等を記憶するＲＯＭ（read only memory）と、上記画像データや音声データを含む各種データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ（random access memory）が含まれている。上記制御プログラムや各種アプリケーションプログラム、各種データ等は、本実施の形態では適宜、追加、削除あるいはアップデートできるようにするために、ＲＯＭとして、書き換え可能な不揮発性のもの、具体的にはフラッシュメモリを採用している。

タイマ１５は、タイマ割込み処理における割込み時間や各種時間を計時する。

音声入力Ｉ／Ｆ１６は、マイクロフォン（以下「マイク」と略す）２１を接続し、マイク２１を介して入力された周囲のアナログ音声信号をデジタル音声信号（音声データ）に変換し、バッファ（図示せず）に記憶する。

通信Ｉ／Ｆ１７は、タブレット端末１を、たとえばインターネットなどの通信ネットワークに接続させ、通信ネットワークに接続された他の機器との間で各種データの送受信を行う。他の機器として、サーバコンピュータ（図示せず）が接続された場合、前記プログラム等の追加、削除あるいはアップデートは、サーバコンピュータを介して行うようにしてもよい。この場合、通信Ｉ／Ｆ１７は、サーバコンピュータから各種プログラムや各種データをダウンロードするために用いられる。クライアントとなるタブレット端末１は、通信Ｉ／Ｆ１７および通信ネットワークを介してサーバコンピュータへとプログラムやデータのダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求されたプログラムやデータを、通信ネットワークを介してタブレット端末１へと配信し、タブレット端末１が通信Ｉ／Ｆ１７を介して、これらプログラムやデータを受信してメモリ１４（のフラッシュメモリ）に蓄積することにより、ダウンロードが完了する。

サウンドシステム１８は、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等によって構成される。サウンドシステム１８は、ＣＰＵ１０が前記制御プログラムや各種アプリケーションプログラムを実行しているときに生成した楽音信号を音響に変換する。楽音信号は、本実施の形態では、ＣＰＵ１０が音源プログラムを実行することによって生成する、いわゆるソフトウェア音源によって生成する。もちろん、ソフトウェア音源を用いて楽音信号を生成する態様に限らず、ハードウェア音源を用いてもよいし、一部をハードウェアで構成し、残りをソフトウェアで構成した音源を用いてもよい。

なお本実施の形態では、表示記録装置としてタブレット端末１を採用したが、これに限らず、携帯型のノートＰＣ（パーソナルコンピュータ）やＰＤＡ（Personal Digital Assistant）などを採用してもよい。本実施の形態では、演奏場所に持ち運んで、楽譜を表示するため、携帯型の機器であることが望ましいが、演奏場所の方をその機器がある場所にするなど、携帯できなくてもよいのであれば、据え付け型のＰＣであってもよい。また、汎用的な装置に限らず、本発明を実施できる最小限要素のみから構成した専用装置上に本発明を構築してもよい。

また本実施の形態では、表示デバイスと入力デバイスを兼ねたタッチパネル１１を採用したが、これに限らず、表示デバイスと入力デバイスを別々に構成してもよい。この場合、表示デバイスの表示画面上の位置は、ユーザが、入力デバイスとして設けられたポインティング・デバイス（マウスやホイール、タッチパッドなど）を用いてカーソルを移動させることで、指定するようにすればよい。

以上のように構成されたタブレット端末１が実行する制御処理を、まず図２を参照してその概要を説明し、次に図３および図４を参照して詳細に説明する。

図２（ａ）は、楽譜表示するためにユーザによって選択された曲３１の構成を示し、図示例の選択曲３１は、フレーズＡ〜Ｄによって構成されている。この選択曲３１の楽譜を表示するために表示コンテンツが予め用意されている。すなわち、本実施の形態では、表示コンテンツは、楽譜表示用のデータ（楽譜データ）である。典型的な楽譜データには、楽譜論理データと楽譜画像データがある。楽譜論理データとは、楽譜を構成する各種要素（音符や休符、その他の音楽記号）を表示するために必要な、各要素の種類を示す種類情報とその表示位置を示す位置情報からなるデータである。一方、楽譜画像データとは、そのまま表示するだけで、楽譜が表示される種類のデータであり、そのデータ形式には、たとえば、ＢＭＰ（bitmap）、ＪＰＥＧ（JointPhotographic Expert Group）、ＧＩＦ（graphics interchange format）、ＴＩＦＦ（tagged image file format）、ＰＤＦ（portable document format）などがある。楽譜データとして、そのいずれを採用してもよいが、本実施の形態では便宜上、楽譜論理データを採用することにする。この楽譜論理データに基づき描画処理を行うことにより可視的な楽譜が描画される。

ユーザが選択曲３１を選択し、その楽譜表示を指示すると、ＣＰＵ１０は、選択曲３１、つまり楽譜データをフラッシュメモリから読み出して、ＲＡＭ上に確保された選択曲格納領域（図示せず）に格納し、当該楽譜データに基づいてタッチパネル１１上に楽譜を表示する。図２（ｃ）は、この楽譜の表示された画面１１ａを示している。ただし、選択曲３１を初めて楽譜表示させた場合、楽譜上には、音声メモアイコンＶ１〜Ｖ３は表示されない（まだ存在していない）。

タッチパネル１１上に、図２（ｃ）の楽譜画面１１ａ（音声メモアイコンＶ１〜Ｖ３が表示されていない状態）が表示され、ユーザが演奏を録音するために、タッチパネル１１上に表示された録音開始ボタン（図示せず）をタッチすると、ＣＰＵ１０は、マイク２１および音声入力Ｉ／Ｆ１６を介して入力された周囲の音声データを、音声入力Ｉ／Ｆ１６の前記バッファから読み出して、ＲＡＭ上に確保された録音データ格納領域（図示せず）に格納することで、録音する。なお、録音した音声データ（録音データ）のフォーマットは、ＷＡＶ（RIFF waveform Audio Format）やＡＩＦＦ（Audio Interchange File Format）など、どのようなフォーマットでもよく、ＭＰ３（MPEG Audio Layer-3）などの圧縮フォーマットに変換してから格納してもよい。また格納場所も、ＲＡＭに限らず、通信Ｉ／Ｆ１７を介して接続されたサーバコンピュータや記録用メディアなど、格納できて読み出しできるところであればどこでもよい。

図２（ｂ）は、この録音状況の一例を示す図であり、ユーザが、たとえば弦楽器の個人レッスンを受講したときの様子（演奏および会話の音声すべて）を録音したものとする。時刻Ｔ０で録音を開始し、演奏を開始する。図２（ｂ）の“Ａ１”から“Ｄ３”に至る一まとまりの長方形が一連の、つまり停止操作がなされず録音状態が続いた録音データを表している。そしてこの録音データにおける“Ａ”〜“Ｄ”が、それぞれ図２（ａ）の“Ａ”〜“Ｄ”、つまりフレーズＡ〜Ｄを示し、その横の数字“１”〜“３”は、録音を開始してからの演奏回数を示している。ただし、この演奏回数は、フレーズ毎の演奏回数ではなく、演奏を停止した後再開した回数を示している。したがって、フレーズＣとＤには“Ｃ１”と“Ｄ１”がない。また“Ｖ１”〜“Ｖ３”は、先生によって発声された音声データを示している。たとえば、そのような音声データは、先生によるコメント、指示、注意などを含む。もちろん、ユーザ自身が発声したコメントなども含み得る。なお図示例では、説明の便宜上、“Ａ１”，“Ｂ１”，“Ｖ１”などと、録音内容によって録音データを区分けして表示しているが、実際には上述のように、Ａ１からＤ３までは１つの継続した録音データである。本実施の形態では、レッスン開始（時刻Ｔ０）からレッスン終了（時刻Ｔ４）までずっと録音を継続する。このように、いわゆる常時録音を行うことで、先生からの指示を受ける度に録音操作を行う必要がなくなる。以下、この録音状況に沿って、制御処理の概要を説明する。

時刻Ｔ０で録音を開始し、第１回目の演奏で、ユーザは、フレーズＡを演奏し、フレーズＢに入ったところで、先生から演奏を止められ、まず、フレーズＢの２小節目について指示を先生から受ける。この指示音声が音声データＶ１である。ユーザは、この音声データＶ１をレッスン終了後、直ぐに聞くことができるように楽譜上をタッチすることで、マーキング操作（第１のユーザ入力）を行う。これに応じて、そのタッチ位置に音声メモアイコンＶ１が表示されるとともに、タッチ時刻Ｔ１がそのタッチに対応する音声データの記録時刻として検出され、音声メモアイコンＶ１に対応付けて記憶される。このとき、音声メモアイコンＶ１が表示されている画面上の座標位置も検出され、音声メモアイコンＶ１および当該音声データの記録時刻に関連付けて前記メモリ１４（のＲＡＭ）に記憶される。表示された楽譜（表示コンテンツ）は、音楽演奏の時間的推移を表しているので、楽譜（表示コンテンツ）における音声メモアイコンＶ１の座標位置は、表示された楽譜（表示コンテンツ）における時間位置に関連している。

音声メモアイコンＶ１は、録音した音声が対応付けられていることを示す「マーク」の一例である（音声メモアイコンＶ２，Ｖ３も同様）が、この「マーク」の表示形態は、アイコンの形態に限らず、たとえば、指定された位置にある音符の表示色を異ならせたり、指定された位置の五線の太さを変更するなど、ユーザが認識できる形態であれば、どのようなものを採用してもよい。

またタッチ位置は、画面１１ａ上であればどこでもよいが、通常は、図２（ｃ）に示すように、先生の指示を受けた位置（フレーズＢの２小節目）の五線譜上、またはその近傍の五線が記載されていない余白部分である。たとえば、
（ａ）タッチ位置が五線譜上である場合：タッチされた座標位置によって決まる五線譜上の時間位置を示すデータを、そのタッチ操作（第１のユーザ入力）によって指定された楽譜における時間位置を示すデータとして適宜記憶する；
（ｂ）タッチ位置が五線譜上ではなく、その近傍の余白部分である場合：たとえば、タッチされた座標位置に最も近い五線譜上の位置を特定し、この特定された位置に基づき、そのタッチ操作（第１のユーザ入力）によって指定された楽譜における時間位置を示すデータを記憶する；
（ｃ）タッチ位置が五線譜上ではなく、その近傍の余白部分若しくは画面上の適宜の位置である場合：所定の基準位置（たとえば、楽譜の先頭位置、あるいはタッチされた座標位置に最も近い楽節若しくは小節等、ある区切り区間の先頭位置など）を特定し、この特定された位置に基づき、そのタッチ操作、つまりマーキング操作（第１のユーザ入力）によって指定された楽譜における時間位置を示すデータを記憶する；
などで、タッチされた座標から楽譜上の時間位置を決定すればよい。本実施の形態では、タッチ操作の後に、楽譜におけるマーキング位置（時間位置）とそれに関連付ける音声の記録時刻との関係を変更若しくは調整できるので、タッチ操作した画面上の座標位置が不正確であっても問題ない。また、
（ｄ）タッチ位置が五線譜上である場合も、タッチされた座標位置に正確に対応する五線譜上の時間位置ではなく、前記所定の基準位置（たとえば、楽譜の先頭位置、あるいはタッチされた座標位置に最も近い楽節若しくは小節等、ある区切り区間の先頭位置など）を特定し、この特定された位置に基づき、そのタッチ操作、つまりマーキング操作（第１のユーザ入力）によって指定された楽譜における時間位置を示すデータを記憶する；
ようにしてもよい。なお、タッチ操作に対応して記憶した楽譜における時間位置と、それに対応する音声メモアイコン（マーク）を表示する位置とは、必ずしも正確に一致していなくてもよい。

次に、選択曲３１の出だしについて指示を受ける。この指示音声が音声データＶ２である。ユーザは、この音声データＶ２についても後から直ぐに聞けるように、楽譜の先頭位置（あるいはその近傍）をタッチすると、そのタッチ位置に音声メモアイコンＶ２が表示されるとともに、タッチ時刻Ｔ２が検出され、音声メモアイコンＶ２に対応付けて記憶される。

演奏が再開され、第２回目の演奏では、ユーザは、最初のフレーズＡから最後のフレーズＤまで通して演奏する。そして、先生から選択曲３１の終わり方について指示を受ける。この指示音声が音声データＶ３である。ユーザは、この音声データＶ３についても後から直ぐに聞けるように、楽譜の末尾位置（あるいはその近傍）をタッチすると、そのタッチ位置に音声メモアイコンＶ３が表示されるとともに、タッチ時刻Ｔ３が検出され、音声メモアイコンＶ３に対応付けて記憶される。

さらに演奏が再開され、第３回目の演奏では、ユーザは、最後のフレーズＤを再度演奏する。そして、時刻Ｔ４にて録音が停止される。

レッスン終了後、録音内容、特にレッスンで指示された箇所を重点的に聞き直したい場合、ユーザは、レッスン時に使用した楽譜をタッチパネル１１に表示するように、タブレット端末１に指示する。これに応じて、タッチパネル１１上には、図２（ｃ）の画面１１ａが表示される。ユーザが、画面１１ａ内の音声メモアイコンＶ１〜Ｖ３のうち、たとえば、音声メモアイコンＶ１をタッチして、音声データＶ１の再生を指示すると、ＣＰＵ１０は、音声メモアイコンＶ１に対応付けて記憶されているタッチ時刻Ｔ１よりΔｔ時間だけ前の時刻ｔ１から前記録音された音声データ（録音データ）の再生を開始する。再生の停止は、本実施の形態では、（再生）停止ボタン（図示せず）がタッチされた時点とするが、録音データの末尾まで再生が進んだ場合には、その時点で自動的に再生が停止する。なお、音声メモアイコンＶ２，Ｖ３がタッチされて、音声データＶ２，Ｖ３の再生が指示されたときも、同様である。

このように本実施の形態では、記録したい内容（指示またはコメントなど）を、楽譜上に文字や記号として入力するのではなく、音声で録音するようにしたので、簡単な操作で記録することができる。そして、録音位置（記録時刻）と楽譜上の時間位置（タッチ位置）を対応付けるようにしたので、録音後に聞きたい箇所を楽譜上でタッチしておけば、聞きたい箇所から直ぐに再生することができる。

次に、この制御処理を詳細に説明する。

この制御処理の説明では、タッチパネル１１には、前記図２（ｃ）のように楽譜が表示されていることを前提とする（ただし楽譜上には、音声メモアイコンＶ１〜Ｖ３はまだ表示されていない）。つまり、ユーザは既に、タブレット端末１上で演奏すべき曲を選択して、その楽譜表示を指示したので、選択された曲の楽譜が既にタッチパネル１１上に表示されているとする。なお、楽譜論理データ（楽譜画像データも同様）を用いて楽譜をタッチパネル１１上に表示することは、通常よく行われているので、その表示方法の説明は省略する。

タッチパネル１１上に楽譜が表示されているときの動作状態には、周囲の音声を録音している状態（録音中）と録音していない状態（録音停止中）の２種類があり、各動作状態で制御処理が異なるので、まず録音中の制御処理、次に録音停止中の制御処理の順に説明する。

録音中に、ユーザが楽譜上またはその近傍をタッチすると、ＣＰＵ１０は、処理を録音中のタッチ処理に進める。図３は、この録音中のタッチ処理の手順を示すフローチャートである。

図３において、まずＣＰＵ１０は、タッチパネル１１上のタッチ位置の座標を検出する（ステップＳ１）。タッチパネル１１上の座標の検出も、一般的な公知技術であるので、その検出方法の説明も省略する。

次にＣＰＵ１０は、タッチパネル１１上、検出されたタッチ位置に関連して音声メモアイコンを表示する（ステップＳ２）。なお、このステップＳ２では、前記（ａ）〜（ｄ）で述べたような手法で、検出されたタッチ位置に応じて楽譜上の時間位置を適宜特定する処理も行われ、この特定した楽譜上の時間位置に関連付けて音声メモアイコンを表示する。これにより、図２（ｃ）の例では、楽譜上に音声メモアイコンＶ１〜Ｖ３が表示される（ただし、１回のタッチで音声メモアイコンは１つ表示される）。なお、音声メモアイコンは、タッチ位置に応じて前述のように特定される楽譜上の時間位置に正確に対応付けて表示する他に、その近傍に表示することも考えられる。たとえば、
（１）タッチ位置に応じて特定される楽譜上の時間位置から、楽譜の音楽的な区切り位置（サビの開始位置、何小節目の何拍目など）を検出して、その位置に表示；
（２）タッチ位置に応じて特定される楽譜上の時間位置から、その近傍の音符または休符を検出して、その位置に表示；
などである。

また、後述する編集の結果、楽譜上の同じまたは近傍の時間位置に複数の音声メモアイコンが割り当てられることになった場合は、それらの複数の音声メモアイコンが完全に重複して表示されないように、適宜ずらして表示するようにしてもよい。

次にＣＰＵ１０は、タッチ操作時の録音時刻（時間情報）を検出し、検出した録音時刻（Ｔ）を、音声メモアイコンの識別データと共に、前記検出したタッチ位置に応じて特定した楽譜上の時間位置に関連付けて、メモリ１４（のＲＡＭ）に記憶した（ステップＳ３）後、本録音中のタッチ処理を終了する。

録音が開始されると、録音が開始されてから現在までの経過時間が分かるように、ＣＰＵ１０は前記タイマ１５に対して計時動作の開始を指示する。これに応じてタイマ１５は、計時動作を開始し、その計時動作はＣＰＵ１０によって停止が指示されるまで継続するので、ＣＰＵ１０は、タイマ１５に現在の計時時刻を問い合わせることで、タッチ時の録音時刻を検出することができる。これにより、図２（ｂ）の例では、時刻Ｔ１〜Ｔ３が各タッチ位置に応じて特定した楽譜上の各時間位置に関連付けて記憶される（ただし、１回のタッチで記憶される時刻は１つである）。なお、複数のタッチ処理に対応する複数の時刻情報は、録音終了時に１つのファイルにまとめられて、録音データの格納場所と同じ場所に保存されるようにしてもよい。あるいは、録音データ自体に時刻情報を埋め込んで保存してもよい。

なお、制御処理の概要の説明では、タッチ時の録音時刻は、音声メモアイコンの識別データと共に、前記検出したタッチ位置に応じて特定した楽譜上の時間位置に関連付けて、記憶されるとしたが、音声メモアイコンの識別データの記憶を省略してもよい。音声メモアイコンを表示すべき画面上の座標位置は、記憶した楽譜上の時間位置から特定することができる。また、後述する編集の結果、楽譜上の同じ時間位置に複数の音声メモアイコンが割り当てられることになったような場合でも、それぞれに関連付けられた録音時刻の違いによって個々の音声メモアイコンを識別し得る。

また、上記制御処理の概要の説明では、タッチ時の録音時刻は、前記検出したタッチ位置に応じて特定した楽譜上の時間位置に関連付けて記憶されるとしているが、これに限らず、タッチ時の録音時刻に関連付けて、前記検出したタッチ位置の座標データ（またはタッチ位置に基づき決定される音声メモアイコンの表示位置の座標データ）そのものを記憶してもよい。これは、表現は異なるものの、同じことを意味している。つまり、前記検出したタッチ位置に応じて特定した楽譜上の時間位置は、それに対応する音声メモアイコンの画面上の表示位置の座標によっても特定され得る。

次に、録音停止中に、ユーザが楽譜上またはその近傍をタッチすると、ＣＰＵ１０は、処理を録音停止中のタッチ処理に進める。図４は、この録音停止中のタッチ処理の手順を示すフローチャートである。

図４において、まずＣＰＵ１０は、前記図３のステップＳ１と同様にして、タッチパネル１１上のタッチ位置の座標を検出する（ステップＳ１１）。

次にＣＰＵ１０は、検出されたタッチ位置の座標から、ユーザのタッチ操作がいずれかの音声メモアイコンに対するものかどうか判定する（ステップＳ１２）。この判定の結果、音声メモアイコンに対するタッチ操作であれば、ＣＰＵ１０は処理をステップＳ１３に進める一方、音声メモアイコンに対するタッチ操作でなければ、ＣＰＵ１０は処理をステップＳ１５に進める。

ステップＳ１３では、ＣＰＵ１０は、タッチした音声メモアイコンに対する録音時刻情報（Ｔ）を取得する。前述のように、音声メモアイコンが１つ決まれば、タッチ時の録音時刻として記憶された情報、つまり録音時刻情報も１つ決まるので、ＣＰＵ１０は、その録音時刻情報をメモリ１４から読み出して取得する。

次にＣＰＵ１０は、取得した録音時刻情報に基づいて音声データを再生した（ステップＳ１４）後、本録音停止中のタッチ処理を終了する。音声データの再生が開始される実際の時刻は、本実施の形態では、制御処理の概要で説明したように、ステップＳ１３で取得された録音時刻情報が示す時刻、つまりタッチ時の録音時刻（時間情報）から所定時間Δｔだけ前の時刻である。たとえば、図２（ｃ）の画面１１ａ内の音声メモアイコンＶ１がタッチされた場合には、図２（ｂ）の時刻Ｔ１から所定時間Δｔだけ前の時刻ｔ１から音声データの再生が開始される。このように、再生開始位置をタッチ時の録音時刻より前にずらしたのは、ユーザは、指示を受けた内容を少し聞いてからその指示内容を後から聞き直すためにマーキングを行うかどうか決めるため、タッチ操作（マーキング操作）時の録音時刻から再生を開始すると、聞きたい内容の途中から再生が開始されてしまうことが多いからである。

所定時間Δｔは、本実施の形態では、固定的に設定された１つのみが、各音声メモアイコンに対する再生指示に応じて、対応するタッチ時の録音時刻に一律に適用されるが、これに限らず、所定時間Δｔはユーザが自由に変更できるようにしてもよい。また、録音音声が演奏から指示に移る時点や指示と指示との境界などを、たとえば公知の音声認識技術を用いて自動的に検出するようにし、その検出結果から個別に所定時間Δｔを決定し、当該音声メモアイコンに対応付けて記憶しておくようにしてもよい。この場合には、選択された音声メモアイコン毎に、当該タッチ時の録音時刻から前に戻る時間の幅は変動する。

一方、ステップＳ１５では、ＣＰＵ１０は、その他処理を実行する。その他処理に含まれる処理内容としては、たとえば
（１１）再生ボタンの操作：表示楽譜に対応する曲データの再生；
（１２）停止ボタンの操作：再生中の曲データまたは音声データ（録音データ）の停止；（１３）譜めくり操作 ：表示楽譜の次ページまたは前ページの楽譜を表示；
（１４）楽譜編集操作 ：表示楽譜に対する音符や記号などの入力または削除；
などを挙げることができる。

その他処理が終了すると、ＣＰＵ１０は、本録音停止中のタッチ処理を終了する。

以上は、ある楽譜、つまり図２（ａ）の選択曲に基づいて表示された楽譜を見て行われた演奏レッスンの様子を１回録音した場合について説明したが、次に、同じ楽譜を見て行われた演奏レッスンの様子を複数回録音した場合について説明する。

図５は、図２（ａ）の選択曲に基づいて表示された楽譜を見て行われた演奏レッスンの様子を３回録音したときに記録された録音データ（（ａ））と、各録音中に表示された楽譜に対するユーザのタッチ操作に応じて記録される情報（（ｂ））の一例を示す図である。

図５（ａ）中、録音データＲＤ１〜ＲＤ３は、３回の録音で記録された各録音データを示し、たとえば前記メモリ１４に保存されたものである。録音データＲＤ１の録音中には、３回のタッチ操作がなされ、各タッチ操作のタッチ時刻はそれぞれ“Ｔ１１”，“Ｔ１２”および“Ｔ１３”である。録音データＲＤ２の録音中には、２回のタッチ操作がなされ、各タッチ操作のタッチ時刻はそれぞれ“Ｔ２１”および“Ｔ２２”である。録音データＲＤ３の録音中には、１回のタッチ操作がなされ、そのタッチ時刻は“Ｔ３１”である。

ユーザのタッチ操作に応じて記録される情報は、図５（ｂ）に示すように、各録音データＲＤ１〜ＲＤ３の録音時にタッチされた楽譜上の座標位置情報とそれに対応する録音時刻（タッチ時間）情報である。この情報も、たとえばメモリ１４に保存される。タッチ操作がなされると、前述のように図３の録音中のタッチ処理が起動され、当該録音データに関して、タッチ位置の座標に応じて特定される楽譜上の時間位置とタッチ時の録音時刻（タッチ時間）とが関連付けて記録され（ステップＳ１，Ｓ３）、タッチ回数に応じて図５（ｂ）の行が追加される。図５（ｂ）では、タッチ時間とともに、タッチ時間よりも所定時間Δｔ（前記図２（ｂ）参照）だけ早い位置である再生開始位置（時間）も記録している。これにより、再生時にこの情報を参照するだけで再生開始位置が決まるので、再生処理（前記図４のステップＳ１４）を簡易に行うことができる。

なお図５（ｂ）では、録音時にタッチされた楽譜上の座標位置そのものを、それに対応する録音時刻に関連付けて記憶しているが、座標でなく、楽譜上の音楽的な位置など（つまり、検出したタッチ位置に応じて特定した楽譜上の時間位置）を記憶してもよい。この点については、前述した通りである。

ユーザが、メモリ１４に保存された録音データＲＤ１〜ＲＤ３のいずれかの読み出しを指示すると、指示された録音データが前記ＲＡＭの作業エリアに読み出されるとともに、読み出された録音データに対応するタッチ位置やタッチ時間の情報が図５（ｂ）を参照して読みだされ、タッチパネル１１上のタッチ位置に対応した座標には、前述のように音声メモアイコンが表示される。この状態で、ユーザがいずれかの音声メモアイコンをタッチすると、このタッチされた音声メモアイコンに関連付けられている記録時刻に基づき録音データが再生され、当該録音データ中の聞きたい箇所を直ぐ聞くことができる。

次に、音声メモアイコンの表示位置を任意に変更できるようにする編集処理の一例について図６により説明する。図６は、図４の変更例を示しており、ステップＳ１２とＳ１３の間にステップＳ１２１が挿入され、ステップＳ１２１が“ＹＥＳ”に分岐するルートにステップＳ１２２およびＳ１２３が設けられている。図４中のステップと同一番号のステップＳ１１〜Ｓ１５の処理内容は、図４で説明したものと同様であるので、その詳細な説明は省略する。

ステップＳ１２１では、ＣＰＵ１０は、音声メモアイコンへのタッチが所定のアイコン移動操作（第２のユーザ入力）であるかどうか判定する。アイコン移動動作とは、たとえばドラッグ操作、つまり、アイコンにタッチした指を画面から離さずにそのままスライドする操作である。ステップＳ１２１の判定の結果、アイコン移動操作でなければ、ＣＰＵ１０は、処理をステップＳ１３およびＳ１４のルートに進め、前述したような録音データの再生を行う。一方、アイコン移動操作であれば、ＣＰＵ１０は、処理をステップＳ１２２に進め、当該音声メモアイコンをこの移動操作に応じた表示位置へと移動させる。次いで、ステップＳ１２３において、ＣＰＵ１０は、この移動した音声メモアイコンに対応する録音時刻に関連付けてメモリ１４（のＲＡＭ）内に記憶されている楽譜上の時間位置を、移動後の表示座標位置に対応する楽譜上の時間位置に変更する。こうして、特定の音声メモアイコンを表示する座標位置（つまり、楽譜上の時間位置）を、それに対応する音声データの記録時刻、つまり内容（指示またはコメントなど）を変更することなく、任意に変更することができる。したがって、入力音声に対してリアルタイムに、マーキングのためのタッチ操作（第１のユーザ入力）を急いで行わねばならない場合、そのときのマーキング位置（タッチ位置）が不正確であったとしても、後の編集によって、より適切な楽譜上の時間位置に入力音声を関連付けることができる。

図７は、図４および図６中の「その他処理」（ステップＳ１５）に含まれる、前記「譜めくり操作」に関連する処理の手順を示すフローチャートである。「譜めくり操作」とは、楽譜の頁（ページ）めくり操作であり、楽譜が複数頁からなり、そのうちの一部が画面１１ａ上で表示される場合に、画面１１ａ上で表示する楽譜を現在の頁から次頁へ、または前頁へと切り換える操作である。

ステップＳ１５１では、ＣＰＵ１０は、画面１１ａ上の任意の位置でのタッチ操作が所定の次頁めくり操作であるかどうか判定する。この判定の結果、次頁めくり操作であれば、ＣＰＵ１０は、処理をステップＳ１５２に進め、画面１１ａ上で表示する楽譜を現頁から次頁へと切り換える。一方、次頁めくり操作でなければ、ＣＰＵ１０は、処理をステップＳ１５３に進め、画面１１ａ上の任意の位置でのタッチ操作が所定の前頁めくり操作であるかどうか判定する。この判定の結果、前頁めくり操作であれば、ＣＰＵ１０は、処理をステップＳ１５４に進め、画面１１ａ上で表示する楽譜を現頁から前頁へと切り換える。

一例として、次頁めくり操作は、音声メモアイコン（およびその他の移動可能な表示オブジェクト）以外の画面１１ａの任意の場所にタッチした指を、タッチしたまま左横方向に所定量以上スライドさせる操作からなり、また、前頁めくり操作は、音声メモアイコン（およびその他の移動可能な表示オブジェクト）以外の画面１１ａの任意の場所にタッチした指を、タッチしたまま右横方向に所定量以上スライドさせる操作からなる。もちろん、次頁めくり操作および前頁めくり操作として、これに限らず、どのようなタッチ操作手法を採用してもよい。あるいは、タッチ操作によらずに、表示したい所望の頁番号を直接指定するようにしてもよい。

次のステップＳ１５５では、ＣＰＵ１０は、前記頁めくり操作（次頁めくり操作または前頁めくり操作）と同時に音声メモアイコンの移動操作がなされたかどうかを判定する。たとえば、ある指で特定の音声メモアイコンをタッチした状態で、同時に別の指で前記頁めくり操作を行った場合、ＣＰＵ１０は、前記頁めくり操作と同時に、当該タッチした音声メモアイコンの移動操作がなされたと判定する。ステップＳ１５５の判定の結果、“ＹＥＳ”の場合には、ＣＰＵ１０は、ステップＳ１５６およびＳ１５７の処理を実行する一方、“ＮＯ”の場合には、ＣＰＵ１０は、本譜めくり操作処理を終了する。

ステップＳ１５６では、ＣＰＵ１０は、切換後の頁を表示している画面１１ａの適宜の位置に、前記移動操作された音声メモアイコンを表示し、ユーザによる当該音声メモアイコンの移動操作（ドラッグ操作）を更に受け付け、受け付けた移動操作に応じた表示位置へと当該音声メモアイコンを更に移動させる。次のステップＳ１５７では、前記ステップＳ１２３と同様に、ＣＰＵ１０は、当該移動した音声メモアイコンに対応する録音時刻に関連付けてメモリ１４（のＲＡＭ）内に記憶されている楽譜上の時間位置を、移動後の表示座標位置に対応する楽譜上の時間位置に変更する。

こうして、特定の音声メモアイコンを表示する座標位置（楽譜上の時間位置）を、それに対応する音声データの記録時刻、つまり内容（指示またはコメントなど）を変更することなく、任意の頁における表示座標位置に変更することができる。したがって、楽譜（表示コンテンツ）が複数頁からなる場合であっても、入力音声に対してリアルタイムに、マーキングのためのタッチ操作（第１のユーザ入力）を急いで行わねばならない場合、そのときのマーキング位置（タッチ位置）が不正確であったとしても、後の編集によって、より適切な任意の頁の楽譜上の時間位置に該入力音声を関連付けることができる。

なお本実施の形態では、前記図３の録音中のタッチ処理により、楽譜上のタッチ位置に音声メモアイコンを表示するようにしたが、これに限らず、楽譜上のタッチ位置に発話内容を文字で表示するようにしてもよい。図８は、この場合のタッチパネル１１の画面１１ａ′の一例を示す図である。このように発話内容を文字で表示できれば、楽譜上の同じ場所に複数回のタッチ操作があった場合、再生したい発話内容を簡単に判別することができる。発話内容の文字への変換は、公知の音声認識技術を用いて行えばよい。また、録音データ中、発話内容の文字への変換を行う始点は、タッチ時の録音時刻から所定時間Δｔだけ前の時刻とすればよい。あるいは、その近傍で、区切りのよいところを検出し、その検出時点から文字への変換を行うようにしてもよい。さらに、変換後の文字内容は、ユーザが自由に編集可能に構成してもよい。

また本実施の形態では、録音データ、つまり前記録音データ格納領域に格納された音声データを保存することについて言及していないが、そのすべてをフラッシュメモリに保存してもよいし、ユーザが楽譜上にタッチした箇所のみを切り出して保存し、残りは消去するようにしてもよい。後者の保存方法を採ると、保存するデータ容量を削減できるので、有用である。後者の場合、保存データの始点は、タッチ時の録音時刻から所定時間Δｔだけ前の時刻とすればよいが、保存データの終点は、次のいずれかの方法で決定する。つまり、
（２１）ユーザが手動で終点を指定する；
（２２）始点から所定時間（たとえば、１０秒間）後を終点とする（所定時間は、予め固定的に決まっていてもよいし、ユーザが自由に変更できるようにしてもよい）；
（２３）公知の音声認識技術で、発話の終了を検出したときに、その検出点を終点とする；
などである。

さらに本実施の形態では、図３のステップＳ３で前述したように、タッチ時の録音時刻は、録音を開始した時点からの経過時間を記憶するようにしているが、これに限らず、装置が時計機能を持っていたり、サーバなどに問い合わせたりして、現在時刻が分かる場合には、タッチ時の現在時刻を記憶するようにしてもよい。この場合には、録音データに対応付けて「録音の日付、開始時刻、終了時刻」を記憶しておき、タッチ時の録音時刻は、「録音の日付、タッチ時刻」を記憶しておく。そして、たとえば、ある日付の１０時００分１５秒に録音が開始された録音データに対して、タッチ時刻が、その日付の１０時１０分３０秒であれば、録音経過時間は１０分１５秒と算出できるので、録音経過時間を記憶しておかなくても、その算出された録音経過時間から録音データを再生することができる。

また本実施の形態では、周囲の音声の録音と楽譜表示を１つの装置で行うようにしたが、これに限らず、周囲の音声の録音と楽譜表示を別々の装置、つまり録音装置と表示装置で行うようにしてもよい。このように構成すると、演奏者が表示装置に表示された楽譜に対する操作を行い、指導者がＩＣレコーダなどの録音装置を操作して指示内容（指導者の声）を含む周囲の音声を録音する、というように、作業を２人以上で分担することができる。

たとえば、録音装置と表示装置が、ネットワークを介してサーバに接続されているとする。録音装置の操作者が、録音装置に対して録音開始を指示すると、録音装置は、「録音中」というステータスをネットワーク経由で表示装置に送信する。録音中の音声データは、録音装置からネットワーク経由でサーバに送信され、サーバ内に記憶される。つまり、サーバが音声データの記憶装置として機能する。ステータスが「録音中」のときに、表示装置の操作者が、表示装置の表示画面上の任意の位置をタッチすると、表示装置は、そのタッチ時の時間情報をネットワーク経由でサーバに送信する。サーバは、この時間情報を当該音声データにおける経過時間に変換して記憶する。あるいは、音声データ自体が「録音開始からの経過時間」ではなく、前述のように、日付と時刻によって時間管理されていてもよい。

録音装置の操作者が、録音装置に対して録音停止を指示すると、録音装置は、「録音停止中」というステータスをネットワーク経由で表示装置に送信する。ステータスが「録音停止中」のときに、表示装置の操作者が、表示装置の画面上の音声メモアイコンにタッチすると、表示装置は、サーバから音声データを取得し、タッチされた音声メモアイコンに対応付けられた時間情報に基づいて、取得した音声データを適切な場所から再生する。

なお、演奏者と指導者は同じ空間にいるので、録音装置と表示装置がネットワークでつながっていなくても、かけ声やアイコンタクトによって、両装置間の同期を取ることができる。表示装置の操作者は、かけ声がかかると、表示装置を「録音モード」に切り替え、経過時間の計測および音声メモアイコンの追加を行える状態にする。録音装置の操作者は、かけ声がかかると、録音装置に対して録音開始を指示する。これにより、表示装置と録音装置との間で、共通の「経過時間」を計測することができる。

録音終了後に、表示装置の操作者は、録音装置内のメモリに記録された音声データを自分の表示装置にコピーすれば、表示装置上で音声メモアイコンにタッチして、音声データを適切な時間位置から再生できるようになる。

これらの例は、複数の演奏者が一人の指導者の下で演奏する場合に、特に有用である。指導者は、各演奏者に対して指示を出し、各演奏者は、自分に対する指示のみを（楽譜上をタッチして）記憶しておけばよい。

また、録音装置と表示装置とを分けた場合、録音装置に代えて、録画装置を用い、音声を録音する代わりに、動画を録画するようにしてもよい。動画の録画は、専用のカメラマンに任せ、演奏者（ユーザ）は、楽譜表示に対するタッチ操作のみ行うようにすることが考えられる。

なお、本発明は音楽以外の分野にも応用できる。表示装置に表示する表示コンテンツは、演奏内容を示すものに限らず、たとえば一般的なテキスト、写真、地図、イラストなど、何でもよい。たとえば複数人で会議を行う際に、会議での会話を録音しておき、会話の内容に合わせてテキストや写真などの任意の位置を指定すれば、会議後にすぐに会議の内容を所望の位置から聞き直せるようになるので、議事録を作成する必要がなくなる。

また本実施の形態では、楽譜をタッチパネル１１上に表示し、楽譜への操作を直接行うようにしたが、これに限らず、タッチパネルでない表示器を採用して、その表示器上に楽譜を表示し、楽譜へ位置指定は、マウスなどのポインティング・デバイスによって行ったり、テンキーによって数字（小節番号や拍数など）を入力して行ったりしてもよい。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

１０…ＣＰＵ（録音手段、入力手段），１１…タッチパネル（表示手段、入力手段），１４…メモリ（録音手段、記憶手段），１６…音声入力Ｉ／Ｆ（音声入力手段）

Claims (7)

1. 表示記録方法をコンピュータに実行させるためのプログラムであって、
   前記表示記録方法は、
   演奏内容の時間的推移を表す表示コンテンツを表示手段に表示させる表示ステップと、
   音声入力手段によって入力された音声を録音する録音ステップと、
   前記録音ステップによる録音中に前記表示手段に表示された表示コンテンツにおける任意の時間位置を指定する第１のユーザ入力を受け付ける第１の入力ステップと、
   前記第１のユーザ入力が受け付けられた時点における前記音声の記録時刻と、当該第１のユーザ入力により指定された、前記表示コンテンツにおける時間位置とを対応付けて記憶手段に記憶する記憶ステップと
   を有する
   ことを特徴とするプログラム。
2. 前記表示記録方法はさらに、
   前記第１のユーザ入力によって指定された、前記表示コンテンツにおける時間位置に関連した表示箇所にマークを付与する付与ステップを有する
   ことを特徴とする請求項１に記載のプログラム。
3. 前記表示記録方法はさらに、
   前記付与ステップにより付与された、前記表示コンテンツにおけるマークの時間位置を異なる時間位置へ移動させる第２のユーザ入力を受け付ける第２の入力ステップと、
   前記第２のユーザ入力によるマークの時間位置の移動に応じて、前記第１のユーザ入力が受け付けられた時点における前記音声の記録時刻を、当該第２のユーザ入力によって移動された時間位置に対応付けるように変更制御する制御ステップと
   を有する
   ことを特徴とする請求項２に記載のプログラム。
4. 前記表示記録方法はさらに、
   前記音声の記録時刻に対応付けられた時間位置のいずれかを選択可能な選択手段によっていずれかの時間位置が選択された場合、当該選択された時間位置に基づいて、前記録音された音声を再生する再生ステップを有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記再生ステップでは、前記録音された音声を再生する場合、当該選択された時間位置に対応する音声の記録時刻より所定時間だけ前から、当該音声の再生を開始する
   ことを特徴とする請求項４に記載のプログラム。
6. 演奏内容の時間的推移を表す表示コンテンツを表示手段に表示させる表示ステップと、
   音声入力手段によって入力された音声を録音する録音ステップと、
   前記録音ステップによる録音中に前記表示手段に表示された表示コンテンツにおける任意の時間位置を指定するユーザ入力を受け付ける入力ステップと、
   前記ユーザ入力が受け付けられた時点における前記音声の記録時刻と、当該ユーザ入力により指定された、前記表示コンテンツにおける時間位置とを対応付けて記憶手段に記憶する記憶ステップと
   を有することを特徴とする表示記録方法。
7. 演奏内容の時間的推移を表す表示コンテンツを表示する表示手段と、
   音声を入力する音声入力手段と、
   前記音声入力手段によって入力された音声を録音する録音手段と、
   前記録音手段による録音中に前記表示手段によって表示された表示コンテンツにおける任意の時間位置を指定するユーザ入力を受け付ける入力手段と、
   前記ユーザ入力が受け付けられた時点における前記音声の記録時刻と、当該ユーザ入力により指定された、前記表示コンテンツにおける時間位置とを対応付けて記憶する記憶手段と
   を有することを特徴とする表示装置。

Images