JP2003271164A

JP2003271164A - 楽音発生方法、楽音発生プログラム、記憶媒体、及び楽音発生装置

Info

Publication number: JP2003271164A
Application number: JP2002076215A
Authority: JP
Inventors: Yukiyo Kubo; 幸世久保; Masaki Hara; 正樹原
Original assignee: Yamaha Music Foundation
Current assignee: Yamaha Music Foundation
Priority date: 2002-03-19
Filing date: 2002-03-19
Publication date: 2003-09-25

Abstract

(57)【要約】【課題】再現される描画と楽音とが入力時の描画と楽
音とに一致する楽音発生方法、プログラム、記憶媒体、
及び装置を提供する。【解決手段】楽音発生装置１００は描画領域２１を有
し、この上辺の境界線２１ａ上に延びるｘ軸と左辺の境
界線２１ｂ上に延びるｙ軸とによって２次元の座標系が
設定されており、発音される楽音の左右の音量バランス
がｘ軸の座標によって決定され、発音される楽音の音高
がｙ軸の座標によって決定される。描画領域２１への描
画はマウス及びマウスの操作に連動するカーソルＣによ
って行われ、描画された順に画像の情報とこれに対応す
る楽音の情報とが記録される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、描画された画像に
対応する楽音を発生させる楽音発生方法、プログラム、
記憶媒体、及び装置に関する。

【０００２】

【従来の技術】従来から、画像に対応する楽音を発生さ
せる楽音発生装置はＧＵＩを備えており、このＧＵＩか
らユーザによって入力される画像に対応した楽音を発音
させたり、ユーザが描いた画像を保存しておき、この画
像を再生しながら再生中の画像に対応する楽音を発生さ
せたりしていた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
楽音発生装置はＧＵＩの画面（描画領域）上の横向（横
幅方向）に演奏時間軸が設定されており、縦方向に音高
のピッチが設定されていたことによって以下のような問
題があった。

【０００４】例えば、ＧＵＩ上での描画の際には入力と
ともに対応する楽音が発音されるが、保存した画像を再
生する場合には、画面上の横方向が演奏時間軸に対応し
ているため、ユーザが画像を描いた順序や速度などが忠
実には再現できないという問題があった。

【０００５】また、同様の理由により、描画領域の左端
から描画しておかないと再生モードの開始と同時には画
像の再現及び楽音の発音が起こらないという問題があっ
た。

【０００６】また、描画領域の横幅によって最大描画時
間が決まるので、ユーザが描画領域に描画できる時間及
び再生可能な時間の制約が大きいという問題があった。

【０００７】他にも、発音される楽音が音階に従って定
められたものであるので、再現される画像が連続する線
によって描画されたものであっても、発音される楽音の
音高は連続して変化しないので、画像の変化と楽音の変
化とが感覚的に一致しない場合があった。

【０００８】本発明の目的は、再現される描画と楽音と
が入力時の描画と楽音とに一致する楽音発生方法、プロ
グラム、記憶媒体、及び装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の楽音発生方法は、画像を表示すると共に
該表示する画像に対応する楽音を発生させる楽音発生方
法であって、画像の入力及び表示をするための、座標系
が設定された描画領域に、前記入力された画像を入力順
に表示する画像表示ステップと、前記画像表示ステップ
において表示しつつある画像部分の前記座標系における
座標に対応する楽音を発生させる楽音発生ステップとを
有する。

【００１０】請求項２記載の楽音発生方法は、請求項１
記載の楽音発生方法において、前記座標系は、第１の座
標軸とこれに交差する第２の座標軸とによって設定され
ており、前記発生させる楽音の音程が前記第１の座標軸
の値によって決定し、前記楽音の左右の音量バランスが
前記第２の座標軸の値によって決定することを特徴とす
る。

【００１１】請求項３記載の楽音発生方法は、請求項１
又は２記載の楽音発生方法において、前記発生させる楽
音の音程は、前記第１の座標軸の値の連続的変化に従っ
て連続的に上下することを特徴とする。

【００１２】請求項４記載の楽音発生方法は、請求項１
乃至３のいずれか１項に記載の楽音発生方法において、
前記座標系は前記描画領域の外部まで設定されており、
該外部において入力された外部座標があるときは、前記
楽音発生ステップは前記描画領域内の座標から連続して
前記外部座標に対応する楽音を発生させることを特徴と
する。

【００１３】上記目的を達成するために、請求項５記載
のプログラムは、画像を表示すると共に該表示する画像
に対応する楽音を発生させる楽音発生プログラムであっ
て、画像の入力及び画像の表示をする、座標系が設定さ
れた描画領域に、前記入力された画像を入力順に表示す
る画像表示手順と、前記画像表示ステップにおいて表示
されつつある部分の前記座標系における座標に対応する
楽音を発生させる楽音発生手順とをコンピュータに実行
させることを特徴とする。

【００１４】上記目的を達成するために、請求項６記載
の記憶媒体は、画像を表示すると共に該表示する画像に
対応する楽音を発生させる楽音発生プログラムが格納さ
れたコンピュータにより読み取り可能な記憶媒体であっ
て、前記プログラムは、画像の入力及び画像の表示をす
る、座標系が設定された描画領域に、前記入力された画
像を入力順に表示する画像表示手順と、前記画像表示手
順において表示しつつある部分の前記座標系における座
標に対応する楽音を発生させる楽音発生手順とをコンピ
ュータに実行させることを特徴とする。

【００１５】上記目的を達成するために、請求項７記載
の楽音発生装置は、画像を表示すると共に該表示する画
像に対応する楽音を発生させる楽音発生装置において、
画像が入力され、該画像の入力順に画像を表示する、座
標系が設定された描画領域を有する画像入力表示手段
と、前記描画領域に表示しつつある部分の前記座標系に
おける座標に対応する楽音を発生させる楽音発生手段と
を備えることを特徴とする。

【００１６】請求項８記載の楽音発生装置は、請求項７
記載の楽音発生装置において、前記画像入力表示手段に
入力される画像の情報が、入力開始時刻から入力終了時
刻までの時刻情報及び該時刻情報によって特定される時
刻において入力された画像部分の座標情報を少なくとも
有し、前記画像の情報を記憶する記憶手段と、前記記憶
手段に記憶された前記画像の情報に基づいて再生される
画像及び入力されつつある画像の情報に基づいて形成さ
れる画像の双方及び何れか一方を選択して前記画像入力
表示手段に表示させる選択手段とを備えることを特徴と
する。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態に係る
楽音発生装置を図面を参照しながら詳細に説明する。

【００１８】図１は、本発明の実施の形態に係る楽音発
生装置の構成を示すブロック図である。

【００１９】楽音発生装置１００は、画像を入力するた
めの画像入力部１０、画像の表示及び楽音の発生をさせ
るための出力部２０、画像入力部１０から入力される画
像情報や楽音情報、その他各種情報やプログラム等を記
憶しておく記憶部３０、及び楽音発生装置１００全体を
制御するための制御部５０から構成されている。

【００２０】画像入力部１０は例えばマウスであるが、
キーボード、タブレット、カメラ等でもよい。出力部２
０は画像を表示するＣＲＴ(cathode-ray tube)、ＬＣＤ
(liquid crystal display)等のディスプレイ及び楽音を
発生させるスピーカ等を備えている。記憶部３０（記憶
手段）はＲＯＭ(read-only memory)、ＲＡＭ(random-ac
cess memory)、ＨＤＤ(hard disk drive)、ＣＤ(compac
t disk)、ＤＶＤ(digital versatile disk)などであ
る。制御部５０はＣＰＵ(central processing unit)で
ある。

【００２１】以上のように構成された楽音発生装置１０
０はパソコン、ゲーム機、携帯電話、固定設置型の電話
機、ＳＴＢ等によっても実現される。

【００２２】図２は、図１における出力部２０に表示さ
れる表示画面を示す図である。

【００２３】出力部２０は、例えば、液晶ディスプレイ
と不図示のスピーカとであり、表示画面上の方形の領域
２１は、ユーザが描画するとともに描画によって入力さ
れた画像情報に基づいて画像が表示される描画領域であ
る。この描画領域２１には２次元の座標系が設定されて
いる。

【００２４】この座標系は描画領域２１の上辺の境界線
２１ａ上に延びる座標軸ｘ（以下、ｘ軸）と左辺の境界
線２１ｂ上に延びる座標軸ｙ（以下、ｙ軸）とによって
設定されており、これらが交差する画面上左上の角０が
原点である。この座標軸ｘ，ｙは説明を容易にするため
に図示されているが、実際の楽音発生装置１００では表
示されなくともよい。描画領域２１への描画はマウス及
びマウスの操作に連動するカーソルＣによって行われ
る。

【００２５】ｘ軸は発音される楽音の左右の音量バラン
スを決定するための座標軸であり、ｙ軸は発音される楽
音の音高を決定するための座標軸である。例えば、描画
領域２１のサイズが３００×３００である場合、ｙ＝２
９９が２７．５Ｈｚ（Ａ_-1）に対応し、ｙ＝０が４１８
６．０Ｈｚ（Ｃ₇）に対応するように音高を変換する。
また、音量バランスは０（Ｒｃｈ＝０）〜１２７（Ｌｃ
ｈ＝０）の間で制御される。この場合、ｘ＝０のとき音
量は最小値（＞０）、ｘ＝２９９のとき音量は最大値
（＜１２７）となる。

【００２６】図３は座標系のｙ座標と音高との対応関係
を示す図である。

【００２７】図３において原点は描画領域２１の左上の
角である。実線αはｙ座標と音高との関係を例示するｙ
座標‐音高変換曲線である。このｙ座標‐音高変換曲線
αによれば、描画領域２１内では線形に変換されるが描
画領域２１の外部では非線形に最低音高、最高音高に漸
近するように変換される。この音高の最低音高から最高
音高まではＭＩＤＩのノートオンで指定できる音高域に
対応している。ｙ座標がゼロのときはＣ₇、即ち、境界
線２１ａ上の位置にはピアノの一番高い音が割り当てら
れており、ｙ_MAXのときはＡ_-1、即ち、描画領域２１の
下辺の境界線２１ｃ上の位置にはピアノの一番低い音が
割り当てられている。

【００２８】なお、この実施例では、ノートオンで指定
されるノートナンバは常に一定（Ｅ ₃）であり、ｙ軸に
対応した音高にピッチチェンジを行う。一点鎖線βで示
した直線はこのノートオンで指定されるノートナンバ
（Ｅ₃）を示している。

【００２９】再度、図２を参照すると、境界線２１ｃの
下方には、ｘ軸方向に、即ち、境界線２１ｃに平行にタ
イムインジケータ２２が表示されている。後述するトラ
ックには、画像情報及び楽音情報を記録できる時間が設
定されており、このタイムインジケータ２２は、再生・
録音中に境界線２１ｃの左端下方から右端下方まで等速
度で移動する。これにより、再生終了までの時間やトラ
ックに記録可能な残り時間をユーザに知らせる。即ち、
タイムインジケータ２２が境界線２１ｃの右端下方に至
ったときに再生は終了し、録音（記録）の場合は１本の
トラックへの記録が停止する。

【００３０】また、描画領域２１の右側外部には各種の
設定をするためのボタンが表示されている。この右側外
部の上部には１〜８の番号が付された四角い８つのトラ
ック選択ボタン２３が配置されている。このトラック選
択ボタン２３は、楽音データを記録するトラックを選択
する際に操作される。従って、本実施の形態において
は、選択できるトラックの本数は８である。

【００３１】図示の例では“７”番のトラックが選択さ
れており、“７”番のトラックに記録されている画像と
楽音とが描画されつつ、カーソルＣによって新たに描画
がされているものとする。

【００３２】トラック選択ボタン２３の下方には、楕円
形の８つのボタン２４が配置されている。ボタン２４の
各々には固有の色が付されている。これらのボタン２４
は液晶ディスプレイ上に描画される画像の色（画色）及
び発音される楽音の音色を選択するためのカラー選択ボ
タンであり、ボタン毎に固有の画色と音色との組合せが
設定されている。各カラー選択ボタン２４に付された固
有の色は画色と同じである。従って、画像情報の入力の
際には、選択されているカラー選択ボタン２４の色と同
じ色でカラー液晶ディスプレイ上に描画される。本実施
の形態において、このカラー選択ボタン２４によって選
択できる画色及び音色の組合せの数は８である。

【００３３】これらカラー選択ボタン２４の下方には４
つのコントロールボタン２５が配置されている。右下に
配置されたＲＥＱボタンは描画領域２１に描画される画
像の画像情報とこの画像に対応する楽音の楽音情報とを
トラック選択ボタン２３で選択したトラックに記録する
ときに予め操作する（押す）ものである。

【００３４】このＲＥＱボタンの上に配置されたＰＬＡ
Ｙボタンは、選択されたトラックに記憶された画像情報
及び楽音情報に基づいて描画領域２１に画像を表示（再
生）させながら、この表示されつつある部分に対応する
楽音をスピーカから発音(再生）させる際に操作するも
のである。

【００３５】ＲＥＱボタンの左隣に配置されたＤＥＬＥ
ＴＥボタンは選択されたトラックに記憶された画像情報
及び楽音情報を消去する際に操作するものである。この
ＤＥＬＥＴＥボタンの上に配置されたＳＴＯＰボタン
は、選択したトラックへの画像情報及び楽音情報の記
憶、これら情報の再生又は選択したトラックからの情報
の消去を停止させる際に操作するものである。図示の例
ではＲＥＱボタンが押されているものとする。

【００３６】上記の再生・記録・削除は、トラックが選
択されている場合には選択されているトラックについて
のみ実行されるが、トラックが選択されていない場合に
は全トラックについて実行される。

【００３７】上記の座標系は描画領域２１の外部にまで
設定されているため、描画中にカーソルＣの軌跡が描画
領域２１から外れてしまった場合でも、楽音情報は入力
される。これにより、カーソルＣの軌跡が描画領域２１
から外れてしまった部分は画像として描画領域２１に再
生されないが、楽音は描画領域２１の外部におけるカー
ソルＣの軌跡に対応して再生される。従って、仮に入力
時にカーソルＣが描画領域２１から外れたとしても、再
生される楽音は途切れることが無い。

【００３８】図４は、トラックに記録されるデータの構
造を示すトラックデータ構造図である。

【００３９】トラックは上記のようにトラック選択ボタ
ン２３によって選択される。トラックのヘッダには「色
Ｎｏ．」と「その他のパラメータ」との情報が記録され
ている。「色Ｎｏ．」とは、上記の各カラー選択ボタン
２４に色づけされた色と同じ色を特定するものであり、
トラックに記憶された画像情報から再生される画像の色
を特定するものである。

【００４０】「その他のパラメータ」にはイベントポイ
ントデータの個数を含んでいる。これが”０”の場合
は、トラックのデータは空である。上記の情報が記録さ
れたヘッダには「イベントポイントデータ」が続いてい
る。イベントポイントデータはイベントの座標（ｘ，
ｙ）（座標情報）、発音状態、時間（時刻情報）の各デ
ータから構成される。時刻情報は画像の入力開始時刻か
ら入力終了時刻までの間において発生したイベントの発
生時刻の情報であり、座標情報はこの時刻情報によって
特定される時刻に発生したイベントの座標の情報であ
る。最後のイベントポイントデータの次には、記録され
たデータの終わりを示す情報（ＥＯＤ）が続いている。

【００４１】本実施の形態に係る楽音発生装置において
は、図２に示すようにトラック選択ボタン２３によって
８つのトラックにデータを記録し、それらをＲＡＭ３０
（記憶手段）に保存しておくことができる。

【００４２】次に、マウスイベント処理を説明する。

【００４３】図５は、マウスイベント処理を示すフロー
チャートである。

【００４４】このフローチャートで示す処理が開始され
る以前に音源などのデバイス、パラメータ（描画位置な
ど）は初期化されており、イベントの発生を待つ状態に
なっている。イベントはマウスオン（マウスのボタンが
押された）、マウスオフ（マウスのボタンが離され
た)、マウスクリック（マウスのボタンがクリックされ
た）、マウスムーブ（マウスのボタンが押された状態で
マウスが動かされた）である。

【００４５】図５において、まず、イベントが発生した
ときの現在時刻(タイマ時刻）が時刻情報として記憶さ
れ、カーソルの位置の座標（ｘ，ｙ）も記憶される（ス
テップＳ５０１）。

【００４６】次に、時間がトラックに記録できる上限時
間に達したか否かを判別し（ステップＳ５０２）、上限
時間に達したときは記録フラグを反転して記録を終了す
る（ステップＳ５０３）。

【００４７】次に、「記録中である（記録フラグ＝Ｏ
Ｎ）」、「トラックが選択されている（選択トラック
≠０）」、「音色が選択されている（選択色＝０）」
の全てが満たされているか否かを判別する（ステップＳ
５０４）。これら〜の何れかでも満たされていない
場合は、この処理を終了する。ステップＳ５０２の判別
の結果、時間がトラックに記録できる上限時間に達して
いない場合は、ステップＳ５０３を経ずにステップＳ５
０４に進む。

【００４８】ステップＳ５０４の判別の結果、〜の
全てが満たされている場合は、マウスイベントがマウス
オン、マウスオフ、及びマウスムーブの何れであるかを
判別する（ステップＳ５０５）。マウスイベントがマウ
スオンである場合は、発音フラッグとして「Note ON」
が入れられる（ステップＳ５０６）。続いて、上記ｘ軸
をパンニングのパラメータとして設定し、ｙ軸を音高の
パラメータとして変換して（ステップＳ５０７）、後述
するステップＳ５０８に進む。

【００４９】ステップＳ５０５の判別の結果、マウスイ
ベントがマウスオフである場合は、発音フラッグとして
「Note OFF」が入れられ（ステップＳ５０９）、パンと
音高パラメータとが初期値に戻され（ステップＳ５１
０）、ステップＳ５０８に進む。

【００５０】ステップＳ５０５の判別の結果、マウスイ
ベントがマウスムーブである場合は、発音フラッグフラ
ッグとして「Continue」が入れられ（ステップＳ５１
１）、ステップＳ５０７に進む。

【００５１】ステップＳ５０８では、決定した発音、パ
ン、発音ピッチをＭＩＤＩイベントに変換して音源に出
力する。発音フラグが「Note ON」の場合はノートオン
イベントを、発音フラグが「Note OFF」の場合はノート
オフイベントを、発音フラグが「Continue」の場合はピ
ッチベンドチェンジを出力する。描画領域２１には入力
された座標（ｘ_m，ｙ_m）をつないで行くことによって軌
跡を描画する（ステップＳ５１２）。なお、タイムイン
ジケータ２２は別途にタイマ割込ルーチンによって時間
位置（時間／最大記録時間）に移動する。次に、座標位
置、発音フラッグ、時間（録音開始からの時間）をトラ
ックに記録して（ステップＳ５１３）、本処理を終了す
る。

【００５２】次に、ボタンイベント処理を説明する。

【００５３】図６及び７は、ボタンイベント処理を示す
フローチャートである。

【００５４】このフローチャートで示す処理はトラック
選択ボタン２３、カラー選択ボタン２４、及びコントロ
ールボタン２５の夫々の操作によって発生するイベント
である。

【００５５】図６において、まず、ボタン操作がされ
（ステップＳ６０１）、操作されたボタンがトラック選
択ボタン２３である場合（ステップＳ６０２）、現在選
択されているトラックがトラック選択ボタン２３に対応
するトラックであるか否かを判別する（ステップＳ６０
３）。現在選択されているトラックがトラック選択ボタ
ン２３に対応するトラックでない場合は、トラック選択
ボタン２３によって選択されたトラックを設定して本処
理を終了する（ステップＳ６０４）。ステップＳ６０３
の判別の結果、現在選択されているトラックがトラック
選択ボタン２３に対応するトラックである場合は、トラ
ックの選択をクリア（選択トラック←０）して本処理を
終了する（ステップＳ６０５）。選択トラック＝０のと
きは、記録時には記録処理をスキップし、再生時及び削
除時には全トラックを選択することになる。

【００５６】同様に、操作されたボタンがカラー選択ボ
タン２４である場合（ステップＳ６０２）、従前の色が
カラー選択ボタン２４に対応する色であるか否かを判別
する（ステップＳ６０６）。従前の色がカラー選択ボタ
ン２４に対応する色でない場合は、カラー選択ボタン２
４によって選択された色を設定して本処理を終了する
（ステップＳ６０７）。ステップＳ６０６の判別の結
果、従前の色がカラー選択ボタン２４に対応する色であ
る場合は、色の選択をクリアして（選択色＝０）本処理
を終了する（ステップＳ６０８）。なお、選択色＝０の
ときは既定の色（音色）を選択するようにしてもよい。

【００５７】次に、ステップＳ６０２において、選択さ
れたボタンがコントロールボタン２５である場合を説明
する。

【００５８】図７に示すように、操作されたボタンがコ
ントロールボタン２５であって（ステップＳ６０２）、
コントロールボタン２５のうちのＳＴＯＰボタンが選択
された場合は（ステップＳ６０９）、再生及び記録のう
ち実行されている方を停止させ（ステップＳ６１０）、
その後に本処理を終了する。なお、再生と記録とがとも
に実行されているときは双方ともに停止させる（ステッ
プＳ６１０）。このＳＴＯＰボタンは、再生中、記録
中、再生記録中の何れか以外の場合は操作できないよう
にしてもよい。

【００５９】選択されたボタンがＰＬＡＹボタン及びＲ
ＥＱボタンのいずれかである場合は（ステップＳ６０
９）、タイマを起動し（ステップＳ６１１）、記録（再
生）位置をトラックの先頭にする（ステップＳ６１
２）。選択されたボタンがＰＬＡＹボタンであるか否か
を判別し（ステップＳ６１３）、ＰＬＡＹボタンである
場合は再生フラッグとして「On」をいれて（ステップス
テップＳ６１４）本処理を終了する。ステップＳ６１３
の判別の結果、ＰＬＡＹボタンではない場合は、そのま
ま本処理を終了する。

【００６０】なお、再生中及び記録中はＰＬＡＹボタン
及びＲＥＱボタンの操作はできないようにしてもよい。
また、選択トラック＝０であるときは、ＲＥＱボタンの
操作はできず、トラックデータがすべて空である場合は
ＰＬＡＹボタンの操作はできないようにしてもよい。

【００６１】選択されたボタンがＤＥＬＥＴＥ（削除）
ボタンである場合は（ステップＳ６０９）、選択されて
いるトラックのデータを消去し（ステップＳ６１６）、
選択トラック＝０として（ステップＳ６１７）本処理を
終了する。なお、トラックデータがすべて空である場合
はＤＥＬＥＴＥボタンの操作はできない。

【００６２】尚、上述した実施の形態を実現する、楽音
発生方法を記憶した任意の記憶媒体が、コンピュータ等
の情報処理装置に上記楽音発生方法を実行するプログラ
ムを供給し、ＣＰＵ又は不図示のＭＰＵのいずれか１つ
が上記プログラムを実行してもよい。上記プログラムを
供給する記憶媒体としては、例えば、フロッピー（登録
商標）ディスク、ハードディスク、光ディスク、光磁気
ディスク、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、磁気テープ、不揮
発性のメモリカード、若くはＲＯＭなどがある。

【００６３】また、情報処理装置のＣＰＵ又はＭＰＵの
いずれか１つの代わりに、これらと同様の動作をする不
図示の回路が上述した実施の形態を実現してもよい。

【００６４】また、記憶媒体が供給する上記プログラム
は、情報処理装置に挿入された不図示の機能拡張ボード
や情報処理装置に接続された不図示の機能拡張ユニット
に備わる不図示のメモリに書き込まれた後、その機能拡
張ボードや機能拡張ユニットに備わる不図示のＣＰＵ等
が上記プログラムの一部または全部を実行してもよい。

【００６５】

【発明の効果】以上詳細に説明したように、請求項１記
載の楽音発生方法、請求項５記載の楽音発生プログラ
ム、請求項６記載の記憶媒体、及び請求項７記載の楽音
発生装置によれば、入力された画像を入力順に表示し、
表示しつつある画像部分に対応する楽音を発生させるの
で、再現される描画と楽音とを入力時の描画と楽音とに
一致させることがせきる。

【００６６】請求項２記載の楽音発生方法によれば、楽
音の音程が第１の座標軸の値によって決定し、楽音の左
右の音量バランスが第２の座標軸の値によって決定する
ので楽音の音程及び音量バランスの組合せをユーザが容
易に仮想できる。このため、ユーザは描画の入力及び再
生をより楽むことができる。

【００６７】請求項３記載の楽音発生方法によれば、楽
音の音程は第１の座標軸の値の連続的変化に従って連続
的に上下する。このため、描画された画像によりよく対
応した楽音を発生させることができる。

【００６８】請求項４記載の楽音発生方法によれば、座
標系が描画領域の外部まで設定されているので描画によ
る入力が描画領域からはみ出しても楽音は途切れること
なく発生させることができる。従って、ユーザの興趣を
そぐことがないばかりか、興趣を高めることができる。

【００６９】請求項８記載の楽音発生装置によれば、記
憶手段に記憶された画像の情報に基づいて再生される画
像及び入力されつつある画像の情報に基づいて形成され
る画像の双方及び何れか一方を選択して表示させること
ができるので、ユーザの興趣をさらに高めることができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る楽音発生装置の構成
を示すブロック図である。

【図２】図１における出力部２０に表示される表示画面
を示す図である。

【図３】図３は座標系のｙ座標と音高との対応関係を示
す図である。

【図４】図４は、トラックに記録されるデータの構造を
示すトラックデータ構造図である。

【図５】マウスイベント処理を示すフローチャートであ
る。

【図６】ボタンイベント処理の一部を示すフローチャー
トである。

【図７】図６に示したボタンイベント処理の一部に続く
フローチャートである。

【符号の説明】

２１描画領域２３トラック選択ボタン２４カラー選択ボタン２５コントロールボタン３０記憶部１００楽音発生装置Ｃカーソル

Claims

【特許請求の範囲】

【請求項１】画像を表示すると共に該表示する画像に
対応する楽音を発生させる楽音発生方法であって、画像の入力及び表示をするための、座標系が設定された
描画領域に、前記入力された画像を入力順に表示する画
像表示ステップと、前記画像表示ステップにおいて表示しつつある画像部分
の前記座標系における座標に対応する楽音を発生させる
楽音発生ステップとを有する楽音発生方法。
【請求項２】前記座標系は、第１の座標軸とこれに交
差する第２の座標軸とによって設定されており、前記発
生させる楽音の音程が前記第１の座標軸の値によって決
定し、前記楽音の左右の音量バランスが前記第２の座標
軸の値によって決定することを特徴とする請求項１記載
の楽音発生方法。
【請求項３】前記発生させる楽音の音程は、前記第１
の座標軸の値の連続的変化に従って連続的に上下するこ
とを特徴とする請求項１又は２記載の楽音発生方法。
【請求項４】前記座標系は前記描画領域の外部まで設
定されており、該外部において入力された外部座標があ
るときは、前記楽音発生ステップは前記描画領域内の座
標から連続して前記外部座標に対応する楽音を発生させ
ることを特徴とする請求項１乃至３のいずれか１項に記
載の楽音発生方法。
【請求項５】画像を表示すると共に該表示する画像に
対応する楽音を発生させる楽音発生プログラムであっ
て、座標系が設定されており、画像の入力及び画像の表
示をする描画領域に、前記入力された画像を入力順に表
示する画像表示手順と、前記画像表示手順において表示
しつつある部分の前記座標系における座標に対応する楽
音を発生させる楽音発生手順とをコンピュータに実行さ
せることを特徴とする楽音発生プログラム。
【請求項６】画像を表示すると共に該表示する画像に
対応する楽音を発生させる楽音発生プログラムが格納さ
れた、コンピュータにより読み取り可能な記憶媒体であ
って、前記プログラムは、座標系が設定されており、画
像の入力及び画像の表示をする描画領域に、前記入力さ
れた画像を入力順に表示する画像表示手順と、前記画像
表示手順において表示しつつある部分の前記座標系にお
ける座標に対応する楽音を発生させる楽音発生手順とを
コンピュータに実行させることを特徴とする記憶媒体。
【請求項７】画像を表示すると共に該表示する画像に
対応する楽音を発生させる楽音発生装置において、画像が入力され、該画像の入力順に画像を表示する、座
標系が設定された描画領域を有する画像入力表示手段
と、前記描画領域に表示しつつある部分の前記座標系におけ
る座標に対応する楽音を発生させる楽音発生手段とを備
えることを特徴とする楽音発生装置。
【請求項８】前記画像入力表示手段に入力される画像
の情報が、入力開始時刻から入力終了時刻までの時刻情
報及び該時刻情報によって特定される時刻において入力
された画像部分の座標情報を少なくとも有し、前記画像の情報を記憶する記憶手段と、前記記憶手段に記憶された前記画像の情報に基づいて再
生される画像及び入力されつつある画像の情報に基づい
て形成される画像の双方及び何れか一方を選択して前記
画像入力表示手段に表示させる選択手段とを備えること
を特徴とする請求項７記載の楽音発生装置。