JP2010262267A - 演奏装置およびプログラム - Google Patents

Abstract

【課題】同時進行するフレーズからなる曲の作曲を容易に行えるようにする。
【手段】ＣＰＵ２２は、マウス１４とキーボード１５の操作に従い、一又は複数のタイムラインＬＩＮＥ−ｉと一又は複数のオブジェクトｏｂ−ｎを表示部１７に表示させ、マウス１４とキーボード１５の操作に従い、表示部１７の表示領域内におけるそれらの表示位置を変化させる。ＣＰＵ２２は、表示部１７の表示領域内に複数のタイムラインＬＩＮＥ−ｉが表示されている場合は、その複数のタイムラインＬＩＮＥ−ｉの各々に対応した複数の種類のフレーズを時間軸上で重ね合わせた曲を発音させる。そして、各フレーズ内における音の発音タイミングを表示領域内におけるタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎの位置関係に基づいて決定する。
【選択図】図１

Description

本発明は、作曲を支援する技術に関する。

現在、いわゆるＤＴＭ（Desk Top Music）の普及に伴い、ループシーケンサと呼ばれる音楽制作アプリケーションプログラムが各種提供されている。ループシーケンサは、曲のイントロ部分の１小節、ドラムソロ４小節、といった曲の一部の時間区間を切り出した音波形である音素材を時間軸上にマッピングしてフレーズを生成し、生成したフレーズの再生を繰り返すプログラムである。ループシーケンサは、曲をなす１周期分のフレーズ内における音の配列を指定する編集画面を提供する。そして、ユーザが、この編集画面を通じて音の配列を指定すると、その音の配列を１周期分のフレーズとして繰り返す曲がループシーケンサによって演奏される。なお、この種のループシーケンサに関する文献として、例えば特許文献１がある。

特開２００８−２２５２００号公報

ところで、音楽制作においては、同時進行する複数のフレーズからなる曲を作曲して演奏する場合がある。このような場合、各フレーズ間のタイミング関係等を調整する試行錯誤を行うことが多いが、従来のループシーケンサは、このような試行錯誤を一回行う度に、各フレーズを構成する音の発音タイミング等を逐一変更せねばならず、面倒であるという問題があった。
本発明は、このような背景の下に案出されたものであり、周期を異にする複数のフレーズからなる曲を簡単に演奏できるようにすることを目的とする。

本発明は、操作手段と、表示手段と、前記操作手段の操作に応じて、曲中において繰り返される１または複数音の列の周期を示す画像である１または複数のタイムラインを前記表示手段に表示させるタイムライン管理処理手段と、前記操作手段の操作に応じて、発音対象とする音を示す１または複数のオブジェクトを前記表示手段に表示させるオブジェクト管理処理手段と、前記１または複数のオブジェクトの各々と前記１または複数のタイムラインの各々との帰属関係を決定し、各タイムラインについて並列かつ独立に、当該タイムラインに属する各オブジェクトが示す各音を当該タイムラインの長さ方向における当該オブジェクトの位置により定まる発音タイミングにおいて発音させる制御を当該タイムラインに対応した周期で繰り返す演奏処理手段とを具備する演奏装置を提供する。
本発明では、タイムラインが曲中において繰り返される１または複数音の列の周期を示し、オブジェクトがその周期内において発音する音を示す。操作者たるユーザは、１または複数のオブジェクトが複数のタイムラインのいずれにも属するようにそれらの位置関係を指定することにより、同時進行するフレーズからなる曲の作曲を容易に行うことができる。

この発明の第１実施形態である音検索・演奏装置の構成を示すブロック図である。 同音検索・演奏装置の音素材データベースのデータ構造図である。 同音検索・演奏装置の表示部の表示領域内に表示されるエッジ音およびダスト音のオブジェクトを示す図である。 同表示領域内におけるオブジェクトの形態の変更を指示する操作である。 同表示領域内におけるオブジェクトの形態の変更を指示する操作である。 同表示領域内におけるオブジェクトの形態の変更を指示する操作である。 同表示領域内に表示されるタイムラインを示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 本発明の第２実施形態である音検索・演奏装置の表示領域内に表示されるタイムラインマトリクスを示す図である。 同表示領域内におけるタイムラインマトリクスとオブジェクトの配置例を示す図である。 同表示領域内におけるタイムラインマトリクスとオブジェクトの配置例を示す図である。 同表示領域内におけるタイムラインマトリクスとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインマトリクスとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 同表示領域内におけるタイムラインマトリクスとオブジェクトの配置例とその配置によって作られる曲の内容を示す図である。 本発明の他の実施形態である音検索・演奏装置の表示領域内に表示されるタイムラインマトリクス及びそのマトリクス内に形成されるタイムラインを示す図である。

以下、図面を参照し、この発明の実施の形態を説明する。
（第１実施形態）
図１は、この発明の第１実施形態である音検索・演奏装置１０の構成を示すブロック図である。この音検索・演奏装置１０は、パーソナルコンピュータに、本実施形態による音検索・演奏プログラム２９をインストールしたものである。ここで、音検索・演奏プログラム２９は、ユーザが行う操作に応じて、曲を構成するのに用いる音素材をデータベースから検索し、この検索した音素材を用いて作曲を行い、作曲した曲を演奏する機能を有しており、いわゆるループシーケンサに類するアプリケーションプログラムである。なお、本実施形態における音素材とは、曲中の１拍に相当する区間の音波形や１拍をさらに区分した区間の音波形である。本実施形態における音検索・演奏プログラム２９は、オブジェクト、タイムラインという既存のループシーケンサにないＧＵＩ（Graphical User Interface）を採用している。本実施形態の特徴は、オブジェクトおよびタイムラインを含むＧＵＩにある。なお、このＧＵＩの詳細については後述する。

図１に示すように、この音検索・演奏装置１０は、インターフェース１１を介してサウンドシステム９１と接続される。この音検索・演奏装置１０における操作部１３は、マウス１４、キーボード１５、およびドラムパッド１６を含む。表示部１７は、たとえば、コンピュータディスプレイである。

制御部２０は、ＣＰＵ２２、ＲＡＭ２３、ＲＯＭ２４、ハードディスク２５を有する。ＣＰＵ２２は、ＲＡＭ２３をワークエリアとして利用しつつ、ＲＯＭ２４やハードディスク２５に記憶されたプログラムを実行する。ＲＯＭ２４は、ＩＰＬ（Initial Program Loader）などを記憶した読み出し専用メモリである。

ハードディスク２５は、曲データベース２６、音素材データベース２７，２８、および音検索・演奏プログラム２９を記憶する。
曲データベース２６は、曲データｍｄ−ｋ（ｋ＝１，２…）を記憶したデータベースである。曲データｍｄ−ｋ（ｋ＝１，２…）は、１曲分の音波形を示すデータである。各曲データｍｄ−ｋ（ｋ＝１，２…）には個別の曲番号ｋが付与されている。

図２は、音素材データベース２７，２８のデータ構造図である。音素材データベース２７は、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちアタックが明瞭でエッジ感の強い各音素材（以下、「エッジ音」と呼ぶ）と各々対応する複数のレコードの集合体である。音素材データベース２８は、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちダスティーな感じの強い各音素材（以下、「ダスト音」と呼ぶ）と各々対応する複数のレコードの集合体である。これらの音素材データベース２７，２８は、曲データベース２６の曲データｍｄ−ｋ（ｋ＝１，２…）を特徴量解析プログラム（不図示）によって解析することにより生成されたものである。

より具体的に説明すると、音素材データベース２７において、１つのエッジ音と対応するレコードは、そのエッジ音が含まれている曲データｍｄ−ｋの曲番号ｋ、曲データｍｄ−ｋが示す１曲分の音波形内におけるそのエッジ音を含む区間の始点と終点の時刻ｔ_S，ｔ_E、およびそのエッジ音を含む区間の音波形（すなわち、音素材）を解析して得られた以下の６種類の特徴量を各々示す９つのフィールドを有する。
ａ１．低域強度Ｐ_LOW
これは、音素材に含まれる低域の周波数成分の強度である。
ｂ１．中低域強度Ｐ_MID-LOW
これは、音素材に含まれる中低域の周波数成分の強度である。
ｃ１．中高域強度Ｐ_MID-HIGH
これは、音素材に含まれる中高域の周波数成分の強度である。
ｄ１．高域強度Ｐ_HIGH
これは、音素材に含まれる高域の周波数成分の強度である。
ｅ１．ピーク位置Ｐ_TIME
これは、当該波形において振幅がピークとなる時刻を時刻ｔｓを基準とした相対時刻として表わしたものである。
ｆ１．ピーク強度Ｐ_VALUE
これは、音素材におけるピークの振幅である。

同様に、音素材データベース２８において、１つのダスト音と対応するレコードは、そのダスト音が含まれている曲データｍｄ−ｋの曲番号ｋ、曲データｍｄ−ｋが示す１曲分の音波形内におけるそのダスト音を含む区間の始点と終点の時刻ｔ_S，ｔ_E、およびそのダスト音を含む区間の音素材を解析して得られた前掲の６種類の特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEを各々示す９つのフィールドを有する。

図１において、音検索・演奏プログラム２９は、オブジェクト管理処理３０、タイムライン管理処理３１、作曲情報管理処理３２、マニュアル演奏処理３３、自動演奏処理３４、検索処理３５、音加工処理３６、操作ログ管理処理３７の８種類の処理をＣＰＵ２２に実行させるプログラムである。図１において、音検索・演奏プログラム２９は、上述したようにオブジェクトおよびタイムラインを含むＧＵＩをユーザに提供する。その概要を説明すると次の通りである。

まず、オブジェクトは、発音させたい音素材の検索条件を表象するパターン画像である。本実施形態において、ユーザは、発音させたい音素材の種類に対応した個数のオブジェクトを作成可能である。オブジェクトの形態は、そのオブジェクトに対応付けられた音素材の検索条件を表す。ユーザは、操作部１３の操作により、オブジェクトに対応付けられた音素材の検索条件を変化させ、かつ、これに対応させてオブジェクトの形態を変化させることが可能である。

次に、タイムラインは、曲に周期的に繰り返し現れる１または複数の音素材の羅列であるフレーズの周期を表象する線画像である。タイムラインは、１小節を表象してもよいし、複数小節を表象してもよい。本実施形態において、フレーズの作曲は、タイムラインと１または複数のオブジェクトを表示部１７に表示させ、タイムラインに１または複数のオブジェクトを帰属させることにより行われる。この場合において、タイムラインに帰属する１または複数のオブジェクトは、タイムラインが表象する１つの周期（フレーズ）内において発音する音素材の検索条件と発音タイミングを指定する。本実施形態において、作曲の際には、複数のタイムラインを使用することも可能である。この場合において、各タイムラインは、作曲対象である曲において、同時進行する複数のフレーズの各々の周期を表象する。また、各タイムラインに、別個のオブジェクトを帰属させてもよいし、各タイムラインに共通のオブジェクトを帰属させることも可能である。

上述したように、音検索・演奏プログラム２９は、オブジェクト管理処理３０、タイムライン管理処理３１、作曲情報管理処理３２、マニュアル演奏処理３３、自動演奏処理３４、検索処理３５、音加工処理３６、操作ログ管理処理３７の８種類の処理をＣＰＵ２２に実行させるプログラムである。ここで、オブジェクト管理処理３０は、操作部１３の操作に応じて、オブジェクトの生成、変更、保存を行う処理である。また、タイムライン管理処理３１は、操作部１３の操作に応じて、タイムラインの生成および変更を行う処理である。また、作曲情報管理処理３２は、表示部１７に表示されるタイムラインおよびオブジェクトのレイアウト情報を曲データとして保存する処理と、保存された曲データに基づいてタイムラインとオブジェクトを表示部１７に再現させる処理とからなる。

また、マニュアル演奏処理３３は、ドラムパッド１６の操作等によるマニュアルトリガに応じて、オブジェクトが表象する検索条件に合致した音素材を発音させる処理である。また、自動演奏処理３４は、表示部１７に表示されたオブジェクトの内容および画面内のレイアウトに関する情報をオブジェクト管理処理３０と共有するとともに、表示部１７に表示されたタイムラインの内容および画面内のレイアウトに関する情報をタイムライン管理処理３１と共有し、表示部１７に表示された１または複数のタイムラインと１または複数のオブジェクトに従って１または複数のフレーズの自動演奏を行う処理である。

検索処理３５は、指定されたオブジェクトに対応付けられた検索条件に従って音素材の検索を行う処理であり、オブジェクト管理処理３０、マニュアル演奏処理３３、自動演奏処理３４においてサブルーチンとして起動される。音加工処理３６は、オブジェクトに対応した音素材を発音する際にその音素材の一部のパラメータを変更する処理であり、自動演奏処理３４においてサブルーチンとして起動される処理である。操作ログ管理処理３７は、オブジェクトやタイムラインの生成、変更等を行う操作部１３の操作ログを記録する処理と、記録した操作ログを読み出して操作ログが示す各操作を再現する処理とからなる。
以上が本実施形態による音検索・演奏装置１０の構成の詳細である。

本実施形態では、曲の材料となる音素材を決定する素材決定作業と、その決定した音素材を１または複数のフレーズの時間軸上にマッピングする素材配置作業とを経て１つの曲が作られる。以下、素材決定作業と素材配置作業における本実施形態の動作を説明する。

（１）素材決定作業
素材決定作業では、ユーザは、音素材の検索タイミングを決める２つの検索設定である第１検索設定と第２検索設定のうち一方を選択し、オブジェクト出現操作、検索条件指定操作、マニュアル演奏操作、オブジェクト保存操作などを行う。第１検索設定は、オブジェクトに対応付けられた検索条件が変化するたびに、曲データベース２６からの音素材の検索を行う検索設定である。第２検索設定は、オブジェクトが示す音素材の発音を行うたびに、それに先立って、曲データベース２６からの音素材の検索を行う検索設定である。

ユーザは、まず、オブジェクト出現操作を行う。オブジェクト出現操作は、オブジェクトｏｂ−ｎ（ｎ＝１，２…）の画像を表示部１７の表示領域内に出現させる操作である。上述したように、オブジェクトｏｂ−ｎは、曲のフレーズを構成する音素材を表象する画像である。オブジェクト出現操作では、過去作成してハードディスク２５に保存したオブジェクトｏｂ−ｎを出現対象として指示することもできるし、音検索・演奏プログラム２９に用意されたデフォルトオブジェクト（予め定められた標準的な検索条件を持ったオブジェクトｏｂ−ｎ）を出現対象として指示することもできる。

また、オブジェクト出現操作では、エッジ音のオブジェクトｏｂ−ｎを出現対象として指示することもできるし、ダスト音のオブジェクトｏｂ−ｎを出現対象として指示することもできる。オブジェクト管理処理３０では、オブジェクト出現操作において指示されたオブジェクトｏｂ−ｎを表示部１７に表示させ、かつ、そのオブジェクトｏｂ−ｎに対応付けられたオブジェクト管理情報をＲＡＭ２３に書き込む。このオブジェクト管理情報は、オブジェクトｏｂ−ｎが示す音素材の検索条件ＳＣ−ｎを構成する特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと要検索数Ｎｕｍ（１≦Ｎｕｍ）を含む。また、オブジェクト管理情報は、検索条件ＳＣ−ｎを用いた検索により得られた音素材のセットである検索結果ＳＲ−ｎを伴う場合がある。

図３（Ａ）に示すように、エッジ音のオブジェクトｏｂ−ｎは、全体として矩形をなし、矩形の右辺にある縦ストライプ領域５１と、この縦ストライプ領域５１の左側を上下に４等分した４つの横ストライプ領域５２−ｍ（ｍ＝１〜４）とを有している。また、エッジ音のオブジェクトｏｂ−ｎにおいて、横ストライプ領域５２−１および５２−２と、横ストライプ領域５２−３および５２−４には、エッジ音を模擬した上下対称の三角形５５−ｕ，５５−ｄが各々重ねて表示される。ここで、三角形５５−ｕ，５５−ｄの上下の頂点の水平方向における位置は、オブジェクトｏｂ−ｎが表象するエッジ音のピーク位置Ｐ_TIMEを表す。すなわち、この三角形５５−ｕ，５５−ｄの上下の頂点が左側にある程、エッジ音の尖った感じが増し、三角形５５−ｕ，５５−ｄの上下の頂点が右側にある程、エッジ音の尖った感じが鈍ることとなる。また、三角形５５−ｕ，５５−ｄの上下の頂点の高さは、そのピークのピーク強度Ｐ_VALUEを表す。すなわち、三角形５５−ｕ，５５−ｄの上下の頂点が高い程、エッジ音のエッジ感が強くなり、三角形５５−ｕ，５５−ｄの上下の頂点が低い程、エッジ音のエッジ感が弱くなる。

横ストライプ領域５２−ｍ（ｍ＝１〜４）は、各々の表示色の濃淡がオブジェクトｏｂ−ｎが表象するエッジ音の高域強度Ｐ_HIGH、中高域強度Ｐ_MID-HIGH、中低域強度Ｐ_MID-LOW、低域強度Ｐ_LOWを表す。すなわち、例えば横ストライプ領域５２−１の表示色が濃い場合、エッジ音は高域強度の強い音となり、例えば横ストライプ領域５２−１の表示色が薄くて横ストライプ領域５２−２の表示色が濃い場合には、エッジ音は高域強度よりは中高域強度が強い音となる。ダスト音のオブジェクトｏｂ−ｎは、図３（Ｂ）に示すように、縦ストライプ領域５１と横ストライプ領域５２−ｍ（ｍ＝１〜４）とからなる部分にダスト音を模擬した砂地模様を重ねたような形態をなしている。エッジ音のオブジェクトｏｂ−ｎと同様、横ストライプ領域５２−ｍ（ｍ＝１〜４）は、各々の表示色の濃淡がオブジェクトｏｂ−ｎが表象するダスト音の高域強度Ｐ_HIGH、中高域強度Ｐ_MID-HIGH、中低域強度Ｐ_MID-LOW、低域強度Ｐ_LOWを表す。

ユーザは、オブジェクト出現操作によって表示部１７の表示領域内に一または複数のオブジェクトｏｂ−ｎを表示させた後、オブジェクトｏｂ−ｎを対象として、検索条件指定操作、オブジェクト保存操作などを行うことができる。

検索条件指定操作は、オブジェクトｏｂ−ｎに対応させる音素材の検索条件ＳＣ−ｎを指定する操作である。この検索条件指定操作には次のものがある。
＜エッジ音のピーク位置Ｐ_TIMEおよびピーク強度Ｐ_VALUEを指定する操作＞
この操作では、エッジ音のオブジェクトｏｂ−ｎの三角形５５−ｕ，５５−ｄの形状を操作する。具体的には、ユーザは、図４に示すように、エッジ音のオブジェクトｏｂ−ｎの三角形５５−ｕ，５５−ｄのうち一方（たとえば、三角形５５−ｕとする）の頂点Ｃにマウスポインタｍｐを移動させて左クリックし、そのままマウスポインタｍｐを任意の方向に移動させて左クリックを解除する。ＣＰＵ２２は、オブジェクト管理処理３０では、この操作に応じて、ピーク位置Ｐ_TIMEおよびピーク強度Ｐ_VALUEと三角形５５−ｕ，５５−ｄの形状とを連動させて変化させる。すなわち、三角形５５−ｕ，５５−ｄの各頂点の位置は操作を終えた時点におけるマウスポインタｍｐの位置となり、三角形５５−ｕ，５５−ｄの各頂点のオブジェクトｏｂ−ｎの左辺からの距離は更新後のピーク位置Ｐ_TIMEを、各頂点の高さは更新後のピーク強度Ｐ_VALUEを示すものとなる。

＜エッジ音およびダスト音の高域強度Ｐ_HIGH、中高域強度Ｐ_MID-HIGH、中低域強度Ｐ_MID-LOW、低域強度Ｐ_LOWを指定する操作＞
この場合、ユーザは、図５に示すように、マウスポインタｍｐをオブジェクトｏｂ−ｎの横ストライプ領域５２−ｍ（ｍ＝１〜４）のいずれか（図５の例では領域５２−１）の左側に移動させてキーボード１５の所定のキー（たとえば、Ｓｈｉｆｔキーとする）を押下し、そのままマウスポインタｍｐを右方向に移動させてキーの押下を解除する。例えば、横ストライプ領域５２−４について以上の操作が行われた場合、オブジェクト管理処理３０では、マウスポインタｍｐの右方向への移動量に応じて、低域強度Ｐ_LOWと横ストライプ領域５２−４の表示色の濃度を連動させて更新する。高域強度Ｐ_HIGH、中高域強度Ｐ_MID-HIGH、中低域強度Ｐ_MID-LOWの指定操作も同様である。

＜エッジ音およびダスト音の要検索数Ｎｕｍを指定する操作＞
この場合、ユーザは、図６に示すように、マウスポインタｍｐをオブジェクトｏｂ−ｎの縦ストライプ領域５１の下側に移動させてキーボード１５の所定のキー（たとえば、Ｓｈｉｆｔキーとする）を押下し、そのままマウスポインタｍｐを上方向に移動させてキーの押下を解除する。この操作が行われると、オブジェクト管理処理３０では、縦ストライプ領域５１内にその下辺から上方向へ伸びるバー９５を表示させ、マウスポインタｍｐの上方向への移動量に応じて、要検索数Ｎｕｍと縦ストライプ領域５１のバー９５の高さとを連動させて更新する。

さらに、第１検索設定の下では、オブジェクトに対応付けられた検索条件ＳＣ−ｎが変化する度に、オブジェクト管理処理３０が検索処理３５を起動し、オブジェクトにおける新たな検索条件ＳＣ−ｎでの音素材の検索を検索処理３５に行わせる。
例えばエッジ音のオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎが変化して検索処理３５が起動された場合、この検索処理３５では、ＲＡＭ２３から検索条件ＳＣ−ｎを構成する特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと要検索数Ｎｕｍを読み出す。そして、特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEが示す６次元の特徴量ベクトルとの間のユークリッド距離が短い上位Ｎｕｍ個のレコードを音素材データベース２７から検索する。また、その上位Ｎｕｍ個の各レコードに各々対応した音素材を検索する。すなわち、各レコードにおいて曲番号ｋのフィールドと同じ曲番号ｋの曲データｍｄ−ｋを検索し、この曲データｍｄ−ｋにおいて、当該レコードの時刻ｔ_S，ｔ_Eのフィールドが示す始点と終点の間の区間の音素材を検索するのである。そして、このようにして検索した上位Ｎｕｍ個の各レコードと上位Ｎｕｍ個の音素材を検索結果ＳＲ−ｎとしてオブジェクトｏｂ−ｎに対応付ける。ダスト音のオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎが変化した場合も同様である。

ユーザは、オブジェクトｏｂ−ｎに所望の特性を持った音素材が対応付けられているか否かを確認するためにマニュアル演奏操作を行うことができる。このマニュアル演奏操作は、マニュアルトリガを発生させ、オブジェクトｏｂ−ｎに対応付けられた音素材をサウンドシステム９１から発音させる操作である。マニュアルトリガとして何を採用するかは、音検索・演奏プログラム２９に対して設定可能であるが、この例ではドラムパッド１６の操作イベントがマニュアルトリガとして指定されているものとする。この場合において、ユーザは、マウスポインタｍｐをオブジェクトｏｂ−ｎに移動させてドラムパッド１６を叩くと、マニュアル演奏処理３３が実行される。

第１検索設定の下でのマニュアル演奏処理３３では、ドラムパッド１６が叩かれる都度、マウスポインタｍｐにより指示されたオブジェクトｏｂ−ｎに対応付けられた検索結果ＳＲ−ｎを構成する音素材（上述した上位Ｎｕｍ個の音素材）の中から１つの音素材をランダムに選択し、選択した音素材をサウンドシステム９１から発音させる。また、第２検索設定の下でのマニュアル演奏処理３３では、ドラムパッド１６が叩かれる都度、検索処理３５を起動し、マウスポインタｍｐにより指示されたオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎを検索処理３５に引き渡す。そして、検索処理３５により得られる検索結果ＳＲ−ｎを構成する音素材（上述した上位Ｎｕｍ個の音素材）の中から１つの音素材をランダムに選択し、選択した音素材をサウンドシステム９１から発音させる。ユーザは、このようにして発音される音素材を耳で確認し、音素材が所望の特性を有していない場合には、再びオブジェクトｏｂ−ｎに対する検索条件指定操作を行う。

表示部１７の表示領域内のオブジェクトｏｂ−ｎを後刻再利用する予定がある場合、ユーザはオブジェクト保存操作を行うことができる。これは表示部１７の表示領域内のオブジェクトｏｂ−ｎの保存を指示する操作部１３の操作である。あるオブジェクトｏｂ−ｎを対象としてオブジェクト保存操作が行われると、オブジェクト管理処理３０では、そのオブジェクトｏｂ−ｎのオブジェクト管理情報を生成し、生成したオブジェクト管理情報をハードディスク２５に記憶する。このオブジェクト管理情報は、オブジェクトｏｂ−ｎの検索条件ＳＣ−ｎを構成する特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと要検索数Ｎｕｍ、およびその検索結果ＳＲ−ｎを構成するレコードのセットである。

以上のように、素材決定作業では、ユーザは、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎの形態を変化させることによって、検索条件ＳＣ−ｎを構成する要検索数Ｎｕｍや特徴量Ｐ_LOW，Ｐ_MID-LOW，Ｐ_MID-HIGH，Ｐ_HIGH，Ｐ_TIME，Ｐ_VALUEを変えつつ、自らがイメージする音に近い音素材を曲データベース２６および音素材データベース２７，２８から検索する。ユーザは、曲を作るのに必要な数のオブジェクトｏｂ−ｎ（ｎ＝１，２…）とその各々の形態を決め、必要であればそれらのオブジェクトｏｂ−ｎ（ｎ＝１，２…）のオブジェクト管理情報を保存し、次の素材配置作業に移る。

（２）素材配置作業
素材配置作業では、ユーザは、操作部１３を使用して、１または複数の所望のタイムラインと１または複数の所望のオブジェクトを表示部１７の表示領域内に表示させ、各タイムラインと各オブジェクトが所望の位置関係を持つように、各々の位置等の調整を行う。そのためにユーザは、オブジェクト出現操作、オブジェクト複製操作、検索条件指定操作、タイムライン出現操作、タイムライン位置変更操作、オブジェクト位置変更操作、サイズ変更操作、拍子指示操作、グリッド指定操作、パラメータ連動操作、演奏開始操作、レイアウト保存操作、レイアウト読出操作、ログ記録開始操作、ログ記録終了操作、ログ再生操作などを行う。

タイムライン出現操作が行われると、タイムライン管理処理３１では、図７に例示するタイムラインＬＩＮＥ−ｉを表示部１７の表示領域内に表示させる。このタイムラインＬＩＮＥ−ｉは、フレーズの周期を表す水平方向に延びた直線画像である。タイムラインＬＩＮＥ−ｉの左端、右端、および左端と右端を４等分した位置からは下方向に拍案内線６３−ｊ（ｊ＝１〜５）が延伸している。また、タイムラインＬＩＮＥ−ｉの隣り合う拍案内線６３−ｊ間を等分した位置からはグリッド線ｇが下方向に延伸している。そして、タイムラインＬＩＮＥ−ｉの左端と右端の拍案内線６３−ｊの間に挟まれた領域が、タイムラインＬＩＮＥ−ｉの支配が及ぶ占有領域となっている。この占有領域内のオブジェクトｏｂ−ｎがタイムラインＬＩＮＥ−ｉに属するオブジェクトとなる。また、タイムラインＬＩＮＥ−ｉはタイミングポインタ６２を内包する。このタイミングポインタ６２は、自動演奏において現在の演奏位置を示すポインタであり、自動演奏の際にはタイムラインＬＩＮＥ−ｉの左端から右端までの移動を周期的に繰り返す。

ユーザは、操作部１３の操作により、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉの水平方向の長さや拍案内線６３−ｊ（ｊ＝１〜５）の長さの調整をタイムライン管理処理３１に行わせることができる。また、ユーザは、操作部１３の操作により、タイムラインＬＩＮＥ−ｉが示すフレーズの周期Ｔ、すなわち、タイミングポインタ６２がタイムラインＬＩＮＥ−ｉの左端から右端まで移動する所要時間の調整をタイムライン管理処理３１に行わせることができる。タイムライン管理処理３１では、操作部１３の操作により表示部１７に表示される各タイムラインＬＩＮＥ−ｉについて、表示領域内の水平方向および垂直方向の位置、水平方向の長さ、拍案内線６３−ｊ（ｊ＝１〜５）の数や長さ、タイムラインが示す周期Ｔの各情報を管理する。

次にユーザは、タイムラインＬＩＮＥ−ｉに帰属させるオブジェクトｏｂ−ｎが表示部１７の表示領域内に表示されていない場合には、そのオブジェクトｏｂ−ｎを出現させるためのオブジェクト出現操作を行う。このオブジェクト出現操作では、ハードディスク２５に保存されているオブジェクト管理情報を読み出し、オブジェクトｏｂ−ｎとして表示させてもよい。また、ユーザは、表示部１７の表示領域内に表示されているオブジェクトｏｂ−ｎについて検索条件指定操作を行うことも可能である。オブジェクト管理処理３０では、操作部１３の操作により表示部１７に表示される各オブジェクトｏｂ−ｎについて、表示領域内の水平方向および垂直方向の位置、オブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎ、検索結果ＳＲ−ｎの各情報を管理する。また、表示中のオブジェクトｏｂ−ｎについて検索条件指定操作が行われた場合、オブジェクト管理処理３０では、該当するオブジェクトｏｂ−ｎに対応付けられた検索条件ＳＣ−ｎ、検索結果ＳＲ−ｎを更新する。

ユーザは、表示部１７の表示領域内に一または複数のタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを表示させたあと、操作部１３を使用してタイムライン位置変更操作やオブジェクト位置変更操作を行うことができる。あるオブジェクトｏｂ−ｎをあるタイムラインＬＩＮＥ−ｉに帰属させたい場合、そのタイムラインＬＩＮＥ−ｉの占有領域内に収まるようにそのオブジェクトｏｂ−ｎの位置を調整すればよい。この場合において、共通のオブジェクトｏｂ−ｎを複数のタイムラインＬＩＮＥ−ｉの各占有領域内に配置し、複数のタイムラインＬＩＮＥ−ｉに帰属させることも可能である。

また、ユーザは、サイズ変更操作によって、タイムラインＬＩＮＥ−ｉのｘ軸方向（タイムラインＬＩＮＥ−ｉの長さ方向と平行な方向）の幅やｙ軸方向（タイムラインＬＩＮＥ−ｉの長さ方向と直交する方向）の幅を伸縮させることができる。ユーザは、拍子指示操作によってタイムラインＬＩＮＥ−ｉ内の拍案内線６３−ｊの数を４本以下や６本以上に増減させたり、グリッド指定操作によってタイムラインＬＩＮＥ−ｉの拍案内線６３−ｊ間のグリッド線ｇの数を２本以上に増やすこともできる。ユーザは、タイムラインＬＩＮＥ−ｉが示すフレーズの周期Ｔを変える操作を行うことなくそのタイムラインＬＩＮＥ−ｉのｘ軸方向の幅を大きくする操作を行うことにより、タイムラインＬＩＮＥ−ｉの占有領域の面積を拡げてその領域内におけるオブジェクトｏｂ−ｎの編集の自由度を高めることができる。

また、ユーザは、パラメータ連動操作を行うことにより、自動演奏時における音素材の発音に関する動作モードを通常モードからパラメータ連動モードに切り換えることができる。ここで、パラメータ連動モードとは、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎに対応した音素材を発音させる場合においてその音素材のパラメータ（例えばピッチ、音量、発音タイミングの遅延量）をそのタイムラインＬＩＮＥ−ｉからそのオブジェクトｏｂ−ｎまでの垂直方向の距離に応じて変化させるモードである。また、通常モードは、タイムラインＬＩＮＥ−ｉに帰属するオブジェクトｏｂ−ｎが示す音素材のパラメータを変化させずに発音を行うモードである。

また、ユーザは、必要に応じてオブジェクト複製操作を行うことができる。これは、表示部１７の表示領域内に表示されているオブジェクトｏｂ−ｎをその表示領域内に複製する操作である。あるオブジェクトｏｂ−ｎを対象としてオブジェクト複製操作が行われると、オブジェクト管理処理３０では、操作の対象であったオブジェクトｏｂ−ｎと同じ形態のオブジェクトｏｂ’−ｎを表示させる。この複製のオブジェクトｏｂ’−ｎは、１個生成することもできるし、複数生成することもできる。ここで、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎは共通の検索条件ＳＣ−ｎおよび検索結果ＳＲ−ｎに対応付けられる。ユーザは、オリジナルのオブジェクトｏｂ−ｎのみならず、複製のオブジェクトｏｂ’−ｎも所望のタイムラインＬＩＮＥ−ｉに帰属させることができる。ここで、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎは同格であり、かつ、操作に対する運命を共にする。すなわち、ＣＰＵ２２は、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎのいずれかを対象として検索条件指定操作が行われた場合、オリジナルのオブジェクトｏｂ−ｎと複製のオブジェクトｏｂ’−ｎに共通な検索条件ＳＣ−ｎを更新する。

ユーザは、以上の各操作により表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎのレイアウトを決定した後、操作部１３を使用して演奏開始操作を行う。演奏開始操作が行われると、ＣＰＵ２２は、自動演奏処理３４を実行する。この自動演奏処理３４では、表示部１７の表示領域内に表示されているタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）と各々対応するタイムラインタスクｔｓｋ−ｉ（ｉ＝１，２…）を立ち上げ、立ち上げたタイムラインタスクｔｓｋ−ｉ（ｉ＝１，２…）を並列かつ独立に実行する。

１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、当該タイムラインＬＩＮＥ−ｉに帰属するオブジェクトｏｂ−ｎ（ｎ＝１，２…）（すなわち、当該タイムラインＬＩＮＥ−ｉの占有領域内のオブジェクト）を決定し、当該タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎが示す音を発音させる制御を周期Ｔごとに繰り返す。具体的な処理内容は以下の通りである。まず、各タイムラインタスクｔｓｋ−ｉでは、周期Ｔの間にタイミングポインタ６２を当該タイムラインＬＩＮＥ−ｉの左端から右端まで移動させる操作を周期的に繰り返しつつ、タイムラインＬＩＮＥ−ｉの長さ方向の位置を示すタイミングポインタ６２のｘ座標値を監視する。そして、当該タイムラインＬＩＮＥ−ｉの占有領域内にある一または複数のオブジェクトｏｂ−ｎのうちいずれかのｘ座標値（より具体的には、オブジェクトｏｂ−ｎの外延をなす矩形の左上隅のｘ座標値）とタイミングポインタ６２のｘ座標値が一致すると、当該オブジェクトｏｂ−ｎとタイミングポインタ６２のｘ座標値が一致したタイミングを発音タイミングとして、当該オブジェクトｏｂ−ｎと対応する音素材を発音させるための処理を行う。

より具体的には、第１検索設定がなされた状態では、タイムラインタスクｔｓｋ−ｉにおいて、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致する度に、そのオブジェクトｏｂ−ｎに対応付けられた検索結果ＳＲ−ｎを参照し、この検索結果ＳＲ−ｎを構成する音素材の中から１つをランダムに選択してサウンドシステム９１から発音させる。第２検索設定がなされた状態では、タイムラインタスクｔｓｋ−ｉにおいて、タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致するたびに検索処理３５を起動し、オブジェクトｏｂ−ｎの検索条件ＳＣ−ｎを検索処理３５に引き渡す。そして、検索処理３５から返ってくる検索結果ＳＲ−ｎを構成する音素材の中から１つをランダムに選択してサウンドシステム９１から発音させる。

パラメータ連動モードが指定されている場合には、検索結果ＳＲ−ｎの中から音素材を選択するたびに音加工処理３６を起動し、この音加工処理３６によりその音素材を加工し、加工した音素材をサウンドシステム９１から発音させる。具体的には、音加工処理３６では、音素材に対し、パラメータ連動モードに関して事前に指定されたピッチ、音量、発音タイミングの遅延量などのパラメータをタイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄ_ｙに応じて変化させる加工を行う。

次に具体例を挙げ、本実施形態においてタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを用いて行われる各種の作曲およびその自動演奏の態様を説明する。

たとえば、図８（Ａ）の配置例では、タイムラインＬＩＮＥ−１の一番左の拍案内線６３−１の右隣にオブジェクトｏｂ−１があり、左から２番目の拍案内線６３−２の右隣にオブジェクトｏｂ−２があり、左から３番目の拍案内線６３−３の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図８（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。

図９（Ａ）の配置例は、図８（Ａ）の配置例におけるタイムラインＬＩＮＥ−１の位置を固定したままオブジェクトｏｂ−ｎ（ｎ＝１〜３）を右に移動させたものである。なお、このようにする代わりに、図８（Ａ）の配置例におけるオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置を固定したままタイムラインＬＩＮＥ−１を左に移動させても同様の配置となる。この配置例では、タイムラインＬＩＮＥ−１の拍案内線６３−２の右隣にオブジェクトｏｂ−１があり、拍案内線６３−３の右隣にオブジェクトｏｂ−２があり、拍案内線６３−４の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図９（Ｂ）に示すように、時刻ｔ２，ｔ３，ｔ４においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行うフレーズを繰り返す。

図１０（Ａ）の配置例は、図８（Ａ）の配置例におけるタイムラインＬＩＮＥ−１とオブジェクトｏｂ−１の位置を固定したままオブジェクトｏｂ−２，ｏｂ−３を左に移動させたものである。この配置例では、拍案内線６３−１の右隣にオブジェクトｏｂ−１があり、拍案内線６３−１と拍案内線６３−２の間のグリッド線ｇの右隣にオブジェクトｏｂ−２があり、拍案内線６３−２の右隣にオブジェクトｏｂ−３がある。タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）では、図１０（Ｂ）に示すように、時刻ｔ１，（ｔ１＋ｔ２）／２，ｔ２においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行うフレーズを繰り返す。

また、素材配置作業において、ユーザは、表示部１７の表示領域内にタイムラインＬＩＮＥ−ｉを２つ表示させ、同領域内における１または複数のオブジェクトｏｂ−ｎをその２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とすることにより、同じ検索結果ＳＲ−ｎの音素材を含む２種類のフレーズを周期的に繰り返す曲を作ることができる。

図１１（Ａ）の配置例では、２つのタイムラインＬＩＮＥ−ｉ（ｉ＝１，２）の占有領域内に３つのオブジェクトｏｂ−ｎ（ｎ＝１〜３）があり、タイムラインＬＩＮＥ−１よりもタイムラインＬＩＮＥ−２が左にずれている。そして、タイムラインＬＩＮＥ−１の拍案内線６３−１の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−２の右隣）にオブジェクトｏｂ−１があり、タイムラインＬＩＮＥ−１の拍案内線６３−２の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−３の右隣）にオブジェクトｏｂ−２があり、タイムラインＬＩＮＥ−１の拍案内線６３−３の右隣（タイムラインＬＩＮＥ−２の拍案内線６３−４の右隣）にオブジェクトｏｂ−３がある。

タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４において、タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１１（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１１（Ｂ）に示すように、時刻ｔ２，ｔ３、ｔ４においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材の発音を行う４拍子のフレーズを繰り返す。

また、素材配置作業において、ユーザは、動作モードをパラメータ連動モードとし、タイムラインＬＩＮＥ−ｉの占有領域内における複数のオブジェクトｏｂ−ｎの各々とタイムラインＬＩＮＥ−ｉの距離を変えることにより、１つのフレーズをなす各音の間に強弱をつけた曲を作ることができる。

図１２（Ａ）の配置例は、図８（Ａ）の配置例における拍案内線６３−２の右隣のオブジェクトｏｂ−２をその拍案内線６３−２の下端付近まで下に移動させたものである。ここで、パラメータ連動モードが指定され、かつ、音量が連動対象のパラメータとなっている状況において、自動演奏処理３４を実行させるとする。この場合、タイムラインＬＩＮＥ−１およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係が図１２（Ａ）に示すようになっているため、自動演奏処理３４（タイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１）において起動される音加工処理３６では、タイムラインＬＩＮＥ−１の近くにあるオブジェクトｏｂ−１およびｏｂ−３の各音素材は音量が大きくされ、タイムラインＬＩＮＥ−１から遠くにあるオブジェクトｏｂ−２の音素材は音量が小さくされる。この結果、図１２（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−ｎ（ｎ＝１〜３）の各音素材を強→弱→強という強弱で発音するフレーズが繰り返される。

また、素材配置作業において、ユーザは、表示領域内における１または複数のオブジェクトｏｂ−ｎを２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とし、その一方のタイムラインＬＩＮＥ−ｉのｘ軸方向の幅を縮小または拡大することにより、同じ検索結果ＳＲ−ｎの音素材を含みながら周期Ｔ内における各々の発音タイミングを異にする２種類のフレーズからなる曲を作ることができる。

図１３（Ａ）の配置例は、図１１（Ａ）におけるタイムラインＬＩＮＥ−２のｘ軸方向の幅を半分に縮め、タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）の拍案内線６３−１同士が重なるように各々のｘ軸方向の位置を調整したものである。この配置例では、タイムラインＬＩＮＥ−１の拍案内線６３−３の右隣（タイムラインＬＩＮＥ−２の一番右の拍案内線６３−５の右隣）のオブジェクトｏｂ−３はタイムラインＬＩＮＥ−１にだけに属するものとなっている。また、タイムラインＬＩＮＥ−２は、表示領域内におけるｘ軸方向の長さがタイムラインＬＩＮＥ−１の半分になっているものの、タイムラインＬＩＮＥ−２が示すフレーズの周期ＴはタイムラインＬＩＮＥ−１が示すフレーズの周期Ｔと変わらない。

タイムラインＬＩＮＥ−ｉ（ｉ＝１，２）およびオブジェクトｏｂ−ｎ（ｎ＝１〜３）の位置関係をこのようにすると、自動演奏処理３４においてタイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１３（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１，ｔ２，ｔ３においてオブジェクトｏｂ−１、ｏｂ−２およびｏｂ−３の各音素材を発音するフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１３（Ｂ）に示すように、時刻ｔ１，ｔ３においてオブジェクトｏｂ−１およびｏｂ−２の各音素材を発音するフレーズを繰り返す。

また、素材配置作業において、ユーザは、表示領域内における１または複数のオブジェクトｏｂ−ｎを２つのタイムラインＬＩＮＥ−ｉの両方に属するような配置とし、その一方のタイムラインＬＩＮＥ−ｉの拍数の設定を変更して拍案内線６３−ｊの数を減らしたり増やすことにより、同じ検索結果ＳＲ−ｎの音素材を含みながら周期Ｔや拍子を異にする２種類のフレーズを組み合わせた複合リズム（ポリリズム）の曲を作ることができる。

図１４（Ａ）の配置例において、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２は、表示領域内において水平方向の長さが同じであり、拍案内線６３−１同士が重なるように各々のｘ軸方向の位置が調整されている。ここで、タイムラインＬＩＮＥ−１の左端と右端の間を４等分した位置には拍案内線６３−２，６３−３，６３−４がある。また、タイムラインＬＩＮＥ−２の拍案内線の本数はタイムラインＬＩＮＥ−１よりも１本少なく、タイムラインＬＩＮＥ−２の左端と右端の間を３等分した位置に拍案内線６３−２，６３−３がある。そして、タイムラインＬＩＮＥ−２が示すフレーズの周期Ｔ’はタイムラインＬＩＮＥ−１が示すフレーズの周期Ｔの３／４の長さになっている。オブジェクトｏｂ−１は、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２の両方に属しており、タイムラインＬＩＮＥ−１およびＬＩＮＥ−２の各拍案内線６３−１の右側に位置している。

このような状況において、自動演奏処理３４を実行させると、自動演奏処理３４においてタイムラインＬＩＮＥ−１に対応したタイムラインタスクｔｓｋ−１では、図１４（Ｂ）に示すように、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１においてオブジェクトｏｂ−１の音素材を発音する４拍子のフレーズを繰り返す。また、タイムラインＬＩＮＥ−２に対応したタイムラインタスクｔｓｋ−２では、図１４（Ｂ）に示すように、周期Ｔの３／４の長さの周期Ｔ’を３等分した時刻ｔ１’，ｔ２’，ｔ３’のうち時刻ｔ１’においてオブジェクトｏｂ−１の音素材を発音する３拍子のフレーズを繰り返す。

本実施形態において、ユーザは、自動演奏処理３４の実行中にタイムラインＬＩＮＥ−ｉを移動させることが可能である。このタイムライン位置変更操作が行われると、タイムライン管理処理３１では、操作されたタイムラインＬＩＮＥ−ｉの位置に関する情報を更新する。自動演奏処理３４では、このタイムライン位置変更操作に応じて時々刻々と更新されるタイムラインＬＩＮＥ−ｉの位置に関する情報が参照される。図１５（Ａ）に示す例では、パラメータ連動モードが指定されており、かつ、連動対象のパラメータとして音量が指定されている。このため、図１５（Ａ）に示すように、オブジェクトｏｂ−１の位置を変えずにタイムラインＬＩＮＥ−１を上に移動させてオブジェクトｏｂ−１から遠ざけると、自動演奏処理３４において起動される音加工処理３６の結果、図１５（Ｂ）に示すように、発音されるオブジェクトｏｂ−１の音素材の音量が徐々に小さくなってゆく。パラメータ連動モードにおける連動対象のパラメータとして発音タイミングの遅延量を指定した場合には、自動演奏中にタイムラインＬＩＮＥ−１の位置を上方向に移動させると、そのタイムラインＬＩＮＥ−１の上方向への移動量に応じてオブジェクトｏｂ−１の音素材の発音タイミングを遅延させる擬似ディレイ効果を得ることができる。

以上の説明から明らかなように、表示部１７に表示されたタイムラインおよびオブジェクトの各々の内容と各々の位置関係により自動演奏される曲の内容が定まる。すなわち、表示部１７に表示されたタイムラインおよびオブジェクトのレイアウト情報は曲データとしての役割を果たす。本実施形態では、この曲データの再利用を可能にするための手段が設けられている。さらに詳述すると、ユーザは、素材配置作業を中断するときに、操作部１３を使用してレイアウト保存操作を行うことができる。このレイアウト保存操作が行われると、作曲情報管理処理３２では、表示部１７の表示領域内のタイムラインおよびオブジェクトのレイアウト情報をハードディスク２５に保存する。このレイアウト情報は、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の位置（ｘ座標値．ｙ座標値）を示す配置情報とそれらのオブジェクトｏｂ−ｎ（ｎ＝１，２…）のオブジェクト管理情報（検索条件ＳＣ−ｎおよび検索結果ＳＲ−ｎ）のセットである。

また、ユーザは、作業を再開するときに操作部１３を使用してレイアウト読出操作を行うことができる。このレイアウト読出操作が行われると、作曲情報管理処理３２では、ハードディスク２５に記憶されたレイアウト情報を読み出し、読み出したレイアウト情報からタイムラインおよびオブジェクトの配置情報とオブジェクト管理情報を取り出す。そして、作曲情報管理処理３２では、配置情報が示す位置にタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）を表示させるとともに、オブジェクト管理情報に含まれる特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと要検索数Ｎｕｍを検索条件ＳＣ−ｎとしてＲＡＭ２３に書き込む。この状態において、ユーザは、タイムライン移動操作やオブジェクト移動操作によって、表示部１７の表示領域内に復元されたタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）のレイアウトをさらに変更することができる。曲データであるレイアウト情報は、それが作成された音検索・演奏装置１０以外の音検索・演奏装置１０に転送して利用することも可能である。この場合、転送元と転送先とで曲データベース２６や音素材データベース２７，２８の内容が異なっていると、曲データに基づく自動演奏の内容が転送元と転送先とで異なったものとなる。曲データ中に含まれるオブジェクトに基づいて検索される音素材が転送元と転送先とで異なったものになる可能性があるからである。

また、本実施形態において、ユーザは、所望の時間を空けて、操作部１３を使用してログ記録開始操作とログ記録終了操作を行うことができる。ログ記録開始操作が行われると、操作ログ管理処理３７では、以後、ログ記録終了操作が行われるまでの間、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の動きを示すシーケンスデータを生成し、それらのシーケンスデータのセットをログ情報としてハードディスク２５に記憶する。そして、ユーザが操作部１３を使用してログ再生操作を行うと、操作ログ管理処理３７では、ハードディスク２５に記憶されたログ情報を読み出し、そのログ情報をなす各シーケンスデータに従って、表示領域内におけるタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）とオブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々の動きを再現する。

以上説明した本実施形態によると、以下の効果が得られる。
上記実施形態では、音検索・演奏プログラム２９は、操作部１３の操作に応じて、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎが示す音素材の検索条件ＳＣ−nとそのオブジェクトｏｂ−ｎの形態とを連動させて変化させる。よって、ユーザは、オブジェクトｏｂ−ｎの形態からそのオブジェクトｏｂ−ｎについて自らが指定している検索条件ＳＣ−ｎを把握することができ、自らのイメージにマッチした音素材の検索をより簡単に行うことができる。また、ユーザは、後刻、オブジェクトｏｂ−ｎを見たとき、そのオブジェクトｏｂ−ｎの形態からそのオブジェクトｏｂ−ｎが示す音素材の特徴あるいはそのオブジェクトｏｂ−ｎについて指定した音素材の検索条件ＳＣ−ｎを容易に想像することができる。

また、上記実施形態では、音検索・演奏プログラム２９は、表示部１７の表示領域内に複数のタイムラインＬＩＮＥ−ｉが表示されている場合は、その複数のタイムラインＬＩＮＥ−ｉの各々に対応した複数の種類のフレーズを時間軸上で重ね合わせた曲を発音させる。そして、表示領域内におけるあるオブジェクトｏｂ−ｎが複数のタイムラインＬＩＮＥ−ｉに属する場合は、複数のタイムラインＬＩＮＥ−ｉのｘ軸方向におけるそのオブジェクトｏｂ−ｎの位置に応じた時刻を、複数のフレーズの各々におけるそのオブジェクトｏｂ−ｎに応じた音の発音タイミングとする。よって、ユーザは、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎを、１つまたは複数のオブジェクトｏｂ−ｎが複数のタイムラインＬＩＮＥ−ｉに属するような位置関係とすることにより、複数の周期のフレーズを時間軸上で重ね合わせた曲を作ることができる。

また、ユーザは、オブジェクト保存操作によってハードディスク２５に保存したオブジェクト管理情報、レイアウト保存操作によってハードディスク２５に保存したレイアウト情報、ログ記録開始操作とログ記録終了操作によってハードディスク２５に保存したログ情報などを、音検索・演奏プログラム２９をインストールした他のコンピュータのハードディスク２５にコピーし、そのコンピュータを用いて素材配置作業を続けることもできる。

また、ユーザは、素材配置作業の途中で、それまで曲データベース２６に記憶されていた曲データｍｄ−ｋ（ｋ＝１，２…）以外の曲データｍｄ’−ｋ（ｋ＝１，２…）とそれらの曲データｍｄ’−ｋ（ｋ＝１，２…）の解析結果であるレコード群を他のユーザから取得して曲データベース２６と音素材データベース２７，２８に各々記憶させ、以後の作業を続けることもできる。表示部１７の表示領域内のオブジェクトｏｂ−ｎの形態として指定している検索条件ＳＣ−ｎが同じであっても、検索の対象となる曲データベース２６や音素材データベース２７，２８の収録内容が変われば、その検索結果ＳＲ−ｎとして得られる音素材も変わる。よって、ユーザは、表示部１７の表示領域内におけるオブジェクトｏｂ−ｎとタイムラインＬＩＮＥ−ｉのレイアウトを変えずに曲データベース２６と音素材データベース２７，２８の収録内容を変えることにより、周期Ｔごとに繰り返すフレーズの各音の発音タイミングは同じで各音の聞こえ方を微妙に変えた曲を作ることができる。

（第２実施形態）
次に、この発明の第２実施形態について説明する。本実施形態の特徴は、オブジェクトｏｂ−ｎと、複数個のタイムラインＬＩＮＥの集合体であるタイムラインマトリクスＭＴＲＸとを含むＧＵＩにある。タイムラインマトリクスＭＴＲＸは、ｘ軸方向（水平方向）に延びるＭ（例えば、Ｍ＝４とする）個のタイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）とｙ軸方向（垂直方向）に延びるＮ（例えば、Ｎ＝４とする）個のタイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）を交差させた画像である。このタイムラインマトリクスＭＴＲＸでは、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）の各々とタイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）の各々との交差位置に合計１６個の格子点ｇｐ−ｉｊ（ｉ＝１〜４，ｊ＝１〜４）が形成される。タイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊの各々は、操作部１３の操作により、活性状態と休止状態の２つの状態の一方から他方へと切り替わる。ここで、活性状態とは、曲をなす１つのフレーズを表象する画像として機能している状態を意味し、休止状態とは、曲をなす１つのフレーズを表象する画像として機能していない状態を意味する。

本実施形態において、フレーズの作曲は、タイムラインマトリクスＭＴＲＸにおける１又は複数のタイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊに、１又は複数のオブジェクトｏｂ−ｎを帰属させ、オブジェクトｏｂ−ｎを帰属させたタイムラインの全部又は一部を休止状態（この状態のタイムラインをインアクティブタイムラインという）から活性状態（この状態のタイムラインをアクティブタイムラインという）へ切り換えることにより行われる。

本実施形態では、第１実施形態と同様に、素材決定作業と素材配置作業とを経て１つの曲が作られる。以下、素材決定作業と素材配置作業における本実施形態の動作を説明する。素材決定作業では、ユーザは、オブジェクト出現操作、検索条件指定操作、マニュアル演奏操作、オブジェクト保存操作などを行い、曲の材料となる音素材を決定する。これらの各操作が行われた場合にＣＰＵ２２が行う処理は、第１実施形態のものと同じである。

素材配置作業では、ユーザは、まず、タイムラインマトリクス出現操作を行う。タイムラインマトリクス出現操作が行われると、タイムライン管理処理３１では、インアクティブタイムラインの集合体としてのタイムラインマトリクスＭＴＲＸを表示部１７の表示領域内に表示させる。図１６に示すように、このタイムラインマトリクスＭＴＲＸにおけるタイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）は、タイムライン自体の１／４の長さの間隔を空けて垂直方向に並んでいる。また、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）は、タイムラインＬＩＮＥ−ｉ０間のものと同じ間隔を空けて水平方向に並んでいる。

さらに詳述すると、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）のうち最も上のタイムラインＬＩＮＥ−１０は、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）の上端と交差し、各々の交差位置には格子点ｇｐ−１ｊ（ｊ＝１〜４）が形成されている。タイムラインＬＩＮＥ−１０の下のタイムラインＬＩＮＥ−２０は、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）の上下の端部間を４等分してできる３つの分割点のうち上側の分割点と交差し、各々の交差位置には格子点ｇｐ−２ｊ（ｊ＝１〜４）が形成されている。タイムラインＬＩＮＥ−２０の下のタイムラインＬＩＮＥ−３０は、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）の上下の端部間を４等分してできる３つの分割点のうち真中の分割点と交差し、各々の交差位置には格子点ｇｐ−３ｊ（ｊ＝１〜４）が形成されている。タイムラインＬＩＮＥ−３０の下のタイムラインＬＩＮＥ−４０は、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）の上下の端部間を４等分してできる３つの分割点のうち下側の分割点と交差し、各々の交差位置には格子点ｇｐ−４ｊ（ｊ＝１〜４）が形成されている。

また、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）における各タイムラインＬＩＮＥ−ｉ０上と、隣り合うタイムラインＬＩＮＥ−ｉ０間を等分した各位置と、タイムラインＬＩＮＥ−４０及びＬＩＮＥ−３０間を等分した距離だけタイムラインＬＩＮＥ−４０の下の位置には、タイムラインＬＩＮＥ−ｉ０と平行なグリッド線ｇがある。また、タイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）における各タイムラインＬＩＮＥ−０ｊ上と、隣り合うタイムラインＬＩＮＥ−０ｊ間を等分した各位置と、タイムラインＬＩＮＥ−０４及びＬＩＮＥ−０３間を等分した距離だけタイムラインＬＩＮＥ−０４の右の位置には、タイムラインＬＩＮＥ−０ｊと平行なグリッド線ｇがある。

ユーザは、タイムラインマトリクスＭＴＲＸを表示させた後、オブジェクト位置変更操作を行う。図１７に示すように、オブジェクト位置変更操作では、素材決定作業において出現させておいたオブジェクトｏｂ−ｎをタイムラインマトリクスＭＴＲＸにおける格子点ｇｐ−ｉｊ（図１７の例では、格子点ｇｐ−１１及びｇｐ−３３）上に移動させる。その後、ユーザは、タイムライン切替操作により、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）及びＬＩＮＥ−０ｊ（ｊ＝１〜４）のうちオブジェクトｏｂ−ｎの移動先の格子点ｇｐ−ｉｊにおいて交差しているものをインアクティブタイムラインからアクティブタイムラインへと切り換える。ユーザは、オブジェクトｏｂ−ｎの移動先の格子点ｇｐ−ｉｊにおいて交差しているタイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊの全てをアクティブタイムラインとしてもよいし、その一部だけをアクティブタイムラインとしてもよい。

ＣＰＵ２２は、タイムラインマトリクスＭＴＲＸにおける１つ以上のタイムラインがアクティブタイムラインになっている間、自動演奏処理３４を行う。本実施形態における自動演奏処理３４では、タイムラインマトリクスＭＴＲＸにおける格子点ｇｐ−ｉｊ上にオブジェクトｏｂ−ｎがある場合に、当該格子点ｇｐ−ｉｊ上において交差している２つのタイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊが当該格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎを共有するものとしてタイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊとオブジェクトｏｂ−ｎの帰属関係を決定する。

より詳細に説明すると、ＣＰＵ２２は、タイムラインマトリクスＭＴＲＸにおけるタイムラインＬＩＮＥ−ｉ０又はＬＩＮＥ−０ｊがインアクティブタイムラインからアクティブタイムラインに切り換わる度に、そのタイムラインＬＩＮＥ−ｉ０又はＬＩＮＥ−０ｊと対応するタイムラインタスクｔｓｋ−ｉ０又はｔｓｋ−０ｊを立ち上げ、立ち上げたタイムラインタスクを実行する。

１つのタイムラインＬＩＮＥ−ｉ０又はＬＩＮＥ−０ｊと対応する１つのタイムラインタスクｔｓｋ−ｉ０又はｔｓｋ−０ｊでは、当該タイムラインの格子点ｇｐ−ｉｊ上にあるオブジェクトｏｂ−ｎを当該タイムラインに帰属するオブジェクトｏｂ−ｎとして決定する。そして、当該タイムラインに属するオブジェクトｏｂ−ｎが示す音を発音させる制御を周期Ｔ毎に繰り返す。具体的な処理内容は次の通りである。

タイムラインＬＩＮＥ−ｉ０と対応するタイムラインタスクｔｓｋ−ｉ０では、周期Ｔの間にタイミングポインタ６２を当該タイムラインＬＩＮＥ−ｉ０の左端から右端まで移動させる操作を周期的に繰り返しつつ、タイミングポインタ６２のｘ座標値を監視する。そして、当該タイムラインＬＩＮＥ−ｉ０の格子点ｇｐ−ｉｊ上にあるオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致すると、当該オブジェクトｏｂ−ｎとタイミングポインタ６２のｘ座標値が一致したタイミングを発音タイミングとして、当該オブジェクトｏｂ−ｎと対応する音素材を発音させるための処理を行う。

タイムラインＬＩＮＥ−０ｊと対応するタイムラインタスクｔｓｋ−０ｊでは、周期Ｔの間にタイミングポインタ６２を当該タイムラインＬＩＮＥ−０ｊの上端から下端まで移動させる操作を周期的に繰り返しつつ、タイミングポインタ６２のｙ座標値を監視する。そして、当該タイムラインＬＩＮＥ−０ｊの格子点ｇｐ−ｉｊ上にあるオブジェクトｏｂ−ｎのｙ座標値とタイミングポインタ６２のｙ座標値が一致すると、当該オブジェクトｏｂ−ｎとタイミングポインタ６２のｙ座標値が一致したタイミングを発音タイミングとして、当該オブジェクトｏｂ−ｎと対応する音素材を発音させるための処理を行う。

また、ユーザは、必要に応じてタイムライン位置変更操作を行うことができる。本実施形態におけるタイムライン位置変更操作では、タイムラインマトリクスＭＴＲＸにおけるタイムラインＬＩＮＥ−ｉ０又はＬＩＮＥ−０ｊを、両隣のグリッド線ｇのうち一方と重なる位置まで平行移動させる。ユーザは、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）及びＬＩＮＥ−０ｊ（ｊ＝１〜４）のうち格子点ｇｐ−ｉｊ上にオブジェクトｏｂ−ｎがあるものを対象としてタイムライン位置変更操作を行うこともできるし、そうでないものを対象としてタイムライン位置変更操作を行うこともできる。また、インアクティブタイムラインを対象としてタイムライン位置変更操作を行うこともできるし、アクティブタイムラインを対象としてタイムライン位置変更操作を行うこともできる。

本実施形態におけるオブジェクト管理処理３０では、ＣＰＵ２２は、図１８に示すように、タイムライン位置変更操作の対象となったタイムラインの格子点ｇｐ−ｉｊ（図１８の例では、タイムラインＬＩＮＥ−０３の格子点ｇｐ−３３）上にオブジェクトｏｂ−ｎがある場合、そのオブジェクトｏｂ−ｎを操作の対象となったタイムラインの移動に追随して移動させる。また、ＣＰＵ２２は、操作の対象となったタイムラインの格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎと対応付けられたＲＡＭ２３内のオブジェクト管理情報を、そのオブジェクトｏｂ−ｎの移動後の水平方向及び垂直方向の位置を示すものへと書き換える。

次に具体例を挙げ、本実施形態においてタイムラインマトリクスＭＴＲＸとオブジェクトｏｂ−ｎを用いて行われる各種の作曲及びその自動演奏の態様を説明する。

たとえば、図１９（Ａ）の例では、タイムラインマトリクスＭＴＲＸの格子点ｇｐ−１１上にオブジェクトｏｂ−１があり、格子点ｇｐ−１４上にオブジェクトｏｂ−２があり、格子点ｇｐ−３３上にオブジェクトｏｂ−３がある。また、格子点ｇｐ−３４上にオブジェクトｏｂ−４があり、格子点ｇｐ−４２上にオブジェクトｏｂ−５があり、格子点ｇｐ−４３上にオブジェクトｏｂ−６がある。また、この例では、タイムラインＬＩＮＥ−１０，ＬＩＮＥ−３０，及びＬＩＮＥ−０３がアクティブタイムラインにされている。

この例の場合、ＣＰＵ２２は、タイムラインＬＩＮＥ−１０，ＬＩＮＥ−３０，及びＬＩＮＥ−０３と対応するタイムラインタスクｔｓｋ−１０，ｔｓｋ−３０，及びｔｓｋ−０３を立ち上げ、これら３つのタイムラインタスクｔｓｋ−１０，ｔｓｋ−３０，及びｔｓｋ−０３を並列かつ独立に実行する。そして、図１９（Ｂ）に示すように、タイムラインタスクｔｓｋ−１０では、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１においてオブジェクトｏｂ−１の音素材の発音を行い、時刻ｔ４においてオブジェクトｏｂ−２の音素材の発音を行う。また、図１９（Ｃ）に示すように、タイムラインタスクｔｓｋ−３０では、時刻ｔ３においてオブジェクトｏｂ−３の音素材の発音を行い、時刻ｔ４においてオブジェクトｏｂ−４の音素材の発音を行う。また、図１９（Ｄ）に示すように、タイムラインタスクｔｓｋ−０３では，時刻ｔ３においてオブジェクトｏｂ−３の音素材の発音を行い、時刻ｔ４においてオブジェクトｏｂ−６の音素材の発音を行う。

図２０（Ａ）の例は、図１９（Ａ）の例においてアクティブタイムラインであったタイムラインＬＩＮＥ−０３をインアクティブタイムラインにし、インアクティブタイムラインであったタイムラインＬＩＮＥ−０４をアクティブタイムラインにしたものである。この例の場合、ＣＰＵ２２は、タイムラインＬＩＮＥ−０３と対応するタイムラインタスクｔｓｋ−０３に替えてタイムラインＬＩＮＥ−０４と対応するタイムラインタスクｔｓｋ−０４を立ち上げ、実行する。そして、図２０（Ｅ）に示すように、タイムラインタスクｔｓｋ−０４では、周期Ｔを４等分した時刻ｔ１，ｔ２，ｔ３，ｔ４のうち時刻ｔ１においてオブジェクトｏｂ−２の音素材の発音を行い、時刻ｔ３においてオブジェクトｏｂ−４の音素材の発音を行う。

図２１（Ａ）の例は、図１９（Ａ）の例においてアクティブタイムラインとなっているタイムラインＬＩＮＥ−０３を左のグリッド線ｇと重なる位置までｘ軸方向に移動させたものである。この例のように、タイムラインＬＩＮＥ−０３をｘ軸方向に移動させた場合、タイムラインＬＩＮＥ−０３の格子点ｇｐ−３３及びｇｐ−４３上のオブジェクトｏｂ−３及びｏｂ−６は、タイムラインＬＩＮＥ−０３に追随して右のグリッド線ｇ上に移動する。また、アクティブタイムラインとなっている残りの２つタイムラインのうちタイムラインＬＩＮＥ−３０は、タイムラインＬＩＮＥ−０３とオブジェクトｏｂ−３を共有している。よって、タイムラインＬＩＮＥ−０３を右のグリッド線ｇ上に移動させた以降、図２１（Ｃ’）に示すように、タイムラインＬＩＮＥ−３０と対応するタイムラインタスクｔｓｋ−３０では、それまで時刻ｔ３において発音させていた音素材を時刻（ｔ３＋ｔ４）／２において発音させる。

以上説明したように、本実施形態における音検索・演奏プログラム２９では、タイムラインマトリクスＭＴＲＸを表示部１７の表示領域内に表示させる。また、自動演奏処理３４では、タイムラインマトリクスＭＴＲＸの格子点ｇｐ−ｉｊにおいて交差する２つのタイムラインがその格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎを共有するものとして、タイムラインとオブジェクトｏｂ−ｎの帰属関係を決定する。そして、この帰属関係に基づいて、アクティブタイムラインとされたタイムラインの各々と対応するフレーズをなす音素材とその発音タイミングを決定する。よって、ユーザは、タイムラインマトリクスＭＴＲＸにおける所望の格子点ｇｐ−ｉｊ上にオブジェクトｏｂ−ｎを配置してアクティブタイムライン化するタイムラインを選ぶ、という簡単な操作により、複数の周期のフレーズを時間軸上で重ね合わせた曲を作ることができる。

また、本実施形態においても、第１実施形態と同様に、レイアウト保存操作が行われた場合、作曲情報管理処理３２では、表示領域内のタイムラインマトリクスＭＴＲＸの各タイムラインＬＩＮＥ−ｉ０及びＬＩＮＥ−０ｊの位置、格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎの位置（ｘ座標値．ｙ座標値）を配置情報とする。そして、この配置情報とオブジェクトｏｂ−ｎのオブジェクト管理情報のセットをレイアウト情報としてハードディスク２５に記憶する。また、レイアウト読出操作が行われた場合、このレイアウト情報に基づいて表示領域内の表示内容を復元する。よって、ユーザは、レイアウト保存操作によってハードディスク２５に保存したレイアウト情報を、音検索・演奏プログラム２９をインストールした他のコンピュータのハードディスク２５にコピーし、そのコンピュータを用いて素材配置作業を続けることができる。

以上、この発明の第１および第２実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１および第２実施形態において、ＣＰＵ２２は、表示部１７の表示領域内にあるオブジェクトｏｂ−ｎが複製された場合、複製したオブジェクトｏｂ’−ｎが示す音の発音態様（ピッチ、音量、発音タイミングの遅延量など）を、複製元のオブジェクトｏｂ−ｎが示す音素材のパラメータと共通のパラメータにより制御するようにしてもよい。
（２）上記第１および第２実施形態では、曲データｍｄ−ｋ（ｋ＝１，２…）に含まれる音素材のうちエッジ音とダスト音の音素材を、オブジェクトｏｂ−ｎが示す音として発音させた。しかし、エッジ音やダスト音以外の、音の特徴から分類できる音の単位全般の音素材を発音させてもよい。

（３）上記第１実施形態では、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎの位置関係に基づいて、各タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎを決定するようにしたが、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎとの帰属関係を決定する方法はこれに限定されるものではない。例えば、タイムラインＬＩＮＥ−ｉとオブジェクトｏｂ−ｎが表示された状態において、マウス１４等のポインティングデバイスの操作により１つのタイムラインＬＩＮＥ−ｉに帰属させる１または複数オブジェクトｏｂ−ｎを逐一指示させ、あるいは１つのタイムラインＬＩＮＥ−ｉに帰属させる１または複数のオブジェクトｏｂ−ｎを囲む曲線を描かせる操作を行わせることにより各タイムラインＬＩＮＥ−ｉに属するオブジェクトｏｂ−ｎを決定するようにしてもよい。

（４）上記第１および第２実施形態において、オブジェクトｏｂ−ｎの形状は、円形、多角形、自由図形などであってもよい。この場合において、それらのオブジェクトｏｂ−ｎの形状の変更に対応させて検索条件ＳＣ−ｎを変化させてもよい。たとえば、オブジェクトｏｂ−ｎを五角形の形状とし、その中心から５つの頂点の各々までの長さに応じて、特徴量Ｐや要検索数Ｎｕｍといった５種類の検索条件ＳＣ−ｎを個別に制御するようにしてもよい。

（５）上記第１および第２実施形態における検索条件指定操作では、オブジェクトｏｂ−ｎの表示色の濃淡を変化させたが、表示色の色彩を変化させてもよい。
（６）上記第１および第２実施形態において、ＣＰＵ２２は、操作部１３の操作に応じて、表示部１７の表示領域内に表示されたタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が示すフレーズの各々における小節数や拍子を設定するようにしてもよい。また、第１実施形態では、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉが示すフレーズの拍子に対応させてそのライムラインＬＩＮＥ−ｉの拍案内線６３−ｊ（ｊ＝１，２…）の数を増減するとよい。

（７）上記第１および第２実施形態において、ＣＰＵ２２は、操作部１３の操作に応じて、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，ＬＩＮＥ−０ｊが示すフレーズの各々におけるテンポを決めるパラメータ（たとえば、ＢＰＭ（Beats Per Minute ））を設定してもよい。また、ＣＰＵ２２は、操作部１３の操作に応じて、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，ＬＩＮＥ−０ｊが示すフレーズの各々における１拍あたりの時間長を決めるパラメータ（たとえば、タイムベース（分解能））を設定してもよい。

（８）上記第１実施形態において、ＣＰＵ２２は、１つのタイムラインＬＩＮＥ−ｉと対応する１つのタイムラインタスクｔｓｋ−ｉでは、当該タイムラインＬＩＮＥ−ｉの占有領域内にあるオブジェクトｏｂ−ｎの左上隅のｘ座標値とタイミングポインタ６２のｘ座標値が一致したときに、そのオブジェクトｏｂ−ｎと対応する音素材を発音させた。しかし、オブジェクトｏｂ−ｎの中心、左下隅、右上隅、右下隅などの他の位置のｘ座標値とタイミングポインタ６２のｘ座標値が一致したときに、そのオブジェクトｏｂ−ｎと対応する音素材を発音させてもよい。

（９）上記第１実施形態では、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉにおける拍案内線６３−ｊ（ｊ＝１，２…）の数に関わらず、オブジェクト出現操作によって指定されたタイムラインＬＩＮＥ−ｉ内の任意の位置にオブジェクトｏｂ−ｎを出現させた。しかし、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉ内に出現させたオブジェクトｏｂ−ｎの位置をそのｘ座標値（たとえば、オブジェクトｏｂ−ｎの左上隅のｘ座標値）と直近の拍案内線６３−ｊのｘ座標値とが一致するように補正するクオンタイズ制御を行ってもよい。

（１０）上記第１および第２実施形態において、タイムラインＬＩＮＥ−ｉは、水平方向または垂直方向に延びた直線画像であった。しかし、タイムラインＬＩＮＥ−ｉは、曲線（閉曲線を含む）であってもよい。
（１１）上記第１実施形態において、タイムラインＬＩＮＥ−ｉの拍案内線６３−ｊ（ｊ＝１〜５）の長さをｙ軸方向に伸ばす操作により、当該タイムラインＬＩＮＥ−ｉの占有領域の面積を広げることができるようにしてもよい。

（１２）上記第１および第２実施形態において、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，ＬＩＮＥ−０ｊのタイミングポインタ６２は、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０の左端から右端までの軌道やタイムラインＬＩＮＥ−０ｊの上端から下端までの軌道を等速に移動する必要はない。たとえば、タイミングポインタ６２を、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０の左端から右端までの軌道上のある区間を拡大、縮小したように移動させてもよいし、タイムラインＬＩＮＥ−０ｊの上端から下端までの軌道上のある区間を拡大、縮小したように移動させてもよい。

（１３）上記第１実施形態における音加工処理３６では、ＣＰＵ２２は、ピッチ、音量、発音タイミングの遅延量などのパラメータを変化させた。しかし、ＣＰＵ２２は、音加工処理３６では、リバーブ処理やイコライザ処理などを行い、これらの処理内容を決定づけるパラメータをタイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄ_ｙに応じて変化させてもよい。

（１４）上記第１実施形態では、ＣＰＵ２２は、パラメータ連動モードが指定されている場合、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄ_ｙに応じて、そのオブジェクトｏｂ−ｎと対応する音素材のピッチ、音量、発音タイミングの遅延量などを変化させた。しかし、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄ_ｙが大きいほど、そのオブジェクトｏｂ−ｎと対応する検索結果ＳＲ−ｎを構成する複数の音素材の中のより低いピッチをもった音素材を選択し、タイムラインＬＩＮＥ−ｉからオブジェクトｏｂ−ｎまでの距離ｄ_ｙが小さいほど、そのオブジェクトｏｂ−ｎと対応する検索結果ＳＲ−ｎを構成する複数の音素材の中のより高いピッチをもった音素材を選択する、といった制御を行ってもよい。

（１５）上記第１および第２実施形態における操作ログ管理処理３７では、ＣＰＵ２２は、マニュアル演奏操作に従って表示領域内のオブジェクトｏｂ−ｎと対応づけられた音素材を発音させるたびに、発音させた音素材とその発音時刻の対をシーケンスデータ化し、このシーケンスデータをオブジェクトｏｂ−ｎのオブジェクト管理情報に含めるようにしてもよい。

（１６）上記第１および第２実施形態において、ＣＰＵ２２は、表示部１７の表示領域内に表示されているタイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，ＬＩＮＥ−０ｊとそのタイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，ＬＩＮＥ−０ｊに帰属する一または複数のオブジェクトｏｂ−ｎとの位置関係に従って生成されるフレーズをシーケンスデータ化し、このシーケンスデータを新たなオブジェクトｏｂ−ｎ（たとえば、オブジェクトｏｂ−１０とする）と対応づけてもよい。そして、そのオブジェクトｏｂ−１０を別のタイムラインＬＩＮＥ（たとえば、タイムラインＬＩＮＥ−６とする）に帰属させた場合に、オブジェクトｏｂ−１０とタイムラインＬＩＮＥ−６との位置関係によって決まる発音タイミングにおいてオブジェクトｏｂ−１０と対応づけられているシーケンスデータを再生するようにするとよい。

（１７）上記第１実施形態において、ＣＰＵ２２は、表示部１７の表示領域内におけるタイムラインＬＩＮＥ−ｉの位置が上にあるほどタイミングポインタ６２の移動の速度を速くし、タイムラインＬＩＮＥ−ｉの位置が下にあるほどタイミングポインタ６２の移動の速度を遅くする、といった制御を行ってもよい。また、表示部１７の表示領域内に配置されたオブジェクトｏｂ−ｎをあたかも落下しているかのように上から下に向かって移動させ、重力などを定義するパラメータの設定に従ってその移動の速度を制御してもよい。

（１８）上記第１および第２実施形態において、オブジェクトｏｂ−ｎは音素材の検索条件ＳＲ−ｎを示す画像であり、１つのタイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，またはＬＩＮＥ−０ｊと対応する１つのタイムラインタスクｔｓｋ−ｉ，ｔｓｋ−ｉ０，またはｔｓｋ−０ｊでは、ＣＰＵ２２は、タイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，またはＬＩＮＥ−０ｊに属するオブジェクトｏｂ−ｎのｘ座標値またはｙ座標値とタイミングポインタ６２のｘ座標値またはｙ座標値が一致したとき、そのオブジェクトｏｂ−ｎの検索条件ＳＲ−ｎに従った検索結果ＳＲ−ｎを構成する複数の音素材の中の一つを選択してサウンドシステム９１から発音させた。しかし、オブジェクトｏｂ−ｎを発音対象とする一または複数の音素材そのものを示す画像としてもよい。この態様では、オブジェクトｏｂ−ｎ（ｎ＝１，２…）の各々と一又は複数の音素材とを予め対応づけておく。そして、１つのタイムラインＬＩＮＥ−ｉ，ＬＩＮＥ−ｉ０，またはＬＩＮＥ−０ｊ（例えば、タイムラインＬＩＮＥ−７とする）と対応する１つのタイムラインタスクｔｓｋ−７では、ＣＰＵ２２は、タイムラインＬＩＮＥ−７に属するオブジェクトｏｂ−ｎのｘ座標値とタイミングポインタ６２のｘ座標値が一致したとき、そのオブジェクトｏｂ−ｎと対応づけられている音素材をサウンドシステム９１から発音させる。

（１９）上記第１および第２実施形態は、本発明を、ループシーケンサに類するアプリケーションプログラムに適用したものであった。しかし、本発明は、ループシーケンサ以外のシーケンサにも適用可能である。たとえば、テンポや拍子などを異ならせた複数のタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）であって各々が一曲分の演奏時間に相当するタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）を表示部１７の表示領域内に表示させ、それらの複数のタイムラインＬＩＮＥ−ｉ（ｉ＝１，２…）が１または複数のオブジェクトｏｂ−ｎを共有するように各々の位置を指定してもよい。また、１曲分の演奏時間に相当するタイムラインＬＩＮＥ−１とその１曲分の演奏時間の間に繰り返すフレーズの周期Ｔに相当するタイムラインＬＩＮＥ−２とを表示部１７の表示領域内に表示させ、それらのタイムラインＬＩＮＥ−１、ＬＩＮＥ−２が１または複数のオブジェクトｏｂ−ｎを共有するように各々の位置を指定してもよい。

（２０）上記第１および第２実施形態では、１つのオブジェクトｏｂ−ｎが２つ以上のタイムラインに帰属する場合であっても、そのオブジェクトｏｂ−ｎが示す音素材の検索先は同じデータベース（オブジェクトｏｂ−ｎがエッジ音のものであれば音素材データベース２７，オブジェクトｏｂ−ｎがダスト音のものであれば音素材データベース２８）であった。しかし、音素材の各種類（例えば、エッジ音とダスト音）の各々について複数のデータベースを準備し、１つのオブジェクトｏｂ−ｎが２つ以上のタイムラインに帰属する場合に、そのオブジェクトｏｂ−ｎが帰属するタイムライン毎に検索先のデータベースを変えるようにしてもよい。

この実施形態は、例えば、次のようにして実現する。まず、曲データｍｄ−ｋに含まれるエッジ音のうち固い感じのするものを特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと対応付けて記憶した音素材データベース２７Ａ，曲データｍｄ−ｋに含まれるエッジ音のうち柔らかい感じのするものを特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと対応付けて記憶した音素材データベース２７Ｂ，曲データｍｄ−ｋに含まれるダスト音のうち固い感じのするものを特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと対応付けて記憶した音素材データベース２８Ａ，曲データｍｄ−ｋに含まれるダスト音のうち柔らかい感じのするものを特徴量Ｐ_LOW、Ｐ_MID-LOW、Ｐ_MID-HIGH、Ｐ_HIGH、Ｐ_TIME、Ｐ_VALUEと対応付けて記憶した音素材データベース２８Ｂをハードディスク２５内に準備しておく。

また、ＣＰＵ２２は、第２実施形態における処理と同様に、操作部１３の操作により、表示部１７の表示領域にタイムラインマトリクスＭＴＲＸとオブジェクトｏｂ−ｎを表示させる。そして、タイムラインマトリクスＭＴＲＸのタイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）及びＬＩＮＥ−０ｊ（ｊ＝１〜４）のうちアクティブタイムラインにされたものと対応するタイムラインタスクｔｓｋ−ｉ０およびｔｓｋ−０ｊを立ち上げて各々実行する。さらに、ＣＰＵ２２は、タイムラインタスクｔｓｋ−ｉ０では、タイムラインＬＩＮＥ−ｉ０の格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎが示すエッジ音（または、ダスト音）の音素材を音素材データベース２７Ａ（または、２８Ａ）から検索して発音させる。また、タイムラインタスクｔｓｋ−０ｊでは、タイムラインＬＩＮＥ−０ｊの格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎが示すエッジ音（または、ダスト音）の音素材を音素材データベース２７Ｂ（または、２８Ｂ）から検索して発音させる。

この構成によると、タイムラインＬＩＮＥ−ｉ０上を水平方向に移動するタイミングポインタ６２とその格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎが重なる度に固い感じの音が発音され、タイムラインＬＩＮＥ−０ｊ上を垂直方向に移動するタイミングポインタ６２とその格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎが重なる度に柔らかい感じの音が発音される。よって、独創性のより高い曲を作ることができる。

（２１）上記第２実施形態において、ＣＰＵ２２は、タイムラインマトリクスＭＴＲＸにおける格子点ｇｐ−ｉｊ（ｉ＝１〜４，ｊ＝１〜４）のうちの複数個の格子点ｇｐ−ｉｊを辿ってできる軌跡を１つのタイムラインＬＩＮＥ”とし、このタイムラインＬＩＮＥ”の格子点ｇｐ−ｉｊ上のオブジェクトｏｂ−ｎが示す各音を、当該タイムラインＬＩＮＥ”を一直線状に伸ばしたものの長さ方向における当該オブジェクトｏｂ−ｎの位置により定まる発音タイミングにおいて発音させる制御を繰り返してもよい。

この実施形態は、例えば、次のようにして実現する。ユーザは、タイムラインマトリクスＭＴＲＸにおける格子点ｇｐ−ｉｊ上にオブジェクトｏｂ−ｎを配置する操作を行った後、格子点選択操作を行う。図２２（Ａ）に示すように、格子点選択操作では、オブジェクトｏｂ−ｎを配置したものを含む複数個の格子点ｇｐ−ｉｊ（図２２（Ａ）の例では、格子点ｇｐ−１１，ｇｐ−１２，ｇｐ−１３，ｇｐ−３３，ｇｐ−３４）を順に選択する。また、この操作では、最後に選択した格子点ｇｐ−ｉｊにおいて交差する２つのタイムラインＬＩＮＥ−ｉ０およびＬＩＮＥ−０ｊのうち一方の終端（図２２（Ａ）の例では、タイムラインＬＩＮＥ−３０の右端）を選択する。

ＣＰＵ２２は、自動演奏処理３４では、格子点選択操作が行われると、格子点選択操作によって選択された複数個の格子点ｇｐ−ｉｊとタイムラインＬＩＮＥ−ｉ０またはＬＩＮＥ−０ｊの終端とを辿ってできる軌跡をタイムラインＬＩＮＥ”とする。また、格子点選択操作によって最初に選択された格子点ｇｐ−ｉｊと同操作によって選択されたタイムラインＬＩＮＥ−ｉ０またはＬＩＮＥ−０ｊの終端との間のタイムラインＬＩＮＥ−ｉ０の数ＮＩ（図２２（Ａ）の例では、ＮＩ＝２）およびタイムラインＬＩＮＥ−０ｊの数ＮＪ（図２２（Ａ）の例では、ＮＪ＝４）を次式に代入して時間長Ｔ”を求める。ＣＰＵ２２は、この時間長Ｔ”を当該タイムラインＬＩＮＥ”に対応した周期Ｔ”とする。
Ｔ”＝（ＮＩ＋ＮＪ）×Ｔ／４…（１）

そして、ＣＰＵ２２は、タイムラインＬＩＮＥ”と対応するタイムラインタスクｔｓｋ”を立ち上げ、実行する。図２２（Ｂ）及び図２２（Ｃ）は、タイムラインＬＩＮＥ”とこのタイムラインＬＩＮＥ”を一直線状に伸ばしたものを示す図である。図２２（Ｂ）および図２２（Ｃ）に示すように、タイムラインＬＩＮＥ”と対応するタイムラインタスクｔｓｋ”では、周期Ｔ”の間にタイミングポインタ６２を当該タイムラインＬＩＮＥ”の始端から終端まで移動させる操作を繰り返しつつ、タイミングポインタ６２のｘ座標値およびｙ座標値を監視する。そして、当該タイムラインＬＩＮＥ”の格子点ｇｐ−ｉｊ上にあるオブジェクトｏｂ−ｎのｘ座標値及びｙ座標値とタイミングポインタ６２のｘ座標値及びｙ座標値が一致すると、そのオブジェクトｏｂ−ｎと対応する音素材を発音させるための処理を行う。

（２２）上記第２実施形態では、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）とタイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）を直交させた画像をタイムラインマトリクスＭＴＲＸとした。しかし、タイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）とタイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）を９０度より鋭角な角度や鈍角な角度で交差させた画像をタイムラインマトリクスＭＴＲＸとしてもよい。

（２３）上記第２実施形態において、タイムラインマトリクスＭＴＲＸをなすタイムラインＬＩＮＥ−ｉ０の個数Ｍを２個または３個としてもよいし、５個以上としてもよい。また、タイムラインマトリクスＭＴＲＸをなすタイムラインＬＩＮＥ−０ｊの個数Ｎを２個または３個としてもよいし、５個以上としてもよい。タイムラインマトリクスＭＴＲＸをなすタイムラインＬＩＮＥ−ｉ０の個数ＭとタイムラインＬＩＮＥ−０ｊの個数Ｎを異なる数としてもよい。また、タイムラインマトリクスＭＴＲＸにおける複数個のタイムラインＬＩＮＥの全てが他のタイムラインＬＩＮＥと交差して格子点ｇｐを形成している必要はない。タイムラインマトリクスＭＴＲＸにおける複数個のタイムラインＬＩＮＥのうち少なくとも２個のタイムラインＬＩＮＥが交差して１つの格子点ｇｐを形成していればよい。

（２４）上記第２実施形態では、タイムラインマトリクスＭＴＲＸは、垂直方向に並ぶタイムラインＬＩＮＥ−ｉ０（ｉ＝１〜４）と水平方向に並ぶタイムラインＬＩＮＥ−０ｊ（ｊ＝１〜４）を交差させた２次元のマトリクスであった。しかし、垂直方向に並ぶ複数個のタイムラインＬＩＮＥ、水平方向に並ぶ複数個のタイムラインＬＩＮＥ、および水平方向と垂直方向の両方に直交する方向（奥行き方向）に並ぶ複数個のタイムラインＬＩＮＥを交差させた３次元のマトリクスとしてもよい。

（２５）上記第２実施形態において、タイムラインマトリクスＭＴＲＸにおける隣り合うタイムラインＬＩＮＥ−ｉ０間と隣り合うタイムラインＬＩＮＥ−０ｊ間に等間隔で３本以上のグリッド線ｇを設けてもよい。また、操作部１３の操作により、隣り合うタイムラインＬＩＮＥ−ｉ０間のグリッド線ｇの本数や隣り合うタイムラインＬＩＮＥ−０ｊ間のグリッド線ｇの本数をユーザが設定できるようにしてもよい。

（２６）上記第１実施形態において、表示部１７の表示領域に表示される各タイムラインＬＩＮＥ−ｉは、いずれも同じ方向（ｘ軸方向）に延在する線画像であった。しかし、第１の方向（例えば、ｘ軸方向）に延在する線画像としてのタイムラインＬＩＮＥ−ｉと第２の方向（例えば、ｙ軸方向）に延在する線画像としてのタイムラインＬＩＮＥ−ｉを表示部１７の表示領域に表示させ、表示領域内におけるそれら２種類のタイムラインＬＩＮＥ−ｉの位置関係を自由に変更できるようにしてもよい。そして、自動演奏処理３４では、表示部１７の表示領域内における第１の方向に延在するタイムラインＬＩＮＥ−ｉ（例えば、タイムラインＬＩＮＥ−８とする）と第２の方向に延在するタイムラインＬＩＮＥ−ｉ（例えば、タイムラインＬＩＮＥ−９とする）とが交差しており、２つのタイムラインＬＩＮＥ−８及びＬＩＮＥ−９が交差する格子点上にオブジェクトｏｂ−ｎがある場合に、当該格子点において交差しているタイムラインＬＩＮＥ−８及びＬＩＮＥ−９が当該格子点上のオブジェクトｏｂ−ｎを共有するものとして、タイムラインＬＩＮＥ−８及びＬＩＮＥ−９とオブジェクトｏｂ−ｎの帰属関係を決定してもよい。

（２７）上記第１および第２実施形態において、低域強度Ｐ_LOW、中低域強度Ｐ_MID-LOW
、中高域強度Ｐ_MID-HIGH、高域強度Ｐ_HIGH、ピーク位置Ｐ_TIME、およびピーク強度Ｐ_VALUE以外の種類の特徴量を音素材の始点と終点の時刻ｔ_S，ｔ_Eと対応付けて音素材データベース２７及び２８に格納してもよい。
（２８）上記第１および第２実施形態において、エッジ音の音素材データベース２７とダスト音の音素材データベース２８を纏めて１つの音素材データベースとしてもよい。

（２９）上記第２実施形態における自動演奏処理３４では、タイムラインマトリクスＭＴＲＸの格子点ｇｐ−ｉｊ上にあるオブジェクトｏｂ−ｎをその格子点ｇｐ−ｉｊにおいて交差する２つのタイムラインＬＩＮＥ−ｉ０及びタイムラインＬＩＮＥ−０ｊの両方に帰属するオブジェクトｏｂ−ｎとし、タイムラインＬＩＮＥ−ｉ０（またはタイムラインＬＩＮＥ−０ｊ）上における格子点ｇｐ−ｉｊから外れた位置にあるオブジェクトｏｂ−ｎを当該当該タイムラインＬＩＮＥ−ｉ０（またはタイムラインＬＩＮＥ−０ｊ）にのみ帰属するオブジェクトｏｂ−ｎとしてもよい。この場合において、当該タイムラインＬＩＮＥ−ｉ０（またはタイムラインＬＩＮＥ−０ｊ）と完全に重なっているオブジェクトｏｂ−ｎだけでなく、当該タイムラインＬＩＮＥ−ｉ０（またはタイムラインＬＩＮＥ−０ｊ）の上下（または左右）の所定範囲内にあるオブジェクトｏｂ−ｎについても、当該タイムラインＬＩＮＥ−ｉ０（またはタイムラインＬＩＮＥ−０ｊ）に帰属するものとしてもよい。

１０…音検索・演奏装置、１１…インターフェース、１３…操作部、１４…マウス、１５…キーボード、１６…ドラムパッド、１７…表示部、２０…制御部、２２…ＣＰＵ、２３…ＲＡＭ、２４…ＲＯＭ、２５…ハードディスク、２６…曲データベース、２７，２８…音素材データベース、２９…音検索・演奏プログラム、９１…サウンドシステム。

Claims (5)

1. 操作手段と、
   表示手段と、
   前記操作手段の操作に応じて、曲中において繰り返される１または複数音の列の周期を示す画像である１または複数のタイムラインを前記表示手段に表示させるタイムライン管理処理手段と、
   前記操作手段の操作に応じて、発音対象とする音を示す１または複数のオブジェクトを前記表示手段に表示させるオブジェクト管理処理手段と、
   前記１または複数のオブジェクトの各々と前記１または複数のタイムラインの各々との帰属関係を決定し、各タイムラインについて並列かつ独立に、当該タイムラインに属する各オブジェクトが示す各音を当該タイムラインの長さ方向における当該オブジェクトの位置により定まる発音タイミングにおいて発音させる制御を当該タイムラインに対応した周期で繰り返す演奏処理手段と
   を具備することを特徴とする演奏装置。
2. 前記演奏処理手段は、前記表示手段の表示領域内における前記オブジェクトと前記タイムラインの位置関係に基づいて、前記オブジェクトと前記タイムラインの帰属関係を決定することを特徴とする請求項１に記載の演奏装置。
3. 前記演奏処理手段は、前記タイムラインから前記タイムラインに属する各オブジェクトまでの距離に応じて、前記各オブジェクトが示す音の発音態様を示すパラメータを制御することを特徴とする請求項２に記載の演奏装置。
4. 前記演奏処理手段は、前記表示手段における複数のタイムラインが交差しており、当該複数のタイムラインが交差している格子点上にオブジェクトがある場合に、当該格子点において交差している複数のタイムラインが当該格子点上のオブジェクトを共有するものとして前記帰属関係を決定することを特徴とする請求項１〜３のいずれか１の請求項に記載の演奏装置。
5. コンピュータに、
   操作手段の操作に応じて、曲中において繰り返される１または複数音の列の周期を示す画像である１または複数のタイムラインを表示手段に表示させるタイムライン管理処理手段と、
   操作手段の操作に応じて、発音対象とする音を示す１または複数のオブジェクトを前記表示手段に表示させるオブジェクト管理処理手段と、
   前記１または複数のオブジェクトの各々と前記１または複数のタイムラインの各々との帰属関係を決定し、各タイムラインについて並列かつ独立に、当該タイムラインに属する各オブジェクトが示す各音を当該タイムラインの長さ方向における当該オブジェクトの位置により定まる発音タイミングにおいて発音させる制御を当該タイムラインに対応した周期で繰り返す演奏処理手段と
   を実現させるプログラム。

Images