JP2010271398A - 音素材検索装置 - Google Patents

Abstract

【課題】 データベースに記憶された音素材の中から所望の音素材を効率的に検索できるようにする。
【解決手段】 音素材検索装置１０のＣＰＵ２１は、２つのシンボルＳＭ−２，ＳＭ−６が選択されると、シンボルＳＭ−２が示す音素材の特徴量ベクトルとシンボルＳＭ−６が示す音素材の特徴量ベクトルをＮｕｍ点補間したＮｕｍ個の特徴量ベクトルＰ_int−ｈ（ｈ＝１〜Ｎｕｍ）とのユークリッド距離が短いＮｕｍ個の音素材を検索する。そして、検索したＮｕｍ個の音素材を示すＮｕｍ個のシンボルＳＭ−１０，ＳＭ−１１，ＳＭ−１２，ＳＭ−１３，ＳＭ−１４，ＳＭ−１５をシンボルＳＭ−２とシンボルＳＭ−６の間に並べて表示させる。
【選択図】図７

Description

本発明は、音素材の検索を支援する技術に関する。

断片的な音波形である音素材を集めたデータベースを有し、このデータベースから検索した音素材を用いて曲を編集し、演奏する演奏装置がある。この種の演奏装置のデータベースは、複数の種類の音素材とその各々について求めた複数の種類の特徴量とを対応づけたものとなっている。この種の演奏装置において特徴量に基づく音素材の検索を容易にするための技術が各種提案されている。例えば特許文献１に開示された演奏装置では、ユーザが指定した２種類の特徴量をＸ軸およびＹ軸とする２次元座標系にデータベース内の各音素材がマッピングされ、このマッピング結果として各音素材を示すシンボルが２次元空間内に配置された検索画面が表示される。そして、ユーザが検索画面において所望の２種類の特徴量に対応した位置をポインティングデバイスにより指示すると、その指示点の所定距離以内に表示された各シンボルが示す音素材が選択され、複数の演奏用操作子に各々割り当てられる。

特開２００８−２２５２００号公報 "テノリオン"、[online]、ヤマハ株式会社、インターネット 平成２１年４月２８日検索、 <URL:http://www.yamaha.co.jp/design/tenori-on/>

特許文献１に開示の技術によれば、各種の音素材の特徴を空間内の位置として把握することができるため、所望の音素材を見つけ出す作業が容易になる。しかしながら、見つけ出した音素材が所望のものに近いが所望のものではないような場合には、再度、検索画面内における特徴量に対応した位置を指示するという試行錯誤を繰り返さねばならないという問題があった。
本発明は、このような背景の下に案出されたものであり、データベースに記憶された音素材の中から所望の音素材を効率的に検索することができる音素材検索装置を提供することを目的とする。

本発明は、各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、操作手段と、音素材を示すシンボルを表示する表示手段と、前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した１または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった１または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段とを具備することを特徴とする音素材検索装置を提供する。

本発明によれば、複数の音素材の中間的な特徴を持った音素材の検索を行うことができるので、検索済みの音素材のなかに所望のものに近い音素材が複数ある場合に、それらの音素材を利用して所望の音素材を効率的に探し出すことができる。

この発明の一実施形態である音素材検索装置の構成を示すブロック図である。 同音素材検索装置のハードディスクに記憶された音素材データベースのデータ構造を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。 同音素材検索装置の表示部に表示される検索画面を示す図である。

以下、図面を参照し、この発明の実施の形態を説明する。図１は、この発明の一実施形態である音素材検索装置１０の構成を示すブロック図である。この音素材検索装置１０は、パーソナルコンピュータに、本実施形態による音素材検索プログラム２８をインストールしたものである。ここで、音素材検索プログラム２８は、ユーザが行う操作に応じて、曲を構成するのに用いる音素材をデータベースから検索し、この検索した音素材を用いて曲を編集し演奏する機能を有するアプリケーションプログラムである。なお、本実施形態における音素材とは、曲中の１拍に相当する区間の音波形や１拍をさらに区分した区間の音波形である。

図１に示すように、この音素材検索装置１０は、インターフェース１１を介してサウンドシステム９０と接続される。この音素材検索装置１０における操作部１３はマウス１４とキーボード１５とを含む。表示部１６は、液晶ディスプレイである。

制御部２０は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ハードディスク２４を有する。ＣＰＵ２１は、ＲＡＭ２２をワークエリアとして利用しつつ、ＲＯＭ２３やハードディスク２４に記憶されたプログラムを実行する。ＲＯＭ２３は、ＩＰＬ（Initial Program Loader）などを記憶した読み出し専用メモリである。

ハードディスク２４は、音素材データベース２５および２６と、リズムパターンデータベース２７と、音素材検索プログラム２８とを記憶している。
音素材データベース２５は、楽曲の音波形内に含まれる各音素材のうちアタックが明瞭でエッジ感の強い音素材（以下、「エッジ音」と呼ぶ）と各々対応するレコードの集合体である。音素材データベース２６は、楽曲の音波形内に含まれる各音素材のうちダスティーな感じの強い各音素材（以下、「ダスト音」と呼ぶ）と各々対応する複数のレコードの集合体である。なお、これらの両音素材データベース２５，２６のほかに、エッジ音やダスト音以外の音素材と各々対応する複数のレコードからなる別のデータベースを設けてもよい。

図２は、音素材データベース２５のデータ構造を示す図である。図２に示すように、音素材データベース２５における１つのエッジ音と対応するレコードは、楽曲の音波形内におけるエッジ音を含む区間の音波形のサンプル列と、その音波形を解析して得られた以下の８種類の特徴量を各々示す９つのフィールドを有する。
ａ１．高域強度Ｐ_high
これは、音素材に含まれる高域の周波数成分の強度である。
ｂ１．中高域強度Ｐ_mid-high
これは、音素材に含まれる中高域の周波数成分の強度である。
ｃ１．中低域強度Ｐ_mid-low
これは、音素材に含まれる中低域の周波数成分の強度である。
ｄ１．低域強度Ｐ_low
これは、音素材に含まれる低域の周波数成分の強度である。
ｅ１．ディゾナンスＰ_disson
これは、音素材の協和度を示す指標値である。
ｆ１．スペクトラルコンプレクシティＰ_complex
これは、音素材の複雑さを示す指標値である。
ｇ１．ピーク位置Ｐ_peak-posi
これは、音素材の音波形において振幅がピークとなる時刻を当該音素材の先頭のサンプルの時刻を基準とした相対時刻として表わしたものである。
ｈ１．ピーク強度Ｐ_peak-val
これは、音素材におけるピークの振幅である。

また、音素材データベース２６における１つのダスト音と対応するレコードは、楽曲の音波形内におけるダスト音を含む区間の音波形のサンプル列と、その音波形を解析して得られた前掲のａ１．〜ｆ１．の６種類の特徴量Ｐ_high，Ｐ_mid-high，Ｐ_mid-low，Ｐ_low，Ｐ_disson，Ｐ_complexを各々示す７つのフィールドを有する。
以降は、特徴量Ｐ_high，Ｐ_mid-high，Ｐ_mid-low，Ｐ_low，Ｐ_disson，Ｐ_complex，Ｐ_peak-posi，Ｐ_peak-valを要素とする特徴量ベクトルを特徴量ベクトルＰと記す。
なお、音素材を示すレコードに音素材の音波形のサンプル列を含める代わりに、その音波形を含む曲のハードディスク２４内での所在を示す情報と、その曲においてその音波形が現れる区間を示す情報を含めてもよい。

リズムパターンデータベース２７は、複数のリズムパターンデータを記憶したデータベースである。ここで、１つのリズムパターンデータは、１６種類のトラックデータＴｒａｃｋ−ｋ（ｋ＝１〜１６）から構成される。各トラックデータＴｒａｃｋ−ｋ（ｋ＝１〜１６）は、１つのリズムパターンを構成する各トラックにおけるリズム音のＯＮ（発音）／ＯＦＦ（非発音）を指示する時系列パターンである。

音素材検索プログラム２８は、以下の３つの処理をＣＰＵ２１に実行させるプログラムである。
ａ２．検索制御処理
これは、音素材データベース２５，２６から音素材を検索し、検索した音素材を示すシンボルＳＭ−ｉ（ｉ＝１，２…）がマッピングされた画面である検索画面を表示部１６に表示させる処理である。
ｂ２．曲演奏処理
これは、検索画面内に表示されたシンボルＳＭ−ｉ（ｉ＝１，２…）のうち操作部１３に指定されたシンボルＳＭ−ｉが示す音素材をサウンドシステム９０に発音させる処理である。
ｃ２．リズム演奏処理
これは、ユーザが操作部１３の操作により指定したリズムパターンデータをリズムパターンデータベース２７から読み出してＲＡＭ２２に格納し、ユーザが操作部１３の操作により指定した音素材をリズムパターンデータの各トラックデータＴｒａｃｋ−ｋ（ｋ＝１〜１６）に割り当て、割り当てた音素材をリズム音として用いてリズムパターンデータの自動再生を行う処理である。

本実施形態における特徴の１つは、ユーザによる所望の音素材の検索を容易にするため、特徴量指定検索、類似検索、グラデーション検索の３種類の検索を実行可能にした点である。特徴量指定検索は、ユーザが指定した特徴量ベクトルＰに最も近い特徴量ベクトルＰをもった音素材を探し出す検索である。類似検索は、ユーザが指定した１つの音素材の特徴量ベクトルＰに近い特徴量ベクトルＰをもった音素材を上位所定個数だけ探し出す検索である。グラデーション検索は、ユーザが指定した２つの音素材の中間の特徴量ベクトルＰをもった音素材をユーザが指定した個数だけ探し出す検索である。特徴量指定検索では、検索条件として特徴量ベクトルＰが直接指定されるのに対し、類似検索およびグラデーション検索において、検索条件としてユーザが直接指定するのは音素材である。この点において、類似検索およびグラデーション検索は、特徴量指定検索とは異質の検索であるということができる。なお、これら３つの検索の詳細については、後述する。

次に、本実施形態の動作について説明する。本実施形態において、ユーザが音素材検索プログラム２８を起動させると、ＣＰＵ２１は、検索制御処理において、表示部１６に検索画面を表示させる。図３に示すように、検索画面は、検索操作領域３１と演奏操作領域３２とを有する。検索操作領域３１は、ｘ軸、ｙ軸からなる２次元座標系を示す領域である。検索操作領域３１の上端付近には、１６個の枠５−ｋ（ｋ＝１〜１６）が配置されている。演奏操作領域３２には、曲の自動演奏の開始を指示するためのボタン４１、自動演奏のテンポを決めるＢＰＭ（Beats Per Minute）を指定するためのアップダウンコントロールボタン４２、リズムパターンを指定するためのプルダウンメニュー４３、曲の保存を指示するためのボタン４４が配置される。

検索画面が表示部１６に表示されると、ユーザは、音素材データベース２５，２６から音素材を検索してそれらの中から演奏に利用する１６個の音素材を選ぶ素材決定作業と、１６個の音素材を使った曲をマニュアル演奏したり自動演奏させる演奏作業とを行う。以下では、素材決定作業と演奏作業における本実施形態の動作を説明する。

（１）素材決定作業
素材決定作業において、ユーザは、次のように特徴量指定検索をＣＰＵ２１に実行させることができる。まず、ユーザは、検索操作領域３１内に表示された１つのシンボルＳＭ−ｉを選択した上で、操作ウィンドウ５１を同領域３１内に表示させる。なお、ユーザは、検索操作領域３１内にシンボルＳＭ−ｉが１つも表示されていない場合、デフォルト値として予め設定されている特徴量ベクトルＰ（例えば、特徴量Ｐ_high，Ｐ_mid-high，Ｐ_mid-low，Ｐ_low，Ｐ_disson，Ｐ_complex，Ｐ_peak-posi，Ｐ_peak-valの全てを０とする特徴量ベクトルＰ）を有する音素材を示すシンボルＳＭ−ｉを検索操作領域３１内にまず表示させ、その表示させたシンボルＳＭ−ｉを選択する。図４に示すように、操作ウィンドウ５１は８種類の特徴量と各々対応するスライダＳＬＤＲ_high，ＳＬＤＲ_mid-high，ＳＬＤＲ_mid-low，ＳＬＤＲ_low，ＳＬＤＲ_disson，ＳＬＤＲ_complex，ＳＬＤＲ_peak-posi，ＳＬＤＲ_peak-valと「検索」と記されたボタン５２とが配置されたウィンドウである。ユーザは、この操作ウィンドウ５１内の各スライダＳＬＤＲ_high，ＳＬＤＲ_mid-high，ＳＬＤＲ_mid-low，ＳＬＤＲ_low，ＳＬＤＲ_disson，ＳＬＤＲ_complex，ＳＬＤＲ_peak-posi，ＳＬＤＲ_peak-valのつまみの位置を所望の音素材が有しているであろう特徴量の大きさに合わせて調整した後、同ウィンドウ５１内のボタン５２を選択する。

この操作が行われると、検索制御処理において、ＣＰＵ２１は、以下に説明する第１、第２、および第３の処理を行う。
第１の処理では、ＣＰＵ２１は、ユーザによって選択されたシンボルＳＭ−ｉに対応づける検索条件ＳＣ_charを決定する。より具体的は、ＣＰＵ２１は、操作ウィンドウ５１内の各スライダＳＬＤＲ_high，ＳＬＤＲ_mid-high，ＳＬＤＲ_mid-low，ＳＬＤＲ_low，ＳＬＤＲ_disson，ＳＬＤＲ_complex，ＳＬＤＲ_peak-posi，ＳＬＤＲ_peak-valのつまみの位置を各々特徴量に変換し、これらの各特徴量を要素とする特徴量ベクトルＰを検索条件ＳＣ_charとする。

第２の処理では、検索条件ＳＣ_charを構成する特徴量ベクトルＰとのユークリッド距離が最も短い音素材のレコードを音素材データベース２５，２６から検索し、検索したレコードをユーザによって選択されたシンボルＳＭ−ｉが示す音素材の最新の検索結果ＳＲとしてＲＡＭ２２に書き込む。ここで、上述したように、音素材データベース２５における各レコードは特徴量Ｐ_high，Ｐ_mid-high，Ｐ_mid-low，Ｐ_low，Ｐ_disson，Ｐ_complex，Ｐ_peak-posi，Ｐ_peak-valを有しているため、検索条件ＳＣ_charを構成する８次元の特徴量ベクトルＰとのユークリッド距離を求めることができるのに対し、音素材データベース２６における各レコードは特徴量Ｐ_high，Ｐ_mid-high，Ｐ_mid-low，Ｐ_low，Ｐ_disson，Ｐ_complexしか有していないため、検索条件ＳＣ_charを構成する８次元の特徴量ベクトルＰとのユークリッド距離を求めることができない。従って、本実施形態では、ＣＰＵ２１は、特徴量データベース２６における各レコードについては、検索条件ＳＣ_char（後述する検索条件ＳＣgra，ＳＣ_simも同様）を構成する特徴量ベクトルＰを６次元の特徴量ベクトルＰ（つまり、特徴量Ｐ_peak-posi，Ｐ_peak-valを使用しない）として各々との間のユークリッド距離を求める。
第３の処理では、ＣＰＵ２１は、最新の検索結果ＳＲである音素材のサンプル列をインターフェース１１を介してサウンドシステム９０へ出力し、その音素材を同システム９０に発音させる。

ユーザは、低音感の強い音素材（低域の周波数成分の強度が強い音素材）が欲しいときはスライダＳＬＤＲ_lowのつまみをより大きい特徴量Ｐ_lowを示す位置まで移動させ、高音感の強い音素材（高域の周波数成分の強度が強い音素材）が欲しいときはスライダＳＬＤＲ_highのつまみをより大きい特徴量Ｐ_highを示す位置まで移動させる、といったように設定を変えながら特徴量指定検索の実行指示を繰り返し、特徴量指定検索の後にサウンドシステム９０から発音される音素材が所望のものに近いかを確認する。そして、所望の音素材ではないがそれに近い音素材が見つかった場合、ユーザは、次のように、その音素材を用いて類似検索をＣＰＵ２１に実行させることができる。

まず、ユーザは、所望の音素材に近いと感じた音素材のシンボルＳＭ−ｉを選択した上で、キーボード１５における類似検索用のキーを押す。
これによりＣＰＵ２１は、以下に説明する第１、第２、および第３の処理を行う。
第１の処理では、ＣＰＵ２１は、ユーザによって選択されたシンボルＳＭ−ｉに対応づける検索条件ＳＣ_simを決定する。より具体的には、ＣＰＵ２１は、シンボルＳＭ−ｉが示す音素材の最新の検索結果ＳＲとしてＲＡＭ２２に書き込まれているレコードの特徴量Ｐを検索条件ＳＣ_simとする。

第２の処理では、ＣＰＵ２１は、検索条件ＳＣ_simを構成する特徴量ベクトルＰとのユークリッド距離が短い上位８個の音素材のレコードを音素材データベース２５，２６から検索し、それらの８個のレコードをユーザによって選択されたシンボルＳＭ−ｉが示す音素材に近い特徴量ベクトルＰをもった音素材の第１番目〜第８番目の検索結果ＳＲとしてＲＡＭ２２に書き込む。

第３の処理では、ＣＰＵ２１は、図５に示すように、類似検索操作によって選択されたシンボルＳＭ−ｉ（図５の例では、シンボルＳＭ−１）の左上近傍、左近傍、左下近傍、下近傍、右下近傍、右近傍、右上近傍、上近傍の各々の位置に第１番目〜第８番目の検索結果ＳＲである音素材を各々示す８つのシンボルＳＭ−ｉ（図５の例では、シンボルＳＭ−２，ＳＭ−３，ＳＭ−４，ＳＭ−５，ＳＭ−６，ＳＭ−７，ＳＭ−８，ＳＭ−９）を順に表示させる。ここで、図５は、８つのシンボルＳＭ−ｉのうち５つが表示された時点における検索画面を示している。図５において、実線の矩形として示されたシンボルＳＭ−２，ＳＭ−３，ＳＭ−４，ＳＭ−５，ＳＭ−６は既に表示済みのシンボルＳＭ−ｉであり、鎖線の矩形として示されたシンボルＳＭ−７，ＳＭ−８，ＳＭ−９は未表示のシンボルＳＭ−ｉである。そして、矢印線は、その未表示のシンボルＳＭ−７，ＳＭ−８，ＳＭ−９の表示順（シンボルＳＭ−７→シンボルＳＭ−８→シンボルＳＭ−９）を示す。

ユーザは、この類似検索により得られた８つの音素材の中に所望のものが含まれているかを確認する。具体的には、ユーザは、選択したシンボルＳＭ−ｉとその周りに表示された８個のシンボルＳＭ−ｉをマウス１４により１個ずつ指示する。このとき、ＣＰＵ２１は、ユーザがマウス１４により指示したシンボルＳＭ−ｉが示す音素材のレコードをＲＡＭ２２から読み出し、その音素材の音波形のサンプル列をサウンドシステム９０に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、ユーザは、このようにして発音される９つの音素材の中に所望のものが含まれていないが、９つの音素材の中の２つの音素材の間に所望のものがあるかもしれないと感じたとき、グラデーション検索をＣＰＵ２１に実行させる。

図６に示すように、グラデーション検索では、ユーザは、検索操作領域３１内に表示済みのシンボルＳＭ−ｉのうち２つ（図６の例では、シンボルＳＭ−２とシンボルＳＭ−６）を各々の間に適当な距離ｄが空くような位置に移動させた後、各々をグラデーション検索の始点および終点として順に選択し、キーボード１５におけるグラデーション検索用のキーを押す。

検索制御処理において、ＣＰＵ２１は、グラデーション検索が指示された場合、以下に示す第１、第２、および第３の処理を行う。
第１の処理では、ＣＰＵ２１は、ユーザによって始点として選択されたシンボルＳＭ−ｉ（以下、始点シンボルＳＭ−ｉｓ）と終点として選択されたシンボルＳＭ−ｉ（以下、終点シンボルＳＭ−ｉｅ）のセットに基づき検索条件ＳＣgraを決定する。

より具体的に説明すると、ＣＰＵ２１は、始点シンボルＳＭ−ｉｓから終点シンボルＳＭ−ｉｅまでの距離ｄを次式（１）に代入することにより検索数Ｎｕｍを求める。次式（１）において、ｄ_ＳＭは、シンボルＳＭ１つ分の幅である。
Ｎｕｍ＝ｄ／ｄ_ＳＭ…（１）

そして、ＣＰＵ２１は、始点シンボルＳＭ−ｉｓと終点シンボルＳＭ−ｉｅが各々示す音素材を基準音素材とし、特徴量ベクトル空間において、始点シンボルＳＭ−ｉｓが示す音素材の特徴量ベクトルＰと終点シンボルＳＭ−ｉｅが示す音素材の特徴量ベクトルＰとの間をＮｕｍ点内挿補間し、この内挿補間により求まったＮｕｍ点分の各特徴量ベクトルＰ_int−ｈ（ｈ＝１〜Ｎｕｍ：ｈは、始点シンボルＳＭ−ｉｓが示す音素材との特徴量ベクトルＰの近さの順位を示すインデックスである）を各々検索条件ＳＣgraとする。

第２の処理では、ＣＰＵ２１は、検索条件ＳＣgraを構成する特徴量ベクトルＶＰ_int−ｈ（ｈ＝１〜Ｎｕｍ）とのユークリッド距離が短い音素材のレコードを音素材データベース２５，２６から検索し、検索したＮｕｍ個のレコードを始点シンボルＳＭ−ｉｓと終点シンボルＳＭ−ｉｅが各々示す音素材の中間の特徴をもったＮｕｍ個の音素材の検索結果ＳＲとしてＲＡＭ２２に書き込む。

より具体的に説明すると、ＣＰＵ２１は、特徴量ベクトルＰ_int−１とのユークリッド距離が最も短い音素材のレコードを音素材データベース２５，２６から検索し、検索したレコードを第１番目の検索結果ＳＲとしてＲＡＭ２２に書き込む。

次に、ＣＰＵ２１は、特徴量ベクトルＰ_int−２とのユークリッド距離が最も短い音素材のレコードを音素材データベース２５，２６から検索し、検索したレコードが第１番目の検索結果ＳＲをなすレコードと異なる場合には、そのレコードを第２番目の検索結果ＳＲとしてＲＡＭ２２に書き込む。また、ＣＰＵ２１は、特徴量ベクトルＰ_int−２とのユークリッド距離が最も短い音素材のレコードと第１番目の検索結果ＳＲをなすレコードが同じである場合には、ユークリッド距離が次に短い音素材のレコードを音素材データベース２５，２６から再検索し、この再検索したレコードを第２番目の検索結果ＳＲとしてＲＡＭ２２に書き込む。

以下、ＣＰＵ２１は、特徴量ベクトルＰ_int−３，Ｐ_int−４…Ｐ_int−Ｎｕｍについて特徴量ベクトルＰ_int−２の場合と同様の検索を繰り返し、各々の検索によって得られたレコードを第３番目〜第Ｎｕｍ番目の検索結果ＳＲとしてＲＡＭ２２に書き込む。

第３の処理では、ＣＰＵ２１は、図７に示すように、始点シンボルＳＭ−ｉｓ（図７の例では、シンボルＳＭ−２）から終点シンボルＳＭ−ｉｅ（図７の例では、シンボルＳＭ−６）に向かって、第２の処理における第１番目から第Ｎｕｍ番目までの検索結果ＳＲである音素材を示すＮｕｍ個のシンボルＳＭ−ｉ（図７の例では、ＳＭ−１０，ＳＭ−１１，ＳＭ−１２，ＳＭ−１３，ＳＭ−１４，ＳＭ−１５）を順に表示させるともに、第１番目から第Ｎｕｍ番目までの検索結果ＳＲである音素材をサウンドシステム９０に発音させる。

ユーザは、グラデーション検索操作の後にサウンドシステム９０から発音されるＮｕｍ個の音素材のなかに所望のものが含まれているかを確認する。具体的には、ユーザは、Ｎｕｍ個の音素材を示す各シンボルＳＭ−ｉをマウス１４により１個ずつ指示する。このとき、ＣＰＵ２１は、ユーザがマウス１４により指示したシンボルＳＭ−ｉが示す音素材のレコードをＲＡＭ２２から読み出し、その音素材の音波形のサンプル列をサウンドシステム９０に送って音素材を発音させる。ユーザは、このようにして発音される音素材を確認する。そして、それらＮｕｍ個の音素材のなかに所望の音素材が含まれている場合、ユーザは、図８に示すように、検索操作領域３１内に表示済みのシンボルＳＭ−ｉのうちその所望の音素材を示すシンボルＳＭ−ｉ（図８の例では、シンボルＳＭ−１２）を選択し、選択したシンボルＳＭ−ｉを同領域３１における枠５−ｋ（ｋ＝１〜１６）のいずれか（図８の例では枠５−５）に移動させる。

これにより、ＣＰＵ２１は、枠５−ｋに移動されたシンボルＳＭ−ｉが示す音素材の検索結果ＳＲである音素材のサンプル列をその枠５−ｋの識別子とを対応づけてＲＡＭ２２の記憶領域ＡＲに書き込む。記憶領域ＡＲは、曲演奏処理およびリズム演奏処理において用いる音素材のサンプル列を記憶するために確保された記憶領域である。
ユーザは、枠５−ｋ（ｋ＝１〜１６）のすべてがシンボルＳＭ−ｉで埋まるまで、特徴量指定検索、類似検索、グラデーション検索を使い分けながら所望の音素材を探索する。そして、枠５−ｋ（ｋ＝１〜１６）のすべてがシンボルＳＭ−ｉで埋まると素材決定作業を終了し、次の演奏作業に移る。

（２）演奏作業
演奏作業において、ユーザは、マニュアル演奏または自動演奏をＣＰＵ２１に実行させる。
マニュアル演奏では、ユーザは、キーボード１５における各キーのうち枠５−ｋ（ｋ＝１〜１６）の各々と対応する演奏キーｋｅｙ−ｋ（ｋ＝１〜１６）としての役割が割り当てられているものを、音素材を鳴らしたいタイミングに合わせて押す。
曲演奏処理において、ＣＰＵ２１は、演奏キーｋｅｙ−ｋが押される度に、枠５−ｋの識別子と対応づけて記憶領域ＡＲに記憶された音素材のサンプル列をインターフェース１１を介してサウンドシステム９０へ出力し、その音素材を同システム９０から発音させる。

ＣＰＵ２１に自動演奏を実行させる場合、ユーザは、ボタン４１をマウス１４により指示する。ユーザは、ボタン４１を指示する前やその後に、アップダウンコントロールボタン４２によってテンポを変えたりプルダウンメニュー４３によってリズムパターンデータを変えることもできる。

リズム演奏処理において、ＣＰＵ２１は、ユーザが操作部１３の操作により指定したリズムパターンデータをリズムパターンデータベース２７から読み出してＲＡＭ２２に格納し、リズムパターンデータを構成する１６トラック分のトラックデータＴｒａｃｋ−ｋ（ｋ＝１〜１６）を繰り返し再生する。その際、ＣＰＵ２１は、枠５−ｋ（ｋ＝１〜１６）に対応付けられた各音素材を第ｋトラック（ｋ＝１〜１６）のリズム音として使用する。すなわち、ＲＡＭ２２から読み出される各トラックデータＴｒａｃｋ−ｋ（ｋ＝１〜１６）のうち第ｋトラックのトラックデータＴｒａｃｋ−ｋがリズム音のＯＮを指示している場合、枠５−ｋに対応付けられた音素材のサンプル列を記憶領域ＡＲから読み出してサウンドシステム９０に送って発音させる。

また、ユーザは、オーディオファイル書き出し操作を行うこともできる。オーディオファイル書き出し操作では、枠５−ｋ（ｋ＝１〜１６）におけるいずれかの１つまたは複数個の枠５−ｋ内のシンボルＳＭ−ｉを選択し、ボタン４４を選択する。

ＣＰＵ２１は、曲演奏処理では、オーディオファイル書き出し操作が行われた場合、この操作によって選択されたシンボルＳＭ−ｉが示す音素材のサンプル列をWaveform Audio Format（以下、「ＷＡＶフォーマット」）のオーディオファイルに変換し、変換したオーディオファイルをハードディスク２４に記憶する。ハードディスク２４に記憶したオーディオファイルは、種々の態様で利用することができる。たとえば、音素材検索プログラム２８をインストールした他のコンピュータのハードディスクにそのオーディオファイルをコピーし、同コンピュータによる作曲に利用してもよい。また、本発明の出願人らにより提案されたテノリオン（登録商標）と称される演奏装置内のメモリにオーディオファイルをコピーし、コピーしたオーディオファイルをテノリオンによる曲の演奏に利用してもよい。テノリオンの詳細については、非特許文献１を参照されたい。

以上説明した実施形態において、グラデーション検索では、ユーザによって選択された２つのシンボルＳＭ−ｉｓおよびＳＭ−ｉｅが示す音素材の各々の特徴量ベクトルＰを補間した特徴量ベクトルＰを検索条件ＳＣ_graとし、この検索条件ＳＣ_graを用いた検索が実行される。よって、ユーザは、このグラデーション検索を他の特徴量指定検索および類似検索と組み合わせながら音素材の検索作業を行うことにより、音素材データベース２５，２６に収録されている多数の音素材の中から所望の音素材を効率的に探し出すことができる。

以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記実施形態において、ＣＰＵ２１は、検索制御処理では、選択された２つのシンボルＳＭ−ｉｓおよびＳＭ−ｉｅが各々示す音素材の特徴量ベクトルＰを外挿補間した特徴量ベクトルＰを検索条件として音素材を検索し、検索した音素材を示すシンボルＳＭ−ｉを２つのシンボルＳＭ−ｉｓおよびＳＭ−ｉｅの外側に並べて表示させてもよい。

（２）上記実施形態において、検索操作領域３１内に表示されたシンボルＳＭ−ｉのうち３つ以上をグラデーション検索の検索条件として選択できるようにしてもよい。この実施形態では、図９に示すように、検索操作領域３１内に表示済みのシンボルＳＭ−ｉのうち３つ（たとえば、シンボルＳＭ−２１、ＳＭ−２２、ＳＭ−２３）が選択された場合に、特徴量ベクトル空間において、シンボルＳＭ−２１が示す音素材の特徴量ベクトルＰとシンボルＳＭ−２２が示す音素材の特徴量ベクトルＰとの差ベクトルを一辺とし、シンボルＳＭ−２１が示す音素材の特徴量ベクトルＰとシンボルＳＭ−２３が示す音素材の特徴量ベクトルＰとの差ベクトルを他の一辺とする平行四辺形内にマトリックス状に分布する特徴量ベクトルＰを求めるとともに、それらの特徴量ベクトルＰに最も近い特徴量ベクトルＰを持った音素材を検索し、検索結果である各音素材を示すシンボルＳＭ−ｉをマトリックス状に表示させてもよい。

（３）上記（２）の態様を次のように変形してもよい。すなわち、図１０に示すように、検索操作領域３１に表示済みのシンボルＳＭ−ｉのうち３つ（たとえば、シンボルＳＭ−３１、ＳＭ−３２、ＳＭ−３３）が選択された場合に、特徴量ベクトル空間において、シンボルＳＭ−３１、ＳＭ−３２、ＳＭ−３３が示す各音素材の各特徴量ベクトルＰを各々頂点とする三角形内に分布する特徴量ベクトルＰを求めるとともに、それらの特徴量ベクトルＰに最も近い特徴量ベクトルＰを持った音素材を検索し、検索結果である各音素材を示すシンボルＳＭ−ｉを３次元表示させてもよい。

（４）上記実施形態では、音素材間の類似度を示す指標として、音素材の特徴量ベクトル間のユークリッド距離を使用してが、他の類似度の指標を使用して、特徴量指定検索、類似検索、グラデーション検索を行ってもよい。

（５）上記実施形態においてグラデーション検索では、基準音素材を示す２個のシンボルＳＭ−ｉを表示させるとともに、Ｎｕｍ点補間により特徴量ベクトルに類似した特徴量を持ったＮｕｍ個の音素材を示すシンボルＳＭ−ｉの列を２個のシンボルＳＭ−ｉの間に表示させたが、基準音素材を示す２個のシンボルＳＭ−ｉの表示を省略してもよい。

（６）上記実施形態において、検索画面３１における検索操作領域３１を、枠５−ｋ（ｋ＝１〜１６）の各々と対応するｋ（ｋ＝１〜１６）層のレイヤlayer−ｋ（ｋ＝１〜１６）に分け、検索操作領域３１のレイヤlayer−ｋ（ｋ＝１〜１６）における各レイヤlayer−ｋに表示済みのシンボルＳＭ−ｉの中から枠５−ｋを埋めるシンボルＳＭ−ｉを選択するようにしてもよい。

（７）上記実施形態では、ユーザは、素材決定作業において検索操作領域３１内における１６個の枠５−ｋ（ｋ＝１〜１６）のすべてをシンボルＳＭ−ｉにより埋めた上で続く演奏作業に移った。しかし、１６個の枠５−ｋ（ｋ＝１〜１６）の一部をシンボルＳＭ−ｉにより埋めた状態で演奏作業に移り、その一部の枠５−ｋ上のシンボルＳＭ−ｉが示す音素材を用いて演奏を行えるようにしてもよい。

１０…音素材検索装置、１１…インターフェース、９０…サウンドシステム、１３…操作部、１４…マウス、１５…キーボード、１６…表示部、２０…制御部、２１…ＣＰＵ、２２…ＲＡＭ、２３…ＲＯＭ、２４…ハードディスク、２５，２６…音素材データベース、２７…リズムパターンデータベース、２８…音素材検索プログラム。

Claims (4)

1. 各音素材とそれらの音素材の特徴を示す特徴量ベクトルとを対応づけて記憶する記憶手段と、
   操作手段と、
   音素材を示すシンボルを表示する表示手段と、
   前記操作手段の操作により指定された複数の音素材を基準音素材とし、前記複数の基準音素材と各々対応づけて前記記憶手段に記憶された複数の特徴量ベクトル間を補間した１または複数組の各特徴量ベクトルに最も類似した特徴量ベクトルをもった１または複数の音素材を前記記憶手段から検索し、その検索結果である各音素材を示す複数のシンボルを前記表示手段に表示させる制御手段と
   を具備することを特徴とする音素材検索装置。
2. 前記制御手段は、前記操作手段の操作により１つの音素材を示すシンボルが選択された場合に、選択されたシンボルが示す音素材と対応づけて前記記憶手段に記憶された特徴量ベクトルに類似した特徴量ベクトルをもった音素材を前記記憶手段から上位所定個数だけ検索し、その検索結果である上位所定個数の音素材を示すシンボルを前記選択されたシンボルの近傍に表示させることを特徴とする請求項１に記載の音素材検索装置。
3. 前記制御手段は、前記操作手段の操作に応じて２個の基準音素材を選択し、前記検索結果である各音素材を示すシンボルを一方の基準音素材の特徴量ベクトルに近い順に序列化して前記表示手段に表示させることを特徴とする請求項１または２に記載の音素材検索装置。
4. 前記制御手段は、前記操作手段の操作に応じて２個の基準音素材を示す２個のシンボルを前記表示手段に表示させ、前記表示手段の表示画面内における前記２個の基準音素材を示す２個のシンボル間の距離に応じて、前記記憶手段から検索する音素材の数を決定することを特徴とする請求項１〜３のいずれか１の請求項に記載の音素材検索装置。
   

Images