JP2009025402A - 楽曲加工装置およびプログラム - Google Patents

Abstract

【課題】複数の楽曲から自然な楽曲を編成する。
【解決手段】記憶装置２０は、楽曲の各素片Ｓの楽音データＡと各素片Ｓの特徴量Ｆとを複数の楽曲について記憶する。類否指標算定部１１は、主楽曲の各主素片Ｓmについて、主素片Ｓm以外の各副素片Ｓsとの特徴量Ｆの類否指標値Ｒを算定する。選択部１７は、各主素片Ｓmについて、当該主素片Ｓmとの類否指標値Ｒが類似を示す副素片Ｓsを選択する。加工部１８は、主素片Ｓmの楽音データＡを、選択部１７が主素片Ｓmについて選択した副素片Ｓsの楽音データＡに基づいて加工する。表示制御部１６は、各素片Ｓに対応する複数の単位図柄ＵAを配列した素片列ＱAを楽曲毎に表示装置５０に表示させる一方、選択主素片Ｓmの単位図柄ＵAと、当該選択主素片Ｓmについて選択部１７が選択した副素片Ｓsの単位図柄ＵAとを、他の単位図柄ＵAとは別の態様で表示させる。
【選択図】図１

Description

本発明は、楽曲を加工する技術に関する。

例えばディスクジョッキ（ＤＪ）は、複数の楽曲を途切れなく連結しながら次々に再生する。特許文献１には、このような再生を実現する技術が開示されている。同文献の技術においては、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで、複数の楽曲を円滑に連結することが可能となる。
特開２００３−１０８１３２号公報

ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献１の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明の第１の態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否の指標となる類否指標値を算定する類否指標算定手段と、主楽曲の各主素片について、当該主素片との類否指標値が類似を示す副素片を選択する選択手段と、主楽曲の各主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、各素片に対応する複数の単位図柄を配列した素片列を楽曲毎に表示装置に表示させる一方、主楽曲から順次に選択される一の主素片の単位図柄と、当該一の主素片について選択手段が選択した副素片の単位図柄とを、他の単位図柄とは異なる態様（サイズや表示色（色相，明度，彩度）や形状）で表示させる表示制御手段とを具備する。以上の構成においては、主素片との類似指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性について認識していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能となる。また、主素片の単位図柄と選択手段の選択した副素片の単位図柄とが他の単位図柄から区別される態様で表示されるから、主素片と主素片に類似する副素片とを利用者が容易に把握できるという利点がある。なお、第１の態様のもとで表示装置に表示される画像は例えば図４に例示される。

本発明の好適な態様において、素片は、楽曲の拍に同期した時点で楽曲を区分した区間である。例えば、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間（例えば1/2拍や1/4拍に相当する時間長の区間）が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽曲を生成することができる。

本発明の好適な態様において、表示制御手段は、非選択の各副素片の単位図柄を、類否指標算定手段が一の主素片と当該副素片とについて算定した類否指標値に応じた態様（サイズや表示色（色相，明度，彩度）や形状）で表示する。本態様によれば、主素片と各副素片との類否の程度を利用者が容易に把握できるという利点がある。

本発明の第２の態様に係る楽曲加工装置は、第１の態様の表示制御手段に代えて、各素片に対応する複数の単位図柄を配列した楽曲毎の素片列と、各素片列のうち選択手段が選択した各副素片の単位図柄を配列した加工素片列とを表示装置に表示させる表示制御手段を具備する。第２の態様によれば、複数の楽曲から違和感のない楽曲が生成されるという第１の態様と同様の効果が得られる。また、選択手段の選択した各副素片の単位図柄を配列した加工素片列が表示装置に表示されるから、主素片に類似する副素片を利用者が容易に把握できるという利点がある。なお、第２の態様のもとで表示装置に表示される画像は例えば図６に例示される。

以上の各態様において、各素片の単位図柄が当該素片の楽音の波形図を含む構成も好適である。本態様によれば、主素片と副素片との波形の類似度を利用者が視覚的に確認できるという利点がある。また、別の態様において、加工手段は、主楽曲の複数の素片のうち特定の主素片を加工の対象から除外し、表示制御手段は、特定の主素片の単位図柄と主楽曲の他の単位図柄とを異なる態様（サイズや表示色（色相，明度，彩度）や形状）で表示させる。以上の態様によれば、主楽曲の特定の素片（加工禁止素片）が加工の対象から除外されるから、充分な確度で主楽曲の曲調を維持することが可能となる。なお、加工手段による加工の対象から除外される素片は、例えば入力装置に対する入力に応じて指定されてもよいし、主楽曲の各素片の特性に応じて指定されてもよい。

本発明の好適な態様において、類否指標算定手段は、複数の楽曲から選択された主楽曲の各主素片について各副素片との特徴量の類否の指標となる基礎指標値を算定する類否特定手段と、入力装置に対する入力に応じて楽曲毎に係数を設定する係数設定手段と、各楽曲の副素片について算定された基礎指標値を、係数設定手段が当該楽曲について設定した係数に応じて調整することで類否指標値を算定する調整手段とを含む。本態様によれば、係数設定手段が設定する係数に応じて類否指標値が楽曲毎に調整されるから、各楽曲の副素片が主楽曲の加工に使用される頻度は入力装置に対する入力に応じて増減する。したがって、利用者の意図に合致した多様な楽曲を編成することが可能となる。

本発明は、楽曲を加工する方法としても特定される。本発明の第１の態様に係る楽曲加工方法は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を利用して、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否の指標となる類否指標値を算定する類否指標算定過程と、主楽曲の各主素片について、当該主素片との類否指標値が類似を示す副素片を選択する選択過程と、主楽曲の各主素片の楽音データを、選択過程にて当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工過程と、各素片に対応する複数の単位図柄を配列した素片列を楽曲毎に表示装置に表示させる一方、主楽曲から順次に選択される一の主素片の単位図柄と、当該一の主素片について選択過程にて選択した副素片の単位図柄とを、他の単位図柄とは異なる態様で表示させる表示制御過程とを含む。また、第２の態様に係る楽曲加工方法は、表示制御過程において、各素片に対応する複数の単位図柄を配列した楽曲毎の素片列と、各素片列のうち選択手段が選択した各副素片の単位図柄を配列した加工素片列とを表示装置に表示させる。以上の方法によれば、本発明に係る楽曲加工装置と同様の作用および効果が奏される。

本発明に係る楽曲加工装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明の第１の態様に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否の指標となる類否指標値を算定する類否指標算定処理と、主楽曲の各主素片について、当該主素片との類否指標値が類似を示す副素片を選択する選択処理と、主楽曲の各主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、各素片に対応する複数の単位図柄を配列した素片列を楽曲毎に表示装置に表示させる一方、主楽曲から順次に選択される一の主素片の単位図柄と、当該一の主素片について選択処理で選択した副素片の単位図柄とを、他の単位図柄とは異なる態様で表示させる表示制御処理とを実行させる。また、第２の態様に係るプログラムは、各素片に対応する複数の単位図柄を配列した楽曲毎の素片列と、各素片列のうち選択処理で選択した各副素片の単位図柄を配列した加工素片列とを表示装置に表示させる処理を表示制御処理として実行させる。以上のプログラムによっても、本発明に係る楽曲加工装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明のひとつの形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置１００は、複数の楽曲を利用してひとつの楽曲（以下「主楽曲」という）を加工する装置である。図１に示すように、楽曲加工装置１００は、制御装置１０と記憶装置２０と放音装置３０と入力装置４０と表示装置５０とを具備するコンピュータシステム（例えばパーソナルコンピュータ）によって実現される。

制御装置１０は、プログラムの実行によって楽曲加工装置１００の各部を制御する演算処理装置（ＣＰＵ）である。記憶装置２０は、制御装置１０が実行するプログラムや制御装置１０が処理する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置が記憶装置２０として好適に採用される。図１に示すように、記憶装置２０は、複数の楽曲の各々について楽曲データを記憶する。

図２は、楽曲の構成を示す概念図である。ひとつの楽曲は多数の小節に区分される。図２に示すように、楽曲には、複数の小節で構成される区間（以下「ループ」という）が画定される。ループは、例えば楽曲の特徴的な部分（例えばいわゆるサビの部分）であり、入力装置４０に対する操作によって利用者が楽曲中に始点および終点を指定することで画定される。ただし、楽曲のうち所定の条件を満たす区間を制御装置１０がループとして自動的に特定する構成も採用される。なお、楽曲の全部をひとつのループとしてもよい。

図２に示すように、各小節はひとつまたは複数の拍（ビート）を単位として複数の区間（以下「素片」という）Ｓに区分される。本形態における素片Ｓはひとつの拍に相当する区間である。したがって、例えば２拍子の楽曲であればひとつの小節を２等分した各区間が素片Ｓに相当し、３拍子の楽曲であればひとつの小節を３等分した各区間が素片Ｓに相当する。なお、素片Ｓは、ひとつの拍を複数に区分した区間（すなわち1/2拍や1/4拍に相当する区間）であってもよい。

図１に示すように、ひとつの楽曲の楽曲データは、当該楽曲のループに属する複数の素片Ｓの各々について、当該素片Ｓに属する楽音の波形を表わす楽音データＡと、当該素片Ｓの音楽的な性質を特徴付ける数値（以下「特徴量」という）Ｆとを含む。特徴量Ｆは、楽音のエネルギ（強度），振幅スペクトルのセントロイド，スペクトルの強度が最大となる周波数，ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）などＮ個（Ｎは自然数）の数値で定義されるＮ次元ベクトルとして表現される。

入力装置４０は、利用者が楽曲加工装置１００に対する指示を入力する機器（例えばマウスやキーボード）である。例えば、利用者は、入力装置４０を適宜に操作することで、記憶装置２０に楽曲データが記憶された複数の楽曲から楽曲加工装置１００による処理の対象となるＭ個の楽曲（以下「対象楽曲」という）を指定するとともに（Ｍは２以上の整数）、Ｍ個の対象楽曲からひとつの主楽曲を指定することが可能である。表示装置５０は、制御装置１０による制御のもとに各種の画像を表示する。

制御装置１０は、Ｍ個の対象楽曲から選択された主楽曲の複数の素片Ｓの各々（以下「主素片Ｓm」という）の楽音データＡを、Ｍ個の対象楽曲における当該主素片Ｓm以外の総ての素片（以下「副素片Ｓs」という）のうち特徴量Ｆが主素片Ｓmに類似するひとつまたは複数の副素片Ｓsの楽音データＡに基づいて加工したうえで順次に出力する。放音装置３０は、制御装置１０から出力される楽音データＡに基づいて放音する。例えば、放音装置３０は、各楽音データＡからアナログの信号を生成するＤ／Ａ変換器と、Ｄ／Ａ変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器（スピーカやヘッドホン）とを含む。

次に、制御装置１０の具体的な機能について説明する。図１に示すように、制御装置１０は、記憶装置２０に格納されたプログラムを実行することで複数の要素（類否指標算定部１１，表示制御部１６，選択部１７，加工部１８）として機能する。なお、図１の制御装置１０の各要素は、楽音の処理に専用されるＤＳＰなどの電子回路によっても実現される。また、制御装置１０は、複数の集積回路に分散して実装されてもよい。

表示制御部１６は、表示装置５０に各種の画像を表示させる手段である。本形態の表示制御部１６は、図３の操作画面５２や図４の状態画面５４を、楽曲加工装置１００の作動中に継続的に表示装置５０に表示させる。

図１の類否指標算定部１１は、主楽曲の各主素片Ｓmについて、各副素片Ｓsとの特徴量Ｆの類否の程度を示す数値（以下「類否指標値」という）Ｒを副素片Ｓs毎に算定する手段である。本形態の類否指標算定部１１は、類否特定部１２と係数設定部１３と調整部１４とで構成される。

類否特定部１２は、類否指標値Ｒの基礎となる数値（以下「基礎指標値」という）Ｒ0を算定する。基礎指標値Ｒ0は、類否指標値Ｒと同様に、主素片Ｓmと副素片Ｓsとの特徴量Ｆの類否の指標となる数値である。さらに詳述すると、類否特定部１２は、各主素片Ｓmの特徴量Ｆを順次に記憶装置２０から取得し、ひとつの主素片Ｓmの特徴量ＦとＭ個の対象楽曲における各副素片Ｓsの特徴量Ｆとに応じた基礎指標値Ｒ0を副素片Ｓs毎に算定する。主素片Ｓmと副素片Ｓsとの基礎指標値Ｒ0は、例えば、特徴量ＦのＮ個の数値を座標値として主素片Ｓmおよび副素片Ｓsの各々についてＮ次元空間に特定される各座標のユークリッド距離の逆数として算定される。したがって、主素片Ｓmと副素片Ｓsとは、両者の基礎指標値Ｒ0が大きいほど音楽的な特徴が類似する。

係数設定部１３は、Ｍ個の対象楽曲の各々について係数Ｋを設定する。本形態の係数設定部１３は、図３の操作画面５２に対する指示に応じて対象楽曲毎に個別に係数Ｋを制御する。操作画面５２は、利用者が選択したＭ個の対象楽曲の名称（Name）と、Ｍ個の対象楽曲の各々に対応するＭ個の操作子（スライダ）７１の画像とを含む。利用者は、入力装置４０を適宜に操作することで各操作子７１を上下に移動させることができる。係数設定部１３は、Ｍ個の対象楽曲の各々について、当該対象楽曲に対応する操作子７１の位置に応じた係数Ｋを設定する。例えば、係数Ｋは、操作子７１が下端にある場合にゼロに設定され、操作子７１が上端に接近するほど増加する。

図１の調整部１４は、類否特定部１２が算定した基礎指標値Ｒ0を係数Ｋに応じて対象楽曲毎に調整することで類否指標値Ｒを算定する。さらに詳述すると、調整部１４は、ひとつの対象楽曲の各副素片Ｓsについて算定された基礎指標値Ｒ0と、係数設定部１３が当該対象楽曲について設定した係数Ｋとの乗算値を類否指標値Ｒとして算定する。

選択部１７は、主楽曲の各素片Ｓmについて、当該主素片Ｓmとの類否指標値Ｒに応じた複数の副素片Ｓsを選択する。加工部１８は、主楽曲の各主素片Ｓmの楽音データＡを、選択部１７が当該主素片Ｓmについて選択した所定個の副素片Ｓsの楽音データＡに置換したうえで順次に出力する。なお、選択部１７や加工部１８の動作の詳細は後述する。

図５は、制御装置１０の動作を説明するためのフローチャートである。図５の処理は、主楽曲の再生の開始を指示する操作が入力装置４０に付与されるたびに実行される。係数設定部１３は、操作画面５２の各操作子７１が操作されるたびに図５の処理に並行して各対象楽曲の係数Ｋを更新する。

図５の処理を開始すると、表示制御部１６は、状態画面５４を作成して表示装置５０に表示させる（ステップＳ1）。図４に示すように、状態画面５４は、各対象楽曲に対応するＭ個（本形態では８個）の素片列ＱAを含む。ひとつの対象楽曲の素片列ＱAは、当該楽曲内の各素片Ｓに対応した複数の矩形状の図柄（以下「単位図柄」という）ＵAを横方向に配列した画像である。各素片列ＱAの左側には楽曲名が表示され、利用者が主楽曲として選択した対象楽曲（図４では「楽曲４」）の素片列ＱAの近傍にはさらに、主楽曲であることを意味する符号（"Ｍ"（Master）の文字）が配置される。各素片Ｓの単位図柄ＵAの横幅Ｗは当該素片Ｓの時間長に応じた寸法に調整される。したがって、各単位図柄ＵAの横幅Ｗは対象楽曲毎に相違する。

利用者は、入力装置４０を適宜に操作（例えば何れかの単位図柄ＵAをクリックする操作）して主楽曲の何れかの単位図柄ＵAを指定することで、当該単位図柄ＵAに対応する主素片Ｓmを、加工部１８による加工の対象から除外すべき素片Ｓ（以下「加工禁止素片」という）として選択することができる。利用者が加工禁止素片を指定するたびに、表示制御部１６は、加工禁止素片の単位図柄ＵAを主楽曲の他の単位図柄ＵAとは異なる態様で表示させる。例えば、表示制御部１６は、図４に示すように、主楽曲のうち加工禁止素片に指定された単位図柄ＵAのみに白色の符号「Ｘ」を付加する。

図５のステップＳ1に続いて、制御装置１０は、主楽曲に含まれるひとつの主素片Ｓmを選択する（ステップＳ2）。図５の処理を開始した直後には主楽曲のループの先頭に位置する主素片Ｓmが選択される。次いで、制御装置１０は、ステップＳ1で選択した主素片Ｓm（以下では特に「選択主素片Ｓm」という）が加工禁止素片に指定されているか否かを判定する（ステップＳ3）。ステップＳ3の結果が肯定である場合、制御装置１０は、ステップＳ4からステップＳ6を経ずに処理をステップＳ11に移行する。

一方、ステップＳ3の結果が否定である場合、類否指標算定部１１は、選択主素片Ｓmと複数の副素片Ｓsの各々との類否指標値Ｒを係数Ｋに応じて算定する（ステップＳ4）。副素片Ｓsには、主楽曲以外の対象楽曲の各素片Ｓのほかに、主楽曲のうち選択主素片Ｓm以外の各素片Ｓも含まれる。

次いで、選択部１７は、ステップＳ4で副素片Ｓs毎に算定された類否指標値Ｒが所定の条件を満たす所定個の副素片Ｓsを選択する（ステップＳ5）。本形態の選択部１７は、類否指標値Ｒが大きい順番（選択主素片Ｓmに類似する順番）に複数の副素片Ｓsを選択する。

加工部１８は、選択部１７がステップＳ5で選択した複数の副素片Ｓsの類否指標値Ｒのなかの最小値Ｒminが閾値ＴＨを上回るか否かを判定する（ステップＳ6）。ステップＳ6の結果が肯定である場合（すなわち、選択部１７の選択した総ての副素片Ｓsが充分に選択主素片Ｓmに類似する場合）、加工部１８は、選択部１７が選択した複数の副素片Ｓsの各々の楽音データＡを記憶装置２０から取得する（ステップＳ7）。さらに、加工部１８は、ステップＳ7で取得した各楽音データＡを、選択主素片Ｓmと略同等の時間長となるように加工する（ステップＳ8）。ステップＳ8においては、例えば、楽音の音高を変化させずにテンポを調整する公知の技術を採用することで、副素片Ｓsの元来の音高を維持しながら時間長を選択主素片Ｓmに合致させることが可能である。そして、加工部１８は、ステップＳ8で加工した各副素片Ｓsの楽音データＡを加算したうえで放音装置３０に出力する（ステップＳ9）。したがって、選択主素片Ｓmの楽音に代えて、当該選択主素片Ｓmに類似する他の素片Ｓの楽音が放音装置３０から再生される。

次いで、表示制御部１６は、以上の処理の結果が反映されるように状態画面５４の内容を更新する（ステップＳ10）。すなわち、表示制御部１６は、状態画面５４の主楽曲の素片列ＱAのうち現段階の選択主素片Ｓmに対応した単位図柄ＵAと、選択部１７が直前のステップＳ5にて選択した各副素片Ｓsの単位図柄ＵAとを、他の単位図柄とは異なる態様で強調して表示させる。さらに詳述すると、表示制御部１６は、図４に示すように、選択主素片Ｓmに対応した単位図柄ＵAに白色の枠線ＦAを付加する。また、表示制御部１６は、ステップＳ5にて選択された各副素片Ｓsの単位図柄ＵAを他の単位図柄ＵAとは異なる色で表示するとともに、選択部１７が選択した副素片Ｓsであることを示す符号（"Ｓ"の文字）を配置する。

また、ステップＳ10において、表示制御部１６は、ステップＳ5で選択されなかった各副素片Ｓsの単位図柄ＵAを、選択主素片Ｓmと当該副素片Ｓsとについて算定した類否指標値Ｒに応じた態様で表示する。例えば、図４に示すように、表示制御部１６は、類否指標値Ｒが大きい副素片Ｓsの単位図柄ＵAほど高階調（明るい色）で表示されるように表示装置５０を制御する。

一方、ステップＳ6の結果が否定である場合（すなわち、選択主素片Ｓmに充分には類似しない副素片Ｓsが選択部１７による選択の対象に含まれる場合）、加工部１８は、選択主素片Ｓmの楽音データＡを記憶装置２０から取得して放音装置３０に出力する（ステップＳ11）。したがって、選択主素片Ｓmの未加工の楽音が放音装置３０から再生される。ステップＳ3の結果が肯定である場合にもステップＳ11の処理が実行されるから、選択主素片Ｓmについては主素片の楽音が再生される。

ステップＳ11に続いて、表示制御部１６は、状態画面５４の内容を更新する（ステップＳ12）。すなわち、表示制御部１６は、現段階の選択主素片Ｓmに対応した単位図柄ＵAを他の単位図柄とは異なる態様（白色の枠線ＦAの付加）で強調して表示させる。一方、今回の選択主素片Ｓmについて副素片Ｓsに応じた加工は実行されていないから、選択部１７が選択した各副素片Ｓsの単位図柄ＵAの表示を変更する動作や、非選択の副素片Ｓsの単位図柄ＵAについて表示の態様を類否指標値Ｒに応じて変更する動作は実行しない。

ステップＳ10またはステップＳ12を実行すると、制御装置１０は、楽曲の再生の終了を指示する操作が入力装置４０に付与されたか否かを判定する（ステップＳ13）。ステップＳ13の結果が肯定である場合、制御装置１０は図５の処理を終了する。一方、再生の終了が指示されていない場合（ステップＳ13：NO）、主楽曲のうち現段階の選択主素片Ｓmの直後の素片Ｓが新たな選択主素片Ｓmとして選択されたうえで（ステップＳ2）、ステップＳ3以後の処理が実行される。したがって、状態画面５４の内容は、加工部１８による加工後の楽音の再生に並行して、ステップＳ2からステップＳ12の処理のたびに順次に更新される。なお、ステップＳ2の直前における選択主素片Ｓmがループの最後の主素片Ｓmである場合、制御装置１０は、ループの先頭の素片ＳmをステップＳ2にて新たな選択主素片Ｓmとして選択する。すなわち、部分的に他の素片Ｓに置換された主楽曲のループが反復的に再生される。

以上に説明したように、主楽曲の各主素片Ｓmの楽音データＡは、音楽的な特徴が当該主素片Ｓmに類似する副素片Ｓsに応じて加工（置換）される。したがって、利用者が各対象楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲が拍単位で素片Ｓに区分されるとともに、選択部１７の選択した副素片Ｓsが主素片Ｓmの時間長に調整（ステップＳ8）されたうえで主素片Ｓmの加工に使用されるから、主楽曲のリズム感が損なわれることもない。

また、選択部１７による選択の指標となる類否指標値Ｒは係数Ｋに応じて制御されるから、係数Ｋが大きい数値に設定された対象楽曲の副素片Ｓsほど、選択部１７によって選択される可能性（頻度）が高くなる。すなわち、入力装置４０の操作によって特定の対象楽曲の係数Ｋを増減させることで、主素片Ｓmが当該対象楽曲の副素片Ｓsに置換される頻度が増減する。したがって、係数Ｋが固定された構成（あるいは類否特定部１２の算定した基礎指標値Ｒ0がそのまま選択部１７に出力される構成）と比較して、利用者の好みに応じた多様な楽曲を編成することが可能である。しかも、本形態においてはスライダを模した操作子７１の移動によって各対象楽曲の係数Ｋが調整されるから、優先的に出力される対象楽曲を利用者が直感的に把握できるという利点もある。

さらに、状態画面５４を視認することで制御装置１０による処理の内容を随時に確認することが可能である。例えば、選択主素片Ｓmの単位図柄ＵAが他の単位図柄ＵAとは異なる態様で表示されるから、利用者は、現時点での再生点が主楽曲の何れの素片Ｓに対応しているのか（現段階での選択主素片Ｓm）を認識することができる。また、選択部１７の選択した副素片Ｓsの単位図柄ＵAが他の副素片Ｓsとは異なる態様で表示されるから、利用者は、選択主素片Ｓmの加工に使用されている副素片Ｓsやこれを含む対象楽曲を容易に認識することができる。選択主素片Ｓmと各副素片Ｓsとの類似度（あるいは主楽曲と他の対象楽曲との類似度）を各単位図柄ＵAの階調に応じて認識することも可能である。

また、主楽曲のうち利用者が加工禁止素片として指定した素片Ｓは加工部１８による加工の対象から除外されるから、例えば主楽曲のうち利用者の好みの楽音に対応した素片Ｓを加工禁止素片に指定することで当該楽音を未加工のまま再生することができる。さらに、加工禁止素片に対応する単位図柄ＵAは他の単位図柄ＵAとは異なる態様で表示されるから、主楽曲のうち加工禁止素片に指定した素片Ｓを利用者が容易に確認できるという利点もある。

＜Ｂ：第２実施形態＞
次に、本形態の第２実施形態について説明する。なお、本形態においては機能や作用が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図６は、表示制御部１６が表示装置５０に表示させる状態画面５６の内容を示す模式図である。図５のステップＳ1において、表示制御部１６は、各対象楽曲に対応するＭ個（図６では４個）の素片列ＱBが配置された状態画面５６を表示装置５０に表示させる。ひとつの対象楽曲に対応する素片列ＱBは、当該楽曲の各素片Ｓに対応した複数の単位図柄ＵBを横方向に配列した画像である。各素片列ＱBの近傍には、図４の状態画面５４と同様に、楽曲名や主楽曲の表示（"Ｍ"(Master)の文字）が配置される。

各単位図柄ＵBのサイズは共通である。したがって、各対象楽曲の単位図柄ＵBは縦横に行列状に配列する。一方、各単位図柄ＵBの色彩は対象楽曲毎に相違する。したがって、利用者は、各単位図柄ＵBが何れの対象楽曲に対応するのかを直感的に把握することが可能である。各素片Ｓに対応する単位図柄ＵBは、当該素片Ｓの楽音の波形図ｗと、ひとつの対象楽曲内の各素片Ｓに対して固有に付与された識別符号ｎとを含む。また、表示制御部１６は、主楽曲のうち加工禁止素片に指定された素片Ｓの単位図柄ＵBに枠線ＦBを付加する。

本形態の選択部１７は、選択主素片Ｓmとの類否指標値Ｒが最大となるひとつの副素片Ｓsを選択する（図５のステップＳ5）。図５のステップＳ10において、表示制御部１６は、各素片列ＱBを構成する複数の単位図柄ＵBのうち選択部１７が選択した副素片Ｓsに対応した単位図柄ＵBと同じ態様の単位図柄ＵCを、主楽曲のうち選択主素片Ｓmの単位図柄ＵBの下方に加工素片列ＱCとして配置する。例えば、主楽曲（楽曲１）のうち識別符号ｎが「001」である素片Ｓと「楽曲３」のうち識別符号ｎが「003」である副素片Ｓsとが類似する場合、表示制御部１６は、図６に示すように、当該副素片Ｓsの単位素片ＵBと同じ単位素片ＵCを、主楽曲における識別符号ｎ「001」の単位図柄ＵBの下方に加工素片列ＱCとして配置する。

また、図５のステップＳ12において、表示制御部１６は、主楽曲の素片列ＱBのうち選択主素片Ｓmに対応した単位図柄ＵBと同じ態様の単位図柄ＵCを当該単位図柄ＵBの下方に配置する。例えば主楽曲のうち識別符号ｎが「003」である素片Ｓが加工禁止素片に指定された場合、表示制御部１６は、図４に示すように、当該素片の単位図柄ＵBと同じ単位図柄ＵCを加工素片列ＱCとして配置する。すなわち、再生の対象となる素片Ｓに対応した単位図柄ＵCが、ステップＳ10またはステップＳ12の実行のたびに順次に配列されることで加工素片列ＱCが形成される。

以上に説明したように、本形態においては、放音装置３０によって再生される楽曲の各素片Ｓ（単位図柄ＵC）が何れの対象楽曲における何れの素片Ｓであるのかを直感的に把握することが可能である。しかも、各単位図柄ＵBおよび各単位図柄ＵCは楽音の波形図ｗを含むから、主素片Ｓmと副楽曲Ｓsとの波形の類似度を視覚的に確認できるという利点もある。

＜Ｃ：変形例＞
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
第１実施形態と第２実施形態とを適宜に組合わせてもよい。例えば、第１実施形態の状態画面５４（図４）における各素片Ｓの単位図柄ＵAに、第２実施形態と同様に、当該素片Ｓの楽音の波形図ｗや識別符号ｎを配置してもよい。また、第２実施形態の状態画面５６における主楽曲のうち選択主素片Ｓmに対応する単位図柄ＵBを、主楽曲の他の素片Ｓとは異なる態様（例えば図４のように枠線ＦAを付加した態様）で表示してもよい。

（２）変形例２
状態画面（５４，５６）の態様は適宜に変更される。例えば、第１実施形態において選択主素片Ｓmの単位図柄ＵAを他の単位図柄ＵAと区別して表示する方法としては、選択主素片Ｓmの単位図柄ＵAを他の単位図柄ＵAとは異なるサイズや色や形状で表示する構成や、矢印などの記号を選択主素片Ｓmの単位図柄ＵAの近傍に表示する構成が採用される。選択部１７が選択した副素片Ｓsの単位図柄ＵAや加工禁止素片の単位図柄ＵAについても同様であり、当該単位図柄ＵAを、他の単位図柄ＵAとは異なるサイズや色や形状で表示する構成や特定の記号で指し示す構成が採用される。また、第２実施形態においては、各単位図柄ＵBの色と識別符号ｎとの組合せで各単位図柄ＵBが識別される構成を例示したが、Ｍ個の対象楽曲の総ての単位図柄ＵBについて固有の識別符号ｎが付与される構成においては、各単位図柄ＵBの色を対象楽曲毎に相違させる必要はない。ただし、図６のように対象楽曲毎に単位図柄ＵBを別色で表示する構成によれば、主楽曲の加工に使用した副素片Ｓsが何れの対象楽曲の素片Ｓであるのかをひと目で把握できるという利点がある。

（３）変形例３
以上の各形態においては、各副素片Ｓsの類否指標値Ｒの最小値Ｒminが閾値ＴＨを下回る場合には選択主素片Ｓmの楽音データＡを放音装置３０に出力したが（図５のステップＳ6およびステップＳ11）、各副素片Ｓsの類否指標値Ｒと閾値ＴＨとを比較し、類否指標値Ｒが閾値ＴＨを上回る副素片Ｓsのみを主楽曲の加工に使用するといった構成も採用される。また、ステップＳ6の判定とステップＳ11およびステップＳ12の処理とを省略してもよい。すなわち、加工部１８は、選択主素片Ｓmの楽音データＡを副素片Ｓsに基づいて必ず加工する（したがって再生される素片Ｓに主楽曲の素片は残らない）。さらに、第１実施形態においてステップＳ6の結果が否定である場合に、選択部１７が選択した各副素片Ｓsの単位図柄ＵAを他の単位図柄ＵAとは異なる態様で表示してもよい。

（４）変形例４
以上の各形態においては、主楽曲のうち選択主素片Ｓm以外の素片Ｓを副素片Ｓsとして選択部１７による選択の候補としたが、Ｍ個の対象楽曲のうち主楽曲を除外した(Ｍ−１)個の対象楽曲の各素片Ｓのみを副素片Ｓsとする構成も好適である。同じ楽曲中の各素片Ｓは音響的な特徴が類似する場合が多いから、第１実施形態の構成においては、主素片Ｓmに類似する副素片Ｓsとして主楽曲中の素片Ｓが選択される可能性が高い。一方、選択部１７による選択の対象から主楽曲の素片Ｓを除外する構成によれば、主楽曲以外の対象楽曲の素片Ｓを利用して多様な楽曲を生成することが可能となる。

（５）変形例５
以上の各形態においては主素片Ｓmを副素片Ｓsに置換する構成を例示したが、副素片Ｓsに基づいて主素片Ｓmを加工する方法は楽音データＡの置換に限定されない。例えば、主素片Ｓmの楽音データＡと所定個の副素片Ｓsの楽音データＡとを所定の比率で混合して出力してもよい。もっとも、以上の各形態のように主素片Ｓmを副素片Ｓsに単純に置換する構成によれば、制御装置１０による処理の負荷が軽減されるという利点がある。

（６）変形例６
主素片Ｓmの特徴量Ｆと副素片Ｓsの特徴量Ｆとから類否指標値Ｒを算定する方法は任意である。例えば、以上においては主素片Ｓmと副素片Ｓsとの類似度が高いほど増加する類否指標値Ｒを例示したが、類否指標値Ｒは主素片Ｓmと副素片Ｓsとの類似度が高いほど減少する数値（例えば特徴量Ｆ間の距離）であってもよい。

本発明の第１実施形態に係る楽曲加工装置の構成を示すブロック図である。 楽曲の素片について説明するための概念図である。 操作画面の内容を示す模式図である。 状態画面の内容を示す模式図である。 制御装置による処理の内容を示すフローチャートである。 本発明の第２実施形態における状態画面の内容を示す模式図である。

符号の説明

１００……楽曲加工装置、１０……制御装置、１１……類否指標算定部、１２……類否特定部、１３……係数設定部、１４……調整部、１６……表示制御部、１７……選択部、１８……加工部、２０……記憶装置、３０……放音装置、４０……入力装置、５０……表示装置、５２……操作画面、５４，５６……状態画面、Ｓ……素片、Ｓm……主素片、Ｓs……副素片、Ａ……楽音データ、Ｆ……特徴量、Ｒ0……基礎指標値、Ｒ……類否指標値、ＵA，ＵB，ＵC……単位図柄、ＱA，ＱB……素片列、ＱC……加工素片列。

Claims (7)

1. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
   前記複数の楽曲から選択された主楽曲の各素片（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否の指標となる類否指標値を算定する類否指標算定手段と、
   前記主楽曲の前記各主素片について、当該主素片との前記類否指標値が類似を示す副素片を選択する選択手段と、
   前記主楽曲の各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、
   前記各素片に対応する複数の単位図柄を配列した素片列を楽曲毎に表示装置に表示させる一方、前記主楽曲から順次に選択される一の主素片の単位図柄と、当該一の主素片について前記選択手段が選択した副素片の単位図柄とを、他の単位図柄とは異なる態様で表示させる表示制御手段と
   を具備する楽曲加工装置。
2. 前記表示制御手段は、非選択の各副素片の単位図柄を、前記類否指標算定手段が前記一の主素片と当該副素片とについて算定した類否指標値に応じた態様で表示する
   請求項１の楽曲加工装置。
3. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
   前記複数の楽曲から選択された主楽曲の各素片（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否の指標となる類否指標値を算定する類否指標算定手段と、
   前記主楽曲の前記各主素片について、当該主素片との前記類否指標値が類似を示す副素片を選択する選択手段と、
   前記主楽曲の各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工手段と、
   前記各素片に対応する複数の単位図柄を配列した楽曲毎の素片列と、前記各素片列のうち前記選択手段が選択した各副素片の単位図柄を配列した加工素片列とを前記表示装置に表示させる表示制御手段と
   を具備する楽曲加工装置。
4. 前記各素片の単位図柄は、当該素片の楽音の波形図を含む
   請求項１から請求項３の何れかの楽曲加工装置。
5. 前記加工手段は、前記主楽曲の複数の素片のうち特定の主素片を加工の対象から除外し、
   前記表示制御手段は、前記特定の主素片の単位図柄と前記主楽曲の他の単位図柄とを異なる態様で表示させる
   請求項１から請求項４の何れかの楽曲加工装置。
6. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
   前記複数の楽曲から選択された主楽曲の各素片（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否の指標となる類否指標値を算定する類否指標算定処理と、
   前記主楽曲の前記各主素片について、当該主素片との前記類否指標値が類似を示す副素片を選択する選択処理と、
   前記主楽曲の各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、
   前記各素片に対応する複数の単位図柄を配列した素片列を楽曲毎に表示装置に表示させる一方、前記主楽曲から順次に選択される一の主素片の単位図柄と、当該一の主素片について前記選択処理で選択した副素片の単位図柄とを、他の単位図柄とは異なる態様で表示させる表示制御処理と
   を実行させるプログラム。
7. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
   前記複数の楽曲から選択された主楽曲の各素片（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否の指標となる類否指標値を算定する類否指標算定処理と、
   前記主楽曲の前記各主素片について、当該主素片との前記類否指標値が類似を示す副素片を選択する選択処理と、
   前記主楽曲の各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて順次に加工する加工処理と、
   前記各素片に対応する複数の単位図柄を配列した楽曲毎の素片列と、前記各素片列のうち前記選択処理で選択した各副素片の単位図柄を配列した加工素片列とを前記表示装置に表示させる表示制御処理と
   を実行させるプログラム。
   

Images