JP2009025406A - 楽曲加工装置およびプログラム - Google Patents

Abstract

【課題】複数の楽曲から自然な楽曲を編成する。
【解決手段】記憶装置２０は、楽曲を区分した各素片Ｓの楽音データＡと各素片Ｓの音楽的な特徴量Ｆとを複数の楽曲の各々について記憶する。類否指標算定部１１は、主楽曲の各主素片Ｓmについて、複数の楽曲における主素片Ｓm以外の各副素片Ｓsとの特徴量Ｆの類否を示す類否指標値Ｒを算定する。条件設定部１７は、入力装置４０に対する入力に応じて選択条件を設定する。選択部１６は、主楽曲の各主素片Ｓmについて、当該主素片Ｓmとの類否指標値Ｒが選択条件を満たす副素片Ｓsを選択する。加工部１８は、主楽曲の主素片Ｓmの楽音データＡを、選択部１６が主素片Ｓmについて選択した副素片Ｓsの楽音データＡに基づいて加工する。
【選択図】図１

Description

本発明は、楽曲を加工する技術に関する。

例えばディスクジョッキ（ＤＪ）は、複数の楽曲を途切れなく連結しながら次々に再生する。特許文献１には、このような再生を実現する技術が開示されている。同文献の技術においては、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで、複数の楽曲を円滑に連結することが可能となる。
特開２００３−１０８１３２号公報

ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献１の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、複数の楽曲から選択された主楽曲の複数の素片の各々である主素片について、複数の楽曲における当該主素片以外の各素片である副素片との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、入力装置に対する入力に応じて選択条件を設定する条件設定手段と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択手段と、主楽曲の主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段とを具備する。以上の構成においては、主素片との類似指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性について認識していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能となる。

本発明の好適な態様において、素片は、楽曲の拍に同期した時点で楽曲を区分した区間である。例えば、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間（例えば1/2拍や1/4拍に相当する時間長の区間）が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽曲を生成することができる。

本発明において条件設定手段が設定する選択条件は任意であるが、例えば以下の各態様が好適に採用される。第１の態様において、条件設定手段は、基準順位を選択条件として設定し、選択手段は、主素片との類似順で当該基準順位に応じた順位にある副素片を選択する。第２の態様において、条件設定手段は、乱数の範囲を選択条件として設定し、選択手段は、範囲内の乱数を発生し、主素片との類似順で当該乱数に応じた順位にある副素片を選択する。第３の態様において、条件設定手段は、総選択数を選択条件として設定し、選択手段は、総選択数に相当する個数の副素片を選択する。第４の態様において、条件設定手段は、最大選択数を選択条件として設定し、選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を最大選択数に制限しながら各主素片について複数の副素片を選択する。

本発明の好適な態様に係る楽曲加工装置は、加工手段による加工後の楽音データと主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段を具備する。本態様によれば、加工手段による加工後の楽音データと主楽曲の元来の楽音データとの何れを優先させるかを入力装置に対する入力に応じて適宜に変更することが可能である。また、別の態様に係る楽曲加工装置は、加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段を具備する。本態様によれば、各楽音の音長（楽曲のリズム感）を入力装置に対する入力に応じて適宜に変更することが可能である。

本発明の好適な態様に係る楽曲加工装置は、選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段を具備する。本態様によれば、楽音のピッチを楽曲毎に調整することで、例えばピッチに関して統一感のある楽曲を編成することができる。また、選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて音響効果を楽曲毎に制御する効果付与手段を具備する構成も好適である。本態様によれば、音響効果を楽曲毎に調整することで、例えば統一感のある楽曲を編成することが可能である。

本発明の好適な態様において、前記類否指標算定手段は、前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を（例えば入力装置に対する入力に応じて）類似側に調整する調整手段とを含む。本態様によれば、ひとつの楽曲から副素片が連続して選択される可能性が高まる。したがって、特定の楽曲の曲調を維持した楽曲を編成することが可能となる。

さらに好適な態様において、類否指標算定手段は、複数の楽曲から選択された主楽曲の各主素片について各副素片との特徴量の類否の指標となる基礎指標値を算定する類否特定手段と、入力装置に対する入力に応じて楽曲毎に係数を設定する係数設定手段と、各楽曲の副素片について算定された基礎指標値を、係数設定手段が当該楽曲について設定した係数に応じて調整することで類否指標値を算定する調整手段とを含む。本態様によれば、係数設定手段が設定する係数に応じて類否指標値が楽曲毎に調整されるから、各楽曲の副素片が主楽曲の加工に使用される頻度は入力装置に対する入力に応じて増減する。したがって、利用者の意図に合致した多様な楽曲を編成することが可能となる。

本発明は、楽曲を加工する方法としても特定される。本発明の楽曲加工方法は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を利用して、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定過程と、入力装置に対する入力に応じて選択条件を設定する条件設定過程と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択過程と、主楽曲の主素片の楽音データを、選択過程にて当該主素片について選択した副素片の楽音データに基づいて加工する加工過程とを含む。以上の方法によれば、本発明に係る楽曲加工装置と同様の作用および効果が奏される。

本発明に係る楽曲加工装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、入力装置に対する入力に応じて選択条件を設定する条件設定処理と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択処理と、主楽曲の主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理とを実行させる。以上のプログラムによっても、本発明に係る楽曲加工装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明のひとつの形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置１００は、複数の楽曲を利用してひとつの楽曲（以下「主楽曲」という）を加工する装置である。図１に示すように、楽曲加工装置１００は、制御装置１０と記憶装置２０と放音装置３０と入力装置４０と表示装置５０とを具備するコンピュータシステム（例えばパーソナルコンピュータ）によって実現される。

制御装置１０は、プログラムの実行によって楽曲加工装置１００の各部を制御する演算処理装置（ＣＰＵ）である。記憶装置２０は、制御装置１０が実行するプログラムや制御装置１０が処理する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置が記憶装置２０として好適に採用される。図１に示すように、記憶装置２０は、複数の楽曲の各々について楽曲データを記憶する。

図２は、楽曲の構成を示す概念図である。ひとつの楽曲は多数の小節に区分される。図２に示すように、楽曲には、複数の小節で構成される区間（以下「ループ」という）が画定される。ループは、例えば楽曲の特徴的な部分（例えばいわゆるサビの部分）であり、入力装置４０に対する操作によって利用者が楽曲中に始点および終点を指定することで画定される。ただし、楽曲のうち所定の条件を満たす区間を制御装置１０がループとして自動的に特定する構成も採用される。なお、楽曲の全部をひとつのループとしてもよい。

図２に示すように、各小節はひとつまたは複数の拍（ビート）を単位として複数の区間（以下「素片」という）Ｓに区分される。本形態における素片Ｓはひとつの拍に相当する区間である。したがって、例えば２拍子の楽曲であればひとつの小節を２等分した各区間が素片Ｓに相当し、３拍子の楽曲であればひとつの小節を３等分した各区間が素片Ｓに相当する。なお、素片Ｓは、ひとつの拍を複数に区分した区間（すなわち1/2拍や1/4拍に相当する区間）であってもよい。

図１に示すように、ひとつの楽曲の楽曲データは、当該楽曲のループに属する複数の素片Ｓの各々について、当該素片Ｓに属する楽音の波形を表わす楽音データＡと、当該素片Ｓの音楽的な性質を特徴付ける数値（以下「特徴量」という）Ｆとを含む。特徴量Ｆは、楽音のエネルギ（強度），振幅スペクトルのセントロイド，スペクトルの強度が最大となる周波数，ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）などＮ個（Ｎは自然数）の数値で定義されるＮ次元ベクトルとして表現される。

入力装置４０は、利用者が楽曲加工装置１００に対する指示を入力する機器（例えばマウスやキーボード）である。例えば、利用者は、入力装置４０を適宜に操作することで、記憶装置２０に楽曲データが記憶された複数の楽曲のなかから、楽曲加工装置１００による処理の対象となるＭ個の楽曲（以下「対象楽曲」という）を指定する（Ｍは２以上の整数）。

制御装置１０は、Ｍ個（本形態では８個）の対象楽曲から選択された主楽曲の複数の素片Ｓの各々（以下「主素片Ｓm」という）の楽音データＡを、Ｍ個の対象楽曲における当該主素片Ｓm以外の総ての素片（以下「副素片Ｓs」という）のうち特徴量Ｆが主素片Ｓmに類似するひとつまたは複数の副素片Ｓsの楽音データＡに基づいて加工したうえで順次に出力する。放音装置３０は、制御装置１０から出力される楽音データＡのデータ列ａ1に基づいて放音する。例えば、放音装置３０は、各楽音データＡからアナログの信号を生成するＤ／Ａ変換器と、Ｄ／Ａ変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器（スピーカやヘッドホン）とを含む。

表示装置５０は、制御装置１０による制御のもとに各種の画像を表示する。楽曲加工装置１００の作動中には例えば図３の操作画面５２が継続的に表示装置５０に表示される。利用者は、入力装置４０を操作して操作画面５２の各部分を指定することで、各種の指示を楽曲加工装置１００に付与することができる。図３に示すように、操作画面５２は、利用者が選択したＭ個の対象楽曲の名称（Name）と、各対象楽曲に対応するＭ個の操作子（ボタン）７０の画像を配列した領域Ｇ0とを含む。利用者は、入力装置４０を操作してＭ個の操作子７０の何れかを押下することで、当該操作子７０に対応した対象楽曲を主楽曲（Master）に指定することができる。

次に、制御装置１０の具体的な機能について説明する。図１に示すように、制御装置１０は、記憶装置２０に格納されたプログラムを実行することで複数の要素（類否指標算定部１１，選択部１６，条件設定部１７，加工部１８）として機能する。なお、図１の制御装置１０の各要素は、楽音の処理に専用されるＤＳＰなどの電子回路によっても実現される。また、制御装置１０は、複数の集積回路に分散して実装されてもよい。

類否指標算定部１１は、主楽曲の複数の主素片Ｓmの各々について、各副素片Ｓsとの特徴量Ｆの類否の程度を示す数値（以下「類否指標値」という）Ｒを副素片Ｓs毎に算定する手段である。本形態の類否指標算定部１１は、類否特定部１２と係数設定部１３と調整部１４とで構成される。

類否特定部１２は、類否指標値Ｒの基礎となる数値（以下「基礎指標値」という）Ｒ0を算定する。基礎指標値Ｒ0は、類否指標値Ｒと同様に、主素片Ｓmと副素片Ｓsとの特徴量Ｆの類否の指標となる数値である。さらに詳述すると、類否特定部１２は、各主素片Ｓmの特徴量Ｆを順次に記憶装置２０から取得し、ひとつの主素片Ｓmの特徴量ＦとＭ個の対象楽曲における各副素片Ｓsの特徴量Ｆとに応じた基礎指標値Ｒ0を副素片Ｓs毎に算定する。主素片Ｓmと副素片Ｓsとの基礎指標値Ｒ0は、例えば、特徴量ＦのＮ個の数値を座標値として主素片Ｓmおよび副素片Ｓsの各々についてＮ次元空間に特定される各座標のユークリッド距離の逆数として算定される。したがって、主素片Ｓmと副素片Ｓsとは、両者の基礎指標値Ｒ0が大きいほど音楽的な特徴が類似する。

係数設定部１３は、Ｍ個の対象楽曲の各々について係数Ｋを設定する。本形態の係数設定部１３は、図３の操作画面５２のうち領域Ｇ1に対する指示に応じて対象楽曲毎に個別に係数Ｋを制御する。領域Ｇ1は、Ｍ個の対象楽曲の各々に対応するＭ個の操作子（スライダ）７１の画像を含む。利用者は、入力装置４０を適宜に操作することで各操作子７１を上下に移動させることができる。係数設定部１３は、Ｍ個の対象楽曲の各々について、当該対象楽曲に対応する操作子７１の位置に応じた係数Ｋを設定する。例えば、係数Ｋは、操作子７１が下端にある場合にゼロに設定され、操作子７１が上端に接近するほど増加する。

調整部１４は、類否特定部１２が算定した基礎指標値Ｒ0を係数Ｋに応じて対象楽曲毎に調整することで類否指標値Ｒを算定する。さらに詳述すると、調整部１４は、ひとつの対象楽曲の各副素片Ｓsについて算定された基礎指標値Ｒ0と、係数設定部１３が当該対象楽曲について設定した係数Ｋとの乗算値を類否指標値Ｒとして算定する。

選択部１６は、主楽曲の複数の主素片Ｓmの各々について、当該主素片Ｓmとの類否指標値Ｒが類似を示す所定個（ひとつまたは複数）の副素片Ｓsを選択する。条件設定部１７は、入力装置４０に対する入力に応じて選択部１６による選択条件を設定する。加工部１８は、主楽曲の各主素片Ｓmの楽音データＡを、選択部１６が当該主素片Ｓmについて選択した所定個の副素片Ｓsの楽音データＡに置換したうえで順次に出力する。

図３の操作画面５２を構成する領域Ｇ2は、利用者が選択条件を楽曲加工装置１００に指示するための部分である。領域Ｇ2は、複数の操作子（ツマミ）７３（７３A，７３B，７３C，７３D）の画像を含む。利用者は、入力装置４０を適宜に操作することで各操作子７３を個別に回転させることができる。条件設定部１７は、第１に、操作子７３A（Offset）の角度に応じて基準順位ＣAを設定し、第２に、操作子７３B（Random）の角度に応じて乱数範囲ＣBを設定する。選択部１６は、乱数範囲ＣB内の乱数ｒを発生する。条件設定部１７は、第３に、操作子７３C（Layers）の角度に応じて総選択数ＣCを設定し、第４に、操作子７３D（Max/Source）の角度に応じて最大選択数ＣDを設定する。選択部１６は、複数の副素片Ｓsのなかから主素片Ｓmとの類否指標値Ｒが選択条件を満たす副素片Ｓsを選択する。

図４は、副素片Ｓs毎に算定された類否指標値Ｒと選択部１６による選択条件との関係を示す概念図である。縦軸は、ひとつの主素片Ｓmについて副素片Ｓs毎に算定された類否指標値Ｒを意味し、横軸は、複数の副素片Ｓsを主素片Ｓmとの類似順（すなわち類否指標値Ｒの降順（大→小））に配列したときの順位を意味する。図４に示すように、選択部１６は、主素片Ｓmとの類似順において基準順位ＣAから乱数ｒに応じた順位だけ下位にある副素片Ｓsを先頭として総選択数ＣCに相当する個数の副素片Ｓsを選択する。例えば、図４においては、基準順位ＣAに対応する第２位（ＣA＝２）から４個（ｒ＝４）だけ下位にある第６位の副素片Ｓsを先頭として、総選択数ＣCに相当する４個（ＣC＝４）の副素片Ｓsを選択した場合が例示されている。

以上のように、利用者の指定する基準順位ＣAが増加するほど主素片Ｓmとの類似度が低い副素片Ｓsが選択される。また、乱数範囲ＣBが拡大するほど選択部１６の選択し得る副素片Ｓsの範囲が拡大し、総選択数ＣCが増加するほど選択部１６の選択する副素片Ｓsの個数が増加する。ただし、選択部１６は、ひとつの楽曲から選択する副素片Ｓsの個数の最大値を最大選択数ＣDに制限する。したがって、最大選択数ＣDが増加するほど、ひとつの楽曲から選択される副素片Ｓsの個数が増加する（すなわち、最大選択数ＣDが減少するほど多数の対象楽曲から分散的に副素片Ｓsが選択される）。

図５は、制御装置１０の具体的な動作を説明するためのフローチャートである。図５の処理は、主楽曲の再生の開始を指示する操作が入力装置４０に付与されるたびに実行される。一方、係数設定部１３は、領域Ｇ1の各操作子７１が操作されるたびに図５の処理に並行して各対象楽曲の係数Ｋを更新する。同様に、条件設定部１７は、領域Ｇ2の各操作子７３が操作されるたびに図５の処理に並行して選択条件（ＣA〜ＣD）を更新する。

図５の処理を開始すると、加工部１８は、主楽曲に含まれるひとつの主素片Ｓmを選択する（ステップＳ1）。図５の処理を開始した直後には主楽曲のループの先頭に位置する主素片Ｓmが選択される。類否指標算定部１１は、ステップＳ1で選択した主素片Ｓm（以下では特に「選択主素片Ｓm」という）と複数の副素片Ｓsの各々との類否指標値Ｒを係数Ｋに応じて算定する（ステップＳ2）。副素片Ｓsには、主楽曲以外の対象楽曲の各素片Ｓのほかに、主楽曲のうち選択主素片Ｓm以外の各素片Ｓも含まれる。

次いで、選択部１６は、図４を参照して前述したように、各副素片Ｓsの類否指標値Ｒを降順に配列したときに基準順位ＣAから乱数ｒだけ下位にある副素片Ｓsを先頭として総選択数ＣCに相当する個数の副素片Ｓsを、ひとつの対象楽曲から選択する副素片Ｓsが最大選択数ＣDを超えない範囲で選択する（ステップＳ3）

次いで、加工部１８は、選択部１６がステップＳ3で選択した複数の副素片Ｓsの類否指標値Ｒのなかの最小値Ｒminが閾値ＴＨを上回るか否かを判定する（ステップＳ4）。ステップＳ4の結果が否定である場合（すなわち、選択主素片Ｓmに充分には類似しない副素片Ｓsが選択部１６による選択の対象に含まれる場合）、加工部１８は、選択主素片Ｓmの楽音データＡを記憶装置２０から取得して放音装置３０に出力する（ステップＳ5）。したがって、今回の選択主素片Ｓmについては主楽曲の楽音が放音装置３０から再生される。

一方、ステップＳ4の結果が肯定である場合（すなわち、選択部１６の選択した総ての副素片Ｓsが充分に選択主素片Ｓmに類似する場合）、加工部１８は、選択主素片Ｓmの楽音データＡに代えて、選択部１６が選択した複数の副素片Ｓsの各々の楽音データＡを記憶装置２０から取得する（ステップＳ6）。さらに、加工部１８は、ステップＳ6で取得した楽音データＡを、選択主素片Ｓmと略同等の時間長となるように加工する（ステップＳ7）。ステップＳ7においては、例えば、楽音の音高を変化させずにテンポを調整する公知の技術を採用することで、副素片Ｓsの元来の音高を維持しながら時間長を選択主素片Ｓmに合致させることが可能である。加工部１８は、ステップＳ7で加工した各副素片Ｓsの楽音データＡを加算したうえで放音装置３０に出力する（ステップＳ8）。したがって、今回の選択主素片Ｓmについては、主楽曲に代えて、当該選択主素片Ｓmに類似する他楽曲の楽音が放音装置３０から再生される。

ステップＳ5またはステップＳ8を実行すると、加工部１８は、楽曲の再生の終了を指示する操作が入力装置４０に付与されたか否かを判定する（ステップＳ9）。ステップＳ9の結果が肯定である場合、加工部１８は図５の処理を終了する。一方、再生の終了が指示されていない場合（ステップＳ9：NO）、主楽曲のうち現段階の選択主素片Ｓmの直後の主素片Ｓmが新たな選択主素片Ｓmとして選択されたうえで（ステップＳ1）、ステップＳ2以後の処理が実行される。また、ステップＳ1の直前における選択主素片Ｓmがループの最後の主素片Ｓmである場合、制御装置１０は、ループの先頭の素片ＳmをステップＳ1にて新たな選択主素片Ｓmとして選択する。すなわち、部分的に他の素片Ｓに置換された主楽曲のループが反復的に再生される。

以上に説明したように、本形態においては、主楽曲の各主素片Ｓmが、類否指標値Ｒに応じて選択された副素片Ｓs（典型的には音楽的な特徴が主素片Ｓmに類似する副素片Ｓs）に置換される。したがって、利用者が各対象楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲が拍単位で素片Ｓに区分されるとともに、選択部１６の選択した副素片Ｓsが主素片Ｓmの時間長に調整（ステップＳ7）されたうえで主素片Ｓmの加工に使用されるから、主楽曲のリズム感が損なわれることもない。

また、選択部１６による選択の指標となる類否指標値Ｒは係数Ｋに応じて制御されるから、係数Ｋが大きい数値に設定された対象楽曲の副素片Ｓsほど、選択部１６によって選択される可能性（頻度）が高くなる。すなわち、入力装置４０の操作によって特定の対象楽曲の係数Ｋを増減させることで、主素片Ｓmが当該対象楽曲の副素片Ｓsに置換される頻度が増減する。したがって、係数Ｋが固定された構成（あるいは類否特定部１２の算定した基礎指標値Ｒ0がそのまま選択部１６に出力される構成）と比較して、利用者の好みに応じた多様な楽曲を編成することが可能である。しかも、本形態においてはスライダを模した操作子７１の移動によって各対象楽曲の係数Ｋが調整されるから、優先的に出力される対象楽曲を利用者が直感的に把握できるという利点もある。

さらに、本形態においては選択部１６による選択条件が入力装置４０に対する入力に応じて可変に制御される。したがって、選択条件が固定された構成と比較して多様な楽曲を生成することができる。例えば、本形態においては基準順位ＣAや総選択数ＣCが可変に制御されるから、類否指標値Ｒが最大であるひとつの副素片Ｓsのみが固定的に選択される構成と比較して多様な楽曲が生成される。また、乱数範囲ＣBで規定される乱数ｒが副素片Ｓsの選択の基準として採用されるから、主楽曲が同じ場合でも選択部１６の選択する副素片Ｓsは随時に変化する。すなわち、再生のたびに楽曲の楽音を変化させることが可能である。また、最大選択数ＣDの制約がない構成においては、特定の対象楽曲の副素片Ｓsのみが集中的に選択されることで再生曲が単調となる可能性がある。本形態においてはひとつの楽曲からの最大選択数ＣDが規定されるから、例えば最大選択数ＣDを小さい数値に設定することで、多数の対象楽曲の副素片Ｓsを組合わせた多様な楽曲を生成することが可能である。もちろん最大選択数ＣDを大きい数値に設定すれば、主楽曲に類似する特定の対象楽曲から集中的に副素片Ｓsを選択することも可能である。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下の各形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図６は、操作画面５２を例示する模式図である。同図に示すように、本形態の操作画面５２は、図３の領域Ｇ0から領域Ｇ2に領域Ｇ3を追加した構成である。領域Ｇ3は、複数の操作子７５（７５A，７５B）の画像を含む。利用者は、入力装置４０を操作することで各操作子７５を任意に回転させることができる。

図７は、楽曲加工装置１００の構成を示すブロック図である。本形態の楽曲加工装置１００は、混合部６２と音長調整部６４とを第１実施形態の加工部１８の後段に追加した構成である。混合部６２は、加工部１８による加工後の楽音データＡのデータ列ａ1と記憶装置２０から順次に出力される主楽曲の各楽音データＡのデータ列ａ2とを混合することで楽音データＡのデータ列ａを生成する。さらに詳述すると、混合部６２は、図８に示すように、データ列ａ1の各楽音データＡに係数ｇ（０≦ｇ≦１）を乗算する乗算器６２１と、データ列ａ2の各楽音データＡに係数(１−ｇ)を乗算する乗算器６２２と、両者の出力を加算する加算器６２４とで構成される。さらに、混合部６２は、利用者が操作した操作子７５Aの角度に応じて係数ｇ（データ列ａ1とデータ列ａ2との混合比）を可変に制御する。

図９は、混合部６２による混合後のデータ列ａの各楽音データＡが示す楽音の区間（素片Ｓ）を時間軸上に配列した概念図である。音長調整部６４は、混合部６２による混合後の各楽音データＡが示す楽音のうち途中の時点から終点までの区間Ｐ（時間長ｐT）が無音となるようにデータ列ａの各楽音データＡを加工する。音長調整部６４は、利用者が操作した操作子７５Bの角度に応じて時間長ｐT（区間Ｐの始点）を可変に制御する。時間長ｐTが増加するほど楽音が実際に放音される時間長は短縮されるから、スタッカートのような効果が付与された楽音が放音装置３０から放音される。

以上に説明したように、データ列ａ1とデータ列ａ2との混合比（係数ｇ）や楽音のうち無音とされる時間長ｐTが可変に制御されるから、第１実施形態と比較して多様な態様で楽曲を再生することが可能である。例えば、操作子７５Aを操作して係数ｇを増加させた場合には加工部１８による加工後の楽音が優勢的に再生され、係数ｇを減少させた場合には主楽曲の楽音が優勢的に再生される。また、操作子７５Bを操作して時間長ｐTを増加させるほどリズム感（スタッカート感）に富んだ楽音が再生される。

なお、図７においては混合部６２の後段に音長調整部６４を配置したが、混合部６２の前段に音長調整部６４を配置してもよい。例えば、音長調整部６４は、加工部１８による加工後のデータ列ａ1と記憶装置２０から出力されるデータ列ａ2との少なくとも一方について、楽音データＡが示す素片Ｓ内の時間長ｐTを操作子７５Bの角度に応じて調整したうえで混合部６２に出力する。すなわち、混合部６２や音長調整部６４の各々は、加工部１８による加工後の楽音データＡを処理する構成であればよい。また、混合部６２および音長調整部６４の一方を省略した構成も採用される。

＜Ｃ：第３実施形態＞
図１０は、操作画面５２を例示する模式図である。同図に示すように、本形態の操作画面５２は、図３の領域Ｇ0から領域Ｇ2に領域Ｇ4および領域Ｇ5を追加した構成である。領域Ｇ4は、各対象楽曲に対応したＭ個の操作子７７の画像を含む。同様に、領域Ｇ5は、各対象楽曲に対応したＭ個の操作子７８の画像を含む。利用者は、入力装置４０を操作することで各操作子７７および各操作子７８を任意に回転させることができる。

図１１は、楽曲加工装置１００の構成を示すブロック図である。本形態の楽曲加工装置１００は、ピッチ制御部６６と効果付与部６８とを第１実施形態の制御装置１０に追加した構成である。ピッチ制御部６６は、選択部１６がひとつの対象楽曲から選択した副素片Ｓsの楽音データＡのピッチ（音高）を、領域Ｇ4のうち当該対象楽曲に対応する操作子７７の角度に応じて可変に制御する。すなわち、各副素片Ｓsの楽音のピッチが対象楽曲毎に個別に制御される。ピッチの制御には公知の技術が任意に採用される。例えば、楽音データＡのリサンプリングによってピッチおよび音長を変更する技術や、楽音データＡの伸長によってピッチのみを変更する技術が好適である。

一方、効果付与部６８は、選択部１６が選択した各副素片Ｓsの楽音データＡに音響効果を付与する。ひとつの対象楽曲から選択された副素片Ｓsの楽音データＡに付与される音響効果は、領域Ｇ4のうち当該対象楽曲に対応する操作子７８の角度に応じて可変に制御される。本形態の効果付与部６８は、楽音データＡに対してレゾナンス効果を付与するローパスフィルタ（レゾナンスローパスフィルタ）であり、操作子７８の角度に応じてカットオフ周波数を変化させることで楽音データＡのレゾナンス効果を制御する。

以上のように本形態によれば、楽音データＡのピッチや音響効果が入力装置４０に対する入力に応じて対象楽曲毎に個別に制御されるから、利用者の意図に即した楽曲を柔軟に生成することが可能である。例えば、複数の対象楽曲の楽音データＡのピッチや音響的な特性が近似するように各操作子７７や各操作子７８を操作することで曲調に統一感のある楽曲を編成することが可能である。なお、効果付与部６８が付与する音響効果の種類や制御の対象となる特性は適宜に変更される。例えば、操作子７８の角度に応じて残響時間が設定された残響効果を効果付与部６８が楽音データＡに付与する構成も採用される。

＜Ｄ：変形例＞
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
以上の各形態においては主楽曲のループの全体を処理の対象としたが、処理の対象となる区間（例えば小節数や拍数）を入力装置４０に対する入力に応じて可変に制御する構成も採用される。図５の処理において、主楽曲のうち利用者が指示した区間の最後の主素片Ｓmの処理が完了すると、制御装置１０は、直後のステップＳ1において、当該区間の先頭の主素片Ｓmを新たな選択主素片Ｓmとして選択する。また、入力装置４０に対する操作を契機として楽曲の再生を停止または再開する構成や、入力装置４０に対する操作を契機として再生点を楽曲の先頭に変更する（最初から再生を開始する）構成も好適である。

（２）変形例２
以上の各形態においてはＭ個の対象楽曲を利用者が個別に指定する構成を例示したが、複数の楽曲の各々について属性情報（例えばジャンルや拍子）を記憶装置２０に格納しておき、利用者の指定する属性情報に対応した複数の楽曲を対象楽曲として自動的に選択する構成も採用される。また、楽曲の再生時における各種の設定の内容（以下「再生情報」という）を、入力装置４０に対する操作を契機として制御装置１０が記憶装置２０や他の記憶装置に格納する構成も好適である。再生情報には、例えば、主楽曲やＭ個の対象楽曲を指定する情報のほか、操作画面５２で設定された変数（選択条件（ＣA〜ＣD），各対象楽曲の係数Ｋ，係数ｇ，時間長ｐT，各対象楽曲のピッチや音響効果）が含まれる。制御装置１０は、入力装置４０に対する操作を契機として、以上の各変数を、再生情報が指定する内容に設定する。以上の構成によれば、過去に生成された楽曲の曲調を再現することが可能である。

（３）変形例３
以上の各形態においては、選択条件を規定する４種類の変数（ＣA〜ＣD）を例示したが、ひとつの変数のみを選択条件として採用してもよい。基準順位ＣAのみを選択条件として採用した構成においては、主素片Ｓmとの類似順で基準順位ＣAにある副素片Ｓsが選択される。また、乱数範囲ＣBのみを選択条件として採用した構成においては、主素片Ｓmとの類似順で最上位にある副素片Ｓsから変数ｒに応じた順位だけ下位にある副素片Ｓsが選択される。何れの構成においても、選択部１６が選択する副素片Ｓsの個数はひとつでも複数でもよい。また、総選択数ＣCのみを選択条件として採用した構成においては、主素片Ｓmとの類似順で最上位にある副素片Ｓsから計数して総選択数ＣCに応じた個数の副素片Ｓsが選択される。さらに、例えば図５のステップＳ4で使用する閾値ＴＨを選択条件として可変に制御する構成も好適である。なお、第２実施形態や第３実施形態においては、選択条件を固定した構成（すなわち条件設定部１７を省略した構成）も採用される。例えば、選択部１６は、類否指標値Ｒが最大である副素片Ｓsを一律に選択する。

（４）変形例４
複数の副素片Ｓsのうち選択部１６が直前の主素片Ｓmについて選択した副素片Ｓsに楽曲内で後続する副素片Ｓsが選択される可能性を高める構成（すなわち、同じ対象楽曲内の副素片Ｓsが連続して選択される可能性を高める構成）も好適に採用される。図１２は、操作画面５２を例示する模式図である。同図に示すように、本形態の操作画面５２は、利用者が入力装置４０を適宜に操作することで回転する操作子７３E（Sequency）を図３の領域Ｇ2内に追加した構成である。類否指標算定部１１の調整部１４は、操作子７３Eの角度に応じて連続度ＳQを可変に制御する。

類否特定部１２がひとつの主素片Ｓmについて各副素片Ｓsとの基礎指標値Ｒ0を算定すると、調整部１４は、第１実施形態と同様に、各基礎指標値Ｒ0を係数Ｋに応じて調整することで類否指標値Ｒを算定する。ただし、直前の主素片Ｓmについて選択部１６が選択した副素片Ｓsに対象楽曲内で後続する副素片Ｓs（以下では特に「後続副素片」という）の基礎指標値Ｒ0について、調整部１４は、係数Ｋに応じた調整に加え、連続度ＳQに応じて類似側に調整する処理を実行することで類否指標値Ｒを算定する。例えば、調整部１４は、係数Ｋに応じた調整後の後続副素片Ｓsの基礎指標値Ｒ0と連続度ＳQに応じた数値との加算値を類否指標値Ｒとして算定する。したがって、図５のステップＳ3においては、後続副素片Ｓsの選択される可能性が上昇する。すなわち、ひとつの対象楽曲の複数の副素片Ｓsが配列順に連続して選択される可能性が高まる。

連続度ＳQが最小値（例えばゼロ）に設定されている場合、調整部１４は、総ての基礎指標値Ｒ0を係数Ｋのみに基づいて調整する。したがって、図５のステップＳ3における選択の対象は第１実施形態と同様となる。一方、連続度ＳQが最大値に設定されている場合、調整部１４は、後続副素片ＳsがステップＳ3にて必ず選択されるように当該後続副素片Ｓsの類否指標値Ｒを算定する。したがって、総選択数ＣCが１であれば、同じ対象楽曲の副素片Ｓsが対象楽曲内の配列順で順次に再生される。

（５）変形例５
以上の各形態においては、主素片Ｓmとの類似順で基準順位ＣAから乱数ｒだけ下位の副素片Ｓsを先頭として総選択数ＣCに相当する個数の副素片Ｓsを選択したが、乱数ｒに応じた副素片Ｓsの選択の方法は適宜に変更される。例えば、乱数ｒを複数回にわたって発生し、基準順位ＣAから各乱数ｒだけ下位にある副素片Ｓsを重複しないように総選択数ＣCだけ選択するといった構成も好適である。

（６）変形例６
以上の各形態においては、各副素片Ｓsの類否指標値Ｒの最小値Ｒminが閾値ＴＨを下回る場合には選択主素片Ｓmの楽音データＡを放音装置３０に出力したが（図５のステップＳ4およびステップＳ5）、各副素片Ｓsの類否指標値Ｒと閾値ＴＨとを比較し、類否指標値Ｒが閾値ＴＨを上回る副素片Ｓsのみを主楽曲の加工に使用するといった構成も採用される。

（７）変形例７
以上の各形態においては、主楽曲のうち主素片Ｓm以外の素片Ｓを副素片Ｓsとして選択部１６による選択の候補としたが、Ｍ個の対象楽曲のうち主楽曲を除外した(Ｍ−１)個の対象楽曲の各素片Ｓのみを副素片Ｓsとする構成も好適である。同じ楽曲中の各素片Ｓは音響的な特徴が類似する場合が多いから、第１実施形態の構成においては、主素片Ｓmに類似する副素片Ｓsとして主楽曲中の素片Ｓが選択される可能性が高い。一方、選択部１６による選択の対象から主楽曲の素片Ｓを除外する構成によれば、主楽曲以外の対象楽曲の素片Ｓを利用して多様な楽曲を生成することが可能となる。

（８）変形例８
以上の各形態においては主素片Ｓmを副素片Ｓsに置換する構成を例示したが、副素片Ｓsに基づいて主素片Ｓmを加工する方法は楽音データＡの置換に限定されない。例えば、主素片Ｓmの楽音データＡと所定個の副素片Ｓsの楽音データＡとを所定の比率で混合して出力してもよい。もっとも、以上の各形態のように主素片Ｓmを副素片Ｓsに単純に置換する構成によれば、制御装置１０による処理の負荷が軽減されるという利点がある。

（９）変形例９
主素片Ｓmの特徴量Ｆと副素片Ｓsの特徴量Ｆとから類否指標値Ｒを算定する方法は任意である。例えば、以上においては主素片Ｓmと副素片Ｓsとの類似度が高いほど増加する類否指標値Ｒを例示したが、類否指標値Ｒは主素片Ｓmと副素片Ｓsとの類似度が高いほど減少する数値（例えば特徴量Ｆ間の距離）であってもよい。

（１０）変形例１０
以上の各形態においては、利用者が楽曲加工装置１００を操作するための操作画面５２が表示装置５０に画像として表示される構成を例示したが、図６や図１０に例示した各種の操作子が実際に配列された入力機器を操作に利用してもよい。

本発明の第１実施形態に係る楽曲加工装置の構成を示すブロック図である。 楽曲の素片について説明するための概念図である。 操作画面の内容を示す模式図である。 選択条件について説明するための概念図である。 制御装置による処理の内容を示すフローチャートである。 本発明の第２実施形態に係る操作画面の内容を示す模式図である。 第２実施形態に係る楽曲加工装置の構成を示すブロック図である。 混合部の具体的な構成を示すブロック図である。 音長調整部による処理を説明するための概念図である。 本発明の第３実施形態に係る操作画面の内容を示す模式図である。 第３実施形態に係る楽曲加工装置の構成を示すブロック図である。 変形例に係る操作画面の内容を示す模式図である。

符号の説明

１００……楽曲加工装置、１０……制御装置、１１……類否指標算定部、１２……類否特定部、１３……係数設定部、１４……調整部、１６……選択部、１７……条件設定部、１８……加工部、２０……記憶装置、３０……放音装置、４０……入力装置、５０……表示装置、５２……操作画面、６２……混合部、６４……音長調整部、６６……ピッチ制御部、６８……効果付与部、Ｓ……素片、Ｓm……主素片、Ｓs……副素片、Ａ……楽音データ、Ｆ……特徴量、Ｒ0……基礎指標値、Ｒ……類否指標値。

Claims (11)

1. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
   前記複数の楽曲から選択された主楽曲の複数の素片の各々（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、
   入力装置に対する入力に応じて選択条件を設定する条件設定手段と、
   前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択手段と、
   前記主楽曲の前記主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と
   を具備する楽曲加工装置。
2. 前記条件設定手段は、基準順位を前記選択条件として設定し、
   前記選択手段は、前記主素片との類似順で当該基準順位に応じた順位にある副素片を選択する
   請求項１の楽曲加工装置。
3. 前記条件設定手段は、乱数の範囲を前記選択条件として設定し、
   前記選択手段は、前記範囲内の乱数を発生し、前記主素片との類似順で当該乱数に応じた順位にある副素片を選択する
   請求項１または請求項２の楽曲加工装置。
4. 前記条件設定手段は、総選択数を前記選択条件として設定し、
   前記選択手段は、前記総選択数に相当する個数の副素片を選択する
   請求項１から請求項３の何れかの楽曲加工装置。
5. 前記条件設定手段は、最大選択数を前記選択条件として設定し、
   前記選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を前記最大選択数に制限しながら前記各主素片について複数の副素片を選択する
   請求項１から請求項４の何れかの楽曲加工装置。
6. 前記加工手段による加工後の楽音データと前記主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段
   を具備する請求項１から請求項５の何れかの楽曲加工装置。
7. 前記加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段
   を具備する請求項１から請求項６の何れかの楽曲加工装置。
8. 前記選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段
   を具備する請求項１から請求項７の何れかの楽曲加工装置。
9. 前記選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて前記音響効果を楽曲毎に制御する効果付与手段
   を具備する請求項１から請求項８の何れかの楽曲加工装置。
10. 前記類否指標算定手段は、
    前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、
    前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を類似側に調整する調整手段と
    を含む請求項１から請求項９の何れかの楽曲加工装置。
11. 楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
    前記複数の楽曲から選択された主楽曲の複数の素片の各々（以下「主素片」という）について、前記複数の楽曲における当該主素片以外の各素片（以下「副素片」という）との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、
    入力装置に対する入力に応じて選択条件を設定する条件設定処理と、
    前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択処理と、
    前記主楽曲の前記主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と
    を実行させるプログラム。
    

Images