JP2009025386A - 楽曲を制作するための装置およびプログラム - Google Patents

Abstract

【課題】 曲の素材として所望のものを迅速に選択し、効率的に楽曲制作を行えるようにする。
【解決手段】 分割部１０１は、操作部４の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、小節線タイミングにおいて楽曲データを分割して、曲断片データを生成する。音数評価部１０２は、曲断片データが示す曲断片の音数を求める。表示制御部１０３は、楽曲データから得られた各曲断片データを各々の音数に応じた順に表示部３にメニュー表示させる。合成部１０４は、メニュー表示された曲断片データであって操作部４の操作により選択された曲断片データを、操作部４の操作により指示された時間軸上の位置に配置し、楽曲データを合成する。
【選択図】図１

Description

この発明は、楽曲を制作するための装置およびプログラムに関する。

楽曲制作の分野では、ＭＩＤＩデータやオーディオデータを取り扱うことが可能な各種の楽曲制作プログラムがよく用いられる。ユーザは、この種の楽曲制作プログラムを例えばパーソナルコンピュータにインストールして実行させることにより、パーソナルコンピュータに外部から曲の素材として取り込んだＭＩＤＩデータやオーディオデータを時間軸上の所望の位置に配置して楽曲データを合成することができる。なお、この種の楽曲制作プログラムに関する文献として、例えば非特許文献１がある。また、曲の素材となるものを生成する技術としては、例えばＭＩＤＩデータやオーディオデータを拍単位に分割する技術がある。
特開２００１−２２２２８９号公報 "イチからはじめる！！Cubase・SE３ インストールから応用テクニックまで" 目黒真二、有限会社スタイルノート、２００５年１２月１日発行 Bee Suan Ong, Emilia Gomez, Sebastian Streich、"Automatic Extraction of Musical Structure Using Pitch ClassDistribution Features"、［online]、Learning the Semantics of Audio Signals (LSAS) 2006、［平成１９年３月２日検索］、インターネット＜URL:http://irgroup.cs.uni-magdeburg.de/lsas2006/proceedings/LSAS06_053_065.pdf＞

ところで、表現力豊かな楽曲データを得るためには、曲の素材となるものを予め多数用意しておき、それらの中の適切なものを選択して繋ぎ合わせる必要がある。しかし、膨大な素材の中から所望の素材を探し出す作業は大変である。また、拍単位のオーディオデータやＭＩＤＩデータは、曲の素材としては時間的に短すぎ、例えば試行錯誤的な楽曲制作を効率的に繰り返す、といった用途には不向きである。

この発明は、以上説明した事情に鑑みてなされたものであり、曲の素材として所望のものを迅速に選択し、効率的に楽曲制作を行うことができる楽曲制作装置およびプログラムを提供することを目的としている。

この発明は、操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段と、前記楽曲データから得られた各曲断片データを示すメニューを各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段とを具備することを特徴とする楽曲制作装置およびコンピュータを上記各手段として機能させるコンピュータプログラムを提供する。
ここで、音の態様に関する大小表現可能なパラメータとしては、例えば曲断片における音数、曲断片のスペクトログラムの変化の激しさを示す数値、曲断片の時間領域での波形の複雑さを示す数値、曲断片に含まれる低域エネルギーの割合、曲断片における低域のオンセット密度など、一小節という長さを持った曲断片の特徴をアナログ的に把握するのに役立ち、各曲断片間の比較に役立つパラメータが好ましい。
かかる発明によれば、楽曲の素材として、楽曲データを小節線タイミングにおいて分割して得られる複数の曲断片データを示すメニューが表示手段に表示される。その際、各曲断片データについて、音の態様に関する大小表現可能なパラメータの評価が行われ、各曲断片デーータのメニューは、評価により得られたパラメータに応じた順に表示される。従って、ユーザは、所望の曲断片データを容易に見つけ出すことができ、効率的に楽曲データを制作することができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である楽曲制作装置の構成を示すブロック図である。この楽曲制作装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明の一実施形態である楽曲制作プログラムをインストールしたものである。

図１において、ＣＰＵ１は、この楽曲制作装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この楽曲制作装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。

表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶デスプレイパネルとその駆動回路により構成されている。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部４は、キーボードと、マウスなどのポインティングデバイスを含む。

インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。

ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。

サウンドシステム８は、この楽曲制作装置において制作された楽曲または制作途中の楽曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。本実施形態において、このサウンドシステム８と、上述した表示部３および操作部４は、楽曲の制作に関連した情報をユーザに提供するとともに、楽曲の制作に関する指示をユーザから受け取るユーザインタフェースとしての役割を果たす。ＭＩＤＩ音源９は、ＣＰＵ１を介して与えられたＭＩＤＩデータに従ってデジタル音声信号を形成する音源である。このＭＩＤＩ音源９により形成されたデジタル音声信号はサウンドシステム８により音として出力される。

ＨＤＤ６に記憶される情報として、楽曲制作プログラム６１と、１または複数の楽曲データファイル６２とがある。

楽曲データファイル６２は、楽曲における演奏音やボーカル音のオーディオ波形をサンプリングしたオーディオデータを楽曲データとして含むファイルであってもよいし、ＳＭＦ（Standard MIDI File）等のＭＩＤＩデータを楽曲データとして含むファイルであってもよい。好ましい態様において、楽曲制作プログラム６１や楽曲データファイル６２は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、楽曲制作プログラム６１や楽曲データファイル６２は、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から楽曲制作プログラム６１や楽曲データファイル６２が読み出され、ＨＤＤ６にインストールされる。

楽曲制作プログラム６１は、大別して、分割部１０１と、音数評価部１０２と、表示制御部１０３と、合成部１０４とにより構成されている。分割部１０１は、操作部４の操作により、新規な楽曲データを製作する際の元となる楽曲データファイル６２が処理対象として指定された場合に、その楽曲データファイル６２内の楽曲データをＲＡＭ７にロードし、楽曲データの構造分析を行うことにより小節線タイミングを求め、楽曲データを小節線タイミングにおいて分割して、複数の曲断片データを生成し、ＲＡＭ７に格納するルーチンである。また、音数評価部１０２は、曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段としての役割を果たすものである。本実施形態において、評価手段たる音数評価部１０２は、ＲＡＭ７内の各曲断片データを解析し、音の態様に関する大小表現可能なパラメータとして、音の複雑さを示す数値、より具体的には各曲断片データが示す曲断片の音数を求め、音数を示すデータを含むヘッダを各曲断片データに付加する。表示制御部１０３は、ＲＡＭ７の各曲断片データのヘッダを参照し、各曲断片データを示すメニューを音数の少ないものから順に並べて表示部３に表示させるルーチンである。合成部１０４は、表示部３にメニュー表示された曲断片データを選択する操作部４の操作と曲断片データの時間軸上の位置を指示する操作部４の操作を検知し、操作部４の操作により選択された曲断片データが操作部４の操作により指示された時間軸上の位置に配置された楽曲データを合成するルーチンである。

本実施形態では、操作部４の操作により、処理対象として、複数曲の楽曲データファイル６２を指定することも可能である。この場合、分割部１０１は、各曲の楽曲データを曲断片データに分割し、音数評価部１０２は、複数曲の楽曲データの各々から得られた各曲断片データについて音数を求める。そして、表示制御部１０３は、複数曲の楽曲データから得られた各曲断片データのメニューを曲毎に並べ、かつ、１つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データの音数の順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを表示部３に２次元表示させる。

図２は、本実施形態における分割部１０１、音数評価部１０２および表示制御部１０３の処理内容を示す図である。また、図３は、本実施形態における合成部１０４の処理内容を示す図である。以下、主として図２および図３を参照し、また、必要に応じて他の図を参照し、本実施形態の動作を説明する。

ユーザは、楽曲データの制作を行う場合、操作部４の操作により、楽曲制作プログラム６１の起動を指令する。これによりＣＰＵ１は、楽曲制作プログラム６１をＲＡＭ７内にロードして実行する。そして、ユーザが操作部４の操作により、楽曲データの製作の元となる１または複数の楽曲データファイル６２を指定すると、図２に示すように、楽曲制作プログラム６１の分割部１０１は、指定された各楽曲データファイル６２内の各楽曲データをＲＡＭ７内にロードして各々解析し、各楽曲データにおける小節線タイミングを検出し、その小節線タイミングにおいて各楽曲データを分割して、複数の曲断片データを生成する。

小節線タイミングの検出方法には各種の態様がある。楽曲データがオーディオデータ（オーディオ波形の時系列サンプルデータ）である場合、例えば楽曲データから楽曲のコードシーケンスを求め、コードの切り換わり点を小節線タイミングとしてもよい。コードシーケンスを求めるための方法としては、例えば次のような方法が考えられる。

まず、楽曲データの拍点を抽出する。ここで、拍点は、例えば楽曲データが示すオーディオ波形からドラム等のリズム音が現れやすい帯域の成分を抽出し、この成分のエネルギーが急激に高まるタイミングを拍点とする、といった方法により抽出可能である。そして、各拍点のタイミングにおいて楽曲データから例えばＨＰＣＰ（Harmonic Pitch Class Profile）情報等の音のハーモニー感を示すハーモニー情報を抽出し、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）とする。ここで、ｋは楽曲の先頭からの時間に相当するインデックスであり、０は曲の先頭位置、ｎ−１は曲の終了位置に相当する。そして、このｎ個のハーモニー情報Ｈ（ｋ）（ｋ＝０〜ｎ−１）の中から任意の２個のハーモニー情報Ｈ（ｉ）およびＨ（ｊ）を取り出して、両者間の類似度Ｌ（ｉ，ｊ）を算出する。この操作をｉ＝０〜ｎ−１およびｊ＝０〜ｎ−１の範囲内の全てのｉ，ｊの組み合わせについて実施し、図４（ａ）に示すようにｎ行ｎ列の類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）を作成する。

次にこの類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）の一部である三角マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ≧ｉ）において、類似度Ｌ（ｉ，ｊ）が閾値以上である連続した領域を求める。図４（ｂ）において、黒い太線で示した領域はこの操作により得られた類似度の高い連続領域（以下、便宜上、高類似度連続領域という）を例示するものである。本実施形態では、このような高類似度連続領域が複数得られた場合に、ｉ軸上における高類似度連続領域の占有範囲の重複関係に基づいて、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）において繰り返し現れるハーモニー情報のパターンを見つける。

例えば図４（ｂ）に示す例において、類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）は、同じハーモニー情報間の類似度の集まりである高類似度連続領域Ｌ０の他に、高類似度連続領域Ｌ１およびＬ２を含む。ここで、高類似度連続領域Ｌ１は、曲の途中の区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ２〜ｋ４−１）が曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）と類似していることを示している。また、高類似度連続領域Ｌ２は、曲において高類似度連続領域Ｌ１に対応した区間の直後の区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ４〜ｋ５−１）が曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ１）と類似していることを示している。

これらの高類似度連続領域Ｌ１、Ｌ２のｉ軸上での占有範囲の重複関係に着目すると、次のことが分かる。まず、高類似度連続領域Ｌ１に対応した区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ２〜ｋ４−１)は、曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）と類似しているが、その一部の区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ１−１）は高類似度連続領域Ｌ２に対応した区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ４〜ｋ５−１）とも類似している。すなわち、曲の先頭から始まるハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）の出所である区間は、前半区間Ａおよび後半区間Ｂに分かれており、高類似度連続領域Ｌ１に対応した区間では、区間ＡおよびＢと同じコードが繰り返され、高類似度連続領域Ｌ２では区間Ａと同じコードが繰り返されていると推定される。

次に高類似度連続領域Ｌ２に対応した区間の後のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ５〜ｎ−１)は、先行するハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ５−１）のうちいずれの区間のものとも類似していない。そこで、ハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ５〜ｎ−１)を新たな区間Ｃと判定する。

分割部１０１は、以上のような処理により、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）を各種のコードに対応した区間（図４（ｂ）に示す例では、区間Ａ、Ｂ、Ａ、Ｂ、Ａ、Ｃ）に区切り、各区間の境界線を小節線タイミングと判定する。なお、このようなハーモニー情報に基づくコードシーケンスの検出方法は例えば非特許文献２に開示されている。

小節線タイミングの検出方法に関しては、他の態様も考えられる。例えば楽曲データが示すオーディオ波形からリズム音の発生パターンを求める。そして、このリズム音の発生パターンについて、上述したようなｎ行ｎ列の類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）を作成し、ｎ行ｎ列の類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）に現れる周期性を求めることにより、小節線タイミングを求めるのである。

楽曲データがＭＩＤＩデータである場合には、例えばリズム音のトラックに属するＭＩＤＩデータに基づいて、リズム音の発生パターンを求め、上述と同様な類似度マトリックスを用いた方法により、小節線タイミングを決定すればよい。

以上のように、楽曲データの構造分析を行うことにより小節線タイミングを自動的に求める他、例えば楽曲データが示すオーディオ波形や音符を表示部３に表示させ、ユーザにポインティングデバイスの操作により小節線タイミングを指定させてもよい。あるいは、楽曲データの構造分析により求めた小節線タイミングを楽曲のオーディオ波形や音符とともに表示部３に表示させ、小節線タイミングの追加、削除、修正をユーザに行わせるようにしてもよい。

図２において、音数評価部１０２は、以上のような分割部１０１の処理により得られたＲＡＭ７内の各曲断片データについて、各曲断片データが示す曲断片に現れる音の数を求め、音数を示すデータを含むヘッダを各曲断片データに付加する。この場合の音数を求める方法としては、例えば曲断片データがオーディオデータである場合には、曲断片データが示すオーディオ波形における中低域の成分を抽出し、その成分のエネルギーが急激に高まる回数をカウントする方法が考えられる。曲断片データがＭＩＤＩデータである場合には、曲断片データに含まれるノートオンイベントデータの数を音数とすればよい。

次に表示制御部１０３は、ＲＡＭ７内の各曲断片データを示すメニューを表示部３に表示させる。ここで、分割部１０１の処理対象となった楽曲データが複数ある場合、表示制御部１０３は、１つの楽曲データから得られた各曲断片データのメニューを水平方向に並べ、かつ、各曲の曲断片データのメニューを上下方向に並べて表示させる。その際、表示制御部１０３は、１つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データの音数の小さいものから順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを２次元表示させる。曲断片データを示すメニューは、矩形などの単純な形状のマークでもよいが、曲断片データが示す曲の断片について、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の特徴量を評価し、その特徴量を示す形状や色を持ったマークを曲断片データのメニューとして表示部３に表示させてもよい。

好ましい態様では、表示部３の表示画面は、図３に示すように、下側の曲断片表示エリア３１と、上側の楽曲表示エリア３２とに二分される。表示制御部１０３は、下側の曲断片表示エリア３１に曲断片データのメニューを表示させる。下側の曲断片表示エリア３１内の表示内容は操作部４の操作により上下方向および左右方向にスクロール可能である。上側の楽曲表示エリア３２は、ＲＡＭ７内の楽曲トラックの格納内容を示すエリアであり、水平方向が時間軸となっている。楽曲表示エリア３２内の表示内容は操作部４の操作により左右方向にスクロール可能である。

図３に示すように、曲断片表示エリア３１と楽曲表示エリア３２が表示部３に表示された状態において、合成部１０４は、操作部４の操作に応じて、ＲＡＭ７内の楽曲トラックに曲断片データを格納し、新たな楽曲データを合成する。さらに詳述すると、合成部１０４は、この楽曲トラックの時間軸の目盛りを示すグリッドを楽曲表示エリア３２内に表示させる（図示略）。そして、合成部１０４は、操作部４（具体的にはポインティングデバイス）の操作により曲断片表示エリア３１内に表示された１つの曲断片データのメニューが選択されると、そのメニューに対応した曲断片データをＲＡＭ７から読み出す。また、操作部４の操作により楽曲表示エリア３２内の１つのグリッドが指示されると、ＲＡＭ７内の楽曲トラックにおいて、この指示されたグリッドに対応したアドレスから始まる連続したエリアに、曲断片データのヘッダ以外の部分を格納する。

また、合成部１０４は、この楽曲トラックに格納した曲断片データを示す図形を楽曲表示エリア３２において指示されたグリッドの位置に表示させる。この曲断片データを示す図形は、曲断片データがオーディオデータである場合にはそのオーディオデータが示すオーディオ波形であってもよいし、曲断片データがＭＩＤＩデータである場合にはそのＭＩＤＩデータが示す１または複数の音符であってもよい。あるいは、曲断片データが示す曲断片について、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の特徴量が評価されている場合には、その特徴量を示す形状や色を持ったマークを楽曲表示エリア３２に表示させてもよい。その際、マークの長さは、曲断片データが示す曲断片の長さ（通常はその曲の１小節の長さ）に合わせるのが好ましい。

合成部１０４は、このような処理を操作部４の操作に従って繰り返し、各種の曲断片データを繋ぎ合わせた新規な楽曲データをＲＡＭ７内の楽曲トラック内に生成する。

好ましい態様では、ユーザが操作部４の操作により、オーディオデータである１つの曲断片データを選択したとき、合成部１０４は、その曲断片データをＲＡＭ７から読み出してサウンドシステム８に送り、音として出力させる。また、ユーザが操作部４の操作により、ＭＩＤＩデータである１つの曲断片データを選択したときには、合成部１０４は、その曲断片データをＲＡＭ７から読み出してＭＩＤＩ音源９に送る。これによりＭＩＤＩ音源９がＭＩＤＩデータに従ってデジタル楽音信号を形成し、これがサウンドシステム８から音として出力される。ユーザは、このようにしてサウンドシステム８から出力される音を聴くことにより、所望の曲断片データを選択したか否かの確認を行うことができる。

ところで、ユーザがテンポの異なった複数の楽曲データから得られる曲断片データを繋ぎ合わせて楽曲データを合成するような場合がある。この場合、本実施形態では、各楽曲データのうちの１つの楽曲データの拍のタイミングに各曲断片データの拍のタイミングを合わせるタイミング調整を行い、合成部１０４は、このタイミング調整後の曲断片データを用いて曲データの合成を行う。このようなタイミング調整をスムーズに行うためには、分割部１０１が楽曲データの構造分析のために拍抽出を行う際に、楽曲データのテンポを求めることが好ましい。

図５は、本実施形態における曲断片データのタイミング調整の一例を示すものである。図５に示すように、ユーザによって例えば曲ＫおよびＬの曲断片データが選択され、曲Ｋのテンポが曲Ｌのテンポよりも遅い場合、合成部１０４は、テンポの遅い曲Ｋの曲断片データのタイミング調整を行う。すなわち、曲断片データがオーディオデータである場合には、曲Ｋの曲断片データにおいて各拍のタイミングから始まる一拍分の長さのオーディオデータの先頭位置を、曲Ｌの曲断片データにおける対応する拍のタイミングに合わせる。この場合において、曲Ｋの曲断片データにおける１拍分のオーディオデータは、曲Ｌの曲断片データの１拍分の期間内に収まらない。そこで、曲Ｋの曲断片データにおける各拍のオーディオデータのうち曲Ｌの曲断片データの１拍分の期間内に収まり切らない後方部分を削除する。

ユーザがテンポの異なった３種類以上の楽曲データから得られる曲断片データを繋ぎ合わせて楽曲データを合成する場合も同様である。この場合も、最もテンポの速い曲断片データの拍のタイミングに他の曲断片データの拍のタイミングを合わせるタイミング調整を行えばよい。

曲断片データがＭＩＤＩデータである場合も、以上と基本的に同様であり、最もテンポの速い曲断片データの拍のタイミングに他の曲断片データの拍のタイミングを合わせるように、当該他の曲断片データにおけるノートオンイベントデータとノートオフイベントデータのタイミング調整を行えばよい。

如何なる局面において、楽曲制作プログラム６１のどのルーチンが曲断片データのタイミング調整を行うかに関しては、２通りの態様がある。第１の態様では、分割部１０１が楽曲データの制作に用いる複数の楽曲データの全てについて曲断片データを生成した後、分割部１０１が曲断片データのタイミング調整を行う。この場合、分割部１０１は、処理対象とされた複数の楽曲データのうち最もテンポの速いものを基準楽曲データとし、他の楽曲データから得られた曲断片データの拍のタイミングをこの基準楽曲データの拍のタイミングに合わせるタイミング調整を行う。この態様は、処理が簡単であるという利点がある。

第２の態様では、ユーザが楽曲データの合成に用いる曲断片データを選択するのをトリガとして、合成部１０４が曲断片データのタイミング調整を行う。すなわち、ユーザが曲断片データを選択する都度、選択した曲断片データの帰属先である楽曲データのテンポ（第１のテンポという）と、既に楽曲データの合成に使用した曲断面データまたはタイミング調整済みの曲断面データのテンポ（第２のテンポという）とを比較し、この比較結果に基づき、次の処理を行う。
ａ．第１のテンポが第２のテンポより遅い場合、合成部１０４は、選択した曲断片データの拍のタイミングを第２のテンポに対応したタイミングに調整する。この場合、第２のテンポは変わらない。
ｂ．第１のテンポが第２のテンポより速い場合、合成部１０４は、楽曲トラックに格納した全ての曲断片データを読み出し、これらの曲断片データの拍のタイミングを第１のテンポに対応したタイミングに調整し、楽曲トラックに戻す。ユーザが選択した曲断片データは、タイミング調整を行うことなく、楽曲トラックにおける最後尾の曲断片データの後に配置する。そして、第２のテンポの内容を第１のテンポにする。

第２の態様は、第１の態様に比べて処理が複雑になるが、ユーザが楽曲データの制作のために多数の楽曲データを選択し、そのうちの一部の楽曲データの曲断片データしか新規な楽曲データの合成に使用しなかった場合に、曲断片データについて不要なタイミング調整を行わなくて済むという利点がある。

以上のような処理を経て、楽曲データが楽曲トラック内に得られた状態において、ユーザが操作部４の操作により再生指示を与えると、合成部１０４は、楽曲トラックから楽曲データを読み出してサウンドシステム８またはＭＩＤＩ音源９に送る。これによりユーザは、所望の楽曲を制作することができたか否かを確認することができる。そして、ユーザが操作部４の操作により格納指示を与えると、合成部１０４は、楽曲トラック内の楽曲データを楽曲データファイル６２としてＨＤＤ６内に格納する。

以上説明したように、本実施形態によれば、楽曲データを小節線タイミングにおいて分割することにより複数の曲断片データが生成され、楽曲制作の素材としての各曲断片データを示すメニューが表示部３に表示される。その際、各曲断片データを示すメニューは、曲断片データの音数が少ないものから順に（すなわち、音楽的に簡単なものから順に）表示部３に表示される。また、本実施形態によれば、複数曲の楽曲データが処理対象とされた場合には、各曲毎に、１曲分の曲断片データのメニューが並べて表示される。従って、ユーザは、メニューとして表示された各曲断片データの中から所望のものを迅速に見つけ出すことができ、効率的に楽曲制作を行うことができる。

以上、この発明の一実施形態について説明したが、この発明には、他にも実施形態が考えられる。例えば次の通りである。

（１）楽曲制作プログラム６１は、その一部または全部のプログラムを電子回路に置き換えてもよい。

（２）曲断片表示エリア３１にメニュー表示された音断片データのうちユーザが選んだ複数の曲断片データを繰り返してサウンドシステム８またはＭＩＤＩ音源９に送るループ再生機能を合成部１０４に設けてもよい。

図６および図７はその動作例を示すものである。図６に示す例では、図６（ａ）に示すように、ある曲Ｍの曲断片データＡおよびＢがユーザによって選択されている。この場合、合成部１０４は、操作部４の操作によりループ再生の指示が与えられることにより、図６（ｂ）に示すように、曲断片データＡ、Ｂ、Ａ、Ｂ、…という具合にＲＡＭ７内の曲断片データＡおよびＢを交互にサウンドシステム８またはＭＩＤＩ音源９に送る。これによりユーザは、曲断片データＡおよびＢのループ再生を行ったときの効果を聴覚により確認することができる。また、図７に示す例では、図７（ａ）に示すように、ある曲Ｋの曲断片データＡおよびＢと、別の曲Ｌの曲断片データＣ、ＤおよびＥがユーザによって選択されている。この場合、合成部１０４は、操作部４の操作によりループ再生の指示が与えられることにより、図７（ｂ）に示すように、曲Ｋの曲断片データＡおよびＢをサウンドシステム８またはＭＩＤＩ音源９に繰り返し送る一方、これと並行し、曲Ｌの曲断片データＣ、ＤおよびＥをサウンドシステム８またはＭＩＤＩ音源９に繰り返し送る。これによりユーザは、曲断片データＡおよびＢのループ再生と曲断片データＣ、ＤおよびＥのループ再生を同時進行させたときの効果を聴覚により確認することができる。

（３）ユーザが選択した複数の曲断片データにループ再生の制御情報を付加して楽曲トラックに格納する機能を合成部１０４に追加してもよい。前掲図６の例の場合、ユーザが曲断片データＡおよびＢの楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部４の操作により与えた場合、合成部１０４は、曲断片データＡおよびＢを楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データＢの再生後は指定された回数だけ曲断片データＡに戻って再生を行うべき旨の制御情報を楽曲トラック内の曲断片データＢに付加する。

前掲図７の例のように曲ＫおよびＬから取り出した各曲断片についての同時進行的なループ再生を行うための楽曲データを合成することも可能である。この場合、合成部１０４は２つの楽曲トラックを使用して楽曲データの合成を行う。まず、ユーザが曲断片データＡおよびＢの第１の楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部４の操作により与えた場合、合成部１０４は、曲断片データＡおよびＢを第１の楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データＢの再生後は指定された回数だけ曲断片データＡに戻って再生を行うべき旨の制御情報を第１の楽曲トラック内の曲断片データＢに付加する。また、ユーザが曲断片データＣ、ＤおよびＥの第２の楽曲トラックへの格納の指示と、ループの回数の指定を含むループ再生の指示を操作部４の操作により与えた場合、合成部１０４は、曲断片データＣ、ＤおよびＥを第２の楽曲トラックにおける最後尾の曲断片データの後に配置し、曲断片データＥの再生後は指定された回数だけ曲断片データＣに戻って再生を行うべき旨の制御情報を第２の楽曲トラック内の曲断片データＥに付加するのである。このようにして第１および第２の楽曲トラック内に得られた各楽曲データをマルチチャネルの再生機能を有する楽曲再生装置に与える。これにより、楽曲再生装置において、前掲図７（ｂ）に示すような２系統のループ再生を同時進行させることができる。

（４）オーディオデータである曲断片データとＭＩＤＩデータである曲断片データの両方を用いて楽曲データの合成を行うための機能を合成部１０４に追加してもよい。例えば、ユーザがオーディオデータである曲断片データを選択した場合にはその曲断片データをそのまま楽曲トラックに格納し、ユーザがＭＩＤＩデータである曲断片データを選択した場合にはその曲断片データをＭＩＤＩ音源９に送ってオーディオデータに変換させ、このオーディオデータを楽曲トラックに格納する、という態様が考えられる。

（５）上記実施形態では、音の態様に関する大小表現可能なパラメータとして、曲断片の音数を採用した。しかし、これ以外のパラメータを採用してもよい。例えば、時々刻々と変化する曲断片のスペクトルを、横軸を時間軸、縦軸を周波数軸とする２次元座標系にマッピングしてスペクトログラムを生成し、このスペクトログラムのテキスチャとしての変化の激しさを評価し、その程度を示す数値を求める。そして、この数値を「音の態様に関する大小表現可能なパラメータ」とするのである。また、曲断片の時間領域での波形の複雑さの程度を示す数値を求め、「音の態様に関する大小表現可能なパラメータ」とすることが考えられる。これらのパラメータは、曲断片の音数と同様に、音の複雑さの程度を大小表現するものである。従って、これらのパラメータを各曲断片データについて求め、各曲断片データのメニューをこれらのパラメータの順に表示させた場合には、上記実施形態と同様、ユーザは所望の曲断片データを容易に探し出すことができる。

（６）音の態様に関する大小表現可能なパラメータとして、曲断片における低域エネルギーの割合を採用してもよい。ここで、低域のエネルギーの割合としては、曲断片における概ね４００Ｈｚ以下の成分のパワーを求め、これを曲断片の全周波数帯域に亙るパワーで除したものを用いると、聴感によく合う結果が得られて好ましい。この態様によれば、低域のエネルギーの割合の少ない軽い印象の曲断片から低域の豊かな重い印象の曲断片へという順に曲断片データを示すメニューが表示される。従って、ユーザは、所望の軽重を持った曲断片データを選択することができ、軽重を対比させた興趣に富んだ楽曲データを合成することが可能となる。

（７）音の態様に関する大小表現可能なパラメータとして、曲断片に含まれる低域のオンセットの密度を採用してもよい。この場合、バスドラム音のスペクトルが属する概ね４００Ｈｚ以下の低域成分を曲断片から抽出し、曲断片を通じて、この低域成分中のスペクトルピークのオンセット（立ち上がり）回数を計数し、オンセットの密度を求めるのが好ましい。そして、このオンセットの密度の低い順に曲断片データのメニューを表示する。この態様によれば、バスドラムがまったくない曲断片から連打されている曲断片の順に曲断片データのメニューが表示されることになる。従って、ユーザは、メニュー表示された曲断片データの静かさと激しさを直感的に把握することができ、所望の静けさまたは激しさを持った曲断片データを選択して、静けさと激しさの変化に富んだ楽曲データを合成することが可能となる。なお、オンセット検出のための手段としては、例えば特許文献１に開示されている方法等の公知の手法を適用可能である。

この発明の一実施形態である楽曲制作装置の構成を示すブロック図である。 同実施形態における分割部１０１、音数評価部１０２および表示制御部１０３の処理内容を示す図である。 同実施形態における合成部１０４の処理内容を示す図である。 同実施形態において小節線タイミングを決定するために利用するコードシーケンスの解析方法を示す図である。 同実施形態において行われる曲断片データの拍タイミングの調整を示す図である。 他の実施形態において行われる曲断片データのループ再生を示す図である。 他の実施形態において行われる曲断片データのループ再生を示す図である。

符号の説明

１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、５……インタフェース群、６……ＨＤＤ、７……ＲＡＭ、８……サウンドシステム、９……ＭＩＤＩ音源、６１……楽曲制作プログラム、６２……楽曲データ、１０１……分割部、１０２……音数評価部、１０３……表示制御部、１０４……合成部。

Claims (4)

1. 操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、
   前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段と、
   前記楽曲データから得られた各曲断片データを示すメニューを各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、
   前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
   を具備することを特徴とする楽曲制作装置。
2. 前記操作手段の操作により複数曲の楽曲データが処理対象とされた場合に、前記表示制御手段は、複数曲の楽曲データから得られた各曲断片データのメニューを曲毎に並べ、かつ、１つの曲の楽曲データから得られた各曲断片データのメニューが各曲断片データから得られた各パラメータに応じた順に並ぶように、複数曲の楽曲データから得られた各曲断片データのメニューを２次元表示させることを特徴とする請求項１に記載の楽曲制作装置。
3. テンポの異なった複数の楽曲データから得られた各曲断片データについて、あるテンポを持った曲断片データの拍のタイミングに他のテンポを持った曲断片データの拍のタイミングを合わせるタイミング調整手段を具備し、前記合成手段は、前記タイミング調整手段の処理を経た曲断片データを用いて楽曲データを合成することを特徴とする請求項１または２に記載の楽曲制作装置。
4. コンピュータを、
   操作手段の操作により処理対象とされた楽曲データを解析して小節線タイミングを検出し、前記小節線タイミングにおいて前記楽曲データを分割して、複数の曲断片データを生成する分割手段と、
   前記曲断片データが示す曲断片について音の態様に関する大小表現可能なパラメータの評価を行い、評価結果を出力する評価手段と、
   前記楽曲データから得られた各曲断片データを示すメニューを各曲断片データから得られた各パラメータに応じた順に表示手段に表示させる表示制御手段と、
   前記表示手段にメニューとして表示された曲断片データを選択する操作手段の操作と曲断片データの時間軸上の位置を指示する操作手段の操作を検知し、前記操作手段の操作により選択された曲断片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
   して機能させることを特徴とするコンピュータプログラム。

Images