JP2010008821A - 曲編集支援装置およびプログラム - Google Patents

曲編集支援装置およびプログラム Download PDF

Info

Publication number
JP2010008821A
JP2010008821A JP2008169657A JP2008169657A JP2010008821A JP 2010008821 A JP2010008821 A JP 2010008821A JP 2008169657 A JP2008169657 A JP 2008169657A JP 2008169657 A JP2008169657 A JP 2008169657A JP 2010008821 A JP2010008821 A JP 2010008821A
Authority
JP
Japan
Prior art keywords
feature
music
data
sample
beat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008169657A
Other languages
English (en)
Other versions
JP5217687B2 (ja
Inventor
Sebastian Streich
セバスチャン シュトライヒ
Bee Suan Ong
ビースァン オン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2008169657A priority Critical patent/JP5217687B2/ja
Publication of JP2010008821A publication Critical patent/JP2010008821A/ja
Application granted granted Critical
Publication of JP5217687B2 publication Critical patent/JP5217687B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】楽曲素材を繋ぎ合わせて曲編集を行う際の編集作業を容易にする。
【手段】特徴分布画面のマークcf−kと対応するフレーズパターンpp−kの再生を指示する素材選択操作を行うたびに、CPU12は、ループ再生処理を実行するタスクである再生処理タスクを立ち上げ、複数の再生処理タスクを並列して実行する。1つの再生処理タスクにおけるループ再生処理において、CPU12は、拍信号発生部15が拍信号を発生するたびに、サンプルの読み出し位置をその音波形データにおける後方の拍点サンプルへとシフトしつつ、読み出し位置となった拍点サンプル以後のサンプルの各々をクロック信号と同期してサウンドシステム19へ1つずつ出力する。同期指示操作を行うと、CPU12は、サンプルの読み出し位置を最初の拍点サンプルへとシフトし、最初の拍点サンプル以後のサンプルの各々の出力を改めて開始する。
【選択図】図8

Description

本発明は、複数の楽曲素材を組み合わせた楽曲の編集を支援する技術に関する。
曲編集に関する技術として、オーディオモザイキングと呼ばれる技術がある。このオーディオモザイキング技術では、数小節程度の比較的短い楽曲素材を集めてデータベースを構成する。そして、このデータベースの中から所望の楽曲素材を選択し、選択した楽曲素材の音波形を時間軸上においてオーバーラップするように繋ぎ合わせ、新規な楽曲を編集する。なお、この種の技術に関する文献として、例えば、特許文献1や、非特許文献1,2,3がある。
国際公開第WO2007/044389号パンフレット UPF,ミュージックサーファーシミラリティーマップ、[平成20年5月13日検索]、インターネット<URL:http://musicsurfer.iua.upf.edu/help/html/Music_Surfer-Similarity_Maps.html> Andreas Rauber、PlaySOM、[平成20年5月13日検索]、インターネット<http://www.ifs.tuwien.ac.at/mir/playsom.html> Steinberg,MediaBay[平成20年5月13日検索]、インターネット<http://www.steinberg.net/1419+M52087573ab0.html>
ところで、オーディオモザイキング技術におけるデータベースには、強拍→弱拍→弱拍で1小節を構成する「3拍子」や、強拍→弱拍→中弱拍→弱拍で1小節を構成する「4拍子」などといった、様々な拍子の楽曲素材が集められている。そして、楽曲を編集する編集者は、それらの中から相性の良さそうな同じ拍子の複数の楽曲素材を1つずつ選んで再生させ、それらの再生音の奏でるハーモニーが自らの曲想にマッチするかどうかを吟味する、という作業を繰り返していく。
しかしながら、従来のオーディオモザイキング技術の場合、データベースから選んだ複数の楽曲素材の再生音の拍を再生開始後に同期させることができなかった。よって、利用者が、楽曲素材の再生を指示する操作を連続して行った場合、先に再生を指示したものの再生音と後に再生を指示したものの再生音の拍の強弱が揃わず、楽曲の編集がうまくいかない、という問題があった。
本発明は、このような背景の下に案出されたものであり、楽曲素材を繋ぎ合わせて曲編集を行う際の編集作業を容易にした曲編集支援装置およびプログラムを提供することを目的とする。
本発明は、楽曲素材を選択する素材選択操作、および前記素材選択操作によって選択した楽曲素材の拍の同期を指示する同期指示操作を検出する検出手段と、前記検出手段が前記素材選択操作を検出するたびに、当該素材選択操作によって選択された楽曲素材を再生する個別の再生処理タスクを立ち上げ、立ち上げた再生処理タスクを並行して実行する手段であって、前記検出手段が前記同期指示操作を検出した時点において複数の再生処理タスクを実行している場合に、それらの再生処理タスクの再生音の拍が同期するように、その時点において実行している複数の再生処理タスクの実行態様を制御する再生処理制御手段とを具備する曲編集支援装置を提供する。
この発明によると、再生処理制御手段は、複数の再生処理タスクを実行している間に同期指示操作が行われると、それらの複数の再生処理タスクにおける再生音の拍が同期するように、その時点において実行している複数の再生処理タスクの実行態様を制御する。よって、利用者が先に再生を指示したものの再生音と後に再生を指示したものの再生音の拍の強弱が揃わず、楽曲の編集がうまくいかない、という不都合が回避され、楽曲の編集作業を容易にすることができる。
以下、図面を参照し、この発明の実施の形態を説明する。
図1は、この発明の実施形態である曲編集支援装置の構成を示すブロック図である。この曲編集支援装置は、強拍→弱拍で1小節を構成する「2拍子」、強拍→弱拍→弱拍で1小節を構成する「3拍子」、および強拍→弱拍→中弱拍→弱拍で1小節を構成する「4拍子」などの様々な拍子のフレーズの各種パターンpp−k(k=1,2…M:「フレーズパターンpp−k」と記す)を楽曲素材ファイル21−k(k=1,2…M)としてハードディスク20に記憶する。そして、曲編集支援装置は、それらのフレーズパターンpp−kを任意に繋ぎ合せた楽曲の編集を支援する画面(「編集支援画面」という)を表示部16に表示させ、その編集支援画面を通じて選択されたフレーズパターンpp−kを再生する。利用者は、この曲編集支援装置によるフレーズパターンpp−kの再生音を聴取しながら、複数のフレーズパターンpp−kを時間軸上でオーバーラップするように繋ぎ合せたり、それらを時間軸に沿って連続して繋ぎ合せていくことにより、所望の楽曲を編集する。
図1において、クロック11は、周波数fのクロック信号を発生する。CPU12は、この曲編集支援装置の各部を制御する制御中枢である。ROM13は、IPL(Initial Program Loader)などを記憶した読み出し専用メモリである。RAM14は、CPU12にワークエリアを提供する。拍信号発生部15は、CPU12による指示の下、楽曲素材ファイル21−kを再生する際の拍の間隔を決定づける信号(「拍信号」という)を周期的に発生する。表示部16は、各種情報を表示するための装置であり、ディスプレイとその駆動回路により構成されている。
マウス17は、表示部16の表示領域内におけるマウスカーソルmcの移動、左クリック、および右クリックを指示する操作を受け付け、その操作に応じた信号を発生する。このマウス17によって発生される信号は、CPU12によって取り込まれる。
インターフェース群18は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやCD−ROMなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。
サウンドシステム19は、音波形のサンプル列であるデジタル音声信号をアナログ音声信号に変換するD/A変換器や、このアナログ音声信号を増幅するアンプ、アンプの出力信号を音として出力するスピーカなどにより構成されている。
ハードディスク20は、楽曲素材ファイル21−k(k=1,2…M)、特徴データファイル22、ディスクリプタファイル23、BPM(Beat Per Minute)データファイル24、制御プログラム25を記憶する。
楽曲素材ファイル21−k(k=1,2…M)は、音波形データを有するファイルである。音波形データは、ある小節数分(たとえば、4小節分)のフレーズパターンpp−k(k=1,2…M)の音波形を示すデータである。この音波形データは、以下のようにして取得される。まず、各フレーズパターンpp−k(k=1,2…M)を、所望のテンポ(拍/分)で演奏し、その演奏音を収録する。次に、各フレーズパターンpp−k(k=1,2…M)の演奏音を収録した音波形を、クロック11のものと同じ周波数fのサンプリングレートでサンプリングし、サンプル列を生成する。さらに、その生成したサンプル列における拍点に相当する位置のサンプル(適宜「拍点サンプル」という)に、拍点のものであることを示すビット(「拍点ビット」という)をそれぞれ付加する。
特徴データファイル22は、特徴データC(k、i)(k=1,2…M、i=1,2…N)を有するファイルである。これらの特徴データC(k、i)(k=1,2…M、i=1,2…N)の各々は、たとえば、音色やハーモニー、拍子などといったような、フレーズパターンpp−k(k=1,2…M)の特徴を示すベクトルデータである。たとえば、あるフレーズパターンpp−1の特徴を示すN個の特徴データC(1、i)(i=1,2…N)群は、そのフレーズパターンpp−1の音波形データをなす一連のサンプルを、個別の特徴を解析するN個の解析アルゴリズムに従ってそれぞれ解析することによって得られたものである。
ディスクリプタファイル23は、ディスクリプタデータを有するファイルである。ディスクリプタデータは、特徴データC(k、i)(k=1,2…M、i=1,2…N)が示す特徴の種類(「特徴1」,「特徴2」…「特徴N」)を示すデータである。
BPMデータファイル24は、BPMデータB−k(k=1,2…M)を有するファイルである。BPMデータB−k(k=1,2…M)は、フレーズパターンpp−k(k=1,2…M)のリズムである1分あたりの拍数を示すデータである。これらのBPMデータB−k(k=1,2…M)は、フレーズパターンpp−k(k=1,2…M)の音波形から楽曲素材ファイル21−k(k=1,2…M)を取得した際に、併せて得られたものである。
制御プログラム25は、編集支援画面の表示、その編集支援画面の表示内容の切り換え、およびその編集支援画面を通じて選択された一または複数のフレーズパターンpp−kの再生のための処理を、CPU12に実行させるプログラムである。
図2は、編集支援画面を示す図である。図2に示すように、編集支援画面は、第1GUI(Graphical User Interface)領域31と第2GUI領域32とを有する。第1GUI領域31は、特徴入力欄33−j(j=1,2)、トラックバー35、ボタン36を有する。
特徴入力欄33−j(j=1,2)は、特徴データC(k、i)(k=1,2…M、i=1,2…N)におけるN個の特徴の種類(「特徴1」,「特徴2」…「特徴N」)のうち任意のものを選択するためのGUIである。特徴入力欄33−1の右には「X軸」の文字が、特徴入力欄33−2の右には「Y軸」の文字がそれぞれ記されている。
トラックバー35は、フレーズパターンpp−kの再生のテンポを指定するためのGUIである。このトラックバー35の軸目盛37上にはつまみ38が配されている。また、軸目盛37の上端の右には「Fastest(120拍/分)」の文字が、軸目盛37の下端の右には「Slowest(60拍/分)」の文字が、両者からほぼ同じ距離だけ離れた中央には「Medium(90拍/分)」の文字がそれぞれ記されている。
ボタン36は、第2GUI領域32内への特徴分布画面の表示を指示するためのGUIである。このボタン36には「リドロー」の文字が記されている。特徴分布画面は、第2GUI領域32の左端から右端に至るx座標軸上の位置を示す座標値x(0≦x≦255)と、その上端から下端に至るy座標軸上の位置を示す座標値y(0≦y≦255)との対によって位置決めされる当該第2GUI領域32内の各位置に、フレーズパターンpp−k(k=1,2…M)のテンポ(拍/分)に応じた径サイズの円状のマークcf−k(k=1,2…M)を配した画面である。この特徴分布画面の詳細は、後述する。
利用者は、図2に示す画面が表示部16に表示されると、特徴選択操作、トラックバー調整操作、およびボタン選択操作を行うことができる。
特徴選択操作では、利用者は、所望の特徴入力欄33−jにマウスカーソルmcを移動させて左クリックする。CPU12は、左クリックされた時のマウスカーソルmcの位置が特徴入力欄33−j上であったことを検出すると、ハードディスク20に記憶されているディスクリプタファイル23が示す特徴の種類(「特徴1」,「特徴2」,…「特徴N」)を並べて表示させる。利用者は、これらの特徴のうちのいずれかにマウスカーソルmcを移動させて再び左クリックする。CPU12は、左クリックされた時のマウスカーソルmcの位置が特徴の種類上であったことを検出すると、その種類を選択された種類として決定するとともに、その種類の名称を特徴入力欄33−j内に表示させる。
トラックバー調整操作では、利用者は、トラックバー35のつまみ38にマウスカーソルmcを移動させて左クリックし、左クリックした状態のままマウスカーソルmcを上または下に移動させ、マウスカーソルmcを軸目盛37上の所望の位置まで移動させたところで左クリックを解除する。CPU12は、マウスカーソルmcがつまみ38上にある時に左クリックされ、且つ左クリックが解除されないままマウスカーソルmcが移動したことを検出すると、そのつまみ38の位置をマウスカーソルmcに追随して移動させる。
ボタン選択操作では、利用者は、ボタン36にマウスカーソルmcを移動させて左クリックする。CPU12は、左クリックされた時のマウスカーソルmcの位置がボタン36上であったことを検出すると、特徴分布表示処理を実行する。特徴分布表示処理は、特徴分布画面を第2GUI領域32内に表示させる処理である。この処理は、制御プログラム25の働きにより、CPU12が実行するものである。
図3は、特徴分布表示処理を示すフローチャートである。
図3において、CPU12は、左クリックされた時のマウスカーソルmcの位置がボタン36上であったことを検出すると、ハードディスク20に記憶された特徴データファイル22とBPMデータファイル24をRAM14に読み出した後(S100)、ファイル選択ダイアログ画面を第2GUI領域32内に表示させる(S110)。ファイル選択ダイアログ画面は、各フレーズパターンpp−k(k=1,2…M)の楽曲素材ファイル21−k(k=1,2…M)のファイル名を並べた画面である。
利用者は、このファイル選択ダイアログ画面が表示されると、基準素材選択操作を行うことができる。
基準素材選択操作では、利用者は、ファイル選択ダイアログ画面における、所望のフレーズパターンpp−kの楽曲素材ファイル21−kのファイル名にマウスカーソルmcを移動させ、左クリックする。
CPU12は、左クリックされた時のマウスカーソルmcの位置がファイル名上であったことを検出すると(S120:Yes)、拍信号発生部15による拍信号の発生を開始させる(S130)。より詳細には、CPU12は、軸目盛37上のつまみ38の位置が示すテンポ(拍/分)を特定し、そのテンポを拍信号の発生時間間隔(msec/1拍)に換算し、その発生時間間隔を示す指示信号を拍信号発生部15へ出力する。拍信号発生部15は、指示信号を取得すると、クロック11により発生されるクロック信号のカウント数によってその指示信号が示す発生時間間隔を計り、その発生時間間隔が過ぎるたびに拍信号を発生する。図3におけるステップS120が「No」である場合、CPU12は、ステップS130に進むことなく、ステップS120に戻る。
、次に、CPU12は、特徴入力欄33−1に特徴の種類が入力されているか否か判断する(S140)。そして、CPU12は、特徴入力欄33−1に特徴の種類が入力されている場合(S140:Yes)、特徴データC(k、i)(k=1,2…M、i=1,2…N)のうち特徴選択操作によって特徴入力欄33−1へ入力された種類のものを、第2GUI領域32の左端から右端に至るx座標軸上の位置を示す座標値x(0≦x≦255)に変換する(S150)。
このステップS150では、CPU12は、まず、RAM14の特徴データファイル22から、特徴選択操作によって特徴入力欄33−1へ入力された種類(例えば、特徴1とする)の特徴データC(k、1)(k=1,2…M)群を抽出する。次に、それらの特徴データC(k、1)(k=1,2…M)群のうちから、基準素材選択操作によって選択されたフレーズパターンpp−k(例えば、フレーズパターンpp−1とする)の特徴データC(1、1)を選び、この特徴データC(1、1)を第2GUI領域32のx座標軸における左端の座標値xである「0」に変換し、特徴データC(k、1)(k=2…M)の各々をそれよりも右の座標値xである「1」〜「255」のいずれかに変換する。具体的には、フレーズパターンpp−1のものを含む特徴データC(k、1)(k=1,2…M)の各々を、特徴データC(1、1)との間の類似度を示す特徴類似度データC−similarityに変換し、それらの特徴類似度データC−similarityを座標値xに変換する。特徴データC(k、1)(k=1,2…M)から特徴類似度データC−similarityへの変換は、それらの各々と特徴データC(1、1)との間のユークリッド距離を基に行うとよい。また、特徴類似度データC−similarityから座標値xへの変換は、特徴類似度データC−similarityの各々、およびそれらの特徴類似度データC−similarityのうちの最大値CMAXと最小値CMINを下記式に入力することによって行うとよい。

=|255×{((C−similarity)−CMIN)/(CMAX−CMIN)}−255| …(1)
ステップS140において、特徴入力欄33−1に特徴の種類が入力されていない場合(S140:No)、CPU12は、ステップS150を実行することなく、次のステップへ進む。
次に、CPU12は、特徴入力欄33−2に特徴の種類が入力されているか否か判断する(S160)。そして、CPU12は、特徴入力欄33−2に特徴の種類が入力されている場合(S160:Yes)、特徴データC(k、i)(k=1,2…M、i=1,2…N)のうち特徴選択操作によって特徴入力欄33−2へ入力された種類のものを、第2GUI領域32の上端から下端に至るy座標軸上の位置を示す座標値y(0≦y≦255)に変換する(S170)。
このステップS170では、CPU12は、まず、RAM14の特徴データファイル22から、特徴選択操作によって特徴入力欄33−2へ入力された種類(例えば、特徴2とする)の特徴データC(k、2)(k=1,2…M)群を抽出する。次に、それらの特徴データC(k、2)(k=1,2…M)群のうちから、基準素材選択操作によって選択されたフレーズパターンpp−k(例えば、フレーズパターンpp−1とする)の特徴データC(1、2)を選び、この特徴データC(1、2)を第2GUI領域32のy座標軸における上端の座標値yである「0」に変換し、特徴データC(k、2)(k=2…M)の各々をそれよりも下の座標値yである「1」〜「255」のいずれかに変換する。具体的には、フレーズパターンpp−1のものを含む特徴データC(k、2)(k=1,2…M)の各々を、特徴データC(1、2)との間の類似度を示す特徴類似度データC−similarityに変換し、それらの特徴類似度データC−similarityを座標値yに変換する。特徴データC(k、2)(k=1,2…M)から特徴類似度データC−similarityへの変換は、それらの各々と特徴データC(1、2)との間のユークリッド距離を基に行うとよい。また、特徴類似度データC−similarityから座標値yへの変換は、特徴類似度データC−similarityの各々、およびそれらの特徴類似度データC−similarityのうちの最大値CMAXと最小値CMINを下記式に入力することによって行うとよい。

=|255×{((C−similarity)−CMIN)/(CMAX−CMIN)}−255| …(2)
ステップS160において、特徴入力欄33−2に特徴の種類が入力されていない場合(S160:No)、CPU12は、ステップS170を実行することなく、次のステップへ進む。
CPU12は、第2GUI領域32に特徴分布画面を表示させる(S180)。このステップS180では、CPU12は、RAM14のBPMデータファイル24におけるBPMデータB−k(k=1,2…M)を、各々が示すテンポ(拍/分)の速さに応じた大きさの径サイズを示すサイズ値sにそれぞれ変換する。次に、CPU12は、それらのサイズ値sが示す径サイズのマークcf−k(k=1,2…M)をステップS150で求めたx座標値とステップS170で求めたy座標値とにより位置決めされる第2GUI領域32内の位置に配した画面を描画し、その画面を特徴分布画面として第2GUI領域32に表示させる。
図4は、特徴入力欄33−1,33−2に特徴の種類(特徴1,特徴2)が入力された場合において表示される特徴分布画面を示す図である。この特徴分布画面における左上隅のマークcf−kは、基準素材選択操作によって選択されたフレーズパターンpp−kに対応し、残りのマークcf−kは、基準素材選択操作によって選択されたもの以外のフレーズパターンpp−kに対応する。また、テンポ(拍/分)の速いフレーズパターンpp−kのマークcf−kであるほど、その径サイズは大きくなる。
利用者は、第2GUI領域32に特徴分布画面が表示されると、素材選択操作、同期指示操作、および停止指示操作を行うことができる。素材選択操作は、特徴分布画面の所望のマークcf−kを選んでそのマークcf−kに対応するフレーズパターンpp−kを再生させる操作である。同期指示操作は、複数のフレーズパターンpp−kが再生されている場合において、それらのフレーズパターンpp−kの拍を同期させる操作である。停止指示操作は、再生中のフレーズパターンpp−kの再生を停止させる操作である。
図5に示すように、素材選択操作では、利用者は、所望のマークcf−kにマウスカーソルmcを移動させて左クリックする。利用者は、あるマークcf−kにマウスカーソルmcを移動させて左クリックした後、別のマークcf−kにマウスカーソルmcを移動させて再び左クリックする、という要領で、素材選択操作を連続して行うことができる。CPU12は、左クリックされた時のマウスカーソルmcの位置がマークcf−k上であったことを検出すると、そのマークcf−kを囲む円を表示させるとともに、再生処理タスクを立ち上げ、立ち上げた再生処理タスクを実行する。また、CPU12は、ある再生処理タスクを立ち上げた後、次に左クリックされた時のマウスカーソルmcの位置が別のマークcf−k上であったことを検出すると、別の再生処理タスクを立ち上げ、以降はそれらの複数の再生処理タスクを並行して実行する。再生処理タスクは、ループ再生処理を実行するタスクであり、制御プログラム25の働きによって、CPU12が実行するものである。
ある1つの再生処理タスクにおけるループ再生処理において、CPU12は、該当の楽曲素材ファイル21−kをRAMに確保した領域(「ファイル記憶領域」という)に読み出す。その上で、CPU12は、拍信号発生部15が拍信号を発生するたびに、サンプルの読み出し位置をその楽曲素材ファイル21−kの音波形データにおける後方の拍点サンプルへとシフトしつつ、読み出し位置となった拍点サンプル以後のサンプルの各々をクロック信号と同期してサウンドシステム19へ1つずつ出力し、読み出し位置を最後の拍点サンプルへシフトした後に拍信号が発生するとその位置を最初のものへと戻す、という処理を、以下に示す2つのルールに従って繰り返す。
a.ある拍点サンプルからその次の拍点サンプルの前までのサンプルの出力を終えるよりも前に次の拍信号が発生した場合は、未出力のサンプルを出力することなく、次の拍点サンプル以後のサンプルの出力に移る。
b.ある拍点サンプルからその次の拍点サンプルの前までのサンプルの出力を終えてから次の拍信号の発生までの間にクロック信号が発生した場合は、クロック信号と同期して「0」のサンプルを出力する。
ここで、上述したように、音波形データは、各フレーズパターンpp−k(k=1,2…M)を所望のテンポで演奏し、その収録音の音波形から得られたものである。
よって、ループ再生するフレーズパターンpp−kの収録時のものと同じ速さのテンポがトラックバー35によって指定されている場合は、図6(A)に示すように、その音波形データにおける各拍点サンプルから各々の次の拍点サンプルの前までのサンプル(たとえば、このサンプル数を「r個」とする)の出力に要する時間と拍信号の発生時間間隔とが等しくなるため、上述のルールa、bは適用にならない。
これに対し、ループ再生するフレーズパターンpp−kの収録時のものよりも速いテンポがトラックバー35によって指定されている場合、図6(B)に示すように、その音波形データにおけるr個のサンプルの出力に要するクロック信号r個分の時間よりも、拍信号の発生時間間隔が短くなる。この場合は、上述のルールaが適用になる。つまり、CPU12は、ある拍点サンプルを先頭とするr個のサンプルを出力している間に拍信号が発生すると、その時点における未出力のサンプルの出力を行うことなく、次の拍点サンプルを先頭とするr個のサンプルの出力に移る。この結果、フレーズパターンpp−kを拍点ごとにスキップ再生させているかのような聴感が得られる。
また、ループ再生するフレーズパターンpp−kの収録時のものよりも遅いテンポがトラックバー35によって指定されている場合、図6(C)に示すように、その音波形データにおけるr個のサンプルの出力に要するクロックr個分の時間よりも、拍信号の発生時間間隔が長くなる。この場合は、上述のルールbが適用になる。つまり、CPU12は、ある拍点サンプルを先頭とするr個のサンプルを出力し終えてから次の拍信号が発生するまでの間、「0」のサンプルを出力する。この結果、フレーズパターンpp−kを1拍毎に区切りながら再生させているかのような聴感が得られる。
利用者は、素材選択操作を連続して行うことにより、基準素材選択操作によって選択したものを含む同じ拍子の複数のフレーズパターンpp−kをループ再生させた状態で、同期指示操作を行う。同じ拍子のフレーズパターンpp−kは、たとえば、特徴入力欄33−1,33−2の一方に「拍子」と入力した上で特徴分布画面を表示させ、その特徴分布画面におけるマークcf−k(k=1、2…M)の配置を参考にして探し出すようにするとよい。
図7に示すように、同期指示操作では、利用者は、特徴分布画面内におけるマークcf−kのない位置にマウスカーソルmcを移動させて左クリックする。
CPU12は、左クリックされた時のマウスカーソルmcの位置が、特徴分布画面内におけるマークcf−kのない位置であったことを検出すると、拍信号発生部15による次の拍信号の発生を待つ。そして、次の拍信号が発生されると、RAM14の各ファイル記憶領域の楽曲素材ファイル21−kの各々におけるサンプルの読み出し位置を最初の拍点サンプルへとシフトし、最初の拍点サンプル以後のサンプルの各々の出力を改めて開始する。よって、たとえば、図8に示すように、4拍子の3つのフレーズパターンpp−1、pp−2、pp−3が1小節あたり1拍分の時間差をもって再生されている場合において、同期指示操作が行われると、以降は、3つのフレーズパターンpp−1、pp−2、pp−3の各小節における、強拍→弱拍→中弱拍→弱拍のタイミングがすべて揃って再生される。
利用者は、同期指示操作を行い、以後にサウンドシステム19から出力される再生音を聴取する。そして、その再生音である楽曲が、自らの曲想にマッチしない場合、停止指示操作を行った後、上述した素材選択操作と同期指示操作を改めて行う。
図9に示すように、停止指示操作では、利用者は、円により囲まれたマークcf−k、つまり、素材選択操作によって再生を指示したマークcf−kにマウスカーソルmcを移動させて再び左クリックする。
CPU12は、左クリックされた時のマウスカーソルmcの位置が、再生中であるフレーズパターンpp−kのマークcf−k上であったことを検出すると、そのマークcf−kに対応するフレーズパターンpp−kの再生を停止する。
以上説明した本実施形態では、利用者が、特徴入力欄33−j(j=1,2)に所望の特徴の種類を入力する種類入力操作を行った後、ボタン36を選択するボタン選択操作を行い、続いて表示されるファイル選択ダイアログ画面において基準素材選択操作を行うと、CPU12は、特徴分布画面を表示させる。この特徴分布画面は、基準素材選択操作によって選択したフレーズパターンpp−kの特徴を示す左上隅のマークcf−kと、その他のフレーズパターンpp−kの特徴を示す複数のマークcf−kとを配した構成になっている。そして、CPU12は、この特徴分布画面における左上隅のもの以外のマークcf−kの位置を、基準素材選択操作によって選択したフレーズパターンpp−kとそれ以外のフレーズパターンpp−kとの間の特徴の類似度を示す特徴類似度データC−similarityを変換した座標値x,yにより決定する。よって、利用者は、この特徴分布画面における左上隅のマークcf−kと他のマークcf−kとの間の距離を頼りに、基準素材選択操作によって選択したものとの相性が良さそうな別のフレーズパターンpp−kを探すことができる。
また、本実施形態では、利用者が、特徴分布画面のマークcf−kと対応するフレーズパターンpp−kの再生を指示する素材選択操作を行うたびに、その操作によって再生が指示されたフレーズパターンpp−kのループ再生が開始される。さらに、利用者が、複数のフレーズパターンpp−kがループ再生されている場合において同期指示操作を行うと、次の拍信号の発生に合わせてそれらのループ再生が改めて実行される。よって、利用者が、複数のフレーズパターンpp−kを選んでループ再生させた場合において、それらのフレーズパターンpp−kのリズムを形成する、強拍、弱拍、中弱拍などのタイミングが揃わず、それらをオーバーラップするように繋ぎ合せた楽曲の曲調を把握できない、という不都合が回避される。
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記実施形態のループ再生処理において、CPU12は、音波形データにおける各拍点サンプルから各々の次の拍点サンプルの前までのr個のサンプルの出力に要する時間よりも拍信号の発生時間間隔の方が長い場合や短い場合、そのr個のサンプルに公知のリサンプリング処理やタイムストレッチ処理を施すことによって、拍信号の発生時間間隔に相当する数のサンプル列を求め、それらのサンプル列をクロック信号と同期して1つずつ出力するようにしてもよい。リサンプリング処理では、CPU12は、元のr個のサンプルが示す音波形を拍信号の発生時間間隔と同じ長さまで伸縮した音波形をなすサンプルを、補間により求める。一方、タイムストレッチ処理では、CPU12は、元のr個のサンプルの一次微分値などを参照することにより、そのr個のサンプルが示す音波形における振幅の安定した区間を特定する。そして、拍信号の発生時間間隔の方が長い場合は、その区間から1周期分のサンプルを切り出し、切り出したサンプルの複製を、必要な分だけ挿入する。また、拍信号の発生時間間隔の方が短い場合は、その区間から必要な周期分のサンプルを削除する。
(2)上記実施形態において、楽曲素材ファイル21−k(k=1,2…M)の音波形データにおける拍点サンプルには、拍点ビットが付加されていた。しかし、楽曲素材ファイル21−k(k=1,2…M)のヘッダに、そのファイルの音波形データが何拍分のものであるかを示す拍数データを記述しておいてもよい。この場合におけるループ再生処理において、CPU12は、音波形データの先頭から末尾までのサンプル数をその拍数データが示す拍数で除することによって1拍分に相当するサンプル数を求め、音波形データにおいてその数だけ離れた各サンプルを拍点サンプルとして取り扱うようにするとよい。また、楽曲素材ファイル21−k(k=1,2…M)のヘッダに、そのファイルの音波形データの音を収録したときのテンポ(拍/分)を示すテンポデータを記述しておいてもよい。この場合におけるループ再生処理において、CPU12は、音波形データから最初の1分間のものに相当するサンプル列を切り出し、切り出したサンプル列のサンプル数をテンポデータが示すテンポ(拍/分)で除することによって1拍分に相当するサンプル数を求め、音波形データにおいてその数だけ離れた各サンプルを拍点サンプルとして取り扱うようにするとよい。また、ヘッダに拍数データやテンポデータを記述することなく、音波形データをなすサンプル列を予め設定された数に分割し、分割した境界に位置するサンプルを拍点サンプルとして取り扱うようにしてもよい。
(3)上記実施形態において、CPU12は、特徴類似度データC−similarityを、特徴データC(k、i)(k=1,2…M、i=1,2…N)間のコサイン角のような、他の類似指標を示す値を基に求めてもよい。
(4)上記実施形態において、マウス17の代わりにトラックボールなどの他のポインティングデバイスを有し、CPU12は、このポインティングが出力する信号を基に、各種操作が行われたことを検出してもよい。
(5)上記実施形態における編集支援画面の第1GUI領域31のレイアウトは任意に変更してもよい。たとえば、プルダウンメニューの代わりにソフトウェアキーボードを表示させ、このソフトウェアキーボードによって特徴入力欄33−j(j=1,2)への特徴の種類の入力を行うようにしてもよい。また、第1GUI領域31に、「シンクロナイズ」と記されたボタンを配し、CPU12は、左クリックされた時のマウスカーソルmcの位置がこのボタン上であったことを検出すると、ループ再生処理を改めて実行し直すようにしてもよい。
(6)上記実施形態において、CPU12は、同期指示操作が行われたことを検出したときに、楽曲素材ファイル21−kの各々におけるサンプルの読み出し位置を最初の拍点サンプルへとシフトした。しかし、CPU12は、同期指示操作が行われたことを検出したときに、楽曲素材ファイル21−kの各々における次の小節の最初の拍点サンプルへと読み出し位置をシフトさせてもよい。この実施形態は、楽曲素材ファイル21−kの音波形データにおける拍点サンプルのうち「強拍」のものだけに、小節の最初の拍であることを示すビットを付加しておくことにより実現できる。要するに、同期指示操作を検出した時点において複数の再生処理タスクを実行している場合に、それらの再生処理タスクの再生音の拍が同期するように、その時点において実行している複数の再生処理タスクの実行態様を制御するようにさえなっていればよい。
(7)上記実施形態において、CUP12は、基準素材選択操作によって選択されたフレーズパターンpp−kのマークcf−kを第2GUI領域32内の左上隅に配した特徴分布画面を描画した。しかし、基準素材選択操作によって選択されたフレーズパターンpp−kのマークcf−kを第2GUI領域32内の中心に配した特徴分布画面を描画してもよい。この場合において、CPU12は、基準素材選択操作によって選択されたフレーズパターンpp−kの特徴データC(k、i)(k=1,2…M、i=1,2…N)との類似度を示す正または負の特徴類似度データC−similarityを求め、この特徴類似度データC−similarityを基に残りのマークcf−kの位置を決めるようにするとよい。また、CUP12は、フレーズパターンpp−k(k=1,2…M)ごとの3つの種類の特徴データC(k、i)(k=1,2…M、i=1,2…N)を示すマークcf−k(k=1,2…M)を3次元座標系にそれぞれ配した特徴分布画面を描画してもよい。
(8)上記実施形態において、ある基準となるテンポ(例えば、90拍/分)ですべての各フレーズパターンpp−kを演奏して各々の演奏音を収録し、同じテンポの楽曲素材ファイル21−k(k=1,2…M)をハードディスク20に記憶させておくようにしてもよい。
(9)上記実施形態において、CPU12は、特徴分布画面における各フレーズパターンpp−k(k=1,2…M)のマークcf−k(k=1,2…M)の径サイズを、それらのテンポ(拍/分)に応じた大きさにした。しかし、各フレーズパターンpp−k(k=1,2…M)のマークcf−k(k=1,2…M)の径サイズを、それらの拍子(2拍子、3拍子、4拍子など)に応じた大きさにしてもよい。
(10)上記実施形態において、CPU12は、同じのテンポのフレーズパターンpp−kを示すマークcf−kの色が同じになるように、フレーズパターンpp−k(k=1,2…M)のマークcf−k(k=1,2…M)の表示色をフレーズパターンpp−k(k=1,2…M)のテンポにより変えてもよい。
(11)上記実施形態における制御プログラム25を、WWW(World Wide Web)上のサーバ装置から、パーソナルコンピュータ、PDA(Personal Data Assistance)、携帯電話端末などにダウンロードさせてもよい。また、そのようなプログラムを記憶媒体に記憶させた上で配布するようにしてもよい。
この発明の実施形態である曲編集支援装置の構成を示すブロック図である。 図1の曲編集支援装置の表示部に表示される編集支援画面を示す図である。 図1の曲編集支援装置が実行する特徴分布表示処理を示すフローチャートである。 図1の曲編集支援装置の表示部に表示される特徴分布画面を示す図である。 素材選択操作を示す図である。 4拍子のフレーズパターンの音波形データのループ再生処理の様子を示す図である。 同期指示操作を示す図である。 同期指示操作が行われた場合に曲編集支援装置が実行する処理を示す図である。 停止指示操作を示す図である。
符号の説明
11…クロック、12…CPU、13…ROM、14…RAM,15…拍信号発生部、16…表示部、17…マウス、18…インターフェース群、19…サウンドシステム、20…ハードディスク、21…楽曲素材ファイル、22…特徴データファイル、23…ディスクリプタファイル、24…BPMデータファイル、25…制御プログラム。

Claims (6)

  1. 楽曲素材を選択する素材選択操作、および前記素材選択操作によって選択した楽曲素材の拍の同期を指示する同期指示操作を検出する検出手段と、
    前記検出手段が前記素材選択操作を検出するたびに、当該素材選択操作によって選択された楽曲素材を再生する個別の再生処理タスクを立ち上げ、立ち上げた再生処理タスクを並行して実行する手段であって、前記検出手段が前記同期指示操作を検出した時点において複数の再生処理タスクを実行している場合に、それらの再生処理タスクの再生音の拍が同期するように、その時点において実行している複数の再生処理タスクの実行態様を制御する再生処理制御手段と
    を具備することを特徴とする曲編集支援装置。
  2. 表示手段と、
    各楽曲素材の各々の複数の種類の特徴データを記憶する記憶手段と、
    前記記憶手段に記憶された特徴データのうち第1の種類の特徴データを前記表示手段の表示領域内におけるx座標軸上の位置を示すx座標値に変換するとともに、前記記憶手段に記憶された特徴データのうちの第2の種類の特徴データを前記表示手段の表示領域内におけるy座標軸上の位置を示すy座標値に変換し、各楽曲素材の特徴データを変換したx座標値とy座標値との対によって位置決めされる位置に楽曲素材ごとの特徴を示すマークを配した画面を、前記表示手段に表示させる表示制御手段と
    をさらに具備し、
    前記検出手段は、
    前記画面におけるマークを選択する操作を前記素材選択操作として検出する
    ことを特徴とする請求項1に記載の曲編集支援装置。
  3. 前記検出手段は、
    前記第1の種類と前記第2の種類を選択する特徴選択操作を検出する
    ことを特徴とする請求項2に記載の曲編集支援装置。
  4. 前記検出手段は、
    前記各楽曲素材のうち1つを基準楽曲素材として選択する基準素材選択操作を検出し、
    前記表示制御手段は、
    前記各楽曲素材の各々の前記第1の種類の特徴データを前記基準楽曲素材との間の特徴の類似度を示す特徴類似度データに変換し、それらの特徴類似度データを前記表示手段の表示領域内におけるx座標軸上の位置を示すx座標値に変換するとともに、前記各楽曲素材の各々の前記第2の種類の特徴データを前記基準楽曲素材との間の特徴の類似度を示す特徴類似度データに変換し、それらの特徴類似度データを前記表示手段の表示領域内におけるy座標軸上の位置を示すy座標値に変換する
    ことを特徴とする請求項2または3に記載の曲編集支援装置。
  5. 拍信号を周期的に発生する拍信号発生手段
    をさらに具備し、
    前記記憶手段は、
    楽曲素材の音波形のサンプルの列であって、当該音波形の拍点に相当する位置のサンプルに拍点ビットを付加したデータである音波形データを記憶し、
    前記再生制御手段は、
    前記拍信号発生手段が拍信号を発生するたびにサンプルの読み出し位置を前記音波形データにおける拍点ビットの付加された後方のサンプルへとシフトしつつ、読み出し位置となったサンプル以後のサンプルの各々を1つずつ出力し、当該読み出し位置を拍点ビットの付加された最後のサンプルへシフトした後に前記拍信号が発生すると、当該読み出し位置を拍点ビットの付加された最初のサンプルへと戻す処理タスクを、前記再生処理タスクとして実行し、前記検出手段が前記同期指示操作を検出した時点において複数の再生処理タスクを実行している場合に、それらの再生処理タスクの対象となる複数の前記音波形データにおける拍点ビットの付加された最初のサンプルへ各々の読み出し位置をシフトする
    ことを特徴とする請求項1から4のいずれか1項に記載の曲編集支援装置。
  6. コンピュータに、
    楽曲素材を選択する素材選択操作、および前記素材選択操作によって選択した楽曲素材の拍の同期を指示する同期指示操作を検出する検出手段と、
    前記検出手段が前記素材選択操作を検出するたびに、当該素材選択操作によって選択された楽曲素材を再生する個別の再生処理タスクを立ち上げ、立ち上げた再生処理タスクを並行して実行する手段であって、前記検出手段が前記同期指示操作を検出した時点において複数の再生処理タスクを実行している場合に、それらの再生処理タスクの再生音の拍が同期するように、その時点において実行している複数の再生処理タスクの実行態様を制御する再生処理制御手段と
    を実現させるプログラム。
JP2008169657A 2008-06-27 2008-06-27 曲編集支援装置およびプログラム Expired - Fee Related JP5217687B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008169657A JP5217687B2 (ja) 2008-06-27 2008-06-27 曲編集支援装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008169657A JP5217687B2 (ja) 2008-06-27 2008-06-27 曲編集支援装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2010008821A true JP2010008821A (ja) 2010-01-14
JP5217687B2 JP5217687B2 (ja) 2013-06-19

Family

ID=41589384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008169657A Expired - Fee Related JP5217687B2 (ja) 2008-06-27 2008-06-27 曲編集支援装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5217687B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012007990A1 (ja) * 2010-07-14 2012-01-19 パイオニア株式会社 再生システム、再生方法およびそのプログラム
JP2012022322A (ja) * 2011-07-20 2012-02-02 Pioneer Electronic Corp 再生システム、操作部、再生方法およびそのプログラム
JP2012194525A (ja) * 2011-03-02 2012-10-11 Yamaha Corp 発音制御装置、特定装置、発音制御システム、プログラムおよび発音制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627944A (ja) * 1992-07-07 1994-02-04 Casio Comput Co Ltd 自動演奏装置
JPH09127940A (ja) * 1995-11-02 1997-05-16 Roland Corp 自動演奏装置
JP2000207415A (ja) * 1999-01-19 2000-07-28 Sony Corp 情報提供方法、情報記録媒体、情報管理方法及び記録再生装置
WO2006095599A1 (ja) * 2005-03-08 2006-09-14 Pioneer Corporation 情報処理装置及び情報処理方法
WO2007066818A1 (ja) * 2005-12-09 2007-06-14 Sony Corporation 音楽編集装置及び音楽編集方法
JP2007298786A (ja) * 2006-05-01 2007-11-15 Nintendo Co Ltd 音楽再生プログラムおよび音楽再生装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627944A (ja) * 1992-07-07 1994-02-04 Casio Comput Co Ltd 自動演奏装置
JPH09127940A (ja) * 1995-11-02 1997-05-16 Roland Corp 自動演奏装置
JP2000207415A (ja) * 1999-01-19 2000-07-28 Sony Corp 情報提供方法、情報記録媒体、情報管理方法及び記録再生装置
WO2006095599A1 (ja) * 2005-03-08 2006-09-14 Pioneer Corporation 情報処理装置及び情報処理方法
WO2007066818A1 (ja) * 2005-12-09 2007-06-14 Sony Corporation 音楽編集装置及び音楽編集方法
JP2007298786A (ja) * 2006-05-01 2007-11-15 Nintendo Co Ltd 音楽再生プログラムおよび音楽再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012007990A1 (ja) * 2010-07-14 2012-01-19 パイオニア株式会社 再生システム、再生方法およびそのプログラム
JP4927232B2 (ja) * 2010-07-14 2012-05-09 パイオニア株式会社 再生システム、操作部、再生方法およびそのプログラム
US9640216B2 (en) 2010-07-14 2017-05-02 Pioneer Dj Corporation Reproduction system for maintaining synchronization between a first audio content and a plurality of audio contents during special reproduction of the first audio content, and method and program thereof
JP2012194525A (ja) * 2011-03-02 2012-10-11 Yamaha Corp 発音制御装置、特定装置、発音制御システム、プログラムおよび発音制御方法
JP2012022322A (ja) * 2011-07-20 2012-02-02 Pioneer Electronic Corp 再生システム、操作部、再生方法およびそのプログラム

Also Published As

Publication number Publication date
JP5217687B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
CN109584910A (zh) 歌唱音频的编辑辅助方法以及歌唱音频的编辑辅助装置
JPH0944171A (ja) カラオケ装置
US10325581B2 (en) Singing voice edit assistant method and singing voice edit assistant device
JP4949899B2 (ja) ピッチ表示制御装置
JP2012247957A (ja) データ処理装置およびプログラム
JP4650182B2 (ja) 自動伴奏装置及びプログラム
JP4736483B2 (ja) 歌データ入力プログラム
JP5217687B2 (ja) 曲編集支援装置およびプログラム
WO2011125204A1 (ja) 情報処理装置及び方法、並びにコンピュータプログラム
JP4929604B2 (ja) 歌データ入力プログラム
EP3709290B1 (en) Acoustic device and acoustic control program
KR101238113B1 (ko) 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템
JP2007086571A (ja) 曲情報表示装置及びプログラム
JP5561263B2 (ja) 楽音再生装置及びプログラム
JP4534926B2 (ja) 画像表示装置及びプログラム
JP4853054B2 (ja) 演奏データ編集装置及びプログラム
JP4356509B2 (ja) 演奏制御データ編集装置およびプログラム
JP6127549B2 (ja) 音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置
JP5439994B2 (ja) データ集配システム,通信カラオケシステム
JP5347405B2 (ja) 波形発生装置および波形発生処理プログラム
JP2010008750A (ja) 曲編集支援装置およびプログラム
JP3173310B2 (ja) ハーモニー生成装置
JP2007233013A (ja) 楽曲練習装置
JP2003308069A (ja) ピッチ変換処理方法
JP6007645B2 (ja) 音波形編集装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5217687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees