JP2014052469A - 音声処理装置、音声処理方法、及び、プログラム - Google Patents

Abstract

【課題】簡単な操作によりＤＪプレイを行う。
【解決手段】音声リミックスシステムは、それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御部と、複数の音声データの同期再生を制御する再生制御部とを含み、複数の音声歯車が直接又は間接的に噛み合わされた場合、表示制御部は、複数の音声歯車を回転させ、再生制御部は、複数の音声歯車に対応する複数の音声データを同期再生させる。本技術は、例えば、ＤＪプレイを行うための装置又はソフトウエアに適用できる。
【選択図】図５

Description

本技術は、音声処理装置、音声処理方法、及び、プログラムに関し、特に、簡単な操作によりＤＪプレイを行うことができるようにした音声処理装置、音声処理方法、及び、プログラムに関する。

近年、ＤＪが使用するターンテーブル等の機器をシミュレートして、複数の楽曲を同期再生したり、複数の楽曲をノンストップでつなげて再生（ノンストップミックス再生）したりする等のリミックス再生を、気軽に楽しめるようにしたソフトウエアが販売されている。

しかしながら、このようなソフトウエアは、あくまでＤＪが使用する機器をシミュレートしたものであり、使用するには適度なテクニックや音楽の知識が必要になる。例えば、再生中の楽曲のテンポとビート位置を合わせて次の楽曲の再生を開始した後、徐々に音量バランスを変化させながら楽曲を切り替える必要がある。また、楽曲をつなげる部分では２曲の楽曲が同時に再生されるので、音が混ざっても不協和音等の不自然な印象を与えないような楽曲の組み合わせを見つける必要がある。

一方、従来、複数の楽曲のテンポやビート位置を簡単に合わせて再生する手法が提案されている（例えば、特許文献１、２参照）。

国際公開第２００７／０６６９１９号 特開２００８−１６４９３２号公報

しかしながら、特許文献１及び２に記載の発明では、簡単な操作によりＤＪプレイを行うことができるようにする考慮は特になされていない。

そこで、本技術は、簡単な操作によりＤＪプレイを行うことができるようにするものである。

本技術の一側面の音声処理装置は、それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御部と、複数の音声データの同期再生を制御する再生制御部とを含み、複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記表示制御部は、前記複数の音声歯車を回転させ、前記再生制御部は、前記複数の音声歯車に対応する複数の音声データを同期再生させる。

前記表示制御部には、いずれの音声データにも対応していない歯車である動力歯車の表示をさらに制御させ、複数の前記音声歯車が前記動力歯車に噛み合わされた場合、前記表示制御部には、前記動力歯車とともに前記複数の音声歯車を回転させ、前記再生制御部には、前記動力歯車を介して間接的に噛み合わされている前記複数の音声歯車に対応する複数の音声データを同期再生させることができる。

音声データを再生するテンポを可変にし、前記表示制御部には、設定されたテンポに合わせて、前記動力歯車の回転速度及び前記動力歯車に噛み合わされている前記音声歯車の回転速度を変化させることができる。

前記動力歯車及び前記音声歯車の歯がそれぞれ１つのビートを表すようにし、前記表示制御部には、音声データのビートが１つ進む間に、前記動力歯車及び前記動力歯車に噛み合わされている前記音声歯車を１ピッチ分回転させることができる。

前記表示制御部には、前記音声歯車を前記動力歯車に噛み合わせるための所定の複数の設置位置の表示をさらに制御させ、前記再生制御部には、前記設置位置に設置された前記音声歯車に対応する音声データを再生させることができる。

再生中の第１の音声データにつなげて再生するのに適した第２の音声データを検索する音声データ検索部をさらに設け、前記表示制御部には、複数の前記設置位置をそれぞれ異なる態様で表示させ、かつ、前記第２の音声データに対応する前記音声歯車を、前記第１の音声データにつなげて再生させるための前記設置位置の表示態様に対応した態様で表示させることができる。

前記再生制御部には、第１の音声歯車を前記動力歯車に噛み合わせて第１の音声データを再生している場合に、第２の音声データに対応する第２の音声歯車を前記動力歯車に噛み合わせたとき、前記第１の音声データをフェードアウトさせ、前記表示制御部には、前記第１の音声データのフェードアウトとともに、前記第１の音声歯車を前記動力歯車と噛み合う位置から移動させることができる。

音声データを再生するテンポを可変にし、前記表示制御部には、設定されたテンポに合わせて前記音声歯車の回転速度を変化させることができる。

前記音声歯車の歯がそれぞれ１つのビートを表すようにし、前記表示制御部には、音声データのビートが１つ進む間に前記音声歯車を１ピッチ分回転させるようにすることができる。

再生中の音声データにつなげて再生するのに適した音声データを検索する音声データ検索部をさらに設け、前記表示制御部には、検索された音声データに対応する前記音声歯車を、他の前記音声歯車と異なる態様で表示させることができる。

前記再生制御部には、前記複数の音声データの小節の頭を合わせて再生させることができる。

前記表示制御部には、楽曲又は楽曲の一部に対応する前記音声歯車と、ループ素材に対応する前記音声歯車を異なる態様で表示させることができる。

前記音声歯車の操作を行うための操作部をさらに設けることができる。

本技術の一側面の音声処理方法は、音声処理装置が、それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップとを含む。

本技術の一側面のプログラムは、それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車が表示され、複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車が回転し、前記複数の音声歯車に対応する複数の音声データが同期再生される。

本技術の一側面によれば、簡単な操作によりＤＪプレイを行うことができる。

本技術を適用した音楽リミックスシステムの一実施の形態を示すブロック図である。 リミックスラインの例を示す図である。 タイムストレッチについて説明するための図である。 再生装置の構成の詳細を示す図である。 音楽リミックスシステムの機能的構成を示すブロック図である。 ビート情報、コード情報、及び、メロディ情報について説明するための図である。 相対キーと絶対キーについて説明するための図である。 メタデータのデータ構成の例を示す図である。 メタデータの具体例を示す図である。 ＤＪプレイ処理を説明するためのフローチャートである。 ＤＪプレイ処理を説明するためのフローチャートである。 ＤＪプレイ画面の例を示す図である。 楽曲歯車の拡大図である。 素材歯車の拡大図である。 素材歯車の他の例の拡大図である。 楽曲歯車及び素材歯車の表示方法について説明するための図である。 同期再生処理の詳細を説明するためのフローチャートである。 同期再生処理の具体例を説明するための図である。 同期再生処理の具体例を説明するための図である。 同期再生処理の具体例を説明するための図である。 推薦楽曲検索処理の詳細を説明するためのフローチャートである。 スコア算出処理の詳細を説明するためのフローチャートである。 長調用の類似度マトリックスの例を示す図である。 短調用の類似度マトリックスの例を示す図である。 スケールが異なる場合の類似度マトリックスの例を示す図である。 検索対象区間の移動を示す図である。 推薦曲の表示例を示す図である。 推薦曲の表示例を示す図である。 フェードアウト時のＤＪプレイ画面の表示例を示す図である。 リミックスラインの小節の頭の表示例を示す図である。 ＤＪプレイ画面の変形例を示す図である。 ネットワークシステムの構成例を示すブロック図である。 ＤＪプレイの共同作業を説明するための図である。 楽曲歯車の変形例を示す図である。 コンピュータの構成の例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［音楽リミックスシステム１０１の構成例］
図１は、本技術を適用した音楽リミックスシステム１０１の一実施の形態を示すブロック図である。

音楽リミックスシステム１０１は、音声データ又は音声データの一部からなる複数の音素材をリミックス再生して、ＤＪプレイを行うための装置である。音楽リミックスシステム１０１によれば、例えば、複数の音素材の同期再生や、複数の音素材を切れ目なくつなげて再生するノンストップミックス再生等のＤＪプレイを、簡単な操作により高度に行うことができる。

ここで、複数の音素材の同期再生とは、複数の音素材のテンポとビート位置を合わせて再生することである。また、ビート位置だけでなく、さらに小節の頭を合わせて再生する場合もある。

また、複数の音素材のミックス再生とは、同期の有無に関わらず、複数の音素材を同時に再生することである。

音楽リミックスシステム１０１で使用する音素材の種類は、特に限定されるものではない。音素材の種類は、例えば、楽曲（楽曲の一部を含む）とループ素材に大きく分かれる。

楽曲の一部とは、１つの完成された楽曲の一部を抽出したものである。楽曲の一部には、例えば、１つの完成された楽曲の一部の区間の音声データだけでなく、楽曲を構成する複数のトラックから抽出した一部のトラック（例えば、ヴォーカルトラック等）からなる音声データも含まれる。

また、ループ素材とは、ドラムパターンなどの繰り返されるリズム音、短い音楽フレーズ、人の声、動物の鳴き声、効果音等を録音したり、人工的に生成したものであり、主に他の楽曲とともに繰り返し再生される。

なお、以下、楽曲とループ素材をまとめて、音素材又は音声データと称する場合がある。

音楽リミックスシステム１０１におけるリミックス再生は、複数のトラックにより構成されるリミックスラインの各トラックに音素材を配置し、各トラックを同じ時間軸に沿って同時に再生し、各トラックの音声を合成することにより行われる。

図２は、トラック１乃至トラックｊのｊ本のトラックにより構成されるリミックスラインの例を示している。図２において、横軸は時間軸、すなわち、リミックス再生時の時間軸を示しており、同じトラックに配置された音素材は左から順に再生され、異なるトラックに時間軸方向で同じ位置に配置された複数の音素材は同時に再生される。

なお、以下、リミックスラインの各トラックに配置された音素材のことを、特に音声ブロックとも称する。図２においては、ブロックBLK１−１乃至BLKｊ−ｋｊが音声ブロックに相当する。

また、音楽リミックスシステム１０１は、リミックス再生を行う場合に、図３に示されるように、テンポが異なる再生楽曲Ａ乃至Ｃから抽出された音素材のテンポをリミックスラインの時間軸上のテンポ（以下、マスタテンポと称する）に合わせるように、各音素材の再生速度の調整、すなわち、タイムストレッチを行う。

図１に戻り、音楽リミックスシステム１０１は、CPU（Central Processing Unit）１１１、再生装置１１２、ユーザ操作インタフェース（Ｉ／Ｆ）装置１１３、ユーザインタフェース（Ｕ／Ｉ）表示装置１１４、ROM（Read Only Memory）１１５、RAM（Read Only Memory）１１６、記憶装置１１７、及び、ネットワーク通信装置１１８を含むように構成される。CPU１１１、再生装置１１２、ユーザ操作Ｉ／Ｆ装置１１３、Ｕ／Ｉ表示装置１１４、ROM１１５、RAM１１６、記憶装置１１７、及び、ネットワーク通信装置１１８は、バス１１９を介して、相互に接続されている。

CPU１１１は、所定のプログラムを実行することにより、ユーザ操作Ｉ／Ｆ装置１１３を介して入力されるユーザの指令などに基づいて、音楽リミックスシステム１０１の各部の処理を制御する。

再生装置１１２は、CPU１１１の制御の下に、音声用記憶装置１４１に記憶されている音声データの再生処理を行う。再生装置１１２は、同期再生制御装置１３１、音声ミキシング装置１３２、デジタル／アナログ変換装置（Ｄ／Ａ）１３３、及び、音声出力装置１３４を含む。

同期再生制御装置１３１は、CPU１１１の制御の下に、リミックスラインの各トラックに対応して、音声用記憶装置１４１に記憶されている音声データを並行して再生し、複数系統（トラック）の音声信号を音声ミキシング装置１３２に供給する。また、同期再生制御装置１３１は、リミックスラインの時間軸上における音声データの再生位置を示す情報をCPU１１１に供給する。

音声ミキシング装置１３２は、CPU１１１の制御の下に、同期再生制御装置１３１からの複数系統の音声信号を合成し、Ｄ／Ａ１３３に供給する。

Ｄ／Ａ１３３は、音声ミキシング装置１３２から供給されるデジタルの音声信号をアナログの音声信号に変換し、音声出力装置１３４に供給する。

音声出力装置１３４は、Ｄ／Ａ１３３からのアナログ音声信号を増幅し、スピーカやヘッドホンなどの出力装置に出力する。

ユーザ操作Ｉ／Ｆ装置１１３は、例えば、タッチパネル、キー、ボタン、マウス、キーボードなどにより構成され、ユーザからの処理の指令を受け付け、その指令を示す情報を音楽リミックスシステム１０１の各部に供給する。

Ｕ／Ｉ表示装置１１４は、例えば、LCD（Liquid Crystal Display）、LED（Light Emitting Diode）などの表示装置により構成される。Ｕ／Ｉ表示装置１１４は、CPU１１１の制御の下に、例えば、ＤＪプレイの操作を行うためのＤＪプレイ画面など、音楽リミックスシステム１０１の操作状況、処理状況などの表示を行う。

なお、例えば、ユーザ操作Ｉ／Ｆ装置１１３をタッチパネルより構成し、Ｕ／Ｉ表示装置１１４上に設けることにより、ユーザ装置Ｉ／Ｆ装置１１３とＵ／Ｉ表示装置１１４を一体化することも可能である。

ＲＯＭ１１５は、CPU１１１により実行される制御プログラムや各種のデータなどを格納している。

ＲＡＭ１１６は、CPU１１１のワークエリアなどに使用される。

記憶装置１１７は、音声用記憶装置１４１、及び、音声メタデータ用記憶装置１４２を含むように構成される。

音声用記憶装置１４１は、例えば、フラッシュメモリ、ハードディスクなどの記憶装置又は記録装置により構成され、各種の音声データが記憶される。例えば、音声データは、所定のサンプリング周波数でサンプリングされたPCM（Pulse Code Modulation）方式のデジタルの音声データとされ、必要に応じて、所定の方式に基づいて圧縮された状態で記憶される。

音声メタデータ用記憶装置１４２は、例えば、フラッシュメモリ、ハードディスクなどの記憶装置又は記録装置により構成され、各音声データのメタデータが記憶される。なお、メタデータの詳細については、図６乃至図９を参照して後述する。

なお、同じ音声に対応する音声データとメタデータとは、例えば、各音声を一意に識別する音声IDなどを用いて、相互に関連づけられる。又は、音声データがMP3（MPEG Audio Layer-3）などのフォーマットである場合、ID3タグとしてフリンジデータ（メタデータ）を同一ファイルに格納するようにしてもよい。

なお、音声用記憶装置１４１及び音声メタデータ用記憶装置１４２をそれぞれ異なる記憶装置により構成するようにしてもよいし、１つの記憶装置により構成するようにしてもよい。

ネットワーク通信装置１１８は、インターネット１０２などのネットワークを介して、他の装置と通信を行い、各種のデータ等の送受信を行う。例えば、ネットワーク通信装置１１８は、インターネット１０２に接続されているサーバや他のユーザのシステムから、音声データ及びメタデータをダウンロードしたり、インターネット１０２に接続されているサーバや他のシステムに、各種の情報やデータを送信したりする。

［再生装置１１２の詳細な構成例］
図４は、再生装置１１２の同期再生制御装置１３１及び音声ミキシング装置１３２の詳細な構成を示すブロック図である。

同期再生制御装置１３１は、マスタビート生成装置１６１、デコーダ１６２−１乃至１６２−ｊ、及び、タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊを含むように構成される。さらに、音声ミキシング装置１３２は、エフェクト処理部１７１−１乃至１７１−ｊ、音量調整装置１７２−１乃至１７２−ｊ、及び、音声ミックス装置１７３を含むように構成される。

デコーダ１６２−１乃至１６２−ｊ、タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊ、エフェクト処理部１７１−１乃至１７１−ｊ、及び、音量調整装置１７２−１乃至１７２−ｊは、それぞれ１つずつが組になって、１つのトラックに対応する処理を行う。例えば、デコーダ１６２−１、タイムストレッチ／ピッチシフト装置１６３−１、エフェクト処理部１７１−１、音量調整装置１７２−１が１組になって、１つのトラックに対応する処理を行う。従って、図２の再生装置１１２は、ｊ系統（トラック）の音声データ（音素材）を同時に再生し、合成することが可能な構成となる。

なお、以下、デコーダ１６２−１乃至１６２−ｊを個々に区別する必要がない場合、単に、デコーダ１６２と称する。タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊを個々に区別する必要がない場合、単に、タイムストレッチ／ピッチシフト装置１６３と称する。エフェクト処理部１７１−１乃至１７１−ｊを個々に区別する必要がない場合、単に、エフェクト処理部１７１と称する。音量調整装置１７２−１乃至１７２−ｊを個々に区別する必要がない場合、単に、音量調整装置１７２と称する。

マスタビート生成装置１６１は、ユーザなどにより設定されたマスタテンポに基づくクロック信号であるマスタビートを生成し、再生装置１１２の各部、及び、Ｕ／Ｉ表示装置１１４に供給する。また、マスタビート生成装置１６１は、ユーザなどにより設定されたリミックスラインの拍子に基づいて、リミックスラインにおける小節の頭のタイミングに合わせたクロック信号であるバー信号を生成し、再生装置１１２の各部、及び、Ｕ／Ｉ表示装置１１４に供給する。例えば、リミックスラインの拍子が４拍子に設定されている場合、マスタビート生成装置１６１は、マスタビートを４クロック（４ビート）出力するたびに、バー信号を１つ出力する。また、マスタビート生成装置１６１は、現在のリミックスラインの再生位置が何小節目の何拍目であるかを示す情報をCPU１１１に供給する。

デコーダ１６２及びタイムストレッチ／ピッチシフト装置１６３は、それぞれ１つずつが組になって、１つの音声信号生成部を構成する。各音声信号生成部は、CPU１１１の制御の下に、各楽曲のメタデータを用いて、マスタビート及びバー信号により示される、リミックスライン上の時間軸における小節及びビートの位置に合わせて、音声用記憶装置１４１に記憶されている音声データの再生を行う。

デコーダ１６２−１乃至１６２−ｊは、CPU１１１の制御の下に、それぞれ個別に、音声用記憶装置１４１から音声データを取得し、各楽曲のメタデータを用いて、MP3（MPEG Audio Layer-3）やATRAC（Adaptive Transform Acoustic Coding）など所定の方式で圧縮されている音声データをデコードする。そして、デコーダ１６２−１乃至１６２−ｊは、デコードの結果得られたPCM方式の音声信号を、タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊに供給する。

タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊは、CPU１１１の制御の下に、それぞれ個別に、デコーダ１６２−１乃至１６２−ｊからの音声信号に対してタイムストレッチ及びピッチシフトの処理を施して、音声信号の再生速度及び音の高さを変化させ、エフェクト処理部１７１−１乃至１７１−ｊに供給する。

エフェクト処理部１７１−１乃至１７１−ｊは、CPU１１１の制御の下に、それぞれ個別に、タイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊからの音声信号に対して、ローパスフィルタ、ハイパスフィルター、バンドパスフィルタ、ボーカルキャンセラ、リバーブ、ディレイ、ディストーション、マキシマイザなどのエフェクト処理を施し、音量調整装置１７２−１乃至１７２−ｊに供給する。

音量調整装置１７２は、CPU１１１の制御の下に、それぞれ個別に、エフェクト処理部１７１−１乃至１７１−ｊからの音声信号の音量を個別に調整し、音声ミックス装置１７３に供給する。

音声ミックス装置１７３は、音量調整装置１７２−１乃至１７２−ｊからの音声信号を合成し、Ｄ／Ａ１３３に供給する。

なお、再生装置１１２の一部又は全部の機能をソフトウエアにより実現するようにしてもよい。

［音声リミックスシステム１０１の機能的構成例］
図５は、音楽リミックスシステム１０１の機能的構成の例を示すブロック図である。機能的観点から見て、音楽リミックスシステム１０１は、ユーザインタフェース処理部２１１、リミックス処理部２１２、同期再生部２１３、操作部２１４、表示部２１５、ネットワーク通信部２１６、音声メタデータ用記憶部２１７、及び、音声用記憶部２１８を含むように構成される。

ユーザインタフェース処理部２１１は、CPU１１１が所定の制御プログラムを実行することにより実現され、音楽リミックスシステム１０１のユーザインタフェースに関わる処理を行う。ユーザインタフェース処理部２１１は、音素材検索部２３１及び表示制御部２３２を含むように構成される。

音素材検索部２３１は、対象となる音素材に重ねて再生したり、或いは、つなげて再生したりするのに好適な音素材を検索する。音素材検索部２３１は、類似度算出部２４１、スコア算出部２４２、及び、推薦曲抽出部２４３を含むように構成される。

類似度算出部２４１は、各楽曲のメタデータに基づいて、２つの音素材のコード進行の類似度を算出し、算出した類似度を示す情報をスコア算出部２４２に供給する。

スコア算出部２４２は、類似度算出部２４１により算出された類似度に基づいて、対象となる音素材に重ねて再生したり、或いは、つなげて再生したりするのに好適な音素材を検索する。そして、スコア算出部２４２は、検索した音素材について、対象となる音素材と適合する度合いを示すスコアを算出する。スコア算出部２４２は、検索した音素材、及び、スコアを示す情報を音声メタデータ用記憶部２１７に記憶させる。

推薦曲抽出部２４３は、音声メタデータ用記憶部２１７に記憶されているスコアに基づいて、再生中の楽曲につなげて再生するのに好適な楽曲を推薦曲として抽出する。推薦曲抽出部２４３は、推薦曲の抽出結果を表示制御部２３２に供給する。

表示制御部２３２は、表示部２１５によるＤＪプレイ画面等の表示の制御を行う。また、表示制御部２３２は、マスタビート生成部２８１から供給されるマスタビートに基づいて、ＤＪプレイ画面の各部の表示と音声データの再生を同期させる。

リミックス処理部２１２は、CPU１１１が所定の制御プログラムを実行することにより実現され、リミックス再生に関わる処理を行う。リミックス処理部２１２は、再生制御部２６１及びトラック生成部２６２を含むように構成される。

再生制御部２６１は、音声信号生成部２８２−１乃至２８２−ｊに音声データ及びメタデータを供給し、音声信号生成部２８２−１乃至２８２−ｊによる各音素材の抽出元の音声データの再生位置及び再生するタイミングを制御する。また、再生制御部２６１は、各音素材の抽出元の音声データにおけるテンポであるオリジナルテンポに基づいて、音素材のテンポをマスタテンポに合わせるように、音声信号生成部２８２−１乃至２８２−ｊによる音素材の再生速度を制御する。

さらに、再生制御部２６１は、エフェクト処理部２９１を制御して、エフェクト処理部２９１から出力される音声信号の音量を調整する。また、再生制御部２６１は、必要に応じて、各音素材の抽出元の音声データにおけるキーであるオリジナルキーとマスタキーとの差、及び、再生制御部２６１による再生速度の制御量に基づいて、音素材のキーをマスタキーに合わせるように、音声信号生成部２８２−１乃至２８２−ｊによる音素材の再生音の高さを制御する。

トラック生成部２６２は、リミックス再生において用いられるトラックの数だけ、音声信号生成部２８２を生成する。具体的には、例えば、トラック生成部２６２は、リミックス再生において用いられるトラックの数だけ、デコーダ１６２及びタイムストレッチ／ピッチシフト装置１６３の処理を開始させる。

同期再生部２１３は、図４の再生装置１１２により実現され、同期再生制御部２７１、音声ミキシング部２７２、及び、音声出力部２７３を含むように構成される。同期再生制御部２７１は、図４の同期再生制御装置１３１により実現され、マスタビート生成部２８１、及び、音声信号生成部２８２−１乃至２８２−ｊを含むように構成される。マスタビート生成部２８１は、図４のマスタビート生成装置１６１により実現され、音声信号生成部２８２−１乃至２８２−ｊは、それぞれ、図４のデコーダ１６２−１乃至１６２−ｊ及びタイムストレッチ／ピッチシフト装置１６３−１乃至１６３−ｊにより実現される。

音声ミキシング部２７２は、図４の音声ミキシング装置１３２により実現され、エフェクト処理部２９１及び音声ミックス部２９２を含むように構成される。エフェクト処理部２９１は、図４のエフェクト処理部１７１−１乃至１７１−ｊ及び音量調整装置１７２−１乃至１７２−ｊにより実現され、音声ミックス部２９２は、図４の音声ミックス装置１７３により実現される。音声出力部２７３は、図４のＤ／Ａ１３３及び音声出力装置１３４により実現される。

操作部２１４、表示部２１５、及び、ネットワーク通信部２１６、音声メタデータ用記憶部２１７、及び、音声用記憶部２１８は、それぞれ、図１のユーザ操作Ｉ／Ｆ装置１１３、Ｕ／Ｉ表示装置１１４、ネットワーク通信装置１１８、音声用記憶装置１４１、及び、音声メタデータ用記憶装置１４２により実現される。

なお、以下、音楽リミックスシステム１０１の処理について説明する場合、図５に示されるブロック図に基づいて説明する。

［音声データのメタデータの詳細］
次に、図６乃至図９を参照して、メタデータの詳細について説明する。メタデータは、楽曲の特徴、音声データと楽曲の構成の対応関係などを示すデータであり、ビート情報、コード情報、及び、メロディ情報を含む。

ここで、図６を参照して、ビート情報、コード情報、及び、メロディ情報について説明する。なお、図６の下部の波形は、音声データの波形を示しており、全サンプルで示される範囲のうち、有効サンプルで示される範囲が、実際に楽曲のデータが記録されている範囲である。

ビート情報は、音声データにおける小節及びビート（拍）の位置を示す。より具体的には、ビート情報は、楽曲の各小節の頭のビート（以下、小節頭とも称する）、及び、その他の各小節の途中のビートの音声データにおけるサンプル位置などを示す。図６において、音声データにおける小節頭の位置は、「ビート情報」の文字の左側に示される縦の長い線により示され、小節頭以外のビートの位置は縦の短い線により示されている。なお、図６は、４拍子の楽曲の例を示しており、４ビートごとに小節頭が現れている。

このビート情報により、小節頭及び各ビートの音声データにおける位置をサンプル単位で特定することができ、音声データの任意の区間を小節又はビート単位で指定することができる。また、ビート情報を用いて、以下の式（１）に基づいて、音声データの任意の区間内の平均のテンポである平均BPM（Beat Per Minute）を求めることができる。

平均BPM＝Bn×Fs÷Sn×60 ・・・（１）

なお、式（１）において、Bnは区間内のビート数を示し、Fsは音声データのサンプリングレートを示し、Snは区間内のサンプル数を示す。

コード情報は、楽曲のコード進行を示すとともに、音声データにおける各コードの位置を示す。より具体的には、コード情報は、図６に示されるように、楽曲に現れるコードの種類、及び、各コードの音声データにおけるサンプル位置などを示す。このコード情報により、各コードの音声データにおける位置をサンプル単位で特定することができ、音声データの任意の区間をコード単位で指定することができる。また、コード情報とビート情報に基づいて、楽曲における各コードの位置をビート単位で特定することができる。

なお、コード情報に示されるコードの種類は、コードネームではなく、楽曲のスケールの主音に対するそのコードの根音の相対位置に基づいて表される。具体的には、各コードは、コードネームの根音の音名の部分が、スケールの主音とコードの根音との相対位置である音度に基づいて、例えば、Ｉ、Ｉ♯（もしくはII♭）、II、II♯（もしくはIII♭）、III、III♯（もしくはIV♭）、IV、IV♯（もしくはＶ♭）、Ｖ、V♯（もしくはVI♭）、VI、VI♯（もしくはVII♭）、VII、VII♯（もしくはＩ♭）の数字（と、必要に応じて♯又は♭）に置き換えられて表現される。

例えば、コードネームによりコードの種類を表現した場合、図７の上側の主音（keynote）がCであるハ長調におけるC、F、G、Amのコード進行と、下側の主音がEであるホ長調におけるE、A、B、C♯mのコード進行が、キーを合わせた場合に類似しているか否かが分かりにくい。

一方、スケールの主音とコードの根音との相対位置に基づいてコードの種類を表現した場合、２つのコード進行は、同じＩ、IV、Ｖ、VImと表される。従って、上側の各コードの音程を半音４つ分ずつ上げてホ長調に移調した場合、又は、下側の各コードの音程を半音４つ分ずつ下げてハ長調に移調した場合に、コード進行が一致することが分かりやすくなる。換言すれば、調性が異なる音素材の間のコード進行の関係が明確になり、キーを変化させた場合に、２つの音素材のコード進行が類似するか否かが明確になる。従って、コンピュータなどの処理において、キーを変化させた場合の２つの音素材の間のコード進行の類似度が求めやすくなる。

なお、以下、コードネームで表現されたコードと、スケールの主音に対するコードの根音の相対位置に基づいて表現されたコードとを区別するために、前者を絶対コード、後者を相対コードとも称する。また、以下、コードの種類を絶対コードで表現することを絶対表現すると称し、相対コードで表現することを相対表現するという。さらに、以下、相対コードにおいて、スケールの主音に対するコードの根音の相対位置を示し、数字と必要に応じて♯又は♭が付加される値を、度数と称する。

メロディ情報は、楽曲のメロディ展開を示すとともに、楽曲を構成する各メロディの要素（以下、メロディブロックと称する）の音声データにおける位置を示す。より具体的には、メロディ情報は、図６に示されるように、イントロ（Intro）、Ａメロディ（以下、Ａメロと称する）（Verse A）、Ｂメロディ（以下、Ｂメロと称する）（Verse B）、サビ（Chorus）、間奏（Interlude）、ソロ（Solo）、エンディング（Outro）などの楽曲に現れるメロディブロックの種類、及び、各メロディブロックの音声データにおけるサンプル位置などを示す。このメロディ情報により、各メロディブロックの音声データにおける位置をサンプル単位で特定することができ、音声データの任意の区間をメロディブロック単位で指定することができる。また、メロディ情報とビート情報に基づいて、楽曲における各メロディブロックの位置をビート単位で特定することができる。

図８は、メタデータのデータ構造の一例を示し、図９は、メタデータの具体的な例を示している。図９に示される例において、メタデータは、小節／ビート番号、属性、及び、サンプル位置を含む。

小節／ビート番号には、楽曲におけるビートの位置を示す値が設定される。例えば、ｎ小節目のｍ拍目のビートの場合、小節／ビート番号には、ｎとｍの値が設定される。例えば、図９に示される例において、１行目が１小節目の１拍目のデータとなり、いちばん下の行が２小節目の２拍目のデータとなる。なお、ｎは１以上の整数とされ、ｍは、ｋ拍子の楽曲である場合、１乃至kの範囲内の整数とされる。

属性には、ビート情報、メロディ情報、コード情報などの属性の種類と、その種類の属性に関する詳細なデータが設定される。例えば、属性がコード情報を示す場合、属性の種類がコード情報であることを示す数値、及び、サンプル位置に示される位置におけるコードの種類を示す数値が設定される。

サンプル位置には、そのメタデータが対応する音声データのサンプル単位の位置が設定される。

なお、メロディ情報については、各メロディブロックの開始位置のみがメタデータに登録され、コード情報については、各コードの開始位置のみがメタデータに登録される。なお、各ビートに対するメロディブロックの種類及びコードの種類に関する情報をメタデータに登録するようにしてもよい。

また、以上に説明した情報以外に、サンプリング周波数、量子化ビット数など時間軸で変化しない情報が楽曲全体の情報としてメタデータに登録される。さらに、楽曲のキー及びスケールの情報もまた、メタデータに登録される。なお、キー及びスケール、又は、拍子が楽曲の途中で変わる場合には、変化するサンプル位置、及び、キー及びスケール、又は、拍子の種類を示す情報がメタデータに登録される。

［音楽リミックスシステム１０１によるＤＪプレイ処理］
次に、図１０及び図１１のフローチャートを参照して、音楽リミックスシステム１０１により実行されるＤＪプレイ処理について説明する。なお、この処理は、例えば、ユーザが、操作部２１４を介して、ＤＪプレイ処理の開始の指令を入力したとき開始される。

ステップＳ１において、表示部２１５は、表示制御部２３２の制御の下に、ＤＪプレイ画面を表示する。

図１２は、表示部２１５に表示されるＤＪプレイ画面の一例を示している。

ＤＪプレイ画面の左端には、メイン動力歯車３０１の一部が表示されている。メイン動力歯車３０１は、矢印Ａ１で示されるように、マスタビートに同期して、マスタテンポに応じた速度で時計回りに回転する。より具体的には、メイン動力歯車３０１の各歯は、それぞれ１つのビートを表しており、マスタビートが１ビート進む間に、メイン動力歯車３０１が１ピッチ分回転する。ここで、１ピッチとは、歯車の隣り合う歯と歯の間隔のことをいう。

メイン動力歯車３０１の外周には、メイン動力歯車３０１より径が小さい歯車型のプレースホルダ３０２Ａ乃至３０３が所定の間隔で配置されている。プレースホルダ３０２Ａとプレースホルダ３０２Ｂは、同じ大きさであり、楽曲歯車３０４−１乃至３０４−ｍをメイン動力歯車３０１に噛み合わせるための設置位置を示している。プレースホルダ３０３は、他の２つより少し小さく、素材歯車３０５−１乃至３０５−ｍをメイン動力歯車３０１に噛み合わせるための設置位置を示している。

また、プレースホルダ３０２Ａ乃至３０３は、一目で区別できるように、それぞれ異なる態様で表示される。例えば、プレースホルダ３０２Ａ乃至３０３には、それぞれ異なる色や模様が施される。なお、以下、プレースホルダ３０２Ａ乃至３０３にそれぞれ異なる色が施されている場合の例について説明する。

ＤＪプレイ画面の右側の音声歯車置き場には、それぞれ異なる音声データに対応する音声歯車がランダムに配置されている。音声歯車には、楽曲歯車３０４−１乃至３０４−ｍと素材歯車３０５−１乃至３０５−ｎの２種類があり、それぞれＤＪプレイ画面内を自由に移動させることができる。

なお、図１２には、楽曲歯車３０４−１乃至３０４−ｍ及び素材歯車３０５−１乃至３０５−ｎの一部のみが表示されている。また、以下、楽曲歯車３０４−１乃至３０４−ｍを個々に区別する必要がない場合、単に楽曲歯車３０４と称し、素材歯車３０５−１乃至３０５−ｎを個々に区別する必要がない場合、単に素材歯車３０５と称する。

各楽曲歯車３０４は、それぞれ異なる楽曲又は楽曲の一部に対応付けられるとともに、プレースホルダ３０２Ａ及びプレースホルダ３０２Ｂに対応する大きさに設定されている。そして、後述するように、任意の楽曲歯車３０４をプレースホルダ３０２Ａ又はプレースホルダ３０２Ｂのいずれかに置くことにより、その楽曲歯車３０４に対応する楽曲又は楽曲の一部が再生される。

図１３は、楽曲歯車３０４の拡大図である。楽曲歯車３０４は、中央の円形の情報表示部３０４Ａと、その周囲を囲む周縁部３０４Ｂに分かれる。情報表示部３０４Ａには、例えば、楽曲歯車３０４に対応付けられている楽曲を収録しているアルバムやシングルのジャケット、又は、アーティストの写真等が表示される。また、カーソルや指等より情報表示部３０４Ａを指し示すことにより、楽曲歯車３０４に対応付けられている楽曲の曲名及びアーティスト名を含むバルーン３２１が表示される。

周縁部３０４Ｂの各歯は、それぞれ１つのビートを表しており、後述するように、対応する楽曲の再生が１ビート進む間に、メイン動力歯車３０１が１ピッチ分回転する。

素材歯車３０５は、それぞれ異なるループ素材に対応付けられるとともに、プレースホルダ３０３に対応する大きさに設定されている。そして、後述するように、任意の素材歯車３０５をプレースホルダ３０３に置くことにより、その素材歯車３０５に対応するループ素材が再生される。

図１４は、素材歯車３０５の拡大図である。素材歯車３０５は、中央の円形の情報表示部３０５Ａと、その周囲を囲む周縁部３０５Ｂに分かれる。情報表示部３０５Ａには、例えば、素材歯車３０５に対応付けられているループ素材のイメージを表す写真や絵等が表示される。

周縁部３０５Ｂの各歯は、それぞれ１つのビートを表しており、後述するように、対応するループ素材の再生が１ビート進む間に、素材歯車３０５が１ピッチ分回転する。また、周縁部３０５Ｂには、プレースホルダ３０３と同傾向の色が施されている。これにより、ユーザは、素材歯車３０５の設置位置がプレースホルダ３０３であることを直感的に把握することができる。

なお、ビートがなく、同期再生をする必要がないループ素材に対応付けられている素材歯車３０５の周縁部３０５Ｂには、図１５に示されるように、歯車が表示されない。このようなループ素材には、例えば、波の音などの音楽的なビート感のない自然の音を模した効果音がある。

また、ビートはないが、小節の頭にあわせて同期再生する必要があるループ素材、或いは、ビートはあるが、マスタテンポとは無関係に常にオリジナルテンポで再生するループ素材に対応付けられている素材歯車３０５の周縁部３０５Ｂには、歯が１つだけ表示される。このようなループ素材には、例えば、リズムのない人工的な効果音がある。

なお、表示部２１５の表示範囲は限られているため、全ての楽曲歯車３０４及び素材歯車３０５を表示することはできない。そこで、例えば、図１６に示されるように、表示部２１５の表示範囲より大きい仮想的な表示領域に楽曲歯車３０４及び素材歯車３０５を配置し、その表示領域を上下方向にスクロールしたり、ページ切り替えしたりすることにより、表示部２１５に表示される歯車が切り替えられる。

また、メイン動力歯車３０１には、いずれの楽曲及びループ素材も対応付けられていない。

メイン動力歯車３０１の内部には、音量スライダ３１１、テンポスライダ３１２、及び、小節／ビートインジケータ３１３が表示されている。

音量スライダ３１１は、プレースホルダ３０２Ａに配置された楽曲歯車３０４に対応する楽曲（以下、再生楽曲Ａと称する）と、プレースホルダ３０２Ｂに配置された楽曲歯車３０４に対応する楽曲（以下、再生楽曲Ｂと称する）との音量のバランスの設定に用いられる。例えば、音量スライダ３１１の設定位置を上げると、再生楽曲Ａの音量が上がり、再生楽曲Ｂの音量が下がり、音量スライダ３１１の設定位置を下げると、再生楽曲Ａの音量が下がり、再生楽曲Ｂの音量が上がる。

テンポスライダ３１２は、マスタテンポの設定に用いられる。例えば、テンポスライダ３１２の設定位置を上げるとマスタテンポが速くなり、テンポスライダ３１２の設定位置を下げるとマスタテンポが遅くなる。また、マスタテンポの変化に合わせて、メイン動力歯車３０１の回転速度が変化し、メイン動力歯車３０１に噛み合わされている楽曲歯車３０４及び素材歯車３０５の回転速度も変化する。

小節／ビートインジケータ３１３は、リミックスラインの小節及びビートの進行を示すものである。具体的には、小節／ビートインジケータ３１３には、リミックスラインの拍子数に応じた数のインジケータが表示される。図１２の例では、リミックスラインが４拍子に設定され、インジケータが４つ表示されている例が示されている。４つのインジケータのうち右端のインジケータは、リミックスラインの小節の頭を示すインジケータであり、他のインジケータより大きいサイズに設定されている。

そして、リミックスラインの小節の頭のタイミングで、右端のインジケータが点灯し、その後、ビートの進行に合わせて、インジケータの点灯位置が左端から右方向に移動する。その後、リミックスラインの小節の頭のタイミングで、右端のインジケータが点灯し、ビートの進行に合わせて、インジケータの点灯位置が左端から右方向に移動する処理が繰り返される。

ステップＳ２において、音楽リミックスシステム１０１は、マスタテンポを設定する。具体的には、再生制御部２６１は、テンポスライダ３１２の設定位置に対応するマスタテンポの値をマスタビート生成部２８１に設定する。マスタビート生成部２８１は、設定されたマスタテンポでマスタビートの生成を開始する。

ステップＳ３において、再生制御部２６１は、新たな音声データの再生が指令されたか否かを判定する。例えば、ユーザが操作部２１４を操作して、任意の楽曲歯車３０４がプレースホルダ３０２Ａ又はプレースホルダ３０２Ｂのいずれか一方に置かれた場合、再生制御部２６１は、その楽曲歯車３０４に対応する楽曲の再生が指令されたと判定する。また、ユーザが操作部２１４を操作して、任意の素材歯車３０５がプレースホルダ３０３に置かれた場合、再生制御部２６１は、その素材歯車３０５に対応するループ素材の再生が指令されたと判定する。

そして、再生制御部２６１が、新たな音声データ（楽曲又はループ素材）の再生が指令されたと判定した場合、処理はステップＳ４に進む。

ステップＳ４において、音楽リミックスシステム１０１は、同期再生処理を実行する。ここで、図１７のフローチャートを参照して、同期再生処理の詳細について説明する。

ステップＳ５１において、再生制御部２６１は、再生を開始するのが楽曲であるか否かを判定する。再生を開始するのが楽曲であると判定された場合、処理はステップＳ５２に進む。

ステップＳ５２において、再生制御部２６１は、楽曲の再生の開始位置を設定する。具体的には、再生制御部２６１は、新たな楽曲を単独で再生する場合、その楽曲の先頭を再生開始位置に設定する。なお、新たに再生を開始するのが楽曲の一部である場合、その楽曲の一部の先頭部分が再生開始位置に設定される。

なお、新たな楽曲を単独で再生する場合とは、例えば、ループ素材の再生の有無に関わらず、楽曲を未再生の状態から新たな楽曲を再生する場合、又は、楽曲を１曲のみ再生中に、その楽曲に代えて新たな楽曲を再生する場合である。

また、再生制御部２６１は、再生中の他の楽曲に重ねて新たな楽曲の再生を開始する場合、他の楽曲において設定された参照区間との間のスコアが最大となる新たな楽曲の区間（以下、最大スコア区間と称する）を検索する。そして、再生制御部２６１は、新たに再生する楽曲において、参照区間内の次に再生する小節に対応する最大スコア区間内の小節の頭を再生開始位置に設定する。例えば、次に参照区間の先頭からｎ小節目が再生される場合、最大スコア区間の先頭からｎ小節目の頭が再生開始位置に設定される。

なお、参照区間及びスコアの詳細については後述する。

ステップＳ５３において、再生制御部２６１は、タイムストレッチ値を算出する。具体的には、まず、再生制御部２６１は、新たに再生する楽曲の再生開始位置からの所定の区間内の平均BPMをオリジナルテンポとして求める。次に、再生制御部２６１は、マスタテンポをオリジナルテンポで割った値をタイムストレッチ値Vtとして求める。そして、再生制御部２６１は、求めたタイムストレッチ値Vtを音声信号生成部２８２に供給する。

ステップＳ５４において、音楽リミックスシステム１０１は、リミックスラインの小節頭に合わせて楽曲の再生を開始する。具体的には、音声信号生成部２８２は、マスタビート生成部２８１から出力されるバー信号に基づいて、リミックスラインの次の小節の頭に合わせて、設定された再生開始位置から新たな楽曲の再生を開始する。

また、音声信号生成部２８２は、再生制御部２６１により算出されたタイムストレッチVtに基づいて、新たに再生する楽曲の再生速度をVt倍にして再生する。これにより、新たに再生する楽曲のテンポが、マスタテンポに合わせられる。

従って、再生楽曲Ａ又は再生楽曲Ｂのうち一方を再生中に、他方の再生が開始された場合、両方の楽曲が同期再生される。すなわち、テンポとビート位置が一致するように両方の楽曲が再生される。加えて、小節の頭が一致するように両方の楽曲が再生される。

なお、再生楽曲Ａ又は再生楽曲Ｂの一方のみが再生される場合、その楽曲は、小節の頭がリミックスラインの小節頭と一致し、テンポがマスタテンポと一致するように再生される。

また、表示部２１５は、表示制御部２３２の制御の下に、新たな楽曲の再生表示を開始する。ここで、図１８及び図１９を参照して、新たな楽曲を再生する場合のＤＪプレイ画面の例について説明する。

まず、図１８を参照して、プレースホルダ３０２Ａに楽曲歯車３０４−１を置いて、楽曲歯車３０４−１に対応する楽曲（再生楽曲Ａ）の再生を開始する場合について説明する。

例えば、再生楽曲Ａの再生の開始と同時に、メイン動力歯車３０１の歯とプレースホルダ３０２Ａの歯が噛み合い、プレースホルダ３０２Ａを介して、メイン動力歯車３０１の歯と楽曲歯車３０４−１の歯が間接的に噛み合う。そして、プレースホルダ３０２Ａが楽曲歯車３０４−１とともに矢印Ａ２で示される方向に回転し始め、プレースホルダ３０２Ａ及び楽曲歯車３０４−１の周縁部３０４Ｂの色が濃くなる。

さらに、マスタビートに従って、再生楽曲Ａのビートの進行と、メイン動力歯車３０１、プレースホルダ３０２Ａ、及び、楽曲歯車３０４−１の回転とが同期する。すなわち、再生楽曲Ａのビートが１つ進む間に、メイン動力歯車３０１の回転により、メイン動力歯車３０１の歯とプレースホルダ３０２Ａ及び楽曲歯車３０４−１の歯とが噛み合う位置が１つ進むように、各歯車が１ピッチ分回転する。

次に、図１９を参照して、プレースホルダ３０２Ａに置かれた楽曲歯車３０４−１に対応する再生楽曲Ａの再生中に、プレースホルダ３０２Ｂに楽曲歯車３０４−４を置いて、楽曲歯車３０４−４に対応する楽曲（再生楽曲Ｂ）の再生を開始する場合について説明する。

例えば、再生楽曲Ｂの再生の開始と同時に、メイン動力歯車３０１の歯とプレースホルダ３０２Ｂの歯が噛み合い、プレースホルダ３０２Ｂを介して、メイン動力歯車３０１の歯と楽曲歯車３０４−４の歯が間接的に噛み合う。そして、プレースホルダ３０２Ｂが楽曲歯車３０４−４とともに矢印Ａ３で示される方向に回転し始め、プレースホルダ３０２Ｂ及び楽曲歯車３０４−４の周縁部３０４Ｂの色が濃くなる。

さらに、マスタビートに従って、再生楽曲Ｂのビートの進行と、メイン動力歯車３０１、プレースホルダ３０２Ｂ、及び、楽曲歯車３０４−４の回転とが同期する。すなわち、再生楽曲Ｂのビートが１つ進む間に、メイン動力歯車３０１の回転により、メイン動力歯車３０１の歯とプレースホルダ３０２Ｂ及び楽曲歯車３０４−４の歯とが噛み合う位置が１つ進むように、各歯車が１ピッチ分回転する。

なお、プレースホルダ３０２Ａ及び楽曲歯車３０４−１は、そのまま回転を継続する。従って、プレースホルダ３０２Ａ及び楽曲歯車３０４−１と、プレースホルダ３０２Ｂ及び楽曲歯車３０４−４とは、メイン動力歯車３０１を介して間接的に噛み合い、メイン動力歯車３０１の回転に合わせて、同じ方向に同じ速度で回転する。

なお、楽曲歯車３０４（以下、楽曲歯車Ａと称する）が置かれているプレースホルダ３０２Ａに別の楽曲歯車３０４（以下、楽曲歯車Ｂと称する）が置かれた場合、プレースホルダ３０２Ａに表示される歯車が、楽曲歯車Ａから楽曲歯車Ｂに置き換わる。また、楽曲歯車Ａは、音声歯車置き場に移動する。さらに、楽曲歯車Ａに対応する楽曲の再生が停止された後、楽曲歯車Ｂに対応する楽曲の再生が開始される。

同様に、楽曲歯車３０４（以下、楽曲歯車Ｃと称する）が置かれているプレースホルダ３０２Ｂに別の楽曲歯車３０４（以下、楽曲歯車Ｄと称する）が置かれた場合、プレースホルダ３０２Ｂに表示される楽曲歯車が、楽曲歯車Ｃから楽曲歯車Ｄに置き換わる。また、楽曲歯車Ｃは、音声歯車置き場に移動する。さらに、楽曲歯車Ｃに対応する楽曲の再生が停止された後、楽曲歯車Ｄに対応する楽曲の再生が開始される。

その後、同期再生処理は終了する。

一方、ステップＳ５１において、再生を開始するのが楽曲でなく、ループ素材であると判定された場合、処理はステップＳ５５に進む。

ステップＳ５５において、再生制御部２６１は、再生を開始するループ素材が、ビートのあるループ素材であるか否かを判定する。ビートのあるループ素材であると判定された場合、処理はステップＳ５６に進む。

ステップＳ５６において、再生制御部２６１は、再生を開始するループ素材が、オリジナルテンポで再生するループ素材であるか否かを判定する。オリジナルテンポで再生するループ素材でないと判定された場合、換言すれば、マスタテンポに従って再生するループ素材であると判定された場合、処理はステップＳ５７に進む。

ステップＳ５７において、再生制御部２６１は、タイムストレッチ値を算出する。具体的には、まず、再生制御部２６１は、新たに再生するループ素材の平均BPMをオリジナルテンポとして求める。次に、再生制御部２６１は、マスタテンポをオリジナルテンポで割った値をタイムストレッチ値Vtとして求める。そして、再生制御部２６１は、求めたタイムストレッチ値Vtを音声信号生成部２８２に供給する。

その後、処理はステップＳ５９に進む。

一方、ステップＳ５６において、オリジナルテンポで再生するループ素材であると判定された場合、ステップＳ５７の処理はスキップされ、処理はステップＳ５９に進む。

また、ステップＳ５５において、ビートのないループ素材であると判定された場合、処理はステップＳ５８に進む。

ステップＳ５８において、再生制御部２６１は、再生を開始するループ素材が、小節の頭から再生するループ素材であるか否かを判定する。小節の頭から再生するループ素材であると判定された場合、処理はステップＳ５９に進む。

ステップＳ５９において、音楽リミックスシステム１０１は、リミックスラインの小節頭に合わせてループ素材の再生を開始する。具体的には、音声信号生成部２８２は、マスタビート生成部２８１から出力されるバー信号に基づいて、リミックスラインの次の小節の頭に合わせて、新たなループ素材の先頭から再生を開始する。

また、音声信号生成部２８２は、ビートのあるループ素材であって、マスタテンポに従って再生するループ素材である場合、再生制御部２６１により算出されたタイムストレッチVtに基づいて、新たに再生するループ素材の再生速度をVt倍にして再生する。これにより、新たに再生するループ素材のテンポが、マスタテンポに合わせられる。

従って、再生楽曲Ａ又は再生楽曲Ｂのうち少なくとも一方を再生中に、このループ素材の再生が開始された場合、再生中の楽曲とループ素材が同期再生される。すなわち、テンポとビート位置が一致するように楽曲とループ素材が再生される。加えて、小節の頭が一致するように楽曲とループ素材が再生される。

一方、音声信号生成部２８２は、オリジナルテンポで再生するループ素材、又は、ビートのないループ素材である場合、新たに再生するループ素材をオリジナルの速度のまま再生する。

従って、再生楽曲Ａ又は再生楽曲Ｂのうち少なくとも一方を再生中に、このループ素材の再生が開始された場合、ループ素材は、再生中の楽曲と小節の頭だけ合わせられ、当該楽曲のテンポ及びビート位置とは無関係に非同期に再生される。

また、表示部２１５は、表示制御部２３２の制御の下に、新たなループ素材の再生表示を開始する。ここで、図２０を参照して、新たなループ素材を再生する場合のＤＪプレイ画面の例について説明する。

図２０は、プレースホルダ３０２Ａに置かれた楽曲歯車３０４−１に対応する再生楽曲Ａ、及び、プレースホルダ３０２Ｂに置かれた楽曲歯車３０４−４に対応する再生楽曲Ｂの再生中に、プレースホルダ３０３に素材歯車３０５−２を置いて、素材歯車３０５−２に対応するループ素材（以下、新規ループ素材と称する）の再生を開始する場合の例を示している。

例えば、新規ループ素材の再生の開始と同時に、メイン動力歯車３０１の歯とプレースホルダ３０３の歯が噛み合い、プレースホルダ３０３を介して、メイン動力歯車３０１の歯と素材歯車３０５−２の歯が間接的に噛み合う。そして、プレースホルダ３０３が素材歯車３０５−２とともに矢印Ａ４で示される方向に回転し始める。

また、新規ループ素材が、ビートがあり、マスタテンポに従って再生するループ素材である場合、マスタビートに従って、ループ素材のビートの進行と、メイン動力歯車３０１、プレースホルダ３０３、及び、素材歯車３０５−２の回転とが同期する。すなわち、新規ループ素材のビートが１つ進む間に、メイン動力歯車３０１の回転により、メイン動力歯車３０１の歯とプレースホルダ３０２Ｂ及び素材歯車３０５−２の歯とが噛み合う位置が１つ進むように、各歯車が１ピッチ分回転する。

そして、新規ループ素材は、連続して繰り返し再生される。すなわち、新規ループ素材の再生が終わると、次のリミックスラインの小節頭に合わせて、新規ループ素材の再生が再開される。

なお、新規ループ素材が、ビートがあるが、オリジナルテンポで再生するループ素材、又は、ビートはないが、リミックスラインの小節頭から再生するループ素材であり、対応する素材歯車３０５の歯が１つだけである場合、リミックスラインの小節頭毎に、メイン動力歯車３０１と当該素材歯車３０５の歯が噛み合うように、各歯車が回転する。

また、素材歯車３０５（以下、素材歯車Ａと称する）が置かれているプレースホルダ３０３に別の素材歯車３０５（以下、素材歯車Ｂと称する）が置かれた場合、プレースホルダ３０３に表示される歯車が、素材歯車Ａから素材歯車Ｂに置き換わる。また、素材歯車Ａは、音声歯車置き場に移動する。さらに、素材歯車Ａに対応する楽曲の再生が停止された後、素材歯車Ｂに対応する楽曲の再生が開始される。

その後、同期再生処理は終了する。

一方、ステップＳ５８において、小節の頭から再生するループ素材でないと判定された場合、換言すれば、小節のどの位置から再生してもよいループ素材であると判定された場合、処理はステップＳ６０に進む。

ステップＳ６０において、音楽リミックスシステム１０１は、ループ素材の再生を開始する。すなわち、音声信号生成部２８２は、リミックスラインの位置に関わらず、新たなループ素材の先頭から再生を開始し、その後、ループ素材を連続して繰り返し再生する。

従って、再生楽曲Ａ又は再生楽曲Ｂのうち少なくとも一方を再生中に、このループ素材の再生が開始された場合、ループ素材は、再生中の楽曲のテンポ、ビート位置、及び、小節の頭とは無関係に非同期に再生される。

また、表示部２１５は、図２０を参照して上述した場合と同様に、表示制御部２３２の制御の下に、新たなループ素材の再生表示を開始する。

ただし、この場合、新規ループ素材は、ビートがなく、リミックスラインの小節頭から再生する必要のないループ素材であり、対応する素材歯車３０５は、図１５に示される態様である。従って、メイン動力歯車３０１と素材歯車３０５とは、歯が噛み合うことがなく、メイン動力歯車３０１の回転による摩擦により素材歯車３０５が回転するような態様で表示される。

その後、同期再生処理は終了する。

図１０に戻り、ステップＳ５において、再生制御部２６１は、再生を開始したのが楽曲であるか否かを判定する。再生を開始したのが楽曲であると判定された場合、処理はステップＳ６に進む。

ステップＳ６において、類似度算出部２４１は、再生を開始した楽曲において参照ブロックを設定する。例えば、類似度算出部２４１は、ステップＳ４の処理で再生を開始した楽曲において、再生を開始した小節を先頭とする所定数の小節（例えば、８小節）を参照ブロックに設定する。

ステップＳ７において、音素材検索部２３１は、推薦曲検索処理を実行する。ここで、図２１のフローチャートを参照して、推薦曲検索処理の詳細について説明する。

ステップＳ１０１において、類似度算出部２４１は、参照ブロックを含む楽曲（以下、参照曲と称する）のメタデータを音声メタデータ用記憶部２１７から取得し、取得したメタデータに基づいて、参照ブロックのビート数ｎを求める。

ステップＳ１０２において、類似度算出部２４１は、参照ブロックの相対コードをビート粒度の配列a[ ]に展開する。具体的には、類似度算出部２４１は、参照曲のメタデータに基づいて、参照ブロックの各ビートにおける相対コードを求め、長さnの配列a[ ]に代入する。すなわち、a[0]には、参照ブロックの先頭のビートにおける相対コードが代入され、a[1]には、２番目のビートにおける相対コードが代入され、以下同様にして、a[n-1]には、最後のn番目のビートにおける相対コードが代入される。

ステップＳ１０３において、類似度算出部２４１は、変数sに0を代入する。

ステップＳ１０４において、類似度算出部２４１は、音声メタデータ用記憶部２１７から、s＋1番目の楽曲（以下、検索対象曲と称する）のメタデータを取得する。

ステップＳ１０５において、類似度算出部２４１は、ｓ＋１番目の楽曲が検索対象から除外する楽曲であるかを判定する。類似度算出部２４１は、ｓ＋１番目の楽曲、すなわち、検索対象曲が所定の除外条件に該当しない場合、ｓ＋１番目の楽曲が検索対象から除外する楽曲でないと判定し、処理はステップＳ１０６に進む。

ステップＳ１０６において、類似度算出部２４１は、ｓ＋１番目の楽曲の相対コードをビート粒度の配列b[ ]に展開する。具体的には、類似度算出部２４１は、ｓ＋１番目の楽曲、すなわち、検索対象曲のメタデータに基づいて、検索対象曲の各ビートに対応する相対コードを求め、配列b[ ]に代入する。すなわち、検索対象曲のビート数をmとした場合、b[0]には、検索対象曲の先頭のビートに対応する相対コードが代入され、b[1]には、２番目のビートに対応する相対コードが代入され、以下同様にして、b[m-1]には、最後のｍ番目のビートに対応する相対コードが代入される。

ステップＳ１０７において、音素材検索部２３１は、スコア算出処理を実行する。ここで、図２２のフローチャートを参照して、スコア算出処理の詳細について説明する。

ステップＳ１５１において、類似度算出部２４１は、変数pに0を代入する。

ステップＳ１５２において、類似度算出部２４１は、スケールが同じであるかを判定する。ここで、参照区間とは、配列a[ ]の要素a[0]乃至a[n-１]の区間をいい、検索対象区間とは、配列b[ ]の要素b[p]乃至b[p+n-1]の区間をいう。類似度算出部２４１は、参照曲及び検索対象曲のメタデータに基づいて、参照区間と検索対象区間の一方が長調（Major）で、もう一方が短調（Minor）である場合、２つの楽曲のスケールが同じでないと判定し、処理はステップＳ１５３に進む。

ステップＳ１５３において、類似度算出部２４１は、配列a[ ]の値を絶対コードに変換する。

ステップＳ１５４において、類似度算出部２４１は、配列b[ ]の値を絶対コードに変換する。

一方、ステップＳ１５２において、類似度算出部２４１は、参照区間と検索対象区間がともに長調（Major）又は短調（Minor）である場合、２つの曲のスケールが同じであると判定し、ステップＳ１５３及びＳ１５４の処理はスキップされ、処理はステップＳ１５５に進む。

ステップＳ１５５において、類似度算出部２４１は、参照区間と検索対象区間の類似度を求める。類似度算出部２４１は、以下の式（２）及び（３）に基づいて、参照区間と検索対象区間の類似度Rabを求める。

なお、式（３）のMatrixR[x][y]は、各コード間の類似度を定義した所定の類似度マトリックスのx行y列目の要素の値を示している。類似度マトリックスとは、各コード間の類似度を定義したマトリックスであり、マトリックスの各欄に各コード間の類似度に基づくポイントが設定されている。ここで、類似度マトリックスの例をいくつか示す。

図２３は、参照区間と検索対象区間がともに長調である場合に用いられる類似度マトリックスの例を示している。なお、図２３の類似度マトリックスの行番号及び列番号は、相対コードの度数により示される。従って、要素a[i]と要素b[i+p]の相対コードの度数が同じ場合に、最も高い１０ポイントが与えられる。また、互いに似た響きをする代理コードの存在を考慮して、要素a[i]と要素b[i+ｐ]の相対コードが代理コードの関係にある場合、すなわち、一方が相対コードに対して他方がその代理コードである場合、より厳密に言えば、要素a[i]と要素b[i+ｐ]の相対コードが、参照区間と検索対象区間のキーを合わせた場合に代理コードの関係にあるとき、５ポイントが与えられる。例えば、要素a[i]の相対コードの度数がＩ、要素b[i+p]の相対コードの度数がIIIである場合に５ポイントが与えられる。それ以外の場合（マトリックスの空欄に相当する）には、０ポイントとなる。

図２４は、参照区間と検索対象区間がともに短調である場合に用いられる類似度マトリックスの例を示している。なお、図２４の類似度マトリックスの行番号及び列番号は、図２３の類似度マトリックスと同様に、相対コードの度数により示される。図２４の類似度マトリックスにおいても、図２３の類似度マトリックスと同様に、要素a[i]と要素b[i+p]の相対コードの度数が同じ場合に、最も高い１０ポイントが与えられ、要素a[i]と要素b[i+ｐ]の相対コードが代理コードの関係にある場合、５ポイントが与えられ、それ以外の場合（マトリックスの空欄に相当する）には、０ポイントとなる。ただし、長調と短調では代理コードが異なるため、図２３と図２４とでは異なるマトリックスとなっている。

図２５は、参照区間と検索対象区間のスケールが異なる場合に用いられる類似度マトリックスの例を示している。図２５の類似度マトリックスの行番号及び列番号は、絶対コードの根音の音名により示される。図２５の類似度マトリックスにおいては、要素a[i]と要素b[i+p]の絶対コードの根音が同じ場合に１０ポイントが与えられ、それ以外の場合（マトリックスの空欄に相当する）には、０ポイントとなる。このように、参照区間と検索対象区間のスケールが異なる場合、絶対コードに基づいて類似度が求められる。これは、参照区間と検索対象区間のスケールが異なる場合、スケールの違いにより、相対コードの種類が同じでも、絶対コードに変換するとコードの種類は異なってしまう一方、相対コードの種類が異なっていても、絶対コードに変換するとコードの種類が同じになる場合があるからである。

このように、参照区間と検索対象区間がともに長調又は短調である場合、各区間のスケールの主音に対する各コードの根音の相対度数に基づいて、類似度が算出され、２つの区間のうち一方が長調でもう一方が短調である場合、各コードの絶対音の高さに基づいて、類似度が算出される。

なお、式（３）に示されるように、参照区間と検索対象区間のスケールが同じ場合、要素a[i]と要素b[i+p]の相対コードの度数が同じで、お互いがメジャーコードとマイナーコードの関係にあるとき、又は、参照区間と検索対象区間のスケールが異なる場合、要素a[i]と要素b[i+p]の絶対コードの根音が同じで、お互いがメジャーコードとマイナーコードの関係にあるとき、ポイントは０に設定される。これは、例えば、相対コードで同じIの和音だとしても一方がＩ, もう一方がＩmだとすると、前者は第３音が根音から長３度上の音となり、後者は第３音が根音から短３度上の音となる。この２つの音は半音１つ分だけずれているので、この２つのコードを同時に鳴らした場合、不協和音に聴こえてしまうためである。なお、要素a[i]と要素b[i+p]の相対コードの度数又は絶対コードの根音が異なる場合には、お互いがメジャーコードとマイナーコードの関係にあっても、不協和音になるとは限らないので、類似度マトリックスに基づいて、ポイントが求められる。

なお、図２３乃至図２５は類似度マトリックスの一例であり、この例に限定されるものではない。例えば、コードの組み合わせに基づいて、与えるポイントをさらに詳細に分類するようにしてもよいし、短調用の類似度マトリックスを、メロディックマイナースケール、ハーモニックマイナースケール、ナチュラルマイナースケールなどの詳細なスケールの分類に基づいて、さらに細かく分類するようにしてもよい。なお、類似度マトリックスの種類が増えたとしても、類似度マトリックスを一度用意すれば、上述した同じ式（２）及び（３）により類似度を求めることができる。

図２２に戻り、ステップＳ１５６において、類似度算出部２４１は、類似度が閾値Ｔを超えたかを判定する。類似度が所定の閾値Ｔを超えたと判定された場合、すなわち、参照区間と検索対象区間のコード進行の類似度が高い場合、処理はステップＳ１５７に進む。

ステップＳ１５７において、スコア算出部２４２は、スコアを算出する。具体的には、類似度算出部２４１は、算出した類似度をスコア算出部２４２に供給する。スコア算出部２４２は、所定の条件に基づいて類似度に重みを乗じることにより、スコアを算出する。例えば、類似度算出部２４１は、参照曲と検索対象曲の類似度が低いことを示す要素がある場合、例えば、参照曲と検索対象曲のテンポの差が所定の閾値以上だったり、参照曲と検索対象曲のスケールが異なったりする場合、スコアが低くなるように1未満の重みを類似度に乗ずる。

ステップＳ１５８において、スコア算出部２４２は、検索結果を登録する。具体的には、スコア算出部２４２は、スコアが算出された検索対象区間とそのスコアを楽曲ごとに分類して音声メタデータ用記憶部２１７に記憶させる。

一方、ステップＳ１５６において、類似度が所定の閾値Ｔを超えていないと判定された場合、すなわち、参照区間と検索対象区間のコード進行の類似度が低い場合、ステップＳ１５７及びＳ１５８の処理はスキップされ、処理はステップＳ１５９に進む。すなわち、検索対象区間のスコアは０とされる。

ステップＳ１５９において、類似度算出部２４１は、変数pの値を１つインクリメントする。

ステップＳ１６０において、類似度算出部２４１は、p+nが配列b[ ]の大きさを超えたかを判定する。p+nが配列b[ ]の大きさｍを超えていないと判定された場合、すなわち、検索対象曲のp番目から最後のビートまでの区間が参照区間のビート数n以上である場合、処理はステップＳ１５５に戻る。

その後、ステップＳ１６０において、p+nが配列b[ ]の大きさを超えたと判定されるまで、ステップＳ１５５乃至Ｓ１６０の処理が繰り返し実行される。すなわち、図２６に示されるように、検索対象区間（b[p]乃至b[p+n-1]の区間）が配列b[ ]の先頭から１ビートずつずらされながら、各検索対象区間について、参照区間（a[0]乃至a[ｎ]の区間）との類似度に基づくスコアが算出され、検索対象曲において、参照区間とコード進行の類似度が高い区間が検索される。

一方、ステップＳ１６０において、p+nの値が配列b[ ]の大きさを超えたと判定された場合、すなわち、検索対象曲のp番目から最後のビートまでの区間が参照区間のビート数n未満になった場合、スコア算出処理は終了する。

図２１に戻り、ステップＳ１０８において、類似度算出部２４１は、nの値を１つデクリメントする。

ステップＳ１０９において、類似度算出部２４１は、nが閾値Ｌ以上であるかを判定する。nが所定の閾値Ｌ以上であると判定された場合、処理はステップＳ１０７に戻る。

その後、ステップＳ１０９において、nが閾値Ｌ未満であると判定されるまで、ステップＳ１０７乃至Ｓ１０９の処理が繰り返し実行される。すなわち、ｎの値が閾値Ｌ未満になるまで、参照区間の長さを１ビートずつ縮めながら、検索対象曲において、参照区間とコード進行の類似度が高い区間の検索が繰り返し実行される。

一方、ステップＳ１０９において、nが閾値Ｌ未満であると判定された場合、処理はステップＳ１１０に進む。

また、ステップＳ１０５において、類似度算出部２４１は、検索対象曲が所定の除外条件に該当する場合、ｓ＋１番目の楽曲が検索対象から除外する楽曲であると判定し、ステップＳ１０６乃至Ｓ１０９の処理はスキップされ、処理はステップＳ１１０に進む。なお、検索対象から除外する楽曲の条件としては、例えば、参照曲と同じ楽曲、参照曲と拍子が異なる楽曲、参照曲とのテンポの違いが所定の閾値以上である楽曲などが考えられ、必要に応じてユーザにより設定される。

ステップＳ１１０において、類似度算出部２４１は、sの値を１つインクリメントする。

ステップＳ１１１において、類似度算出部２４１は、sの値が総曲数と等しいかを判定する。sの値が総曲数と等しくないと判定された場合、すなわち、まだ音声メタデータ用記憶部２１７にメタデータが記憶されている全ての楽曲について処理されていない場合、処理はステップＳ１１２に進む。

ステップＳ１１２において、類似度算出部２４１は、ｎの値を参照ブロックのビート数に戻す。

その後、処理はステップＳ１０４に戻り、ステップＳ１１１において、sの値が総曲数と等しいと判定されるまで、ステップＳ１０４乃至Ｓ１１１の処理が繰り返し実行される。

一方、ステップＳ１１１において、sの値が総曲数と等しいと判定された場合、すなわち、音声メタデータ用記憶部２１７にメタデータが記憶されている全ての楽曲について処理が行われた場合、処理はステップＳ１１３に進む。

ステップＳ１１３において、推薦曲抽出部２４３は、推薦曲を抽出する。具体的には、推薦曲抽出部２４３は、音声メタデータ用記憶部２１７から全ての楽曲のスコアを読み出し、楽曲ごとに集計する。そして、推薦曲抽出部２４３は、合計スコアが所定の閾値以上の楽曲を、参照曲につなげてノンストップで再生するのに適した推薦曲として抽出する。推薦曲抽出部２４３は、推薦曲の抽出結果を表示制御部２３２に供給する。

その後、推薦曲検索処理は終了する。

以上のようにして、大量の楽曲の中から、再生中の楽曲（参照曲）につなげて再生するのに適した楽曲を、実際に耳で確認するなどの作業を行うことなく、簡単に見つけることができる。

また、上述したように、代理コードの存在を考慮して類似度が算出されるので、参照区間とコード進行が一致していなくても、参照区間と響きが似ている区間を有する楽曲を検索することができる。

さらに、各トラックの音声ブロックは、ビート位置が揃えられて再生されるため、各区間の原曲における再生時間を考慮することなく、ビート単位でコード進行を比較することにより、参照区間と検索対象区間のコード進行の類似度を求めることができる。

なお、以上の説明では、ビート単位でコード進行を比較する例を示したが、８分音符、１６分音符単位など、さらに比較する精度を上げるようにしてもよい。この場合、メタデータの各コードのサンプル位置に基づいて、８分音符、１６分音符単位などの解像度でコード進行を求めることが可能である。

図１０に戻り、ステップＳ８において、表示部２１５は、表示制御部２３２の制御の下に、推薦曲の表示を更新する。具体的には、表示部２１５は、表示制御部２３２の制御の下に、ステップＳ７の処理で抽出された推薦曲に対応する楽曲歯車３０４を、他の楽曲歯車３０４と区別できるように異なる態様で表示する。

ここで、図２７及び図２８を参照して、推薦曲の表示例について説明する。

図２７は、プレースホルダ３０２Ａに置かれている楽曲歯車３０４−１に対応する再生楽曲Ａの再生中に、再生楽曲Ａに対する推薦曲として楽曲歯車３０４−３及び楽曲歯車３０４−４に対応する楽曲が抽出された場合の例を示している。この場合、表示部２１５は、表示制御部２３２の制御の下に、例えば、楽曲歯車３０４−３及び楽曲歯車３０４−４の周縁部３０４Ｂを、プレースホルダ３０２Ｂと同傾向の色で点滅させる。

これにより、ユーザは、点滅中の楽曲歯車３０４−３及び楽曲歯車３０４−４に対応する楽曲が、再生楽曲Ａにつなげて再生するのに適した楽曲であることを容易に認識することができる。また、ユーザは、再生楽曲Ａに続けて自然で違和感のないノンストップミックス再生を実行するために、点滅中の楽曲歯車３０４−３及び楽曲歯車３０４−４のうちの１つをプレースホルダ３０２Ｂに置けばよいことを直感的に認識することができる。

図２８は、プレースホルダ３０２Ａに置かれている楽曲歯車３０４−１に対応する再生楽曲Ａ、及び、プレースホルダ３０２Ｂに置かれている楽曲歯車３０４−４に対応する再生楽曲Ｂの再生中に、再生楽曲Ａに対する推薦曲として楽曲歯車３０４−３に対応する楽曲が抽出され、再生楽曲Ｂに対する推薦曲として楽曲歯車３０４−５に対応する楽曲が抽出された場合の例を示している。この場合、表示部２１５は、表示制御部２３２の制御の下に、例えば、楽曲歯車３０４−３の周縁部３０４Ｂを、プレースホルダ３０２Ｂと同傾向の色で点滅させ、楽曲歯車３０４−５の周縁部３０４Ｂを、プレースホルダ３０２Ａと同傾向の色で点滅させる。

これにより、ユーザは、点滅中の楽曲歯車３０４−３に対応する楽曲が、再生楽曲Ａにつなげて再生するのに適した楽曲であり、点滅中の楽曲歯車３０４−５に対応する楽曲が、再生楽曲Ｂにつなげて再生するのに適した楽曲であることを容易に認識することができる。また、ユーザは、再生楽曲Ａに続けて自然で違和感のないノンストップミックス再生を実行するために、点滅中の楽曲歯車３０４−３をプレースホルダ３０２Ｂに置けばよいことを直感的に認識することができる。さらに、ユーザは、再生楽曲Ｂに続けて自然で違和感のないノンストップミックス再生を実行するために、点滅中の楽曲歯車３０４−５をプレースホルダ３０２Ａに置けばよいことを直感的に認識することができる。

なお、再生楽曲Ａ及び再生楽曲Ｂの両方に対して抽出された推薦曲がある場合、例えば、その推薦曲に対応する楽曲歯車３０４の周縁部３０４Ｂが、プレースホルダ３０２Ａと同傾向の色と、プレースホルダ３０２Ｂと同傾向の色で交互に点滅する。これにより、ユーザは、点滅中の楽曲歯車３０４に対応する楽曲が、再生楽曲Ａ又は再生楽曲Ｂの両方につなげて再生するのに適した楽曲であることを容易に認識することができる。また、ユーザは、再生楽曲Ａ又は再生楽曲Ｂに続けて自然で違和感のないノンストップミックス再生を実行するために、点滅中の楽曲歯車３０４をプレースホルダ３０２Ｂ又はプレースホルダ３０２Ａに置けばよいことを直感的に認識することができる。

なお、もちろん、ユーザは、点滅していない楽曲歯車３０４をプレースホルダ３０２Ａ又はプレースホルダ３０２Ｂに置いて、対応する楽曲を再生させることも可能である。また、ユーザは、点滅中の楽曲歯車３０４を、点滅により示されているのと異なる方のプレースホルダに置いて、対応する楽曲を再生させることも可能である。

その後、処理はステップＳ９に進む。

一方、ステップＳ５において、再生を開始したのが楽曲でなく、ループ素材であると判定された場合、ステップＳ６乃至Ｓ８の処理はスキップされ、処理はステップＳ９に進む。すなわち、ループ素材の再生開始時には、推薦曲の検索及び表示の更新は行われない。

また、ステップＳ３において、新たな音声データの再生が指令されていないと判定された場合、ステップＳ４乃至Ｓ８の処理はスキップされ、処理はステップＳ９に進む。

ステップＳ９において、再生制御部２６１は、マスタテンポの変更が指令されたか否かを判定する。例えば、ユーザは、操作部２１４を介して、テンポスライダ３１２の設定位置を変更することにより、マスタテンポを変更することが可能である。また、例えば、ユーザは、プレースホルダ３０２Ａ又はプレースホルダ３０２Ｂに置かれている楽曲歯車３０４を指等でダブルタップしたり、カーソルでダブルクリックしたりして指定することにより、指定した楽曲歯車３０４に対応する楽曲のオリジナルテンポにマスタテンポを変更することができる。

再生制御部２６１は、上述したようなマスタテンポの変更操作が行われた場合、マスタテンポの変更が指令されたと判定し、処理はステップＳ１０に進む。

ステップＳ１０において、音楽リミックスシステム１０１は、マスタテンポを変更する。例えば、テンポスライダ３１２の設定位置が変更された場合、再生制御部２６１は、変更した設定位置に対応するマスタテンポの値をマスタビート生成部２８１に設定する。また、例えば、再生中の楽曲のオリジナルテンポへのマスタテンポの変更が指令された場合、再生制御部２６１は、指定された楽曲のオリジナルテンポをマスタテンポの値としてマスタビート生成部２８１に設定する。マスタビート生成部２８１は、設定されたマスタテンポでマスタビートの生成を開始する。

ステップＳ１１において、音楽リミックスシステム１０１は、再生速度を変更する。具体的には、再生制御部２６１は、上述したステップＳ５３と同様の処理により、変更後のマスタテンポに基づいて、再生中の各音声データに対するタイムストレッチ値Ｖｔをそれぞれ算出する。そして、音声信号生成部２８２は、再生制御部２６１により算出されたタイムストレッチVtに基づいて、再生中の各音声データの再生速度をVt倍にして再生する。

これにより、再生中の各音声データのビートの同期が保持されたまま、各音声データのテンポが、変更後のマスタテンポに変更される。

また、表示部２１５は、表示制御部２３２の制御の下に、メイン動力歯車３０１の回転速度を変更後のマスタテンポに応じた速度に変更する。さらに、表示部２１５は、メイン動力歯車３０１の回転速度の変更に合わせて、プレースホルダ３０２Ａ乃至３０３のうち回転中のプレースホルダ、及び、そのプレースホルダに置かれている楽曲歯車３０４又は素材歯車３０５の回転速度を、変更後のマスタテンポに応じた速度に変更する。

なお、オリジナルテンポのまま再生されるループ素材、又は、ビートを含まないループ素材を再生中の場合、そのループ素材については、再生速度の変更は行われない。

その後、処理はステップＳ１２に進む。

一方、ステップＳ９において、マスタテンポの変更が指令されていないと判定された場合、ステップＳ１０及びＳ１１の処理はスキップされ、処理はステップＳ１２に進む。

ステップＳ１２において、再生制御部２６１は、音量バランスの変更が指令されたか否かを判定する。例えば、ユーザは、操作部２１４を介して、音量スライダ３１１の設定位置を変更することにより、再生楽曲Ａと再生楽曲Ｂの音量バランスを変更することが可能である。そして、再生制御部２６１は、音量スライダ３１１の設定位置が変更された場合、音量バランスの変更が指令されたと判定し、処理はステップＳ１３に進む。

ステップＳ１３において、音楽リミックスシステム１０１は、音量バランスを変更する。具体的には、再生制御部２６１は、音量スライダ３１１の設定位置に基づいて、再生楽曲Ａと再生楽曲Ｂの音量を求め、求めた音量をエフェクト処理部２９１に設定する。エフェクト処理部２９１は、再生楽曲Ａと再生楽曲Ｂの出力音量を設定された音量に変更する。

なお、再生楽曲Ａ又は再生楽曲Ｂのいずれか一方のみが再生中の場合、音量スライダ３１１の設定位置に応じて再生中の楽曲の音量のみが変更される。

その後、処理はステップＳ１４に進む。

一方、ステップＳ１２において、音量バランスの変更が指令されていないと判定された場合、ステップＳ１３の処理はスキップされ、処理はステップＳ１４に進む。

ステップＳ１４において、類似度算出部２４１は、推薦曲を更新するタイミングであるか否かを判定する。例えば、類似度算出部２４１は、現在再生中の楽曲において、前回の推薦曲の検索に使用した参照ブロックの再生が終了した場合、推薦曲を更新するタイミングであると判定し、処理はステップＳ１５に進む。

ステップＳ１５において、類似度算出部２４１は、再生中の楽曲において参照ブロックを設定する。例えば、類似度算出部２４１は、前回の推薦曲の検索に使用した参照ブロックの再生が終了した楽曲において、参照ブロックの次の小節を先頭とする所定数の小節（例えば、８小節）を参照ブロックに設定する。

なお、再生楽曲Ａ及び再生楽曲Ｂの両方の再生中に、両曲とも前回の推薦曲の検索に使用した参照ブロックの再生が終了した場合、それぞれの楽曲において参照ブロックが設定される。

ステップＳ１６において、上述したステップＳ７の処理と同様に、推薦曲検索処理が実行される。これにより、再生楽曲Ａ又は再生楽曲Ｂのいずれかにおいて参照ブロックが設定された場合、参照ブロックが設定された楽曲に対する推薦曲が検索される。一方、再生楽曲Ａ及び再生楽曲Ｂの両方において参照ブロックが設定された場合、両方の楽曲に対する推薦曲が検索される。

ステップＳ１７において、上述したステップＳ８の処理と同様に、推薦曲の検索結果に基づいて、推薦曲の表示が更新される。

なお、以上では、参照ブロックの再生が終了した後に、次の参照ブロックに基づいて推薦曲を検索する例を示したが、参照ブロックの再生終了前に、次の参照ブロックに基づいて推薦曲を検索するようにしてもよい。また、前の参照ブロックと次の参照ブロックが重なるように参照ブロックを設定するようにしてもよい。

その後、処理はステップＳ１８に進む。

一方、ステップＳ１４において、推薦曲を更新するタイミングでないと判定された場合、ステップＳ１５乃至Ｓ１７の処理はスキップされ、処理はステップＳ１８に進む。

ステップＳ１８において、再生制御部２６１は、２つの楽曲が同時に再生された状態が所定の期間（例えば、ｎ小節（ｎは自然数））継続したか否かを判定する。２つの楽曲（再生楽曲Ａ及び再生楽曲Ｂ）が同時に再生された状態が所定の期間継続したと判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、音楽リミックスシステム１０１は、先に再生していた楽曲をフェードアウトする。具体的には、再生制御部２６１は、再生楽曲Ａ及び再生楽曲Ｂのうち先に再生を開始していた楽曲のフェードアウトをエフェクト処理部２９１に指令する。エフェクト処理部２９１は、指定された楽曲の音量をフェードアウトする。また、フェードアウトした楽曲の再生を行なっている音声信号生成部２８２は、再生制御部２６１の制御の下に、楽曲の再生を停止する。

また、表示部２１５は、表示制御部２３２の制御の下に、フェードアウトした楽曲に対応する楽曲歯車３０４を、プレースホルダ３０２Ａ又はプレースホルダ３０２Ｂから音声歯車置き場に移動する。さらに、表示部２１５は、表示制御部２３２の制御の下に、フェードアウトした楽曲に対応するプレースホルダの回転を停止する。

例えば、上述した図１９の例では、プレースホルダ３０２Ａに置かれた楽曲歯車３０４−１に対応する再生楽曲Ａと、プレースホルダ３０２Ｂに置かれた楽曲歯車３０４−４に対応する再生楽曲Ｂとが、所定の期間同期再生される。その後、再生楽曲Ａがフェードアウトし、図２９に示されるように、楽曲歯車３０４−１が、プレースホルダ３０２Ａから消え、音声歯車置き場に移動する。また、プレースホルダ３０２Ａの回転が停止する。

これにより、ユーザ操作によらずに、２つの楽曲をノンストップでスムーズにつなげて再生することができる。

なお、２つの楽曲を同時に再生する期間の長さを、ユーザ設定等により変更できるようにしてもよい。

その後、処理はステップＳ２０に進む。

一方、ステップＳ１８において、２つの楽曲が同時に再生された状態が所定の期間継続していないと判定された場合、ステップＳ１９の処理はスキップされ、処理はステップＳ２０に進む。

ステップＳ２０において、再生制御部２６１は、再生中の音声データの停止が指令されたか否かを判定する。例えば、ユーザは、操作部２１４を介して、プレースホルダ３０２Ａ若しくはプレースホルダ３０２Ｂから音声歯車置き場に楽曲歯車３０４を移動したり、プレースホルダ３０３から音声歯車置き場に素材歯車３０５を移動したりすることにより、再生中の音声データを停止することができる。

再生制御部２６１は、上述したような再生中の音声データの停止操作が行われた場合、再生中の音声データの停止が指令されたと判定し、処理はステップＳ２１に進む。

ステップＳ２１において、音楽リミックスシステム１０１は、指定された音声データの再生を停止する。具体的には、停止が指令された音声データの再生を行なっている音声信号生成部２８２は、再生制御部２６１の制御の下に、音声データの再生を停止する。また、表示部２１５は、表示制御部２３２の制御の下に、再生を停止した音声データに対応するプレースホルダの回転を停止する。

その後、処理はステップＳ２２に進む。

一方、ステップＳ２０において、再生中の音声データの停止が指令されていないと判定された場合、ステップＳ２１の処理はスキップされ、処理はステップＳ２２に進む。

ステップＳ２２において、再生制御部２６１は、最後まで再生された楽曲があるか否かを判定する。最後まで再生された楽曲があると判定された場合、処理はステップＳ２３に進む。なお、楽曲の一部からなる音声データを再生中の場合、その楽曲の一部の最後まで再生された場合、最後まで再生された楽曲があると判定される。

ステップＳ２３において、音楽リミックスシステム１０１は、ステップＳ２１の処理と同様の処理により、該当する楽曲の再生を停止する。

その後、処理はステップＳ２４に進む。

一方、ステップＳ２２において、最後まで再生された楽曲がないと判定された場合、ステップＳ２３の処理はスキップされ、処理はステップＳ２４に進む。

ステップＳ２４において、再生制御部２６１は、ＤＪプレイの停止が指令されたか否かを判定する。ＤＪプレイの停止が指令されていないと判定された場合、処理はステップＳ３に戻る。

その後、ステップＳ２４において、ＤＪプレイの停止が指令されたと判定されるまで、ステップＳ３乃至Ｓ２４の処理が繰り返し実行される。

一方、ステップＳ２４において、再生制御部２６１は、操作部２１４を介してＤＪプレイを停止する処理が行われた場合、ＤＪプレイの停止が指令されたと判定し、ＤＪプレイ処理は終了する。

以上のようにして、ユーザは、音楽知識や特別なテクニックがなくても、直感的で簡単な操作によりＤＪプレイを楽しむことができる。すなわち、ユーザは、歯車を噛み合わせるという直感的で簡単な操作により、複数の楽曲やループ素材を組み合わせてＤＪプレイを行うことができる。また、プレースホルダ３０２Ａ及びプレースホルダ３０２Ｂに楽曲歯車３０４を置くだけで、２つの楽曲のテンポ、ビート位置、及び、小節の頭を合わせて同期再生することができる。さらに、先に再生していた楽曲から次の楽曲への切り替えを、ノンストップでスムーズに行うことができる。また、音楽リミックスシステム１０１により提示された推薦曲を選択することにより、簡単に、自然で違和感のない組み合わせで複数の楽曲をノンストップミックス再生することができる。

また、ＤＪプレイ画面は、常に動きがあり、その動きが明快であるため、ＤＪプレイ画面を用いたパフォーマンスを体験する聴衆は、音だけでなく視覚的にもＤＪプレイを楽しむことができる。

＜２．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。

［変形例１：ＤＪプレイ画面に関する変形例］
プレースホルダの数は、上述した例に限定されるものではない。例えば、プレースホルダの数を増やして、同時に組み合わせて再生できる楽曲及びループ素材の数を増やすことも可能である。

また、プレースホルダを設けずに、メイン動力歯車３０１の任意の位置に、楽曲歯車３０４や素材歯車３０５を噛み合わせることができるようにしてもよい。

さらに、メイン動力歯車３０１を用いずに、複数の楽曲歯車３０４を直接噛み合わせて、複数の楽曲を同期再生できるようにしたり、楽曲歯車３０４と素材歯車３０５を直接噛み合わせて、楽曲とループ素材を同期再生できるようにしたりしてもよい。

また、メイン動力歯車３０１に任意の楽曲を割り当てることができるようにしてもよい。そして、メイン動力歯車３０１に噛み合わされている楽曲歯車３０４又は素材歯車３０５に対応する楽曲又はループ素材を、メイン動力歯車３０１に割り当てられた楽曲に同期させて再生するようにしてもよい。この場合、メイン動力歯車３０１に割り当てられた楽曲のオリジナルテンポにマスタテンポをデフォルトで設定するようにしてもよい。また、任意のタイミングで、メイン動力歯車３０１に割り当てる楽曲を変更できるようにしてもよい。

さらに、楽曲歯車３０４の表示態様（色、デザイン、大きさ等）を、対応する楽曲のジャンルやムード等により変化させるようにしてもよい。また、音声歯車置き場に表示される楽曲歯車３０４を、ジャンルやムード等により絞り込めるようにしてもよい。以上により、所望の楽曲をより簡単に検索することが可能になる。

また、推薦曲に対応する楽曲歯車３０４を表示する場合に、スコアの高低に基づいて表示態様を変化させ、よりスコアが高い楽曲に対応する楽曲歯車３０４を目立たせるようにしてもよい。例えば、対応する楽曲のスコアが高くなるほど、楽曲歯車３０４を大きくしたり、明るくしたり、目立つ色やデザインで表示したりすることが考えられる。

さらに、図３０に示されるように、メイン動力歯車３０１の歯のうち、リミックスラインの小節の頭に対応する歯を他の歯と異なる態様（例えば、異なる色や模様）で表示するようにしてもよい。これにより、小節／ビートインジケータ３１３がなくても、リミックスラインの小節の頭の位置を把握することができる。なお、図３０の例では、リミックスラインの拍子が４拍子に設定され、メイン動力歯車３０１の歯の色が、３つ置きに他の歯と異なる色に設定された例が示されている。

また、以上の説明では、メイン動力歯車３０１、楽曲歯車３０４、及び、素材歯車３０５を平歯車により構成する例を示したが、平歯車以外の種類の歯車を採用するようにしてもよい。例えば、平歯車と同様の平行軸の歯車として、はすば歯車、内歯車と外歯車、ラック（直線歯車）＆ピニオン等を採用することが可能である。

図３１は、メイン動力歯車４０１をラック（直線歯車）により構成した場合のＤＪプレイ画面の一例を示している。なお、図中、図１２と対応する部分には同じ符号を付している。

図３１のＤＪプレイ画面は、図１２のプレイ画面と比較して、メイン動力歯車３０１の代わりにメイン動力歯車４０１が設けられ、プレースホルダ３０２Ａ乃至３０３の代わりに、プレースホルダ４０２Ａ乃至４０３が設けられている点が異なる。

メイン動力歯車４０１は、ラック（直線歯車）により構成され、例えば、矢印Ａ１１に示されるように、右から左方向に歯が移動する。また、メイン動力歯車４０１の移動速度は、マスタテンポの設定値に応じて変化する。

プレースホルダ４０２Ａ乃至４０３は、メイン動力歯車４０１の歯の近傍に所定の間隔で配置されている。プレースホルダ４０２Ａ、４０２Ｂ、及び、４０３は、それぞれ図１２のプレースホルダ３０２Ａ、３０２Ｂ、及び、３０３と同じ色が施されている。

ＤＪプレイ画面の上方の音声歯車置き場には、複数の楽曲歯車３０４及び複数の素材歯車３０５がランダムに配置されている。

そして、任意の楽曲歯車３０４をプレースホルダ４０２Ａ又はプレースホルダ４０２Ｂに置くことにより、その楽曲歯車３０４に対応する楽曲又は楽曲の一部が再生される。また、任意の素材歯車３０５をプレースホルダ４０３に置くことにより、その素材歯車３０５に対応するループ素材が再生される。

なお、この図では、図１２の音量スライダ３１１、テンポスライダ３１２、及び、小節／ビートインジケータ３１３に相当する操作部材の表示を省略している。

なお、平行軸の歯車以外にも、例えば、かさ歯車等の交差軸の歯車、ネジ歯車、円筒ウォームギヤ等の食い違い軸の歯車、フェースギヤ等のその他の特殊な歯車を採用することも可能である。

さらに、上記の歯車を用いたユーザインタフェエースは、１つの音声データのみ再生する場合にも適用できる。例えば、音声データを１つずつ再生する装置において、動力歯車に所望の歯車を噛み合わせて、その歯車に対応する音声データを再生したり、動力歯車の回転速度によりテンポを変えたりするようなインタフェースを提供することができる。

［変形例２：音声データの再生に関する変形例］
以上の説明では、再生楽曲Ａと再生楽曲Ｂの音量バランスのみを調整できる例を示したが、各楽曲とループ素材との音量バランスを調整できるようにしてもよい。

さらに、以上の説明では、楽曲の再生中に別の楽曲の再生を開始した場合に、先に再生していた楽曲を自動的にフェードアウトする例を示したが、例えば、手動で実行できるモードを設けるようにしてもよい。例えば、プレースホルダ３０２Ａ又はプレースホルダ３０２Ｂから楽曲歯車３０４を外す操作を行ったときに、当該楽曲歯車３０４に対応する楽曲をフェードアウトさせるようにしてもよい。これにより、再生中の楽曲を任意のタイミングでフェードアウトさせることが可能になる。なお、この場合、当該楽曲歯車３０４の表示も合わせてフェードアウトさせるようにしてもよい。

［変形例３：ＤＪプレイの共同作業に関する変形例］
以上の説明では、１つの音楽リミックスシステム１０１によりＤＪプレイを実行する例を示したが、例えば、インターネット等のネットワークを介して接続された複数のクライアントを用いて、複数のユーザがＤＪプレイを共同で行うようにしてもよい。図３２は、複数のユーザが共同でＤＪプレイを行うことができるようにしたネットワークシステム５０１の構成例を示している。

ネットワークシステム５０１は、アプリケーションサーバ５１１、コンテンツサーバ５１２、及び、クライアント５１３乃至５１３−ｎを含むように構成される。アプリケーションサーバ５１１、コンテンツサーバ５１２、及び、クライアント５１３乃至５１３−ｎは、インターネット等により構成されるネットワーク５１４を介して相互に接続されている。

アプリケーションサーバ５１１は、上述したＤＪプレイを実行するためのアプリケーションプログラムを、ネットワーク５１４を介してクライアント５１３−１乃至５１３−ｎに提供する。また、アプリケーションサーバ５１１は、クライアント５１３−１乃至５１３−ｎにおける操作情報を、ネットワーク５１４を介して受信し、その操作情報に対する処理を行う。さらに、アプリケーションサーバ５１１は、クライアント５１３−１乃至５１３−ｎへの音声データの送信を、ネットワーク５１４を介してコンテンツサーバ５１２に指令する。また、アプリケーションサーバ５１１は、各種の指令を、ネットワーク５１４を介してクライアント５１３−１乃至５１３−ｎに送信する。

コンテンツサーバ５１２は、各種の楽曲やループ素材からなる音声データを保有し、ネットワーク５１４を介して、クライアント５１３−１乃至５１３−ｎに提供する。

クライアント５１３−１乃至５１３−ｎは、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機、スマートフォン等、アプリケーションサーバ５１１が提供するアプリケーションプログラムを実行することによりＤＪプレイを実行可能な装置により構成される。

なお、以下、クライアント５１３−１乃至５１３−ｎを個々に区別する必要がない場合、単にクライアント５１３と称する。

ネットワークシステム５０１では、例えば、図３３に示されるように、複数のクライアント５１３を利用して、複数のユーザが共同してＤＪプレイを実行することができる。

例えば、ユーザＵａがＤＪプレイ画面の操作を行った場合、その操作情報が、ユーザＵａのクライアント５１３から、ネットワーク５１４を介してアプリケーションサーバ５１１に送信される。アプリケーションサーバ５１１は、ユーザＵａによる操作を反映したＤＪプレイ画面を、ネットワーク５１４を介してユーザＵｂ及びユーザＵｃのクライアント５１３に提供する。また、ユーザＵａの操作により、新たな楽曲又はループ素材の再生が開始される場合、コンテンツサーバ５１２は、その楽曲又はループ素材に対応する音声データを、ネットワーク５１４を介してユーザＵｂ及びユーザＵｃのクライアント５１３に提供する。そして、ユーザＵｂ又はユーザＵｃがＤＪプレイ画面の操作を行った場合も、同様の処理が行われる。

これにより、ユーザＵａ乃至Ｕｃのクライアント５１３には同じ内容のＤＪプレイ画面が表示され、１つのメイン動力歯車３０１が共有される。また、ユーザＵａ乃至Ｕｃが、各自のクライアント５１３において、メイン動力歯車３０１に楽曲歯車３０４や素材歯車３０５を噛み合わせることにより、共同でＤＪプレイを行うことができる。例えば、ユーザＵａが選択した楽曲に続けて、ユーザＵｂが選択した楽曲をノンストップミックス再生することが可能である。

なお、複数のユーザが共同してＤＪプレイを実行する場合、各ユーザが所有する音声データ（楽曲及びループ素材）を共有するようにしてもよい。すなわち、あるユーザが、共同作業中の他のユーザが保有する音声データを利用して、ＤＪプレイを行うようにしてもよい。

なお、ユーザが保有する音声データには、当該ユーザのクライアント５１３に物理的に保有する音声データだけでなく、例えば、当該ユーザが、コンテンツサーバ５１２にある音声データを利用する権利を保有し、ダウンロード可能な音声データを含めるようにすることも可能である。

この場合、例えば、ユーザＵｂのクライアント５１３において、ユーザＵｂが所有する音声データだけでなく、ユーザＵａ及びユーザＵｃが所有する音声データに対応する楽曲歯車３０４及び素材歯車３０５が、音声歯車置き場に表示される。そして、例えば、ユーザＵａが所有するが、ユーザＵｂが所有していない音声データが再生される場合、ユーザＵｂのクライアント５１３に、コンテンツサーバ５１２から当該音声データが送信され、再生される。

なお、自分が保有する音声データと、他のユーザが保有する音声データを区別できるように、楽曲歯車３０４及び素材歯車３０５の表示態様を変えるようにしてもよい。

或いは、例えば、図３４に示されるように、楽曲歯車５３１の中央の円形の情報表示部５３１Ａに、対応する楽曲を保有するユーザを示すアイコンや写真等を表示するようにしてもよい。なお、このアイコンや写真には、当該ユーザが利用しているSNS（Social Networking Service）等で用いているものを使用することが可能である。また、情報表示部５３１Ａの周囲を囲む周縁部５３１Ｂには、対応する楽曲を収録しているアルバムやシングルのジャケット、又は、アーティストの写真等が表示される。これにより、各楽曲歯車５３１に対応する楽曲を保有するユーザを容易に識別することができる。

なお、ユーザを表すアイコン等と楽曲のジャケット等の表示位置は、図３４の例に限定されるものでなく、例えば、楽曲歯車５３１を上下等に分割して表示するようにしてもよい。

また、上述した楽曲歯車の表示態様は、ループ素材に対応する素材歯車にも適用することができる。

［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、例えば、本技術は以下のような構成も取ることができる。

（１）
それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御部と、
複数の音声データの同期再生を制御する再生制御部と
を含み、
複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記表示制御部は、前記複数の音声歯車を回転させ、前記再生制御部は、前記複数の音声歯車に対応する複数の音声データを同期再生させる
音声処理装置。
（２）
前記表示制御部は、いずれの音声データにも対応していない歯車である動力歯車の表示をさらに制御し、
複数の前記音声歯車が前記動力歯車に噛み合わされた場合、前記表示制御部は、前記動力歯車とともに前記複数の音声歯車を回転させ、前記再生制御部は、前記動力歯車を介して間接的に噛み合わされている前記複数の音声歯車に対応する複数の音声データを同期再生させる
前記（１）に記載の音声処理装置。
（３）
音声データを再生するテンポは可変であり、
前記表示制御部は、設定されたテンポに合わせて、前記動力歯車の回転速度及び前記動力歯車に噛み合わされている前記音声歯車の回転速度を変化させる
前記（２）に記載の音声処理装置。
（４）
前記動力歯車及び前記音声歯車の歯はそれぞれ１つのビートを表し、
前記表示制御部は、音声データのビートが１つ進む間に、前記動力歯車及び前記動力歯車に噛み合わされている前記音声歯車を１ピッチ分回転させる
前記（３）に記載の音声処理装置。
（５）
前記表示制御部は、前記音声歯車を前記動力歯車に噛み合わせるための所定の複数の設置位置の表示をさらに制御し、
前記再生制御部は、前記設置位置に設置された前記音声歯車に対応する音声データを再生させる
前記（２）乃至（４）のいずれかに記載の音声処理装置。
（６）
再生中の第１の音声データにつなげて再生するのに適した第２の音声データを検索する音声データ検索部を
さらに含み、
前記表示制御部は、複数の前記設置位置をそれぞれ異なる態様で表示させ、かつ、前記第２の音声データに対応する前記音声歯車を、前記第１の音声データにつなげて再生させるための前記設置位置の表示態様に対応した態様で表示させる
前記（５）に記載の音声処理装置。
（７）
前記再生制御部は、第１の音声歯車を前記動力歯車に噛み合わせて第１の音声データを再生している場合に、第２の音声データに対応する第２の音声歯車を前記動力歯車に噛み合わせたとき、前記第１の音声データをフェードアウトさせ、
前記表示制御部は、前記第１の音声データのフェードアウトとともに、前記第１の音声歯車を前記動力歯車と噛み合う位置から移動させる
前記（２）乃至（６）のいずれかに記載の音声処理装置。
（８）
音声データを再生するテンポは可変であり、
前記表示制御部は、設定されたテンポに合わせて前記音声歯車の回転速度を変化させる
前記（１）に記載の音声処理装置。
（９）
前記音声歯車の歯はそれぞれ１つのビートを表し、
前記表示制御部は、音声データのビートが１つ進む間に前記音声歯車を１ピッチ分回転させる
前記（８）に記載の音声処理装置。
（１０）
再生中の音声データにつなげて再生するのに適した音声データを検索する音声データ検索部を
さらに含み、
前記表示制御部は、検索された音声データに対応する前記音声歯車を、他の前記音声歯車と異なる態様で表示させる
前記（１）乃至（５）及び（７）乃至（９）のいずれかに記載の音声処理装置。
（１１）
前記再生制御部は、前記複数の音声データの小節の頭を合わせて再生させる
前記（１）乃至（１０）のいずれかに記載の音声処理装置。
（１２）
前記表示制御部は、楽曲又は楽曲の一部に対応する前記音声歯車と、ループ素材に対応する前記音声歯車を異なる態様で表示させる
前記（１）乃至（１１）に記載の音声処理装置。
（１３）
前記音声歯車の操作を行うための操作部を
さらに含む前記（１）乃至（１２）に記載の音声処理装置。
（１４）
音声処理装置が、
それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、
複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップと
を含む音声処理方法。
（１５）
それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、
複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。

１０１ 音楽リミックスシステム， １１１ CPU， １１２ 再生装置， １１３ ユーザ操作I/F装置， １１４ U/I表示装置， １１７ 記憶装置， １３１ 同期再生制御装置， １３２ 音声ミキシング装置， １６１ マスタビート生成装置， １６２ デコーダ， １６３ タイムストレッチ／ピッチシフト装置， １７１ エフェクト処理部， １７２ 音量調整装置， １７３ 音声ミックス装置， ２１１ ユーザインタフェース処理部， ２１２ リミックス処理部， ２１３ 同期再生部， ２１５ 表示部， ２３１ 音素材検索部， ２３２ 表示制御部， ２４１ 類似度算出部， ２４２ スコア算出部， ２４３ 推薦曲抽出部， ２６１ 再生制御部， ２６２ トラック生成部， ２７１ 同期再生制御部， ２７２ 音声ミキシング部， ２８１ マスタビート生成部， ２８２ 音声信号生成部， ２９１ エフェクト処理部， ２９２ 音声ミックス部， ３０１ メイン動力歯車， ３０２Ａ，３０２Ｂ，３０３ プレースホルダ， ３０４−１乃至３０４−ｍ 楽曲歯車， ３０５−１乃至３０５−ｎ 素材歯車， ３１１ 音量スライダ， ３１２ テンポスライダ， ３１３ 小節／ビートインジケータ， ４０１ メイン動力歯車， ４０２Ａ，４０２Ｂ，４０３ プレースホルダ， ５０１ ネットワークシステム， ５１１ アプリケーションサーバ， ５１２ コンテンツサーバ， ５１３−１乃至５１３−ｎ クライアント， ５３１ 楽曲歯車

Claims (15)

1. それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御部と、
   複数の音声データの同期再生を制御する再生制御部と
   を含み、
   複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記表示制御部は、前記複数の音声歯車を回転させ、前記再生制御部は、前記複数の音声歯車に対応する複数の音声データを同期再生させる
   音声処理装置。
2. 前記表示制御部は、いずれの音声データにも対応していない歯車である動力歯車の表示をさらに制御し、
   複数の前記音声歯車が前記動力歯車に噛み合わされた場合、前記表示制御部は、前記動力歯車とともに前記複数の音声歯車を回転させ、前記再生制御部は、前記動力歯車を介して間接的に噛み合わされている前記複数の音声歯車に対応する複数の音声データを同期再生させる
   請求項１に記載の音声処理装置。
3. 音声データを再生するテンポは可変であり、
   前記表示制御部は、設定されたテンポに合わせて、前記動力歯車の回転速度及び前記動力歯車に噛み合わされている前記音声歯車の回転速度を変化させる
   請求項２に記載の音声処理装置。
4. 前記動力歯車及び前記音声歯車の歯はそれぞれ１つのビートを表し、
   前記表示制御部は、音声データのビートが１つ進む間に、前記動力歯車及び前記動力歯車に噛み合わされている前記音声歯車を１ピッチ分回転させる
   請求項３に記載の音声処理装置。
5. 前記表示制御部は、前記音声歯車を前記動力歯車に噛み合わせるための所定の複数の設置位置の表示をさらに制御し、
   前記再生制御部は、前記設置位置に設置された前記音声歯車に対応する音声データを再生させる
   請求項２に記載の音声処理装置。
6. 再生中の第１の音声データにつなげて再生するのに適した第２の音声データを検索する音声データ検索部を
   さらに含み、
   前記表示制御部は、複数の前記設置位置をそれぞれ異なる態様で表示させ、かつ、前記第２の音声データに対応する前記音声歯車を、前記第１の音声データにつなげて再生させるための前記設置位置の表示態様に対応した態様で表示させる
   請求項５に記載の音声処理装置。
7. 前記再生制御部は、第１の音声歯車を前記動力歯車に噛み合わせて第１の音声データを再生している場合に、第２の音声データに対応する第２の音声歯車を前記動力歯車に噛み合わせたとき、前記第１の音声データをフェードアウトさせ、
   前記表示制御部は、前記第１の音声データのフェードアウトとともに、前記第１の音声歯車を前記動力歯車と噛み合う位置から移動させる
   請求項２に記載の音声処理装置。
8. 音声データを再生するテンポは可変であり、
   前記表示制御部は、設定されたテンポに合わせて前記音声歯車の回転速度を変化させる
   請求項１に記載の音声処理装置。
9. 前記音声歯車の歯はそれぞれ１つのビートを表し、
   前記表示制御部は、音声データのビートが１つ進む間に前記音声歯車を１ピッチ分回転させる
   請求項８に記載の音声処理装置。
10. 再生中の音声データにつなげて再生するのに適した音声データを検索する音声データ検索部を
    さらに含み、
    前記表示制御部は、検索された音声データに対応する前記音声歯車を、他の前記音声歯車と異なる態様で表示させる
    請求項１に記載の音声処理装置。
11. 前記再生制御部は、前記複数の音声データの小節の頭を合わせて再生させる
    請求項１に記載の音声処理装置。
12. 前記表示制御部は、楽曲又は楽曲の一部に対応する前記音声歯車と、ループ素材に対応する前記音声歯車を異なる態様で表示させる
    請求項１に記載の音声処理装置。
13. 前記音声歯車の操作を行うための操作部を
    さらに含む請求項１に記載の音声処理装置。
14. 音声処理装置が、
    それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、
    複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップと
    を含む音声処理方法。
15. それぞれが所定の音声データに対応し、画面内を移動可能な歯車である複数の音声歯車の表示を制御する表示制御ステップと、
    複数の前記音声歯車が直接又は間接的に噛み合わされた場合、前記複数の音声歯車を回転させ、前記複数の音声歯車に対応する複数の音声データを同期再生させる表示再生制御ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images