JP2021131401A - 音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム - Google Patents
音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム Download PDFInfo
- Publication number
- JP2021131401A JP2021131401A JP2018084816A JP2018084816A JP2021131401A JP 2021131401 A JP2021131401 A JP 2021131401A JP 2018084816 A JP2018084816 A JP 2018084816A JP 2018084816 A JP2018084816 A JP 2018084816A JP 2021131401 A JP2021131401 A JP 2021131401A
- Authority
- JP
- Japan
- Prior art keywords
- performance data
- performance
- musicality
- distance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
【課題】音楽性の判定や分類に供することが可能な情報を提供する。【解決手段】音楽性情報提供方法は、所定の楽曲を演奏した第1の演奏データを取得し、第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、第1の演奏データと、第1の演奏データと比較する、所定の楽曲を演奏した複数の第2の演奏データの夫々との距離を算出し、距離を示す情報を含む、第1の演奏データの音楽性の判定用情報を出力することを含む。【選択図】図5
Description
本発明は、音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システムに関する。
従来、個人の技能評価を目的として、ユーザの演奏データを評価用の楽曲データと比較して、演奏に対する評価を行う装置がある(例えば、特許文献1、2)。また、演奏に対する評価や検索を目的として、演奏データと楽曲データとの類似性を判定する装置がある(例えば、特許文献3〜6)。
楽曲の演奏内容は、楽曲に対する解釈、音楽に対する取り組み(考え方)、演奏の目的など、個々の演奏者が有する音楽性によって異なる。音楽性は、例えば、アーティキュレーション、リズム感、フレージング、ディナーミクといった演奏の要素を用いて総合的に判断、或いは分類される。
上述した従来技術は、個人の演奏技能の評価や検索のために、比較対象の演奏データを、基準データと比較し、基準データに対する類似度を判定するだけである。このように、従来技術では、複数の演奏データについて音楽性を分類する、という観点はなかった。
本発明は、音楽性の判定や分類に供することが可能な情報を提供可能な音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システムを提供することを目的とする。
本発明の一側面は、所定の楽曲を演奏した第1の演奏データを取得し、前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した複数の第2の演奏データの夫々との距離を算出し、前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力することを含む音楽性情報提供方法である。
一側面によれば、音楽性を示す複数のパラメータの組み合わせについての第1の演奏データと複数の第2の演奏データとの距離を示す情報により、直感的に第1の演奏データの属する音楽性を判定し、それが属するグループを分類可能となる。もっとも、k-means法
などの所定の分類アルゴリズムを用いて、第1及び第2の演奏データを複数の音楽性のグループに分類してもよい。
などの所定の分類アルゴリズムを用いて、第1及び第2の演奏データを複数の音楽性のグループに分類してもよい。
前記音楽性を示す複数のパラメータの組み合わせは、少なくとも前記所定の楽曲の標準
演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差を含むのが好ましい。当該時間差と組み合わせるパラメータは、選択し得る複数のパラメータから適宜選択できる。例えば、前記所定の楽曲の標準演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差と、前記第1の演奏データにおける前記演奏操作子の操作の強さと、前記第1の演奏データにおける前記演奏操作子の操作による発音の長さとの組み合わせとしてもよい。もっとも、上記操作の強さや発音の長さの夫々の代わりに、前記第1の演奏データにおける前記演奏操作子の操作の強さと標準演奏における操作の強さとの差や、前記第1の演奏データにおける発音の長さと標準演奏における発音の長さとの差を用いてもよい。
演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差を含むのが好ましい。当該時間差と組み合わせるパラメータは、選択し得る複数のパラメータから適宜選択できる。例えば、前記所定の楽曲の標準演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差と、前記第1の演奏データにおける前記演奏操作子の操作の強さと、前記第1の演奏データにおける前記演奏操作子の操作による発音の長さとの組み合わせとしてもよい。もっとも、上記操作の強さや発音の長さの夫々の代わりに、前記第1の演奏データにおける前記演奏操作子の操作の強さと標準演奏における操作の強さとの差や、前記第1の演奏データにおける発音の長さと標準演奏における発音の長さとの差を用いてもよい。
前記距離を示す情報は、前記音楽性を示す複数のパラメータについての前記第1の演奏データ及び前記複数の第2の演奏データの分布を示す情報を含む。或いは、前記距離を示す情報は、前記複数の第2の演奏データのうち、前記第1の演奏データとの距離が小さい順又は大きい順において所定順位までにある第2の演奏データを示す情報を含む。また、前記距離を示す情報は、前記第1の演奏データ及び前記第2の演奏データの夫々の演奏者を示す情報を含んでもよい。
また、音楽性情報提供方法は、前記距離を示す情報に基づいて、前記第1の演奏データの奏者が属する音楽性のグループを判定し、前記判定したグループに属する、前記第1の演奏データと異なる複数の演奏データを取得し、前記複数の演奏データを編集した編集演奏データを生成することをさらに含んでもよい。前記編集演奏データは所定の送信先へ送信してもよい。
本発明の他の側面は、所定の楽曲を演奏した第1の演奏データを取得する取得部と、前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した、複数の第2の演奏データの夫々との距離を算出する算出部と、前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力する出力部とを含む音楽性情報提供装置である。
また、本発明の他の側面は、電子楽器を用いて演奏した所定の楽曲の演奏データを送信する端末装置と、前記演奏データを第1の演奏データとして受信する受信部、前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した、複数の第2の演奏データの夫々との距離を算出する算出部、及び前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力する出力部とを含むサーバとを含む音楽性情報提供システムである。
また、本発明の他の側面は、コンピュータを、前記受信部、前記算出部及び前記出力部を含むサーバとして動作させるプログラム、或いは当該プログラムを記憶した記録媒体を含むことができる。
以下、図面を参照して、実施形態に係る音楽性情報提供システムについて説明する。
〔実施形態1〕
<音楽性分類システムの概要>
図1は、実施形態1に係る音楽性情報提供システムの一例を示す。図1において、音楽性情報提供システムは、電子ピアノ10と、端末装置20と、サーバ30とを含む。
〔実施形態1〕
<音楽性分類システムの概要>
図1は、実施形態1に係る音楽性情報提供システムの一例を示す。図1において、音楽性情報提供システムは、電子ピアノ10と、端末装置20と、サーバ30とを含む。
電子ピアノ10は、音楽性情報提供システムに適用可能な電子楽器の一例である。適用可能な電子楽器は、鍵盤楽器(ピアノ、オルガン、シンセサイザなど)、打楽器(ドラムなど)、管楽器(サクソフォーンなど)などを模した様々な電子楽器を含む。
電子ピアノ10は、演奏者が演奏した楽曲をMIDI(Musical Instrument Digital Interface)録音し、MIDIファイルとして記憶することができる。電子ピアノ10は、端末装置20と近距離無線通信可能であり、MIDIファイルを端末装置20へ送信できる。
端末装置20は、スマートフォンやタブレット端末などのモバイルデバイスであり、ネットワーク1を介して、MIDIファイルをサーバ30へ送信する。但し、端末装置20は、モバイルデバイスのような無線端末に制限されず、パーソナルコンピュータやワークステーションなどの固定端末であってもよい。
ネットワーク1は、LAN、或いはWANなどの広域ネットワークである。ネットワーク1の一部は無線区間を含んでいてもよい。無線区間は、例えば、WiFiなどの無線LAN網や、3GやLTEなどのセルラー網により構築される。
サーバ30は、音楽性情報、すなわち、演奏の音楽性の判定や分類に利用可能な情報を出力する処理を行う。サーバ30は、所定の楽曲について、複数の演奏者によるMIDIファイルを収集して記憶する。MIDIファイルは、演奏を再生するための演奏データを含み、演奏データは、演奏に係る複数のパラメータを含む。サーバ30は、演奏データに含まれる複数のパラメータのうち、音楽性を示す複数のパラメータの組み合わせ(音楽性パラメータと称する)に関して、複数の演奏データ間の距離(類似度)を算出し、この距離を示す情報を含む音楽性情報を出力する。
例えば、サーバ30は、或る楽曲について、比較対象の演奏データ(第1の演奏データとする)と、第1の演奏データと比較する、第1の演奏データと異なる複数の演奏データ(複数の第2の演奏データ)の夫々との距離を算出する。サーバ30は、第2の演奏データを距離の小さい順、又は距離の大きい順に並べた順位表(ランキング)を含む情報を出力する。或いは、サーバ30は、第1の演奏データと第2の演奏データの夫々との距離を
可視化した情報を出力する。これらの情報の提供により、第1及び第2の演奏データを直感的に複数の音楽性のグループに分類可能とする。
可視化した情報を出力する。これらの情報の提供により、第1及び第2の演奏データを直感的に複数の音楽性のグループに分類可能とする。
また、サーバ30は、第1の演奏データが属する音楽性のグループを示す情報を記憶する。この場合、サーバ30は、第1の演奏データが属する音楽性のグループと同一のグループに属する(音楽性が同じ)楽曲データを楽曲のデータベースから抽出し、抽出した複数の楽曲データを編集した編集楽曲データのMIDIファイルを生成する。さらに、サーバ30は、編集楽曲データのMIDIファイルを、所定の宛先、例えば所定の端末装置20に、ネットワーク1を介して送信する。端末装置20は、編集楽曲データを所定の電子ピアノ10に送り、電子ピアノ10に自動演奏させることができる。編集楽曲データのMIDIファイルは、端末装置20において、MIDI再生用のアプリケーション(MIDIプレイヤーと呼ばれる)を用いて再生することもできる。
以下、音楽性情報提供システムを構成する機器の構成を説明する。
<電子ピアノ>
図2は、電子ピアノ10の電気的構成例を示す図である。 電子ピアノ10は、CPU
(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、フラッシュメモリ14と、近距離無線回路15と、鍵盤5
と、操作パネル6と、ペダル7と、音源8とを含み、これらは、バスライン4を介して互いに接続されている。さらに、電子ピアノ10は、D/A変換器(DAC)16と、アンプ17L,17Rと、スピーカ18,19とを有している。音源8は、DAC16の入力に接続され、DAC16の出力は、アンプ17L,17Rの各入力に接続されている。アンプ17Lの出力は、スピーカ18に接続され、アンプ17Rの出力は、スピーカ19に接続されている。
<電子ピアノ>
図2は、電子ピアノ10の電気的構成例を示す図である。 電子ピアノ10は、CPU
(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、フラッシュメモリ14と、近距離無線回路15と、鍵盤5
と、操作パネル6と、ペダル7と、音源8とを含み、これらは、バスライン4を介して互いに接続されている。さらに、電子ピアノ10は、D/A変換器(DAC)16と、アンプ17L,17Rと、スピーカ18,19とを有している。音源8は、DAC16の入力に接続され、DAC16の出力は、アンプ17L,17Rの各入力に接続されている。アンプ17Lの出力は、スピーカ18に接続され、アンプ17Rの出力は、スピーカ19に接続されている。
CPU11は、演算処理装置であり、ROM12は、CPU11により実行される各種の制御プログラムやその実行の際に参照される固定値データを記憶するメモリである。RAM13は、ROM12に記憶される制御プログラムの実行に当たって各種のデータ等を一時的に記憶するための書き換え可能なメモリである。フラッシュメモリ14は、電子ピアノ10の電源がオフされた場合でも、内容を継続して記憶する不揮発性のメモリである。
鍵盤5は、図示しないが、複数のキー(白鍵および黒鍵)を有している。キーは、演奏操作子の一例である。操作パネル6は、各種ボリュームやスイッチ等を有しており、演奏者は、操作パネル6を用いて、電子ピアノ10の各種の動作モードや楽音のパラメータ等を設定可能に構成されている。ペダル7は、演奏者が足で踏み込むことにより操作を行う装置である。ペダル7は、ソフトペダルやダンパーペダルなどの操作による音響効果を得るために設けられる。説明の簡単のため、ペダル7が1つのペダルを備えると仮定する。
音源8は、DSP(Digital Signal Processor)9を内蔵しており、鍵盤5の押鍵が行われた場合に、CPU11から出力される楽音情報に対応する音高および音色のステレオ方式のデジタル楽音信号を生成する一方、鍵盤5の離鍵が行われた場合には、デジタル楽音信号の生成を停止する。
ここで、ステレオ方式のデジタル楽音信号とは、Lチャンネル(左チャンネル)およびRチャンネル(右チャンネル)を有するデジタル楽音信号を示している。音源8からステレオ方式のデジタル楽音信号が出力されると、DAC16により、ステレオ方式のデジタル楽音信号が、ステレオ方式のアナログ楽音信号へ変換される。
DAC16により出力されたLチャンネルのアナログ楽音信号は、アンプ17Lに入力
されて、増幅される。そして、増幅された楽音信号が楽音に変換され、スピーカ18から出力される。スピーカ18から出力される楽音は、押鍵に対応する楽音のLチャンネル、即ち、低音域の楽音を主とする成分となる。
されて、増幅される。そして、増幅された楽音信号が楽音に変換され、スピーカ18から出力される。スピーカ18から出力される楽音は、押鍵に対応する楽音のLチャンネル、即ち、低音域の楽音を主とする成分となる。
一方、DAC16により出力されたRチャンネルのアナログ楽音信号は、アンプ17Rに入力されて、増幅される。そして、増幅された楽音信号が楽音に変換され、スピーカ19から出力される。スピーカ19から出力される楽音は、押鍵に対応する楽音のRチャンネル、即ち、高音域の楽音を主とする成分となる。
CPU11は、プログラムの実行によって、演奏者によって演奏された楽曲のMIDI録音、すなわち、演奏データ(MIDIファイル)の生成処理を行う。演奏者の楽曲の演奏時における鍵盤5及びペダル7の操作状況は、MIDI規格に基づいて作成された演奏情報(発音のタイミング、音の高さ、強さなど)を示すパラメータ情報として、演奏データに含まれる。
MIDIファイル(演奏データ)は、少なくとも以下のパラメータを含む。
・押鍵されたキーの種類
・ノートオン
・ノートオフ
・ベロシティ
・ホールド
・押鍵されたキーの種類
・ノートオン
・ノートオフ
・ベロシティ
・ホールド
ノートオンは、音の出始めのタイミングを示し、ノートオフは、音の出終わりのタイミングを示す。換言すれば、ノートオンは、キーの押鍵タイミングを示し、ノートオフは、キーの離鍵タイミングを示す。ノートオンからノートオフまでの間、音が出力され続ける。ベロシティは、押鍵の強さを示す。デュレーションはゲートタイムとも呼ばれ、ノートオンからノートオフまでのティック(時間の最小単位)数、すなわち音の長さを示す。ホールドは、例えば、ペダル7が踏まれた強さやタイミングを表す。ノートオンは、楽器の演奏操作子の操作開始タイミングに相当し、ベロシティは、演奏操作子の操作の強さに相当する。
CPU11は、生成したMIDIファイルをフラッシュメモリ14に記憶する。近距離無線回路15は、Bluetooth(登録商標)、BLE、Zigbeeなどの所定の近距離無線通信
規格に従った無線通信を行うための通信インタフェースである。近距離無線通信回路15を用いた通信により、MIDIファイルが端末装置20へ送信される。
規格に従った無線通信を行うための通信インタフェースである。近距離無線通信回路15を用いた通信により、MIDIファイルが端末装置20へ送信される。
<端末装置>
図3は、端末装置20の構成例を示す。端末装置20は、バス27を介して相互に接続された、プロセッサ21と、記憶装置22と、通信回路23と、近距離無線通信回路24と、入力装置25と、出力装置26とを含む。
図3は、端末装置20の構成例を示す。端末装置20は、バス27を介して相互に接続された、プロセッサ21と、記憶装置22と、通信回路23と、近距離無線通信回路24と、入力装置25と、出力装置26とを含む。
記憶装置22は、主記憶装置と補助記憶装置とを含む。主記憶装置は、プログラムやデータの記憶領域、プロセッサ21の作業領域、通信データのバッファ領域などとして使用される。主記憶装置は、RAMやRAMとROMの組み合わせにより構成される。補助記憶装置は、データやプログラムの記憶に使用される。補助記憶装置は、ハードディスク、SSD(Solid State Drive)、フラッシュメモリ、EEPROMなどである。
通信回路23は、ネットワーク1との通信に使用される通信インタフェース回路(ネットワークカード)である。近距離無線通信回路24は、近距離無線通信用の通信インタフェース回路であり、電子ピアノ10等との通信に使用される。
入力装置25は、情報の入力に使用される。入力装置25は、キー、ボタン、ポインティングデバイス、タッチパネルなどを含む。出力装置26は、情報の出力に使用される。出力装置26は、例えばディスプレイである。なお、入力装置25は、音声や映像の入力装置(マイクやカメラ)を含み得る。出力装置26は、音声の出力装置(スピーカ)を含み得る。
プロセッサ21は、CPUなどを含み、記憶装置22に記憶されたプログラムを実行することによって、様々な処理を行う。例えば、電子ピアノ10との近距離無線通信を行い、MIDIファイルを受信して記憶装置22に記憶する処理や、記憶装置22に記憶したMIDIファイルをサーバ30へネットワーク1を介して送信する処理などを行う。
<サーバ>
図4は、サーバの構成例を示す。サーバ30は、サーバマシン、パーソナルコンピュータ、ワークステーションなどの専用又は汎用のコンピュータ(情報処理装置)を用いて構成される。サーバ30は、バス37を介して相互に接続された、プロセッサ31と、記憶装置32と、通信回路33と、入力装置35と、出力装置36とを含む。プロセッサ31、記憶装置32、通信回路33、入力装置35、及び出力装置36は、プロセッサ21、記憶装置22、通信回路23、入力装置25、及び出力装置26と同種類のものを適用することができる。但し、処理の負荷や規模に合わせて高性能、高精度のものが適用される。
図4は、サーバの構成例を示す。サーバ30は、サーバマシン、パーソナルコンピュータ、ワークステーションなどの専用又は汎用のコンピュータ(情報処理装置)を用いて構成される。サーバ30は、バス37を介して相互に接続された、プロセッサ31と、記憶装置32と、通信回路33と、入力装置35と、出力装置36とを含む。プロセッサ31、記憶装置32、通信回路33、入力装置35、及び出力装置36は、プロセッサ21、記憶装置22、通信回路23、入力装置25、及び出力装置26と同種類のものを適用することができる。但し、処理の負荷や規模に合わせて高性能、高精度のものが適用される。
記憶装置32は、プロセッサ31によって実行されるプログラムやプログラムの実行に際して使用されるデータを記憶する。プロセッサ31は、記憶装置32に記憶されたプログラムを実行することによって、複数の演奏データを音楽性のグループに分類するための様々な処理を行う。
例えば、プロセッサ31は、収集された複数の演奏データ(MIDIファイル)の夫々に含まれる、音楽性を示す複数のパラメータの組み合わせ(音楽性パラメータ)に関して、演奏データ間の距離(統計的距離)を算出して、演奏データ間の距離を示す距離行列を生成する処理を行う。また、プロセッサ31は、比較対象の演奏データが入力された場合に、この演奏データと標準演奏データとを用いて、音楽性パラメータを得るための処理(前処理)を行う。また、音楽性パラメータに関して、比較対象の演奏データと、距離行列とを用いて、比較対象の演奏データ(第1の演奏データ)と、距離行列をなす複数の演奏データ(複数の第2の演奏データ)の夫々との距離を算出し、第1の演奏データと各第2の演奏データとの距離を示す情報を出力する処理などを行う。
通信回路33は、「取得部」や「受信部」として動作し、プロセッサ31は、「算出部」として動作し、出力装置36は、「出力部」として動作する。また、記憶装置32は、記憶媒体の一例である。
なお、CPUは、MPU(Microprocessor)、プロセッサとも呼ばれる。CPUは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のCPUがマルチコア構成を有していても良い。また、CPUが行う処理の少なくとも一部は、マルチコア又は複数のCPUで実行されても良い。CPUが行う処理の少なくとも一部は、CPU以外のプロセッサ、例えば、Digital Signal Processor(DSP)、Graphics Processing Unit(GPU)、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われてもよい。
また、CPUが行う処理の少なくとも一部は、集積回路(IC、LSI)、その他のデ
ジタル回路で行われても良い。また、集積回路やデジタル回路はアナログ回路を含んでいても良い。集積回路は、LSI、Application Specific Integrated Circuit(ASIC
)、プログラマブルロジックデバイス(PLD)を含む。PLDは、Complex Programmable Logic Device(CPLD)及びField-Programmable Gate Array(FPGA)を含む。CPUで行われる処理の少なくとも一部は、プロセッサと集積回路との組み合わせにより実行されても良い。組み合わせは、例えば、マイクロコントローラ(MCU)、SoC(System-on-a-chip)、システムLSI、チップセットなどと呼ばれる。
ジタル回路で行われても良い。また、集積回路やデジタル回路はアナログ回路を含んでいても良い。集積回路は、LSI、Application Specific Integrated Circuit(ASIC
)、プログラマブルロジックデバイス(PLD)を含む。PLDは、Complex Programmable Logic Device(CPLD)及びField-Programmable Gate Array(FPGA)を含む。CPUで行われる処理の少なくとも一部は、プロセッサと集積回路との組み合わせにより実行されても良い。組み合わせは、例えば、マイクロコントローラ(MCU)、SoC(System-on-a-chip)、システムLSI、チップセットなどと呼ばれる。
<サーバにおける処理>
図5は、サーバ30における処理例を示すフローチャートである。図5の処理は、サーバ30のプロセッサ31によって行われる。S01では、プロセッサ31は、比較対象の演奏データ(第1の演奏データ)を取得する。比較対象の演奏データは、或る演奏者(第1の演奏者と称する)が電子ピアノ10を用いて行った所定の楽曲の演奏をMIDI録音したMIDIファイルである。
図5は、サーバ30における処理例を示すフローチャートである。図5の処理は、サーバ30のプロセッサ31によって行われる。S01では、プロセッサ31は、比較対象の演奏データ(第1の演奏データ)を取得する。比較対象の演奏データは、或る演奏者(第1の演奏者と称する)が電子ピアノ10を用いて行った所定の楽曲の演奏をMIDI録音したMIDIファイルである。
比較対象の演奏データは、上述したように、端末装置20からネットワーク1を介してサーバ30が受信することにより取得される。但し、比較対象の演奏データは、端末装置20以外、例えば、サーバ30内の記憶装置32又は外部の記憶装置から取得しても、ネットワーク1を介して端末装置20以外の機器から取得してもよい。プロセッサ31は、演奏識別情報及び演奏者識別情報と関連付けられた比較対象の演奏データを記憶装置32に記憶する。
S02では、プロセッサ31は、比較対象の演奏データと比較する標準演奏のMIDIファイルを取得する。例えば、標準演奏のMIDIファイルは、例えば、上記した所定の楽曲をそのスコア(譜面)通りに演奏した場合の演奏データである。標準演奏のMIDIファイルは、予め記憶装置32に記憶しておいてもよく、ネットワーク1を介して所定の機器から取得してもよい。S01とS02の処理の順序は逆でもよい。
S03では、プロセッサ31は、比較対象の演奏データのMIDIファイルと、標準演奏のMIDIファイルとを用いて、音楽性パラメータを得るための処理(前処理と呼ぶ)を行う。
図6は、前処理の一例を示すフローチャートである。前処理はプロセッサ31によって行われる。S11において、プロセッサ31は、比較対象のMIDIファイルのイベントデータを抽出する。S12において、プロセッサ31は、標準演奏のMIDIファイルのイベントデータを抽出する。S13において、プロセッサ31は、イベントの時間差を計算する。図7は、イベントの時間差を含む音楽性パラメータの説明図である。
上述したノートオン及びノートオフは、MIDIイベントの一つである。ノートオン及びノートオフは演奏開始からの時刻(タイムスタンプ)として記憶されている。標準演奏のMIDI(演奏データ)と、比較対象の演奏データとは、同一の時間軸において比較される。MIDIでは、ノートオンのイベントが発生すると、ノートオンの発生時刻と、キーの種類と、押鍵の強さ(ベロシティ)とがイベントデータとして記録される。また、ノートオフのイベントが発生すると、ノートオフの発生時刻と、キーの種類とがイベントデータとして記録される。
このとき、標準演奏のMIDIファイルに含まれる複数のノートオンに関して、標準演奏のノートオンの時刻と比較対象のノートオンの時刻との時間差(比較対象のノートオンの時刻から標準演奏のノートオンの時刻を減じたもの:ノートオン時間差又は発音時間差という)を、プロセッサ31は、イベントの時間差として記録する。また、比較対象のベ
ロシティを記録する。また、ノートオンが発生すると必ずノートオフも発生するので、標準演奏のノートオフの時刻と比較対象のノートオフの時刻との時間差(ノートオフ時間差又は消音時間差という)も、プロセッサ31は、イベントの時間差として記録する。但し、消音時間差の記録はオプションである。また、プロセッサ31は、比較対象の演奏データに関して、ノートオンとノートオフとの間の時間長、すなわちデュレーションを記録する。イベントはティック単位で記録される。なお、1ティックの時間長は、タイムベース及びテンポによって決定される。また、ペダル7の踏まれたタイミングや強さ(ホールドと呼ぶ)もイベントとして記録される。プロセッサ31は、比較対象の演奏データのデュレーションを記録する。なお、デュレーションは、演奏操作子の操作による発音の長さに相当する。
ロシティを記録する。また、ノートオンが発生すると必ずノートオフも発生するので、標準演奏のノートオフの時刻と比較対象のノートオフの時刻との時間差(ノートオフ時間差又は消音時間差という)も、プロセッサ31は、イベントの時間差として記録する。但し、消音時間差の記録はオプションである。また、プロセッサ31は、比較対象の演奏データに関して、ノートオンとノートオフとの間の時間長、すなわちデュレーションを記録する。イベントはティック単位で記録される。なお、1ティックの時間長は、タイムベース及びテンポによって決定される。また、ペダル7の踏まれたタイミングや強さ(ホールドと呼ぶ)もイベントとして記録される。プロセッサ31は、比較対象の演奏データのデュレーションを記録する。なお、デュレーションは、演奏操作子の操作による発音の長さに相当する。
プロセッサ31は、比較対象の演奏データの全て、又は所定の一部について上記処理を行い、時系列に並べられたイベントのリストを作成し、記憶装置32に記憶する(S14)。イベントのリストには、比較対象の演奏データについて、ノートオン、ノートオフ、ベロシティ、ホールドのような、MIDIファイルに含まれるパラメータと、ノートオン時間差、ノートオフ時間差、デュレーションといった、MIDIファイル中のパラメータを用いて算出されたパラメータの記録が含まれる。
S15では、プロセッサ31は、音楽性パラメータの選択を行う。音楽性は、例えば、アーティキュレーション(articulation)、リズム、フレージング(phrasing)、ディナーミク(dynamik)についての総合的な判断によって分類される。アーティキュレーショ
ンとは、音楽の演奏方法において、音の形を整え、音と音との繋がりに様々な強弱や表情を付けることで旋律などを区分することである。フレーズより短い単位で使われることが多い。フレージングは、フレーズとフレーズとの間の区切り方によって、音楽に表現を付けることを指す。フレージングはスラーによって示されることもある。また、ディナーミクは、音の強弱の変化や対比による音楽表現をいう。
ンとは、音楽の演奏方法において、音の形を整え、音と音との繋がりに様々な強弱や表情を付けることで旋律などを区分することである。フレーズより短い単位で使われることが多い。フレージングは、フレーズとフレーズとの間の区切り方によって、音楽に表現を付けることを指す。フレージングはスラーによって示されることもある。また、ディナーミクは、音の強弱の変化や対比による音楽表現をいう。
本実施形態では、上述したように、プロセッサ31は、演奏データ(MIDIファイル)から得られる複数のパラメータ(すなわち、ノートオン、ノートオフ、ベロシティ)を用いて、ノートオン時間差、ノートオフ時間差、デュレーションといった複数のパラメータを算出し、記憶装置32に記憶する。プロセッサ31は、これらの算出した複数のパラメータのうち、ノートオン時間差と、比較対象の演奏データのベロシティと、比較対象の演奏データのデュレーションとの組み合わせを、音楽性パラメータとして選択する。その後、処理がS04に戻り、上記した音楽性パラメータに関して、比較対象の演奏データ(第1の演奏データ)と、距離行列をなす複数の演奏データ(複数の第2の演奏データ)の夫々との距離の計算が行われる。すなわち、第1の演奏データの音楽性パラメータと、複数の第2の演奏データの夫々の音楽性パラメータとの距離(類似度)が計算される。ここに、音楽性パラメータのデータは、例えば、比較対象の演奏データにおけるノートオンの発生時刻の夫々に紐付けて、ノートオン時間差と、対応する比較対象の演奏データにおけるベロシティ及びデュレーションとを記憶したデータである。音楽性パラメータのデータは、ノートオン時間差、比較対象のベロシティ及びデュレーションの3つの要素を有し、時間軸上で変化するデータ(関数)として扱うことができる。
(距離行列の生成)
S04の処理の前提となる、距離行列の生成について説明する。図4に示した記憶装置32には、複数の第2の演奏データとして、第1の演奏データの楽曲と同一の楽曲についての複数の演奏データであって第1の演奏データと異なる複数の演奏データの夫々の音楽性パラメータ(ノートオン時間差、ベロシティ、デュレーションの組み合わせ)を示すデータが記憶されている。複数の第2の演奏データの夫々の音楽性パラメータは、上述した複数の演奏データの夫々を比較対象として、上述した前処理と同様の処理を行う(標準演
奏とのノートオン時間差と、対応するベロシティ及びデュレーションを関連づけて記憶する)ことによって得られる。
S04の処理の前提となる、距離行列の生成について説明する。図4に示した記憶装置32には、複数の第2の演奏データとして、第1の演奏データの楽曲と同一の楽曲についての複数の演奏データであって第1の演奏データと異なる複数の演奏データの夫々の音楽性パラメータ(ノートオン時間差、ベロシティ、デュレーションの組み合わせ)を示すデータが記憶されている。複数の第2の演奏データの夫々の音楽性パラメータは、上述した複数の演奏データの夫々を比較対象として、上述した前処理と同様の処理を行う(標準演
奏とのノートオン時間差と、対応するベロシティ及びデュレーションを関連づけて記憶する)ことによって得られる。
1つの楽曲について、複数の演奏者による複数の第2の演奏データが記憶される。但し、複数の第2の演奏データは、同一の演奏者による複数回の演奏(テイク)によって得られた2以上の演奏データを含む場合もある。また、第1の演奏データの演奏者と同じ演奏者による演奏データが第2の演奏データに含まれる場合もあり得る。複数の第2の演奏データは、単数又は複数の端末装置20から収集されるものであっても、ビッグデータとして、ネットワーク1のあらゆるデータ源(サーバ装置等)から提供されるものであってもよい。複数の第2の演奏データの夫々は、その演奏者を示す情報と関連付けて記憶されている。
複数の第2の演奏データは、SVM(Support Vector Machines)へ出力される。S
VMは、プロセッサ31が記憶装置32に記憶されたSVM用のプログラムを実行することによって実現される。プロセッサ31は、シングルクラスSVMにおいて、カーネルトリックを用いて、図8に示すように、入力空間X(図8左側のグラフ)を特徴空間H(図8右側のグラフ)に非線形変換し、入力された演奏データの夫々の原点からの距離を求める。図8の左側のグラフ(入力空間X)は、N個のファクタからなるN次元のグラフを、2次元で模式的に示している。図8のグラフにおける点の夫々は、演奏データ(音楽性パラメータのデータ)を示す。演奏データは、ノート音時間差、ベロシティ及びデュレーションの3つを要素(ベクトル)として含み、それが比較対象のノートオンの回数分集まったデータである。なお、入力空間Xが変換された特徴空間Hにおいて、入力空間Xにおける決定面は、N次元空間における非線形曲面になる。
VMは、プロセッサ31が記憶装置32に記憶されたSVM用のプログラムを実行することによって実現される。プロセッサ31は、シングルクラスSVMにおいて、カーネルトリックを用いて、図8に示すように、入力空間X(図8左側のグラフ)を特徴空間H(図8右側のグラフ)に非線形変換し、入力された演奏データの夫々の原点からの距離を求める。図8の左側のグラフ(入力空間X)は、N個のファクタからなるN次元のグラフを、2次元で模式的に示している。図8のグラフにおける点の夫々は、演奏データ(音楽性パラメータのデータ)を示す。演奏データは、ノート音時間差、ベロシティ及びデュレーションの3つを要素(ベクトル)として含み、それが比較対象のノートオンの回数分集まったデータである。なお、入力空間Xが変換された特徴空間Hにおいて、入力空間Xにおける決定面は、N次元空間における非線形曲面になる。
その後、特徴空間Hにおける、演奏データ間の距離が算出される。各演奏データについて、他の演奏データとの距離が算出される。距離の算出結果は、行列の形式(距離行列)にて記憶装置32に記憶される。
詳細に説明すると、プロセッサ31は、第2の演奏データの夫々に関して、シングルクラスSVMを適用して、データ空間の軸における原点からの距離を算出する。タイムポイントi(i = 1、...、n)での演奏データの集合を式(1)に示す。式(1)のdは測定の次元数であり、1つの演奏データに含まれるデータの種類数を示す。
また、入力空間Xから特徴空間Hへの写像をφ(・)で表す。そして、シングルクラスSVMにおいて、特徴空間Hにおける超平面を、それがより多くの演奏データをより原点から離れた距離で分離するように推定する。そのような特徴空間Hにおけるいかなる超平面も式(2)のように記載される。超平面は、式(3)を解くことによって得られる。式(3)のξiはスラック変数である。vは、原点側に可能な位置の量を調整するための正のパラメータである。
この問題の双対は、式(6)として得られる。
最適化は、二次計画ソルバーを用いて解決され、カーネルとして、次の式(7)で示されるRBFガウスカーネルを適用する。式(7)において、σ>0であり、σは、カーネルのパラメータ(カーネル幅)である。
次に、演奏データ間の距離の算出に用いる、演奏データのシングルクラスSVMモデル間の距離の算出について説明する。異なる演奏者に係る2つのシングルクラスSVMモデル「(αu,ρu)」と「(αv,ρv)」の間の距離(類似度)Duvは、式(8)により示される。式(8)において、cu,cv,pu,pvは、それぞれ、図9に示すような単位円CR1を用いて定義される。
式(8)の分母は、単位円CR1上にある点Cuと点Puとの間の弧(弧CuPu)の長さと、単位円CR1上の点Cvと点Pvとの間の弧(弧CvPv)の長さとの和であり、分子は、点Cuと点Cvとの間の弧(弧CuCv)の長さである。図7中のwuは式(9)で定義される。
Duvは、文献「F. Desobry, M. Davy, and C. Doncarli, “An online kernel change detection algorithm,” IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 53, no. 8,
pp. 2961-2974, 2005.」および「P. S. Riegel, “Athletic records and human endurance,” American Scientist May/Jun81, vol. 69, no. 3, p. 285, 1981.」等に記載されたフィッシャー比率の影響を受けた領域内/領域間の距離である。
pp. 2961-2974, 2005.」および「P. S. Riegel, “Athletic records and human endurance,” American Scientist May/Jun81, vol. 69, no. 3, p. 285, 1981.」等に記載されたフィッシャー比率の影響を受けた領域内/領域間の距離である。
式(8)における弧cupuの長さは、特徴空間Hにおけるφ(x)中のサンプル(演奏データ)の分散の尺度を示す。サンプルの分散が大きくなると、弧cupuは長くなり、式(10)で表現するマージンが小さくなる。Duvの値は、特徴空間Hにおいて期待される挙動に依存する。すなわち、Duvの値は、サンプルの広がりが大きくなる程大きくなり、重なりが大きくなる程小さくなる。
Duvは、単位円と、2つのベクトルaとベクトルbとの間の弧abの長さとで表される。ベクトルaとベクトルbの弧の長さは、これらのベクトルa及びベクトルbのなす角と等価であり、ベクトルaとベクトルbについて、式(11)が成立し、弧abの長さは式(12)によって求められる。したがって、cuは式(13)のように求められ、cvは式(14)のように求められる。cu及びcvを用いて、cucvの弧の長さは、式(15)によって導出される。
ここで、式(15)におけるKuvは、カーネル行列である。当該カーネル行列は、列i、行jについての要素k(xu,i,xu,j)で表される。また、弧cupuの長さは、次の式(16)で表される。
以上説明したように、シングルクラスSVMモデルの計算により、各演奏データについての原点からの距離が算出される。演奏データの夫々の原点からの距離から、全ての演奏データ間の距離が求められる。
図10は、距離行列の一例を示す。サーバ30のプロセッサ31は、記憶装置32に記憶された複数の第2の演奏データに関して、音楽性パラメータについての距離を総当たりで計算する。プロセッサ31は、計算した距離を、行列の形式(距離行列)で、記憶装置32に記憶する。距離行列では、複数の演奏データ、図10の例では5つの演奏データd(1)〜d(5)について総当たりで算出された距離がマトリクス状に記憶される。距離行列において、同一の演奏データ間の距離は「0」とされ、行列の左上から右下に延びる対角線の値は「0」となっている。d(2)の行列は、d(2)とd(1)との距離を示し、d(3)の行列は、d(3)とd(1)及びd(2)の夫々との距離を示す。d(4)の行列は、d(4)とd(1)〜d(3)の夫々との距離を示す。d(5)の行列は、d(5)とd(1)〜d(4)の夫々との距離を示す。
S04の処理では、プロセッサ31は、上述した距離の算出方法を用いて、上述した音楽性パラメータについて、第1の演奏データと複数の第2の演奏データとの夫々の距離を算出する。また、プロセッサ31は、距離行列を記憶装置32から読み出し、第1の演奏データと、複数の第2の演奏データの夫々との距離を示す行列を追記して距離行列を更新する(S05)。
S06では、プロセッサ31は、音楽性パラメータについての第1の演奏データと複数の第2の演奏データの距離の分布を多次元尺度法(MDS)によって可視化するグラフのデータを生成し、出力装置36から出力表示する。
図11は、多次元尺度法によって可視化されたグラフの例を示す。第1の演奏データを示す点は、「対象ユーザ」の点として画面のほぼ中央に配置され、第2の演奏データを示す各点が、第1の演奏データとの距離を空けて分布している。図11では図示を省略しているが、演奏データを示す各点の近傍に、演奏者名などの演奏の識別情報を表示してもよい。このような演奏データの分布を参照する者は、直感的に、演奏者を複数の音楽性のグループに分類することが可能となる。
S07では、プロセッサ31は、比較対象の演奏データ、すなわち第1の演奏データと比較される複数の第2の演奏データを、距離の小さい順、または距離の大きい順で示すランキング情報を生成し、出力装置36から出力する。
図12は、ランキング情報の一例を示す。演奏データは、演奏者名(演奏者の識別情報)と、演奏識別番号(演奏の識別情報)と、楽曲名と関連づけて記憶される。第1の演奏データと比較される第2の演奏データの夫々に関して、演奏者名と、演奏識別番号と、音楽性パラメータに関しての第1の演奏データとの距離とが表示される。
図12の例では、距離の小さい順で、上位30位までのランキングが表形式で表示されている。第1の演奏データの演奏者は“Ana”であり、ランキング1位の演奏者は、同一の演奏者である“Ana”である。このように、演奏者が同一人である場合には、距離は小さく(類似度は高く)なる。このようなランキング表示においても、その参照者は、直感的に、演奏者を複数の音楽性のグループに分類することができる。
なお、S06及びS07の順は逆でもよく、また、S06とS07とのいずれか一方のみが実行されるようにしてもよい。また、第1の演奏データは、距離行列に組み込まれることによって、複数の第2の演奏データの1つになる。例えば、入力装置35の使用や遠隔操作によって、複数の第2の演奏データの中から比較対象(中心となる)演奏データを特定することができる。演奏データの特定が行われると、その特定した演奏データを比較対象の演奏者とするランキング情報が生成される。演奏データの特定は、楽曲が同一である場合には、演奏者及び演奏試行番号の入力や指定によって特定する。ランキング情報の生成は、例えば、プロセッサ31が、距離行列に最後に追加された演奏データ(第1の演奏データであった演奏データ)の行列の一方のうち、特定された演奏データを比較対象の演奏データに設定し、距離の小さい順又は大きい順に並べ換えることにより行われる。
第2の演奏データ及び距離行列は、記憶装置32に、2以上の楽曲について記憶しておき、2以上の楽曲のそれぞれについての距離計算が行われ、分布やランキングが表示されるようにしてもよい。また、複数の演奏データは、k-means法などの所定の分類アルゴリズムを用いて、自動的又は機械的に複数の音楽性のグループに分類してもよい。
<楽曲データの編集>
演奏データの分布を示すグラフやランキング表を参照した者(サーバ30のオペレータ
など)は、第1及び第2の演奏データ(演奏者)を2以上の音楽性のグループに分類することができる。各演奏データは、各演奏データが属するグループを示す情報と関連づけて記憶装置32に記憶される。また、記憶装置32は、複数の楽曲のデータベースを記憶する。楽曲のデータベースには、複数の楽曲についての演奏データ(MIDIファイル)と、各演奏データが属する音楽性のグループを示す情報とが関連づけられた状態で記憶されている。
演奏データの分布を示すグラフやランキング表を参照した者(サーバ30のオペレータ
など)は、第1及び第2の演奏データ(演奏者)を2以上の音楽性のグループに分類することができる。各演奏データは、各演奏データが属するグループを示す情報と関連づけて記憶装置32に記憶される。また、記憶装置32は、複数の楽曲のデータベースを記憶する。楽曲のデータベースには、複数の楽曲についての演奏データ(MIDIファイル)と、各演奏データが属する音楽性のグループを示す情報とが関連づけられた状態で記憶されている。
図13は、楽曲データの編集処理の一例を示すフローチャートである。S31では、入力装置35からの入力やネットワーク1からの受信によって、音楽性のグループを指定する情報がサーバ30に入力される。すると、プロセッサ31は、指定された音楽性グループと関連づけられた1又は2以上の演奏データを記憶装置32から取得する(S32)。取得される演奏データは、1又は2以上の演奏データが取得される限りにおいて、取得する楽曲の数や演奏データの数は適宜設定可能である。
S33では、プロセッサ31は、所定の編集ルールに基づいて、1又は2以上の楽曲の演奏データを編集する。例えば、1又は2以上の演奏データの夫々から、部分データを抽出し、部分データをつなぎ合わせることで、編集演奏データを生成する。部分データの抽出は、演奏開始から所定小節分の抽出、1コーラス分やいわゆるサビ部分のパートの抽出、演奏開始から所定時間分の抽出などのいずれの方法であってもよく、特に制限はない。2曲以上の演奏データから部分データを抽出せずにそのままつなぎ合わせてもよい。つなぎ合わせの部分は楽曲同士が重なっても無音区間が設けられてもよい。
S34では、プロセッサ31はS33にて生成した編集演奏データのMIDIファイルを記憶装置32に記憶する。S35では、プロセッサ31は、編集演奏データの所定の送信先、音楽性のグループとともに指定された送信先や、予め設定された送信先などがあれば、その送信先に宛てて、編集演奏データのMIDIファイルを送信する。送信先は、例えば、編集演奏データの提供要求を送信した端末装置20である。但し、端末装置20以外の機器に編集演奏データを送信してもよい。
端末装置20は、編集演奏データを受信すると、記憶装置22に記憶し、プロセッサ21によって実行される再生アプリケーション(MIDIプレイヤー)を用いて編集演奏データの再生音を出力してもよい。或いは、電子ピアノ10へ編集演奏データを転送し、電子ピアノ10が編集演奏データを用いた自動演奏を行ってもよい。なお、S34において、編集演奏データの代わりに、S32で取得した演奏データそのものを所定の送信先に送信してもよい。
なお、比較対象の演奏データ(第1の演奏データ)についての距離の計算結果が出力されることを契機に、第1の演奏データが属する音楽性のグループが特定され、その音楽性のグループに属する楽曲が楽曲データベースから検索され、検索結果のリストが作成され、第1の演奏データの演奏者と関連づけて記憶されるようにしてもよい。
<実施形態の効果>
実施形態1によれば、音楽性パラメータについて、演奏データ間の距離を示す情報が出力され、音楽性グループの分類に供される。これによって、主観的な評価である音楽性を客観的に提示ないし分類できる。例えば、第1の演奏データとして、所定の演奏者(著名な演奏者や、コンクールの入賞者など)の演奏データを用い、複数の第2の演奏データとの距離を算出することで、所定の演奏者と音楽性の近い演奏者のグループを見出すことができる。
実施形態1によれば、音楽性パラメータについて、演奏データ間の距離を示す情報が出力され、音楽性グループの分類に供される。これによって、主観的な評価である音楽性を客観的に提示ないし分類できる。例えば、第1の演奏データとして、所定の演奏者(著名な演奏者や、コンクールの入賞者など)の演奏データを用い、複数の第2の演奏データとの距離を算出することで、所定の演奏者と音楽性の近い演奏者のグループを見出すことができる。
また、ランキングや分布の表示は、音楽性の類似する者同士がコミュニケーションをと
ったり、コミュニティを形成したりするための情報として利用できる。また、演奏者の属する音楽性のグループを特定可能となることで、そのグループに属する楽曲の編集楽曲データを生成し、その演奏者の端末装置20へ提供することができる。提供を受けた者は、音楽性が同じ(好みの)、楽曲を聴取することができる。或いは、或る音楽性のグループに属する楽曲の編集楽曲データを端末装置20へ送信し、電子ピアノ10等に自動演奏させることで、その音楽性のグループに属する者の集いなどで、好みの楽曲演奏を再生することができる。
ったり、コミュニティを形成したりするための情報として利用できる。また、演奏者の属する音楽性のグループを特定可能となることで、そのグループに属する楽曲の編集楽曲データを生成し、その演奏者の端末装置20へ提供することができる。提供を受けた者は、音楽性が同じ(好みの)、楽曲を聴取することができる。或いは、或る音楽性のグループに属する楽曲の編集楽曲データを端末装置20へ送信し、電子ピアノ10等に自動演奏させることで、その音楽性のグループに属する者の集いなどで、好みの楽曲演奏を再生することができる。
上記した実施形態では、音楽性のパラメータとして、ノートオン時間差と、比較対象の演奏データ(第1の演奏データ)のベロシティと、比較対象の演奏データ(第1の演奏データ)のデュレーションとの組み合わせを例示した。但し、ノートオン時間差と組み合わせるパラメータは、実施形態の例示以外に適宜選択できる。例えば、上述した前処理において、標準演奏におけるベロシティと比較対象の演奏データのベロシティの差(ベロシティ差という)や、標準演奏におけるデュレーションと比較対象の演奏データのデュレーションの差(デュレーション差という)を算出し、これらを音楽性パラメータの要素に用いてもよい。すなわち、ノートオン時間差、ベロシティ差、及びデュレーション差の組み合わせを音楽性パラメータとして用いてもよい。換言すれば、ノートオン時間差と組み合わせるパラメータとして、比較対象のベロシティ、比較対象のデュレーション、ベロシティ差、デュレーション差のうちの少なくとも1つを選択できる。或いは、ベロシティに関して比較対象のベロシティとベロシティ差のいずれか一方と、デュレーションに関して比較対象のデュレーションとデュレーション差とのいずれか一方とを選択し、ノートオン時間差と組み合わせるようにしてもよい。
また、実施形態では、前処理において、ノートオン時間差、比較対象の演奏データのベロシティ及びデュレーションが音楽性パラメータとして記録されている。このような前処理にあたり、比較対象の演奏データにおけるノートオンがミスタッチであるか否かの判定をプロセッサ31が行うこともできる。ミスタッチの判定方法は適宜選択可能であり、例えば、キーの種類が標準演奏におけるキーの種類と異なる場合にミスタッチと判定してもよい。プロセッサ31は、ノートオンがミスタッチであると判定する(例えば、標準演奏におけるキー)と、そのノートオンに係るノートオン時間差やデュレーションの算出をスキップし、距離の計算に用いるデータから除外する。このようにすれば、ミスタッチを音楽性の判定や分類用の情報から除外することができる。
〔実施形態2〕
次に、実施形態2について説明する。実施形態2の構成は、実施形態1の構成と共通点を有するので、主として相違点について説明し、共通点についての説明は省略する。実施形態1で説明した電子ピアノ10、端末装置20及びサーバ30の構成は、実施形態2にも適用可能である。但し、サーバ30における処理が異なる。
次に、実施形態2について説明する。実施形態2の構成は、実施形態1の構成と共通点を有するので、主として相違点について説明し、共通点についての説明は省略する。実施形態1で説明した電子ピアノ10、端末装置20及びサーバ30の構成は、実施形態2にも適用可能である。但し、サーバ30における処理が異なる。
図14は、実施形態2におけるサーバ30のプロセッサ31による処理例を示すフローチャートである。実施形態2において、S01〜S03に示す処理は実施形態1と同じであるので説明を省略する。
S24では、演奏データの分類値を用いた学習をプロセッサ31は行う。すなわち、プロセッサ31は、第2の演奏データのうちの幾つかを学習用のサンプルとして、識別番号(試行番号)を割り当てる。また、プロセッサ31は、サンプルに関して、実施形態1で説明した、音楽性パラメータに関する演奏データ間の距離の計算を行い、距離の計算結果に応じて、音楽性の近いと思われる演奏データに同じ分類値を設定するようにして、サンプルの各演奏に対して分類値を定義する。プロセッサ31は分類値に従って、演奏データの分類パターンを学習(ディープニューラルネットワーク(DNN)の重み計算)を行う
。プロセッサ31は、学習により、音楽性分類のための重み行列を生成し、記憶装置32に記憶する。S24の処理は、S01〜S03の前に実行されても、並列に実行されてもよい。
。プロセッサ31は、学習により、音楽性分類のための重み行列を生成し、記憶装置32に記憶する。S24の処理は、S01〜S03の前に実行されても、並列に実行されてもよい。
S25では、プロセッサ31は、比較対象の演奏データに関して、音楽性の類似度の計算を行う。すなわち、プロセッサ31は、前処理によって得られた音楽性パラメータについての比較対象の演奏データ(第1の演奏データ)と、S24の学習によって得られた重み行列を用いて、比較対象の演奏データに対する分類値を得る。
S26では、プロセッサ31は、距離行列の更新を行う。図15及び図16は、距離行列の生成及び更新の説明図である。図15には、5個の学習用のサンプルに試行番号1〜5を割り当て、試行番号1〜5のサンプルに対する分類値として、“1”、“2”、“1”、“5”、“5”が定義されたリストの例を示している。この場合、試行番号を行番号、列番号とし、対象の行番号の試行番号の分類値が、他の分類値との差の絶対値となるような行列をプロセッサ31は作成する。例えば、5行1列の値は、試行番号1の分類値“1”と試行番号5の分類値“5”との差分の絶対値である“4”であり、5行2列の値は、試行番号2の分類値“2”と試行番号5の分類値“5”との差分の絶対値である“3”である。また、5行3列の値は、試行番号3の分類値“1”と試行番号5の分類値“5”との差分の絶対値である“4”であり、5行4列の値は、試行番号4の分類値“5”と試行番号5の分類値“5”との差分である“0”である。このような対角行列が距離行列として生成され、記憶装置32に記憶される。
S25における重み行列を用いた類似度の計算によって、比較対象の演奏データについて分類値“3.3”が算出されたと仮定する。この場合、図16に示すように、比較対象の演奏データに割り当てた次の試行番号6と、その分類値“3.3”とがリストに追加される。また、距離行列に、試行番号6に対応する6行6列を追加し、試行番号6の分類値“3.3”と試行番号1〜5の分類値との差分の絶対値が演奏データ間の距離として、6行目の各列の値、6列目の各行の値となるように設定される。このようにして、距離行列が更新される。
S27では、演奏データの分布の可視化、すなわちS06の処理と同様の処理が行われる。例えば、図16に示した距離行列のうち、6行目又は6列目の分類値の差分が試行番号6の演奏データと試行番号1〜5の各演奏データとの距離として扱われ、各演奏データとその距離が点の分布により示されたグラフが出力される。
S28では、ランキング情報の生成及び出力が行われる。S28の処理は、S07と同様の処理である。例えば、図16に示した距離行列のうち、6行目又は6列目の分類値の差分がランキングの対象となり、試行番号6の演奏データを比較対象として、分類値(距離)の小さい順、又は大きい順に並べたランキング情報が生成され、出力装置36により出力される。
実施形態2で示すように、距離の計算は、実施形態1で示したSVMを用いる方法だけでなく、深層学習によっても行うことができる。実施形態1及び2にて示した構成は、目的を逸脱しない範囲で適宜組み合わせることができる。
10・・・電子ピアノ
20・・・端末装置
30・・・サーバ
31・・・プロセッサ
32・・・記憶装置
33・・・通信回路
36・・・出力装置
20・・・端末装置
30・・・サーバ
31・・・プロセッサ
32・・・記憶装置
33・・・通信回路
36・・・出力装置
Claims (11)
- 所定の楽曲を演奏した第1の演奏データを取得し、
前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した複数の第2の演奏データの夫々との距離を算出し、
前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力する
ことを含む音楽性情報提供方法。 - 前記音楽性を示す複数のパラメータは、前記所定の楽曲の標準演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差を含む
請求項1に記載の音楽性情報提供方法。 - 前記音楽性を示す複数のパラメータの組み合わせは、前記所定の楽曲の標準演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差と、前記標準演奏における演奏操作子の操作の強さと前記第1の演奏データにおける前記演奏操作子の操作の強さとの差と、前記標準演奏における演奏操作子の操作による発音の長さと前記第1の演奏データにおける前記演奏操作子の操作による発音の長さとの差との組み合わせである
請求項1又は2に記載の音楽性情報提供方法。 - 前記音楽性を示す複数のパラメータの組み合わせは、前記所定の楽曲の標準演奏における演奏操作子の操作開始タイミングと前記第1の演奏データにおける演奏操作子の操作開始タイミングとの時間差と、前記第1の演奏データにおける前記演奏操作子の操作の強さと、前記第1の演奏データにおける前記演奏操作子の操作による発音の長さとの組み合わせである
請求項1又は2に記載の音楽性情報提供方法。 - 前記距離を示す情報は、前記音楽性を示す複数のパラメータについての前記第1の演奏データ及び前記複数の第2の演奏データの分布を示す情報を含む
請求項1から4のいずれか1項に記載の音楽性情報提供方法。 - 前記距離を示す情報は、前記複数の第2の演奏データのうち、前記第1の演奏データとの距離が小さい順又は大きい順において所定順位までにある第2の演奏データを示す情報を含む
請求項1から4のいずれか1項に記載の音楽性情報提供方法。 - 前記距離を示す情報は、前記第1の演奏データ及び前記第2の演奏データの夫々の演奏者を示す情報を含む
請求項1から6のいずれか1項に記載の音楽性情報提供方法。 - 前記距離を示す情報に基づいて、前記第1の演奏データが属する音楽性のグループを判定し、
前記判定した音楽性のグループに属する、前記第1の演奏データと異なる1以上の演奏データを取得し、
前記複数の演奏データを編集した編集演奏データを生成する
ことをさらに含む請求項1から7のいずれか1項に記載の音楽性情報提供方法。 - 前記編集演奏データを所定の送信先へ送信する
ことをさらに含む請求項8に記載の音楽性情報提供方法。 - 所定の楽曲を演奏した第1の演奏データを取得する取得部と、
前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した、複数の第2の演奏データの夫々との距離を算出する算出部と、
前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力する出力部と
を含む音楽性情報提供装置。 - 電子楽器を用いて演奏した所定の楽曲の演奏データを送信する端末装置と、
前記演奏データを第1の演奏データとして受信する受信部、前記第1の演奏データに含まれる、音楽性を示す複数のパラメータの組み合わせについて、前記第1の演奏データと、前記第1の演奏データと比較する、前記所定の楽曲を演奏した、複数の第2の演奏データの夫々との距離を算出する算出部、及び前記距離を示す情報を含む、前記第1の演奏データの音楽性の判定用情報を出力する出力部を含むサーバと
を含む音楽性情報提供システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084816A JP2021131401A (ja) | 2018-04-26 | 2018-04-26 | 音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム |
PCT/JP2019/016635 WO2019208391A1 (ja) | 2018-04-26 | 2019-04-18 | 音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム |
US17/078,621 US11600251B2 (en) | 2018-04-26 | 2020-10-23 | Musicality information provision method, musicality information provision apparatus, and musicality information provision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084816A JP2021131401A (ja) | 2018-04-26 | 2018-04-26 | 音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021131401A true JP2021131401A (ja) | 2021-09-09 |
Family
ID=68294537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084816A Pending JP2021131401A (ja) | 2018-04-26 | 2018-04-26 | 音楽性情報提供方法、音楽性情報提供装置、及び音楽性情報提供システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11600251B2 (ja) |
JP (1) | JP2021131401A (ja) |
WO (1) | WO2019208391A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3678135B2 (ja) | 1999-12-24 | 2005-08-03 | ヤマハ株式会社 | 演奏評価装置および演奏評価システム |
JP4063109B2 (ja) | 2003-03-12 | 2008-03-19 | ヤマハ株式会社 | 電子楽器 |
JP4306754B2 (ja) * | 2007-03-27 | 2009-08-05 | ヤマハ株式会社 | 楽曲データ自動生成装置及び音楽再生制御装置 |
JP5754395B2 (ja) * | 2012-02-29 | 2015-07-29 | ブラザー工業株式会社 | カラオケサーバ装置及び情報通知方法 |
JP5799977B2 (ja) | 2012-07-18 | 2015-10-28 | ヤマハ株式会社 | 音符列解析装置 |
JP2015004973A (ja) * | 2013-05-23 | 2015-01-08 | ヤマハ株式会社 | 演奏解析方法及び演奏解析装置 |
WO2016009444A2 (en) * | 2014-07-07 | 2016-01-21 | Sensibiol Audio Technologies Pvt. Ltd. | Music performance system and method thereof |
JP2016161900A (ja) | 2015-03-05 | 2016-09-05 | ヤマハ株式会社 | 音楽データ検索装置及び音楽データ検索プログラム |
JP6690181B2 (ja) * | 2015-10-22 | 2020-04-28 | ヤマハ株式会社 | 楽音評価装置及び評価基準生成装置 |
WO2018016581A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 楽曲データ処理方法およびプログラム |
-
2018
- 2018-04-26 JP JP2018084816A patent/JP2021131401A/ja active Pending
-
2019
- 2019-04-18 WO PCT/JP2019/016635 patent/WO2019208391A1/ja active Application Filing
-
2020
- 2020-10-23 US US17/078,621 patent/US11600251B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11600251B2 (en) | 2023-03-07 |
WO2019208391A1 (ja) | 2019-10-31 |
US20210043172A1 (en) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102760426B (zh) | 使用表示乐音生成模式的演奏数据搜索 | |
EP3047478B1 (en) | Combining audio samples by automatically adjusting sample characteristics | |
JP5147389B2 (ja) | 楽曲提示装置、楽曲提示プログラム、楽曲提示システム、楽曲提示方法 | |
JP4199097B2 (ja) | 楽曲自動分類装置及び方法 | |
EP3047479B1 (en) | Automatically expanding sets of audio samples | |
KR100658869B1 (ko) | 음악생성장치 및 그 운용방법 | |
US7805389B2 (en) | Information processing apparatus and method, program and recording medium | |
JP6724938B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
US20120300950A1 (en) | Management of a sound material to be stored into a database | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP6366403B2 (ja) | カラオケ装置 | |
JP6102076B2 (ja) | 評価装置 | |
JP2007140165A (ja) | カラオケ装置およびカラオケ装置用プログラム | |
US11600251B2 (en) | Musicality information provision method, musicality information provision apparatus, and musicality information provision system | |
WO2019180830A1 (ja) | 歌唱評価方法及び装置、プログラム | |
JP4218066B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
JP2007071903A (ja) | 楽曲創作支援装置 | |
JP6954780B2 (ja) | カラオケ装置 | |
JP4218064B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
TW201946681A (zh) | 音樂遊戲客製化節拍譜面自動生成方法、非暫態電腦可讀取媒體、電腦程式產品及音樂遊戲系統 | |
WO2022172732A1 (ja) | 情報処理システム、電子楽器、情報処理方法および機械学習システム | |
JP4075677B2 (ja) | 自動伴奏生成装置及びプログラム | |
JP4218065B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
JP4186982B2 (ja) | カラオケ装置およびカラオケ装置用プログラム | |
JP2008089751A (ja) | 楽音再生装置及びプログラム |