JP2006106103A - 楽曲編集・再生装置 - Google Patents

Abstract

【課題】 リスナーの心情や気分を反映して自動的に選曲を行い、ある楽曲の途中から他の楽曲に再生が移行するときに違和感なくスムーズに移行させることができる、自動選曲及び自動編集機能を有した楽曲編集・再生装置を提供する。
【解決手段】 リスナーの心情や気分の変化を感知するための外的情報取得手段９と、楽曲の自動選択を行うために用いる楽曲特徴情報生成手段２と、前記外的情報取得手段で感知した前記リスナーの心情や気分の変化と前記楽曲特徴情報から適切な楽曲を選択するための選択手段１６と、楽曲を時間方向で細分化するための楽曲分析手段２と、それら情報を基に楽曲を編集する編集手段２１と、それにより得られた音響信号を再生する再生手段２２とを設けた。
【選択図】 図１

Description

本発明は、楽曲編集・再生装置に関し、特に複数の楽曲からリスナーの心情及び／又は気分にあった楽曲を選択して再生する楽曲編集・再生装置に関する。

音声、特に音楽の情報を記録、再生する媒体として、CD (Compact Disc) が最も広く普及している。しかしながらCD一枚分の演奏時間は限られているため、より多くの楽曲を１つの媒体に記録、再生する方法が望まれてきた。これを実現する１つの方法は、限られた記録容量の中でなるべく多くの情報を格納することである。そのために、MP3 (Mpeg Audio Layer III) を始めとするオーディオ圧縮技術の研究、開発が盛んに行われている。一方で、記録容量自体を大きくしようという動きもある。そのための媒体として普及し始めているのがHDD (Hard Disk Drive) である。最近では、小型化、高密度化も進み、ポータブルオーディオプレーヤ、カーオーディオ、さらには、映像を記録するためのビデオレコーダなど、AV機器には欠かせない存在となってきている。
これらの背景の下、上記圧縮技術によりデータ量を削減したオーディオストリームを、上記大容量の媒体に記録することにより、非常に膨大な数の楽曲、そして長時間の音楽再生が可能となる。それらの音楽データを再生する場合、通常はリスナーが聴取したい楽曲や楽曲のグループを検索しながら選択する。例えば、アーティスト名、アルバム名、曲名などを指定して再生を行う。

このような選択が行われるとき、その選択に最も大きな影響を及ぼす要因はリスナーの心情や気分である。これは、リスナーの置かれている外部環境やリスナー自身の内部変化などに影響を受ける。その他、再生方法には、前もってプログラムしておいた順に再生する、あるいは、決められたグループの中からランダムに再生する、などの再生方法もある。しかしながら、これらの再生方法の場合にも、聞きたくない曲はスキップする、あるいは気分が変わったために他の再生方法を指定するなど、再生される楽曲にはリスナーの心情が大きな影響を及ぼす。

ところで、蓄積されたデータからの検索方法については多種多様な技術開発が行われており、音楽鑑賞における楽曲検索、選択についても様々な方法が提案されている。しかしながら、通常、リスナーが行う検索や選択には機器の操作が必要である。そこで、再生システムがリスナーの心情や気分を反映して自動的に楽曲の選択、再生を行うことで、機器の操作は不要となる。

下記の特許文献１に記載されているように、外部環境の状態変化に対応してリスナーの要求に合った音を発生させる機能の提案は成されているが、既存音楽の鑑賞においてリスナーの要求に自動的に応じるためのシステムではない。また、下記の特許文献２に記載されているシステムも、自動選曲機能を提案しているが、リスナーの心情や気分を捉えているわけではなく、本発明における自動選曲、再生機能を実現するには不十分である。
特開平６−１０２８７７号公報 特開平４−３１７８３５号公報

上述のとおり、ここ数年における記憶媒体の容量増大とオーディオ圧縮技術の発展により、膨大な量の音楽データを容易に蓄積することが可能となり、さらに、記憶媒体の小型化により、それらの音楽データを容易に携帯することも可能となってきている。しかしながら、記憶できる音楽データが膨大になるにつれて、リスナーが聴取したい楽曲を検索することが困難となり、探している楽曲を容易に選択できる方法が望まれている。

また、リスナー自身が聴取する楽曲、あるいは楽曲群を検索して選択するという行為は、リスナーにオーディオ再生装置の操作を求めることになるため、快適な音楽鑑賞を妨げる原因となる。さらに、車の運転中や、両手が塞がった状態での歩行中など、オーディオ再生装置の操作が困難なときには、検索や選択ができないという問題もある。ここで、一般的なオーディオ再生装置では、再生は楽曲単位で行われる。リスナーの心情を反映した自動選曲再生装置を考えた場合、リスナーの心情の変化は常に緩やかに起こるわけではなく、急激に変化する可能性もある。しかしながら、楽曲単位の再生では、楽曲そのものの演奏時間が決まっているという時間的な拘束があるため急激な変化に追従することは困難である。したがって、上述の自動選曲再生装置を実現するためには、心情の変化に柔軟に対応できるよう、楽曲単位の再生ではなく、より時間的に細分化された単位での再生を行うことが必要となる。

本発明は、上記のような問題を解決するため、リスナーの心情や気分を反映して自動的に選曲を行い、ある楽曲の途中から他の楽曲に再生が移行するときに違和感なくスムーズに移行させることができる、自動選曲及び自動編集機能を有した楽曲編集・再生装置を提供することを目的とする。

上記目的を達成するため、入力された楽曲を分析して時系列的に音楽の構成単位に応じた区間に分割するための楽曲分析手段と、
前記分割された楽曲の各区間の特性を特定する情報を含む楽曲特徴情報を前記各区間ごとに生成する楽曲特徴情報生成手段と、
前記楽曲特徴情報生成手段で生成された前記楽曲特徴情報を前記楽曲と関連付ける関連付け手段と、
前記楽曲特徴情報を前記楽曲と共に、あるいは前記楽曲とは別個に蓄積する蓄積手段と、
気象、リスナーの生体、又は環境に係る外的情報を取得する外的情報取得手段と、
前記蓄積手段に蓄積された複数の楽曲のうち任意の1つが再生されたとき、前記外的情報取得手段で取得された前記外的情報と前記楽曲特徴情報とに基づき、前記蓄積手段に蓄積された前記複数の楽曲から前記リスナーに聴取させる楽曲を選択する選択手段と、
現在再生されている楽曲から前記選択手段により選択された楽曲に切り換える際に、前記楽曲特徴情報に基づき楽曲切り換えのための編集を行う編集手段と、
前記編集手段により編集された楽曲の情報を用いて音響信号を再生する再生手段とを、
有する楽曲編集・再生装置が提供される。

リスナーの心情や気分の変化を感知するための情報として、気温、天候、湿度、風速、光度などの気象情報と、体温、心拍数、血圧、脳波などの生体情報と、場所、時刻、環境音、風景、臭いなどの環境情報を利用する。これらの各種情報（外的情報）は、インターネットなどのネットワーク経由、各種センサ、GPSのような既存システム、カメラやマイクなどの信号入力装置から得られる。

上記入力情報の変化に応じて、システムに蓄積されている楽曲の中から、今の状態に最も適している楽曲を選択する。楽曲の選択は、前もって定義してある入力情報と楽曲特徴情報との関連性を用いて行う。ここで、楽曲特徴情報とは、「リズム」、「音量」、「ハーモニー」などの音楽的情報であり、音楽的な分析手法により抽出する。音楽の音響信号を音楽的な手法で分析するには非常に多くの演算量が必要なため、分析は楽曲をシステムに蓄積するときにオフライン処理で実行する。分析された情報は、楽曲と関連付けて記録される。また、前記定義について、多種の定義を用意して選択可能にしておくことで、リスナーが好ましい定義を利用できるようにしておく。さらに、自動で行われた選曲が、あるリスナーにとって好ましくなかった場合には、そのリスナーが他の楽曲を選択するなど、そのときに行われた操作を基に、システムが定義を自動更新することでリスナーの嗜好を学習する。これらの機能により自動選曲に柔軟性が生まれるとともに、個々のリスナーの心情や気分の変化に適合した自動選曲が可能となる。

前述のとおり、楽曲単位での再生では急激な状態変化に対応できないため、楽曲を時間的に細分化する必要がある。ここで、再生中の楽曲の切り換え点は楽曲を細分化した位置によって決まるため、リスナーが違和感なく鑑賞を行うには、それが音楽的に意味のある単位でなければならない。また、細分化された区間単位でリスナーの心情や気分の変化に追従しなければならないため、その区間が音楽的にどのような意味や特徴を持っているのかを知る必要がある。そこで、前記楽曲特徴情報と同様に、音楽的な分析手法を用いることで楽曲を細分化する。分析は楽曲をシステムに蓄積するときに行われ、分析で得られた情報は楽曲と関連付けて記録される。本発明の楽曲分析の例を次に挙げる。一般的によく聞かれる音楽の構成単位である「前奏」、「Aメロ」、「Bメロ」、「サビ」、「間奏」、「後奏」などの区間に細分化し、それぞれの区間の「リズム」、「音量」、「ハーモニー」などの情報を分析する。

入力情報と、選択された楽曲と、その楽曲を細分化した情報を利用して、楽曲の編集を行う。ところで、楽曲の編集とは、楽曲が再生途中に切り換えられる場合に行われる処理であり、次に再生される楽曲のどの部分から再生を行うかを決定し、再生されている部分と次に再生される部分を鑑賞に堪えうるようにスムーズに連結させることである。連結には、リバーブ、ディストーション、クロスフェードなどの音響効果的手法と、ピッチシフト、タイムストレッチ、区間リピートなどを利用し、前後の調性を合わせたり(転調)、リズムを合わせたりする音楽的処理手法と、システムが持つ既存フレーズを挿入する手法とを組み合わせて行う。
最後に、楽曲の再生であるが、通常は上記手法で選択した楽曲を順次再生する。ただし、上記入力情報の分析結果がある閾値を超えた場合、上記楽曲の編集を行い、その時点で最も近い楽曲の切り換え点で、楽曲を切り換えて再生する。

本発明を用いることにより、多数の楽曲中から聴きたい楽曲を検索して選択するという面倒な操作を軽減させることができるという効果がある。
本発明により、車の運転中や両手が塞がった状態での歩行中など、音響再生装置の操作が困難なときでも、聴きたい楽曲を聴くことができるという効果がある。
楽曲の再生中であっても、気分が変わったときには、気分の変化に応じた楽曲を聴くことができるという効果がある。
本発明における、入力、入力情報と楽曲特徴情報との関連性の定義、の2つの組合せを変えることで、ある動画に適切なBGMを自動で作成することができるという効果がある。
本発明の編集機能を利用することで、複数の楽曲のメドレーを自動的に作成することができるという効果がある。

以下図面に沿って本発明の楽曲編集・再生装置の実施の形態について説明する。図１は、本発明の楽曲編集・再生装置の実施の形態の好ましい実施の形態を示すブロック図である。この楽曲編集・再生装置は、楽曲蓄積部３０と楽曲再生部４０から構成されている。まず、入力された楽曲１が楽曲分析装置２に送られる。楽曲分析装置２はリズム分析、メロディ分析、ハーモニー分析などの音楽的な手法により楽曲１を分析する。楽曲の分析により、楽曲の細分化（セグメンテーション）が行われ、細分化された区間情報３と楽曲特徴情報４が抽出される。得られた区間情報３と楽曲特徴情報４は、楽曲情報として楽曲と楽曲情報の関連付け手段５により楽曲と関連付けられた情報となり、記憶部６（HDD）あるいは記憶部７ （DVD / CD Drive）に記録される。以上が楽曲蓄積部３０の動作である。

次に、上記で蓄積された楽曲を再生する楽曲再生システムについて説明する。入力は、ユーザ入力部８、各種センサ９、ネットワークに接続するための無線アンテナ１０、GPSアンテナ１１、ビデオカメラ１２、マイク１３からの信号である。ユーザ入力部８以外からの信号すなわち、前述の外的情報を表す信号は、環境情報分析部１５で分析され、楽曲特徴情報７８となって楽曲蓄積部３０から読み出された楽曲特徴情報１４と共に、自動選曲部１６へ送られる。自動選曲部１６では、環境情報分析部１５から得られた楽曲特徴情報７８と楽曲蓄積部３０から読み出された楽曲特徴情報１４の関連性に関する定義１７を基に、自動選曲が行われる。再生制御部１９では、自動選曲部１６での結果を受けて楽曲再生手段２２で楽曲の再生を行う。

また、再生制御部１９では必要に応じて、楽曲蓄積部３０から読み出された楽曲細分化情報２０（前述の区間情報３に対応するもの）を利用し、楽曲編集部２１にて楽曲編集を行い再生する。最後に、ユーザ入力がある場合には、ユーザ入力部８からの信号が再生制御部１９へと送られ、楽曲再生手段２２が制御されて再生が行われると同時に、環境情報分析部１５から得られた楽曲特徴情報７８と楽曲蓄積部３０から読み出された楽曲特徴情報１４の関連性の定義更新１８を行う。ここで、楽曲特徴情報１４は、前述の楽曲特徴情報４に対応する情報であり楽曲の特徴を示すものである。なお、環境情報分析部１５では、自動選曲のための楽曲特徴情報７８の算出と共に、それぞれの入力信号の時間変化をチェックする。入力信号のいずれかの変化量がある一定値を超えた場合に環境情報分析部１５から再生制御部１９へ楽曲を変更するための命令を送る。すなわち、環境情報分析部１５は、再生曲変更のための環境情報変化量検出部の機能をも併せ持つ。

ここで、本実施の形態における、自動選曲及び自動編集による再生制御のフローチャートを図２に示す。すなわち、図１中環境情報分析部１５、自動選曲部１６、再生制御部１９、楽曲編集部２１をＣＰＵ（中央演算処理装置）で構成した場合の、それらの動作の一部を示すフローチャートが図２に示されている。まず、楽曲編集・再生装置は、再生中の楽曲（図中、単に「曲」とも示す）がユーザの選曲した楽曲かどうかを判断する(ステップS1)。もし、ユーザが選択した楽曲であれば、その楽曲の再生が終わるまでは何もしない。ユーザの選択した楽曲以外が再生されている場合、各入力部から得られる環境情報の分析を行い(ステップS2)、環境情報の変化がある一定の閾値を超えたかどうかを判別する(ステップS3)。ここで、環境情報の分析結果と楽曲特徴情報を用いて自動選曲も行っておく(ステップS9)。環境情報の変化が一定値以内の場合、再生中の楽曲が終了したかどうかを判別し(ステップS4)、終了していなければ再生を続けたまま環境情報の分析に戻り、終了していれば自動選曲によって選択した次の楽曲の再生を始める(ステップS7)。環境情報の変化が一定値を超えていた場合、再生中の楽曲における次の楽曲切り換え点が楽曲の最後かどうかを調べる(ステップS5)。

切り換え点が楽曲の最後であった場合、上記の楽曲が終了した場合と同様に次の楽曲の再生を始める(ステップS7)。切り換え点が楽曲の最後ではない場合、楽曲編集を行い(ステップS6)、編集した楽曲を再生する(ステップS8)。なお、ステップS9は、ステップS2以降、別タスクで処理され、ステップS4のYESとステップS5のNOを経由した場合、ステップS9の処理が終了するのを待ち、それぞれステップS7、S6へと進む。上記制御により違和感のない再生が可能となる。

本実施の形態を実際の再生機器で実現する場合の構成例を図３に示す。すなわち図３は、図１の実施の形態を携帯式再生装置として具現した場合の構成を示す図である。ヘッドフォン５１の内側には、心拍数を取得するセンサ５２と体温を取得するセンサ５３が備えられている。さらに外側には、臭いセンサ５４、光量を取得するセンサ５５、さらに、ユーザの視線方向に小型ビデオカメラ５６、周囲の音を取得するためのマイク１３が備えられている。これらから得られた信号はヘッドフォンケーブルを通し、ポータブルHDDプレーヤ本体６０へと送られる。ポータブルHDDプレーヤ本体６０には、ネットワークに接続するための無線アンテナ１０、GPSアンテナ１１があり、現在位置、時刻、天候などの情報を受信することができる。また、温度計６１、湿度計６２から、ユーザの周囲の気温や湿度を取得することができる。

次に本発明の実施の形態における楽曲の分析と自動選曲の手法について具体的に説明する。前述のように、楽曲蓄積部３０にて入力された楽曲は、音楽的な手法により分析される。ここで、分析によって得られる情報の例を図５に示す。音楽の音響信号の分析は、まず周波数マップを作成し、各々の周波数における時間方向のパワー変化を見ながら、音の情報を抽出することから始まる。ここで周波数マップとは、音響信号をＦＦＴ（高速フーリエ変換）などの信号処理手法を用い、特定の周波数ごとに周波数領域に展開したものをいう。作成された周波数マップを基に、ビートトラッキング、和声分析、メロディ推定などを行い、図５に示した情報を抽出する。このとき、リズム変化点、転調箇所、メロディの変化点などを候補点として、楽曲の細分化（セグメンテーション）を同時に行う。

自動選曲は、各種センサなどからの入力から、それらに対応した特徴情報を持つ楽曲を選択することにより行う。本実施の形態では、自動選曲モジュールをニューラルネットワークによって構成している。ここで入力として用いる情報を図６に、また自動選曲の前段階として必要な環境情報分析処理の概要を図４に示す。すなわち図４は、図１中の環境情報分析部の構成を示すブロック図である。図６に示すように、入力情報は第１ネットワーク類と第２ネットワーク類の２つに分類する。第１ネットワーク類は、時間経過による変化が少なく、急激な変化も起こり難い。一方、第２ネットワーク類は、時間方向での変化が大きく、急激な変化が起こる可能性が高い。図４に示すように、第１ネットワーク類入力情報７１は、ニューラルネットワーク７３へ、第２ネットワーク類入力情報７２は、ニューラルネットワーク７４へ入力される。ここで、ニューラルネットワーク７３、７４は、単一のマルチモジュールニューラルネットワーク７５で構成されている。

マルチモジュールニューラルネットワーク７５は、図示省略の基本ネットワークと、連結ネットワークにより構成されていて、連結ネットワークで相互に情報のやりとりをすることができる。マルチモジュールニューラルネットワーク７５は、入力された情報を用いて、形容表現変数７６を出力する。本実施の形態においてリスナーの心情を表すために用いる形容表現を形容詞対として図７に示す。形容表現変数７６は、ニューラルネットワーク７７を介して楽曲特徴情報７８に変換される。得られた楽曲特徴情報７８と楽曲蓄積部３０から読み出された楽曲特徴情報１４との距離を図１中の自動選曲部１６にて計算し、最も近いものを候補曲として選曲する。

また、ニューラルネットワーク７７は、図示省略の入力層、隠れ層、出力層の３層からなり、バックプロパゲーション法により形成する。初期ネットワーク構成時には、任意な、あるいは一般的と思われるデータを入力してネットワークを構成しておき、その後リスナーの操作によって図１の関連性の定義更新（ユーザ嗜好学習）１８を同様にバックプロパゲーション法によって行う。これにより、リスナーの心情を反映した選曲を行うことが可能な自動選曲モジュールが実現される。

本発明の楽曲編集・再生装置の実施の形態を示すブロック図である。 図１の実施の形態の動作を示すフローチャートである。 図１の実施の形態を携帯式再生装置として具現した場合の構成を示す図である。 図１の実施の形態における環境情報分析処理の概要を示す概念図である。 図１の実施の形態において、分析によって得られる情報の例を示す図である。 図１の実施の形態において、入力として用いる情報を示す図である。 図１の実施の形態において、リスナーの心情を表すために用いる形容表現を形容詞対として示す図である。

符号の説明

１ 楽曲
２ 楽曲分析装置（楽曲特徴情報生成手段・楽曲分析手段）
３ 区間情報
４、１４、７８ 楽曲特徴情報
５ 楽曲と楽曲情報の関連付け手段
６、７ 記憶部
８ ユーザ入力部
９ 各種センサ（外的情報取得手段）
１０ 無線アンテナ（外的情報取得手段）
１１ GPSアンテナ（外的情報取得手段）
１２ ビデオカメラ（外的情報取得手段）
１３ マイク（外的情報取得手段）
１５ 環境情報分析部
１６ 自動選曲部（選択手段）
１７ ２つの楽曲特徴情報の関連性に関する定義
１８ 関連性の定義更新
１９ 再生制御部
２０ 楽曲細分化情報（区間情報３に対応する）
２１ 楽曲編集部（編集手段）
２２ 楽曲再生手段
３０ 楽曲蓄積部
４０ 楽曲再生部
５１ ヘッドフォン
５２ 心拍数を取得するセンサ（各種センサ９の１つ）
５３ 体温を取得するセンサ（各種センサ９の１つ）
５４ 臭いセンサ（各種センサ９の１つ）
５５ 光量を取得するセンサ（各種センサ９の１つ）
５６ 小型ビデオカメラ（ビデオカメラ１２に対応）
６０ ポータブルHDDプレーヤ本体
６１ 温度計
６２ 湿度計
７１ 第１ネットワーク類入力情報
７２ 第２ネットワーク類入力情報
７３、７４、７７ ニューラルネットワーク
７５ マルチモジュールニューラルネットワーク
７６ 形容表現変数

Claims (1)

1. 入力された楽曲を分析して時系列的に音楽の構成単位に応じた区間に分割するための楽曲分析手段と、
   前記分割された楽曲の各区間の特性を特定する情報を含む楽曲特徴情報を前記各区間ごとに生成する楽曲特徴情報生成手段と、
   前記楽曲特徴情報生成手段で生成された前記楽曲特徴情報を前記楽曲と関連付ける関連付け手段と、
   前記楽曲特徴情報を前記楽曲と共に、あるいは前記楽曲とは別個に蓄積する蓄積手段と、
   気象、リスナーの生体、又は環境に係る外的情報を取得する外的情報取得手段と、
   前記蓄積手段に蓄積された複数の楽曲のうち任意の1つが再生されたとき、前記外的情報取得手段で取得された前記外的情報と前記楽曲特徴情報とに基づき、前記蓄積手段に蓄積された前記複数の楽曲から前記リスナーに聴取させる楽曲を選択する選択手段と、
   現在再生されている楽曲から前記選択手段により選択された楽曲に切り換える際に、前記楽曲特徴情報に基づき楽曲切り換えのための編集を行う編集手段と、
   前記編集手段により編集された楽曲の情報を用いて音響信号を再生する再生手段とを、
   有する楽曲編集・再生装置。
   

Images