JP2015212870A - ユーザのストレス度に応じて音楽を選択する装置、プログラム及び方法 - Google Patents

Abstract

【課題】ユーザの能動的な入力操作無しに、ユーザの現在置かれている状況に応じて自動的に音楽を選択する装置、プログラム及び方法を提供する。【解決手段】脈拍センサの脈波信号に基づいて、ユーザのストレス度に応じて音楽を自動的に選択する音楽再生装置であって、多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶手段と、音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける感性軸設定手段と、脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測するストレス度計測手段と、計測されたストレス度に応じて、感性軸上の対応位置に最も近い音楽を再生するべく選択する音楽選択手段とを有する。【選択図】図２

Description

本発明は、ユーザの現在置かれている状況に応じて、自動的に音楽（コンテンツ）を選択する技術に関する。

近年、音楽を、インターネットを通じてストリーミングで、ユーザの端末へ配信するサービスが普及してきている。特に欧米諸国では、具体的にはSpotify（登録商標）やPandora（登録商標）のようなサービスがある。これらのサービスの中には、ユーザ自らが音楽（ジャンルやアーティスト等）を選択することなく、ユーザ所望の音楽を自動的に選択し、その音楽をストリーミングで配信する機能もある。

例えばスマートフォン向けのアプリケーションとして、ジョギング中に音楽を聴いているユーザ向けに、ジョギングの走行ペース（リズム）に合った音楽を自動的に選曲して再生する技術がある（例えば非特許文献１参照）。

また、ユーザが、その音楽をダウンロード・再生した位置を楽曲情報と共に記録する技術がある（例えば特許文献１参照）。この技術によれば、位置毎に記録されている楽曲の履歴情報を参照し、現在位置に対応する楽曲を再生することができる。

また、自動車向けの音楽再生方式として、自動車の現在地や走行状態に基づいて、音楽を再生する技術もある（例えば特許文献２参照）。この技術によれば、予め設定された、自動車の状態と再生を所望する楽曲とを対応付けた登録情報を参照し、現在の自動車の状態が登録情報と合致した際に、その状態に対応付けられた楽曲を再生することができる。

更に、自動車向けの音楽再生方式として、自動車の走行状態を入力パラメタとして、再生する楽曲を音楽を選択する技術もある（例えば特許文献３参照）。この技術によれば、具体的には、楽曲毎に、場所情報（山、海、街中等）や時刻・天候情報をと、現在の走行状態をユーザによって予め指定し、現在の走行状態に対応する音楽を自動的に再生することができる。

更に、自動車向けの音楽再生方式として、自動車の走行状態に加えて、目的地情報やその目的地までの到達予想時間等をパラメタとして、過去に同じ状況下で再生していた楽曲の履歴情報などから、現在の状態との相関が強い楽曲を再生する技術もある（例えば特許文献４参照）。

特開２００２−１０８３５１号公報 特開２００６−１０３５２０号公報 特開２０１２−２０３９７４号公報 特許第４３３９８７６号

YAMAHA、「BODiBEAT」、[online]、［平成２６年４月３０日検索］、インターネット＜URL:http://jp.yamaha.com/products/apps/bodibeat_gps_run_and_walk/＞ J. A. Russell, "A circumplex model of affect,"\loch J. Personality Social Psychology, 1980.、[online]、［平成２６年４月３０日検索］、インターネット＜URL:https://www2.bc.edu/james-russell/publications/Russell1980.pdf＞ 小野佑大、甲藤二郎、「音響心理学を基にした楽曲の印象自動推定手法」、情報処理学会研究報告、2009-AVM-64(11)、p.61〜p.66、２００９年３月６日、[online]、［平成２６年４月３０日検索］、インターネット＜URL:http://ci.nii.ac.jp/naid/110007333801＞

既存の音楽ストリーミングの配信サービスによれば、ユーザが能動的に所望の音楽を選択する必要があり、ユーザの入力操作の手間が生じる。また、ユーザの好きなアーティストの楽曲であっても、当該ユーザが現在置かれている状況によっては、あまり適切ではない印象の楽曲が再生されることもある。

非特許文献１に記載の技術によれば、ジョギング又は歩行におけるリズムが生じているような、ユーザの運動時のみを想定したものに過ぎず、非運動時に対応することはできない。また、同じリズムで走っていたとしても、その時々の状況によっては聴きたい楽曲の印象も変わる可能性がある。

特許文献１〜４に記載の技術によれば、主にユーザが音楽を聴いている場所に着目して、自動的に音楽を選択するものである。これらの方式では、同じ場所にいるときには同じ楽曲を聴きたいという前提の下で自動的に選曲されている。しかしながら、同じ場所であっても、ユーザの状況によっては異なる印象の楽曲を聴きたくなるような場合もある。その中でも、特許文献２〜４に記載の技術は、自動車の中での音楽再生を想定したものであるが、ユーザの現在置かれている状況に基づいて音楽を選択するものではない。

そこで、本発明は、ユーザの能動的な入力操作無しに、ユーザの現在置かれている状況に応じて自動的に音楽を選択する装置、プログラム及び方法を提供することを目的とする。

本発明によれば、脈拍センサの脈波信号に基づいて、ユーザのストレス度に応じて音楽を自動的に選択する音楽再生装置であって、
多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶手段と、
音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける感性軸設定手段と、
脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測するストレス度計測手段と、
計測されたストレス度に応じて、感性軸上の対応位置に最も近い音楽を再生するべく選択する音楽選択手段と
を有することを特徴とする。

本発明の音楽再生装置における他の実施形態によれば、
ストレス度計測手段は、脈波信号を周波数解析し、ＨＦ成分（副交感神経の活動周波数帯域）に対するＬＦ成分（交感神経の活動周波数帯域）の面積比が大きいほど、ストレス度が高くなるように計測されることも好ましい。

本発明の音楽再生装置における他の実施形態によれば、
音楽ベクトル記憶手段は、覚醒度(Arousal)及び感情価(Valence)の２次元のベクトル空間に配置して記憶することも好ましい。

本発明の音楽再生装置における他の実施形態によれば、
感性軸設定手段について、感性軸は、ベクトル空間における中心点を通過するように設定されることも好ましい。

本発明の音楽再生装置における他の実施形態によれば、
感性軸設定手段は、ユーザに所望音楽を指定させ、当該所望音楽の位置と中心点とを結んで伸長する軸を、感性軸として設定することも好ましい。

本発明によれば、脈拍センサの脈波信号を入力する装置に搭載されたコンピュータを、ユーザのストレスに応じて音楽を自動的に選択するように機能させる音楽再生プログラムであって、
多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶手段と、
音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける感性軸設定手段と、
脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測するストレス度計測手段と、
計測されたストレス度に応じて、感性軸上の対応位置に最も近い音楽を再生するべく選択する音楽選択手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、脈拍センサの脈波信号を入力する装置を用いて、ユーザのストレスに応じて音楽を自動的に選択する当該装置の音楽再生方法であって、
装置は、多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶部を有し、
装置は、
音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度が対応付ける第１のステップと、
脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測する第２のステップと、
計測されたストレス度に応じて、感性軸上の対応位置に最も近い音楽を再生するべく選択する第３のステップと
を有することを特徴とする。

本発明の装置、プログラム及び方法によれば、ユーザの能動的な入力操作無しに、ユーザの現在置かれている状況に応じて自動的に音楽を選択することができる。

本発明におけるシステム構成図である。 本発明における音楽再生装置の機能構成図である。 楽曲毎に、印象に基づくベクトルを表す座標図である。 本発明における感性軸を表す座標図である。 感性軸毎のストレス変化を表す座標図である。 ストレス度を算出するための周波数解析を表す説明図である。 本発明におけるサーバ・クライアントの機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、本発明の対象となる音楽再生装置１は、代表的にはスマートフォンのように、ユーザに常に所持される装置である。勿論、音楽プレーヤや、タブレット端末又はパーソナルコンピュータであってもよい。スマートフォン１は、有線／無線によってイヤフォン（又はヘッドフォンやスピーカ）３に接続し、音楽を再生し、ユーザに聴かせることができる。

本発明のスマートフォン１には、有線／無線によって「脈拍センサ２」が更に接続されている。脈拍センサ２は、例えば時計のように手首に接触するウェアラブルデバイスであってもよいし、耳たぶ又は内耳に接触するイヤフォンであってもよい。本発明によれば、脈拍センサ２によって計測されたユーザの脈拍から、そのユーザが現在置かれている状態、即ち、現在の「ストレス度」を計測することができる。

脈拍センサ２は、人体に接触し、脈拍の物理量を計測するセンサ素子を搭載する。センサ素子は、脈の強さの時間変動を表すアナログの計測信号（時系列的に変化する脈動信号）を出力する。脈拍センサ２は、微弱電流のその計測信号を、バッファアンプによって増幅し、Ａ／Ｄ変換部によってアナログ信号からデジタル信号へ変換する。そして、脈拍センサ２は、そのデジタル信号を、有線／無線によってスマートフォン１へ送信する。尚、無線の場合、例えばBluetooth（登録商標）のような近距離無線通信を用いる。

尚、図１によれば、スマートフォン１は、アクセスネットワークを介してインターネットへ接続し、音楽配信サーバ４と通信することもできる。

図２は、本発明における音楽再生装置の機能構成図である。

本発明の音楽再生装置１は、脈拍センサ２の脈波信号からユーザのストレス度を計測し、それに応じて音楽を自動的に選択して再生する。図２によれば、音楽再生装置１は、ハードウェアとして、近距離通信インタフェースと、ユーザインタフェースとを有する。近距離通信インタフェースは、例えばBluetoothであって、脈拍センサ２から受信した脈波信号をプロセッサへ出力する。また、ユーザインタフェースは、タッチパネルディスプレイからユーザ操作を受け付けると共に、音声出力ジャックへ再生した音楽を出力する。

また、ソフトウェアとして、音楽コンテンツ記憶部１０と、音楽ベクトル記憶部１１と、感性軸設定部１２と、ストレス度計測部１３と、音楽選択部１４と、音楽再生部１５とを有する。これら機能構成部は、音楽再生装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能部の処理の流れは、音楽再生方法としても理解できる。

［音楽コンテンツ記憶部１０］
音楽コンテンツ記憶部１０は、音楽の識別子とコンテンツとを対応付けて記憶しており、音楽再生部１５から参照される。音楽再生部１５から指示された音楽の識別子に対応するコンテンツを出力する。

［音楽ベクトル記憶部１１］
音楽ベクトル記憶部１１は、音楽コンテンツ多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する。具体的には、音楽ＩＤ（識別子）毎に、その２次元ベクトル（ｘ軸位置とｙ軸位置）が対応付けて記憶されている。音楽ベクトル記憶部１１は、音楽選択部１４から参照される。

図３は、楽曲毎に、印象に基づくベクトルを表す座標図である。

図３によれば、音楽ベクトル記憶部１１は、楽曲毎のベクトル位置を、覚醒度(Arousal, energetic-calm)及び感情価(Valence, positive-negative)の２次元のベクトル空間（Arousal-Valence空間）に配置して記憶している。図３の座標図は、心理学分野における「Russellモデル」に基づくものであって、「全ての感情は、覚醒・眠気／快・不快の２次元で表現できる」としたものである（例えば非特許文献２参照）。
（２次元ベクトル） （感情の印象）
高い覚醒度＋高い感情価 ＝ウキウキ、ワクワク、幸せ、喜び
高い覚醒度＋低い感情価 ＝心配、怒り、怯え、うんざり
低い覚醒度＋高い感情価 ＝リラックス、穏やか、静かな、落ち着き
低い覚醒度＋低い感情価 ＝悲しみ、絶望、憂鬱、凹む

楽曲毎に、その印象に基づいて２次元ベクトルに配置する従来技術として、例えば小野佑大らの「音響心理学を基にした楽曲の印象自動推定手法」がある（例えば非特許文献３参照）。この技術によれば、以下の２段階の処理によって、楽曲毎の印象を特定することができる。
（１）＜特徴量抽出処理＞
楽曲の音響信号から、強度・音色・リズムそれぞれの特徴量を抽出し、主成分分析によって次元圧縮したデータを用いる。また、信号の周波数の低域から高域へ分割するサブバンドを構成し、帯域毎にそれら特徴量を抽出する。
（２）＜印象推定処理＞
音響特徴量に基づいてThayerモデルへ楽曲をマッチングする。強度特徴量は、覚醒度の心理の軸に結び付く。また、音色・リズム特徴量は、感情価の心理の軸に結び付く。

［感性軸設定部１２］
感性軸設定部１２は、音楽ベクトル記憶部１１の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける。設定された感性軸は、音楽選択部１４へ出力される。尚、感性軸は、ユーザ操作によって設定されるものであってもよいし、予め設定されているものであってもよい。

図４は、本発明における感性軸を表す座標図である。

図４によれば、有向線分の複数の「感性軸」が表されている。
有向向き ：高ストレス
有向逆向き：低ストレス

ここで、感性軸は、ベクトル空間における中心点を通過するように設定されることも好ましい。これによって、対局に位置する両方の感性の間で、ストレス度に応じた音楽を選択することができる。勿論、感性軸が、ベクトル空間の中心点を通過することを必須とするものではなく、ユーザ操作に応じてユーザ所望の感性軸を、ベクトル空間上に設定することができる。

また、感性軸設定部１２は、ユーザに所望音楽を指定させることによって、当該所望音楽の位置と中心点とを結んで伸長する軸を、感性軸として設定することもできる。即ち、ユーザの所望音楽を基準として、その対局に位置する両方の感性の間で、ストレス度に応じた音楽を選択することができる。

図５は、感性軸毎のストレス変化を表す座標図である。

図５によれば、例えば５つの感性軸が表されている。
＜感性軸１＞ 高ストレス->高覚醒度、低ストレス->低覚醒度
ストレス度が高いほど、気分が盛り上がる音楽、
ストレス度が低いほど、落ち着く音楽、が選択される。
※例えばスポーツをしている時には、できる限り気分を盛り上げたい。
＜感性軸２＞ 高ストレス->低覚醒度、低ストレス->高覚醒度
ストレス度が高いほど、気分が落ち着く音楽、
ストレス度が低いほど、気分が盛り上がる音楽、が選択される。
※例えば通勤途中の満員電車の中では、できる限り気分を落ち着けたい。
＜感性軸３＞ 高ストレス->高感情価、低ストレス->低感情価
ストレス度が高いほど、明るい音楽、
ストレス度が低いほど、暗い音楽、が選択される。
※例えば仕事中には、できる限り気分を明るくしたい。
＜感情軸４＞ 高ストレス->高覚醒度・高感情価、低ストレス->低覚醒度・低感情価
ストレス度が高いほど、ウキウキした音楽、
ストレス度が低いほど、悲しい音楽、が選択される。
※例えば休日の外出中や起床時には、できる限り気分をウキウキとしたい。
＜感情軸５＞ 高ストレス->低覚醒度・高感情価、低ストレス->高覚醒度・低感情価
ストレス度が高いほど、リラックスした音楽、
ストレス度が低いほど、心配な音楽、が選択される。
※例えば休日の自宅内や就寝時には、できる限り気分をリラックスさせたい。

［ストレス度計測部１３］
ストレス度計測部１３は、脈拍センサ２から受信した脈波信号について、脈拍間隔ゆらぎから「ストレス度」を計測する。ストレス度計測部１３は、脈波におけるＨＦ成分（副交感神経の活動周波数帯域）に対するＬＦ成分（交感神経の活動周波数帯域）の面積比が大きいほど、ストレス度が高くなるように導出する。この「ストレス度」は、脈拍波形から抽出される交感神経と副交感神経との活動に基づく自律神経バランスを、数値化したものである。計測されたストレス度は、音楽選択部１４へ出力される。

図６は、ストレス度を算出するための周波数解析を表す説明図である。

図６（ａ）は、脈拍センサ２から受信した、時間経過に対する脈波を表すグラフである。
図６（ｂ）は、脈波から線形予測残差によって処理した脈拍波形を表すグラフである。
図６（ｃ）は、脈波波形から脈拍間隔の時間的揺らぎを表すグラフである。
図６（ｄ）は、脈拍間隔の時間的揺らぎを周波数解析したグラフである。

図６（ｄ）について、以下のように算出される。
交感神経の周波数帯域 ：0.05Hz〜0.15Hz
副交感神経の周波数帯域：0.05Hz〜0.40Hz
ＬＦ成分面積：0.05Hzから0.15Hzの間の周波数帯域における出力成分の面積
交感神経の周波数帯域における出力成分の面積
ＨＦ成分面積：0.15Hzから0.40Hzの間の周波数帯域における出力成分の面積
副交感神経の周波数帯域における出力成分の面積から、
交感神経のの周波数帯域における出力成分の面積を減算したもの。
ストレス度（自律神経バランス）＝ＬＦ成分面積／ＨＦ成分面積

［音楽選択部１４］
音楽選択部１４は、ストレス度計測部１３によって計測されたストレス度に応じて、感性軸上の対応位置に最も近い音楽を再生するべく選択する。感性軸は、低ストレスから高ストレスへ有向線分によって表されている。その感性軸上におけるストレス度に応じた位置から、ベクトル空間で最も近距離に位置する音楽が選択されることとなる。選択された音楽の識別子が、音楽再生部１５へ出力される。

［音楽再生部１５］
音楽再生部１５は、音楽選択部１４によって選択された音楽を、音楽コンテンツ記憶部１０から取得して再生する。再生した音声信号は、ユーザインタフェースを介してユーザのイヤフォン（又はヘッドフォンやスピーカ）から出力される。

図７は。本発明におけるサーバ・クライアントの機能構成図である。

図７によれば、サーバ側の音楽配信サーバ４と、クライアント側のスマートフォン１とが、ネットワークを介して接続されている。スマートフォン１は、脈拍センサ２から脈拍信号を受信すると共に、ストレス度計測部１３と、音楽再生部１５とを有する。ストレス度計測部１３は、計測したストレス度を、ネットワークを介して音楽配信サーバ４へ送信する。また、音楽再生部１５は、ネットワークを介して音楽配信サーバ４から音楽コンテンツを受信し、それを再生する。

一方で、音楽配信サーバ４は、音楽コンテンツ記憶部１０と、音楽ベクトル記憶部１１と、感性軸設定部１２と、音楽選択部１４とを有する。音楽選択部１４は、スマートフォン１から受信したストレス度に応じて、音楽ベクトル記憶部１１を参照して、音楽を選択する。そして、選択された音楽の識別子に対応する音楽コンテンツが、音楽コンテンツ記憶部１０からスマートフォン１へ、ストリーミングによって送信される。

以上、詳細に説明したように、本発明の装置、プログラム及び方法によれば、ユーザの能動的な入力操作無しに、ユーザの現在置かれている状況に応じて自動的に音楽を選択することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 音楽再生装置、スマートフォン
１０ 音楽コンテンツ記憶部
１１ 音楽ベクトル記憶部
１２ 感性軸設定部
１３ ストレス度計測部
１４ 音楽選択部
１５ 音楽再生部
２ 脈拍センサ
３ イヤフォン
４ 音楽配信サーバ

Claims (7)

1. 脈拍センサの脈波信号に基づいて、ユーザのストレス度に応じて音楽を自動的に選択する音楽再生装置であって、
   多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶手段と、
   前記音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける感性軸設定手段と、
   前記脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測するストレス度計測手段と、
   計測された前記ストレス度に応じて、前記感性軸上の対応位置に最も近い音楽を再生するべく選択する音楽選択手段と
   を有することを特徴とする音楽再生装置。
2. 前記ストレス度計測手段は、前記脈波信号を周波数解析し、ＨＦ成分（副交感神経の活動周波数帯域）に対するＬＦ成分（交感神経の活動周波数帯域）の面積比が大きいほど、ストレス度が高くなるように計測される
   ことを特徴とする請求項１に記載の音楽再生装置。
3. 前記音楽ベクトル記憶手段は、覚醒度(Arousal)及び感情価(Valence)の２次元のベクトル空間に配置して記憶する
   ことを特徴とする請求項１又は２に記載の音楽再生装置。
4. 前記感性軸設定手段について、前記感性軸は、前記ベクトル空間における中心点を通過するように設定される
   ことを特徴とする請求項１から３のいずれか１項に記載の音楽再生方法。
5. 前記感性軸設定手段は、ユーザに所望音楽を指定させ、当該所望音楽の位置と中心点とを結んで伸長する軸を、感性軸として設定する
   ことを特徴とする請求項１から４のいずれか１項に記載の音楽再生装置。
6. 脈拍センサの脈波信号を入力する装置に搭載されたコンピュータを、ユーザのストレスに応じて音楽を自動的に選択するように機能させる音楽再生プログラムであって、
   多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶手段と、
   前記音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度を対応付ける感性軸設定手段と、
   前記脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測するストレス度計測手段と、
   計測された前記ストレス度に応じて、前記感性軸上の対応位置に最も近い音楽を再生するべく選択する音楽選択手段と
   してコンピュータを機能させることを特徴とする音楽再生プログラム。
7. 脈拍センサの脈波信号を入力する装置を用いて、ユーザのストレスに応じて音楽を自動的に選択する当該装置の音楽再生方法であって、
   前記装置は、多数の音楽を、異なる感性的印象に基づいて複数次元のベクトル空間に配置して記憶する音楽ベクトル記憶部を有し、
   前記装置は、
   前記音楽ベクトル記憶手段の中で、有向線分の感性軸を予め設定すると共に、感性軸の有向向きほど高いストレス度が対応付ける第１のステップと、
   前記脈拍センサの脈波信号について、脈拍間隔ゆらぎからストレス度を計測する第２のステップと、
   計測された前記ストレス度に応じて、前記感性軸上の対応位置に最も近い音楽を再生するべく選択する第３のステップと
   を有することを特徴とする装置の音楽再生方法。

Images