JP2002366173A - 感性データ算出方法および感性データ算出装置 - Google Patents

Abstract

(57)【要約】 【課題】 オーディオ信号など人間の感覚に関する信号
を解析することにより、その感覚によって生じる感情あ
るいは感性に関するデータを自動的に算出する感性デー
タ算出方法および感性データ算出装置を提供する。 【解決手段】 ＭＰ３データ記憶部４は、ＭＰ３形式で
記録されたデジタル音データを記憶している。伸長部１
１は、圧縮されているＭＰ３データ（Ａ）を伸長し、周
波数帯域ごとの音圧値データ（Ｂ）として出力する。感
性データ算出部１２は、感情解析部１３とリズム解析部
１４とを備えている。リズム解析部１４は、データ
（Ｂ）を基に単位時間あたり拍数を求める。感情解析部
１３は、データ（Ｂ）を基に、数種類の感情パラメータ
値を求め、この感情パラメータ値と上記の単位時間あた
り拍数とを基に、感情種類および感情レベルを判定し、
その結果を感性データ蓄積部２に書き込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、信号を解析して
解析結果を出力する装置に関する。特に、聴覚や視覚な
ど、人間の感覚に関する時系列的な信号を解析する装置
に関する。

【０００２】

【従来の技術】従来、人間の感情・感性に関する情報を
デジタルデータとして扱うためには、例えば「うれし
い」、「悲しい」、「怖い」などといった情報を、コン
ピュータなどの情報機器に直接入力する必要があった。

【０００３】

【発明が解決しようとする課題】上記のような人間の感
情は、人間が外部環境から受ける刺激と相関関係を有す
るものである。そのような刺激のひとつが、例えば聴覚
によって知覚される音楽である。つまり、多数の人間が
ある共通の音楽を鑑賞したとき、それらの鑑賞者のうち
の多くの人間が、「うれしい」とか「悲しい」とか「気
持ちいい」などといった共通の感情を抱く。

【０００４】本願発明は、このような点に着目してなさ
れたものであり、オーディオ信号やビデオ信号や、その
他、人間の感覚に関する信号を解析することにより、そ
の感覚によって生じる感情あるいは感性に関するデータ
を自動的に算出する感性データ算出方法および感性デー
タ算出装置を提供することを目的とする。また、本願発
明は、上記の感性データ算出方法および感性データ算出
装置を応用した各種装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、分割された周波数帯域ごとの音圧値と
して音を表現したデジタルデータを入力し、前記周波数
帯域ごとの音圧値の分布を解析することにより、前記音
に関連する感性データを算出することを特徴とする感性
データ算出方法を要旨とする。

【０００６】また、本発明の感性データ算出方法は、前
記周波数帯域全体を、１０個以下の周波数帯域グループ
に分割し、この周波数帯域グループごとの平均音圧値に
基づいて前記感性データを算出することを特徴とするも
のである。

【０００７】また、本発明の感性データ算出方法は、前
記周波数帯域ごとの音圧値の分布の時間的な推移に基づ
いて前記感性データを算出することを特徴とするもので
ある。

【０００８】また、本発明の感性データ算出方法は、前
記周波数帯域グループ内において、音圧値のピークとな
る周波数帯域が時間的にどのように推移するかに基づい
て前記感性データを算出することを特徴とするものであ
る。

【０００９】また、本発明の感性データ算出方法は、前
記デジタルデータに基づき前記音に含まれるリズムの単
位時間あたり拍数を求め、この単位時間あたり拍数に基
づいて前記感性データを算出することを特徴とするもの
である。なお、リズムの単位時間あたり拍数を求めるた
めの一方法は、前記デジタルデータに基づいて、周波数
帯域ごとの音圧値の時間的変化量を求め、周波数帯域全
体において前記時間的変化量が所定の閾値以上である領
域の分布に基づいてノイズを検出し、このノイズの検出
頻度に基づいて前記単位時間あたり拍数を求めることで
ある。

【００１０】また、本発明の感性データ算出方法は、前
記周波数帯域ごとの音圧値の分布に基づき、「快感」、
「驚き」、「怯え」、「嬉しい」、「悲しい」の５種類
の感情パラメータ値を算出し、これらの感情パラメータ
値に基づいて感性データを算出することを特徴とするも
のである。

【００１１】また、本発明は、分割された周波数帯域ご
との音圧値として楽曲を表現したデジタルデータを基
に、上記の感性データ算出方法によって感性データを算
出し、算出された感性データに基づいてビジュアルコン
テンツを生成し、前記楽曲の再生と前記ビジュアルコン
テンツとの表示を同期的に行うことを特徴とする音楽再
生方法である。

【００１２】また、本発明は、分割された周波数帯域ご
との音圧値として楽曲を表現したデジタルデータを基
に、上記の感性データ算出方法によって感性データを算
出し、算出された感性データ同士を比較することにより
前記楽曲を識別することを特徴とする楽曲識別方法であ
る。

【００１３】また、本発明の感性データ算出装置は、分
割された周波数帯域ごとの音圧値として音を表現したデ
ジタルデータを入力し、前記周波数帯域ごとの音圧値の
分布を解析することにより、前記音に関連する感性デー
タを算出することを特徴とするものである。

【００１４】また、本発明の感性データ算出装置は、前
記デジタルデータに基づき前記音に含まれるリズムの単
位時間あたり拍数を求めるリズム解析部と、前記周波数
帯域全体を１０個以下の周波数帯域グループに分割し、
この周波数帯域グループごとの音圧値と、前記リズム解
析部によって求められた単位時間あたり拍数とを基に感
性データを算出する感情解析部とを備えることを特徴と
するものである。

【００１５】また、本発明の音楽再生装置は、分割され
た周波数帯域ごとの音圧値として音を表現したデジタル
データを記憶するデータ記憶部と、前記データ記憶部か
ら読み出された前記デジタルデータを基に、前記周波数
帯域ごとの音圧値の分布を解析することにより前記音に
関連する感性データを算出する感性データ算出部と、前
記感性データ算出部によって算出された前記感性データ
に基づきビジュアルコンテンツを生成するビジュアルコ
ンテンツ生成部と、前記デジタルデータをデコードして
オーディオ信号を出力するデコーダ部とを備えるととも
に、前記ビジュアルコンテンツ生成部によるビジュアル
コンテンツの生成と、前記デコーダ部によるオーディオ
信号の出力とを同期的に行うことを特徴とするものであ
る。

【００１６】また、本発明のプログラムは、分割された
周波数帯域ごとの音圧値として音を表現したデジタルデ
ータを入力し、前記周波数帯域ごとの音圧値の分布を解
析することにより、前記音に関連する感性データを算出
する処理をコンピュータに実行させるものである。

【００１７】また、本発明のコンピュータ読み取り可能
な記録媒体は、分割された周波数帯域ごとの音圧値とし
て音を表現したデジタルデータを入力し、前記周波数帯
域ごとの音圧値の分布を解析することにより、前記音に
関連する感性データを算出する処理をコンピュータに実
行させるプログラムを記録したものである。

【００１８】

【発明の実施の形態】以下、図面を参照しこの発明の一
実施形態について説明する。図１は、同実施形態による
感性データ算出方法を応用した音楽再生装置の構成を示
すブロック図である。この音楽再生装置は、ＭＰ３（MP
EG Audio Layer 3）の形式で記録された音楽（聴覚デー
タ）を再生するとともに、この音楽を基に感性データを
算出するものである。

【００１９】図１において、符号４は、ＭＰ３形式の音
楽データを記憶するＭＰ３データ記憶部である。１は、
ＭＰ３データ記憶部４から読み出された音楽データを基
に感性データを算出して出力するスペクトラム解析部で
ある。２は、スペクトラム解析部１によって算出された
感性データを蓄積する感性データ蓄積部である。３は、
感性データ蓄積部２に蓄積された感性データを順次読み
出し、この感性データに基づくアニメーション画像（ビ
ジュアルコンテンツ）を生成するアニメーション画像生
成部（ビジュアルコンテンツ生成部）である。

【００２０】また、５は、ＭＰ３データ記憶部４から読
み出された音楽データをデコードして時系列的な音圧レ
ベルのデジタル信号（デジタルオーディオ信号）を出力
するＭＰ３デコーダ部である。６は、ＭＰ３デコーダ部
５から出力されたデジタル信号を変換してアナログオー
ディオ信号を出力するＤ／Ａ（デジタル／アナログ）変
換部である。

【００２１】ＭＰ３データ記憶部４に記憶されている音
楽データは、所定のサンプリング周波数（例えば、４４
１００Ｈｚ（ヘルツ））でサンプリングされ量子化され
た音圧レベルが、所定のフレーム長（例えば、約０．０
２６１秒）を１フレームとするフレーム単位で、所定数
（例えば、５７６本）に分割された周波数帯域ごとの音
圧値に変換され、さらに圧縮されたものである。

【００２２】スペクトラム解析部１は、このような音楽
データを時系列的に順次読み出し、読み出したデータを
まず伸長してから、後述する所定の手順により解析を行
い、その結果を感性データとして順次出力していく。ス
ペクトラム解析部１によって出力される感性データも時
系列的なデータであり、順次、感性データ蓄積部２に蓄
積されていく。

【００２３】アニメーション画像生成部３は、再生する
音楽に合ったアニメーションを生成してビデオ信号とし
て出力するものである。生成されるアニメーションの一
例は、あるキャラクターが再生される音楽のリズムに合
わせてダンスをするものであり、感性データ蓄積部２か
ら読み取った感性データに応じて、そのキャラクターの
手足の振り付けや顔の表情が変わるようになっている。
なお、アニメーションで描かれるキャラクターの顔の表
情を変えるためには、例えば、口（唇）や、目や、その
周辺の筋肉に相当する部分の計上を変えて描くようにす
る。

【００２４】再生される音楽の進行と生成されるアニメ
ーションの進行のタイミングが合うように、スペクトラ
ム解析部１とアニメーション画像生成部３とＭＰ３デコ
ーダ５との間で互いに同期を取るようにする。また、ス
ペクトラム解析部１による感性データ算出の演算に時間
がかかっても音楽とアニメーションとのタイミングがず
れないように、スペクトラム解析部１による感性データ
算出を先行して行い、数秒から数十秒程度遅れて後追い
の形で、ＭＰ３デコータ５による音楽の再生とアニメー
ション画像生成部３からのビデオ信号の出力とを行うよ
うする。但し、スペクトラム解析部１による感性データ
算出の演算が充分に速く行える場合には、上記の遅延を
設けずにリアルタイムで再生するようにしても良い。

【００２５】ＭＰ３データ記憶部４は、磁気ディスクや
ＣＤ−ＲＯＭ（コンパクトディスクを用いた読み出し専
用メモリ）あるいはＣＤ−Ｒ（CD Recordable ）やＤＶ
Ｄ（Digital Versatile Disk）や光磁気ディスクや半導
体メモリなどといった記録媒体とそれを読み取る読取装
置によって実現する。

【００２６】スペクトラム解析部１は、コンピュータを
用いて実現する。つまり、後述する感性データ算出等の
処理の手順をコンピュータプログラムの形式でコンピュ
ータ読み取り可能な記録媒体に記録しておき、このプロ
グラムをコンピュータの中央処理装置が読み取ってその
命令を実行することにより感性データ算出等の機能を実
現する。ここで、コンピュータ読み取り可能な記録媒体
とは、例えば、磁気ディスクや、ＣＤ−ＲＯＭあるいは
ＣＤ−Ｒや、半導体メモリなどである。あるいは、専用
ロジックを搭載した集積回路としてスペクトラム解析部
１を実現するようにしても良い。あるいは、コンピュー
タプログラムをコンピュータ読み取り可能な記録媒体に
記録しておく代わりに、通信を用いて配信するようにし
て、配信を受けたコンピュータの中央処理装置がこのプ
ログラムを実行するようにしても良い。感性データ蓄積
部２は、半導体メモリや磁気ディスクなど、高速に書換
え可能な記録媒体を用いて実現する。

【００２７】次に、スペクトラム解析部１の内部構成、
およびその処理の詳細について説明する。図１に示すよ
うに、スペクトラム解析部１は、伸長部１１と感性デー
タ算出部１２（感性データ算出装置）とを備えている。
伸長部１１は、ＭＰ３データ記憶部から読み取られた音
楽データを伸長する。つまり、図１のＡの部分では、圧
縮された状態のデータが伝達される。また、図１のＢの
部分では、前述の周波数帯域（音域）ごとの音圧値の情
報が伸長済みの状態で伝達される。感性データ算出部１
２は、さらに、感情解析部１３とリズム解析部１４とを
備えている。

【００２８】次に、感情解析部１３とリズム解析部１４
の詳細な処理手順について説明する。

【００２９】図２は、感情解析部１３による処理の手順
を示すフローチャートである。図２に示すように、感情
解析部１３は、まずステップＳ１において入力されるデ
ータを基に５つの音域への分割の処理を行い、ステップ
Ｓ２においてこれら５つの音域の音圧値を基に感情パラ
メータを算出する処理を行い、ステップＳ３において算
出された感情パラメータを基に判定を行う。判定結果と
して、インデックス、感情種類、感情レベル、継続時
間、補間フラグの組の時系列データが出力される。

【００３０】上記インデックスは、０から始まるシーケ
ンシャルな値である。上記感情種類は、「無表情（defa
ult ）」、「快感（pleasure）」、「驚き（surpris
e）」、「怯え（fear）」、「嬉しい（happy ）」、
「悲しい（sad ）」のいずれかである。感情種類が「快
感」、「驚き」、「怯え」、「嬉しい」、「悲しい」の
いずれかであるとき、上記感情レベルは１以上５以下の
いずれかの整数の値を取る。また、感情種類が「無表
情」のとき、感情レベルの値は「なし」である。上記継
続時間は、秒単位の数値であり、１以上の値を取る。上
記補間フラグは、０（「ＯＦＦ」を表わす）あるいは１
（「ＯＮ」を表わす）のいずれかの値を取る。

【００３１】時系列の音楽データを処理する際の初期値
は、インデックス＝０、感情種類＝「無表情」、感情レ
ベル＝「なし」、継続時間＝「１」、補間フラグ＝
「１」とする。

【００３２】以下に、処理をさらに詳細に説明する。図
２の符号Ｄ１は、感情解析部１３に入力される周波数帯
域ごとの音圧値情報である。この段階では、５７６本の
周波数帯域それぞれの音圧値情報が保持されている。ま
た、元のＭＰ３データのサンプリング周波数は４４１０
０Ｈｚである。つまり、分割された周波数帯域ごとの音
圧値として音を表現したデジタルデータを入力として、
周波数帯域ごとの音圧値の分布を以下の方法で解析する
ことにより、前記の音に関連する感性データを算出す
る。

【００３３】ステップＳ１においては、音圧値情報（Ｄ
１）を基に、次の５段階の音域ごとの平均音圧値を算出
し、音圧値情報（Ｄ２）として出力する。その５段階の
音域とは、低音部（０Ｈｚ〜７６．５６２５Ｈｚ）、中
低音部（２２９．６８７５Ｈｚ〜１９９０．６２５Ｈ
ｚ）、中高音部（７００５．４６９Ｈｚ〜１００２９．
６９Ｈｚ）、高音部（１００２９．６９Ｈｚ〜１４９６
７．９７Ｈｚ）、最高音部（１５００６．２５Ｈｚ〜１
７９９２．１９Ｈｚ）の５つである。つまり、ここで
は、周波数帯域全体を、１０個以下の周波数帯域グルー
プに分割し、この周波数帯域グループごとの音圧値を用
いた解析を行う。

【００３４】また、ステップＳ１においては、音階分割
により、長音要素と短音要素の抽出を行う。この抽出の
ために、まず、０Ｈｚ〜４９７．６５６３Ｈｚの帯域を
１３の領域に均等分割し、４９７．６５６３Ｈｚ〜２２
０５０Ｈｚの帯域を６３の領域に音階分割する。そし
て、そのうちの４９７．６５６３Ｈｚ〜２０２８．９０
６Ｈｚの２オクターブ分の２４個の音階領域の音圧値が
所定の閾値より大きいかどうかを判断する。

【００３５】上記２４個の音階領域のうち、１番目、３
番目、５番目、８番目、１０番目、１２番目、１３番
目、１５番目、１７番目、２０番目、２２番目、２４番
目の領域が長音要素である。これらの長音要素のうち、
１番目と１３番目とは１オクターブ離れた領域であるた
め、この２つの領域の音圧値が共に閾値より大きけれ
ば、長音要素を＋１としてカウントする。また同様に、
３番目と１５番目の領域、５番目と１７番目の領域、８
番目と２０番目の領域、１０番目と２２番目の領域、１
２番目と２４番目の領域がそれぞれ互いに１オクターブ
離れた領域であり、２つの領域の音圧値が共に閾値より
大きい場合に、それぞれ長音要素を＋１としてカウント
する。また、上記２４個の音階領域のうち、２番目と１
４番目、４番目と１６番目、６番目と１８番目、７番目
と１９番目、９番目と２１番目、１１番目と２３番目が
それぞれ１互いに１オクターブ離れた領域のペアであ
り、各ペアごとに、２つの領域の音圧値が共に閾値より
大きい場合に、それぞれ短音要素を＋１としてカウント
する。この抽出の処理の結果、長音要素および短音要素
は、それぞれ０以上６以下のいずれかの整数の値を取
る。

【００３６】次に、ステップＳ２では、音圧値情報Ｄ２
を基に感情パラメータを算出する処理を行う。感情パラ
メータには優先順位が設定されており、「快感」の優先
度が１、「驚き」の優先度が２、「怯え」の優先度が
３、「嬉しい」および「悲しい」の優先度がともに４と
なっている。なお、上記５種類の感情パラメータ値がす
べて「０」のときは、「無表情」に該当する。

【００３７】また、ステップＳ３では、算出された感情
パラメータに基づく判定を行い、感性データを求める処
理を行う。また、この判定においては、図１に示したリ
ズム解析部１４によるリズム解析の結果も一部で用いら
れる。リズム解析の結果とは、例えば、ビート間の時間
間隔がどの程度の長さかといったことである。なお、感
情パラメータ値算出の際には、音圧値がＬ１以下の音を
無視する。判定の際には、

【００３８】「快感（Pleasure）」に関する処理は、次
の通りである。 ［条件１］ ビート間の時間間隔がＴ３以上で、かつ、
中低音部から高音部までのいずれかの音圧のピークが高
音方向に時間的にＴ４以上移動した場合は、「快感」の
感情パラメータのカウントを＋１する。この条件に合致
するとき、当該感情は、対象の音が鳴り始めてから時間
Ｔ４経過時点から、対象の音が鳴りやんでから時間Ｔ２
経過時点まで継続するものとする。つまり、本実施形態
においては、この継続時間の間は、「快感」データに基
づくアニメーションが生成され、出力される。 ［条件２］ 低音域の音圧値がＬ７以上で、かつ、高音
部の平均音圧値がＬ４以上である場合で、平均音圧値が
Ｌ６以上の時、前回までのビート間の平均時間間隔から
今回のビート間時間間隔を差し引いた値がＴ１以上であ
る、または、前回の判定結果が「驚き」の場合は「快
感」の感情パラメータのカウントを＋２する。この条件
に合致するとき、当該感情は、対象の音が鳴り始めてか
ら時間Ｔ４が経過した時点から始まるものとする。

【００３９】つまり、上記条件２が適用される場合に
は、分割された周波数帯域グループごとの平均音圧値に
基づいて感性データが算出される。また、上記条件１が
適用される場合には、周波数帯域グループ内において、
音圧値のピークとなる周波数帯域が時間的にどのように
推移するかに基づいて感性データが算出される。また、
上記条件１が適用される場合には、元のデジタルデータ
に基づき音に含まれるリズムの単位時間あたり拍数が求
められ、この単位時間あたり拍数に基づいて感性データ
が算出される。上記の「ビート間の時間間隔」は単位あ
たり拍数の逆数から求められる。なお、「快感」の感情
の優先順位は最も高い「１」であるため、上記の条件１
あるいは条件２のいずれかにあてはまる場合は、他の感
情を無視する。

【００４０】「驚き（Surprise）」に関する処理は、次
の通りである。上述した「快感」の条件に該当しない場
合は、下記の条件により「驚き」に該当するかどうかを
チェックする。

【００４１】［条件１］ 全音域の平均音圧値がＬ３以
下の音が無い状態から、低音部のピークの音圧値がＬ７
以上の音を最初に取得した場合は、「驚き」の感情パラ
メータのカウントを＋４し、その音が鳴りつづけた時間
を継続時間とする。ただし、下記の条件２を満たす場合
は無視をする。 ［条件２］ 全音域の平均音圧値がＬ２以下の音が無い
状態から、低音部のピークの音圧値がＬ７以上の音を最
初に取得した場合は、「驚き」の感情パラメータのカウ
ントを＋５し、その音が鳴りつづけた時間を継続時間と
する。

【００４２】［条件３］ 全音域の平均音圧値がＬ３以
下の音が無い状態から、低音部以外のピークの音圧値が
Ｌ７以上の音を最初に取得した場合は、「驚き」の感情
パラメータのカウントを＋１し、その音が鳴りつづけた
時間を継続時間とする。ただし、下記の条件４を満たす
場合は無視をする。 ［条件４］ 全音域の平均音圧値がＬ２以下の音が無い
状態から、低音部以外のピークの音圧値がＬ７以上の音
を最初に取得した場合は、「驚き」の感情パラメータの
カウントを＋２し、その音が鳴りつづけた時間を継続時
間とする。 ［条件５］ 最高音部の音が時間Ｔ４以上続いた場合、
または最高音部の音が存在し、かつ中高音部の平均音圧
値がＬ４以下の場合は、「驚き」の感情パラメータのカ
ウントを＋３し、その音が鳴りつづけた時間を継続時間
とする。 なお、「驚き」の感情の優先順位は「快感」のそれに次
ぐ「２」であるため、上記の条件１から５までのいずれ
かにあてはまる場合は、他の優先順位の低い感情を無視
する。

【００４３】「怯え（Fear）」に関する処理は、次の通
りである。上述した「快感」あるいは「驚き」のいずれ
の条件にも該当しない場合は、下記の条件により「怯
え」に該当するかどうかをチェックする。

【００４４】［条件１］ 中低音部から高音部までのい
ずれかの音圧値のピークが低音方向に時間的にＴ４以上
移動した場合は、「怯え」の感情パラメータのカウント
を＋１する。 ［条件２］ 中低音部から高音部までのいずれかの音圧
値のピークが低音方向に時間的にＴ４以上移動し、続け
て高音方向に時間的にＴ４以上移動した場合は、「怯
え」の感情パラメータのカウントを＋４する。 ［条件３］ 中低音部から高音部までのいずれかの音圧
値のピークが低音方向に移動中に高音方向に揺れた回数
Ｎが４２以上の場合、「怯え」の感情パラメータのカウ
ントを＋（Ｎ／１６）する。

【００４５】なお、「怯え」データに基づくアニメーシ
ョンの変化の始点は対象の音が鳴り始めてから時間Ｔ４
経過後とし、同じくアニメーションの変化の終点は対象
の音が鳴りやんでから時間Ｔ２経過後とする。なお、
「怯え」の感情の優先順位は「驚き」のそれに次ぐ
「３」であるため、上記の条件１から３までのいずれか
にあてはまる場合は、他の優先順位の低い感情を無視す
る。

【００４６】上述した「快感」、「驚き」、「怯え」の
いずれの条件にも該当しない場合は、下記の条件により
「嬉しい」または「悲しい」に該当するかどうかをチェ
ックする。

【００４７】「嬉しい（Happy）」に関する処理は、次
の通りである。 ［条件１］ ビートがある場合は、「嬉しい」の感情パ
ラメータのカウントを＋１する。 ［条件２］ ビート間の時間間隔がＴ７以下の場合は、
「嬉しい」の感情パラメータのカウントを＋１する。 ［条件３］ 高音部の平均音圧値がＬ４以上の場合は、
「嬉しい」の感情パラメータのカウントを＋１する。 ［条件４］ 上記の条件３を満たし、かつ、中低音部の
音圧値のピークが５つ以上あった場合は、「嬉しい」の
感情パラメータのカウントを＋２する。 ［条件５］ 上記の条件３を満たし、かつ、上記の条件
４をみたし、かつ、低音部の平均音圧値がＬ５以下の場
合は、「嬉しい」の感情パラメータのカウントを＋２を
する。 ［条件６］ 抽出された長調要素−短調要素の数値が２
以上の場合は、「嬉しい」の感情パラメータのカウント
を＋１する。

【００４８】なお、「嬉しい」データに基づくアニメー
ションの変化の始点の時間的な誤差は±Ｔ２とする。ま
た、同じくアニメーションの変化の終点の時間的な誤差
も±Ｔ２とする。

【００４９】「悲しい（Sad）」に関する処理は、次の
通りである。 ［条件１］ ビート間の時間間隔がＴ５以上である場合
＋は、「悲しい」の感情パラメータのカウントを＋１す
る。 ［条件２］ ビートがない場合は、「悲しい」の感情パ
ラメータのカウントを＋２する。 ［条件３］ 中低音部に時間Ｔ４以上続く音圧値のピー
クがあった場合は、「悲しい」の感情パラメータを＋１
し、音が鳴り続けている時間を継続時間とする。ただ
し、下記の条件４を満たす場合は無視をする。 ［条件４］ 中低音部に時間Ｔ６以上続く音圧値のピー
クがあった場合は、「悲しい」の感情パラメータを＋２
し、音が鳴り続けている時間を継続時間とする。

【００５０】［条件５］ 高音部に音圧値のピークが３
つ以上あった場合は、「悲しい」の感情パラメータを＋
１する。 ［条件６］ 全領域の平均音圧値がＬ３以上の音が無い
状態の場合は、「悲しい」の感情パラメータを＋１す
る。 ［条件７］ 全領域の平均音圧値がＬ３以上の音が時間
Ｔ２以上無い場合は、「悲しい」の感情パラメータを＋
１する。 ［条件８］ 中高音部と高音部の平均音圧値がＬ３以下
であり、中低音部の音のみを取得した場合は、「悲し
い」の感情パラメータを＋２する。 ［条件９］ 短調要素−長調要素の数値が２以上の場合
は、「悲しい」の感情パラメータを＋１する。

【００５１】なお、「悲しい」データに基づくアニメー
ションの変化の始点の時間的な誤差は±Ｔ２とする。ま
た、同じくアニメーションの変化の終点の時間的な誤差
も±Ｔ２とする。

【００５２】以上述べたように、「快感」、「驚き」、
「怯え」、「嬉しい」、「悲しい」の感情について、そ
れぞれ定義された条件でのチェックが行われる。そし
て、優先順位の高い感情から順に、「快感」、「驚
き」、「怯え」のいずれかのカウント結果が１以上であ
る場合に、その感情が感情種類として判定される。ま
た、そのときのカウント値が感情レベルとされる。但
し、カウントが５を超える場合は、感情レベルを５とす
る。

【００５３】なお、感情種類が「怯え」で、かつ同一の
感情レベルである状態が時間Ｔ５以上継続した場合に
は、時間Ｔ５ごとに再チェックを行う。また、感情種類
が「快感」のまま、感情レベルが２から１へ移行した場
合は、以後の感情レベルも２とみなし、感情レベル２を
継続させるものとする。

【００５４】「快感」、「驚き」、「怯え」のカウント
値がいずれも０である場合で、「嬉しい」あるいは「悲
しい」のカウント値の少なくとも一方が１以上である場
合には、次に述べる方法で「嬉しい」および「悲しい」
のカウント値を比較する。まず、前回の「嬉しい」のカ
ウント値と現在の「嬉しい」のカウント値とから、これ
らの平均値を求める。次に、前回の「悲しい」のカウン
ト値と現在の「悲しい」のカウント値とから、これらの
平均値を求める。そして、「嬉しい」の平均値と「悲し
い」の平均値とを比較する。

【００５５】上記の「嬉しい」の平均カウント値のほう
が大きい場合には、感情種類を「嬉しい」とするととも
に、「嬉しい」の平均カウント値から「悲しい」の平均
カウント値を引いた値を感情レベルとする。逆に、「悲
しい」の平均カウント値のほうが大きい場合には、感情
種類を「悲しい」とするとともに、「悲しい」の平均カ
ウント値から「嬉しい」の平均カウント値を引いた値を
感情レベルとする。「嬉しい」の平均カウント値と「悲
しい」の平均カウント値とが等しい場合には、前回のカ
ウント値同士を比較し、大きい方のカウント値を持つほ
うを感情種類として選択するとともに、この場合の感情
レベルを１とする。

【００５６】但し、「嬉しい」と「悲しい」のカウント
値を用いた判定に関して、上記の規則に関わらず、次の
２つの例外パターンに該当する場合には、これを適用す
るものとする。第１の例外パターンは、「嬉しい」のカ
ウント値が５で、かつ、「悲しい」のカウント値が５で
ある場合であり、このときは、感情種類を「快感」と
し、感情レベルを２とする。第２の例外パターンは、
「怯え」のカウント値が３以上で、かつ、「悲しい」の
カウント値が４以上の場合であり、このときは、感情種
類を「悲しい」とし、感情レベルを５とする。

【００５７】なお、上記５種類のいずれの感情について
も、カウント値の結果がすべて０である場合には、感情
種類は「無表情」であると判定される。

【００５８】次に、補間フラグに関する判定方法を説明
する。補間フラグのデフォルト値は１（ＯＮ）である
が、次の２通りのいずれかに該当する場合に限り、補間
フラグを０（ＯＦＦ）とする。第１に、同じ感情種類が
時間Ｔ６以上継続した場合には補間フラグを０とする。
第２に、前回の感情種類が「嬉しい」または「悲しい」
であり、そこから感情種類「快感」に遷移する場合には
補間フラグを０とする。

【００５９】上述した感情パラメータの算出および感情
の判定等の処理において、時間Ｔ１〜Ｔ６については、
Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５＜Ｔ６の関係を満たす適
切な値を用いることとする。なお、Ｔ１はほぼ数百ミリ
秒程度、Ｔ６はほぼ数千ミリ秒程度である。また、音圧
値レベルＬ１〜Ｌ７については、Ｌ１＜Ｌ２＜Ｌ３＜Ｌ
４＜Ｌ５＜Ｌ６＜Ｌ７の関係を満たす適切な値を用いる
こととする。一例としては、Ｌ１は−５０ｄＢ（デシベ
ル）程度、Ｌ７は−２０ｄＢ程度の値を用いる。

【００６０】次に、図１に示したリズム解析部１４にお
ける処理について説明する。リズム解析部１４には、伸
長部によって伸長されたデータが入力される。この入力
データは、前述のように、周波数領域ごとの音圧値情報
を時系列的に持つものである。このような入力データを
基に、リズム解析部１４は音楽のリズムを解析し、その
音楽のｂｐｍ値（beats per minute，１分あたりビート
数，単位時間あたり拍数）を算出して出力する。

【００６１】リズム解析の処理においては、次の事項を
前提とする。第１に、少なくとも一定時間以上は曲のリ
ズムは一定のｂｐｍ値で正確に刻まれることとする。第
２に、１拍あたり２回、ノイズ系の音が含まれることと
する。例えば、曲が４分の４拍子である場合には、４拍
の間に８回ノイズ系の音が含まれる。ここで、ノイズ系
の音とは、例えばシンバル等の音である。ノイズ系の音
は、ほぼ全周波数帯域に渡って音圧変化があることが特
徴である。従って、各周波数帯域ごとにフレーム間の音
圧変化量を求め、全周波数にわたって連続的に音圧変化
量が所定の閾値以上となる場合にこれをノイズ系の音と
して検出できる。

【００６２】そして、ノイズ系の音はリズムに応じて所
定のタイミングの箇所に多く集中するという傾向がある
ことから、このノイズ系の音を検出し、この検出間隔を
フレーム（１フレームは約０．０２６１秒）単位で求め
る。この段階では、検出される間隔は、一定ではなく、
フレーム数ごとの度数の分布として得られる。得られた
分布を基に、補正を加えて、拍の間隔を決定することに
よってｂｐｍ値を求めることとする。つまり、前記第２
の前提によると１拍あたり２回のノイズ系の音が含まれ
るため、求められたノイズ間隔Ｆ（フレーム単位）を用
いると、ｂｐｍ値は、次の式で得られる。すなわち、 ｂｐｍ値＝60 [秒/分] / (2*F [フレーム] *0.0261 [秒
/フレーム])

【００６３】図３は、上述した音楽再生装置におけるデ
ータの流れを示す概略図である。図示するように、音声
データ５１を基に、これを各周波数帯域に分解する処理
（６１）を行うことによって、分解された音声のデータ
５２が得られる。そしてこのデータを基に、感性データ
を算出する処理（６２）を行うことによって感性データ
５３が得られる。そして、この感性データ５３に基づい
て、ビジュアルコンテンツを生成する処理（６３）を行
うことによって、例えばアニメーションなどのビジュア
ルコンテンツデータ５４が生成される。

【００６４】従来においても、周波数帯域ごとの音声デ
ータに応じて光信号を出力するスペクトラム解析装置は
存在した。しかしながら、本実施形態の音楽再生装置
は、周波数帯域ごとの音声データから一旦感性データを
生成し、この感性データに基づいてビジュアルデータを
生成するとことにより、再生される音楽とそれを聴く人
間の感性にマッチした信号あるいはコンテンツを生成で
きるというという効果が得られる。このような効果は、
従来技術では実現できなかったものである。

【００６５】次に、本発明の他の実施形態について説明
する。図１に示した構成では、予め記憶媒体等に記憶さ
れたＭＰ３データを基に感性データを算出して蓄積する
こととしたが、外部から入力されるオーディオ信号を基
に、同様に感性データを算出するようにしても良い。図
４は、入力されるアナログオーディオ信号を基に感性デ
ータを算出して蓄積する感性データ算出装置の構成を示
すブロック図である。図４において、符号７はＡ／Ｄ
（アナログ／デジタル）変換部であり、１ａはスペクト
ラム解析部である。スペクトラム解析部１ａは、フーリ
エ変換部１７と、感性データ算出部１２とを備えてい
る。

【００６６】Ａ／Ｄ変換部７は、入力されるアナログオ
ーディオ信号を所定のサンプリング周波数による時系列
的なデジタル音圧値データ（Ｃ）に変換する。そして、
このデジタル音圧値データ（Ｃ）は、フーリエ変換部１
７によって、所定のフレーム長のフレームごと、かつ周
波数領域ごとの音圧値データに変換される。感性データ
算出部１２の機能は図１に示したものと同様のものであ
り、前述の方法と同様の方法で感性データを算出する。

【００６７】図１および図４に示した装置では、音楽な
どを表わす聴覚データを基に感性データを算出すること
としていたが、聴覚以外の感覚に関するデータを基に感
性データを算出するようにしても良い。図５は、より一
般的な感性データ算出装置の概略構成を示すブロック図
である。図５において、符号１０１は聴覚データ、１０
２は視覚データ、１０３は触覚データ、１０４は味覚デ
ータ、１０５は嗅覚データである。これらのデータ（１
０１〜１０５）は、各感覚の特性に応じて適切な方法で
デジタル化されたデータである。また、これらのデータ
（１０１〜１０５）は、時系列的データとして表わされ
る場合がある。

【００６８】１１０は感性データ算出部であり、この感
性データ算出部１１０は、聴覚データ１０１、視覚デー
タ１０２、触覚データ１０３、味覚データ１０４、嗅覚
データ１０５の全部または一部を基に、予め定められた
処理手順に従って感性データ１２０を算出する。なお、
感性データ１２０もまた、時系列的データとして表わさ
れる場合がある。

【００６９】以上、人間の感覚に関するデータに基づい
て感性データを算出する方法および装置について述べた
が、これらの応用としては、次のようなものが考えられ
る。図１に示した音楽再生装置は、音楽とアニメーショ
ンとを同時に再生する装置として利用できる。また、こ
の機能をコンピュータプログラムとして実現することに
より、パソコンや、ＰＤＡ（Personal Digital Assista
nt）や、携帯通信端末などで稼動する音楽再生装置を実
現することができる。このとき、聴覚データ（音楽）等
は、予め記憶装置に蓄えておくだけでなく、インターネ
ットや固定系公衆電話網や携帯電話網などといった通信
を用いて配信するようにしても良い。

【００７０】また、カラオケ演奏装置などにおいて、演
奏される音楽を解析して感性データを算出することによ
り、その音楽の感性に応じた情報を表示装置に表示する
ようにしても良い。

【００７１】また、ロボット（例えば、いわゆるペット
型ロボットや、エンターテイメントロボットなど）にお
いて、外部環境から受ける刺激（音や光や振動など）に
基づいて感性データを算出し、この感性データに応じて
ロボットの動作や表情などを制御するようにしても良
い。

【００７２】また、デジタル音楽コンテンツを基に算出
された感性データによって、元の音楽を識別するように
しても良い。これにより、ネットワークなどを介して流
通しているデジタル音楽コンテンツがどの曲のものであ
るかを容易に判別することが可能になり、コンテンツの
不正コピーの検出などに利用できる。この方法の利点
は、元の音データよりも算出される感性データのほうが
圧倒的にデータサイズが小さく、このように小さいサイ
ズのデータ同士の比較で済むことである。なお、発明者
らの経験によると、感性データは元の音データに比べる
と情報量としては圧倒的に少ないが、曲を識別するのに
充分な情報を含むものであることがわかっている。つま
り、異なる曲同士で感性データが全く一致したケースは
これまでになく、そのような状況が起こる可能性は非常
に小さいと言える。

【００７３】以上、図面を参照してこの発明の実施形態
を詳述してきたが、具体的な構成はこれらの実施形態に
限られるものではなく、この発明の要旨を逸脱しない範
囲の設計等も含まれる。

【００７４】

【発明の効果】以上説明したように、この発明によれ
ば、分割された周波数帯域ごとの音圧値として音を表現
したデジタルデータを入力し、前記周波数帯域ごとの音
圧値の分布を解析することにより、前記音に関連する感
性データを算出するため、入力される音に関連する感性
のデータを自動的に生成することができ、いちいち人が
判断してその判断結果を入力する必要がない。

【００７５】また、この発明によれば、周波数帯域全体
を、１０個以下の周波数帯域グループに分割し、この周
波数帯域グループごとの平均音圧値に基づいて感性デー
タを算出するため、計算処理を単純化して、比較的少な
い計算量での算出が可能である。

【００７６】また、この発明によれば、音に含まれるリ
ズムの単位時間あたり拍数を求め、この単位時間あたり
拍数に基づいて感性データを算出する。このため、人間
の感性に近い感性データを、比較的単純な処理により得
ることができる。

【００７７】また、この発明によれば、楽曲を表現した
デジタルデータを基に、前述の感性データ算出方法によ
って感性データを算出し、算出された感性データに基づ
いてビジュアルコンテンツを生成し、前記楽曲の再生と
前記ビジュアルコンテンツとの表示を同期的に行うた
め、音の感性にマッチしたビジュアルコンテンツを同時
に表示でき、再生時の表現力を増すことが可能になる。

【００７８】また、この発明によれば、楽曲を表現した
デジタルデータを基に、前述の感性データ算出方法によ
って感性データを算出し、算出された感性データ同士を
比較することにより楽曲を識別するため、より小さいデ
ータ量で楽曲の識別を行うことが可能となり、デジタル
コンテンツの不正コピーの検出などを効率的に行うこと
ができる。

【図面の簡単な説明】

【図１】 この発明の一実施形態による感性データ算出
方法を応用した音楽再生装置の構成を示すブロック図で
ある。

【図２】 同実施形態による音楽再生装置が備える感情
解析部による解析処理の手順を示すフローチャートであ
る。

【図３】 同実施形態による音楽再生装置におけるデー
タの流れを示す概略図である。

【図４】 この発明の他の実施形態による感性データ算
出装置の構成を示すブロック図である。

【図５】 この発明の他の実施形態であり、聴覚やその
他の感覚に関するデータを基に感性データを算出する感
性データ算出装置の概略構成を示すブロック図である。

【符号の説明】

１ スペクトラム解析部 ２ 感性データ蓄積部 ３ アニメーション画像生成部 ４ ＭＰ３データ記憶部 ５ ＭＰ３デコーダ部 ６ Ｄ／Ａ変換部 ７ Ａ／Ｄ変換部 １１ 伸長部 １２ 感性データ算出部 １３ 感情解析部 １４ リズム解析部 １７ フーリエ変換部 １０１ 聴覚データ １０２ 視覚データ １０３ 触覚データ １０４ 味覚データ １０５ 嗅覚データ １１０ 感性データ算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 多湖 正明 神奈川県横浜市港北区新横浜２−15−12 共立新横浜ビル オープンインタフェース 株式会社内 (72)発明者 鈴木 一匡 神奈川県横浜市港北区新横浜２−15−12 共立新横浜ビル オープンインタフェース 株式会社内 Ｆターム(参考） 5B050 AA09 BA08 EA24 FA02 FA10 5D015 HH21

Claims (13)

【特許請求の範囲】
1. 【請求項１】 分割された周波数帯域ごとの音圧値とし
   て音を表現したデジタルデータを入力し、前記周波数帯
   域ごとの音圧値の分布を解析することにより、前記音に
   関連する感性データを算出することを特徴とする感性デ
   ータ算出方法。
2. 【請求項２】 前記周波数帯域全体を、１０個以下の周
   波数帯域グループに分割し、この周波数帯域グループご
   との平均音圧値に基づいて前記感性データを算出するこ
   とを特徴とする請求項１に記載の感性データ算出方法。
3. 【請求項３】 前記周波数帯域ごとの音圧値の分布の時
   間的な推移に基づいて前記感性データを算出することを
   特徴とする請求項１又は２に記載の感性データ算出方
   法。
4. 【請求項４】 前記周波数帯域グループ内において、音
   圧値のピークとなる周波数帯域が時間的にどのように推
   移するかに基づいて前記感性データを算出することを特
   徴とする請求項３に記載の感性データ算出方法。
5. 【請求項５】 前記デジタルデータに基づき前記音に含
   まれるリズムの単位時間あたり拍数を求め、この単位時
   間あたり拍数に基づいて前記感性データを算出すること
   を特徴とする請求項１から４までのいずれかに記載の感
   性データ算出方法。
6. 【請求項６】 前記周波数帯域ごとの音圧値の分布に基
   づき、「快感」、「驚き」、「怯え」、「嬉しい」、
   「悲しい」の５種類の感情パラメータ値を算出し、これ
   らの感情パラメータ値に基づいて感性データを算出する
   ことを特徴とする請求項１から５までのいずれかに記載
   の感性データ算出方法。
7. 【請求項７】 分割された周波数帯域ごとの音圧値とし
   て楽曲を表現したデジタルデータを基に、請求項１から
   ６までのいずれかに記載の感性データ算出方法によって
   感性データを算出し、算出された感性データに基づいて
   ビジュアルコンテンツを生成し、前記楽曲の再生と前記
   ビジュアルコンテンツとの表示を同期的に行うことを特
   徴とする音楽再生方法。
8. 【請求項８】 分割された周波数帯域ごとの音圧値とし
   て楽曲を表現したデジタルデータを基に、請求項１から
   ６までのいずれかに記載の感性データ算出方法によって
   感性データを算出し、算出された感性データ同士を比較
   することにより前記楽曲を識別することを特徴とする楽
   曲識別方法。
9. 【請求項９】 分割された周波数帯域ごとの音圧値とし
   て音を表現したデジタルデータを入力し、前記周波数帯
   域ごとの音圧値の分布を解析することにより、前記音に
   関連する感性データを算出することを特徴とする感性デ
   ータ算出装置。
10. 【請求項１０】 請求項９に記載の感性データ算出装置
    であって、 前記デジタルデータに基づき前記音に含まれるリズムの
    単位時間あたり拍数を求めるリズム解析部と、 前記周波数帯域全体を１０個以下の周波数帯域グループ
    に分割し、この周波数帯域グループごとの音圧値と、前
    記リズム解析部によって求められた単位時間あたり拍数
    とを基に感性データを算出する感情解析部とを備えるこ
    とを特徴とする感性データ算出装置。
11. 【請求項１１】 分割された周波数帯域ごとの音圧値と
    して音を表現したデジタルデータを記憶するデータ記憶
    部と、 前記データ記憶部から読み出された前記デジタルデータ
    を基に、前記周波数帯域ごとの音圧値の分布を解析する
    ことにより前記音に関連する感性データを算出する感性
    データ算出部と、 前記感性データ算出部によって算出された前記感性デー
    タに基づきビジュアルコンテンツを生成するビジュアル
    コンテンツ生成部と、 前記デジタルデータをデコードしてオーディオ信号を出
    力するデコーダ部とを備えるとともに、 前記ビジュアルコンテンツ生成部によるビジュアルコン
    テンツの生成と、前記デコーダ部によるオーディオ信号
    の出力とを同期的に行うことを特徴とする音楽再生装
    置。
12. 【請求項１２】 分割された周波数帯域ごとの音圧値と
    して音を表現したデジタルデータを入力し、前記周波数
    帯域ごとの音圧値の分布を解析することにより、前記音
    に関連する感性データを算出する処理をコンピュータに
    実行させるプログラム。
13. 【請求項１３】 分割された周波数帯域ごとの音圧値と
    して音を表現したデジタルデータを入力し、前記周波数
    帯域ごとの音圧値の分布を解析することにより、前記音
    に関連する感性データを算出する処理をコンピュータに
    実行させるプログラムを記録したコンピュータ読み取り
    可能な記録媒体。