JP2002091482A - 感情検出方法及び感情検出装置ならびに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は被験者である人間の感情をより正確
に検出可能な感情検出方法及び感情検出装置ならびに記
録媒体を提供することを目的とする。 【解決手段】 被験者の感情を検出するための感情検出
方法であって、音声信号を入力し、入力した音声信号か
ら音声の強度，音声の出現速度を表すテンポ及び音声の
各単語内の強度変化パターンを表す抑揚をそれぞれ検出
し、検出された音声の強度，音声のテンポ及び音声の抑
揚のそれぞれについて変化量を求め、求めた変化量に基
づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの
感情状態を表す信号を生成することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間の感情を検出
するために用いる感情検出方法及び感情検出装置ならび
に記録媒体に関する。本発明は、医療分野における感情
検出にも利用できるし、人工知能や人工感性の一部分と
して様々なシステムに利用することもできる。

【０００２】

【従来の技術】本発明に関連のある従来技術は、例えば
特開平５−１２０２３号公報，特開平９−２２２９６号
公報及び特開平１１−１１９７９１号公報に開示されて
いる。特開平５−１２０２３号公報においては、音声の
特徴量として、音声の継続時間，音声のフォルマント周
波数及び音声の周波数毎の強度をそれぞれ検出してい
る。また、各々の特徴量について基準信号とのずれを検
出し、検出したずれ量からファジー推論により感情の検
出を行うことを開示している。

【０００３】特開平９−２２２９６号公報においては、
音声の特徴量として、音声の発生速度（単位時間あたり
のモーラ数），音声ピッチ周波数，音量及び音声スペク
トルを検出している。また、検出した音声の特徴量と、
ＨＭＭ（隠れマルコフモデル：Hidden Markov Model）
の統計処理を行った結果とを用いて感情を検出すること
を開示している。

【０００４】特開平１１−１１９７９１号公報において
は、ＨＭＭを用いて音素スペクトルの遷移状態の確率に
基づいて感情を検出することを開示している。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
感情検出方法では感情の検出精度が低く、特定の限定さ
れた言葉について感情を検出できたとしても、実際の人
間の感情を正確に検出できるものではない。従って、例
えば比較的単純なゲーム装置の限定的な用途においての
み感情検出方法が実用化されているのが実情である。

【０００６】本発明は、被験者である人間の感情をより
正確に検出可能な感情検出方法及び感情検出装置ならび
に記録媒体を提供することを目的とする。

【０００７】

【課題を解決するための手段】請求項１は、被験者の感
情を検出するための感情検出方法であって、音声信号を
入力し、入力した音声信号から音声の強度，音声の出現
速度を表すテンポ及び音声の各単語内の強度変化パター
ンを表す抑揚をそれぞれ検出し、検出された音声の強
度，音声のテンポ及び音声の抑揚のそれぞれについて変
化量を求め、求めた変化量に基づいて、少なくとも怒
り，悲しみ及び喜びのそれぞれの感情状態を表す信号を
生成することを特徴とする。

【０００８】請求項１においては、被験者から入力され
る音声の強度，テンポ及び抑揚の各々の変化量を怒り，
悲しみ及び喜びのそれぞれの感情状態に対応付けて感情
を検出している。このような方法を用いることにより、
従来よりも正確に感情を検出することが可能である。請
求項２は、被験者の感情を検出するための感情検出装置
であって、音声信号を入力する音声入力手段と、前記音
声入力手段が入力した音声信号から音声の強度を検出す
る強度検出手段と、前記音声入力手段が入力した音声信
号から音声の出現速度をテンポとして検出するテンポ検
出手段と、前記音声入力手段が入力した音声信号から音
声の単語内の強度変化パターンを表す抑揚を検出する抑
揚検出手段と、前記強度検出手段が検出した音声の強
度，前記テンポ検出手段が検出した音声のテンポ及び前
記抑揚検出手段が検出した音声の抑揚のそれぞれについ
て変化量を求める変化量検出手段と、前記変化量検出手
段が検出した変化量に基づいて、少なくとも怒り，悲し
み及び喜びのそれぞれの感情状態を表す信号を出力する
感情検出手段とを設けたことを特徴とする。

【０００９】請求項２の感情検出装置においては、音声
入力手段，強度検出手段，テンポ検出手段，抑揚検出手
段，変化量検出手段及び感情検出手段を設けることによ
り、請求項１の感情検出方法を実施することができる。
請求項３は、請求項２の感情検出装置において、前記抑
揚検出手段に、単語毎に分離されて入力される音声信号
から特定の周波数成分を抽出するバンドパスフィルタ手
段と、前記バンドパスフィルタ手段により抽出された信
号のパワースペクトルをその強度に基づいて複数の領域
に分離する領域分離手段と、前記領域分離手段により分
離された複数の領域の各々の中心位置の時間間隔に基づ
いて抑揚の値を算出する抑揚計算手段とを設けたことを
特徴とする。

【００１０】バンドパスフィルタ手段は、単語毎に分離
されて入力される音声信号から特定の周波数成分を抽出
する。領域分離手段は、検出されたパワースペクトルを
その強度に基づいて複数の領域に分離する。抑揚計算手
段は、前記領域分離手段により分離された複数の領域の
各々の中心位置の時間間隔に基づいて抑揚の値を算出す
る。

【００１１】請求項３においては、音声の特定の周波数
成分に関する単語内のエネルギー分布パターンを複数の
領域の間隔を表す時間の値として検出し、その時間の長
さを抑揚として利用している。請求項４は、請求項２の
感情検出装置において、被験者の少なくとも顔の画像情
報を入力する撮像手段と、前記撮像手段が入力した画像
情報から顔面各部に関する位置情報を検出する画像認識
手段と、顔面各部の特徴量の基準情報を保持する画像基
準情報保持手段と、前記画像認識手段の検出した位置情
報と前記画像基準情報保持手段の保持する基準情報とに
基づいて画像特徴量を検出する画像特徴量検出手段とを
更に設けるとともに、前記感情検出手段が、前記画像特
徴量検出手段の検出した画像特徴量の変化に応じて感情
状態を推定することを特徴とする。

【００１２】請求項４においては、音声だけでなく、被
験者の顔の表情に基づいて感情状態を推定している。一
般に、人間の感情状態はその人の顔の表情に反映される
ので、顔の表情を検出することにより感情状態を把握す
ることができる。そこで、請求項４では、前記感情検出
手段は画像特徴量検出手段の検出した画像特徴量の変化
に基づいて感情状態を推定している。

【００１３】請求項５は、請求項２の感情検出装置にお
いて、前記感情検出手段の検出した感情状態の情報を逐
次入力して蓄積する感情情報蓄積手段と、前記感情情報
蓄積手段に蓄積された過去の感情状態の情報のうち、記
憶時点から所定の時間が経過した情報を削除するととも
に、削除対象の情報のうち、少なくとも感情変化が所定
以上に大きい情報及び予め定めた変化パターンに適合す
る情報については削除対象から除外する忘却処理手段と
を更に設けたことを特徴とする。

【００１４】請求項５においては、検出された過去の感
情状態の情報を感情情報蓄積手段に蓄積しておくことが
できる。また、検出してから長い時間の経過した古い情
報については感情情報蓄積手段から自動的に削除される
ので、感情情報蓄積手段に必要とされる記憶容量を減ら
すことができる。

【００１５】但し、感情変化が所定以上に大きい情報
や、予め定めた変化パターンに適合する情報のように特
徴的な情報については削除対象から自動的に除外され
る。このため、特徴的な情報は古くなってもそのまま感
情情報蓄積手段に保持される。従って、人間の記憶と同
じように、後で役に立つ印象的な情報については古くな
っても感情情報蓄積手段から読み出して再生することが
できる。

【００１６】請求項６は、請求項５の感情検出装置にお
いて、被験者の発した音声もしくは被験者の入力した文
字の情報を処理して文法解析を行い文章の意味を表す発
言情報を生成する文章認識手段と、前記文章認識手段の
生成した発言情報を、前記感情状態の情報と同期した状
態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に
設けたことを特徴とする。

【００１７】文章認識手段は、被験者の発した音声もし
くは被験者がキーボードなどを用いて入力した文字の情
報を処理して文法解析を行い文章の意味を表す発言情報
を生成する。文法解析により、例えば「５Ｗ３Ｈ」、す
なわち「誰が」，「何を」，「いつ」，「どこで」，
「なぜ」，「どうやって」，「どのくらい」，「いく
ら」を表す発言情報を得ることができる。

【００１８】蓄積制御手段は、前記文章認識手段の生成
した発言情報を、前記感情状態の情報と同期した状態で
感情情報蓄積手段に蓄積する。請求項６においては、感
情情報蓄積手段を参照することにより、過去の任意の時
点における感情情報だけでなく、そのときの状況を表す
発言情報を取り出すことができる。

【００１９】感情情報蓄積手段に保持された情報につい
ては、様々な用途で利用することができる。例えば、感
情検出装置自体の感情推定機能が不正確であった場合に
は、感情情報蓄積手段に保持された過去の検出結果に基
づいて感情推定に利用されるデータベースを修正するこ
とができる。

【００２０】請求項７は、請求項２の感情検出装置にお
いて、検出された感情状態に基づいて基準無音時間を決
定する無音時間決定手段と、前記無音時間決定手段の決
定した基準無音時間を利用して、音声の文章の区切りを
検出する文章区切り検出手段とを更に設けたことを特徴
とする。音声の認識や感情の検出などを行う場合には、
文章毎の区切りを検出してそれぞれの文章を抽出する必
要がある。一般的には、文章と文章との区切りには無音
区間が存在するので、無音区間が現れたタイミングで複
数の文章を分離すればよい。

【００２１】しかしながら、無音区間の長さは一定では
ない。特に、話者の感情の状態に対応して無音区間の長
さは変化する。このため、無音区間の判定のために一定
の閾値を割り当てた場合には、文章の区切りの検出に失
敗する可能性が高くなる。請求項７においては、例えば
直前に検出された感情状態を利用して基準無音時間を決
定し、この基準無音時間を用いて音声の文章の区切りを
検出するので、話者の感情が変化した場合であっても正
しく文章の区切りを検出できる。

【００２２】請求項８は、被験者の感情を検出するため
の計算機で実行可能な感情検出プログラムを記録した記
録媒体であって、前記感情検出プログラムに音声信号を
入力する手順と、入力した音声信号から音声の強度，音
声の出現速度を表すテンポ及び音声の各単語内の強度変
化パターンを表す抑揚をそれぞれ検出する手順と、検出
された音声の強度，音声のテンポ及び音声の抑揚のそれ
ぞれについて変化量を求める手順と、求めた変化量に基
づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの
感情状態を表す信号を生成する手順とを設けたことを特
徴とする。

【００２３】請求項８の記録媒体に記録された感情検出
プログラムを計算機を用いて実行することにより、請求
項１の感情検出方法を実施することができる。

【００２４】

【発明の実施の形態】本発明の感情検出方法及び感情検
出装置の１つの実施の形態について、図１〜図６を参照
して説明する。この形態は全ての請求項に対応する。

【００２５】図１は、この形態の感情検出装置の構成を
示すブロック図である。図２は抑揚検出部の構成を示す
ブロック図である。図３は感情の状態の変化と音声の強
度，テンポ及び抑揚との関係を示すグラフである。図４
は抑揚検出部における音声信号処理の過程を示すタイム
チャートである。図５は忘却処理部の動作を示すフロー
チャートである。図６は感情感性記憶ＤＢに記憶された
情報の構成例を示す模式図である。

【００２６】この形態では、請求項２の音声入力手段，
強度検出手段，テンポ検出手段，抑揚検出手段，変化量
検出手段及び感情検出手段は、それぞれマイク１１，強
度検出部１７，テンポ検出部１８，抑揚検出部１９，感
情変化検出部２２及び音声感情検出部２３に対応する。
また、請求項３のバンドパスフィルタ手段，領域分離手
段及び抑揚計算手段は、それぞれバンドパスフィルタ５
１，比較部５３及び領域間隔検出部５５に対応する。請
求項４の撮像手段，画像認識手段，画像基準情報保持手
段，画像特徴量検出手段及び感情検出手段は、それぞれ
テレビカメラ３１，画像認識部３２，顔パターンＤＢ３
３，顔感情検出部３４及び顔感情検出部３４に対応す
る。

【００２７】更に、請求項５の感情情報蓄積手段及び忘
却処理手段はそれぞれ感情感性記憶ＤＢ４１及び忘却処
理部４２に対応する。請求項６の文章認識手段及び蓄積
制御手段は、それぞれ文章認識部２６及び同期処理部４
３に対応する。請求項７の無音時間決定手段及び文章区
切り検出手段は文章検出部１６に対応する。図１を参照
すると、この感情検出装置にはマイク１１，Ａ／Ｄ変換
器１２，信号処理部１３，音声認識部２０，強度検出部
１７，テンポ検出部１８，抑揚検出部１９，一時記憶部
２１，感情変化検出部２２，音声感情検出部２３，感情
パターンＤＢ（データベースの略：以下同様）２４，キ
ーボード２５，文章認識部２６，テレビカメラ３１，画
像認識部３２，顔パターンＤＢ３３，顔感情検出部３
４，文字認識部３９，感情感性記憶ＤＢ４１，忘却処理
部４２，同期処理部４３，人間性情報ＤＢ４４，個人情
報ＤＢ４５，専門情報ＤＢ４６及び感情認識部６０が備
わっている。

【００２８】また、音声認識部２０には信号処理部１
３，音素検出部１４，単語検出部１５及び文章検出部１
６が設けてある。音声認識部２０には、市販の音声認識
（事前言語）デバイスの機能も含まれている。図１にお
いて、音声認識部２０，強度検出部１７，テンポ検出部
１８，抑揚検出部１９，一時記憶部２１，感情変化検出
部２２及び音声感情検出部２３は、音声から感情を検出
するための回路である。

【００２９】この感情検出装置は、感情の検出対象とな
る相手の人間の情報を読み取るための入力手段として、
マイク１１，キーボード２５及びテレビカメラ３１を備
えている。すなわち、マイク１１から入力される音声，
キーボード２５から入力される文字情報及びテレビカメ
ラ３１から入力される顔の表情などの情報を利用して相
手の人間の感情を検出する。

【００３０】なお、実際にはマイク１１から入力される
音声だけに基づいて感情を検出することも可能であり、
キーボード２５から入力される文字情報だけに基づいて
感情を検出することも可能であり、テレビカメラ３１か
ら入力される顔の表情だけに基づいて相手の人間の感情
を検出することも可能である。しかし、複数の情報源か
ら得られる情報を総合的に判断した方が感情の検出精度
を高めるうえで効果的である。

【００３１】まず、音声に関する処理について説明す
る。マイク１１から入力された音声信号は、Ａ／Ｄ変換
器１２でサンプリングされ、ディジタル信号に変換され
る。Ａ／Ｄ変換器１２の出力に得られる音声のディジタ
ル信号は、音声認識部２０に入力される。

【００３２】信号処理部１３は、音声の強度検出に必要
な周波数成分を抽出する。強度検出部１７は、信号処理
部１３の抽出した信号からその強度を検出する。例え
ば、音声信号の振幅の大きさを平均化した結果を強度と
して利用することができる。音声の強度を検出するため
の平均化の周期については、例えば１０秒程度に定め
る。但し、１０秒以内であっても文章毎の区切りを検出
した場合には、文章の最初から区切りを検出した時点ま
での平均化を行う。すなわち、音声の文章毎にそれぞれ
の強度を検出する。

【００３３】音声認識部２０に備わった音素検出部１４
は、入力される音声の音素毎の区切りを検出する。例え
ば、「今日はいい天気ですね」の文章が音声で入力され
た場合には、「きょ／う／は／い／い／て／ん／き／で
／す／ね」のように音素毎の区切りを検出する。また、
音声認識部２０に備わった単語検出部１５は、入力され
る音声の単語毎の区切りを検出する。例えば、「今日は
いい天気ですね」の文章が音声で入力された場合には、
「きょう／は／いい／てんき／ですね」のように単語毎
の区切りを検出する。

【００３４】また、音声認識部２０に備わった文章検出
部１６は、入力される音声の文章毎の区切りを検出す
る。特定の長さ以上の無音状態を検出した場合に、文章
毎の区切りが現れたものとみなす。無音状態の長さの閾
値には、（０．１〜２）秒程度の値が割り当てられる。
また、この閾値は一定ではなく、直前に検出された感情
の状態を反映するように自動的に変更される。

【００３５】テンポ検出部１８は、音素検出部１４から
出力される音素毎の区切りの信号を入力して、単位時間
に現れた音素の数をテンポとして検出する。テンポの検
出周期については、例えば１０秒程度の時間が割り当て
られる。しかし、文章の区切りを検出した場合には、１
０秒以内であってもその時点までで音素数のカウントを
中止してテンポの値を計算する。つまり、文章毎にテン
ポが検出される。

【００３６】抑揚検出部１９には、単語検出部１５が区
切りを検出した単語毎に区分されて、音声信号が入力さ
れる。抑揚検出部１９は、入力される音声信号から各単
語内及び文章検出部１６における文章毎の区切り内の音
声の強度変化パターンを表す抑揚を検出する。これによ
り、抑揚検出部１９は区切りの中での特徴的な強度パタ
ーンを検出する。

【００３７】抑揚検出部１９の内部には、図２に示すよ
うに、バンドパスフィルタ５１，絶対値変換部５２，比
較部５３，領域中心検出部５４及び領域間隔検出部５５
が備わっている。また、抑揚検出部１９における各部の
信号ＳＧ１，ＳＧ２，ＳＧ３，ＳＧ４の波形の例が図４
に示されている。なお、図４における各信号の縦軸は振
幅又は強度を表している。また、図４の例では音声から
取り出された１つの単語の長さが約１．２秒になってい
る。

【００３８】バンドパスフィルタ５１は、入力された信
号ＳＧ１の中から抑揚の検出に必要な周波数成分だけを
抽出する。この例では、８００Ｈｚ〜１２００Ｈｚの範
囲内の周波数成分だけがバンドパスフィルタ５１の出力
に信号ＳＧ２として現れる。図４を参照すると、単語内
の抑揚による強度変化のパターンが信号ＳＧ２に現れて
いることが分かる。

【００３９】信号の計算処理を容易にするために、抑揚
検出部１９には絶対値変換部５２を設けてある。絶対値
変換部５２は、入力される信号の振幅をその絶対値に変
換する。従って、絶対値変換部５２の出力には図４に示
す信号ＳＧ３が現れる。比較部５３は、信号ＳＧ３の大
きさを閾値と比較して閾値よりも大きい成分だけを信号
ＳＧ４として出力する。すなわち、比較部５３は信号Ｓ
Ｇ３のパワースペクトルの中で値の大きな成分だけを出
力する。なお、比較部５３に印加する閾値については、
判別分析法と呼ばれる方法を用いて適応的に決定してい
る。

【００４０】図４を参照すると、信号ＳＧ４には音声の
単語における抑揚パターンに相当する２つの領域Ａ１，
Ａ２が明確に現れている。領域中心検出部５４は、２つ
の領域Ａ１，Ａ２のそれぞれの中心に相当する位置が現
れた時間ｔ１，ｔ２を検出する。領域間隔検出部５５
は、領域中心検出部５４の検出した２つの時間ｔ１，ｔ
２に関する時間差を領域間隔Ｔｙとして検出する。この
領域間隔Ｔｙの値は、音声の単語における抑揚パターン
に相当する。実際には、領域間隔Ｔｙの値を平均化した
結果を抑揚の値として利用している。

【００４１】なお、１つの単語の中で信号ＳＧ４に３つ
以上の領域が現れる場合もある。３つ以上の領域が現れ
た場合には、互いに隣接する２つの領域について領域間
隔Ｔｙをそれぞれ計算し、求められた複数の領域間隔Ｔ
ｙを平均化した結果を抑揚の値として利用する。人間の
感情の状態は、例えば図３に示すように変化する。ま
た、怒り，悲しみ，喜びなどの感情を正しく把握するた
めには、強度，テンポ，抑揚のような特徴量の変化を検
出することが重要である。

【００４２】図１に示す感情検出装置においては、過去
の特徴量の参照を可能にするため、強度検出部１７が出
力する強度，テンポ検出部１８が出力するテンポ及び抑
揚検出部１９が出力する抑揚の値を一時的に一時記憶部
２１に記憶しておく。また、感情変化検出部２２は、強
度検出部１７が出力する現在の強度，テンポ検出部１８
が出力する現在のテンポ及び抑揚検出部１９が出力する
現在の抑揚の値と、一時記憶部２１に保持された過去の
（現在よりも少し前の時刻の）強度，テンポ及び抑揚の
値とを入力して、感情状態の変化を検出する。つまり、
音声の強度の変化，テンポの変化及び抑揚の変化をそれ
ぞれ検出する。

【００４３】音声感情検出部２３は、感情変化検出部２
２が出力する音声の強度の変化，テンポの変化及び抑揚
の変化を入力し、現在の感情の状態を推定する。感情の
状態として、この例では怒り，悲しみ及び喜びの３種類
の状態をそれぞれ推定している。

【００４４】感情パターンＤＢ２４には、音声の強度の
変化，テンポの変化及び抑揚の変化のパターンと怒りの
状態とを関連付ける情報と、音声の強度の変化，テンポ
の変化及び抑揚の変化のパターンと悲しみの状態とを関
連付ける情報と、音声の強度の変化，テンポの変化及び
抑揚の変化のパターンと喜びの状態とを関連付ける情報
とが予め保持されている。

【００４５】音声感情検出部２３は、感情パターンＤＢ
２４に保持された情報を推定規則として参照しながら、
感情変化検出部２２が出力する強度の変化，テンポの変
化及び抑揚の変化のパターンに基づいて現在の感情の状
態を推定する。音声感情検出部２３によって推定された
怒り，悲しみ及び喜びの３種類の各々の状態を表す情報
は、感情認識部６０及び感情感性記憶ＤＢ４１に入力さ
れる。感情感性記憶ＤＢ４１は、音声感情検出部２３か
ら入力される現在の感情の状態を逐次記憶され、蓄積さ
れる。

【００４６】従って、感情感性記憶ＤＢ４１に記憶され
た情報を読み出すことにより、過去の感情の状態を再生
することができる。一方、音声としてマイク１１から入
力された文章の内容（相手の発言内容）は、文章認識部
２６で認識される。文章認識部２６の入力には、音声認
識部２０で認識された各音素に対応する文字情報や、単
語の区切り及び文章の区切りを表す情報が入力される。
また、キーボード２５から入力された文字情報も文章認
識部２６に入力される。

【００４７】文章認識部２６は、入力される文字列の単
語毎の認識及び構文解析を行い、文章の内容を自然言語
として把握する。実際には、「５Ｗ３Ｈ」、すなわち
「誰が」，「何を」，「いつ」，「どこで」，「な
ぜ」，「どうやって」，「どのくらい」，「いくら」を
表す発言情報を認識する。文章認識部２６が認識した発
言情報は感情認識部６０に入力される。

【００４８】次に、相手の顔の表情から感情を検出する
ための処理について説明する。テレビカメラ３１は、図
１の感情検出装置の被験者となる人間の少なくとも顔の
部分を撮影する。テレビカメラ３１の撮影した画像、す
なわち人間の顔の表情が含まれる画像が画像認識部３２
に入力される。なお、テレビカメラ３１の撮影した画像
の情報は文字認識部３９に入力される。すなわち、文章
の映像をテレビカメラ３１で撮影した場合には、文字認
識部３９は撮影された映像から文章の各文字を認識す
る。文字認識部３９の認識した文字情報は文章認識部２
６に入力される。

【００４９】画像認識部３２は、入力される画像の中か
ら特徴的な要素を認識する。具体的には、被験者の顔に
おける目，口，眉毛，頬骨の部分をそれぞれ認識し、顔
の中における目，口，眉毛，頬骨のそれぞれの相対的な
位置を検出する。また、画像認識部３２は顔の表情の変
化に伴う目，口，眉毛，頬骨のそれぞれの位置の変化及
び首を振るなどの表現を検出するために位置の追跡を常
に行う。

【００５０】顔パターンＤＢ３３には、顔の中における
目，口，眉毛，頬骨のそれぞれの位置に関する基準位置
の情報（被験者の平常時の顔の表情に相当する情報）が
予め保持されている。なお、顔パターンＤＢ３３の内容
を任意に変更することも可能である。また、顔パターン
ＤＢ３３には顔の表情の変化と６種類の感情（喜び，怒
り，悲しみ，恐れ，楽しみ，驚き）のそれぞれとの対応
関係を表す規則情報が予め保持されている。

【００５１】顔感情検出部３４は、画像認識部３２が認
識した目，口，眉毛，頬骨のそれぞれの位置と顔パター
ンＤＢ３３に保持された基準位置の情報とを用いて特徴
量、すなわち平常時の位置に対する表情の違いを検出す
る。また、顔感情検出部３４は検出した特徴量の変化量
及び変化の速さと、顔パターンＤＢ３３に保持された規
則情報とに基づいて、６種類の感情（喜び，怒り，悲し
み，恐れ，楽しみ，驚き）のそれぞれの状態を推定す
る。推定された６種類の感情の状態を表す情報は、顔感
情検出部３４から出力されて感情認識部６０及び感情感
性記憶ＤＢ４１に入力される。

【００５２】感情認識部６０は、音声感情検出部２３か
ら入力される感情（怒り，悲しみ，喜び）の状態を表す
情報と、文章認識部２６から入力される発言情報と、顔
感情検出部３４から入力される感情（喜び，怒り，悲し
み，恐れ，楽しみ，驚き）の状態を表す情報とを総合的
に判断して最終的な感情の状態を推定する。発言情報に
ついては、その文章の内容（５Ｗ３Ｈ）を予め定めた規
則に従って判断することにより、発言情報に含まれてい
る感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の
状態を推定することができる。

【００５３】音声感情検出部２３が音声から推定した感
情の状態を表す情報と、文章認識部２６が音声又はキー
ボード２５から入力された文字から認識した発言内容の
情報と、顔感情検出部３４が顔の表情から推定した感情
の状態を表す情報とが、それぞれ感情感性記憶ＤＢ４１
に入力されて逐次記憶される。感情感性記憶ＤＢ４１に
記憶されたそれぞれの情報には、それが検出された時刻
あるいは時間ならびに年月日が付加される。

【００５４】感情感性記憶ＤＢ４１に入力される情報の
うち、音声感情検出部２３から入力される感情の情報
と、文章認識部２６から入力される発言内容の情報と、
顔感情検出部３４から入力される感情の情報とは互いに
関連付けて把握しなければならない。そこで、同期処理
部４３は感情感性記憶ＤＢ４１に蓄積された複数種類の
情報を、それらの検出された時間（入力された時間）及
び年月日によって互いに関連付ける。例えば、図６に示
されるように、音声感情検出部２３の推定した怒り，悲
しみ及び喜びの感情の状態を表す情報と発言の内容（５
Ｗ３Ｈ）の情報とを、それらの時間によって互いに関連
付ける。

【００５５】ところで、感情感性記憶ＤＢ４１には比較
的大量の情報を蓄積できる十分な記憶容量が備わってい
る。しかしながら、記憶容量には限りがあるのでこの装
置を長期間に渡って使い続けるためには蓄積する情報の
量を抑制する必要がある。

【００５６】そこで、忘却処理部４２が設けてある。忘
却処理部４２は、古くなった情報を感情感性記憶ＤＢ４
１上から自動的に削除する。但し、特定の条件に適合す
る情報については古くなった場合でも削除せずに保存さ
れる。忘却処理部４２の動作について、図５を参照しな
がら説明する。図５のステップＳ１１においては、感情
感性記憶ＤＢ４１に蓄積されている多数のデータのそれ
ぞれについて、記憶された時刻（あるいは検出された時
刻）及び年月日の情報を参照する。

【００５７】ステップＳ１２では、現在の時刻とステッ
プＳ１１で参照したデータの時刻とに基づいて、該当す
るデータが記憶されてから予め定めた一定の期間が経過
したか否かを識別する。記憶してから一定の期間が経過
した古いデータを処理する場合には、ステップＳ１３以
降の処理に進む。一定の期間が経過していない比較的新
しいデータについては、そのまま保存される。

【００５８】ステップＳ１３では、データが感情の状態
を表す情報である場合に、その感情の変化量（前後の感
情との違い）を調べる。感情の変化量が予め定めた閾値
を超える場合にはステップＳ１３からＳ１７に進むの
で、そのデータが古い場合であってもそのままデータは
保存される。感情の変化量が閾値以下の場合には、ステ
ップＳ１３からＳ１４に進む。

【００５９】ステップＳ１４では、そのデータに関する
感情のパターンを検出し、そのパターンが予め定めた特
定のパターンと一致するか否かを識別する。すなわち、
複数の感情の状態及び発言内容の組み合わせが、「印象
が強い」状態を表す特定のパターンと一致するか否かを
調べる。検出したパターンが特定のパターンと一致した
場合には、ステップＳ１４からＳ１７に進むので、その
データが古い場合であってもそのままデータは保存され
る。パターンが一致しない場合にはステップＳ１４から
Ｓ１５に進む。

【００６０】ステップＳ１５では、データが発言内容で
ある場合に、その内容と予め定めた発言内容（印象に残
りやすい発言）とが一致するか否かを識別する。なお、
完全に一致しなくても、類似性が高い場合には「一致」
とみなすこともできる。データの発言内容が予め定めた
発言内容と一致した場合には、ステップＳ１５からＳ１
７に進むので、そのデータが古い場合であっても、その
ままデータは保存される。

【００６１】ステップＳ１５で一致しない場合には、ス
テップＳＳ１６において当該データは削除される。上記
の処理は感情感性記憶ＤＢ４１上の全てのデータについ
て実行される。また、図５に示す忘却処理は定期的に繰
り返し実行される。この忘却処理を実行留周期について
は、個人の個性として任意に変更することができる。な
お、ステップＳ１４，Ｓ１５では予め容易されたパター
ンＤＢ（図示せず）を参照して処理を行う。このパター
ンＤＢについては、入力情報を学習することにより自動
的に内容が更新される。

【００６２】なお、図５では処理を簡略化して表してあ
る。実際には、感情の変化量，感情のパターン及び発言
の内容の全てを総合的に判断する。すなわち、感情の変
化量が大きい情報と、感情のパターンが一致した情報
と、発言内容が同一もしくは近似する情報とが存在する
場合には、総合的に優先順位を判断する。具体的には、
発言内容が同一もしくは近似する情報の優先順位が最も
大きく、感情のパターンが一致した情報の優先順位が２
番目に高く、感情の変化量が大きい情報の優先順位は低
い。従って、発言内容が同一もしくは近似する情報は忘
却処理で削除されにくく、古くなっても記憶として残
る。

【００６３】上記のような忘却処理部４２の処理によっ
て、感情感性記憶ＤＢ４１上の古くなったデータについ
ては、感情の変化が大きいもの、「印象が強い」とみな
されるパターンであるもの、幾度も入力を繰り返された
もの、及び発言の内容が印象に残りやすいもののみがそ
の強度と内容に合わせて順位をつけてそのまま保存され
る。その結果、感情感性記憶ＤＢ４１上の古いデータに
ついては、一部分のみが残った不完全なデータとなる。
このようなデータは、人間の記憶における過去の曖昧な
記憶と同じような内容になる。

【００６４】感情感性記憶ＤＢ４１に蓄積された過去の
感情の状態及び発言内容を読み出してデータを分析する
ことにより、例えばこの感情検出装置が正しく動作して
いるか否かを判断したり、感情の推定に利用される各部
のデータベースの内容を改良するように更新することも
可能になる。感情感性記憶ＤＢ４１に蓄積されたデータ
については、その内容に応じて更に振り分けられ、人間
性情報ＤＢ４４，個人情報ＤＢ４５又は専門情報ＤＢ４
６に記憶される。

【００６５】人間性情報ＤＢ４４には、性別，年齢，攻
撃性，協調性，現在の感情などのように被験者の性格を
決定付ける情報や行動の決定パターンの情報が保持され
る。また、個人情報ＤＢ４５には、個人の住所，現在の
状況，環境，発言内容（５Ｗ３Ｈ）などの情報が保持さ
れる。専門情報ＤＢ４６には、職業，経歴，職業適性
格，職業的行動決定パターンなどの情報が保持される。

【００６６】人間性情報ＤＢ４４，個人情報ＤＢ４５及
び専門情報ＤＢ４６から出力されるのは、個人のモラル
パターン情報である。このモラルパターン情報と過去の
相手の感情とに基づいて相手の感性を察知することがで
きる。なお、図１に示す感情検出装置の機能をコンピュ
ータのソフトウェアにより実現する場合には、コンピュ
ータが実行するプログラム及び必要なデータを、例えば
ＣＤ−ＲＯＭなどの記録媒体に記録しておけばよい。

【００６７】なお、図１に示すマイク１１を電話機の受
話器に置き換えてもよいし、文字などの情報を入力する
手段としてマウスを設けてもよい。また、図１に示すテ
レビカメラ３１については、光学式カメラ，ディジタル
カメラ，ＣＣＤカメラのような様々な撮像手段のいずれ
でも置き換えることができる。

【００６８】

【発明の効果】本発明の感情検出方法及び感情検出装置
ならびに記録媒体によれば、より正確に被験者の感情を
検出することができる。

【図面の簡単な説明】

【図１】実施の形態の感情検出装置の構成を示すブロッ
ク図である。

【図２】抑揚検出部の構成を示すブロック図である。

【図３】感情の状態の変化と音声の強度，テンポ及び抑
揚との関係を示すグラフである。

【図４】抑揚検出部における音声信号処理の過程を示す
タイムチャートである。

【図５】忘却処理部の動作を示すフローチャートであ
る。

【図６】感情感性記憶ＤＢに記憶された情報の構成例を
示す模式図である。

【符号の説明】

１１ マイク １２ Ａ／Ｄ変換器 １３ 信号処理部 １４ 音素検出部 １５ 単語検出部 １６ 文章検出部 １７ 強度検出部 １８ テンポ検出部 １９ 抑揚検出部 ２０ 音声認識部 ２１ 一時記憶部 ２２ 感情変化検出部 ２３ 音声感情検出部 ２４ 感情パターンＤＢ ２５ キーボード ２６ 文章認識部 ３１ テレビカメラ ３２ 画像認識部 ３３ 顔パターンＤＢ ３４ 顔感情検出部 ３９ 文字認識部 ４１ 感情感性記憶ＤＢ ４２ 忘却処理部 ４３ 同期処理部 ４４ 人間性情報ＤＢ ４５ 個人情報ＤＢ ４６ 専門情報ＤＢ ５１ バンドパスフィルタ ５２ 絶対値変換部 ５３ 比較部 ５４ 領域中心検出部 ５５ 領域間隔検出部 ６０ 感情認識部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被験者の感情を検出するための感情検出
   方法であって、 音声信号を入力し、 入力した音声信号から音声の強度，音声の出現速度を表
   すテンポ及び音声の各単語内の強度変化パターンを表す
   抑揚をそれぞれ検出し、 検出された音声の強度，音声のテンポ及び音声の抑揚の
   それぞれについて変化量を求め、 求めた変化量に基づいて、少なくとも怒り，悲しみ及び
   喜びのそれぞれの感情状態を表す信号を生成することを
   特徴とする感情検出方法。
2. 【請求項２】 被験者の感情を検出するための感情検出
   装置であって、 音声信号を入力する音声入力手段と、 前記音声入力手段が入力した音声信号から音声の強度を
   検出する強度検出手段と、 前記音声入力手段が入力した音声信号から音声の出現速
   度をテンポとして検出するテンポ検出手段と、 前記音声入力手段が入力した音声信号から音声の単語内
   の強度変化パターンを表す抑揚を検出する抑揚検出手段
   と、 前記強度検出手段が検出した音声の強度，前記テンポ検
   出手段が検出した音声のテンポ及び前記抑揚検出手段が
   検出した音声の抑揚のそれぞれについて変化量を求める
   変化量検出手段と、 前記変化量検出手段が検出した変化量に基づいて、少な
   くとも怒り，悲しみ及び喜びのそれぞれの感情状態を表
   す信号を出力する感情検出手段とを設けたことを特徴と
   する感情検出装置。
3. 【請求項３】 請求項２の感情検出装置において、前記
   抑揚検出手段に、 単語毎に分離されて入力される音声信号から特定の周波
   数成分を抽出するバンドパスフィルタ手段と、 前記バンドパスフィルタ手段により抽出された信号のパ
   ワースペクトルをその強度に基づいて複数の領域に分離
   する領域分離手段と、 前記領域分離手段により分離された複数の領域の各々の
   中心位置の時間間隔に基づいて抑揚の値を算出する抑揚
   計算手段とを設けたことを特徴とする感情検出装置。
4. 【請求項４】 請求項２の感情検出装置において、 被験者の少なくとも顔の画像情報を入力する撮像手段
   と、 前記撮像手段が入力した画像情報から顔面各部に関する
   位置情報を検出する画像認識手段と、 顔面各部の特徴量の基準情報を保持する画像基準情報保
   持手段と、 前記画像認識手段の検出した位置情報と前記画像基準情
   報保持手段の保持する基準情報とに基づいて画像特徴量
   を検出する画像特徴量検出手段とを更に設けるととも
   に、前記感情検出手段が、前記画像特徴量検出手段の検
   出した画像特徴量の変化に応じて感情状態を推定するこ
   とを特徴とする感情検出装置。
5. 【請求項５】 請求項２の感情検出装置において、 前記感情検出手段の検出した感情状態の情報を逐次入力
   して蓄積する感情情報蓄積手段と、 前記感情情報蓄積手段に蓄積された過去の感情状態の情
   報のうち、記憶時点から所定の時間が経過した情報を削
   除するとともに、削除対象の情報のうち、少なくとも感
   情変化が所定以上に大きい情報及び予め定めた変化パタ
   ーンに適合する情報については削除対象から除外する忘
   却処理手段とを更に設けたことを特徴とする感情検出装
   置。
6. 【請求項６】 請求項５の感情検出装置において、 被験者の発した音声もしくは被験者の入力した文字の情
   報を処理して文法解析を行い文章の意味を表す発言情報
   を生成する文章認識手段と、 前記文章認識手段の生成した発言情報を、前記感情状態
   の情報と同期した状態で感情情報蓄積手段に蓄積する蓄
   積制御手段とを更に設けたことを特徴とする感情検出装
   置。
7. 【請求項７】 請求項２の感情検出装置において、 検出された感情状態に基づいて基準無音時間を決定する
   無音時間決定手段と、 前記無音時間決定手段の決定した基準無音時間を利用し
   て、音声の文章の区切りを検出する文章区切り検出手段
   とを更に設けたことを特徴とする感情検出装置。
8. 【請求項８】 被験者の感情を検出するための計算機で
   実行可能な感情検出プログラムを記録した記録媒体であ
   って、 前記感情検出プログラムには、 音声信号を入力する手順と、 入力した音声信号から音声の強度，音声の出現速度を表
   すテンポ及び音声の各単語内の強度変化パターンを表す
   抑揚をそれぞれ検出する手順と、 検出された音声の強度，音声のテンポ及び音声の抑揚の
   それぞれについて変化量を求める手順と、 求めた変化量に基づいて、少なくとも怒り，悲しみ及び
   喜びのそれぞれの感情状態を表す信号を生成する手順と
   を設けたことを特徴とする記録媒体。