JP2010054568A - 感情識別装置、感情識別方法およびプログラム - Google Patents

Abstract

【課題】発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能な感情識別装置、感情識別方法およびプログラムを提供する。
【解決手段】本発明に係る感情識別装置に、音声特徴量またはその変化量に基づいて、所定の感情カテゴリの感情適合度を算出する感情適合度算出部と、発話者に対してストレスを与えうる要因を表す特徴量、または、その変化量を用いて、ストレスを与えうる要因が発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、ストレスを与えうる要因と、ストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、算出された影響度と補正値データベースとを用いて、算出された感情適合度を補正する感情適合度補正部と、を設けた。
【選択図】図１

Description

本発明は、感情識別装置、感情識別方法およびプログラムに関する。

近年、発話者が発した音声を解析することで、発話者の感情を検出したり識別したりする試みがなされている。例えば、特許文献１には、音声データのスペクトル分析等を行い、音声の強度、音声のテンポ、音声の抑揚といった特徴量またはその変化量に基づいて、感情を判断する技術が開示されている。また、特許文献２には、緊急性を表すパラメータとして、音声のパワーや、音声のピッチや、音声の発声速度を含む複数のパラメータを併用する技術が開示されている。

また、例えば特許文献３に示したように、人体抵抗などのバイオ信号の周期性を利用して音声パターンの修正を行い、感情の影響を軽減し音声認識精度を向上させる技術に対する試みもなされている。

特開２００２−９１４８２号公報 特開平５−１１９７９２号公報 特開平７−１９９９８７号公報

上述のような感情の識別処理を精度良く行う際には、外部物理環境、発話者に対する各種のストレスといった、様々な要因を総合的に考慮する必要がある。しかしながら、このような要因による影響が除外された音声特徴量を得ることは、困難であるという問題があった。

そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能な、新規かつ改良された感情識別装置、感情識別方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置であって、前記音声特徴量または前記音声特徴量の変化量に基づいて、前記所定の感情カテゴリの前記感情適合度を算出する感情適合度算出部と、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、算出された前記影響度と前記補正値データベースとを用いて、算出された前記感情適合度を補正する感情適合度補正部と、を備える感情識別装置が提供される。

かかる構成によれば、感情適合度算出部は、音声特徴量または当該特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する。また、影響度算出部は、取得した発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因の特徴量の変化量を用いて、ストレスを与えうる要因が発話者の発声に与える影響度を、所定の基準に基づいて数値化する。また、記憶部は、ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録されており、感情適合度補正部は、算出された影響度と前記補正値データベースとを用いて、算出された感情適合度を補正する。これにより、本発明に係る感情識別装置は、発話者を取り巻く様々な状況の影響を考慮して環境適合度を補正することができ、発話者の感情をより正確に識別することができる。

前記影響度算出部は、前記ストレスを与えうる要因による前記感情適合度への影響度と、前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積を、前記感情適合度の補正値としてもよい。

前記感情適合度補正部は、前記補正値データベースに記載された、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値を、取得した前記感情適合度または前記感情適合度の補正値に基づいて修正する補正値データベース修正部を更に備えてもよい。

前記補正値データベース修正部は、前記発話者から直接前記感情適合度の補正値が入力された場合に、前記補正値データベースを修正してもよい。

前記補正値データベース修正部は、算出された前記感情適合度が属する前記感情カテゴリとは異なる感情カテゴリの前記感情適合度が最大値となる前記感情適合度の補正値が、前記発話者から直接入力された場合に、前記補正値データベースを修正してもよい。

前記補正値データベース修正部は、前記発話者から直接入力された前記感情適合度の補正値と、前記感情適合度補正部が算出した前記感情適合度の補正値との差分を、前記影響度と前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積で比例配分した値を用いて、前記影響の度合いを数値化した補正値を修正してもよい。

前記補正値データベース修正部は、前記発話者から直接入力された補正値を用いて算出された前記感情適合度と、前記感情適合度補正部により算出された前記感情適合度との差分を用いて、前記影響の度合いを数値化した補正値を修正してもよい。

前記発話者に対してストレスを与えうる要因は、前記発話者の身体的な特徴に起因する要因、前記発話者のストレス特性、前記発話者が置かれた外部環境に起因する要因および前記発話者の社会的状況に起因する要因の少なくとも何れか一つであることが好ましい。

前記発話者の身体的な特徴に起因する要因は、前記発話者の体温、脈拍、アルコール濃度および人体の電気抵抗の少なくとも何れか一つであることが好ましい。

前記発話者が置かれた外部環境に起因する要因は、前記発話者が置かれた外部環境の騒音レベル、照度、温度、湿度、風圧および人体加速度の少なくとも何れか一つであることが好ましい。

前記発話者が置かれた社会的状況に起因する要因は、前記発話者が存在する場所に関する位置情報、時刻情報および前記発話者の就業スケジュール情報の少なくとも何れか一つであることが好ましい。

上記課題を解決するために、本発明の別の観点によれば、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別方法にであって、前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出ステップと、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出ステップと、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正ステップと、を含む感情識別方法が提供される。

上記課題を解決するために、本発明の更に別の観点によれば、コンピュータを、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置として機能させるためのプログラムであって、前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出機能と、取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出機能と、前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正機能と、をコンピュータに実現させるためのプログラムが提供される。

かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の感情識別装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

本発明によれば、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことが可能である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

発話行為において、発話者の心的感情以外に、騒音レベル、照度、発話者の人体の加速度、温度、湿度、風圧などの外部物理環境の影響を受けて、音声のピッチ、発声速度、音声強度等は変化する。また、これらの外部物理環境だけでなく、身体のストレスも、音声特徴量に影響を与える要因の一つである。また、社会的な状況例えば、面接諮問時の受け答えを実施している、講演会等での発表中である、顧客先での対応中である、自宅で一人くつろいでいるなど、社会的な状況（換言すれば、社会的なストレス）が変化すると、音声特徴量に変化が生じる。

これらのストレスに対する耐性は個人差があり、様々なストレスが音声特徴量に与える影響や、ストレスを受けた際の音声特徴量の変化は、音響パラメータ空間で個人差を正規化する処理を行ったとしても、取り除くことは困難であり、個人差に影響されない理想的な音声特徴量（音声パラメータ）を抽出することは困難である。そのため、必要とする勘定識別精度に応じて、このような個人耐性を考慮することが必要となる。

そこで、本願発明者は、上述のような問題を解決するために鋭意研究を行った結果、以下で説明するような本実施形態に係る感情識別装置および感情識別方法に想到した。

なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）感情識別装置の構成について
（１−２）感情識別方法について
（２）本発明の各実施形態に係る感情識別装置のハードウェア構成について
（３）まとめ

（第１の実施形態）
＜感情識別装置について＞
まず、図１および図２を参照しながら、本発明の第１の実施形態に係る感情識別装置について、詳細に説明する。図１は、本実施形態に係る感情識別装置の構成を説明するためのブロック図である。図２は、本実施形態に係る感情適合度補正部を説明するためのブロック図である。

本実施形態に係る感情識別装置は、例えば図１に示したように、音声特徴量取得部１０１と、感情適合度算出部１０３と、バイオ特徴量取得部１０５と、バイオ特徴影響度算出部１０７と、ストレス特性取得部１０９と、ストレス影響度算出部１１１と、外部環境特徴量取得部１１３と、外部環境影響度算出部１１５と、社会的状況パラメータ取得部１１７と、社会的状況影響度算出部１１９と、感情適合度補正部１２１と、記憶部１２３と、を主に備える。

音声特徴量取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、マイク等の入力装置などから構成されている。音声特徴量取得部１０１は、マイク等の入力装置を介して入力された発話者の音声をＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換してデジタル音声情報とするとともに、デジタル音声情報の中から、音声特徴量を取得する。このような音声特徴量の例として、例えば、音声スペクトル、音声強度、音声のピッチ（ピッチ周波数）、抑揚、発話速度（テンポ）、フォルマント周波数等を挙げることができる。また、上述の音声特徴量以外にも、デジタル音声情報の中から任意の音声特徴量を取得することが可能である。また、これらの音声特徴量の取得方法は、これらの音声特徴量を取得できる方法であれば任意の方法を利用することが可能であり、特に限定されるわけではない。

また、音声特徴量取得部１０１は、これらの音声特徴量だけでなく、取得した音声特徴量を利用して、音声特徴量の変化量（例えば、音声特徴量の時間変化量など）を取得することも可能である。

音声特徴量取得部１０１は、例えば、男女差、個人差、言語属性等に応じて、取得した音声特徴量やその変化量を正規化してもよい。

音声特徴量取得部１０１は、取得した音声特徴量やその変化量を、後述する感情適合度算出部１０３へと出力する。また、音声特徴量取得部１０１は、取得した音声特徴量を、後述する記憶部１２３に記録してもよい。

感情適合度算出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されており、音声特徴量取得部１０１から伝送された音声特徴量や音声特徴量の変化量に基づいて、所定の感情カテゴリの感情適合度を算出する。感情カテゴリは、例えば、喜び、悲しみ、怒りなどの感情を表す範疇である。また、本実施形態に係る感情カテゴリは、上記のものに限定されるわけではなく、任意の感情を含む。また、感情適合度は、発話者の感情が所定の感情カテゴリにどのくらい適合しているかを表す度合いであって、ある数値として表される。

感情適合度算出部１０３は、後述する記憶部１２３等に記録されている各種のパラメータやプログラムやデータベース等を利用しながら、所定の方法に則って感情適合度を算出する。音声特徴量やその変化量から、ある感情カテゴリの感情適合度を算出する方法は、任意の方法を利用することが可能である。このような方法の例として、例えば、音声特徴量やその変化量と、ある感情状態（すなわち、感情カテゴリ）とが関連付けられた感情パターンデータベース等を予め記憶部１２３等に保持しておき、伝送された音声特徴量やその変化量に基づいて、この感情パターンデータベースを参照することで、各感情カテゴリにおける感情適合度を算出することが可能である。また、この方法以外にも、例えば、特許文献１に記載の方法を用いることも可能である。

感情適合度算出部１０３は、算出した感情適合度を、後述する感情適合度補正部１２１に伝送する。また、感情適合度算出部１０３は、算出した感情適合度を、例えば算出した時刻情報等と関連付けて、後述する記憶部１２３等に記録してもよい。

バイオ特徴量取得部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されており、発話者の身体的な特徴であるバイオ特徴量や、その変化量を取得する。このようなバイオ特徴量の一例として、例えば、人体の電気抵抗値、微小電圧値、脈拍、体温、アルコール濃度、血圧、呼吸数などを挙げることができる。また、これらの特徴量以外にも、任意の身体的特徴量を取得することが可能である。

バイオ特徴量取得部１０５は、当該バイオ特徴量取得部１０５が備える、電気抵抗測定装置、微小電圧測定装置、体温計、脈拍計、血圧計、アルコール濃度の測定装置などから出力された値を取得してもよい。また、本実施形態に係る感情識別装置１０に接続された他の測定機器から出力された値を取得してもよい。また、発話者が入力装置等を介して手動で入力した値を用いることも可能である。

また、バイオ特徴量取得部１０５は、必要に応じて、取得したバイオ特徴量を、地域属性、季節、時刻情報などにより、正規化してもよい。

バイオ特徴量取得部１０５は、取得したバイオ特徴量やその変化量を、後述するバイオ特徴影響度算出部１０７に出力する。また、バイオ特徴量取得部１０５は、取得したバイオ特徴量やその変化量を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

影響度算出部の一例であるバイオ特徴影響度算出部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。バイオ特徴影響度算出部１０７は、バイオ特徴量取得部１０５から伝送されたバイオ特徴量を所定の基準や数値範囲等と比較して、発話者の身体的なストレスが感情に与える影響を数値化したものであるバイオ特徴影響度を算出する。

バイオ特徴影響度を含む各種の影響度は、影響の度合いに応じて所定数のレベルに区分されている。例えば、影響の度合いに応じて、以下のように３つのレベルに区分されていてもよい。また、レベル数を細かく設定する（すなわち、所定の基準や数値範囲を細かく区分する）ことで、影響度をより細かく設定することができる。

影響度 −１ ： 影響が減少・抑圧される
影響度 ±０ ： 影響なし・不明
影響度 ＋１ ： 影響が増加・増幅する

例えば、バイオ特徴影響度では、以下のような基準を設定することが可能である。

［体温の基準］
３７．５度以上、または、３６度以下 ： −１
上記範囲以外、または、不明 ： ±０

［脈拍の基準］
９０回／分以上 ： −１
上記範囲以外、または、不明 ： ±０

［アルコール濃度の基準］
正常、または、不明 ： ±０
ほろ酔い以上 ： ＋１

なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。また、他のバイオ特徴量についても、同様に基準値（基準範囲）と、対応する影響度とを設定することが可能である。

バイオ特徴影響度算出部１０７は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、バイオ特徴影響度算出部１０７自身に保持していてもよい。

バイオ特徴影響度算出部１０７は、通知された特徴量に基づいて算出した影響度の和を、バイオ特徴影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。

例えば、上述の基準の下で、バイオ特徴量取得部１０５から「体温、脈拍、アルコール濃度」に関する特徴量が伝送されてきた場合を考える。体温に起因する影響度が−１であり、脈拍に起因する影響度が−１であり、アルコール濃度に起因する影響度が±０である場合には、バイオ特徴影響度算出部１０７は、（−１）＋（−１）＋０＝（−２）を、バイオ特徴影響度として、後述する感情適合度補正部１２１に出力する。

また、バイオ特徴影響度算出部１０７は、算出したバイオ特徴影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

ストレス特性取得部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されており、発話者のストレス特性情報を取得する。ストレス特性情報の取得は、ストレス特性を判定するためのアンケートに対して発話者が回答することにより行うことができる。ストレス特性を判定するためのアンケートとアンケートの回答の解析方法は、アプリケーションとしてストレス特性取得部１０９や記憶部１２３が保持していてもよい。また、ストレス特性取得部１０９に対して、アンケートの判定結果を発話者が自身で入力してもよい。また、ストレス特性取得部１０９は、感情識別装置１０に接続されたコンピュータ等の他の装置から、ストレス特性の判定結果を取得してもよい。

ストレス特性取得部１０９は、取得したストレス特性に関する情報を、後述するストレス影響度算出部１１１に出力する。また、ストレス特性取得部１０９は、取得したストレス特性に関する情報を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

影響度算出部の一例であるストレス影響度算出部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。ストレス影響度算出部１１１は、ストレス特性取得部１０９から伝送されたストレス特性に関する情報を所定の基準や数値範囲等と比較して、発話者のストレス特性が発声に与える影響を数値化したものであるストレス影響度を算出する。ストレス影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。

［ストレスの有無］
ストレス少 ： −１
ストレスなし、または、不明 ： ±０
ストレス多 ： ＋１

［ストレス耐性］
ストレスに強い ： −１
普通、または、不明 ： ±０
ストレスに弱い ： ＋１

なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。

ストレス影響度算出部１１１は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、ストレス影響度算出部１１１自身に保持していてもよい。

ストレス影響度算出部１１１は、通知された特徴量に基づいて算出した影響度の和を、ストレス影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、ストレス影響度算出部１１１は、算出したストレス影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

外部環境特徴量取得部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されている。外部環境特徴量取得部１１３は、発話者が発話行為を行っている際の外部物理環境を特徴付ける特徴量である外部環境特徴量や、その変化量を取得する。このような外部環境特徴量の一例として、例えば、騒音レベル、照度、人体の加速度、温度、湿度、風圧などを挙げることができる。また、これらの特徴量以外にも、任意の外部環境特徴量を取得することが可能である。

外部環境特徴量取得部１１３は、当該外部環境特徴量取得部１１３が備える、騒音計、照度計、加速度センサ、温度計、湿度計、風圧計などから出力された値を取得してもよい。また、本実施形態に係る感情識別装置１０に接続された他の測定機器から出力された値を取得してもよい。また、発話者が入力装置等を介して手動で入力した値を用いることも可能である。

また、外部環境特徴量取得部１１３は、必要に応じて、取得した外部環境特徴量を、地域属性、季節、時刻情報などにより、正規化してもよい。

外部環境特徴量取得部１１３は、取得した外部環境特徴量やその変化量を、後述する外部環境影響度算出部１１５に出力する。また、外部環境特徴量取得部１１３は、取得した外部環境特徴量やその変化量を、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

影響度算出部の一例である外部環境影響度算出部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。外部環境影響度算出部１１５は、外部環境特徴量取得部１１３から伝送された外部環境特徴量やその変化量を所定の基準や数値範囲等と比較して、発話者の置かれた外部環境が発声に与える影響を数値化したものである外部環境影響度を算出する。外部環境影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。

［温度の基準］
１０℃以下、または、３０℃以上 ： −１
上記範囲以外、または、不明 ： ±０

［湿度の基準］
８０％以上、または、２０％以上 ： −１
上記範囲以外、または、不明 ： ±０

［風圧の基準］
１５ｍ／ｓ以上 ： −１
上記範囲以外、または、不明 ： ±０

［騒音レベルの基準］
７０ｄＢ以上 ： −１
３５ｄＢ以下 ： ＋１
上記範囲以外、または、不明 ： ±０

［照度の基準］
１万カンデラ以上、または、２００カンデラ以下 ： −１
上記範囲以外、または、不明 ： ±０

［人体加速度の基準］
３ｍ／ｓｅｃ以上 ： −１
上記範囲以外、または、不明 ： ±０

なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。

外部環境影響度算出部１１５は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、ストレス影響度算出部１１１自身に保持していてもよい。

外部環境影響度算出部１１５は、通知された特徴量に基づいて算出した影響度の和を、外部環境影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、外部環境影響度算出部１１５は、算出したストレス影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

社会的状況パラメータ取得部１１７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置、接続ポート等から構成されている。社会的状況パラメータ取得部１１７は、発話者の位置情報、時刻情報、就業・作業スケジュール等から得られる社会的状況パラメータを取得する。また、これらのパラメータ以外にも、任意の社会的状況パラメータを取得することが可能である。

社会的状況パラメータ取得部１１７は、感情識別装置１０や、感情識別装置１０に接続されたコンピュータ等の他の情報処理装置などから出力された値を取得してもよい。より詳細には、社会的状況パラメータ取得部１１７は、感情識別装置１０や、感情識別装置１０に接続されたコンピュータ等の他の情報処理装置が保持するスケジュール管理アプリケーションからの出力や、発話者が保持している携帯電話等の携帯機器から得られるＧＰＳデータ等を取得することが可能である。また、発話者が入力装置等を介して手動で入力した結果を用いることも可能である。

このような社会的状況パラメータの一例として、例えば、スケジュール管理アプリケーションから得られる発話者のスケジュール状況を利用することが考えられる。スケジュール状況の例として、例えば、業務中、休み時間、会議中、移動中、警備中、商談中などの状況が考えられる。これらのスケジュール状況と、スケジュール情報に含まれるスケジュールの実施場所等に関する詳細情報とを利用することで、発話者の位置情報、時刻情報、就業・作業スケジュール等を得ることができる。

社会的状況パラメータ取得部１１７は、取得した社会的状況パラメータを、後述する社会的状況影響度算出部１１９に出力する。また、社会的状況パラメータ取得部１１７は、取得した社会的状況パラメータを、取得した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

影響度算出部の一例である社会的状況影響度算出部１１９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。社会的状況影響度算出部１１９は、社会的状況パラメータ取得部１１７から伝送された社会的状況パラメータを所定の基準や数値範囲等と比較して、発話者の置かれた社会的状況が発声に与える影響を数値化したものである社会的状況影響度を算出する。社会的状況影響度を算出する際の基準として、例えば以下のようなものを挙げることができる。

［発話者の就業・作業スケジュールに関する基準］
社内会議中 ： −１
社内重要会議中 ： ±０
商談会議中 ： ＋１
移動中 ： ±０
プライベート、または、不明 ： ±０

なお、これらの基準は、あくまでも一例であって、基準値は上述のものに限定されるわけではない。

社会的状況影響度算出部１１９は、これらの基準値と影響度とが関連付けられたデータベース等を、後述する記憶部１２３に保持していてもよく、社会的状況影響度算出部１１９自身に保持していてもよい。

社会的状況影響度算出部１１９は、通知されたパラメータに基づいて算出した影響度の和を、社会的状況影響度として後述する感情適合度補正部１２１に出力する。また、通知されなかった特徴量に起因する影響度は、±０として算出処理を行う。また、社会的状況影響度算出部１１９は、算出した社会的状況影響度を、算出した時刻情報等と関連付けて、後述する記憶部１２３に記録してもよい。

感情適合度補正部１２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。感情適合度補正部１２１は、後述する記憶部１２３に記録されている、ストレスを与えうる要因とストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値とが互いに関連付けられた補正値データベースを利用して、それぞれの影響度算出部から伝送された影響度に基づき、感情適合度を補正する。また、感情適合度補正部１２１は、補正値データベースに記載された内容を、取得した感情適合度に基づいて修正する。

この感情適合度補正部１２１は、例えば図２に示したように、補正処理部１２５と、補正値データベース修正部１２７と、を更に備える。

補正処理部１２５は、バイオ特徴影響度算出部１０７、ストレス影響度算出部１１１、外部環境影響度算出部１１５、社会的状況影響度算出部１１９から伝送された影響度に基づき、後述する記憶部１２３に記録された補正値データベースを利用して、感情適合度算出部１０３から伝送された感情適合度を補正する。

ここで、感情適合度算出部１０３から伝送された感情カテゴリｙの感情適合度をＥ_ｙｖとし、１番目からｎ番目の影響度をＦ_ｉ（ｉ＝１，２，・・・，ｎ）とし、感情カテゴリｙとｉ番目の影響度Ｆ_ｉとの関係性を示した補正値データベースの値（補正値）をＥＡ（ｉ，ｙ）とする。補正処理部１２５は、これらの値を用いて、補正された感情適合度Ｅ_ｙａを、以下の式１に基づいて算出する。ここで、Ｗ_ｙは、感情カテゴリｙに対する感情補正項の重み付け係数である。

記憶部１２３に記録されている補正値データベースの例を、以下の表１に示す。補正値データベースは、以下の表１に示したように、ある特徴量と、当該特徴量に基づく所定の感情カテゴリそれぞれにおける補正量との関係が規定されたデータベースである。以下の表１では、特徴量の一例として、バイオ特徴量（Ｆ_ｂａｉｏ）を取り上げ、このバイオ特徴量と、「喜び」、「怒り」、「哀しみ」、「楽しみ」という４つの感情カテゴリにおける補正量との関係が規定されている。また、以下の表１では、［体温の基準］に関する項目しか記載されていないが、この項目以外にも、バイオ特徴量として利用可能な基準全てに対して、補正量が設定されている。

例えば、感情カテゴリ「喜びｐ」の感情適合度をＥ_ｐｖとし、補正後の喜びの感情適合度をＥ_ｐａとした場合に、外部環境特徴量である温度に起因する影響度Ｆ_ｔｅｍｐによる補正処理は、以下の式２のようになる。ここで、ＥＡ（ｔｅｍｐ，ｐ）は、喜びｐと温度影響度との関係性を表した補正値データベースの値である。

また、感情適合度補正部１２１に、温度に起因する影響度だけでなく、湿度に起因する影響度が伝送された場合には、上記式２に対して、湿度影響度に関する補正項が追加され、以下の式３のようになる。ここで、ＥＡ（ｍｏｉｓｔ，ｐ）は、喜びｐと湿度影響度との関係性を表した補正値データベースの値であり、Ｆ_{ｍｏｉｓｔ}は、湿度影響度である。

本実施形態に係る各影響度算出部では、各影響度の判定条件において、影響を与えない要因や影響が不明な要因は、影響度がゼロとなるように設定されている。そのため、本実施形態に係る感情適合度の補正処理では、バイオ特徴量、個人ストレス特性、外部環境特徴量、社会的状況パラメータの一部または全部が取得できない場合に、取得できなかった特徴量に起因する影響度はゼロとなる。これにより、感情適合度の補正処理になんら悪影響を及ぼすことはない。すなわち、本実施形態に係る感情適合度の補正処理は、様々な実装上の制約等により、ケースバイケースで取得することができた特徴量の種類や属性のばらつきに係らず、感情適合度の補正を行うことができる。

補正値データベース修正部１２７は、補正値データベースに記載された補正値を、取得した感情適合度または感情適合度の補正値に基づいて修正する。

記憶部１２３に記録されている補正値データベースは、多数の学習サンプルに対するＥ_ｙａとＥ_ｙｖとＦ_ｉとから、多変数統計解析による統計量を利用することで設定することができる。また、先見的・経験的な知識から定性的に補正値データベースの補正値を設定することも可能である。

以下の説明では、それぞれの影響度には相関はないものとして定式化を行ったが、各影響度の相関を加味した修正方法を行っても良い。その場合には、各影響度の相関が十分に推定できるだけの学習サンプルが必要となる。

以下の説明では、まず、発話者本人から、直接的な訂正や指示が与えられ、感情適合度Ｅ_ｙａの補正値Ｅ’_ｙａが得られた場合について説明する。このような場合に、本実施形態に係る補正値データベース修正部１２７は、以下の式４で定義される差分ΔＥ_ｙａを用いて、補正値データベースに記載されている補正値を修正する。かかる方法を用いることで、多変数統計解析を再度実行することなく、補正値データベースの内容を更新することが可能となる。

具体的には、補正値データベース修正部１２７は、得られた差分を｛ＥＡ（ｉ，ｙ）×Ｆ_ｉ｝^２の大きさで比例配分し、補正値データベースに記載されている補正値の修正を行う。式５に示したようにパラメータＱを定義すると、差分ΔＥ_ｙａから補正値データベースの補正値を修正するための式は、以下の式６のように表される。

このような計算を行うことで、補正値データベース修正部１２７は、記憶部１２３に記録されている補正値データベースを、簡易な方法で更新することが可能となる。

また、発話者が算出された感情適合度を参照すると、「現在の感情は、感情カテゴリｙではなく、ｙ’に近い」という示唆をする場合がある。そこで、本実施形態に係る補正値データベース修正部１２７は、このような発話者の直感的な訂正に対して、以下のような方法で、補正値データベースの修正を行う。

発話者が上述のような直感的な訂正を行う場合には、「感情ｙの感情適合度Ｅ_ｙａよりも、他の感情ｙ’の感情適合度Ｅ_ｙ’ａの方が大きい」ということを意味している。換言すれば、「現在の感情識別方法では、Ｅ_ｙａ＞Ｅ_ｙ’ａとなっている」という指摘を意味している。そこで、補正値データベース修正部１２７は、まず、以下の式７に示すようなパラメータＰを定義する。続いて、補正値データベース修正部１２７は、パラメータＰを用いて、感情ｙおよび感情ｙ’における差分ΔＥ_ｙａおよびΔＥ_ｙ’ａを、以下の式８および式９のように定義する。ここで、式７における正の定数θは、逆転定数を表し、Ｅ_ｙａとＥ_ｙ’ａとの大小関係をθ分だけ逆転させるために用いられる定数である。

次に、補正値データベース修正部１２７は、算出した差分ΔＥ_ｙａおよびΔＥ_ｙ’ａを用いて、上述の式６を実行することで、それぞれの感情カテゴリにおける補正値データベースを修正することができる。

また、上記式７に替えて、以下に示す式７’を用いることも可能である。以下に示す式７’において、１より大きな定数γが、感情適合度の大小関係を逆転させるための逆転定数となる。

なお、以上の修正方法に関する説明では、１回の発話者の指摘のみで感情判定に反映させる（すなわち、補正値データベースの修正を行う）場合について説明したが、ｎ回の指摘を受けた後に初めて補正値データベースの修正を行うようにしてもよい。この場合には、差分ΔＥ_ｙａを１／ｎにした値で、上記式５および式６を実行すればよい。

また、以上の説明では、補正値データベースに記載されている補正値を、得られた差分に基づいて修正する場合について説明したが、発話者から得られた直接的な訂正や指示を、新たな学習サンプルと考え、多変数統計解析を再度実行してもよい。また、得られた差分ΔＥ_ｙａを用いて、感情適合度Ｅ_ｙｖを補正する処理を行うことも可能である。

記憶部１２３には、感情適合度補正部１２１が感情適合度の補正に用いる補正値データベースが格納されている。また、記憶部１２３には、感情適合度算出部１０３が音声特徴量に基づいて感情適合度を算出する際に利用される、感情パターンデータベースが格納されていてもよい。また、記憶部１２３には、本実施形態に係る各影響度算出部が影響度の算出に利用する、判断基準等の記載されたデータベースやテーブルが格納されていてもよい。また、記憶部１２３には、本実施形態に係る感情識別装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録されてもよい。この記憶部１２３は、音声特徴量取得部１０１、感情適合度算出部１０３、バイオ特徴量取得部１０５、バイオ特徴影響度算出部１０７、ストレス特性取得部１０９、ストレス影響度算出部１１１、外部環境特徴量取得部１１３、外部環境影響度算出部１１５、社会的状況パラメータ取得部１１７、社会的状況影響度算出部１１９、感情適合度補正部１２１等が、自由に読み書きを行うことが可能である。

以上、本実施形態に係る感情識別装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

＜感情識別方法について＞
続いて、図３を参照しながら、本実施形態に係る感情識別装置が実施する感情識別方法について、詳細に説明する。図３は、本実施形態に係る感情識別方法を説明するための流れ図である。

まず、本実施形態に係る感情識別装置１０の音声特徴量取得部１０１は、発話者が発した音声をデジタル音声情報に変換した上で、所定の方法を用いて音声特徴量を取得する（ステップＳ１０１）。音声特徴量取得部１０１は、取得した音声特徴量を、感情適合度算出部１０３に伝送する。

続いて、感情適合度算出部１０３は、伝送された音声特徴量と、記憶部１２３に記録されている感情パターンデータベース等を利用して、所定の方法により感情適合度を算出する（ステップＳ１０３）。感情適合度算出部１０３は、算出した感情適合度を、感情適合度補正部１２１に伝送する。

続いて、本実施形態に係る感情識別装置１０が備える特徴量取得部（例えば、バイオ特徴量取得部１０５、ストレス特性取得部１０９、外部環境特徴量取得部１１３、社会的状況パラメータ取得部１１７）は、それぞれの特徴量取得部で取得可能な特徴量の取得を試みる（ステップＳ１０５）。特徴量を取得できた特徴量取得部は、取得した特徴量を、対応する影響度算出部に伝送する。

次に、各影響度算出部（例えば、バイオ特徴影響度算出部１０７、ストレス影響度算出部１１１、外部環境影響度算出部１１５、社会的状況影響度算出部１１９）は、伝送された特徴量と、所定の基準とを比較して、各特徴量に基づく影響度を算出する（ステップＳ１０７）。各影響度算出部は、算出した影響度を、感情適合度補正部１２１に伝送する。

続いて、感情適合度補正部１２１は、各影響度算出部から伝送された影響度に基づき、記憶部１２３に記録されている補正値データベースを参照しながら、補正後の感情適合度を、式１により算出する（ステップＳ１０９）。その後、感情適合度補正部１２１は、算出した補正後の感情適合度を、出力する（ステップＳ１１１）。

このような方法を経ることで、本実施形態に係る感情識別方法は、発話者の発話行為に対して影響を与えうる要因による影響を補正し、発話者の感情の識別や評価を、より正確に行うことができる。

また、本実施形態に係る感情識別方法では、上述のステップＳ１１１の後に、補正値データベース修正部１２７によるデータベースの修正処理を行うことが可能である。

なお、上述の説明では、音声特徴量の後に、各種の特徴量の取得が行われる場合について説明したが、音声特徴量の取得と、各種の特徴量の取得は、平行して行われてもよく、音声特徴量の取得の前に、各種の特徴量の取得が行われてもよい。

＜ハードウェア構成について＞
次に、図４を参照しながら、本発明の各実施形態に係る感情識別装置１０のハードウェア構成について、詳細に説明する。図４は、本発明の各実施形態に係る感情識別装置のハードウェア構成を説明するためのブロック図である。

感情識別装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブルメディア９２７に記録された各種プログラムに従って、感情識別装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、感情識別装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続装置９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。感情識別装置１０のユーザは、この入力装置９１５を操作することにより、感情識別装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置などの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、感情識別装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、感情識別装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、感情識別装置１０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種の特徴量やデータなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、感情識別装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディア９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディア９２７に記録を書き込むことも可能である。リムーバブルメディア９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。また、リムーバブルメディア９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。

接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を感情識別装置１０に直接接続するためのポートである。この接続ポート９２３に外部接続装置９２９を接続することで、感情識別装置１０は、外部接続装置９２９から直接各種の特徴量やデータ等を取得したり、外部接続装置９２９に各種のデータ等を提供したりする。

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

以上、本発明の各実施形態に係る感情識別装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜まとめ＞
以上説明したように、本発明の各実施形態に係る感情識別装置は、発話者に対してストレスを与えうる要因を表す特徴量に基づいて、各要因に対応した影響度を算出する。感情識別装置は、ストレスを与えうる要因と、ストレスを与えうる要因が所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースを参照しながら、算出された影響度に基づいて、感情適合度の補正を適正に行う。これにより、本発明の各実施形態に係る感情識別装置は、外部物理環境、身体のストレス、社会的ストレス、個人のストレス耐性要因など感情に関係する要因を統合して補正し、発話者の感情の識別や評価を、より正確に行うことができる。

本発明の各実施形態に係る感情識別装置は、識別結果を発話者にインタラクティブにフィードバックするサービス、例えば、ゲームアプリケーションや対面ロボットのサービス、受付応答サービスなどに利用することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の第１の実施形態に係る感情識別装置の構成を説明するためのブロック図である。 同実施形態に係る感情適合度補正部を説明するためのブロック図である。 同実施形態に係る感情識別方法を説明するための流れ図である。 本発明の各実施形態に係る感情識別装置のハードウェア構成を説明するためのブロック図である。

符号の説明

１０ 感情識別装置
１０１ 音声特徴量取得部
１０３ 感情適合度算出部
１０５ バイオ特徴量取得部
１０７ バイオ特徴影響度算出部
１０９ ストレス特性取得部
１１１ ストレス影響度算出部
１１３ 外部環境特徴量取得部
１１５ 外部環境影響度算出部
１１７ 社会的状況パラメータ取得部
１１９ 社会的状況影響度算出部
１２１ 感情適合度補正部
１２３ 記憶部
１２５ 補正処理部
１２７ 補正値データベース修正部

Claims (13)

1. 発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置であって、
   前記音声特徴量または前記音声特徴量の変化量に基づいて、前記所定の感情カテゴリの前記感情適合度を算出する感情適合度算出部と、
   取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出部と、
   前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースが予め記録された記憶部と、
   算出された前記影響度と前記補正値データベースとを用いて、算出された前記感情適合度を補正する感情適合度補正部と、
   を備えることを特徴とする、感情識別装置。
2. 前記影響度算出部は、前記ストレスを与えうる要因による前記感情適合度への影響度と、前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積を、前記感情適合度の補正値とする
   ことを特徴とする、請求項１に記載の感情識別装置。
3. 前記感情適合度補正部は、前記補正値データベースに記載された、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値を、取得した前記感情適合度または前記感情適合度の補正値に基づいて修正する補正値データベース修正部を更に備える
   ことを特徴とする、請求項１に記載の感情識別装置。
4. 前記補正値データベース修正部は、前記発話者から直接前記感情適合度の補正値が入力された場合に、前記補正値データベースを修正する
   ことを特徴とする、請求項３に記載の感情識別装置。
5. 前記補正値データベース修正部は、算出された前記感情適合度が属する前記感情カテゴリとは異なる感情カテゴリの前記感情適合度が最大値となる前記感情適合度の補正値が、前記発話者から直接入力された場合に、前記補正値データベースを修正する
   ことを特徴とする、請求項３に記載の感情識別装置。
6. 前記補正値データベース修正部は、前記発話者から直接入力された前記感情適合度の補正値と、前記感情適合度補正部が算出した前記感情適合度の補正値との差分を、前記影響度と前記補正値データベースに記載された前記所定の感情カテゴリにおける補正値との積で比例配分した値を用いて、前記影響の度合いを数値化した補正値を修正する
   ことを特徴とする、請求項４に記載の感情識別装置。
7. 前記補正値データベース修正部は、前記発話者から直接入力された補正値を用いて算出された前記感情適合度と、前記感情適合度補正部により算出された前記感情適合度との差分を用いて、前記影響の度合いを数値化した補正値を修正する
   ことを特徴とする、請求項５に記載の感情識別装置。
8. 前記発話者に対してストレスを与えうる要因は、前記発話者の身体的な特徴に起因する要因、前記発話者のストレス特性、前記発話者が置かれた外部環境に起因する要因および前記発話者の社会的状況に起因する要因の少なくとも何れか一つである
   ことを特徴とする、請求項１〜７のいずれかに記載の感情識別装置。
9. 前記発話者の身体的な特徴に起因する要因は、前記発話者の体温、脈拍、アルコール濃度および人体の電気抵抗の少なくとも何れか一つである
   ことを特徴とする、請求項８に記載の感情識別装置。
10. 前記発話者が置かれた外部環境に起因する要因は、前記発話者が置かれた外部環境の騒音レベル、照度、温度、湿度、風圧および人体加速度の少なくとも何れか一つである
    ことを特徴とする、請求項８に記載の感情識別装置。
11. 前記発話者が置かれた社会的状況に起因する要因は、前記発話者が存在する場所に関する位置情報、時刻情報および前記発話者の就業スケジュール情報の少なくとも何れか一つである
    ことを特徴とする、請求項８に記載の感情識別装置。
12. 発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別方法にであって、
    前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出ステップと、
    取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出ステップと、
    前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正ステップと、
    を含むことを特徴とする、感情識別方法。
13. コンピュータを、発話者の音声から得られた音声スペクトル、音声強度、ピッチ周波数または発話速度の少なくとも何れかを含む音声特徴量または当該特徴量の変化量に基づいて、前記発話者の感情が所定の感情カテゴリに適合しているかを表す感情適合度を算出する感情識別装置として機能させるためのプログラムであって、
    前記音声特徴量または前記音声特徴量の変化量に基づいて、所定の感情カテゴリの前記感情適合度を算出する感情適合度算出機能と、
    取得した前記発話者に対してストレスを与えうる要因を表す特徴量、または、当該ストレスを与えうる要因を表す特徴量の変化量を用いて、前記ストレスを与えうる要因が前記発話者の発声に与える影響度を、所定の基準に基づいて数値化する影響度算出機能と、
    前記ストレスを与えうる要因と、前記ストレスを与えうる要因が前記所定の感情カテゴリに与える影響の度合いを数値化した補正値と、が互いに関連付けられた補正値データベースと、算出された前記影響度とを用いて、算出された前記感情適合度を補正する感情適合度補正機能と、
    をコンピュータに実現させるためのプログラム。
    
    

Images