JP2009042671A - 感情を判定するための方法 - Google Patents

Abstract

【課題】所望の刺激に対する被験者の快／不快の感情をより的確に判定する。
【解決手段】所望の刺激が与えられる前に被験者が発した音声から所定の種類の音声パラメータの値（第１の値）を抽出し、次に、同じ被験者（被験者Ａ）に前記所望の刺激が提供されているとき、または、被験者Ａに前記所望の刺激が提供されていたときの状況を被験者Ａが想起しているときに、被験者Ａが発した音声から、前記所定の種類と同じ種類の音声パラメータの値（第２の値）を抽出する。前記第１の値と前記第２の値を比較し、この比較結果に基づいて、前記第２の音声を発したときの被験者Ａの感情が快であるか否かを判定する。
【選択図】図５

Description

本発明は、被験者の音声から被験者の感情を判定するための装置及び方法に関する。

被験者の音声信号を音声分析することにより当該被験者の感情を検出する装置は公知であり、特に、被験者の音声信号から、基本周波数、第１及び第２フォルマント等の音声パラメータを抽出して、当該被験者の感情を検出する装置として、特許文献１に記載されているものがある。

特許文献１では、被験者の音声信号から抽出した音声パラメータと所定のデータベースに蓄積された音声パラメータとの比較に基づいてその被験者の感情を判定しているが、このデータベースは、特別に選択された特定の複数の被験者の感情と音声パラメータに関する統計情報を含むものである。
特表２００３−５０８８０５号公報

上記のように、特許文献１に開示された方法では、それぞれの被験者の音声から抽出されたデータと比較されるのは、データベースに予め蓄積された、特定の複数の被験者の音声から抽出されたデータである。このため、この方法によって、たとえば、何らかの刺激を受けた後の被験者の感情を検出する場合には、その刺激を受ける前における当該被験者固有の音声の特性は何ら考慮されない。したがって、このような場合には、感情検出の精度が低下したり、被験者間での感情の検出精度のバラツキが大きくなるという問題があった。

本発明は、かかる問題点に鑑みてなされたものであり、ある刺激（たとえば視覚情報など）に対する被験者の感情を判定する際に、その刺激が与えられる前における被験者の音声特性をも個別に考慮に入れることにより、その刺激を受けた状態における被験者の感情が快であるか（たとえば、刺激に対して好感や興味を持ったり、喜び、楽しみなどの感情を抱いているか）、または、不快であるか（たとえば、刺激に対して嫌悪感を持ったり、失望したり、悲しみや怒りなどの感情を抱いているか）を、より的確に判定しうる感情判定手段を提供しようとするものである。

図５は本発明の概念を説明するためのフローチャートであり、本発明は、図５に示す本発明の概念を実施する方法を本発明の範囲に含む。この方法は、所定の刺激が与えられる前に被験者が発した音声を第１の音声信号として取得するステップ（ステップ５１０）と、前記第１の音声信号から所定の種類の音声パラメータの値（第１の値）を抽出するステップ（ステップ５２０）と、前記被験者に所定の刺激が提供されているとき、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者が想起しているときに、前記被験者が発した音声を第２の音声信号として取得するステップ（ステップ５３０）と、前記第２の音声信号から前記所定の種類と同じ種類の音声パラメータの値（第２の値）を抽出するステップ（ステップ５４０）と、前記第１の値と前記第２の値を比較するステップ（ステップ５５０）と、この比較結果に基づいて、前記第２の音声を発したときの前記被験者の感情が快であるか否かを判定するステップ（ステップ５６０）を含む。

この方法には、さらに、ステップ５２０と５３０の間に前記所定の刺激を前記被験者に提供するステップ、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者に想起させるステップを含めてもよい。

本発明は、また、図５に示す本発明の概念を実現するための装置を本発明の範囲に含む。この装置は、被験者の音声信号を取得する音声信号取得手段と、前記音声信号から少なくとも１つの種類の音声パラメータの値を抽出する音声パラメータ値抽出手段と、抽出された音声パラメータの２つの値を比較して、この比較結果に基づいて、前記被験者の感情が快であるか否かを判定する判定手段を備える。この判定手段は、前記被験者に所定の刺激が提供される前に該被験者が発した音声信号（第１の音声信号）から抽出された音声パラメータの値（第１の値）と、抽出した前記音声パラメータと同じ種類の音声パラメータの値であって、前記被験者に前記所定の刺激が提供されているとき、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者が想起しているときに該被験者が発した音声信号（第２の音声信号）から抽出された音声パラメータの値（第２の値）との２つの値を比較し、この比較結果に基づいて、前記第２の音声信号を発したときの前記被験者の感情を判定する。

この装置には、さらに、所望の刺激を被験者に提供するための刺激提供手段を設けてもよい。

上記方法または装置における比較結果は、いずれも、前記第２の値から前記第１の値を減算した結果である差分値とすることができ、さらに、この差分値と所定の値とを比較した結果に基づいて、被験者の感情が快か不快を判定するようにすることができる。

尚、上記刺激は、人間の視覚、聴覚、臭覚、触覚、味覚のいずれか、またはこれらの任意の組みわせに作用するものとすることができる。

ところで、感情の判定精度をより高めるために、被験者に所定の刺激を提示する前においては、被験者が、なるべく快または不快の感情を抱いていない状態で発した音声を取得し、これによって、抽出される音声パラメータ値に付加される、快または不快感情に起因するバイアスを最小化するのが好ましい。これを実現するために、たとえば、十分な数の被験者に対する事前の調査・実験により、多数の被験者に「快」または「不快」のいずれの感情も喚起させないことが検証された刺激（中性刺激という）を予め準備しておき、この中性刺激を所定の刺激を提供する前に被験者に提供するようにしてもよい。

本発明によれば、所定の刺激情報が提供される前と提供されたとき（または、提供された後）のそれぞれにおいて同じ被験者から得られた音声パラメータが比較されるため、所定の刺激に対する被験者の感情判定において、その所定の刺激情報が提供される前の当該被験者固有の音声特性も考慮したより精度の高い判定が可能である。したがって、例えば、新しい商品やサービスなどを被験者に提示して、それらの商品等が提示される前と提示されたときの被験者の音声、あるいは、被験者がそれらの商品等を提示された時のことを回想してインタビューに応えている時の音声を、本発明にしたがって処理することにより、被験者の言葉や表情だけからは測りきれない、それらの商品等に対して抱いた被験者の感情をより的確に推定することが可能となる。

本発明の実施例を説明する前に、本発明の契機となった実験の概要及びその実験結果を示す。

この実験は、所定の感情価をもつ複数の画像を予め準備して、２０名以上の被験者を対象として行われ、それらの複数の画像を提示する前の比較的落ち着いた状態で各被験者が発した音声と、それらの画像を各被験者に提示した後に各被験者が発した音声とからそれぞれ抽出された音声パラメータの値が分析された。提示した画像は、先行調査によって、快感情を喚起する画像（タイプ１の画像）、不快感情を喚起する画像（タイプ２の画像）、快及び不快のいずれの感情も喚起しない画像（タイプ３の画像。いわゆる中性画像）として検証されたものである。実験は、
１）各被験者に「ａ、e、ｉ、ｏ、ｕ」と発声してもらい、自然な形でこの音声を録音し、これを５回繰り返す。

２）次に、タイプ３の画像、タイプ１の画像、タイプ３の画像、タイプ２の画像、タイプ３の画像の順、またはタイプ３の画像、タイプ２の画像、タイプ３の画像、タイプ１の画像、タイプ３の画像の順で被験者に提示し、それぞれのタイプの画像の提示が終了する毎に、各被験者に、「このテーマは」に続いて、一連の画像のテーマを回答してもらい、この音声を録音する。
という手順で行った。

上記２）の各試行から得られたそれぞれの被験者の音声から「このテーマは」の部分を切り出して、平均基本周波数（Ｆ０）、最大基本周波数（Ｆ０ＭＡＸ）、最小基本周波数（Ｆ０ＭＩＮ）、平均強度（ＩＮＴ．）、第１〜第４フォルマント周波数（Ｆ１〜Ｆ４）を音声パラメータとして音声分析を行った。上記１）で録音した音声についても同様の音声分析を行い、５回の平均値を算出して、この平均値をベースラインとし、このベースラインと上記２）の各試行での音声分析の結果との差を算出し、快刺激、不快刺激の平均値を算出した。また、得られた値について、対応のあるｔ検定を行った。これらの結果を表１に示す。

以上の実験結果から、平均基本周波数（Ｆ０）、第１〜第４フォルマントの各周波数（Ｆ１〜Ｆ４）、最大基本周波数（Ｆ０ＭＡＸ）、最小基本周波数（Ｆ０ＭＩＮ）といった音声パラメータは、外部刺激が与えられているときの被験者の快または不快感情を推測するための音声パラメータとして利用できることがわかった。特に、平均基本周波数（Ｆ０）、第１フォルマント周波数（Ｆ１）、第３フォルマント周波数（Ｆ３）は有効なパラメータとなりうることが認められた。

１．第１の実施形態
図１は、本発明の第１の実施形態に係る感情判定装置１００のブロック図である。

感情判定装置１００は、音声信号取得ブロック１１０、音声パラメータ値抽出ブロック１２０、感情判定ブロック１３０、表示手段１４０、制御手段１５０、及びユーザインターフェース手段１６０から構成される。

音声信号取得ブロック１１０は、マイクロホン１１２とＡ／Ｄ（アナログ−ディジタル）変換器１１４から構成される。Ａ／Ｄ変換器１１４の出力は、次段の音声パラメータ値抽出ブロック１２０に入力される。

音声パラメータ値抽出ブロック１２０は、平均基本周波数（Ｆ０）抽出手段１２０ａ、最大基本周波数（Ｆ０ＭＡＸ）抽出手段１２０ｂ、最小基本周波数（Ｆ０ＭＩＮ）抽出手段１２０ｃ、第１フォルマント（Ｆ１）抽出手段１２０ｄ、第２フォルマント（Ｆ２）抽出手段１２０ｅ、第３フォルマント（Ｆ３）抽出手段１２０ｆ、第４フォルマント（Ｆ４）抽出手段１２０ｇを備える（但し、感情判定装置１００は、これらの抽出手段の全てではなく、少なくとも１つの抽出手段を備える構成であってもよいが、少なくともＦ０、Ｆ０ＭＡＸ、Ｆ０ＭＩＮ、Ｆ１及びＦ３の５つの種類のパラメータの値、または、これらの５つのうちの少なくとも１つの種類のパラメータの値を抽出する手段を備えることが好ましい）。抽出手段１２０ａ〜１２０ｇのそれぞれは、Ａ／Ｄ変換器１１４の出力であるディジタル音声信号を受信して、音声パラメータ、すなわち、平均基本周波数、最大基本周波数、最小基本周波数、第１フォルマント周波数、第２フォルマント周波数、第３フォルマント周波数、第４フォルマント周波数の値をそれぞれ抽出して出力する。これら７つの抽出手段としては、いずれも周知の構成を採用することができる。

感情判定ブロック１３０は、レジスタ手段１３１ａ〜１３１ｇ、選択手段１３２、第１の比較手段１３３、第２の比較手段１３４、第３の比較手段１３５、第１のメモリ手段１３６、第２のメモリ手段１３７、及び判定部１３８から構成される。各抽出手段１２０ａ〜１２０ｇの出力は、対応する次段のレジスタ手段１３１ａ〜１３１ｇ及び選択手段１３２の対応する入力Ｂ₀〜Ｂ₆のそれぞれに接続されている。選択手段１３２は、制御手段１５０による指示にしたがって、Ａ₀とＢ₀、Ａ₁とＢ₁、Ａ₂とＢ₂、Ａ₃とＢ₃、Ａ₄とＢ₄、Ａ₅とＢ₅、Ａ₆とＢ₆のいずれか１つの組を選択して出力するものであり、出力Ｑ_AからはＡ₀〜Ａ₆のうちの選択されたものを、出力Ｑ_Bからは対応するＢ₀〜Ｂ₆のうちの選択されたものを出力するように構成されている。第１の比較手段１３３は、選択手段１３２の出力Ｑ_A、Ｑ_Bから出力される信号（以下、説明の簡単のためにこれらの信号もそれぞれ、Ｑ_A、Ｑ_Bと呼ぶ）を受信し、Ｑ_AとＱ_Bの値を比較して比較結果ΔＱを出力する。この実施形態では、第１の比較手段１３３は、Ｑ_Aの値をＱ_Bの値から減算した結果（差分値）を比較結果ΔＱとして出力するように構成されている。

第２の比較手段１３４は、第１の比較手段１３３の出力ΔＱと第１のメモリ手段１３６の出力を受信し、それら２つの出力の値を比較して比較結果ΔＸを出力する。第３の比較手段１３５は、第１の比較手段１３３の出力ΔＱと第２のメモリ手段１３７の出力を受信し、それら２つの出力の値を比較して比較結果ΔＹを出力する。

第１のメモリ手段１３６には、上記の各音声パラメータ毎に予め決められた上限値が格納されており、第１のメモリ手段１３６は、制御手段１５０による制御により、第１の比較手段１３３でΔＱを得るために比較対象とされた音声パラメータと同じ種類の音声パラメータについての上限値を第２の比較手段１３４に送出するように構成されている。

第２のメモリ手段１３７には、上記の各音声パラメータ毎に予め決められた下限値が格納されており、第２のメモリ手段１３７は、制御手段１５０による制御により、第１の比較手段１３３でΔＱを得るために比較対象とされた音声パラメータと同じ種類の音声パラメータについての下限値を第３の比較手段１３５に送出するように構成されている。すなわち、比較される音声パラメータの種類は第１〜第３の比較手段で共通であり、各々の比較手段で比較される２つの値は同じ種類の音声パラメータについてのものである。尚、各音声パラメータについて、上限値≧下限値である。

この実施形態では、第２の比較手段１３４は、第１の比較手段１３３の出力値ΔＱから第１のメモリ手段１３６の出力値を減算した結果（差分値）を比較結果ΔＸとして出力し、第３の比較手段１３５は、第２のメモリ手段１３７の出力値から第１の比較手段１３３の出力値ΔＱを減算した結果（差分値）を比較結果ΔＹとして出力するようにそれぞれ構成されている。

ここで、上記上限値は、被験者の音声から得られたΔＱの値が、この音声パラメータの上限値を超えたときには、その被験者は、その音声を発したときに快の感情を有していたと認めるのに適する値として選択されたものであり、同様に、上記下限値は、被験者の音声から得られたΔＱの値がこの下限値を下回ったときには、その被験者は、その音声を発したときに不快の感情を有していたと認めるのに適する値として選択されたものである。尚、これらの上限値及び下限値は、たとえば、事前の調査・実験において、十分な数の被験者を対象として、様々な刺激を与える前と与えた後の各音声パラメータ値を取得・分析した結果に基づいて決定することができる。

判定部１３８は、比較結果ΔＸ及びΔＹを受信して、これらの値に基づいて後述のようにして被験者の感情が快か否かを判定する。

表示手段１４０はモニタ等の表示装置からなり、判定部１３８による判定結果を表示する。

制御手段１５０は、ユーザインターフェース手段（以下、Ｉ／Ｆという）１６０を介して入力されたユーザの指示に基づいて、上記各コンポーネントの動作を制御する。たとえば、制御手段１５０は、どの音声パラメータが感情判定用のパラメータとして有効となっているかを判断して、その有効な音声パラメータの値が選択手段１３２の出力Ｑ_A、Ｑ_Bからそれぞれ出力されるように選択手段１３２を制御する。また、平均基本周波数による感情判定に続いて、最大基本周波数から第４フォルマント周波数までの各音声パラメータについて、順次感情判定が行われるよう各コンポーネントを制御することもできる。

Ｉ／Ｆ１６０は、ユーザのキー入力（不図示）によるユーザの指示に応答して、たとえば、装置１００の起動／停止や音声信号取得ブロック１１０への音声信号取得開始を制御手段に伝える。

以上のように構成された感情判定装置１００の動作を、その動作の１例を示す図２のフローチャートを参照して説明する。

図２は、感情判定装置１００を用いて、被験者がある刺激を受けたときの当該被験者の感情を判定する場合の動作フローを示す図である。被験者に与える刺激としては、上記のように、被験者の視覚、聴覚、臭覚、触覚、味覚のいずれか、またはこれらの任意の組みわせに作用するものを使用できるが、ここでは、１例として、視覚情報を被験者に与える場合について説明する。具体的には、任意に選択された一人の被験者Ａが特定の製品、ここでは、ある特定のビデオカメラ（以下、ビデオカメラＶという）を見ることによって受けた刺激に応答してその被験者Ａが快と感じたか否か（すなわち、快、不快、または、快でも不快でもない、のいずれの感情を抱いたか）を判定するものとする。したがって、この場合の刺激は、ビデオカメラの外観という視覚情報である。尚、装置１００の操作者を操作者Ｂ（不図示）とする。

まず、ステップ２００において、装置１００は音声信号取得の指示を待つ。このステップ中に、操作者Ｂは、被験者Ａに不図示のビデオカメラＶによる視覚刺激がまだ提供されていないこと、たとえば、被験者ＡがビデオカメラＶをまだ視認していないことを確認すると、適宜のタイミングでＩ／Ｆ１６０に設けられた不図示の音声信号取得スタートキーを押下することができる。このキー押下に応答して、制御手段１５０は音声信号取得ブロック１１０に音声信号取得の開始を指示する。

一方、操作者Ｂは、音声信号取得スタートキーの押下後、被験者Ａが所定時間（たとえば、１０〜３０秒程度）継続して音声を発したことを確認すると、Ｉ／Ｆ１６０に設けられた不図示の音声信号取得ストップキーを押下することによって、装置１００に音声信号取得の停止を指示することができる。実際には、このキー押下に応答して、制御手段１５０が音声信号取得ブロック１１０に音声信号取得の停止を指示し、これにより、音声信号取得処理が停止される。

ステップ２１０において、音声信号取得ブロック１１０は、ステップ２００における音声信号取得の指示に応答して、被験者Ａが発した音声をマイクロホン１１２を通じてアナログ音声信号に変換し、このアナログ音声信号をＡ／Ｄ変換器１１４でサンプリングしてディジタル音声信号に変換する。このときの被験者Ａの音声は、被験者ＡがビデオカメラＶを視認する前、すなわち、ビデオカメラＶからの刺激情報は何ら受け取っていないとみなすことが可能な状態において発せられた音声である。

Ａ／Ｄ変換器１１４から出力されたディジタル音声信号は、音声パラメータ値抽出ブロック１２０の各抽出手段１２０ａ〜１２０ｇに送られる。以下では、説明を簡単にするために、音声パラメータ値として平均基本周波数（Ｆ０）を抽出して被験者Ａの感情を判定する場合を１例（以下、本例として参照する）として説明する。したがって、本例では、ディジタル音声信号は、少なくとも平均基本周波数抽出手段１２０ａに送られることになる。

ステップ２２０において、平均基本周波数抽出手段１２０ａは、Ａ／Ｄ変換器１１４から受信したディジタル音声信号に対して周知の処理を施して平均基本周波数を抽出する。抽出された平均基本周波数の値を表す信号はレジスタ手段１３１ａに送出され、制御手段１５０の制御の下、レジスタ手段１３１ａには被験者Ａの音声から抽出された平均基本周波数が格納される（以下、ステップ２２０で抽出された平均基本周波数を第１の平均基本周波数という）。以上の処理は他の抽出手段についても同様であり、たとえば、第１フォルマント（Ｆ１）抽出手段１２０ｄにおいて抽出された第１フォルマント周波数はレジスタ手段１３１ｄに送られる。

ステップ２３０において、再び、装置１００は音声信号取得の指示を待つ。このステップ中に、操作者Ｂは、被験者ＡにビデオカメラＶの視覚情報という刺激が提供されていること、たとえば、被験者ＡがビデオカメラＶを所定時間継続して注視している（より具体的には、たとえば、被験者Ａが２分間程継続してビデオカメラＶに見入っている）ことを確認すると、上記と同様にＩ／Ｆ１６０の音声信号取得スタートキーを適宜のタイミングで押下することができる。このキー押下に応答して、制御手段１５０は音声信号取得ブロック１１０に音声信号取得の開始を指示する。

音声信号取得ブロック１１０は、ステップ２３０における音声信号取得指示を検出すると、ステップ２４０において、被験者Ａが発した音声をマイクロホン１１２を通じてアナログ音声信号に変換し、このアナログ音声信号をＡ／Ｄ変換器１１４でサンプリングしてディジタル音声信号に変換する。このときの被験者Ａの音声は、被験者ＡがビデオカメラＶを所定時間継続して注視したことによる視覚刺激を受けているとき（または、その視覚刺激を受けた直後、たとえば、ビデオカメラの注視をやめてから２分程度以内）に所定時間（たとえば、１０〜３０秒程度）継続して発した音声である。

Ａ／Ｄ変換器１１４から出力されたディジタル音声信号は、ステップ２２０で抽出したのと同じ種類の音声パラメータ値を抽出する抽出手段に送られる。本例では、少なくとも平均基本周波数抽出手段１２０ａに送られることになる。

ステップ２５０は、ステップ２２０で抽出したのと同じ種類の音声パラメータの値を抽出するステップである。本例では、平均基本周波数抽出手段１２０ａが、ステップ２２０と同様にして、Ａ／Ｄ変換器１１４から受信したディジタル音声信号から平均基本周波数を抽出して出力する（以下、ステップ２５０で抽出された平均基本周波数を第２の平均基本周波数という）。しかしながら、今度は、制御手段１５０の制御の下、レジスタ手段１３１ａにはこの第２の平均基本周波数は格納されず、レジスタ手段１３１ａの内容は変更されない。

平均基本周波数抽出手段１２０ａから第２の平均基本周波数が出力されると同時に、制御手段１５０による制御の下、レジスタ手段１３１ａから第１の平均基本周波数が出力される。したがって、この時点で、選択手段１３２のＡ₀、Ｂ₀入力には、それぞれ、レジスタ手段１３１ａの出力、すなわち、第１の平均基本周波数と、平均基本周波数抽出手段１２０ａの出力、すなわち、第２の平均基本周波数が入力されている。選択手段１３２は、制御手段１５０の制御の下、出力Ｑ_A、Ｑ_Bに、それぞれ、入力Ａ₀、Ｂ₀に入力されている値、すなわち、第１の平均基本周波数、第２の平均基本周波を出力する。したがって、第１の比較手段１３３には、第１の平均基本周波数及び第２の平均基本周波数が入力される。

次のステップ２６０は、ステップ２２０と２５０で抽出された音声パラメータの値に基づいて被験者の感情が快か否かを判定するステップであり、ステップ２６２〜２６８からなる。

ステップ２６２は、ステップ２２０とステップ２５０で抽出された音声パラメータのうち同じ種類の音声パラメータの値同士を比較するステップである。本例では、第１の平均基本周波数と第２の平均基本周波数とが比較され、より具体的には、第１の比較手段１３３は、第１の平均基本周波数を第２の平均基本周波から減算した値（差分値）ΔＱ_mbfを出力する。したがって、ステップ２６２では、ビデオカメラＶの視覚情報という刺激を提供される前に被験者Ａが発した音声から抽出された平均基本周波数を、その刺激が提供されているとき（または提供された直後）に被験者Ａが発した音声から抽出された平均基本周波数から減算して、減算結果である差分値ΔＱ_mbfを生成する。この差分値ΔＱ_mbfは、第２の比較手段１３４と第３の比較手段１３５のそれぞれ一方の入力に入力される。

この時点で、制御手段１５０の制御の下、第１のメモリ手段１３６からは、平均基本周波数について予め決定された上限値（Ｐ_{mbf_max}）が第２の比較手段１３４の他方の入力に、第２のメモリ手段１３７からは、平均基本周波数について予め決定された下限値（Ｐ_{mbf_min}）が第３の比較手段１３５の他方の入力にそれぞれ入力されている。

ステップ２６４は、比較結果ΔＱ_mbfと上限値Ｐ_{mbf_max}を比較するステップである。本例では、第２の比較手段１３４により、ΔＱ_mbfからＰ_{mbf_max}を減算した差分値ΔＸが出力される。

ステップ２６６は、比較結果ΔＱ_mbfと下限値Ｐ_{mbf_min}を比較するステップである。本例では、第３の比較手段１３５により、Ｐ_{mbf_min}からΔＱ_mbfを減算した差分値ΔＹが出力される。

ステップ２６８は、ステップ２６４と２６６でそれぞれ得られた比較結果に基づいて、ステップ２４０において取得された音声を被験者Ａが発したとき（このときの音声は、被験者ＡがビデオカメラＶの視覚刺激を受けた状態で発したものであるとみなすことができる）の被験者Ａの感情が快であるか否かを判定するステップである。本例では、判定部１３８は、ビデオカメラＶの視覚刺激を受けたときの被験者Ａの感情を、ΔＸが正の値であれば「快」と判定し、ΔＹが正の値であれば「不快」と判定し、それらのいずれでもなければ「快、不快のどちらでもない」と判定する。

ステップ２７０は、ステップ２６８で判定された結果を表示するステップである。すなわち、ステップ２６８においてなされた「快」、「不快」、「快、不快のどちらでもない」との判定結果に応じて、表示手段１４０にその旨を示す表示がなされる。たとえば、「快」、「不快」、「快、不快のどちらでもない」というそれぞれの判定結果に対応して、それぞれ、緑色、赤色、黄色のマークを表示手段１４０に表示することができる。

以上、音声パラメータの種類として平均基本周波数を抽出する場合について説明したが、上記した他の音声パラメータについても、同様にして、装置１００は、順次音声パラメータを抽出し、各音声パラメータ毎に判定結果を生成して表示することができる。この場合、図１の装置１００の構成によれば、Ａ／Ｄ変換器１１４から受信した音声信号について、７つの種類の音声パラメータの抽出処理を並行して実施することができる。

尚、上記では、刺激を受けているとき、または刺激を受けた直後に被験者が発した音声から音声パラメータの値を抽出するものとして説明したが、刺激を受けてから任意の時間経過後に同じ被験者の音声から音声パラメータの値を抽出することも可能なことは装置１００の構成上明らかである。したがって、所望の刺激が与えられる前の状態における被験者の音声から特定の種類の音声パラメータの値を抽出した後、その被験者にその所望の刺激を与え（このときには音声パラメータ値抽出処理の必要はない）、それからしばらくたった後で、当該被験者に、当該所望の刺激を与えられていたときの状況を回想しつつ感想を述べてもらい、装置１００によってその音声から上記特定の種類の音声パラメータの値を抽出し、その所望の刺激を受けたときの当該被験者の感情を推定するといったことも可能である。

上記第１の実施形態の構成によれば、操作者Ｂが任意に選択して提供した刺激情報に対して被験者が抱いた感情が快であるか否かを、同一の被験者の音声から抽出した音声パラメータを比較することにより判定することができる。したがって、新たに開発した新製品やサービスをじかに、または、外部モニタに表示させるなどして間接的に被験者に提示し、その音声を分析することによって、通常のアンケート調査などでは測りきれない、それらの商品等に対する被験者の感情情報を得ることが可能である。

第１の実施形態のバリエーション
以下に、第１の実施形態の構成及び動作に対する変形形態を例示する。

上記では、音声パラメータ毎に、快、不快の判定基準値として上限値及び下限値の２つの値を用意して、ΔＱと比較するようにしたが、音声パラメータ毎に１つの判定基準値のみを用意して、これとΔＱを比較し、この値を超えたか否かに応じて、快または不快の判定を行うようにしてもよい。この場合は、図１の構成における、第２、第３の比較手段１３４、１３５、及び、第１、第２のメモリ手段１３６、１３７からなる構成を、１つの比較手段と１つのメモリ手段からなる構成で置き換えることができ、判定部１３８は、当該１つの比較手段からの１つの出力結果に基づいて、快か不快かいずれかのみを判定することになる。この場合、図２のステップ２６４及び２６６を、ステップ２６２で得られた比較結果と、それに対応する音声パラメータについての上記１つの判定基準値とを比較する１つのステップ（ステップ２６２’とする）で置換し、さらに、ステップ２６８では、このステップ２６２’で得られた比較結果に基づいて被験者Ａの感情を判定することになる。

また、音声信号取得ブロック１１０において刺激の提供の前後の時点（図２のステップ２１０、２４０に対応）で取得したディジタル音声を収集・格納するための記憶手段を別途設けて、音声パラメータ値抽出以降の処理をオフラインで行うようにすることもできる。この場合、さらに周知の構成の音声認識手段を組み込むことにより、複数の被験者の音声信号をその記憶手段に収集・格納して、後で一括して、各被験者毎の感情判定処理を行うことが可能である。かかる構成は、上記のような被験者の回想中の音声から音声パラメータを抽出して感情を判定する場合にも好適である。

また、音声パラメータ間に優先順位付けをして、優先順位の最も高い音声パラメータについての判定結果を採用し、それを表示手段１４０に表示するようにしてもよい。この場合、平均基本周波数（Ｆ０）に最も高い優先順位を設定するのが好ましい。

また、第１フォルマント周波数（Ｆ１）、最大基本周波数（Ｆ０ＭＡＸ）、最小基本周波数（Ｆ０ＭＩＮ）、第３フォルマント周波数（Ｆ３）のうちの少なくとも１つについての快か不快かの判定結果が、平均基本周波数（Ｆ０）についての判定結果と合致した場合にのみ、その判定結果（快または不快）を採用して表示手段１４０に表示するようにしてもよい。尚、この場合には、音声パラメータ値抽出ブロック１２０は、Ｆ０、Ｆ１、Ｆ０ＭＡＸ、Ｆ０ＭＩＮ、及びＦ３のそれぞれの値を抽出する手段のみ具備すればよい。

また、上記では、各音声パラメータ毎に順次判定を行うことができるものとして説明したが、ユーザが、Ｉ／Ｆ１６０を介して所望の１つまたは複数の音声パラメータを選択できるようにし、その選択された音声パラメータのみについて処理を行うようにしてもよい。この場合において、複数の音声パラメータが選択された場合には、上記と同様に優先順位に基づく判定処理を行うようにしてもよい。

また、表示手段１４０への表示は、単に、快か不快か等を示すのみでなく、ΔＸ、ΔＹの大きさに応じて、快、不快の度合いを表示するようにしてもよい。たとえば、快、不快の度合いを各々１０段階に分けて、ΔＸ、ΔＹの大きさに応じて、被験者の快、不快の度合いがどの段階に達しているかを棒グラフ状に表示することができる。

また、音声パラメータの種類毎に、第１、第２及び第３の比較手段１３３、１３４、１３５の出力を表示手段１４０に表示して、操作者Ｂ自身がそれらの表示データから被験者の感情を判定できるようにしてもよい。この場合は、図１の構成において判定部１３８を省いても省かなくてもよいが、省く場合には、第１、第２の比較手段の出力を直接表示手段１４０に入力することができる。同様に、図２のフローチャートにおいて、ステップ２６８を省く場合には、ステップ２６４、２６６で得られた比較結果をステップ２７０で表示するようにすることができる。

また、図２ではステップ２６４の後に２６６を実施するようにしているが、これら２つのステップの処理順序は任意でよく、並行して実施してもよい。

また、ステップ２００及び２３０において、装置１００は操作者Ｂからの音声信号取得の指示に応答して音声信号取得を開始する構成としたが、周知の構成の音声検出手段を組み込んで、当該音声検出手段によって所定のレベル以上の音声が検出されたときに、自動的に音声の取得を開始するようにしてもよい。

また、音声信号取得ブロック１１０の音声信号取得処理の停止は、操作者Ｂのキー入力による指示に代えて、制御手段１５０の制御の下、音声信号取得の開始から所定時間経過後に自動的に停止するようにしてもよい。

また、第１、第２のメモリ手段として書き換え可能なメモリ手段を採用し、感情を判定するための音声パラメータの基準値である上限値／下限値を、被験者のタイプや環境等に応じて外部から適宜設定する構成としてもよい。また、図１に示す構成において、第１と第２のメモリ手段１３６、１３７を別個に設けずに、１つのメモリ手段中の異なる記憶場所にそれぞれの上限値／下限値を記憶するようにしてもよいことは言うまでもない。

第１の実施形態及び以上の変形形態における処理は、Ａ／Ｄ変換器でディジタル信号とした後の全てについて、ＣＰＵ及びメモリを搭載した周知のコンピュータシステムにおいて動作するソフトウエアを用いて行うようにすることも可能である。

２．第２の実施形態
図３は、本発明の第２の実施形態に係る感情判定装置３００のブロック図である。感情判定装置３００は、第１の実施形態の装置１００に相当する装置３１０に加えて、所望の刺激情報を被験者に提供するための刺激提供手段３２０を設けた構成である。尚、後述のように、装置３１０と刺激提供手段３２０とを（図３の点線で示すように）電気的に結合して、両者の動作を連動させることもできる。装置３１０の構成及び動作は、刺激提供手段３２０と電気的に結合する場合における刺激提供手段３２０とのインターフェースに関係する部分を除き、第１の実施形態の感情判定装置１００と同様であるので、装置３１０の構成の説明は省く。

刺激提供手段３２０は、人間の視覚、聴覚、臭覚、触覚、味覚のいずれか、または、これらの任意の組みわせに作用する情報を提供するものとすることができるが、ここでは、視覚に作用する刺激情報（視覚情報）としての画像情報（または映像情報）を提示するための画像記録再生装置３２４及び画像表示装置（以下、表示装置という）３２２から構成されるものとする。刺激提供手段３２０は、市販の画像記録再生ソフトを組み込んだパーソナルコンピュータ及びそのモニタや、市販のビデオ記録再生装置及びテレビモニタなどとすることができ、操作者のキー入力などの操作に応答して、記憶媒体に記録されている画像のうちの任意の画像を表示装置３２２に表示し、その表示画像を他の任意の画像に切り替え、または、画像表示をやめるといった動作が可能なものである。

この装置３００によれば、所望の検査対象とする画像（以下、検査画像という）を予め画像記録再生装置３２４に記録しておくことにより、それらの画像を提示された被験者が快または不快のいずれの感情を抱いたかを判定することができる。

ここで、「課題を解決するための手段」の項で述べたように、感情の判定精度をより高めるために、被験者に検査画像を提示する前に、予め中性刺激を提供しておくことが好ましい。本実施形態では、そのような中性刺激として、視覚刺激を提供する画像（中性画像）を採用して、かかる中性画像を刺激提供手段３２０によって被験者に提示することが可能である。以下では、かかる中性画像が検査画像と共に予め画像記録再生装置３２４に記録されているものとして説明する。

以下、図３に示す感情判定装置３００の動作を、その動作の１例を示す図４のフローチャートを参照して説明する。尚、図１の感情判定装置１００において実施される処理、及び、当該装置１００に対してなされる操作者による操作と同様の処理乃至操作を採用することができる部分については、図２における対応するステップの参照番号を付して簡単に記述するに留める。

図４は、図３の感情判定装置３００を用いて、被験者に所望の刺激を与え、その刺激を受けたときの当該被験者の感情を判定する場合の動作フローを示す図である。

ステップ４００において、刺激提供手段３２０は画像表示の指示を待つ。このステップ中に、操作者Ｂは、画像記録再生装置３２４を操作して、検査画像用の表示装置３２２に中性画像を表示させるための指示を与えることができる。

画像記録再生装置３２４は、ステップ４００における画像表示の指示を検出すると、ステップ４１０において表示装置３２２に中性画像を表示する。

ステップ４１５において、装置３１０は音声信号取得の指示を待つ。このステップ中に、操作者Ｂは、被験者Ａに中性画像からの視覚刺激が提供されていること、たとえば、被験者Ａが中性画像を所定時間継続して注視していることを確認すると、装置３１０に対して所定の操作をすることにより、音声信号取得の指示を行うことができる（図２のステップ２００についての説明参照）。

一方、操作者Ｂは、音声信号取得の指示を行った後、被験者Ａが所定時間（たとえば、１０〜３０秒程度）継続して音声を発したことを確認すると、装置３１０に対して所定の操作をすることにより、音声信号取得の停止を指示することができる（図２のステップ２００についての説明の直後の記載参照）。

装置３１０は、ステップ４１５における音声信号取得指示を検出すると、ステップ４２０において、被験者Ａが発した音声をディジタル音声信号に変換する（図２のステップ２１０についての説明参照）。このときの被験者Ａの音声は、被験者Ａに中性画像からの視覚刺激が与えられている状態で発せられた音声であって、被験者Ａの「快」または「不快」感情が小さい状態で発せられた音声であると推定可能なものである。

ステップ４２５において、装置３１０は、ステップ４２０で生成されたディジタル音声信号から少なくとも１つの音声パラメータを抽出する。ここでは、音声パラメータとして第１フォルマント周波数を抽出して被験者Ａの感情を判定する場合を１例（以下、本例として参照する）として説明する。すなわち、第１フォルマント抽出手段１２０ｄ（図１参照）がディジタル音声信号から第１フォルマント周波数を抽出する（以下、ステップ４２５で抽出された第１フォルマント周波数をＦ１₁とする）。

ステップ４３０において、刺激提供手段３２０は画像表示切換の指示を待つ。このステップ中で、操作者Ｂは、所望の検査画像を表示装置３２２に表示させるための切換指示を画像記録再生装置３２４対して行うことができる。

画像記録再生装置３２４は、ステップ４３０における切換指示を検出すると、ステップ４３５において、表示装置３２２にその所望の検査画像を表示する。図３では、検査画像として携帯電話の外観画像が表示されている。

ステップ４４０において、装置３１０は音声信号取得の指示を待つ。このステップ中に、操作者Ｂは、被験者Ａに検査画像からの視覚刺激が提供されていること、たとえば、被験者Ａが検査画像を所定時間継続して注視していることを確認すると、ステップ４１５と同様に、装置３１０に対して所定の操作をすることにより、音声信号取得の指示を行うことができる（図２のステップ２３０についての説明参照）。

装置３１０は、ステップ４４０における音声信号取得指示を検出すると、ステップ４４５において、被験者Ａの音声をディジタル音声信号に変換する。このときの被験者Ａの音声は、被験者Ａが検査画像からの視覚刺激を受けた状態で発したものであるとみなすことができる音声である。このディジタル音声信号は、ステップ４２５で抽出されたのと同じ種類の音声パラメータの値を抽出する抽出手段に送られる。本例では、第１フォルマント抽出手段１２０ｄ（図１参照）に少なくとも送られることになる。尚、この時に取得する音声は、第１の実施形態について述べたのと同様に、被験者Ａが検査画像を実際に見てからしばらくした後に、被験者Ａがそのときの状況を回想しながら発した音声であってもよい。

ステップ４５０は、ステップ４２５で抽出したのと同じ種類の音声パラメータの値を抽出するステップである。本例では、第１フォルマント抽出手段１２０ｄが、ステップ４４５において生成されたディジタル音声信号から、ステップ４２５と同様にして第１フォルマント周波数を抽出して出力する（以下、ステップ４５０で抽出された第１フォルマント周波数をＦ１₂とする）。

ステップ４５５は、ステップ４２５と４５０で抽出された音声パラメータの値から被験者の感情が快か否か（すなわち、快、不快、快及び不快のいずれでもない、のうちのいずれであるか）を判定するステップであり、本例では、装置３１０において、Ｆ１₁及びＦ１₂に対して、図２のステップ２６２〜２６８と同様の処理が行われ、検査画像を見たときの被験者Ａの感情が快であったか否かが判定される。但し、この場合、第１及び第２のメモリ手段１３６、１３７のそれぞれから供給される上限値、下限値は、第１フォルマント周波数についてのものである。

ステップ４６０は、ステップ４５５で判定された結果を図２のステップ２７０と同様にして操作者用の表示装置（図１の表示手段１４０に対応）に表示するステップである。

尚、装置３１０と刺激提供手段３２０を電気的に結合して、被験者Ａの音声の取得開始及び停止を、操作者ＢによるＩ／Ｆ１６０（図１参照）の操作によるのではなく、画像記録再生装置３１4による画像の表示の開始及び切換のタイミングと所定のタイミング関係で自動的に連動させるようにしてもよい。

また、第２の実施形態の装置３１０については、第１の実施形態の感情判定装置１００について述べた種々の変形形態を採用することが可能である。

第２の実施形態の構成によれば、意図的に、被験者の感情を快でも不快でもない状態に近づけることが可能となり、その後に、当該被験者に所望の刺激を与えて感情を判定することによって、所望の刺激に対する被験者の感情をより的確に推定することが可能である。

本発明の第１の実施形態による感情判定装置のブロック図である。 図１の感情判定装置の動作を示すフローチャートである。 本発明の第２の実施形態による感情判定装置のブロック図である。 図３の感情判定装置の動作を示すフローチャートである。 本発明の基本概念を説明するためのフローチャートである。

符号の説明

１００、３００ 感情判定装置
１１０ 音声信号取得ブロック
１２０ 音声パラメータ値抽出ブロック
１３０ 感情判定ブロック
１４０ 表示手段
１５０ 制御手段
１６０ ユーザインターフェース手段
３２０ 刺激提供手段

Claims (12)

1. 被験者の感情を判定するための方法であって、
   所定の刺激が提供される前に被験者が発した音声を第１の音声信号として取得するステップと、
   前記第１の音声信号から所定の種類の音声パラメータの値（第１の値）を抽出するステップと、
   前記被験者に所定の刺激が提供されているとき、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者が想起しているときに前記被験者が発した音声を第２の音声信号として取得するステップと、
   前記第２の音声信号から前記所定の種類と同じ種類の音声パラメータの値（第２の値）を抽出するステップと、
   前記第１の値と前記第２の値を比較して第１の比較結果を生成するステップと、
   前記第１の比較結果に基づいて、前記第２の音声を発したときの前記被験者の感情が快であるか否かを判定するステップ
   を含む方法。
2. 前記第１の比較結果が、前記第２の値から前記第１の値を減算した差分値である、請求項１に記載の方法。
3. 前記所定の種類の音声パラメータが、平均基本周波数、最大基本周波数、最小基本周波数、第１フォルマント周波数、第３フォルマント周波数のうちの１つである、請求項２に記載の方法。
4. 音声パラメータの種類毎に、所定の上限値と所定の下限値が予め決められており、前記所定の上限値及び所定の下限値についての音声パラメータの種類は前記第１及び第２の値のものと同じであり、
   前記差分値と前記所定の上限値を比較して第２の比較結果を生成するステップと、
   前記差分値と前記所定の下限値を比較して第３の比較結果を生成するステップ
   をさらに含み、
   前記判定するステップは、前記第２の音声信号を発したときの前記被験者の感情を、前記第２の比較結果が、前記差分値が前記所定の上限値を超えたことを示すときは快と判定し、前記第３の比較結果が、前記差分値が前記所定の下限値を下回ったことを示すときは不快と判定し、それらのいずれでもないことを示すときは快でも不快でもないと判定する、請求項２または３に記載の方法。
5. 前記第１の値を抽出するステップの後に、前記被験者に前記所定の刺激を提供するステップ、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者に想起させるステップをさらに含む、請求項１乃至４のいずれかに記載の方法。
6. 前記所定の刺激が視覚情報である、請求項１乃至５のいずれかに記載の方法。
7. 被験者の感情を判定するための装置であって、
   被験者の音声信号を取得する音声信号取得手段と、
   前記音声信号から少なくとも１つの種類の音声パラメータの値を抽出する音声パラメータ値抽出手段と、
   抽出された音声パラメータの２つの値を比較して、この比較結果に基づいて、前記被験者の感情が快であるか否かを判定する判定手段
   を備え、
   前記判定手段は、前記被験者に所定の刺激が提供される前に該被験者が発した音声信号（第１の音声信号）から抽出された音声パラメータの値（第１の値）と、抽出した前記音声パラメータと同じ種類の音声パラメータの値であって、前記被験者に前記所定の刺激が提供されているとき、または、前記被験者に前記所定の刺激が提供されていたときの状況を前記被験者が想起しているときに該被験者が発した音声信号（第２の音声信号）から抽出された音声パラメータの値（第２の値）との２つの値を比較して、その比較結果に基づいて、前記第２の音声信号を発したときの前記被験者の感情を判定する、装置。
8. 前記比較結果が、前記第２の値から前記第１の値を減算した差分値である、請求項７に記載の装置。
9. 前記音声パラメータ値抽出手段が、平均基本周波数抽出手段、最大基本周波数抽出手段、最小基本周波数抽出手段、第１フォルマント抽出手段、第３フォルマント抽出手段のうちの少なくとも１つを備える、請求項８に記載の装置。
10. 前記判定手段が、第１のメモリ手段、第２のメモリ手段、第１の比較手段、第２の比較手段及び第３の比較手段を備え、前記第１のメモリ手段には音声パラメータ毎に所定の上限値が格納されており、前記第２のメモリ手段には音声パラメータ毎に所定の下限値が格納されており、
    前記第１の比較手段は、前記差分値を第１の比較結果として生成し、
    前記第２の比較手段は、前記第１の比較結果と前記所定の上限値を比較して第２の比較結果を生成し、
    前記第３の比較手段は、前記第１の比較結果と前記所定の下限値を比較して第３の比較結果を生成し、
    前記第１、第２、第３の比較手段で比較される値は、いずれも同じ種類の音声パラメータについてものであり、
    前記判定手段は、前記第２の音声信号を発したときの前記被験者の感情を、前記第２の比較結果が、前記差分値が前記所定の上限値を超えたことを示すときは快であると判定し、前記第３の比較結果が、前記差分値が前記所定の下限値を下回ったことを示すときは不快であると判定し、それらのいずれでもないことを示すときは、快でも不快でもないと判定する、請求項８または９に記載の装置。
11. 前記被験者に前記所定の刺激を与えるための刺激提供手段をさらに備える、請求項７乃至１０のいずれかに記載の装置。
12. 前記所定の刺激が視覚情報である、請求項７乃至１１のいずれかに記載の装置。

Images