JP2003228391A - 情報処理方法、情報処理システム、情報処理装置、コンピュータプログラム、及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 被験者の個別性、及び被験者の年齢、体調等
の変化に対応して音声から感情を推定することができる
情報処理方法、情報処理システム、情報処理装置、前記
情報処理システム及び情報処理装置を実現するためのコ
ンピュータプログラム、及び該コンピュータプログラム
が記録されているコンピュータでの読取りが可能な記録
媒体の提供。 【解決手段】 体調に係る質問と感情に係る質問とを行
い（Ｓ１，Ｓ８）、夫々音声にて回答を受付け、体調に
係る質問の回答から音響学的特徴を抽出し（Ｓ４）、感
情に係る質問の回答から文字列情報を抽出する（Ｓ１
１）。データの収集期間でない場合（Ｓ７：ＮＯ）、音
響学的特徴と文字列情報との相関関係を設定し（Ｓ１
４）、新たに受付けた音響学的特徴から文字列情報を特
定することによって、感情を推定する（Ｓ１６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声に付随する情
報を前記音声から抽出した音響学的特徴に基づいて推定
する情報処理方法、情報処理システム、情報処理装置、
前記情報処理システム及び情報処理装置を実現するため
のコンピュータプログラム、並びに該コンピュータプロ
グラムが記録されている記録媒体に関する。

【０００２】

【従来の技術】パーソナルコンピュータ、音声処理装置
等の情報処理装置を利用して、入力された音声を解析
し、その音声に伴う感情を推定する方法が知られてい
る。主として、以下で説明する２つの方法が従来から知
られている。１つは、入力された音声に対して音声認識
を行うことにより、その音声に対応した文字列を特定
し、文字列の内容に基づいて感情を推定する方法であ
る。この方法による場合、感情を示す語彙として予め用
意しておいた語彙情報と特定した文字列の内容とが一致
するか否かを判断することにより、喜び、怒り、哀し
み、驚き、楽しみなど１０種類程度に分類された感情か
ら１つの感情を特定することが行われる。

【０００３】もう１つは、入力された音声に対してその
音声波形を解析して、音声の強弱（音圧レベル）、ピッ
チ周波数、継続時間等の特徴量を抽出し、感情の程度
（抑揚）を推定する方法である。この方法による場合、
まず、感情の推定を行う前の準備段階として、音圧レベ
ル、ピッチ周波数、継続時間等の特徴量の基準値を設定
する。基準値としては、例えば、成人男性、成人女性、
子供などの母集団における各特徴量の平均値をとる。感
情の推定を行う場合、被験者から新たに音声を収集し、
その音声の波形を解析して特徴量を抽出する。そして、
抽出した特徴量と被験者が属する母集団の基準値とを比
較し、比較した結果に基づいて被験者の感情の程度を推
定する。

【０００４】

【発明が解決しようとする課題】しかしながら、特定し
た文字列の内容に基づいて感情を推定する方法では、感
情の程度まで推定することができず、一方、音声の特徴
量（音圧レベル、ピッチ周波数、継続時間）から感情の
程度を推定する方法では、推定した感情の程度がどのよ
うな感情に対応しているのかということまで推測するこ
とは困難である。また、各特徴量の基準値として、成人
男性、成人女性、子供の平均値をとった場合、被験者の
個別性を反映させることができないという問題点があ
る。更に、音声は、加齢及び被験者の体調によっても変
化することが一般的であり、また、音声を採取した時期
によっても変化することが多い。したがって、加齢、被
験者の体調、及び音声を採取した時期を反映させて適切
に感情を推定することができることが望ましい。

【０００５】本発明は斯かる事情に鑑みてなされたもの
であり、互いに相関を有する２つの質問情報を出力し、
出力された質問情報に対する回答を夫々音声にて受付
け、一方の回答に係る音声から文字列情報を抽出し、他
方の回答に係る音声から音響学的特徴に係る特徴情報を
抽出し、文字列情報と特徴情報とから両者の相関関係を
設定し、質問情報の回答に係る音声を新たに受付けた場
合、受付けた音声から抽出した音響学的特徴に係る特徴
情報と設定した相関関係とに基づき、前記特徴情報と相
関がある文字列情報を特定することにより、被験者から
発せられた音声から、その音声に付随する情報の意味内
容及び程度を容易に推定することができる情報処理方
法、情報処理システム、情報処理装置、前記情報処理シ
ステム及び情報処理装置を実現するコンピュータプログ
ラム、並びに該コンピュータプログラムが記録されてい
る記録媒体を提供することを目的とする。

【０００６】本発明の他の目的は、質問情報の一方が心
理状態に関する質問情報であり、他方が体調に関する質
問情報であることにより、被験者から発せられた音声に
基づき、感情の意味内容、感情の程度を容易に推定する
ことができる情報処理方法、情報処理システム、及び情
報処理装置を提供することにある。

【０００７】本発明の更に他の目的は、質問情報に対す
る回答を音声にて受付ける際、所定の期間であるか否か
を判断し、所定の期間である場合にのみ、記憶してある
文字列情報と特徴情報との間の相関関係を設定すること
により、音声を採取した時期を反映させて適切に情報を
推定することができる情報処理方法、情報処理システ
ム、及び情報処理装置を提供することにある。

【０００８】本発明の更に他の目的は、記憶してある文
字列情報及び特徴情報から夫々を特徴づける特徴量を算
出し、算出した特徴量を用いた多変量解析により文字列
情報と特徴情報との相関関係を設定することにより、複
数の特徴情報を推定に反映させることができる情報処理
方法、情報処理システム、及び情報処理装置を提供する
ことにある。

【０００９】

【課題を解決するための手段】第１発明に係る情報処理
方法は、質問情報の記憶手段及び出力手段と、音声の受
付手段とを備える情報処理システムにより、前記記憶手
段に記憶してある質問情報を出力し、出力した質問情報
に対する回答を音声にて受付け、受付けた音声に係る音
響学的特徴を抽出し、抽出した音響学的特徴に基づき、
前記音声に付随する情報を推定する情報処理方法におい
て、前記記憶手段に予め記憶されており、互いに相関を
有する第１質問情報及び第２質問情報を前記出力手段に
より出力し、出力された第１及び第２質問情報に対する
回答を夫々音声にて受付け、受付けた第１質問情報の回
答に係る音声から文字列情報を抽出し、受付けた第２質
問情報の回答に係る音声から音響学的特徴に係る１又は
複数の特徴情報を抽出し、抽出した文字列情報と特徴情
報とを関連付けて記憶し、記憶してある文字列情報と特
徴情報とから両者の相関関係を設定し、前記受付手段に
より第２質問情報の回答に係る音声を新たに受付けた場
合、受付けた音声から抽出した音響学的特徴に係る１又
は複数の特徴情報と設定した相関関係とに基づき、前記
特徴情報と相関がある文字列情報を特定することを特徴
とする。

【００１０】第２発明に係る情報処理方法は、第１発明
において、前記第１及び第２質問情報は、一方が心理状
態に関する質問情報であり、他方が体調に関する質問情
報であることを特徴とする。

【００１１】第３発明に係る情報処理方法は、第１発明
又は第２発明において、第１質問情報又は第２質問情報
に対する回答を音声にて受付ける際、所定の期間である
か否かを判断し、所定の期間である場合にのみ、記憶し
てある文字列情報と特徴情報とから両者の相関関係を設
定することを特徴とする。

【００１２】第４発明に係る情報処理方法は、第１発明
乃至第３発明の何れかにおいて、記憶してある文字列情
報及び特徴情報から夫々を特徴づける特徴量を算出し、
算出した特徴量を用いた多変量解析により前記相関関係
を設定することを特徴とする。

【００１３】第５発明に係る情報処理システムは、質問
情報の記憶手段と、該記憶手段に記憶されている質問情
報を出力する出力手段と、音声を受付ける手段とを備
え、前記出力手段から出力された質問情報に対する回答
を音声にて受付け、受付けた音声から抽出した音響学的
特徴に基づき、前記音声に付随する情報を推定すべくな
してある情報処理システムにおいて、前記記憶手段に予
め記憶されており、互いに相関を有する第１質問情報及
び第２質問情報を出力する手段と、出力された第１及び
第２質問情報に対する回答を夫々音声にて受付ける手段
と、受付けた第１質問情報の回答に係る音声から文字列
情報を抽出する文字列情報抽出手段と、受付けた第２質
問情報の回答に係る音声から音響学的特徴に係る１又は
複数の特徴情報を抽出する特徴情報抽出手段と、抽出し
た文字列情報及び特徴情報を関連付けて記憶する手段
と、記憶してある文字列情報と特徴情報とから両者の相
関関係を設定する手段とを備え、前記受付手段により第
２質問情報の回答に係る音声を新たに受付けた場合、受
付けた音声から抽出した音響学的特徴に係る１又は複数
の特徴情報と設定した相関関係とに基づき、前記特徴情
報と相関がある文字列情報を特定すべくなしてあること
を特徴とする。

【００１４】第６発明に係る情報処理システムは、通信
ネットワークを介して接続された第１情報処理装置と第
２情報処理装置とを備え、前記第１情報処理装置は、質
問情報の記憶手段と、該記憶手段に記憶されている質問
情報を送信する送信手段とを備え、前記第２情報処理装
置は、前記通信ネットワークを通じて送信された質問情
報を受信する手段と、受信した質問情報に対する回答を
音声にて受付ける手段と、受付けた音声に係る音声情報
を送信する手段とを備え、前記第１情報処理装置は、前
記通信ネットワークを通じて受信した音声情報から抽出
した音響学的特徴に基づき、前記音声情報に付随する情
報を推定すべくなしてある情報処理システムにおいて、
前記第２情報処理装置は、前記第１情報処理装置の前記
記憶手段に予め記憶されており、互いに相関を有する第
１質問情報及び第２質問情報を前記ネットワークを通じ
て受信する手段と、受信した第１及び第２質問情報を出
力する手段と、出力された第１及び第２質問情報に対す
る回答を夫々音声にて受付ける手段と、受付けた音声に
係る音声情報を送信する手段とを備え、前記第１情報処
理装置は、受信した第１質問情報の回答に係る音声情報
から文字列情報を抽出する文字列情報抽出手段と、受信
した第２質問情報の回答に係る音声情報から音響学的特
徴に係る１又は複数の特徴情報を抽出する特徴情報抽出
手段と、抽出した文字列情報及び特徴情報を関連付けて
記憶する手段と、記憶してある文字列情報と特徴情報と
から両者の相関関係を設定する手段とを備え、第２質問
情報の回答に係る音声情報を前記第２情報処理装置から
新たに受信した場合、受信した音声情報から抽出した音
響学的特徴に係る１又は複数の特徴情報と設定した相関
関係とに基づき、前記特徴情報と相関がある文字列情報
を特定すべくなしてあることを特徴とする。

【００１５】第７発明に係る情報処理システムは、第５
発明又は第６発明において、前記第１及び第２質問情報
は、一方が心理状態に関する質問情報であり、他方が体
調に関する質問情報であることを特徴とする。

【００１６】第８発明に係る情報処理システムは、第５
発明乃至第７発明の何れかにおいて、第１質問情報又は
第２質問情報に対する回答を音声にて受付ける際、所定
の期間であるか否かを判断する手段を備え、所定の期間
である場合にのみ、記憶してある文字列情報と特徴情報
とから両者の相関関係を設定すべくなしてあることを特
徴とする。

【００１７】第９発明に係る情報処理システムは、第５
発明乃至第８発明の何れかにおいて、記憶してある文字
列情報及び特徴情報から夫々を特徴づける特徴量を算出
し、算出した特徴量を用いた多変量解析により前記相関
関係を設定すべくなしてあることを特徴とする。

【００１８】第１０発明に係る情報処理装置は、質問情
報の記憶手段と、該記憶手段に記憶されている質問情報
を出力する出力手段と、音声の受付手段とを備え、前記
出力手段から出力された質問情報に対する回答を音声に
て受付け、受付けた音声から抽出した音響学的特徴に基
づき、前記音声に付随する情報を推定すべくなしてある
情報処理装置において、前記記憶手段に予め記憶されて
おり、互いに相関を有する第１質問情報及び第２質問情
報を出力する手段と、出力された第１及び第２質問情報
に対する回答を夫々音声にて受付ける手段と、受付けた
第１質問情報の回答に係る音声から文字列情報を抽出す
る文字列情報抽出手段と、受付けた第２質問情報の回答
に係る音声から音響学的特徴に係る１又は複数の特徴情
報を抽出する特徴情報抽出手段と、抽出した文字列情報
及び特徴情報を関連付けて記憶する手段と、記憶してあ
る文字列情報と特徴情報とから両者の相関関係を設定す
る手段とを備え、前記受付手段により第２質問情報の回
答に係る音声を新たに受付けた場合、受付けた音声から
抽出した音響学的特徴に係る１又は複数の特徴情報と設
定した相関関係とに基づき、前記特徴情報と相関がある
文字列情報を特定すべくなしてあることを特徴とする。

【００１９】第１１発明に係る情報処理装置は、通信ネ
ットワークに接続可能になしてあり、音声情報を受信す
る手段を備え、受信した音声情報から抽出した音響学的
特徴に基づき、前記音声情報に付随する情報を推定すべ
くなしてある情報処理装置において、互いに相関を有す
る第１質問情報及び第２質問情報に対する回答を前記通
信ネットワークを通じて夫々音声情報にて受信する手段
と、受信した第１質問情報の回答に係る音声情報から該
音声情報が含む文字列情報を抽出する文字列情報抽出手
段と、受信した第２質問情報の回答に係る音声情報から
音響学的特徴に係る１又は複数の特徴情報を抽出する特
徴情報抽出手段と、抽出した文字列情報及び特徴情報を
関連付けて記憶する手段と、記憶してある文字列情報と
特徴情報とから両者の相関関係を設定する手段とを備
え、第２質問情報の回答に係る音声情報を新たに受信し
た場合、受信した音声情報から抽出した音響学的特徴に
係る１又は複数の特徴情報と設定した相関関係とに基づ
き、前記特徴情報と相関がある文字列情報を特定すべく
なしてあることを特徴とする。

【００２０】第１２発明に係る情報処理装置は、第１０
発明又は第１１発明において、前記第１及び第２質問情
報は、一方が心理状態に関する質問情報であり、他方が
体調に関する質問情報であることを特徴とする。

【００２１】第１３発明に係る情報処理装置は、第１０
発明乃至第１２発明の何れかにおいて、第１質問情報又
は第２質問情報に対する回答を音声にて受付ける際、所
定の期間であるか否かを判断する手段を備え、所定の期
間である場合にのみ、記憶してある文字列情報と特徴情
報とから両者の相関関係を設定すべくなしてあることを
特徴とする。

【００２２】第１４発明に係る情報処理装置は、第１０
発明乃至第１３発明の何れかにおいて、記憶してある文
字列情報及び特徴情報から夫々を特徴づける特徴量を算
出し、算出した特徴量を用いた多変量解析により前記相
関関係を設定すべくなしてあることを特徴とする。

【００２３】第１５発明に係る情報処理装置は、第１０
発明乃至第１４発明の何れかにおいて、前記特徴情報抽
出手段は、入力された音声情報の音圧を検出する検出手
段、ピッチ周波数を検出する検出手段、継続時間を検出
する検出手段、又はジッタを検出する検出手段のうち少
なくとも一の検出手段を備えることを特徴とする。

【００２４】第１６発明に係る情報処理装置は、第１０
発明乃至第１５発明の何れかにおいて、特定された文字
列情報に応じた適宜情報を出力する手段を更に備えるこ
とを特徴とする。

【００２５】第１７発明に係るコンピュータプログラム
は、コンピュータに、入力された音声情報に係る音響学
的特徴を抽出させ、抽出させた音響学的特徴に基づき、
前記音声情報に付随する情報を推定させるステップを有
するコンピュータプログラムにおいて、コンピュータ
に、互いに相関を有する第１質問情報及び第２質問情報
を出力させるステップと、コンピュータに、出力された
第１及び第２質問情報に対する回答を夫々音声情報にて
入力させるステップと、コンピュータに、入力された第
１質問情報の回答に係る音声情報から文字列情報を抽出
させるステップと、コンピュータに、受付けた第２質問
情報の回答に係る音声情報から音響学的特徴に係る１又
は複数の特徴情報を抽出させるステップと、コンピュー
タに、抽出させた文字列情報及び特徴情報を関連付けて
記憶させるステップと、コンピュータに、記憶してある
文字列情報と特徴情報とから両者の相関関係を設定させ
るステップと、コンピュータに、第２質問情報に対する
回答に係る音声情報を新たに受付けた場合、受付けた音
声情報から抽出した音響学的特徴に係る１又は複数の特
徴情報と設定させた相関関係とに基づき、前記特徴情報
と相関がある文字列情報を特定させるステップとを有す
ることを特徴とする。

【００２６】第１８発明に係るコンピュータでの読取り
が可能な記録媒体は、コンピュータに、入力された音声
情報に係る音響学的特徴を抽出させ、抽出させた音響学
的特徴に基づき、前記音声情報に付随する情報を推定さ
せるステップを有するコンピュータプログラムが記録さ
れているコンピュータでの読取りが可能な記録媒体にお
いて、コンピュータに、互いに相関を有する第１質問情
報及び第２質問情報を出力させるステップと、コンピュ
ータに、出力された第１及び第２質問情報に対する回答
を夫々音声情報にて入力させるステップと、コンピュー
タに、入力された第１質問情報の回答に係る音声情報か
ら文字列情報を抽出させるステップと、コンピュータ
に、受付けた第２質問情報の回答に係る音声情報から音
響学的特徴に係る１又は複数の特徴情報を抽出させるス
テップと、コンピュータに、抽出させた文字列情報及び
特徴情報を関連付けて記憶させるステップと、コンピュ
ータに、記憶してある文字列情報と特徴情報とから両者
の相関関係を設定させるステップと、コンピュータに、
第２質問情報に対する回答に係る音声情報を新たに受付
けた場合、受付けた音声情報から抽出した音響学的特徴
に係る１又は複数の特徴情報と設定させた相関関係とに
基づき、前記特徴情報と相関がある文字列情報を特定さ
せるステップとを有するコンピュータプログラムが記録
されていることを特徴とする。

【００２７】本発明にあっては、互いに相関を有する２
つの質問情報を出力し、出力された質問情報に対する回
答を夫々音声にて受付け、一方の回答に係る音声から文
字列情報を抽出し、他方の回答に係る音声から音響学的
特徴に係る特徴情報を抽出し、抽出した文字列情報と特
徴情報とから両者の相関関係を設定し、質問情報の回答
に係る音声を新たに受付けた場合、受付けた音声から抽
出した音響学的特徴に係る特徴情報と設定した相関関係
とに基づき、前記特徴情報と相関がある文字列情報を特
定する。したがって、例えば、一方の質問情報を被験者
の感情に関する質問情報とし、他方の質問情報を被験者
の体調に係る質問とした場合、体調に係る質問を被験者
に答えてもらうことによって、その被験者の感情を推定
することが可能である。特に、感情に関する質問で、被
験者自身に特定の感情に対する評価を答えてもらい、そ
の評価と体調に係る質問の回答から抽出した音響学的特
徴との間に相関関係を設定することによって、体調に係
る質問の音声による回答のみから、感情の種類、及び感
情の程度（抑揚）を定量的に推測することが可能であ
る。

【００２８】また、本発明にあっては、質問情報の一方
が心理状態に関する質問情報であり、他方が体調に関す
る質問情報である。したがって、被験者から発せられた
音声に基づき、感情の意味内容、感情の程度を容易に推
定することができる。

【００２９】更に本発明にあっては、質問情報に対する
回答を音声にて受付ける際、所定の期間であるか否かを
判断し、所定の期間である場合にのみ、記憶してある文
字列情報と特徴情報との間の相関関係を設定するように
している。したがって、本発明の情報処理システムの利
用開始時に、前述の相関関係を設定するために音声情報
を収集する期間（例えば、一週間程度）を設けることが
できる。また、加齢、被験者の体調等を適切に考慮して
感情の推定を行うために、例えば、一ヶ月ごとに前記相
関関係を最新の状態に更新することができる。その為、
長期的に感情推定を行うことが可能であり、推定誤差を
縮小することが可能である。

【００３０】更に本発明にあっては、記憶してある文字
列情報及び特徴情報から夫々を特徴づける特徴量を算出
し、算出した特徴量を用いた多変量解析により文字列情
報と特徴情報との相関関係を設定するようにしている。
したがって、複数の特徴量を利用して感情の推定を行う
ことができるため、特定の音響学的特徴に被験者の体調
等の影響があった場合であっても、その影響を必要最小
限に抑えることが可能である。

【００３１】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて具体的に説明する。 実施の形態１．図１は、本発明の情報処理装置を具体化
した感情推定装置の内部構成を示すブロック図である。
本実施の形態に係る感情推定装置は、例えば、マイクロ
ホンのような音声入力部１１を備える「ネコ型」の介護
ロボットであり、体調及び心理状態を問う質問を呈示
し、これらの質問に対する回答を音声入力部１１により
受付け、受付けた音声の波形を解析することにより、音
声に伴う感情を推定すべくなしてある。

【００３２】図中１はＣＰＵであり、バス２を介して後
述する各ハードウェア各部に接続されていて、ＲＯＭ３
に格納された制御プログラムに従って、それらを制御す
る。ＲＡＭ４は、ＳＲＡＭ又はフラッシュメモリ等で構
成され、ＲＯＭ３に格納された制御プログラムの実行時
に発生するデータを記憶する。

【００３３】表示部５は、体調及び心理状態に関する質
問情報を表示させるための液晶ディスプレイ等の表示装
置である。これらの質問情報は、内部記憶装置９が有す
る質問情報データベース（質問情報ＤＢ）９ｂに記憶さ
れている。質問情報が音声データとして質問情報データ
ベース９ｂに記憶されている場合には、スピーカのよう
な音声出力部１２により質問情報を出力してもよい。入
力部６は、感情推定装置の動作を制御するための各種ボ
タンスイッチを備えている。

【００３４】音声波形解析部１３は、音声入力部１１に
より電気信号に変換された音声波形を解析し、音圧、ピ
ッチ周波数、継続時間等の音響学的特徴に係る特徴量を
算出する。

【００３５】音声認識部１４は、音声入力部１１により
入力された音声情報の音声認識を行い、音声情報を文字
列情報に変換する。変換された文字列情報は、後述する
ように評価され、評価された値が解析データベース９ａ
（解析ＤＢ）に記憶される。

【００３６】内部記憶装置９は、ハードディスクのよう
な記憶装置からなり、記憶領域の一部は前述の質問情報
データベース９ｂ、音声波形解析部１３によって解析さ
れた結果を記憶する解析データベース９ａとして用いら
れており、必要に応じて各種データベースにアクセス
し、情報の記憶及び読取り処理が行われる。

【００３７】外部記憶装置８は、本発明のコンピュータ
プログラム及び質問情報等のデータを記録したメモリカ
ード等の可搬型の記録媒体１０からコンピュータプログ
ラム及びデータを読取る読取装置からなり、読取られた
コンピュータプログラム及びデータは、内部記憶装置９
に記憶される。内部記憶装置９に記憶されているコンピ
ュータプログラムは、ＲＡＭ４に読込まれ、ＣＰＵ１が
実行することで感情推定装置として動作する。

【００３８】図２は、音声入力部１１から入力された音
声情報の波形、及び音声波形解析部１３によって抽出さ
れた特徴量の時間変化の一例を示すグラフである。図２
（ａ）に示した例では、被験者が質問に対する回答とし
て「いいえ」と答えた場合の音声情報の波形を示してい
る。音声入力部１１から入力された音声情報の波形は音
声波形解析部１３によって解析され、図２（ｂ）のグラ
フに示したような音圧レベルの時間変化、図２（ｃ）の
グラフに示したようなピッチ周波数の時間変化を得る。

【００３９】音圧レベル及びピッチ周波数は、図２
（ｂ）及び（ｃ）に示したように時間とともに変化する
関数であるが、これらを特徴付ける特徴量としては、音
声の継続時間（図２ではｔ₁ −ｔ₀ ）における最大値、
平均値、中央値等を採用する。例えば、音圧レベルの特
徴量としては、音声の継続時間における平均値をとり、
ピッチ周波数の特徴量としては、音声の継続時間におけ
る最大値を採用する。このように、音圧レベル、ピッチ
周波数等の音響学的特徴に対する特徴量として、最大
値、平均値、中央値等の何れを採用するかは予め定めて
おく。

【００４０】音声波形解析部１３では、前述した音圧レ
ベルの時間変化、ピッチ周波数の時間変化だけでなく、
ピッチ周波数の時間変動、音声の継続時間、音声のかす
れに対応するジッタを解析することができ、解析して算
出された特徴量は、解析した日付と関連付けて解析デー
タベース９ａに記憶される。

【００４１】前述した音圧レベル、ピッチ周波数、ピッ
チ周波数の時間変動、音声の継続時間、及びジッタ等
は、一般に、被験者の感情に左右されることが知られて
いる。被験者が元気であり、感情が良い状態にある場
合、音圧レベル、ピッチ周波数、ピッチ周波数の時間変
動は増加する。音声の継続時間、ジッタについては、個
々の被験者によって異なることが多いが、一般に、感情
が良い状態にある場合は減少することが知られている。
逆に、被験者が不機嫌であり、感情が悪い状態にある場
合、音圧レベル、ピッチ周波数、ピッチ周波数の時間変
動は減少し、音声の継続時間、ジッタは増加することが
知られている。

【００４２】このように、音声の音響学的特徴は被験者
の感情と密接な関係があることが知られているが、本発
明では、加齢及び被験者の体調といった個別性、及び感
情の推定を行う時期を推定結果に反映させるため、前述
した音響学的特徴に関する特徴量にのみに基づいて感情
の推定を行うのではなく、まず、一定の期間（例えば一
週間）、体調を問う体調問診と感情について問うメンタ
ル問診とを行って音声情報の予備データを収集した後、
体調問診の回答から算出した特徴量とメンタル問診の回
答内容との間の対応付けを行い、前記期間（以下、デー
タ収集期間という）の終了後に行った体調問診の回答か
ら感情を推定するようにしている。また、例えば、月始
めの一週間程度は、音声情報の予備データを収集するデ
ータ収集期間を設け、体調問診の回答から算出した特徴
量とメンタル問診の回答内容との間の対応付けを行うよ
うにしている。

【００４３】図３は、各データベースの一例を示す概念
図である。図３（ａ）は、解析データベース９ａの一例
を示す概念図であり、予備データを収集する際に、体調
問診を行った場合、音声情報の解析を行った日付、並び
に音圧レベル（音圧）、ピッチ周波数、ピッチ周波数の
変動（ピッチ変動）、継続時間、及びジッタに関する特
徴量を互いに関連付けて記憶する。また、メンタル問診
からは、感情得点なるものを算出して前記特徴量と関連
付けて記憶する。ここで、感情得点とは、感情、心情、
気分の善し悪しを得点化したものであり、最も良い感情
（心情、気分）を１００点、最も悪い感情（心情、気
分）を０点に定めている。更に、予備データを収集した
後、感情推定のために体調問診を行った場合、各特徴量
と推定した感情得点の推定値とを互いに関連付けて記憶
する。

【００４４】図３（ｂ）は、質問情報データベース９ｂ
の一例を示す概念図であり、質問情報を識別する質問Ｉ
Ｄと質問情報の内容とを互いに関連付けて記憶してい
る。図３（ｂ）に示した例では、質問ＩＤ「Ｍ０１」に
は、メンタル問診として「今日の気分は、１００点満点
中何点ですか？」といった内容の質問情報が対応付けら
れて記憶されており、質問ＩＤ「Ｆ０１」、「Ｆ０
２」、…には、体調問診として夫々「おなかがすいて我
慢ができないですか？」、「頭痛がしますか？」、…と
いった内容の質問情報が対応付けられて記憶されてい
る。

【００４５】これらの質問情報は、予備データの収集す
る場合、又は感情を推定する場合に出力される。質問情
報を出力する場合、感情推定装置の表示部５から文字情
報として出力してもよく、また、音声出力部１２から音
声情報として出力してもよい。質問情報に対する回答は
音声入力部１１により音声情報として入力される。メン
タル問診の回答は、音声認識処理により文字列に変換さ
れ、回答の中心になる部分、すなわち、前述の質問内容
では被験者自身が付けた点数が抽出される。解析データ
ベース９ａには、抽出した点数を感情得点として記憶さ
せる。体調問診では、回答に係る音声情報がＡＤコンバ
ータ等によりデジタル化され、デジタル化された音声波
形が一時的にＲＡＭ４に記憶される。そして、記憶され
た音声波形から回答の中心になる部分、すなわち、「は
い」、「いいえ」に該当する部分の波形のみが抽出さ
れ、波形の解析が行われる。解析によって得られた音響
学的特徴に係る特徴量は、解析データベース９ａの適宜
の記憶領域に記憶される。

【００４６】なお、音声情報の波形の解析、及び音声認
識を容易にするために、各質問情報は、回答がある程度
予測できるものが望ましく、前述の例のようにメンタル
問診の質問は、気分を得点で答えさせる内容とし、体調
問診の質問は、「はい」又は「いいえ」で答えることが
できる内容にしている。特に、体調問診では、体調不良
・重篤を問う質問内容に統一した場合、「いいえ」で返
答され確率が高くなるため、更に音声情報の波形の解析
が容易になる。

【００４７】図４は、音響学的特徴から算出された特徴
量に対する感情得点の得点分布の一例を示したグラフで
ある。ここでは、図４（ａ）は音圧レベルに対する感情
得点の得点分布を示すグラフであり、図４（ｂ）はピッ
チ周波数に対する感情得点の得点分布を示すグラフであ
る。前述したように、被験者の感情が良い状態にある場
合、音圧レベルは大きくなる傾向があり、また、被験者
は自身の感情得点を高く付けるはずであるから、図４
（ａ）に示したように音圧レベルが大きくなるに従い、
感情得点が高くなる傾向の得点分布を示す。ピッチ周波
数についても同様であり、被験者の感情が良い状態にあ
る場合、ピッチ周波数は高くなる傾向があり、また、被
験者は自身の感情得点を高く付けるはずであるから、図
４（ｂ）に示したようピッチ周波数が高くなるに従い、
感情得点が高くなる傾向の得点分布を示す。また、図に
は示していないが、ピッチ周波数の時間変動、音声の継
続時間、及びジッタの各音響学的指標と感情得点との間
にも何らかの傾向があり、得点分布をグラフにして示す
ことが可能である。

【００４８】これらの得点分布を表す数式モデルを設定
することによって、各特徴量から感情得点を容易に推定
することが可能である。前述の数式モデルの最も簡単な
モデルは、感情得点を１種類の特徴量により表した回帰
直線であって、最小二乗法を利用して求めることができ
る。音声情報を収集するあたって、例えば、空気が乾燥
している時期と湿気を多く含んでいる時期とでは、音声
が伝わる速度が変化する。したがって、外気の変化は、
音声の持続時間、ピッチ周波数に大きな影響を与えやす
いと考えられる。一方、任意の時刻での絶対量である音
圧レベルは、外気の影響を受ける程度が低いと考えられ
る。また、被験者が体調を崩して、風邪を引いている場
合は、ピッチ周波数、ジッタに特にその影響が及ぶ。し
たがって、１種類の特徴量から数式モデルを設定して、
感情を推定する場合、必ずしも精度良く感情を推定する
ことができるとは限らない。

【００４９】そこで、本実施の形態では、外気の影響、
被験者の体調等による影響を最小限に抑えるために、前
述した５種類全ての特徴量を用いて、得点分布を表す数
式モデルを多変量解析によって設定する。

【００５０】以下では、多変量解析の一つである重回帰
分析を利用し、感情得点の得点分布を表す数式モデルを
設定する場合について説明する。重回帰分析では、目的
変数ｙと説明変数ｘ₁ ，ｘ₂ ，ｘ₃ ，…との間の関係を
重回帰分析によって定める。本実施の形態では、メンタ
ル問診の回答から算出された感情得点を目的変数ｙにと
り、体調問診の回答の音響学的特徴から算出された５つ
の各特徴量を説明変数ｘ₁ ，ｘ₂ ，…，ｘ₅ にとる。こ
こで、各説明変数ｘ₁ ，ｘ₂ ，…，ｘ₅ は、それぞれ、
音圧レベル、ピッチ周波数、ピッチ周波数の時間変動、
音声の継続時間、及びジッタに該当する。

【００５１】メンタル問診による質問と体調問診による
質問とを夫々ｎ回行った場合、ｎ個の目的変数（ｙ₁ ，
ｙ₂ ，…ｙ_n ）と、各特徴量につきｎ個の説明変数（ｘ
₁₁，ｘ₁₂，…，ｘ_n5）とが得られる。それらの関係を次
の５つの線形方程式によって表す。

【００５２】

【数１】

【００５３】ここで、αは定数であり、β_i （ｉ＝１，
…，５）は重回帰係数である。α，β_i （ｉ＝１，…，
５）の最小二乗推定値を、ａ，ｂ_i （ｉ＝１，…，５）
で表した場合、これらの係数を用いてｙのｘ₁ ，ｘ₂ ，
…，ｘ₅ に対する重回帰式

【００５４】

【数２】

【００５５】が得られる。重回帰式を求める手法は既に
よく知られており、観測値ｙ_j （ｊ＝１，…，ｎ）と推
定値Ｙ_j （ｊ＝１，…，ｎ）との差（残差）の二乗和が
最小となるようなａ，ｂ_i を算出することによって、重
回帰式を求めることができる。ここで、観測値ｙ_j と
は、数式１におけるｙ₁ ，…，ｙ_n のことであり、推定
値Ｙ_j は、５×ｎ個の特徴量ｘ₁₁，ｘ₁₂，…，ｘ_n5を数
式（２）に代入した値である。算出した定数ａ，重回帰
係数ｂ_i （ｉ＝１，…，５）を数式２に代入した重回帰
式が求めるべき数式モデルであって、新たに取得した特
徴量をｘ₁ ，ｘ₂ ，…，ｘ₅ に代入することによって、
感情得点の推定値Ｙが得られる。

【００５６】本実施の形態では、重回帰分析を利用して
得点分布の数式モデルを設定することとしたが、重回帰
分析の他に判別分析、数量化ＩＩＩ類分析などを利用す
ることも可能である。

【００５７】図５は、感情推定装置の処理手順を示すフ
ローチャートである。感情推定装置は、まず、体調問診
に関する質問情報を表示部５に表示する（ステップＳ
１）。表示する質問情報は、質問情報データベース９ｂ
からランダムに選択したものでもよく、また、質問ＩＤ
の順に選択したものでもよい。また、質問情報は、音声
出力部１２から音声によって出力される形態であっても
よい。

【００５８】そして、表示された質問情報に対して音声
による回答を受付けたか否かを判断する（ステップＳ
２）。回答を受付けていない場合（Ｓ２：ＮＯ）、回答
を受付けるまで待機する。回答を受付けた場合（Ｓ２：
ＹＥＳ）、回答を音声情報として記憶する（ステップＳ
３）。

【００５９】次いで、音声波形解析部１３は、ステップ
Ｓ３にて記憶した音声情報の波形の解析を行い、音響学
的特徴を抽出する（ステップＳ４）。そして、波形の解
析によって得られた音圧レベル、ピッチ周波数等の特徴
量を解析データベース９ａに記憶する（ステップＳ
５）。

【００６０】次いで、全ての質問に対する回答を受付け
たか否かを判断することによって、体調問診が終了した
か否かを判断する（ステップＳ６）。体調問診が終了し
ていない場合（Ｓ６：ＮＯ）、処理をステップＳ１に戻
す。体調問診が終了した場合（Ｓ６：ＹＥＳ）、データ
収集期間であるか否かを判断する（ステップＳ７）。

【００６１】データ収集期間である場合（Ｓ７：ＹＥ
Ｓ）、メンタル問診に関する質問情報を表示部５に表示
する（ステップＳ８）。質問情報を表示部５に表示せず
に、音声出力部１２から音声によって出力する形態であ
ってもよい。

【００６２】そして、表示された質問情報に対して音声
による回答を受付けたか否かを判断する（ステップＳ
９）。回答を受付けていない場合（Ｓ９：ＮＯ）、回答
を受付けるまで待機する。回答を受付けた場合（Ｓ９：
ＹＥＳ）、回答を音声情報として記憶する（ステップＳ
１０）。

【００６３】次いで、音声認識部１３は、ステップＳ１
０にて記憶した音声情報の音声認識を行い、音声情報を
文字列に変換する（ステップＳ１１）。変換した文字列
から回答の中心となる部分を抽出して、回答を評価する
（ステップＳ１２）。メンタル問診では、前述したよう
に「今日の気分は、１００点満点中何点ですか？」とい
う質問がされる。したがって、被験者自身が質問に対し
て付けた点数を回答の評価とすることができる。そし
て、回答の評価を感情得点として、解析データベース９
ａに記憶させる（ステップＳ１３）。

【００６４】ステップＳ７でデータ収集期間でないと判
断した場合（Ｓ７：ＮＯ）、重回帰式を設定する（ステ
ップＳ１４）。重回帰式を設定する際、解析データベー
ス９ａに既に記憶してある音圧レベル、ピッチ周波数、
ピッチ周波数の時間変動、音声の継続時間、及びジッタ
を説明変数、感情得点を目的変数として重回帰分析を利
用する。そして、ステップＳ４にて新たに抽出した特徴
量を設定した重回帰式に代入し（ステップＳ１５）、感
情得点の推定値を得ることによって、感情の推定を行う
（ステップＳ１６）。感情得点の推定値は、解析データ
ベース９ａに記憶される（ステップＳ１７）。

【００６５】本実施の形態では、メンタル問診の際、被
験者自身に感情を評価した得点を付けさせ、それを感情
得点としているが、体調問診と同様に「はい」又は「い
いえ」で答えることができる質問を幾つか用意してお
き、「はい」と答えた数、又は「いいえ」と答えた数に
応じて感情得点を算出する形態であってもよい。

【００６６】本実施の形態では、感情推定装置の例とし
て「ネコ型」の介護ロボットについて説明したが、介護
ロボットに限らず、マイクロホンのような音声入力部を
内蔵しているか、又は外部入力装置として接続できるよ
うになっているパーソナルコンピュータ、ワークステー
ション等を利用することができることは勿論のことであ
る。

【００６７】実施の形態２．本実施の形態では、メンタ
ル問診の回答から求めた感情得点と重回帰分析によって
推定した感情得点との間に差が生じている場合に、感情
得点の推定値を補正する方法について説明する。

【００６８】感情推定装置の構成は実施の形態１と同様
であるため説明を省略する。図６及び図７は、本実施の
形態に係る感情推定装置の処理手順を示すフローチャー
トである。感情推定装置は、まず、体調問診に関する質
問情報を表示部５に表示する（ステップＳ２１）。表示
する質問情報は、質問情報データベース９ｂからランダ
ムに選択したものでもよく、また、質問ＩＤの順に選択
したものでもよい。また、質問情報は、音声出力部１２
から音声によって出力される形態であってもよい。

【００６９】そして、表示された質問情報に対して音声
による回答を受付けたか否かを判断する（ステップＳ２
２）。回答を受付けていない場合（Ｓ２２：ＮＯ）、回
答を受付けるまで待機する。回答を受付けた場合（Ｓ２
２：ＹＥＳ）、回答を音声情報として記憶する（ステッ
プＳ２３）。

【００７０】次いで、音声波形解析部１３は、ステップ
Ｓ２３にて記憶した音声情報の波形の解析を行い、音響
学的特徴を抽出する（ステップＳ２４）。そして、波形
の解析によって得られた音圧レベル、ピッチ周波数等の
特徴量を解析データベース９ａに記憶する（ステップＳ
２５）。

【００７１】次いで、全ての質問情報に対する回答を受
付けたか否かを判断することによって、体調問診が終了
したか否かを判断する（ステップＳ２６）。体調問診が
終了していない場合（Ｓ２６：ＮＯ）、処理をステップ
Ｓ２１に戻す。

【００７２】体調問診が終了した場合（Ｓ２６：ＹＥ
Ｓ）、メンタル問診に関する質問情報を表示部５に表示
する（ステップＳ２７）。質問情報を表示部５に表示せ
ずに、音声出力部１２から音声によって出力する形態で
あってもよい。

【００７３】そして、表示された質問情報に対して音声
による回答を受付けたか否かを判断する（ステップＳ２
８）。回答を受付けていない場合（Ｓ２８：ＮＯ）、回
答を受付けるまで待機する。回答を受付けた場合（Ｓ２
８：ＹＥＳ）、回答を音声情報として記憶する（ステッ
プＳ２９）。

【００７４】次いで、音声認識部１４は、ステップＳ２
９にて記憶した音声情報の音声認識を行い、音声情報を
文字列に変換する（ステップＳ３０）。変換した文字列
から回答の中心となる部分を抽出して、回答を評価する
（ステップＳ３１）。メンタル問診では、前述したよう
に「今日の気分は、１００点満点中何点ですか？」とい
う質問がされる。したがって、被験者自身が質問に対し
て付けた点数を回答の評価とすることができる。そし
て、回答の評価を感情得点として、解析データベース９
ａに記憶させる（ステップＳ３２）。

【００７５】次いで、データ収集期間であるか否かを判
断する（ステップＳ３３）。データ収集期間であると判
断した場合（Ｓ３３：ＹＥＳ）、処理を終了する。

【００７６】ステップＳ３３でデータ収集期間でないと
判断した場合（Ｓ３３：ＮＯ）、重回帰式を設定する
（ステップＳ３４）。重回帰式を設定する際、解析デー
タベース９ａに既に記憶してある音圧レベル、ピッチ周
波数、ピッチ周波数の時間変動、音声の継続時間、及び
ジッタを説明変数、感情得点を目的変数として重回帰分
析を行う。そして、ステップＳ２４にて新たに抽出した
特徴量を設定した重回帰式に代入し（ステップＳ３
５）、感情得点の推定値を得ることによって、感情の推
定を行う（ステップＳ３６）。

【００７７】次いで、後述する手法により、推定した感
情得点とメンタル問診の回答の評価から得られた感情得
点との間の重み係数を算出する（ステップＳ３７）。そ
して、算出した重み係数を用いて感情得点を補正し（ス
テップＳ３８）、補正した感情得点の値を解析データベ
ース９ａに記憶する（ステップＳ３９）。

【００７８】図８は、重み係数の算出処理を示したフロ
ーチャートである。まず、メンタル問診の回答を音声認
識することによって得られた感情得点Ｐ₁を読込む（ス
テップＳ４１）。次いで、重回帰式を用いて推定された
感情得点Ｐ ₂ を読込む（ステップＳ４２）。

【００７９】次いで、２つの感情得点の差の割合ΔＰ
（＝１００×｜Ｐ₁ −Ｐ₂ ｜／Ｐ₁ ）を算出する（ステ
ップＳ４３）。

【００８０】そして、差の割合ΔＰが８０％以上である
か否かを判断する（ステップＳ４４）。差の割合ΔＰが
８０％以上である場合（Ｓ４４：ＹＥＳ）、Ｐ₁ に乗じ
る重み係数ｗ₁ を０．８とし、Ｐ₂ に乗じる重み係数ｗ
₂ を０．２とする（ステップＳ４５）。

【００８１】差の割合ΔＰが８０％より小さい場合（Ｓ
４４：ＮＯ）、差の割合ΔＰが８０％より小さく、かつ
２０％より大きいか否かを判断する（ステップＳ４
６）。差の割合ΔＰが８０％より小さく、かつ２０％よ
り大きい場合（Ｓ４６：ＹＥＳ）、Ｐ₁ に乗じる重み係
数ｗ₁ を０．６とし、Ｐ₂ に乗じる重み係数ｗ₂ を０．
４とする（ステップＳ４７）。

【００８２】差の割合ΔＰが８０％以上であるか、又は
２０％以下である場合（Ｓ４６：ＮＯ）、差の割合ΔＰ
が２０％以下であるか否かを判断する（ステップＳ４
８）。差の割合ΔＰが２０％以下である場合（Ｓ４８：
ＹＥＳ）、Ｐ₁ に乗じる重み係数ｗ₁ を０．５とし、Ｐ
₂ に乗じる重み係数ｗ₂ を０．５とする（ステップＳ４
９）。差の割合ΔＰが２０％以下でない場合（Ｓ４８：
ＮＯ）、処理をステップＳ４１に戻す。

【００８３】実施の形態３．前述の実施の形態では、感
情得点の推定値を解析データベース９ａに記憶させる形
態であったが、感情得点に基づき感情を評価する場合、
被験者毎に基準値を設定する必要がある。被験者によっ
ては、感情の得点を常に高く付ける人、常に低く付ける
人がいるため、基準値を一律に設けることが出来ないた
めである。

【００８４】図９は、被験者毎に感情評価の基準値を設
定する場合の処理手順を示すフローチャートである。ま
ず、感情認識装置は、ある特定の被験者が付けた感情得
点Ｐ₁ を解析データベース９ａから読込み（ステップＳ
５１）、読込んだ感情得点Ｐ₁ の平均値Ｍと標準偏差σ
とを算出する（ステップＳ５２）。次いで、前述と同様
にして重回帰式により感情得点Ｐ₂ を算出する（ステッ
プＳ５３）。

【００８５】次いで、感情得点Ｐ₂ がＭ−１．０σより
も小さいか否かを判断し（ステップＳ５４）、感情得点
Ｐ₂ がＭ−１．０σよりも小さい場合（Ｓ５４：ＹＥ
Ｓ）、感情の評価を「悪い」とする（ステップＳ５
５）。

【００８６】感情得点Ｐ₂ がＭ−１．０σ以上である場
合（Ｓ５４：ＮＯ）、感情得点Ｐ₂が、Ｍ−１．０σ以
上であり、かつＭ−０．５σ以下であるか否かを判断す
る（ステップＳ５６）。感情得点Ｐ₂ が、Ｍ−１．０σ
以上であり、かつＭ−０．５σ以下である場合（Ｓ５
６：ＹＥＳ）、感情の評価を「やや悪い」とする（ステ
ップＳ５７）。

【００８７】感情得点Ｐ₂ が、Ｍ−１．０σより小さい
か、又はＭ−０．５σより大きい場合（Ｓ５６：Ｎ
Ｏ）、感情得点Ｐ₂ が、Ｍ−０．５σより大きく、かつ
Ｍ＋０．５σより小さいか否かを判断する（ステップＳ
５８）。感情得点Ｐ₂ が、Ｍ−０．５σより大きく、か
つＭ＋０．５σより小さい場合（Ｓ５８：ＹＥＳ）、感
情の評価を「ふつう」にする（ステップＳ５９）。

【００８８】感情得点Ｐ₂ が、Ｍ−０．５σ以下である
か、又はＭ＋０．５σ以上である場合（Ｓ５８：Ｎ
Ｏ）、感情得点Ｐ₂ が、Ｍ＋０．５σ以上であり、かつ
Ｍ＋１．０σ以下であるか否かを判断する（ステップＳ
６０）。感情得点Ｐ₂ が、Ｍ＋０．５σ以上であり、か
つＭ＋１．０σ以下である場合（Ｓ６０：ＹＥＳ）、感
情の評価を「やや良い」にする（ステップＳ６１）。

【００８９】感情得点Ｐ₂ が、Ｍ＋０．５σより小さい
か、又はＭ＋１．０σより大きい場合（Ｓ６０：Ｎ
Ｏ）、感情得点Ｐ₂ が、Ｍ＋１．０σより大きいか否か
を判断する（ステップＳ６２）。感情得点Ｐ₂ が、Ｍ＋
１．０σよりも大きい場合（Ｓ６２：ＹＥＳ）、感情の
評価を「良い」にする（ステップＳ６３）。感情得点Ｐ
₂が、Ｍ＋１．０σ以下である場合（Ｓ６２：ＮＯ）、
処理をステップＳ５１に戻す。

【００９０】そして、評価した感情を感情推定装置の表
示部５に表示させる等により出力する（ステップＳ６
４）。

【００９１】実施の形態４．本実施の形態では、被験者
からの音声データをインターネット等の通信ネットワー
クを通じて受信し、感情の推定を行う感情推定システム
について説明する。

【００９２】図１０は、本実施の形態の感情推定システ
ムの構成を示す模式図である。感情推定システムは、被
験者から音声データを受信して、感情の推定を行う解析
サーバ１００と被験者が利用する情報処理装置２００，
２００，２００，…とから構成される。解析サーバ１０
０は、被験者の情報処理装置２００，２００，２００，
…にウェブページを送信することによって、感情推定の
ためのアプリケーションを提供する。感情推定を行う
際、被験者の情報処理装置２００，２００，２００，…
から音声データを送信する必要があるため、解析サーバ
１００と被験者の情報処理装置２００，２００，２０
０，…との間には、ストリーミング配信用のプロトコル
ＲＴＰ（Real-time transport protocol）が設定され
る。解析サーバ１００にて、音声データを受信した場
合、前述と同様にして音声データの波形解析及び音声認
識を行い、感情の推定を行う。

【００９３】図１１は、解析サーバ１００の内部構成を
示すブロック図である。図中１０１はＣＰＵであり、バ
ス１０２を介して後述する各ハードウェア各部に接続さ
れていて、ＲＯＭ１０３に格納された制御プログラムに
従って、それらを制御する。ＲＡＭ１０４は、ＳＲＡＭ
又はフラッシュメモリ等で構成され、ＲＯＭ１０３に格
納された制御プログラムの実行時に発生するデータを記
憶する。

【００９４】表示部１０５は、ＣＲＴ、液晶ディスプレ
イ等の表示装置であり、入力部１０６は、キーボード、
マウス等の入力装置である。通信部１０７は、モデム等
の回線終端装置を備えている。被験者の情報処理装置２
００からの要求に応じて、インターネット等の通信ネッ
トワークＮを通じて、ウェブページ等を送信することに
よって、所要の情報を情報処理装置２００へ送信すると
ともに、被験者の情報処理装置２００から音声データを
受信する。通信部１０７は、これらの情報の送受信の制
御を行っている。

【００９５】音声波形解析部１１３は、情報処理装置２
００から送信された音声データの音声波形を解析し、音
圧、ピッチ周波数、継続時間等の音響学的特徴に係る特
徴量を算出する。

【００９６】音声認識部１１４は、情報処理装置２００
から送信された音声データの音声認識を行い、音声情報
を文字列情報に変換する。変換された文字列情報は、後
述するように評価され、評価された値が解析データベー
ス１０９ａ（解析ＤＢ）に記憶される。

【００９７】内部記憶装置１０９は、ハードディスクの
ような記憶装置からなり、記憶領域の一部は、被験者の
情報処理装置２００から受信した音声データの波形を解
析して、抽出され音響学的特徴に係る特徴量を記憶する
解析データベース１０９ａ、被験者の情報処理装置２０
０に送信する質問情報が記憶されている質問情報データ
ベース１０９ｂとして用いられており、必要に応じて各
種データベースにアクセスし、情報の記憶及び読取り処
理が行われる。なお、本実施の形態では、解析サーバ１
００の内部記憶装置１０９に各種データベースを備えて
いるが、これらのデータベースは必ずしも解析サーバ１
００の内部にある必要はなく、解析サーバ１００に接続
したデータベースサーバを用意して、このデータベース
サーバの内部に備える構成であってもよい。

【００９８】外部記憶装置１０８は、本発明のコンピュ
ータプログラム及びデータを記録したＣＤ−ＲＯＭ等の
記録媒体１１０からコンピュータプログラム及びデータ
を読取るＣＤ−ＲＯＭドライブ等からなり、読取られた
コンピュータプログラム及びデータは、内部記憶装置１
０９に記憶される。内部記憶装置１０９に記憶されてい
るコンピュータプログラム及びデータは、ＲＡＭ１０４
に読込まれ、ＣＰＵ１０１が実行することで音声データ
を解析して、感情の推定を行う解析サーバ１００として
動作する。

【００９９】図１２は、被験者の情報処理装置２００の
内部構成を示すブロック図である。情報処理装置２００
は、具体的にはパーソナルコンピュータであり、ＣＰＵ
２０１を備えている。該ＣＰＵ２０１は、バス２０２を
介して、ＲＯＭ２０３、ＲＡＭ２０４、表示部２０５、
入力部２０６、通信部２０７、外部記憶装置２０８、及
び内部記憶装置２０９に接続されており、ＲＯＭ２０３
に格納された制御プログラムを実行することで表示部２
０５、入力部２０６等の各ハードウェアを制御する。

【０１００】通信部２０７は、モデム等の回線終端装置
を備えている。通信部２０７は、通信ネットワークＮを
介して、解析サーバ１００へ接続し、解析サーバ１００
からの要求を受信し、音声データ等の必要な情報を送信
する。

【０１０１】外部記憶装置２０８は、ＣＤ−ＲＯＭドラ
イブのような記憶装置からなり、内部記憶装置２０９
は、ハードディスクのような記憶装置からなる。内部記
憶装置２０９には、例えば、解析サーバ１００から送信
されるウェブページを閲覧するウェブ・ブラウザ等がイ
ンストールされている。

【０１０２】また、音声入力部２１１は、解析サーバ１
００から送信されてきた質問情報に対する回答を音声で
入力するために、マイクロホン等の入力装置を備えてい
る。音声出力部２１２は、解析サーバ１００から送信さ
れてきた質問情報を音声で出力するために、スピーカ等
の出力装置を備えている。

【０１０３】図１３〜図１５は、本実施の形態の感情推
定システムの動作手順を示すフローチャートである。ま
ず、被験者は音声データを送信するにあたって、ＵＲＬ
の入力、又は他のウェブページからの選択操作によっ
て、解析サーバ１００にアクセス要求を行う（ステップ
Ｓ７１）。アクセス要求を受信した解析サーバ１００
は、ユーザＩＤ及びパスワードを入力させるためのウェ
ブページを情報処理装置２００に送信する（ステップＳ
７２）。

【０１０４】ウェブページを受信した情報処理装置２０
０は、ユーザＩＤ及びパスワードの入力を受付け（ステ
ップＳ７３）、入力されたユーザＩＤ及びパスワードを
解析サーバ１００に送信する（ステップＳ７４）。解析
サーバ１００は、送信されたユーザＩＤ及びパスワード
を受信し（ステップＳ７５）、それが登録ユーザのもの
であるか否かを判断する（ステップＳ７６）。登録ユー
ザのものでない場合（Ｓ７６：ＮＯ）、処理をステップ
Ｓ７２に戻し、登録ユーザのものである場合（Ｓ７６：
ＹＥＳ）、ストリーミング配信等で利用されるプロトコ
ル（ＲＴＰ）を設定する（ステップＳ７７）。

【０１０５】そして、解析サーバ１００は、体調問診に
係る質問情報を送信する（ステップＳ７８）。質問情報
は、文字データとして送信してもよく、また、音声デー
タとして送信してもよい。質問情報を受信した被験者の
情報処理装置２００では、回答情報の受付けを行う（ス
テップＳ７９）。回答情報の受付けは音声で行い、音声
入力部２１１によって入力された回答に係る音声データ
を解析サーバ１００に送信する（ステップＳ８０）。

【０１０６】解析サーバ１００は、被験者の情報処理装
置２００から送信された音声データを受信し（ステップ
Ｓ８１）、受信した音声データの音響学的特徴を抽出す
る（ステップＳ８２）。そして、抽出した音響学的特徴
から特徴量を算出して、解析データベース１０９ａに記
憶させる（ステップＳ８３）。次いで、体調問診に係る
質問情報をすべて送信したか否かを判断することによっ
て、体調問診が終了したか否かを判断する（ステップＳ
８４）。体調問診が終了していない場合（Ｓ８４：Ｎ
Ｏ）、処理をステップＳ７８に戻す。

【０１０７】全ての質問情報を送信して、体調問診が終
了した場合（Ｓ８４：ＹＥＳ）、データ収集期間である
か否かを判断する（ステップＳ８５）。データ収集期間
である場合（Ｓ８５：ＹＥＳ）、メンタル問診に係る質
問情報を被験者の情報処理装置２００に送信する（ステ
ップＳ８６）。質問情報は、文字データとして送信して
もよく、また、音声データとして送信してもよい。質問
情報を受信した被験者の情報処理装置２００では、回答
情報の受付けを行う（ステップＳ８７）。回答情報の受
付けは音声で行い、音声入力部２１１によって入力され
た回答に係る音声データを解析サーバ１００に送信する
（ステップＳ８８）。

【０１０８】解析サーバ１００は、被験者の情報処理装
置２００から送信された音声データを受信し（ステップ
Ｓ８９）、受信した音声データの音声認識を行う（ステ
ップＳ９０）。そして、音声認識により抽出された文字
列を評価することによって、感情得点を算出し、算出し
た感情得点を解析データベース１０９ａに記憶させる
（ステップＳ９１）。

【０１０９】ステップＳ８５で、データ収集期間でない
と判断した場合（Ｓ８５：ＮＯ）、重回帰式を設定する
（ステップＳ９２）。重回帰式を設定する際、解析デー
タベース１０９ａに既に記憶してある音圧レベル、ピッ
チ周波数、ピッチ周波数の時間変動、音声の継続時間、
及びジッタを説明変数、感情得点を目的変数として重回
帰分析を行う。そして、ステップＳ８２にて新たに抽出
した特徴量を設定した重回帰式に代入し（ステップＳ９
３）、感情得点の推定値を得ることによって、感情の推
定を行う（ステップＳ９４）。感情得点の推定値は、解
析データベース１０９ａに記憶される（ステップＳ９
５）。

【０１１０】以上のように、音声データによる回答をイ
ンターネット等の通信ネットワークＮを通じて解析サー
バ１００に送信する構成としているため、音声データは
一般に圧縮した後に送信されることになるが、本実施の
形態では、５つの音響学的特徴を利用して推定を行って
いるため、圧縮による音声データの劣化から生じる感情
推定の誤差を縮小することができる。

【０１１１】本実施の形態でも、メンタル問診の回答か
ら求めた感情得点と重回帰分析によって推定した感情得
点との間に差が生じている場合に、感情得点の推定値の
補正を行ってもよい。また、感情得点に基づき感情を評
価する場合、前述したように被験者毎に基準値を設定し
て感情を評価してもよい。

【０１１２】

【発明の効果】以上、詳述したように、本発明による場
合は、互いに相関を有する２つの質問情報を出力し、出
力された質問情報に対する回答を夫々音声にて受付け、
一方の回答に係る音声から文字列情報を抽出し、他方の
回答に係る音声から音響学的特徴に係る特徴情報を抽出
し、抽出した文字列情報と特徴情報とから両者の相関関
係を設定し、質問情報の回答に係る音声を新たに受付け
た場合、受付けた音声から抽出した音響学的特徴に係る
特徴情報と設定した相関関係とに基づき、前記特徴情報
と相関がある文字列情報を特定する。したがって、例え
ば、一方の質問情報を被験者の感情に関する質問情報と
し、他方の質問情報を被験者の体調に係る質問とした場
合、体調に係る質問を被験者に答えてもらうことによっ
て、その被験者の感情を推定することが可能である。特
に、感情に関する質問で、被験者自身に特定の感情に対
する評価を答えてもらい、その評価と体調に係る質問の
回答から抽出した音響学的特徴との間に相関関係を設定
することによって、体調に係る質問の回答のみから、感
情の種類、及び感情の程度（抑揚）を定量的に推測する
ことが可能である。

【０１１３】また、本発明による場合は、質問情報の一
方が心理状態に関する質問情報であり、他方が体調に関
する質問情報である。したがって、被験者から発せられ
た音声に基づき、感情の意味内容、感情の程度を容易に
推定することができる。

【０１１４】更に本発明による場合は、質問情報に対す
る回答を音声にて受付ける際、所定の期間であるか否か
を判断し、所定の期間である場合にのみ、記憶してある
文字列情報と特徴情報との間の相関関係を設定するよう
にしている。したがって、本発明の情報処理システムの
利用開始時に、前述の相関関係を設定するために音声情
報を収集する期間（例えば、一週間程度）を設けること
ができる。また、加齢、被験者の体調等を適切に考慮し
て感情の推定を行うために、例えば、一ヶ月ごとに前記
相関関係を最新の状態に更新することができる。その
為、長期的に感情推定を行うことが可能であり、推定誤
差を縮小することが可能である。

【０１１５】更に本発明による場合は、記憶してある文
字列情報及び特徴情報から夫々を特徴づける特徴量を算
出し、算出した特徴量を用いた多変量解析により文字列
情報と特徴情報との相関関係を設定するようにしてい
る。したがって、複数の特徴量を利用して感情の推定を
行うことができるため、特定の音響学的特徴に被験者の
体調等の影響があった場合であっても、その影響を必要
最小限に抑えることが可能である等、本発明は優れた効
果を奏する。

【図面の簡単な説明】

【図１】本発明の情報処理装置を具体化した感情推定装
置の内部構成を示すブロック図である。

【図２】音声入力部から入力された音声情報の波形、及
び音声波形解析部によって抽出された特徴量の時間変化
の一例を示すグラフである。

【図３】各データベースの一例を示す概念図である。

【図４】音響学的特徴から算出された特徴量に対する感
情得点の得点分布の一例を示したグラフである。

【図５】感情推定装置の処理手順を示すフローチャート
である。

【図６】感情推定装置の処理手順を示すフローチャート
である。

【図７】本実施の形態に係る感情推定装置の処理手順を
示すフローチャートである。

【図８】重み係数の算出処理を示したフローチャートで
ある。

【図９】被験者毎に感情評価の基準値を設定する場合の
処理手順を示すフローチャートである。

【図１０】本実施の形態の感情推定システムの構成を示
す模式図である。

【図１１】解析サーバの内部構成を示すブロック図であ
る。

【図１２】被験者の情報処理装置の内部構成を示すブロ
ック図である。

【図１３】本実施の形態の感情推定システムの動作手順
を示すフローチャートである。

【図１４】本実施の形態の感情推定システムの動作手順
を示すフローチャートである。

【図１５】本実施の形態の感情推定システムの動作手順
を示すフローチャートである。

【符号の説明】

１ ＣＰＵ ２ バス ３ ＲＯＭ ４ ＲＡＭ ５ 表示部 ６ 入力部 ８ 外部記憶装置 ９ 内部記憶装置 ９ａ 解析データベース ９ｂ 質問情報データベース １０ 記録媒体 １００ 解析サーバ ２００ 情報処理装置 Ｎ 通信ネットワーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 源野 広和 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 Ｆターム(参考） 5D015 HH13 HH21 KK02 LL11

Claims (18)

【特許請求の範囲】
1. 【請求項１】 質問情報の記憶手段及び出力手段と、音
   声の受付手段とを備える情報処理システムにより、前記
   記憶手段に記憶してある質問情報を出力し、出力した質
   問情報に対する回答を音声にて受付け、受付けた音声に
   係る音響学的特徴を抽出し、抽出した音響学的特徴に基
   づき、前記音声に付随する情報を推定する情報処理方法
   において、 前記記憶手段に予め記憶されており、互いに相関を有す
   る第１質問情報及び第２質問情報を前記出力手段により
   出力し、出力された第１及び第２質問情報に対する回答
   を夫々音声にて受付け、受付けた第１質問情報の回答に
   係る音声から文字列情報を抽出し、受付けた第２質問情
   報の回答に係る音声から音響学的特徴に係る１又は複数
   の特徴情報を抽出し、抽出した文字列情報と特徴情報と
   を関連付けて記憶し、記憶してある文字列情報と特徴情
   報とから両者の相関関係を設定し、前記受付手段により
   第２質問情報の回答に係る音声を新たに受付けた場合、
   受付けた音声から抽出した音響学的特徴に係る１又は複
   数の特徴情報と設定した相関関係とに基づき、前記特徴
   情報と相関がある文字列情報を特定することを特徴とす
   る情報処理方法。
2. 【請求項２】 前記第１及び第２質問情報は、一方が心
   理状態に関する質問情報であり、他方が体調に関する質
   問情報であることを特徴とする請求項１に記載の情報処
   理方法。
3. 【請求項３】 第１質問情報又は第２質問情報に対する
   回答を音声にて受付ける際、所定の期間であるか否かを
   判断し、所定の期間である場合にのみ、記憶してある文
   字列情報と特徴情報とから両者の相関関係を設定するこ
   とを特徴とする請求項１又は請求項２に記載の情報処理
   方法。
4. 【請求項４】 記憶してある文字列情報及び特徴情報か
   ら夫々を特徴づける特徴量を算出し、算出した特徴量を
   用いた多変量解析により前記相関関係を設定することを
   特徴とする請求項１乃至請求項３の何れかに記載の情報
   処理方法。
5. 【請求項５】 質問情報の記憶手段と、該記憶手段に記
   憶されている質問情報を出力する出力手段と、音声を受
   付ける手段とを備え、前記出力手段から出力された質問
   情報に対する回答を音声にて受付け、受付けた音声から
   抽出した音響学的特徴に基づき、前記音声に付随する情
   報を推定すべくなしてある情報処理システムにおいて、 前記記憶手段に予め記憶されており、互いに相関を有す
   る第１質問情報及び第２質問情報を出力する手段と、出
   力された第１及び第２質問情報に対する回答を夫々音声
   にて受付ける手段と、受付けた第１質問情報の回答に係
   る音声から文字列情報を抽出する文字列情報抽出手段
   と、受付けた第２質問情報の回答に係る音声から音響学
   的特徴に係る１又は複数の特徴情報を抽出する特徴情報
   抽出手段と、抽出した文字列情報及び特徴情報を関連付
   けて記憶する手段と、記憶してある文字列情報と特徴情
   報とから両者の相関関係を設定する手段とを備え、前記
   受付手段により第２質問情報の回答に係る音声を新たに
   受付けた場合、受付けた音声から抽出した音響学的特徴
   に係る１又は複数の特徴情報と設定した相関関係とに基
   づき、前記特徴情報と相関がある文字列情報を特定すべ
   くなしてあることを特徴とする情報処理システム。
6. 【請求項６】 通信ネットワークを介して接続された第
   １情報処理装置と第２情報処理装置とを備え、前記第１
   情報処理装置は、質問情報の記憶手段と、該記憶手段に
   記憶されている質問情報を送信する送信手段とを備え、
   前記第２情報処理装置は、前記通信ネットワークを通じ
   て送信された質問情報を受信する手段と、受信した質問
   情報に対する回答を音声にて受付ける手段と、受付けた
   音声に係る音声情報を送信する手段とを備え、前記第１
   情報処理装置は、前記通信ネットワークを通じて受信し
   た音声情報から抽出した音響学的特徴に基づき、前記音
   声情報に付随する情報を推定すべくなしてある情報処理
   システムにおいて、 前記第２情報処理装置は、前記第１情報処理装置の前記
   記憶手段に予め記憶されており、互いに相関を有する第
   １質問情報及び第２質問情報を前記ネットワークを通じ
   て受信する手段と、受信した第１及び第２質問情報を出
   力する手段と、出力された第１及び第２質問情報に対す
   る回答を夫々音声にて受付ける手段と、受付けた音声に
   係る音声情報を送信する手段とを備え、 前記第１情報処理装置は、受信した第１質問情報の回答
   に係る音声情報から文字列情報を抽出する文字列情報抽
   出手段と、受信した第２質問情報の回答に係る音声情報
   から音響学的特徴に係る１又は複数の特徴情報を抽出す
   る特徴情報抽出手段と、抽出した文字列情報及び特徴情
   報を関連付けて記憶する手段と、記憶してある文字列情
   報と特徴情報とから両者の相関関係を設定する手段とを
   備え、第２質問情報の回答に係る音声情報を前記第２情
   報処理装置から新たに受信した場合、受信した音声情報
   から抽出した音響学的特徴に係る１又は複数の特徴情報
   と設定した相関関係とに基づき、前記特徴情報と相関が
   ある文字列情報を特定すべくなしてあることを特徴とす
   る情報処理システム。
7. 【請求項７】 前記第１及び第２質問情報は、一方が心
   理状態に関する質問情報であり、他方が体調に関する質
   問情報であることを特徴とする請求項５又は請求項６に
   記載の情報処理システム。
8. 【請求項８】 第１質問情報又は第２質問情報に対する
   回答を音声にて受付ける際、所定の期間であるか否かを
   判断する手段を備え、所定の期間である場合にのみ、記
   憶してある文字列情報と特徴情報とから両者の相関関係
   を設定すべくなしてあることを特徴とする請求項５乃至
   請求項７の何れかに記載の情報処理システム。
9. 【請求項９】 記憶してある文字列情報及び特徴情報か
   ら夫々を特徴づける特徴量を算出し、算出した特徴量を
   用いた多変量解析により前記相関関係を設定すべくなし
   てあることを特徴とする請求項５乃至請求項８の何れか
   に記載の情報処理システム。
10. 【請求項１０】 質問情報の記憶手段と、該記憶手段に
    記憶されている質問情報を出力する出力手段と、音声の
    受付手段とを備え、前記出力手段から出力された質問情
    報に対する回答を音声にて受付け、受付けた音声から抽
    出した音響学的特徴に基づき、前記音声に付随する情報
    を推定すべくなしてある情報処理装置において、 前記記憶手段に予め記憶されており、互いに相関を有す
    る第１質問情報及び第２質問情報を出力する手段と、出
    力された第１及び第２質問情報に対する回答を夫々音声
    にて受付ける手段と、受付けた第１質問情報の回答に係
    る音声から文字列情報を抽出する文字列情報抽出手段
    と、受付けた第２質問情報の回答に係る音声から音響学
    的特徴に係る１又は複数の特徴情報を抽出する特徴情報
    抽出手段と、抽出した文字列情報及び特徴情報を関連付
    けて記憶する手段と、記憶してある文字列情報と特徴情
    報とから両者の相関関係を設定する手段とを備え、前記
    受付手段により第２質問情報の回答に係る音声を新たに
    受付けた場合、受付けた音声から抽出した音響学的特徴
    に係る１又は複数の特徴情報と設定した相関関係とに基
    づき、前記特徴情報と相関がある文字列情報を特定すべ
    くなしてあることを特徴とする情報処理装置。
11. 【請求項１１】 通信ネットワークに接続可能になして
    あり、音声情報を受信する手段を備え、受信した音声情
    報から抽出した音響学的特徴に基づき、前記音声情報に
    付随する情報を推定すべくなしてある情報処理装置にお
    いて、 互いに相関を有する第１質問情報及び第２質問情報に対
    する回答を前記通信ネットワークを通じて夫々音声情報
    にて受信する手段と、受信した第１質問情報の回答に係
    る音声情報から該音声情報が含む文字列情報を抽出する
    文字列情報抽出手段と、受信した第２質問情報の回答に
    係る音声情報から音響学的特徴に係る１又は複数の特徴
    情報を抽出する特徴情報抽出手段と、抽出した文字列情
    報及び特徴情報を関連付けて記憶する手段と、記憶して
    ある文字列情報と特徴情報とから両者の相関関係を設定
    する手段とを備え、第２質問情報の回答に係る音声情報
    を新たに受信した場合、受信した音声情報から抽出した
    音響学的特徴に係る１又は複数の特徴情報と設定した相
    関関係とに基づき、前記特徴情報と相関がある文字列情
    報を特定すべくなしてあることを特徴とする情報処理装
    置。
12. 【請求項１２】 前記第１及び第２質問情報は、一方が
    心理状態に関する質問情報であり、他方が体調に関する
    質問情報であることを特徴とする請求項１０又は請求項
    １１に記載の情報処理装置。
13. 【請求項１３】 第１質問情報又は第２質問情報に対す
    る回答を音声にて受付ける際、所定の期間であるか否か
    を判断する手段を備え、所定の期間である場合にのみ、
    記憶してある文字列情報と特徴情報とから両者の相関関
    係を設定すべくなしてあることを特徴とする請求項１０
    乃至請求項１２の何れかに記載の情報処理装置。
14. 【請求項１４】 記憶してある文字列情報及び特徴情報
    から夫々を特徴づける特徴量を算出し、算出した特徴量
    を用いた多変量解析により前記相関関係を設定すべくな
    してあることを特徴とする請求項１０乃至請求項１３の
    何れかに記載の情報処理装置。
15. 【請求項１５】 前記特徴情報抽出手段は、入力された
    音声情報の音圧を検出する検出手段、ピッチ周波数を検
    出する検出手段、継続時間を検出する検出手段、又はジ
    ッタを検出する検出手段のうち少なくとも一の検出手段
    を備えることを特徴とする請求項１０乃至請求項１４の
    何れかに記載の情報処理装置。
16. 【請求項１６】 特定された文字列情報に応じた適宜情
    報を出力する手段を更に備えることを特徴とする請求項
    １０乃至請求項１５の何れかに記載の情報処理装置。
17. 【請求項１７】 コンピュータに、入力された音声情報
    に係る音響学的特徴を抽出させ、抽出させた音響学的特
    徴に基づき、前記音声情報に付随する情報を推定させる
    ステップを有するコンピュータプログラムにおいて、 コンピュータに、互いに相関を有する第１質問情報及び
    第２質問情報を出力させるステップと、コンピュータ
    に、出力された第１及び第２質問情報に対する回答を夫
    々音声情報にて入力させるステップと、コンピュータ
    に、入力された第１質問情報の回答に係る音声情報から
    文字列情報を抽出させるステップと、コンピュータに、
    受付けた第２質問情報の回答に係る音声情報から音響学
    的特徴に係る１又は複数の特徴情報を抽出させるステッ
    プと、コンピュータに、抽出させた文字列情報及び特徴
    情報を関連付けて記憶させるステップと、コンピュータ
    に、記憶してある文字列情報と特徴情報とから両者の相
    関関係を設定させるステップと、コンピュータに、第２
    質問情報に対する回答に係る音声情報を新たに受付けた
    場合、受付けた音声情報から抽出した音響学的特徴に係
    る１又は複数の特徴情報と設定させた相関関係とに基づ
    き、前記特徴情報と相関がある文字列情報を特定させる
    ステップとを有することを特徴とするコンピュータプロ
    グラム。
18. 【請求項１８】 コンピュータに、入力された音声情報
    に係る音響学的特徴を抽出させ、抽出させた音響学的特
    徴に基づき、前記音声情報に付随する情報を推定させる
    ステップを有するコンピュータプログラムが記録されて
    いるコンピュータでの読取りが可能な記録媒体におい
    て、 コンピュータに、互いに相関を有する第１質問情報及び
    第２質問情報を出力させるステップと、コンピュータ
    に、出力された第１及び第２質問情報に対する回答を夫
    々音声情報にて入力させるステップと、コンピュータ
    に、入力された第１質問情報の回答に係る音声情報から
    文字列情報を抽出させるステップと、コンピュータに、
    受付けた第２質問情報の回答に係る音声情報から音響学
    的特徴に係る１又は複数の特徴情報を抽出させるステッ
    プと、コンピュータに、抽出させた文字列情報及び特徴
    情報を関連付けて記憶させるステップと、コンピュータ
    に、記憶してある文字列情報と特徴情報とから両者の相
    関関係を設定させるステップと、コンピュータに、第２
    質問情報に対する回答に係る音声情報を新たに受付けた
    場合、受付けた音声情報から抽出した音響学的特徴に係
    る１又は複数の特徴情報と設定させた相関関係とに基づ
    き、前記特徴情報と相関がある文字列情報を特定させる
    ステップとを有するコンピュータプログラムが記録され
    ていることを特徴とするコンピュータでの読取りが可能
    な記録媒体。