JP2002509267A - 情動状態検出装置及び方法 - Google Patents

Abstract

(57)【要約】 本発明は、人の情動を検出する装置を開示し、該装置は、個人により発生された音声試料を入力する（７１０、７２０、７３０）とともにこれらの入力音声試料からイントネーション情報を導出するようにした、音声分析器（７６０）と、上記イントネーション情報に基づき個人の情動を表わす表示出力を発生するようにした、情動記録器（７３５）とを含む。また、多次元うそ発見方法及び情動検出方法が開示される。

Description

【発明の詳細な説明】

【０００１】 （技術分野） 本発明は情動検出装置及び方法に関する。

【０００２】 （背景技術） ＰＣＴ国際出願（ＰＣＴ／ＩＬ９６／０００２７号）の公開公報ＷＯ９７／０
１９８４号に、対象（人物）の情動に関する少なくとも１つの生理学的可変特性
のバイオフィードバック制御方法、即ち、対象の情動状態、即ち、情動による少
なくとも１つの音声パラメータ特徴を探索してその表示信号を発生する段階及び
該表示信号を用いて当該対象を少なくとも１つの生理学的変数をもって表示する
段階とを含む、生体自己制御方法が記載されている。このシステムは、スタンド
アロンモードにて、即ち、電話回線を介して主体から隔てた場所で発生するよう
にして当該方法を実施するようにしたものである。対象人物の情動に関係する情
報は遠隔当事者に口答で、即ち、インターネットを介して逐次伝送され、次いで
、所望に処理される。

【０００３】 ヨーロッパ特許出願公報第９４８５０１８５．３号（特許公報第３０６６６４
５３７Ａ２号）に、連続音声におけるアクセントを決定する方法及び装置が記載
されている。会話中に認識された連続音声により音声モデルが作成される。音声
会話中の一連の音声をモデル化した音声と比較することにより両者間の相違点が
得られる。

【０００４】 米国特許公報第１３８４７２１号には、生理学的応答分析用の方法及び装置が 記載されている。

【０００５】 フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１６号には、 基本的な音声−エネルギー重み付けビブラート成分評価による真/偽決定を行う ようにした、音声分析方法及び装置が記載されている。

【０００６】 フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１７号には、 スペクトルエネルギー領域の比較による真/偽決定を行うようにした、音声分析 方法及び装置が記載されている。

【０００７】 フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１８号には、 ビブラート成分評価による真/偽決定を行うようにした、音声分析方法及び装置 が記載されている。 本明細書で記述された全ての公報及びそれらの引用例に開示された事項は、参
考用として本明細書に取込んで記述される。

【０００８】 （発明の開示） （発明が解決しようとする技術的課題） 本発明は、改良された情動状態を探索する装置及び方法を提供しようとするも
のである。

【０００９】 （課題の解決方法） したがって、本発明の好ましい実施例により個人の情動を検出する装置を提供
するものであり、該装置は、個人により発生された音声試料を入力するとともに
これらの入力音声試料からイントネーション情報を導出するようにした、音声分
析器と、上記イントネーション情報に基づき個人の情動を表わす表示出力を発生
するようにした、情動記録器とを含む。

【００１０】 また、本発明の好ましい実施例によれば、音声試料が電話回線を介して音声分
析器に供給される。

【００１１】 更に、本発明の好ましい実施例によれば、個人の情動状態についての報告は上
記個人の情動状態に基づくうそ検出報告を含む。

【００１２】 また、本発明の好ましい実施例によれば、イントネーション情報は多次元イン
トネーション情報を含む。

【００１３】 更にまた、本発明の好ましい実施例によれば、多次元情報は少なくとも３次元
情報を含む。

【００１４】 更に、本発明の好ましい実施例によれば、多次元イントネーション情報は少な
くとも４次元情報を含む。

【００１５】 更にまた、本発明の好ましい実施例によれば、イントネーション情報はソーン
（不安定期）に関連する情報を含む。

【００１６】 更に、本発明の好ましい実施例によれば、ソーン（不安定期）に関連する情報
は予め定めた時間中に存在するソーンの数量から構成される。

【００１７】 また、本発明の好ましい実施例によれば、ソーン（不安定期）に関連する情報
は時間に関するソーン分布を含む。

【００１８】 更に、本発明の好ましい実施例によれば、イントネーション情報はプラトー（
安定期）に関連する情報を含む。

【００１９】 更には、本発明の好ましい実施例によれば、プラトー（安定期）に関連する情
報は予め定めた時間中に存在するプラトーの数量から構成される。

【００２０】 更にまた、本発明の好ましい実施例によれば、プラトーに関連する情報はプラ
トー（安定期）の期間長さに関連する情報を含む。

【００２１】 更には、本発明の好ましい実施例によれば、プラトーの期間長さに関連する情
報は予め定めた時間中の平均プラトー期間長さを含む。

【００２２】 更に、本発明の好ましい実施例によれば、プラトーの期間長さに関連する情報
は予め定めた時間中のプラトー期間長さの標準誤りを含む。

【００２３】 また、本発明の好ましい実施例によれば、個人により発生された音声試料を入
力するとともに該音声試料における複数の特徴事項を定量化するように作用する
、多次元音声分析器；及び上記定量化された複数の特徴事項に基づき、うその検
出を含む、個人の信頼性指示出力を発生するように作用する、信頼性評価報告器
により構成したうそ検出装置が提供される。

【００２４】 更に、本発明の好ましい実施例によれば、個人により発生された音声試料を受
領するとともに該音声試料における複数の特徴事項を定量化する段階；及び上記
定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性指示出
力を発生する段階を含む、うそ検出方法が提供される。

【００２５】 更にまた、本発明の好ましい実施例によれば、音声試料が周期を有する主音声
波により構成され、音声分析器は上記主音声波に重畳したローカル低周波により
指示されるプラトー（安定期）の出現率を決定するために上記音声試料を分析す
るように作用し、情動記録器は上記プラトーの出現率に基づいて適当な指示を出
力する。例えば、プラトー出現率の変化が発見されたとき、情動報告が適当な指
示出力を提供するようにする。

【００２６】 同様に、各ソーンは、主音声波に局部的に比較的高い高周波が重畳しているこ
とを示す。本明細書に記載されると共に説明されるように、ソーン及びプラトー
を分析する利点は、実質的に、音声波の全ての周波数が分析されることにある。

【００２７】 また、本発明の好ましい実施例によれば、安息時に、個人の情動の中立状態時
における第１期間にわたって複数の情動関連パラメータに関して上記個人を探索
するとともに上記第１期間中、上記情動関連パラメータ範囲の関数として特徴範
囲を特定することにより、上記個人の情動範囲を特徴付ける、多次元特徴範囲を
確立し；及び上記個人の情動状態を検出しようとするとき、該個人を、第２期間
にわたって上記情動関連パラメータに関して探索し、上記複数の情動パラメータ
の測定値を得、これらの測定値を上記特徴範囲を考慮して調整するようにした、
情動状態検出方法が提供される。

【００２８】 更にまた、本発明の好ましい実施例によれば、個人の情動状態を検出するにあ
たり、個人により発生された音声試料を受領するとともに該音声試料からイント
ネーション情報を導出し、上記イントネーション情報に基づき上記個人の情動状
態を指示する出力を発生するようにした、情動状態検出方法が提供される。

【００２９】 本明細書に添付の付録は、本明細書に開示される本発明の好ましい実施例の理
解及び評価の便宜に供せられる。

【００３０】 付録Ａは、本明細書に開示される、本発明の好ましい実施例の好ましい実施ソ
フトウェアのコンピュータリストである。

【表１】

【表２】

【表３】

【表４】

【表５】

【表６】

【表７】

【表８】

【表９】

【表１０】

【表１１】

【表１２】

【表１３】

【表１４】

【表１５】

【表１６】

【表１７】

【表１８】

【表１９】

【００３１】 （発明を実施するための最良の形態） 本特許出願書類の開示部分は著作権に属する事項を含んでいる。この著作権者
は、米国特許商標庁における特許ファイル又は記録簿に存在し、さもなければ、
当該著作権の全てが保存される限りにおいて、何人も当該特許書類又は特許開示
物をファクシミリにより複製することに異存は無い。

【００３２】 図１Ａは、話者の情動状態をオン−ライン方式で探索するシステムの外観図で
ある。実施例において、図示されるように、電話回線を伝わって入来する音声入
力が当該装置により受信される。この装置は、話者の情動状態の指示を得るため
に、入力音声を分析し、例えば、図示するように、上記指示を表示器画面に表示
してユーザにリアルタイムに提供される。

【００３３】 図１Ｂは、話者の情動状態をオン−ライン方式で探索する方法を説明する簡略
化動作流れ図である。この図１Ｂの方法は、好ましくは次のステップを含む： 初期化ステップ１０：詳細に後述するように、種々の情動を指示しようとする
範囲を特定する、色々なパラメータの閾値等の定数が定義される。

【００３４】 ステップ２０：周期的に又は要求により音声を記録する。例えば、０．５秒間
の音声セグメント、即ち、０．５秒毎に連続して記録される。それに代えて、上
記セグメントは、他の適当な長さとするか又は重複しない長さのものとすること
ができる。例えば、隣接するセグメントは、1つ又は数個のサンプルを除いて、 略完全に重複するものとされる。 音声記録をデジタル化する。 上記記録を構成する追加的に、即ち、交番状に重複するセグメントの標本が採
取される。

【００３５】 ステップ３０：音声セグメントの重要部、即ち、背景雑音とは対称的に実際に
音声情報を包含すると思われる音声セグメントの部分を選定するために、音声セ
グメントを分析する。適当な音声情報検出基準は振幅であり、例えば、閾値を超
える振幅の最初の部分が音声情報の開始部分とみなされ、音声情報の最終部は予
め定められた期間中に閾値を超過する音声が見出せなくなった後の時点であると
みなされる。

【００３６】 好ましくは、重要部分のサンプルは正規化され、例えば、もし、８ビットのメ
モリが適用されるのであれば、例えば、＋／−１２７振幅ユニットを当該メモリ
に収容できる、振幅の全範囲を利用するために当該サンプルを増幅することによ
り正規化される。

【００３７】 ステップ４０：重要部分におけるソーン（不安定期）及びプラトー（安定期）
の数量を計数する。各同定されたプラトー長さを演算し、当該重要部分に対する
平均プラトー長さ及び該プラトー長さに対する標準誤りを演算する。

【００３８】 “ソーン”はノッチ形態のものである。例えば、語“ソーン（不安定期）”と
は、次のように定義される： ａ． 隣接した３つの連続したサンプルであって、１番目及び３番
目のサンプルの振幅が共に中間のサンプルより高いか、又は ｂ． 隣接した３つの連続したサンプルであって、１番目及び３番
目のサンプルの振幅が共に中間のサンプルより低いもの 好ましくは、ソーンは、たとえ、１番目及び３番目のサンプルの振幅が共に中
間のサンプルより非常に僅かだけ相違する、即ち、サンプル間の違いに対する最
小閾値の無いものであっても宣言される。一方、好ましくは、ソーンのベースラ
インに対し最小閾値とされ、即ち、非常に低い振幅をもって生じたソーンは無視
され、それというのも、これらのセグメントは音声に関するものというより背景
雑音に関するものと考えられるからである。

【００３９】 図２は、多数のソーン（不安定期）３４を含んだ音声セグメント３２のグラフ
を示す。 “プラトー（安定期）”は、音声波における局所的平坦部分である。プラトー
（安定期）とは、例えば、連続した平坦部分の長さが予め定められた最小閾値よ
り大きくかつ予め定められた最大閾値より小さいものと定義される。最小閾値は
局所的平坦部分を無声又は沈黙期間と識別することを要する。もし、連続したサ
ンプル間の振幅差が予め定められた閾値、例えば、８ビットメモリを適用したと
き、５振幅目盛分小さければ、当該シーケンス（連続サンプル）は平坦であると
みなされる。

【００４０】 図３は、多数のプラトー（安定期）３８を含んだ音声セグメント３６のグラフ
である。付録Ａにおいて、プラトーは“ｊｕｍｐｓ（ジャンプ）”と称される。 本発明の装置は、代表的に、１つ又は２つのモードで操作される： ａ． 較正（Calibration）―― 対象（個人）は横臥及び/又は中
立情動状態としたまま、該対象を探索することにより当該対象の真実／中立情動
状態のプロフィールを確立する。 ｂ． テスト（Testing）―― 情動状態を確立する及び/又は当該
対象を誠実状態かどうかを確立すべく、当該対象の音声と、較正時に確立される
ような当該対象の真実／中立情動状態のプロフィールとの比較を行う。

【００４１】 上記装置を較正モードで使用するのであれば、ステップ５０からステップ６０
までの方法が実行される。該装置をテストモードで使用するのであれば、ステッ
プ５０からステップ８０までの方法が実行される。

【００４２】 ステップ６０：ステップ６０に到達したならば、現セグメントが較正の目的で
処理に付されたことを指示する。したがって、ステップ４０において導出された
ソーン及びプラトー情報が較正テーブルに蓄積される。 ここで、ステップ２０〜ステップ５０の処理は“音声記録入力処理（voice re
cording entering processes）”と定義される。較正の目的で更に音声記録を入
力する必要があれば、ステップ２０に戻る。較正の目的のための全ての音声記録
の入力が完了すれば、当該方法はステップ８０に進む。

【００４３】 ステップ８０：現在試験されている対象人物に対する真実／中立情動状態のプ
ロフィールを作成する。これは較正モードで操作される。引続いて、当該装置は
テストモードに入り、虚偽又は緊張情動事態を同定するために、当該対象の音声
記録がそれの真実／中立情動状態プロフィールと比較される。この対象のプロセ
ッサーは、代表的に、ソーン/プラトー情報の中心傾向に反映されるとともに、 代表的に、擬似較正状態を考慮して調整される。例えば、較正開始時における自
然ストレスのため、初期音声記録はその後の音声記録よりも信頼性が低い。好ま
しくは、信頼性のある中心傾向の指示を得るために、較正テーブルにおける極端
な入力は排除されなければならない。

【００４４】 ステップ９０前のテストモードに入る。 ステップ９０：現セグメントのソーン/プラトー情報をステップ８０において 演算された真実/中立情動プロフィールと比較する。

【００４５】 ステップ１００：種々の情動及び／又は虚偽事態であると指示できるように、
現セグメントを分類すべく、ステップ９０における比較処理結果に閾値を設定す
る。

【００４６】 ステップ１０５：オプションとして、持越（Carryover）を補償する。語“持 越（Carryover）”とは、最初の知覚状態によって惹起された“現実的（Actual ）”情動状態から持越される残存情動状態であり、該残存情動状態は初期知覚状
態が既に終焉した後も消え去らないものである。ステップ１０５を実行するため
の適当な実施例が図８のフローチャート（動作流れ図）において記述される。

【００４７】 ステップ１１０：ステップ１００において決定されたカテゴリーを指示するメ
ッセージを表示する。

【００４８】 ステップ１２０：分析すべき音声セグメントの追加があれば、ステップ２０に
戻る。それとも、終了する。適当な数ｍ個のセグメントが、例えば、５個のセグ
メントが較正に使用される。

【００４９】 図４は、図１Ｂにおけるステップ４０を実行するための好ましい方法を説明す
る簡略フローチャート（動作流れ図）である。上述したように、ステップ４０に
おいて、現音声記録セグメントの重要部分に対するソーン／プラトー情報が発生
される。

【００５０】 プラトーの現在長さが“jj”と記される。 “Jjmap(jj)”は長さが正確にjjとされるプラトーの数量である。 “Plat”は、長さに拘わらずプラトーの数量を計数するカウンタである。 “Thorn”は、ソーンの数量を計数するカウンタである。 ｎは、テスト中の重要部分におけるサンプル数である。

【００５１】 ステップ１５０において、ソーン及びプラトーの計数カウンタがリセットされ
る。

【００５２】 ステップ１６０において、重要部分の全てのサンプルについてループの実行が
開始（loop on）される。このループは第１重要サンプルにおいて開始され、最 後から２番目の重要サンプルにおいて終る。

【００５３】 ステップ１６４において、ループにおける各サンプルの振幅が記録される。 ステップ１７０及びステップ１８０において、ソーンの検出が行なわれ、ステ
ップ１９０、ステップ１９５、ステップ２００及びステップ２１０において、プ
ラトーの検出が行なわれる。

【００５４】 ステップ２００において、もし、候補プラトーの長さが妥当な範囲内のもの、
例えば、３〜２０の範囲内のものであれば、長さjjのプラトー数が増分（インク
リメント）されるとともにPlat及びプラトーの総数量が増分（インクリメント）
される。そうでなければ、即ち、もし、候補プラトーの長さが３より小さいか、
又は、２０を超えるものであれば、該候補プラトーはプラトーと認められない。

【００５５】 候補プラトーが“実（real）”プラトーとみなされるか又はみなされないと、
プラトー長さ、jjは、零（０）とされる（ステップ２１０）。

【００５６】 ステップ２２０は当該ループの終わり、即ち、当該シーケンスにおける全ての
サンプルのチェックが完了した時点である。

【００５７】 ステップ２３０において、プラトー長さ変数の平均値（ＡＶＪ）及び標準誤り
（ＪＱ）、jjmapが演算される。

【００５８】 ステップ２４０において、ＳＰＴ及びＳＰＪを演算する。ＳＰＴは各サンプル
あたりの平均ソーン数量であり、好ましくは、適当に正規化される。ＳＰＪは各
サンプルあたりの平均プラトー数量であり、好ましくは、適当に正規化される。

【００５９】 上記説明された実施例によれば、情動状態検出は多次元をもって行なわれ、即
ち、情動状態が、複数の、好ましくは独立した中間変数を介して音声情報から導
出される。

【００６０】 図５は、図１Ｂの真実/中立情動プロフィール形成ステップを実施するための 好ましい方法の簡略説明フローチャート（動作流れ図）である。 図５において、ＳＰＴ（ｉ）はセグメントｉのＳＰＴ値である。 MinＳＰＴは、任意のｍ個のセグメントについて計測された最小ＳＰＴ値であ る。 MaxＳＰＴは、任意のｍ個のセグメントについて計測された最大ＳＰＴ値であ る。 MinＳＰＪは、任意のｍ個のセグメントについて計測された最小ＳＰＪ値であ る。 MaxＳＰＪは、任意のｍ個のセグメントについて計測された最大ＳＰＪ値であ
る。 MinＪＱは、任意のｍ個のセグメントについて計測された最小ＪＱ値である。 MaxＪＱは、任意のｍ個のセグメントについて計測された最大ＪＱ値である。

【００６１】 ＲｅｓＳＰＴは、較正時に遭遇したＳＰＴ値の範囲サイズである。より一般的
には、ＲｅｓＳＰＴは、対象（人物）が真実／中立情動状態にあるときに予測さ
れ得るソーン数量の変動程度を指示する。したがって、音声セグメントにおける
ソーン数量が、ＲｅｓＳＰＴに関して非標準的であれば、当該対象は、興奮又は
準覚醒によって特徴付けられる情動状態等の非中立状態にあるといえる。よって
、ＲｅｓＳＰＴは、代表的に、情動環境が知られない間に発生されたＳＰＴ値の
計測処理に対する入力とされる。

【００６２】 ＲｅｓＳＰＪは、較正時に遭遇したＳＰＪ値の範囲サイズである。より一般的
には、ＲｅｓＳＰＪは、対象（人物）が真実／中立情動状態にあるときに予測さ
れ得るプラトー数量の変動程度を指示する。したがって、音声セグメントにおけ
るプラトー数量が、ＲｅｓＳＰＪに関して非標準的であれば、当該対象は、内部
矛盾又は認知的不協和感情によって特徴付けられる情動状態等の非中立状態にあ
るといえる。よって、ＲｅｓＳＰＪは、代表的に、情動環境が知られない間に発
生されたＳＰＪ値の計測処理に対する入力とされる。

【００６３】 ResＪＱは、較正時に遭遇したＪＱ値の範囲のサイズであり、該ＪＱ値は、未 知の情動環境時に発生されたＪＱ値を評価するための基準値として利用される。 上記基準値は、必ずしも、図５に示されるように、４次元のものとする必要は
無く、それに代えて、１次元又は４次元以上の多次元のものであってもよい。

【００６４】 図６は、特定のセグメントについて図１Ｂのステップ９０を実行するための好
ましい方法の簡略化した流れ図である。上述したように、ステップ９０において
、現在セグメントのソーン／プラトー情報がステップ８０において演算された真
実／中立情動基準値と比較される。

【００６５】 ステップ４００は初期化ステップである。 ステップ４１０は、現主要部の以前に演算された対象（人物）の真実／中立情
動状態プロフィールからの偏差を演算する。説明された実施例において、偏差は
、ソーン数量に関連した第１成分、プラトー数量に関連した第２成分、プラトー
期間中の標準誤りに関連した第３成分及びプラトー期間の平均長さに関連した第
４成分から構成される。一方、別異のアプリケーションには異なった成分を使用
することが考えられる。例えば、幾つかのアプリケーションでは、ある時間間隔
にわたる（均一なソーン、不規則なソーン等の）ソーン分布は対象の情動状態に
関して情報を導出するのに有用である。

【００６６】 “破断点Ｔ”は、真実／中立情動環境における平均ソーン数量と現主要部にお
けるソーン数量との比率の許容範囲を特徴付ける閾値である。 “破断点Ｊ”は、真実／中立情動環境における平均プラトー数量と現主要部に
おけるプラトー数量との比率の許容範囲を特徴付ける閾値である。 “破断点Ｑ”は、真実／中立情動環境におけるプラトー数量の平均標準誤りと
現主要部におけるプラトー数量の標準誤りとの比率の許容範囲を特徴付ける閾値
である。 “破断点Ａ”は、真実／中立情動環境における平均プラトー長さと現主要部に
おける平均プラトー長さとの比率の許容範囲を特徴付ける閾値である。

【００６７】 ステップ４２０〜ステップ４７０は、現セグメントから発生された新しい情報
を考慮するために対象プロフィールを更新する。上述した実施例において、現主
要部の以前に演算された対象の真実／中立情動状態プロフィールからの偏差が非
常に大きいか（例えば、最高限度値を超えるか）又は非常に小さい（例えば、最
低限度値を下回る）とき、ＲｅｓＳＰＴ値及びＲｅｓＳＰＪ値のみが更新される
。現主要部の上記真実／中立情動状態プロフィールからの偏差が非常に大きくな
いか又は小さくない（例えば、最高限度と最低限度間の値である）と、対象プロ
フィールは当該段階では代表的に変更されない。

【００６８】 ステップ４６０及びステップ４７０において、もし、ｚｚＳＰＴ及びｚｚＳＰ
Ｊがそれぞれ極めて零（０）に近い値であれば、当該装置の感度は、ＲｅｓＳＰ
Ｔ値及びＲｅｓＳＰＪ値をそれぞれ漸減することにより高められる。

【００６９】 ステップ４８０は、適当な代表的なアプリケーション、即ち、ステップ４１０
において演算された偏差成分の特定の組合せが発生される。これらの組合せは、
適当な情動分類基準、例えば、図７において特定される情動分類基準等の基礎と
して用いられる。図７の情動分類基準は、誇張であるか、不誠実であるか、言い
紛らわしであるか、混沌とし若しくは不確かであるか、興奮しているか、又は辛
辣であるかどうかを判定するものである。一方、異なった状況に在っては、異な
った情動分類基準を適用するようにしてもよい。

【００７０】 上述の実施例において、ＳＰＴ情報は、主に、興奮レベルを判定するのに用い
られる。更に、詳しくは、ｚｚＳＰＴはｃｒＥＸＣＩＴＥ値を決定するのに用い
られる。ｃｒＥＸＣＩＴＥ値はｃｒＳＴＲＥＳＳ等の付加パラメータに依存する
ものである。例えば、ｃｒＥＸＣＩＴＥ値が、７０〜１２０の範囲内にあれば正
常とみなされる一方、１２０〜１６０の範囲内にあれば中程度の興奮状態とみな
され、１６０を超えた値であれば、高レベルの興奮状態とみなされる。

【００７１】 上記実施例において、ＳＰＪ情報は、主に、心理学的に不協調な感情の判定に
用いられる。例えば、ｚｚＳＰＪ値が０．６〜１．２の範囲内にあれば、正常と
みなされるが、１．２〜１．７の範囲内にあれば、混沌としているか若しくは不
確かを表示しているとみなされる。１．７を超えた値は、対象の部分についての
音声意識及び／又は対象の音声制御の意図を表示しているものとみなされる。

【００７２】 上記実施例において、ｚｚＪＱ値及びｃｒＳＴＲＥＳＳ値は、主に、ストレス
レベルを判定するのに用いられる。例えば、ｃｒＳＴＲＥＳＳ値が７０〜１２０
の範囲内にあれば、正常とみなされる一方、１２０を超えた値であれば、高度の
ストレスを表わしているとみなされる。

【００７３】 上記実施例において、ＡＶＪ情報は、喋り言葉又は文章中に観察された考慮度
数を判定するのに用いられる。例えば、ｃｒＴＨＩＮＫ値が１００を超えれば、
最終の会話文中に検出された考慮度数は、較正位相において検出された考慮度数
よりも高いことを表している。これは、較正位相において考慮したことよりも会
話中のことについてより多く考慮していることを意味する。もし、該ｃｒＴＨＩ
ＮＫ値が１００を下回れば、その人は、較正位相において考慮したよりも会話中
のことについて考慮することが少ない。

【００７４】 上述した実施例において、ｃｒＬＩＥパラメータは真誠さを判定するのに用い
られる。ｃｒＬＩＥ値が５０を下回るときは、不真誠であることを表わし、５０
〜６０の範囲内にあれば、辛辣若しくはユーモアであることを表わし、６０〜１
３０の範囲内に在れば、真誠であることを表わし、１３０〜１７０の範囲内に在
れば、不正確若しくは誇張であること表わすものとみなされ、１７０を超えた値
であれば、不誠実であることを表わすものとみなされる。

【００７５】 図６を振り返って見ると、上述したパラメータは、次のような値を受け取る：
破断点Ｔ＝破断点Ｊ＝破断点Ｑ＝破断点Ａ＝１．１ 最高限度値Ｔ＝最高限度値Ｊ＝１．１ 最低限度値Ｊ＝最低限度値Ｔ＝−０．６ 増分Ｔ＝増分Ｊ＝減分Ｔ＝減分Ｊ＝０．１ 最小値Ｔ＝最小値Ｊ＝０．１ 上記の全ての数値は単なる一例であって、代表的なアプリケーションに依存す
るものである。

【００７６】 図７は、種々のパラメータを、例えば、図１に示されるように表示しようとす
るメッセージに変換する方法を示す図である。

【００７７】 図８は、真実／中立情動状態を微調整する方法を示す図である。 付録Ａは、本明細書に開示される本発明の好ましい実施例の実施ソフトウェア
のコンピュータリストであり、該コンピュータリストは、本明細書において図面
を参照して示されかつ記述される実施例とは若干異なっている。

【００７８】 実施ソフトウェアを発生する適当な方法は次のとうりである： ａ． マイクロフォン、音声カード及びビジュアルベーシックＴＭ
バージョン５ソフトウェアを具備したＰＣ（パーソナルコンピュータ）に新しい
プロジェクトが発生される。

【００７９】 音声カードの記録セッティングすることにより次のパラメータ；１１ＫＨｚ、
８ビット、モノラル、ＰＣＭに応じて作用する。 ｂ． 新しいプロジェクトに現れるデフォルトフォームにタイマー
目標を設定する。このタイマー目標を“timer 1（タイマー１）”と称する。 ｃ． 上記フォームにＭＣＩマルチメディア制御目的を設定する。
この目的を“mm control 1（ｍｍコントロール１）”と称する。 ｄ． 上記フォームに５つのラベル目的（label object）を設定す
る。これらのラベルを、ラベル１、ラベル２、ラベル３、ラベル４及びラベル６
と称する。 ｅ． 上記フォームに４つのアレイを作成する。これらのアレイに
次のような名前を付す；ＳＰＴ（０．４）、ＳＰＪ（０．４）、ＪＱ（０．４）
及びＡＶＪ（０．４）。 ｆ． 上記フォームにコマンドボタンを設定するとともにその終了
すべき主要特性を変更する。上記コマンドボタンを“command 1”と称する。 ｇ． 上記付録Ａにおける“form 1”と表題が付されたページに、
キーボードからの入力操作により上記フォーム用のコードを発生する。 ｈ． プロジェクトにモジュールを加える。上記付録Ａにおける“
Feelings _detector”と表題が付されたページに、キーボードからの入力操作に
より上記モジュール用のコードを発生する。 ｉ． 上記ＰＣにマイクロフォンを接続する。 ｊ． 上記アプリケーションをスタートするために、キー（Ｆ５）又
は“run”を押圧する。

【００８０】 図９は、上記アプリケーションの開始直前における、設計モードでの上記フォ
ームを描いたディスプレイ表示画面の画像を示す図である。

【００８１】 図１０は、特定対象に対する較正時における、稼動モードでの上記フォームを
描いたディスプレイ表示画面の画像を示す図である。

【００８２】 図１１は、対象のテスト時における、上記フォームを描いたディスプレイ表示
画面の画像を示す図である。

【００８３】 付録ＡにおけるＣｏＲ＿ｍｓｇＸの各変数値はつぎのとおりである： １---真誠、２---辛辣、３---興奮、４---混沌／不確か、５---興奮度大、 ６---音声操作、７---うそ／偽表明、８---誇張／杜撰。 現在の主要部データを担う各変数は、次の文字で始まる名前を有する：cor_. ベースライン要素は次の文字で始まる名前を有する：cal_. 破断点要素は、次の文字で始まる名前を有する：bp_. ＲｅｓＳＰＴ及びｒｅｓＳＰＴは、それぞれ、ＲｅｓＴ及びＲｅｓＪと略称す
る。

【００８４】 図１２は、情動状態検出装置の簡略化機能ブロック図であり、該情動状態検出
装置は本発明の好ましい実施例に応じて構成されるとともに作動し、図１Ｂの方
法を実施するように作用する。図示するように、図１２の装置は、Ａ／Ｄ変換器
を介して情動検出ワークステーション７３５により入力するようにした音声を発
生する、テープレコーダ７００、マイクロフォン７１０又は電話器７２０等の音
声入力機器を含む。音声窓記録器７５０は、代表的に、入来する音声表現信号を
音声窓又はセグメントに区分して、それぞれ、音声窓分析器７６０により分析さ
れる。上記音声分析器は、各音声窓又はセグメントを、ユニット７７０に蓄積さ
れた較正データと比較する。この較正データは、代表的に、詳細に前述したよう
に、各対象の個人から個別に導出される。表示器又はプリンタ７８０は、好まし
くは、オン−ライン方式で、当該システムにおける各ユーザ用に情動状態報告を
表示又は印刷する。

【００８５】 本発明のソフトウェア構成要素は、所望により、ＲＯＭ（リード−オンリーメ
モリ）形式で実装することができる。このようなソフトウェア構成要素は、一般
に、所望により、公知の方法でハードウェアに実装するようにしてもよい。

【００８６】 付録Ａに記載した実施例は、単に本発明の詳細な実施例の開示にのみ供せられ
たものであり、それに限定する意図はない。

【００８７】 明瞭化のため、個別の複数の実施例に関連して記述された本発明の種々の特徴
は、単一の実施例に組込むことができる。これと反対に、簡潔化のため、単一の
実施例に関連して記述された本発明の種々の特徴は個別化し又は適当なサブコン
ビネーションをもって実施することができる。

【００８８】 本発明は、以上に記述された実施例に限定されるものではないことは当業者に
は明らかなことであり、むしろ、本発明の範囲は、請求の範囲の記載のみにより
特定される。

【図面の簡単な説明】

【図１Ａ】 話者の情動状態をオン−ライン方式で探索するシステムの説明
図である。

【図１Ｂ】 話者情動状態をオン−ライン方式で探索する好ましい方法の動
作流れ図である。

【図２】 多数のソーンを含む音声セグメントのグラフである。

【図３】 多数のプラトーを含む音声セグメントのグラフである。

【図４】 図１Ｂのステップ４０を実行するための好ましい方法の簡略動作
流れ図である。

【図５】 図１Ｂの真実／中立情動プロフィール確立ステップを実行するた
めの好ましい方法の簡略動作流れ図である。

【図６】 特定のセグメントについて図１Ｂのステップ９０を実行するため
の好ましい方法の簡略動作流れ図である。

【図７】 図１Ｂのステップ１００を実行するための好ましい方法の簡略動
作流れ図である。

【図８】 図１Ｂのステップ１０５を実行するための好ましい方法の簡略動
作流れ図である。

【図９】 付録Ａのアプリケーションの開始直前における、設計モードでの
フォームを描写した表示画面の画像図である。

【図１０】 付録Ａのアプリケーションの開始直前における、特定の対象に
対する較正時でのフォームを描写した表示画面の画像図である。

【図１１】 付録Ａのアプリケーションの開始直前における、対象のテスト
時でのフォームを描写した表示画面の画像図である。

【図１２】 図１Ｂの方法を実行するための好ましい装置の簡略ブロック図
である。

【符号の説明】

３２ 音声セグメント ３４ ソーン（不安定期） ３６ プラトー（安定期） ７００ テープレコーダ ７１０ マイクロフォン ７２０ 電話器 ７３０ 音声入力装置（機器） ７３５ 情動状態検出ワークステーション ７４０ Ａ／Ｄ変換器 ７５０ 音声窓又はセグメント記録器 ７６０ 音声窓又はセグメント分析器 ７７０ 較正データ蓄積器 ７８０ 表示器／プリンタ

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ， ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，Ｌ Ｔ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ， ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (19)

【特許請求の範囲】
1. 【請求項１】 個人により発生された音声試料を入力するとともに該音声試
   料からイントネーション情報を導出するように作用する、音声分析器；及び 上記イントネーション情報に基づき個人の情動状態指示出力を発生するように
   作用する、情動報告器により構成した、個人の情動状態検出装置。
2. 【請求項２】 音声試料が電話器を介して音声分析器に供給される、請求項
   １に記載の装置。
3. 【請求項３】 個人の情動状態についての報告が個人の情動状態に基づくう
   そ検出報告を含む、請求項１に記載の装置。
4. 【請求項４】 イントネーション情報が多次元イントネーション情報から成
   る、請求項１〜請求項３のいずれかに記載の装置。
5. 【請求項５】 多次元イントネーション情報が少なくとも３次元情報から成
   る、請求項４に記載の装置。
6. 【請求項６】 多次元イントネーション情報が少なくとも４次元情報から成
   る、請求項４に記載の装置。
7. 【請求項７】 イントネーション情報がソーン（不安定期）に関連する情報
   を含む、請求項１〜請求項３、請求項５〜請求項６のいずれかに記載の装置。
8. 【請求項８】 ソーンに関連する情報が予め定めた時間中に存在するソーン
   数量から成る、請求項７に記載の装置。
9. 【請求項９】 ソーンに関連する情報が時間に関するソーン分布を構成する
   、請求項８に記載の装置。
10. 【請求項１０】 イントネーション情報がプラトー（安定期）に関連する情
    報を含む、請求項１〜請求項３、請求項５〜請求項６、請求項８〜請求項９のい
    ずれかに記載の装置。
11. 【請求項１１】 プラトーに関連する情報が予め定めた時間中に存在するプ
    ラトー数量から成る、請求項１０に記載の装置。
12. 【請求項１２】 プラトーに関連する情報がプラトーの期間長さに関連する
    情報から成る、請求項１１に記載の装置。
13. 【請求項１３】 プラトーの期間長さに関連する情報が予め定めた時間中の
    平均プラトー期間長さから成る、請求項１２に記載の装置。
14. 【請求項１４】 プラトーの期間長さに関連する情報が予め定めた時間中の
    プラトー期間長さの標準誤りから成る、請求項１２に記載の装置。
15. 【請求項１５】 個人により発生された音声試料を入力するとともに該音声
    試料における複数の特徴事項を定量化するように作用する、多次元音声分析器；
    及び 上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性
    指示出力を発生するように作用する、信頼性評価報告器 により構成された、うそ検出装置。
16. 【請求項１６】 個人により発生された音声試料を受領するとともに該音声
    試料における複数の特徴事項を定量化する段階；及び 上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性
    指示出力を発生する段階 を含む、うそ検出方法。
17. 【請求項１７】 音声試料が周期を有する主音声波により構成され； 音声分析器が上記主音声波に重畳したローカル低周波により指示される、プラ
    トー（安定期）の出現率を決定するために上記音声試料を分析するように作用し
    ；及び 情動記録器が上記プラトーの出現率に基づいて適当な指示を出力するようにし
    た、請求項１〜請求項３、請求項５〜請求項６、請求項８〜請求項９、請求項１
    １〜請求項１５のいずれかに記載の装置。、
18. 【請求項１８】 情動状態を検出するにあたり： 安息時に、個人の情動の中立状態時における第１期間にわたって複数の情動関
    連パラメータに関して上記個人を探索するとともに上記第１期間中、上記情動関
    連パラメータ範囲の関数として特徴範囲を特定することにより、上記個人の情動
    範囲を特徴付ける、多次元特徴範囲を確立し；及び 上記個人の情動状態を検出しようとするとき、該個人を、第２期間にわたって
    上記情動関連パラメータに関して探索し、上記複数の情動パラメータの測定値を
    得、これらの測定値を上記特徴範囲を考慮して調整するようにした、情動状態検
    出方法。
19. 【請求項１９】 個人の情動状態を検出するにあたり、 個人により発生された音声試料を受領するとともに該音声試料からイントネー
    ション情報を導出し；及び 上記イントネーション情報に基づき上記個人の情動状態を指示する出力を発生
    するようにした、情動状態検出方法。