JP2007000366A - ストレス状態推定緩和方法、ストレス状態推定緩和装置及びそのプログラム - Google Patents

Abstract

【課題】 被検者の行動を制限しないで簡便にストレス状態を推定し、ストレス緩和を可能にする。
【解決手段】 学習音声に基づき予め被検者のストレス状態での音声特徴量ベクトルの出現確率、及び非ストレス状態での音声特徴量ベクトルの出現確率を音声特徴量ベクトルに対応付けた符号帳を作成し、検査時に、被検者の入力音声から音声特徴量を抽出し、抽出した音声特徴量に基づいて符号帳の対応する音声特徴量ベクトルを判定し、判定した音声特徴量ベクトルに対応するストレス状態での音声特徴量ベクトルの出現確率と、非ストレス状態での音声特徴量ベクトルの出現確率からストレス状態尤度及び非ストレス状態尤度を算出し、それらの尤度情報を一定期間蓄積し、蓄積されたストレス状態尤度と非ストレス状態尤度に基づいて話者がストレス状態にあったか否かを推定し、推定したストレス状態に対応したストレス緩和音を出力する。
【選択図】 図１

Description

本発明は、被検者のストレス状態を推定し、緩和する方法、装置及びそのプログラムに関する。

航空機の管制官やパイロット、電車の運転手、など、多数の人命の安全がゆだねられる職業の人間は、身体的疲労が生じなくても、過大な精神的ストレスを受け、健康を損ねるだけでなく、適切な判断ができなくなり、事故の原因となることがある。従って、定期的又は不定期的にストレスの程度を自分で、又は管理者が簡便に検査でき、ストレス状態と推定された場合は、被検者にストレスを緩和する環境を与えることができれば、都合がよい。あるいは、家庭における日常生活においても、ストレス度を簡便に検査でき、必要に応じてストレスを緩和できれば、健康の管理に役に立つ。

ストレスの度合いを測定する従来の装置として、個人の心理的ストレス又はリラックス度合いを、ストレス時に生じる体温上昇、皮膚の電気抵抗変化、血圧変化、血流量変化などの生体反応を測定して推測し、推測したストレス度合いに応じたリラックス情報を得るようにした装置が例えば特許文献１に示されている。
特開２００３−１５３９０５号公報。 「音響・音声工学」、古井貞煕、近代科学社、１９９２。 「音声符号化」、守谷健弘、電子情報通信学会、１９９８。 「ディジタル音声処理」、古井貞煕、東海大学出版会、１９８５。 「複合正弦波モデルに基づく音声分析アルゴリズムに関する研究」、嵯峨山茂樹、博士論文、１９９８。 Y.Linde, A.Buzo and R.M.Gray, "An algorithm for vector Quantizer design", IEEE Trans. Commun., vol. Com-288, pp.84-95, 1980 。

しかしながら、上述のような従来の装置では、一般に、生体反応を測定するための検出手段を被検者に接触して測定を行う必要があり、測定中の被検者の行動に制限があった。また、ストレス状態を精度よく推定するのが容易でないという問題があった。
この発明は、そのような問題を解決するためになされたものであり、被検者のストレス状態を検出する際に、被検者の行動をそれほど束縛しないでも精度よく簡便にストレス状態を検出し、それに応じてストレスを緩和する処置が可能なストレス状態推定緩和方法、装置及びそのプログラムを提供することである。

この発明による被検者のストレスを推定し、緩和する方法及び装置は、
被検者の音声からフレームごとに予め決めた音声特徴量の組を抽出し、
ストレス状態と非ストレス状態のそれぞれにおける音声特徴量ベクトルの出現確率が上記被検者の学習音声から予め求められ格納された符号帳を用い、上記音声特徴量の組から対応する音声特徴量ベクトルと、その音声特徴量ベクトルのストレス状態及び非ストレス状態における出現確率を得て、
１フレーム以上の与えられた判定期間にわたる上記ストレス状態と非ストレス状態のそれぞれにおける上記音声特徴量ベクトルの上記出現確率に基づいてストレス状態となる尤度と非ストレス状態となる尤度をそれぞれ算出し、
上記ストレス状態となる尤度と上記非ストレス状態となる尤度に基づいて上記被検者がストレス状態か非ストレス状態のいずれであるかを推定し、
上記被検者がストレス状態と推定された場合、予め決めた複数のストレスレベルのいずれかを判定し、
予め決めた複数のストレス緩和音から上記判定したストレスレベルに応じたストレス緩和音を選択し、上記被検者の環境に出力する。

本発明は、被検者の音声から音声特徴量を抽出し、その音声特徴量に基づいて被検者のストレス状態を推定するため、被検者は音声を入力するだけでよく、従って、身体的行動の制限をうけることなく仕事を行いながらでも実時間で簡便にストレス状態を推定し、そのストレス状態に応じたストレス緩和音を与えてストレスを緩和させることができる。

以下、本発明の実施の形態について、図面を用いて説明する。
図１は、本発明の実施の形態に係るストレス状態推定緩和装置の機能構成を示すブロック図である。この実施例のストレス状態推定緩和装置１００は、記憶手段１１０と、音声特徴量抽出手段１２０と、音声特徴量ベクトル判定手段１３０と、出現確率取得手段１４０と、尤度算出手段１５０と、ストレス状態推定手段１６０と、尤度情報蓄積手段１７０と、ストレス緩和音出力手段１８０と、制御手段１９０とから構成されている。
例えばこのストレス状態推定緩和装置１００が航空管制官室の管制テーブル近くに設置され、管制官がパイロットとの交信時に使用するマイクロホンにより集音された音声信号がこの装置１００に入力される。あるいは、この発明の装置がオフィスの電話機と隣接して又は電話機内に設置され、電話機の送話用マイクロホンから音声信号を取り出し、この発明の装置１００に入力する。もちろん、この発明のストレス状態推定緩和装置１００内にマイクロホンを設けて、そのマイクロホンで集音した音声信号を使用してもよい。あるいは、この発明のストレス状態推定緩和装置を被検者とは離れた例えば管理者室に設け、無線回線、電話回線あるいはインターネット電話回線を通して被検者からの音声信号を受信してストレス状態推定緩和装置１００に入力し、被検者のストレス状態を管理者が遠隔地で監視するようにしてもよい。

記憶手段１１０には符号帳110CBが格納されている。符号帳110CBは学習音声を用いて予め生成された符号帳であって、被検者からストレス状態及び非ストレス状態で収集した音声に含まれる予め決めた音声特徴量の組のすべてから周知のアルゴリズムで予め決めた数のベクトルに量子化した音声特徴量ベクトル（量子化音声特徴量ベクトル又は代表音声特徴量ベクトルとも呼ばれる）と、それらの各音声特徴量ベクトルのストレス状態及び非ストレス状態における音声特徴量ベクトルの出現確率とが各コードに対応して格納されている。

音声特徴量抽出手段１２０はバッファ１２０Ａと音声分析手段１２０Ｂを有しており、入力音声信号を一定長（フレーム長）ごとに区切られて番号が付加されてバッファ１２０Ａに順次格納される。バッファ１２０Ａの容量は音声の所定フレーム数分を必要とし、満杯になった後は最も古いフレームが破棄され、最新のフレームの音声信号が取り込まれる。音声分析手段１２０Ｂは、バッファ１２０Ａ内の所定番目のフレームを分析対象の現フレームとしてそのフレームの予め決めた種類の音声特徴量の組を抽出する。予め決めた種類の音声特徴量としては、少なくとも基本周波数（又はピッチ周期）、パワー、動的特徴量の時間変化特性、又はこれらのフレーム間差分を含む。

音声特徴量ベクトル判定手段１３０は、音声特徴量抽出手段１２０が抽出した音声特徴量の組に対し、符号帳110CB中の最も近い音声特徴量ベクトルを探索し、そのベクトルであると判定する。出現確率取得手段１４０は、判定された音声特徴量ベクトルに対応するストレス状態及び非ストレス状態での出現確率をそれぞれ符号帳110CBから読み取る。
尤度算出手段１５０は、与えられた判定区間、例えば入力音声の音声小段落区間に渡ってフレームごとに順次抽出した音声特徴量の組に対してこの符号帳110CBから読み取られた音声特徴量ベクトルに対応するストレス状態及び非ストレス状態での出現確率に基づいて、ストレス状態及び非ストレス状態となる尤度をそれぞれ算出する。

尤度情報蓄積手段１７０は、判定区間より十分長い検査期間、例えば数分から数１０分、にわたって尤度算出手段１５０によって順次算出されたストレス状態及び非ストレス状態となる尤度を蓄積する。検査期間は予め決めた一定長でもよいし、音声から検出される音声段落区間であってもよい。
ストレス状態推定手段１６０は、尤度情報蓄積手段１７０により検査期間にわたって蓄積された判定区間毎のストレス状態となる尤度と非ストレス状態となる尤度に基づいて被検者がストレス状態か否かを判定し、その検査期間にわたる判定結果から、被検者がストレス状態か否かを推定する。さらに、ストレス状態と推定された場合はそのストレスのレベルが予め決めた複数の段階的レベル（例えば軽度、中度、重度）のどれに属するかを判定する。

制御手段１９０は、上記検査期間の後に被検者の音声が予め設定された期間をあけてサイド検査期間にわたるストレス状態の測定を繰り返し、ストレス状態及び非ストレス状態となる尤度を蓄積するよう制御する。
ストレス緩和音出力手段１８０は、それぞれのストレスレベルに応じた癒しの効果のあるストレス緩和音を予め格納しており、ストレス状態推定手段１６０によって判定された被検者のストレスレベルに対応するストレス緩和音を選択し、被検者の環境に再生出力する。ストレス緩和音としては、癒し効果のある楽曲、電子的に合成された効果音、波の音や小鳥のさえずりなどの自然音、などである。

図２は、ストレス状態推定緩和装置１００の具体的構成の一例を示す図である。図２に示すように、話者の音声を収集する入力部１１６と、音声処理方法に基づいて話者の音声を処理するＣＰＵ(Central Processing Unit)１１１と、制御用のパラメータを記憶するＲＯＭ(Read Only Memory)１１２と、ＣＰＵ１１１の動作中にその動作に必要とするプログラムやデータ等を記憶するＲＡＭ(Random Access Memory)１１３と、アプリケーションソフトや所定データを不揮発かつ書き換え可能に記憶するEEPROM(Electrically Erasable Programmable Memory)１１４と、液晶画面などのモニタ画面を有し、処理経過、ストレス状態推定結果、その他の情報を必要に応じて表示する表示部１１５と、判定されたストレスレベルに対応して選択されたストレス緩和音を被検者の環境に出力する音響出力部１１７とによって実現される。

図１における音声特徴量抽出手段１２０、音声特徴量ベクトル判定手段１３０、出現確率取得手段１４０、尤度算出手段１５０、ストレス状態推定手段１６０の機能は、それぞれの機能を実施するプログラムをＣＰＵ１１１により実行することにより実現される。それらのプログラムはEEPROM１１４に格納されており、実行時には必要なプログラムがＲＡＭ１１３に読み込まれ、ＣＰＵ１１１により実行される。EEPROM１１４にはその他、後述する符号帳が格納されており、また、前述の入力音声信号が一時的に取り込まれるバッファとしても機能し、更に所定の検査期間にわたって得られた尤度を格納する尤度情報蓄積手段１７０としても機能する。

ＲＯＭ１１２にはＣＰＵ１１１を立ち上げるためのプログラム、その他のプログラム及び制御用のパラメータ等を記憶する。ＲＡＭ１１３にはＣＰＵ１１１の動作中に必要とするプログラムやデータ等が記憶される。
以下、本発明の実施の形態に係るストレス状態推定緩和装置１００の動作について説明する。図３は、本発明の実施の形態に係るストレス状態推定緩和装置１００の動作を説明するためのフローチャートである。
まず、学習音声を用いて生成された符号帳であって、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトルの各値がストレス状態及び非ストレス状態でそれぞれ出現する出現確率をその音声特徴量ベクトルに対応して保持する符号帳が予め作成され、図１の記憶手段１１０に格納される（ステップＳ３１０）。符号帳作成の詳細とともに後述するが、音声特徴量ベクトルは、特許文献２に開示されているような音声のフレームごとに検出する少なくとも基本周波数、パワー、動的特徴量の時間変化特性、又はそれらのフレーム間差分のいずれか１つ以上のパラメータの組を含むベクトルである。

次に、音声特徴量抽出手段１２０のバッファ１２０Ａに話者の音声が取り込まれ、音声分析手段１２０Ｂによりその取り込まれた入力音声から予め決めた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する（ステップＳ３２０）。
抽出した音声特徴量ベクトルに最も近い音声特徴量ベクトルが符号帳から音声特徴量ベクトル判別手段１３０により判別され（ステップＳ３３０）、出現確率取得手段１４０によりこの判別した音声特徴量ベクトルの、ストレス状態及び非ストレス状態での出現確率をそれぞれ符号帳110CBから読み出し（ステップＳ３４０）、これらステップＳ３２０，Ｓ３３０，Ｓ３４０を判定区間（例えば音声小段落区間又は一定区間）にわたって繰り返す。得られたこれらの出現確率に基づいて尤度算出手段１５０により、ストレス状態となる尤度及び非ストレス状態となる尤度を算出し、蓄積する（ステップＳ３５０）。

ステップＳ３６０で検査期間が終了したか判定し、終了してなければステップＳ３２０〜Ｓ３５０を再度実行する。検査期間が終了したならば、ステップＳ３７０に移り、まず、ステップＳ３５０で算出したストレス状態及び非ストレス状態となる尤度に基づいて、判定区間ごとに話者のストレス状態がストレス状態推定手段１６０によって推定される（ステップＳ３６０）。ストレスの状態の判定は、各判定区間のストレス状態と非ストレス状態の尤度比を閾値と比較し、それより大きければストレス状態と判定し、そうでなければ非ストレス状態と判定する。

次に、検査期間内のストレス状態の推定を行う。この推定は、検査期間内でストレス状態と判定された判定区間の尤度比の総和と、非ストレス状態と判定された判定区間の尤度比の総和を比較し、前者が大きければストレス状態と推定し、そうでなければ非ストレス状態と推定する。あるいは前記総和をその検査期間の全判定区間数（又は全フレーム数）で割り算した値（以下これをストレスレベルと呼ぶことにする）を予め決めた状態推定閾値と比較し、それより大きければストレス状態と推定し、そうでなければ非ストレス状態と推定してもよい。上述において、ストレス状態と非ストレス状態の尤度比の代わりに尤度差を使用してもよい。

検査期間がストレス状態と推定された場合は、前記ストレスレベルを前期状態推定閾値より大きい第１レベル閾値及びそれより大きい第２レベル閾値と比較し、第１レベル閾値以下であれば軽度のストレス状態であると判定し、ステップＳ３８１で軽度のストレスに対応するストレス緩和音を選択し、出力する。ストレスレベルが第１レベル閾値より大で第２レベル閾値以下の場合は中度のストレス状態であると判定し、ステップＳ３８２で中度のストレスに対応するストレス緩和音を選択し、出力する。前記ストレスレベルが第２レベル閾値より大であれば重度のストレス状態であると判定し、ステップＳ３８３で重度のストレスに対応するストレス緩和音を選択し、出力する。

以下に、上記の各ステップでの処理について詳細に説明する。まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量としては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつストレス状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数f₀、パワーｐ、動的特徴量d(t)、無声区間T_S等を抽出する。
これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３、非特許文献４等を参照されたい。

ここで、上記の動的特徴量d(t)は、以下の式(1) によって定義され、その時間変化量は発話速度の尺度となるパラメータである。

ここで、ｔは時刻、C_k(t)は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±F₀は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量d(t)としては、特許文献３に定義されたものを用いるのでもよい。
ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量d(t)の単位時間当たりの極大点の数、または、単位時間当たりの変化率はダイナミックメジャーとも呼ばれ、発話速度の尺度となる。

以下では、１フレームの長さ（以下、フレーム長という）を100msとし、このフレームの開始時刻から50msずらして次のフレームを形成するものとする。また、フレーム毎に、基本周波数f₀'、平均パワーp'を算出するものとする。さらに、現フレームの基本周波数f₀'と、現フレームからｉフレーム前の基本周波数f₀'及び現フレームからｉフレーム後の基本周波数f₀'のそれぞれと差分Δf₀'(-i)、Δf₀'(i)と、をとる。平均パワーp'についても同様に、現フレームの平均パワーp'と、現フレームからｉフレーム前の平均パワーp'及び現フレームからｉフレーム後の平均パワーp'のそれぞれと差分Δp'(-i)、Δp'(i)と、をとる。

次に、これらフレーム毎の、基本周波数f₀'、基本周波数の差分Δf₀'(-i)、Δf₀'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)を規格化する。以下では、基本周波数f₀'、基本周波数の差分Δf₀'(-i)、Δf₀'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)のそれぞれを、単に、f₀'、Δf₀'(-i)、Δf₀'(i)、p'、Δp'(-i)、Δp'(i)と表し、規格化されたものを、それぞれ、f₀"、Δf₀"(-i)、Δf₀"(i)、p”、Δp"(-i)、Δp"(i)と表す。
この規格化は、例えば、f₀'、Δf₀'(-i)、Δf₀'(i)のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割算することによって行うのでもよい。また、処理対象の音声データ全体の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数等を用いるのでもよい。

同様に、p'についても、処理対象の音声データ全体の平均パワーで割算数し、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記のｉの値を、例えば、４とする。
ダイナミックメジャーは、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅2T₁（ただしT₁は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量d(t)の時間変化の極大点を算出し、極大点の個数d_p（以下、単にd_pという）を計数する。

また、ダイナミックメジャーの差分値も、以下に述べるようにして算出しておく。即ち、現フレームの開始時刻のT₂前の時刻を中心とする幅2T₁内の区間におけるd_pから、現フレームのd_pを差し引いた差成分Δd_p(-T₂)を求める。同様に、現フレームの終了時刻のT₃後の時刻を中心とする幅2T₁内の区間におけるd_pを、現フレームのd_pから差し引いた差成分Δd_p(T₃)を求める。
上記の、T₁、T₂、T₃の値は、それぞれ、フレーム長より十分長いものとし、以下では、T₁＝T₂＝T₃＝450msとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、t_SR、t_SFとする。ステップＳ３２０では、上記のf₀"、Δf₀"(-i)、Δf₀"(i)、p”、Δp"(-i)、Δp"(i）、d_p、Δd_p(-T₂)、Δd_p(T₃)等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。

上記のf₀"、Δf₀"(-i)、Δf₀"(i)、p"、Δp"(-i)、Δp"(i)、d_p、Δd_p(-T₂)、Δd_p(T₃)等のパラメータの中から予め選択された１つ以上のパラメータの組、例えば(f₀",p",d_p)を音声特徴量ベクトルと定義する。符号帳110CBには予め決めたエントリ数の各符号に対応して被検者の学習音声から求めた量子化された音声特徴量代表ベクトルと、その音声特徴量ベクトルの各ストレス状態での出現確率が記録されている。
ステップＳ３２０では、入力音声を対象に、音声特徴量ベクトルを規定する上記選択されたパラメータの組の値を入力音声信号のフレームごとに算出し、符号帳中の対応する音声特徴量ベクトルを判定し、その音声特徴量ベクトルに対応するストレス状態での出現確率と非ストレス状態での出現確率を得る。

次に、図４を参照してステップＳ３３０のストレス状態尤度及び非ストレス状態尤度を算出する処理について説明する。
ステップＳ３３０では、ステップＳ３３１〜Ｓ３３３により、音声小段落及び音声段落を抽出する。次に、ステップＳ３３４、Ｓ３３５で、ストレス状態尤度及び非ストレス状態尤度を算出する。この実施例では音声小段落を、話者がストレス状態か否かを判定する最小の単位とし、音声段落は、例えば、400ms程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。図５に音声小段落S_j-1, S_j, S_j+1と音声段落B, B+1の関係を概念的に示す。

音声段落等の抽出には、まず、入力音声データの無声区間と有声区間を抽出する（Ｓ３３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判定という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。
具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残差の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピークが得られる相関処理の遅延時間に基づいて、ピッチ周期1/f₀の抽出を行う。

上記では、フレーム毎に各音声特徴量を音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ(Code-Excited Linear Prediction)などにより、既にフレーム毎に符号化（即ち、分析）されている場合は、この符号化で得られる係数または符号を用いて音声特徴量を生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴量を得ることができる。
具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無声の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、即ち基本周波数として用いることができる。また、上記の式(1) で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。

また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケプストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量が含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。
図４に戻って、有声区間の両側の無声区間の時間t_SR、t_SFがそれぞれ予め決めたt_Ｓ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落S_jとして抽出する（Ｓ３３２）。以下では、この無声区間の時間t_Sの値を、例えば、t_S＝400msとする。

次に、この音声小段落S_j内の、好ましくは後半部の有声区間内の平均パワーｐ_Qと、この音声小段落S_jの平均パワー値P_jの定数β倍とを比較し、ｐ_Q＜βP_jであれば、その音声小段落S_jを末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（Ｓ３３３）。
音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がt_S以上となるという条件で行う。図５に、音声小段落としてS_j-1、S_j、S_j+1を示し、以下では音声小段落S_ｊを処理対象の音声小段落とする。音声小段落S_ｊは、Q_ｊ個の有声区間から構成され、音声小段落S_ｊの平均パワーをP_jとする。

また、音声小段落S_ｊに含まれるｑ番目の有声区間V_ｑ（q＝1, 2, …, Q）の平均パワーをp_ｑと表す。音声小段落S_ｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落S_ｊを構成する後半部分の有声区間の平均パワーに基づいて判定する。具体的には、以下の式(2) に示す条件が満たされるか否かで判定する。

この条件を満たすとき、音声小段落S_jが音声段落Ｂの末尾音声小段落であると判定する。
ここで、αはQ_j/2以下の値をとる整数であり、βは例えば0.5〜1.5程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めておく。ただし、有声区間の平均パワーp_qは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、例えばα＝３、β＝0.8とする。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長t(s)、シフト幅S(s)と決めてもよい。例えばt(s)=S(s)=1msecの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。

次に、図４に戻ってストレス状態尤度を算出する処理（Ｓ３３４、Ｓ３３５）について説明する（以下、この処理をストレス状態判定処理という）。まず、ステップＳ３１０で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ３２０で抽出した入力音声小段落中の音声特徴量の組をベクトル量子化し、符号列C₁, C₂, C₃, …を得る（Ｓ３３４）。
ステップＳ３３５でのストレス状態尤度の算出に先立って、図６を用いて符号帳の作成方法について説明する。まず、多数の学習用音声を被験者から採取し、ストレス状態にあるときの発話と非ストレス状態にあるときの発話とを識別できるようにラベルを付ける（Ｓ３１１）。

ステップＳ３１１で上記のラベル付けを行ったら、ラベル付けされた音声データから、ステップＳ３２０での処理と同様に予め決めたパラメータの組の音声特徴量、例えば(f₀",p",d_p)の値を音声特徴量ベクトル値としてフレームごとに抽出する（Ｓ３１２）。ラベル付けによって得られるストレス状態または非ストレス状態の情報と、ストレス状態または非ストレス状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って所定エントリ数の符号帳を作成する（Ｓ３１３）。ＬＢＧアルゴリズムは公知であり、その詳細は、例えば、非特許文献５を参照されたい。

符号帳に記録されるｍビット符号のエントリの数（以下、符号長サイズという）は、2^m個（ｍは、１以上の整数）であり、エントリのインデックスとしてコードＣが用いられる。即ち、インデックスにはｍビットの符号（C＝00…0, 00…1, …,11…1）が用いられる。
符号帳には、このコードＣに対応させて、フレーム長より十分長い所望の区間、例えば学習音声のラベル区間に得られる全音声特徴量ベクトルを使って上記ＬＢＧアルゴリズムにより決められた代表ベクトルを符号帳の音声特徴量代表ベクトルとして記録しておく。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化してもよい。以下の説明では、符号帳の音声特徴量代表ベクトルも単に音声特徴量ベクトルと呼ぶ。

入力音声データから抽出した音声特徴量のパラメータのうち、ストレス状態判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。ストレス状態または非ストレス状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス）に対応させて、各ストレス状態での出現確率と非ストレス状態での出現確率をそれぞれ算出する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、ストレス状態での出現確率と非ストレス状態での出現確率とが対応して記録されている。

以下に、ステップＳ３３５で行う話者がストレス状態にあるときの尤度であるストレス状態尤度の算出、及び、ステップＳ３３６で行う非ストレス状態にあるときの尤度である非ストレス状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームについて得られる音声特徴量の組の時系列に対応するコードが時系列でC_１, C_２, …, C_ｎとなっているものとする。
前述のように、ラベル区間は、符号帳を作成する処理のステップＳ３１１で、ラベルが付けられた１つの音声区間である。ステップＳ３３５、Ｓ３３６で算出される、ラベル区間Ａのストレス状態尤度P_Astr及び非ストレス状態尤度P_Anrmは、それぞれ、以下の式(3) 及び式(4) に示すように表される。

ここで、P_str(C_i｜C₁…C_i-1)は、コード列C₁, …, C_i-1の次にコードC_iがストレス状態となる条件付出現確率、P_nrm(C_i｜C₁…C_i-1)は、同様にコード列C₁, …, C_i-1の次にコードC_iが非ストレス状態となる条件付出現確率である。また、P_str(C_i)は、符号帳を作成する処理において、音声がストレス状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードC_iの総個数を数え、その総個数を、全音声データ中のストレス状態とラベル付けされた部分音声データの全コード数（＝フレーム数）で割算した値である。一方、P_nrm(C_i)は、コードC_iが非ストレス状態とラベル付けされた部分に存在した個数を、非ストレス状態とラベル付けされた音声データの全コード数で割算した値である。

以下では、各条件付出現確率をN-gram(N<i)モデルで近似し、ストレス状態尤度及び非ストレス状態尤度の計算を簡単にする。N-gramモデルは、ある時点でのある事象の出現がその直前のN-1個の事象の出現に依存すると近似するモデルである。ここで、N=3のときはtrigram、N=2のときはbigram、N=1のときはunigramとよばれる。このモデルでは、例えば、ｎ番目のフレームにコードC_iが出現する確率P(C_i)は、P(C_i)＝P(C_i｜C_i-N+1…C_i-1)とされる。
上記の式(3) 及び式(4) 中の各条件付出現確率P_str(C_i｜C₁…C_i-1)、P_nrm(C_i｜C₁…C_i-1)にN-gramモデルを適用すると、各条件付出現確率は以下の式(5) 及び式(6) に示すように近似される。

P_str(C_i｜C₁…C_i-1)＝P_str(C_i｜C_i-N+1…C_i-1) (5)
P_nrm(C_i｜C₁…C_i-1)＝P_nrm(C_i｜C_i-N+1…C_i-1) (6)
上記の式(5) のP_str(C_i｜C_i-N+1…C_i-1)及び式(6) のP_nrm(C_i｜C_i-N+1…C_i-1)は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（即ち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（即ち、コード列が長い）の条件付出現確率を補間して求めることができる。

以下に、この補間の方法について説明する。以下では、上記のtrigram (N=3)、bigram (N=2)、及び、unigram (N=1)を例にとり説明する。各出現確率は、trigram (N=3)では、P_str(C_i｜C_i-2C_i-1）、P_nrm(C_i｜C_i-2C_i-1)、bigram (N=2)では、P_str(C_i｜C_i-1)、P_nrm(C_i｜C_i-1)、そして、unigram (N=1)では、P_str(C_i)、P_nrm(C_i)と表される。
この補間の方法では、P_str(C_i｜C_i-2C_i-1)及びP_nrm(C_i｜C_i-2C_i-1)を、上記のストレス状態での３つの出現確率、非ストレス状態での３つの出現確率を用い、以下の式(7) 及び式(8) に基づいて算出する。

ここで、上記のλ_str1、λ_str2、λ_str3は、trigramのストレス状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードC₁, C₂, …, C_nが得られたとき、以下のように表される。

ただし、λ_str1、λ_str2、λ_str3を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λ_str1＝1、λ_str2＝λ_str3＝0の自明な解となってしまうからである。同様に、λ_nrm1、λ_nrm2、λ_nrm3も求められる。
次に、trigramを用い、ラベル区間Ａのフレーム数がF_Aであり、得られたコードがC₁, C₂, …, C_FAのとき、このラベル区間Ａのストレス状態尤度P_Astr及び非ストレス状態尤度P_Anrmは、それぞれ、以下の式(9) 及び式(10)に示すように表される。

P_Astr＝P_str(C₃｜C₁C₂)…P_str(C_FA｜C_FA-2C_FA=1) (9)
P_Anrm＝P_nrm(C₃｜C₁C₂)…P_nrm(C_FA｜C_FA-2C_FA-1) (10)
本発明の実施の形態では、上記のように補間と、ストレス状態尤度P_Astr及び非ストレス状態尤度P_Anrmの算出とができるように、上記の例では、trigram (N=3)、bigram (N=2)、及び、unigram (N=1)を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、そのストレス状態での出現確率と、非ストレス状態での出現確率との組が格納される。

ストレス状態での音声特徴量ベクトルの出現確率としては、各コードが過去のフレームで出現したコードと無関係にストレス状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードがストレス状態で出現する条件付出現確率、またはそれら両方を使用する。同様に、非ストレス状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に非ストレス状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが非ストレス状態で出現する条件付出現確率、またはそれら両方を使用する。

図７に、符号帳に記録される内容の一例を示す。符号帳におけるｈ番目のエントリのコードをChで表し、例えばC1は第１番目のエントリのコードを表すものとする。コードC1, C2, C3, …は、符号帳の各音声特徴量ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値"00…00"、"00…01"、"00…10"、…である。符号帳には各コードC1, C2, …毎に、その音声特徴量ベクトルと、その単独出現確率が、各ストレス状態及び非ストレス状態について格納され、条件付出現確率が各ストレス状態及び非ストレス状態についてそれぞれ組として格納されている。

以下では、表記を簡略化するため、各符号を区別せずＣで表し、入力音声信号の音声特徴量ベクトル時系列に対応する符号時系列をC₁, C₂, C₃...と表す。またこの発明に好適な音声特徴量の組の例として、パラメータf₀"、p"、d_pを使用し、符号帳サイズ（音声特徴量ベクトルの数）が2⁵の場合のストレス状態及び非ストレス状態での、条件付出現確率をtrigramで近似した例について説明する。
図８は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号i〜i+3を付して示し、フレーム長及びフレームシフトを、上記のように、それぞれ、100ms、50msとしている。ここでは、フレーム番号ｉ（時刻t〜t+100）のフレームについてコードC₁が、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC₂が、フレーム番号i+2（時刻t+100〜t+200）のフレームについてコードC₃が、そして、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC₄が得られているものとする。即ち、フレーム順にコードがC₁、C₂、C₃、C₄であるとする。

この場合、フレーム番号i+2以上のフレームでは、trigramが計算できる。いま、音声小段落Ｓのストレス状態尤度をP_Sstr、非ストレス状態尤度をP_Snrmとすると、第４フレームまでの各尤度はそれぞれ、以下の式(11)及び式(12)によって与えられる。
P_Sstr＝P_str(C₃｜C₁C₂)P_str(C₄｜C₂C₃) (11)
P_Snrm＝P_nrm(C₃｜C₁C₂)P_nrm(C₄｜C₂C₃) (12)
この例では、符号帳からコードC₃、C₄のストレス状態及び非ストレス状態の各単独出現確率を求め、コードC₂の次にコードC₃がストレス状態及び非ストレス状態で出現する条件付出現確率を求め、さらに、コードC₃が連続するコードC₁C₂の次にストレス状態及び非ストレス状態で出現し、コードC₄が連続するコードC₂C₃の次にストレス状態及び非ストレス状態で出現する条件付出現確率を求めると以下のようになる。

P_str(C₃｜C₁C₂)＝λ_str1P_str(C₃｜C₁C₂)+λ_str2P_str(C₃｜C₂)+λ_str3P_str(C₃) (13)
P_str(C₄｜C₂C₃)＝λ_str1P_str(C₄｜C₂C₃)+λ_str2P_str(C₄｜C₃)+λ_str3P_str(C₄) (14)
P_nrm(C₃｜C₁C₂)＝λ_nrm1P_nrm(C₃｜C₁C₂)+λ_nrm2P_nrm(C₃｜C₂)+λ_rnm3P_nrm(C₃) (15)
P_nrm(C₄｜C₂C₃)＝λ_nrm1P_nrm(C₄｜C₂C₃)+λ_nrm2P_nrm(C₄｜C₃)+λ_nrm3P_nrm(C₄) (16)
上記の式(13)〜(16)を用いることによって、式(11)と(12)とで示される第３フレームまでのストレス状態尤度P_Sstrと非ストレス状態尤度をP_Snrmが求まる。ここで、条件付出現確率P_str(C₃｜C₁C₂)及びP_nrm(C₃｜C₁C₂)は、フレーム番号i+2以降で計算できる。

以上の説明は、第４フレームi+3までの計算についてであったが、フレーム数F_Sの音声小段落Ｓについても同様に適用できる。例えば、フレーム数F_Sの音声小段落Ｓのそれぞれのフレームから得られたコードがC₁、C₂、…、C_FAのとき、この音声小段落Ｓがストレス状態になる尤度P_Sstrと非ストレス状態になる尤度P_Snrmを以下の式(17)及び式(18)に示すように計算する。

上記のように算出した尤度が、P_Sstr＞P_Snrm、であれば、その音声小段落Ｓは、ストレス状態であると判定する（Ｓ３５０）。逆に、P_Sstr≦P_Snrmであれば、実質的に非ストレス状態と判定されることになる。同様に、P_Sstr/P_Snrm＞１、であることをストレス状態と判定するための条件とするのでもよい。また、正の重み係数Ｗに対しW^FAP_Sstr＞P_Snrm、を満足することを条件とすることにより、あるいは
R_E=(logP_Sstr-logP_Snrm)/FA>W (19)
を満足することを条件とすることにより、小段落のフレーム数FAに応じて重み付けの影響を増減するようにしてもよい。

あるいは、ストレス状態出現確率P_strの音声小段落にわたる総和ΣP_strと非ストレス状態出現確率P_nrmの音声小段落にわたる総和ΣP_nrmからストレス状態尤度P_Astrと非ストレス状態尤度P_Anrmを次式

のように求め、P_Astr＞P_Anrmならその音声小段落はストレス状態であると判定し、P_Astr≦P_Anrmであれば非ストレス状態と判定してもよい。あるいは、これら条件付出現確率の総積あるいは条件付出現確率の総和を重み付け比較して音声小段落のストレス状態／非ストレス状態を判定してもよい。

本発明に係るストレス状態推定緩和方法及び装置は、被検者の音声に基づいて推定を行っているので、被検者の行動をそれほど制限しないでの測定を簡便に行うことができ、例えば航空管制官のストレス状態を推定し、ストレス状態に応じてストレスを緩和するストレス緩和音を与えることなどに適用できる。

本発明の実施の形態に係るストレス状態推定緩和装置の機能構成を示すブロック図。 本発明の実施の形態に係るストレス状態推定緩和装置の具体的構成の一例を示す図。 本発明の実施の形態に係るストレス状態推定緩和装置の動作を説明するためのフローチャート。 ステップＳ３３０での処理を説明するためのフローチャート。 音声小段落、音声段落等を説明するための概念図。 ステップＳ３１０での処理を説明するためのフローチャート。 符号帳の記載例を示す図。 音声データの処理を説明するための模式図。

Claims (9)

1. 被検者のストレス状態を推定し、緩和するストレス状態推定緩和方法であって、
   (a) 被検者の音声からフレームごとに予め決めた音声特徴量の組を抽出するステップと、
   (b) ストレス状態と非ストレス状態のそれぞれにおける音声特徴量ベクトルの出現確率が上記被検者の学習音声から予め求められ格納された符号帳を用い、上記音声特徴量の組から対応する音声特徴量ベクトルと、その音声特徴量ベクトルのストレス状態及び非ストレス状態における出現確率を得るステップと、
   (c) １フレーム以上の与えられた判定区間にわたる上記ストレス状態と非ストレス状態のそれぞれにおける上記音声特徴量ベクトルの上記出現確率に基づいてストレス状態となる尤度と非ストレス状態となる尤度をそれぞれ算出するステップと、
   (d) 上記ストレス状態となる尤度と上記非ストレス状態となる尤度に基づいて上記被検者がストレス状態か非ストレス状態のいずれであるかを推定するステップと、
   (e) 上記被検者がストレス状態と推定された場合、予め決めた複数のストレスレベルのいずれかを判定するステップと、
   (f) 予め決めた複数のストレス緩和音から上記判定したストレスレベルに応じたストレス緩和音を選択し、上記被検者の環境に出力するステップ、
   とを含むことを特徴とするストレス状態推定緩和方法。
2. 請求項１記載の方法において、上記ステップ(d) は、ストレス状態の尤度と非ストレス状態の尤度との差分を算出し、上記算出した差分が予め設定した閾値を超える場合は上記被検者がストレス状態にあると判定するステップであることを特徴とするストレス状態推定緩和方法。
3. 請求項１記載の方法において、上記ステップ(d) は、ストレス状態の尤度と非ストレス状態の尤度の比を算出し、上記算出した比が予め設定した閾値を超える場合は上記被検者がストレス状態にあると判定するステップであることを特徴とするストレス状態推定緩和方法。
4. 請求項１記載の方法において、上記ステップ(d) は、
   (d-1) 上記ステップ(a)〜(c)を実行するごとに算出した上記ストレス状態及び非ストレス状態となる尤度を蓄積することを与えられた検査期間にわたって繰り返すステップと、
   (d-2) 蓄積された上記ストレス状態及び非ストレス状態となる尤度に基づいて上記被検者がストレス状態であるか否かを推定するステップ、
   とを含むことを特徴とするストレス状態推定緩和方法。
5. 請求項４記載の方法において、上記ステップ(d-2) は、上記検査期間内の判定区間ごとに、ストレス状態の尤度と非ストレス状態の尤度との差分を算出し、上記算出した差分が予め設定した状態推定閾値を超える場合は上記被検者がストレス状態にあると判定するステップを含み、上記ステップ(e) は、ストレス状態と判定されたすべての判定区間の上記尤度の差分の総和を上記検査期間内の全判定区間数で割り算してストレスレベルを得て、上記ストレスレベルを上記状態推定閾値より大のレベル閾値と比較し、上記ストレスレベルが上記レベル閾値以下であれば第１のストレス状態と判定し、上記レベル閾値より大であれば第２のストレス状態と判定するステップとを含むことを特徴とするストレス状態推定緩和方法。
6. 請求項４記載の方法において、上記ステップ(d-2) は、上記検査期間内の判定区間ごとに、ストレス状態の尤度と非ストレス状態の尤度との尤度比を算出し、上記算出した尤度比が予め設定した状態推定閾値を超える場合は上記被検者がストレス状態にあると判定するステップを含み、上記ステップ(e) は、ストレス状態と判定されたすべての判定区間の上記尤度比の総和を上記検査期間内の全判定区間数で割り算してストレスレベルを得て、上記ストレスレベルを上記状態推定閾値より大のレベル閾値と比較し、上記ストレスレベルが上記レベル閾値以下であれば第１のストレス状態と判定し、上記レベル閾値より大であれば第２のストレス状態と判定するステップとを含むことを特徴とするストレス状態推定緩和方法。
7. 請求項１乃至６のいずれか記載の方法において、上記音声特徴量の組は、少なくとも基本周波数、パワー、動的特徴量の時間変化特性、またはそれらのフレーム間差分を含むことを特徴とするストレス状態推定緩和方法。
8. 被検者のストレス状態を推定し、緩和するストレス状態推定緩和装置であって、
   被検者の音声からフレームごとに予め決めた音声特徴量の組を抽出する音声特徴量抽出手段と、
   ストレス状態と非ストレス状態のそれぞれにおける音声特徴量ベクトルの出現確率が上記被検者の学習音声から予め求められ格納された符号帳を記憶する記憶手段と、
   上記音声特徴量の組から対応する音声特徴量ベクトルを判定する音声特徴量ベクトル判定手段と、
   上記判定した音声特徴量ベクトルのストレス状態及び非ストレス状態における出現確率をそれぞれ上記符号帳から得る出現確率取得手段と、
   １フレーム以上の当てられた判定区間にわたる上記ストレス状態及び非ストレス状態のそれぞれにおける上記音声特徴量ベクトルの上記出現確率に基づいてストレス状態となる尤度及び非ストレス状態となる尤度をそれぞれ算出する尤度算出手段と、
   上記ストレス状態となる尤度及び非ストレス状態となる尤度に基づいて上記被検者がストレス状態か非ストレス状態のいずれであるかを推定し、ストレス状態と推定された場合に、予め決めた複数のストレスレベルのいずれであるかを判定するストレス状態推定手段と、
   予め決めた複数のストレス緩和音から上記判定したストレスレベルに応じたストレス緩和音を選択し、上記被検者の環境に出力するストレス緩和音出力手段、
   とを含むことを特徴とするストレス状態推定緩和装置。
9. 請求項１乃至７のいずれか記載のストレス状態推定緩和方法を実施する処理ステップを記述したコンピュータで実行可能なプログラム。

Images