JP2019118448A - 精神状態推定システムおよび精神状態推定方法 - Google Patents

Abstract

【課題】人の精神状態を素早くかつ精度良く推定できるだけでなく、精神状態の切替や瞬時的な変化も検出にする。【解決手段】本発明の精神状態推定システム６００は、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する精神状態推定部６０１を備える。また、本発明の精神状態推定方法は、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する。【選択図】図２

Description

本発明は、人の精神状態を推定するための精神状態推定システムおよび精神状態推定方法に関する。

人の精神状態を把握することの重要性が増している。人の精神状態が的確に把握できれば、例えば、精神障害や身体の病気の発見、職場における作業能率の低下の検出、運転中などにおける危険性の回避に役立つ。

人の精神状態を推定する技術に関連して、特許文献１には、人間の脈波データから脈拍間隔を計測し、それを周波数解析して得られる低周波数成分ＬＦと高周波数成分ＨＦの比率の変動性を用いて人の感情を推定する方法が記載されている。

また、特許文献２には、個人のストレスレベル情報を生成するための生理学的情報の１つとして、表面電極から得られる筋電図（ＥＭＧ：electromyography）である表面筋電図情報（surface EMG data）を用いることが記載されている。

また、ＥＭＧデータに対する信号処理方法の一例として、特許文献３には、ＥＭＧデータから筋活動量を測定する方法が記載されている。

特開２０１０−１６７０１４号公報 特表２０１７−５３３８０４号公報 特開２００８−０５４９５５号公報

しかし、脈拍やそれを起こす心拍の変動性は、体内のホルモンレベルに影響されるため、精神状態の変化が、実際に脈波データや心電信号などの生理指標に変化として現われるまで１０数秒程度の遅延がある。また、特許文献１に記載されたような、信号の周波数成分を解析する方法は、周波数成分（特に、低周波数成分）を分析するために長い時間（数分間等）データを取得する必要があり、データの取得から精神状態の推定までにさらに多くの遅延が生じるだけでなく、精神状態の切り替えや瞬時的な変化を検出できないという問題がある。

このように、脈拍や心拍は、特に推定速度が要求されたり、精神状態の切替や瞬時的な変化の検出を要求される場合に、人の精神状態の把握のための生体情報源としては不十分である。

なお、特許文献２には、生理学的情報の１つに表面筋電図情報（ＥＭＧデータ）を用いることは記載されているが、どの筋肉の表面筋電図なのか、また表面筋電図情報をどのように利用してストレスレベル情報を生成するのか等、具体的な方法やその効果について何ら開示されていない。

そこで、本発明は、人の精神状態を素早くかつ精度良く推定できるだけでなく、精神状態の切替や瞬時的な変化も検出できる精神状態推定システムおよび精神状態推定方法を提供することを目的とする。

本発明の精神状態推定システムは、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する精神状態推定部を備えることを特徴とする。

また、本発明による精神状態推定方法は、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定することを特徴とする。

本発明によれば、人の精神状態をより素早く推定できるだけでなく、精神状態の切替や瞬時的な変化も検出できる。

表情筋の一部を示す説明図である。 第１の実施形態の精神状態推定装置の構成例を示すブロック図である。 筋電位の計測に用いられる表面電極の例を示す説明図である。 ＥＭＧデータの例を示すグラフである。 整流後のＥＭＧデータの例を示すグラフである。 第１の実施形態の精神状態推定装置１００の動作例を示すフローチャートである。 予測モデルの学習および正確率の検証に用いる参照データの取得方法を示すフローチャートである。 表面電極の設置位置の一例を示す説明図である。 予測モデルのキャリブレーションにおける各状態（図７の７ステップに対応）と取得された筋活動量特徴量Ｘとの関係を示すグラフである。 予測モデルの予測正確率の評価結果である。 予測モデルの予測正確率の評価結果である。 予測モデルの予測正確率の評価結果である。 予測モデルの予測正確率の評価結果である。 面電極の設置位置の他の例を示す説明図である。 第２の実施形態の精神状態推定システムの構成例を示すブロック図である。 本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。 本発明の精神状態推定システムの概要を示すブロック図である。 本発明の精神状態推定システムの他の例を示すブロック図である。

まず、本発明の技術コンセプトを簡単に説明する。本発明では、人の精神状態を把握するための生体情報として、顔の表情筋の筋電信号を用いる。

筋は多くの筋繊維から構成される。筋の収縮に伴う筋繊維の興奮によって発生する活動電位（筋電位）を計測して可視化したものが筋電図（ＥＭＧ：electromyography）である。筋電位は、筋が収縮する際、関連する筋繊維から発生する電位（電場の微小な変化）である。電極等を介して観測されるこの電位による電気信号を、一般に筋電信号（myoelectric signal）と呼ぶ。換言すると、筋電図は筋電信号の時系列データを表したものである。このような筋電信号を計測・解読することにより、量的に筋肉の活動を把握できる。

このような筋電図で表される筋電信号波形から、所定の時間長さにおける整流後の筋電信号の大きさ（パルスの大きさ）の積分量を計算すれば、その時間区間における筋肉の活動量（筋活動量）を取得できる。筋電図波形から得られる筋活動量は、例えば、検出対象とされた筋肉が、どのタイミングでどの程度の強さで緊張しているかを表す指標として用いることができる。

人間の精神状態は表情筋に良く表れ、目や眉や口の周囲等に存在する筋肉に微細な変化をもたらす。例えば、精神状態が変化する際、瞬きや眼球運動、上目になったり、目をひそめるなどの動きが発生する。このように、人の精神状態は筋肉の活動（特に表情筋の活動）と関連性を持つ。したがって、その関連性を利用すれば、筋肉の信号から精神状態を推定することが可能である。

特に、人の無意識の表情と精神状態との間には密接な関係がある。図１は、表情筋の一部を示す説明図である。図１に示すように、顔やその周辺には多くの表情筋がある。３０種類以上ある表情筋の中でも、例えば、額下に存在する前頭筋や、眉下に存在する皺眉筋や、瞼を含む目周囲下に存在する眼輪筋や、鼻翼近くに存在し、目の筋肉と口の筋肉を繋ぐ上唇挙筋や、頬下に存在する笑筋、小頬骨筋、大頬骨筋や、口周囲下に存在する口輪筋や、口から顎を含む領域下に存在する下唇下制筋、口角下制筋、オトガイ筋は、筋電信号の取得元としてより好ましい。これら表情筋の筋電信号から得られる筋活動量は、精神状態に基づく人の活動（例えば、表情における眉や目元や口元の微小な動き等）と密接に関係している。

これらの表情筋の一つに前頭筋がある。前頭筋は、人間の頭部の浅頭筋のうち、頭蓋周囲の頭蓋表筋（後頭前頭筋）に含まれる筋肉であり、皮筋である。帽状腱膜から起始し、眼輪筋、鼻根筋と線維を交叉させ、眉間と眉部の皮膚に停止する。作用は眉弓を引き上げ前頭部に皺を作る。前頭筋は、話す、飲み込む、口をすぼめるなどの人間の日常的な動きに影響されることが少ないため、精神状態がより良くその筋肉活動に反映される。また、雛眉筋は眉弓を引き上げ前頭部に皺を作る筋肉であり、前頭筋と同様、筋肉活動に精神状態が現われやすい。

したがって、これら多くの表情筋上の所定の場所に筋電センサなど筋電信号を取得できるデバイスを取りつけて筋電信号を計測すれば、人の精神状態をより素早くかつより高精度に推定できる。一例として、前頭筋や皺眉筋からの筋電出力を測定できる位置に表面電極を設置してもよい。

なお、筋電信号を取得方法として、これら筋肉の筋繊維に沿って電極を設置する方法に限らない。例えば、表面電極を、筋肉間の隙間や境界などに設置してもよい。このようにすると、複数の筋肉において発生した筋電信号を１つのデバイスから得ることができたり、微細な筋肉活動をより正確に反映した筋電信号を得ることができる場合がある。一例として、頬骨筋間（大頬骨筋と小頬骨筋の間）の領域や、前頭筋と皺眉筋の境界域に表示電極を設置してもよい。

筋電位を計測するための装置の例として、筋電計がある。また、筋電計において筋電位を計測する具体的な方法として、計測対象とされる筋肉付近の体表面に電極を設置する表面型と、体表面から目的の筋肉に電極を挿入して計測を行う侵襲型とがある。

侵襲型は、筋の深部まで、単一あるいは少数の運動単位から発生する筋電位を計測できるという利点があるが、厳格な利用条件と医師免許が必要なため臨床的検査以外での利用が困難である。表面型は、皮膚に電極を貼り付けるだけで計測が可能になるという利点があるが、計測対象の筋までの距離を一定に保つ必要がある。

表面型の筋電計により計測された筋電図は表面筋電図と呼ばれている。表面筋電図では、皮膚に貼り付けた電極下に存在する筋繊維から発生する筋電位（活動電位）が複合して計測されるため、表面筋電図における計測電位を複合活動電位と呼ぶ場合がある。

人間工学領域では、表面筋電図が主に利用されている。表面筋電図の振幅の大きさである表面筋電図振幅は、筋の収縮力とある一定の関係を有している。例えば、筋収縮力と表面筋電図振幅との間には、線形性は不十分ではあるが、一般に単調増加の関係があるといわれている。

本発明では、表情筋の筋活動の大きさを、複合的に筋電位の大きさで評価、すなわち複数の筋繊維からの活動電位の複合体として観測される筋電信号の大きさで評価し、人の精神状態と関連づける。

なお、ある動作全体の時間区間における筋活動の総量を評価する方法の一例として、量的因子の解析が挙げられる。

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図２は、第１の実施形態の精神状態推定装置の構成例を示すブロック図である。図２に示す精神状態推定装置１００は、筋電信号取得部１１と、データ解析部１２と、精神状態推定部１３と、結果出力部１４と、データ記憶部２０とを備える。

筋電信号取得部１１は、推定対象とされる人物（被計測者）の表情筋において発生する筋電位を計測して得られる筋電信号の時系列データであるＥＭＧデータを取得する。筋電信号取得部１１は、例えば、被計測者の顔面部の所定位置に設置された表面型の筋電計から所定の周期で出力される筋電信号を逐次入力し、取得時間に対応するインデックスを付して保持することにより、ＥＭＧデータを取得してもよい。なお、筋電信号取得部１１は、筋電計がＥＭＧデータを出力する場合にはそれをそのまま入力してもよい。

いずれにしても、取得されたＥＭＧデータにおいて、各筋電信号は自身の計測時間に対応したインデックスと対応づけられている。以下、ＥＭＧデータを構成する各筋電信号をＥＭＧシグナルともいい、ＥＭＧ（ｉ）やＥＭＧ（ｔ）と表記する場合がある。ここで、ｉは、入力されたＥＭＧデータに含まれる特定の筋電信号を指し示すためのインデックスを表す。なお、ｉは、ＥＭＧデータの時間軸上の基準となる時点からの距離（相対時間）を指し示す情報としても利用される。また、ｔは、ＥＭＧデータの時間軸上のある時点における単位時間長さの筋電信号を指し示すためのインデックスを表す。なお、ｔとｉは相互に変換可能とする。また、それら筋電信号の集合体としてのＥＭＧデータの信号波形を表す意味で、ＥＭＧやＥＭＧ（）と表記する場合がある。

図３は、筋電位の計測に用いられる表面電極の例を示す説明図である。図３には、表面電極を含む筋電計としての筋電センサ３の例が示されている。ＥＭＧデータにおける各筋電信号は、一般に２つの電極間の電位差として測定される（双極導出）。図３は、一体型双極電極による筋電センサの例である。図３において、符号３１Ａおよび３１Ｂは、検出用電極（双極電極）である。なお、符号３２は出力ポート、符号３３はアース電極である。

アース電極３３は、計測装置の電位の基準を決めるために用いられ、筋のない関節部等の皮膚上に貼りつけて使用される。検出用電極３１Ａ、３１Ｂにより検出された筋電位は、電気信号（筋電信号）となって出力ポート３２から出力される。出力ポート３２から出力された筋電信号は、通常、筋電位用の増幅器（前置増幅器）で増幅された後、ＡＤ変換器等を通して計算機に取り込まれる（いずれも不図示）。なお、筋電センサ３にさらに前置増幅器やＡＤ変換器を実装することも可能である。また、出力ポート３２は、無線式でもよい。また、駆動系が電池式でもよい。

電極を設置するにあたっては、皮膚と電極の間の電気的抵抗を下げるなどして、良好な接触状態を確保することが好ましい。表面電極は、例えば、電極糊を塗布して皮膚に貼付けられる。なお、表面電極には、心電図や脳波の検出等にも用いられる電極糊を含んだ使い捨てのタイプもある。

なお、表面電極の設置位置は、表情筋において発生する筋電信号を測定可能な位置であれば特に限定されないが、上述したように、前頭筋、皺眉筋、眼輪筋、上唇挙筋、笑筋、小頬骨筋、大頬骨筋、口輪筋、下唇下制筋、口角下制筋およびオトガイ筋に近い体表面またはそれらのうち近接している筋肉間の隙間や境界などは、良好な筋電信号が得られるので好ましい。

データ解析部１２は、取得されたＥＭＧデータを解析する。本実施形態において、データ解析部１２は、取得されたＥＭＧデータに対して量的因子の解析として、当該ＥＭＧデータから所定の時間長さを有する時間区間における筋活動量ＭＡまたはその時間区間における平均単位時間筋活動量ＭＡｕを少なくとも算出する。

量的因子の解析において、取得されたＥＭＧデータ（生データ）を処理する必要がある。

図４は、ＥＭＧデータの例を示すグラフである。図４に示すように、ＥＭＧデータの振幅は、陽性波形（０より＋側にふれる）と陰性波形（０より−側にふれる）とで構成されている。そのため、そのまま平均などを計算するほぼ０になってしまう。そこで、量的因子を解析するために、全波を整流してもよい。すなわち、データ解析部１２は、全波整流した後で、ある時間区間における筋電信号の積分値を求めるなどの処理を行う。ここで、整流は、陰性波形を上に反転し陽性波形にすることであり、具体的には各信号に対して絶対値を計算するか、２乗して平衡化した後に平方根をとって振幅に戻す処理を行う。なお、整流は整流デバイス等を用いて行えばよい。

図５は、整流後のＥＭＧデータの例を示すグラフである。図５には、図４に示すＥＭＧデータを全派整流した後の波形が示されている。

以下の式（１）は、ある時間区間（時間ｔ_ｓ〜ｔ_ｅ）における筋活動量ＭＡ_{ｔｓ→ｔｅ}［Ｖ・ｓ］を求める式の一例である。

式（１）において、ＥＭＧは、時間ｔ_ｓ〜ｔ_ｅの区間において計測される整流後の筋電信号の集合体としてのＥＭＧデータを表している。なお、ＥＭＧ’は、整流後のＥＭＧデータであることを表している。式（１）は、時間ｔ_ｓ〜ｔ_ｅの区間において計測される整流後の筋電信号の積分値を、その時間区間における筋活動量［Ｖ・ｓ］として求める式である。

データ解析部１２は、求めた筋活動量ＭＡ_{ｔｓ→ｔｅ}からさらに、該区間における平均単位時間筋活動量ＭＡｕ_{ｔｓ→ｔｅ}すなわち該区間におけるＷの計測の単位時間での筋活動量の平均値を求めてもよい。

式（２）は、ある時間区間（時間ｔ_ｓ〜ｔ_ｅ）における平均単位時間筋活動量ＭＡｕ［を求める式の一例である。

式（１）は、時間ｔ_ｓ〜ｔ_ｅの区間における筋活動量を、その時間区間の長さで割った値を、その時間区間における平均単位時間筋活動量［Ｖ］として求める式である。

また、データ解析部１２は、筋活動量や平均単位時間筋活動量以外に、例えば、筋活動の特徴を表す指標として、ある時間区間における（整流後の）ＥＭＧデータの振幅の平均値で表される筋活動度ＭＡＤ_{ｔｓ→ｔｅ}［Ｖ］や、さらにその単位時間あたりの筋活動度ＭＡＤｕ［Ｖ／ｓ］などを求めてもよい。

式（３）および式（４）はそれぞれ、筋活動度ＭＡＤおよび単位時間筋活動度ＭＡＤｕを求める式の一例である。なお、式（３）においてｎはその時間区間に含まれる筋電信号の数を表している。また、ＥＭＧ’（ｉ−ｋ）（ただし、ｋ〜０〜ｎ−１）で、その時間区間に含まれる各々の筋電信号を表している。

なお、ＥＭＧデータに適用する時間区間の時間長や基準とする時間位置を変えることで、全体（全区間）の筋活動に関する特徴量や、所定の区間ごとの筋活動に関する特徴量、さらにそれらに基づく単位時間の筋活動に関する特徴量を得ることも可能である。

データ解析部１２は、取得されたＥＭＧデータの量的因子（振幅）を解析して、所定の情報を得る。本実施形態では、少なくとも上記に示したような筋活動に関する特徴量（以下、筋活動特徴量という）を得る。

また、データ解析部１２は、整流法以外の方法を利用して量的因子の解析を行うことも可能である。整流法以外の量的因子の解析のためのデータ処理方法として、以下に示すようなバンド面積法を利用することも可能である。

バンド面積法は、入力データにより示される系列データ（本例では、ＥＭＧデータ）に対して、その変更可能空間に対応したバンドである変動バンドの時間ごとのバンド幅を示すデータまたはその系列データである変動バンドデータを生成し、生成された変動バンドデータを、元の系列データにおける信号総量を表すデータとして用いるものである。

変動バンドデータは、より具体的には、入力データにより示される系列データから移動平均により表されるベースラインを除去した上で、所定の時間長さの時間窓を適用して得られるパラメータであって、当該時間窓の基準とされたインデックスに対応づけられ、当該時間窓における系列データの変動性（散らばり等）を示すパラメータである変動性パラメータの正負方向の所定の定数倍で示される変動バンドのバンド幅を示すデータからなる系列データである。

ここで、変動性パラメータの例としては、時間窓における系列データのベースラインに対する変動の標準偏差が挙げられる。このようなバンド面積法によれば、低サンプリングレートで採取された信号であっても、該信号からその変化傾向を確率的に表現できる信号を生成することができ、量的因子の解析において有意な情報を高精度に取得できる。

データ解析部１２は、例えば、このような方法により生成された変動バンドデータを、整流後のＥＭＧデータに見立てて、量的因子の解析を行ってもよい。

精神状態推定部１３は、データ解析部１２による解析の結果得られた筋活動特徴量を基に、ＥＭＧデータの観測元である人の精神状態を推定する。

精神状態推定部１３は、例えば、データ解析部１２による解析の結果得られた筋活動特徴量を説明変数とし、推定したい精神状態を示す変数を目的変数として、予め両者の関係を機械学習により学習した予測モデルを用いて、人の精神状態を推定してもよい。

データ記憶部２０には、予め、推定したい精神状態とデータ解析部１２による解析の結果得られる筋活動特徴量との関係性を示す予測モデルが記憶されているものとする。精神状態推定部１３は、得られた情報（筋活動特徴量）について、データ記憶部２０に予め記憶された精神状態との所定の対応付けに基づいて、被計測者の精神状態を推定する。

推定対象とされる精神状態の例としては、リラックスしているか否か、集中しているか否か、ストレス状態か否か、もしくはそれらのレベル（リラックスのレベル１、レベル２等）、もしくはそれらのうち２以上の状態の組み合わせなどが挙げられる。また、上記以外にも、快・不快やそのレベル、疲労感、覚醒度などにより分類されるような心理的な状態、怒りなどの感情により分類される状態なども、推定できる。

結果出力部１４は、精神状態推定部１３による精神状態の推定結果を出力する。また、結果出力部１４は、精神状態の推定結果をそのまま出力せずに、所定の制御を行った上で出力してもよい。結果出力部１４は、例えば、被計測者に対する過去の推定結果で示されるこれまでの精神状態と、新たな推定結果で示される精神状態とを比較して、異なっていた場合に、精神状態の変化を示す情報を出力することも可能である。

例えば、結果出力部１４は、データ記憶部２０に、被計測者の直前の推定結果を示す過去の一定量の推定結果を示す情報を記憶しておき、データ記憶部２０に記憶された情報と比較することで、精神状態の変化を検出できる。なお、データ記憶部２０には、この他にも、各処理部における処理の結果や途中経過を示す情報等を記憶させることも可能である。

また、図２に点線で示すように、精神状態推定装置１００は、筋電信号以外の信号を取得する他信号取得部１５や、筋電信号以外の信号から得られる特徴量であって人の精神状態と関連性のある特徴量を取得する他特徴量取得部１６をさらに含んでいてもよい。

他特徴量取得部１６が取得する特徴量の例としては、心拍間隔、心拍数、心拍変動性を示す情報、発汗性を示す情報、呼吸数、呼吸波形に関する情報、皮膚温度、脳波に関する情報、ホルモンに関する情報、唾液に関する情報、表情などを撮影した画像データから得られる表情に関する画像特徴量などが挙げられる。なお、これらの特徴量も、全区間や所定の区間ごとやさらにその区間における単位時間の情報など、様々な方法で定量化を行ってよい。

なお、他信号取得部１５が取得する信号は、上記特徴量が得られる信号である。なお、他信号取得部１５により取得された信号（例えば、心電信号、脈拍信号、画像データ、呼吸データ、発汗量データ、皮膚温度データ、脳波の電気信号など）は、例えば、データ解析部１２に入力され、そこで所定の処理が行われるなどして、上記のような特徴量に変換される。

これら他信号取得部１５により得られ、また他特徴量取得部１６により特徴量に変化された情報を上記の筋活動特徴量の情報と併用することにより、精神状態の推定精度が向上する。

次に、本実施形態の動作を説明する。図６は、本実施形態の精神状態推定装置１００の動作の一例を示すフローチャートである。図６に示す例では、まず、筋電信号取得部１１が、筋動信号を入力して、その時系列データであるＥＭＧデータを取得する（ステップＳ１１）。

次に、データ解析部１２が、取得されたＥＭＧデータに対して所定の信号処理（整流やバンド形成処理等）の後、量的因子の解析を行い、筋活動特徴量を取得する（ステップＳ１２）。

図示省略しているが、ステップＳ１１〜Ｓ１２の動作と併用して、他信号取得部１５が筋活動特徴量以外の特徴量の抽出元とされる所定の信号を取得し、他特徴量取得部１６が該信号から筋活動特徴量以外の特徴量を取得する動作を行ってもよい。得られた特徴量は、例えば、対応する時間や期間を示す情報と対応づけてデータ記憶部２０に記憶される。

次に、精神状態推定部１３が、得られた筋活動特徴量を基に、ＥＭＧデータの被計測者の精神状態を推定する（ステップＳ１３）。このとき、精神状態推定部１３は、他特徴量取得部１６により筋活動特徴量以外の特徴量が取得されている場合には、得られた筋活動特徴量と、他特徴量取得部１６により取得された特徴量とを併用して、人の精神状態を推定する。

最後に、結果出力部１４が、精神状態の推定結果またはそれに基づく情報を出力する（ステップＳ１４）。

次に、本実施形態の効果を評価する。以下では、実際のＥＭＧデータから求めた筋活動特徴量に対して既知の精神状態との関係性を機械学習した上で、同様の方法により取得された精神状態が既知のときの筋活動特徴量に対して、学習済みの予測モデルにより推定された精神状態の推定結果の正確率を検証した。ここで、正確率は、事前にわかる真値と機械学習による学習済みモデルでの推定結果との一致率である。

まず、予測モデルの学習および正確率の検証に用いる参照データの取得方法を説明する。参照データは、いずれも既知の精神状態と対応づけられて取得される。

一定人数の被験者に対して、安静な状態で、表面電極を含む筋電センサを顔面部の所定の位置に装着した上で、図７に示す手順に従って、参照データを得る。ここで、参照データは、精神状態が既知のＥＭＧデータをいう。本例では、リラックス状態、ストレス状態、集中状態などの様々な状態におけるＥＭＧデータを取得する。

本例において表面電極は、図８に示すように、双極電極（＋と−の電極）が前頭筋の略中心部に筋繊維に沿って設置され、アース電極（０電極）が鼻筋に設置されている。

まず、ステップＳ２０１では、被計測者にリラックスビデオを見せ、リラックス状態に移行させて第１のＥＭＧデータを取得する。そして、リラックス状態と対応づけられる筋活動特徴量Ｘを取得する。本例においてリラックス状態はリファレンス状態として利用する。また、筋活動特徴量Ｘとして、平均単位時間筋活動量ＭＡｕを用いる。

なお、以下に示す例では、１つの精神状態につき、２００ｓ分の筋電信号を含むＥＭＧデータ取得した。その上で、このＥＭＧデータに対して１秒の時間区間を１データ長分ずらしながら適用し、各時間区間につき、当該時間区間における筋活動量ＭＡとその区間における平均単位時間筋活動量ＭＡｕ［Ｖ］を求め、求めた平均単位時間筋活動量ＭＡｕのＥＭＧデータの全時間区間の平均を、当該精神状態に対応する筋活動量特徴量Ｘとして取得した。

次に、ステップＳ２０２では、被計測者にテストを行わせ、ストレス状態に移行させ、第２のＥＭＧデータを取得する。そして、第２のＥＭＧデータからも、上記と同様の方法により、ストレス状態もしくは集中状態と対応づけられる筋活動特徴量Ｘを取得する。

ここで、ストレス状態は、Ｙ＝ｆ（Ｘ）で定義される状態、集中状態は、Ｙ＝ｇ（Ｘ）で定義される状態とする。本例では、ストレス状態かどうかを判別するためのものとして、Ｙ＝ｆ（Ｘ）に用いるデータを取得したが、Ｙ＝ｇ（Ｘ）におけるデータＸを取得することも可能である。なお、次の自己評価に応じていずれの状態に対応づけるかを選べるようにしてもよい。

なお、Ｘは、平均単位時間筋活動量ＭＡｕに限らず、他の特徴量（例えば、心拍間隔、心拍変動性、発汗性、呼吸波形、心電、眼電などの特徴量）を含んだ多次元ベクトルであってもよい。

次に、ステップＳ２０３では、被計測者にアンケートを行い、精神状態の主観的な評価を得るとともに、その状態において第３のＥＭＧデータを取得する。そして、第３のＥＭＧデータから、上記と同様の方法により、ストレス状態もしくは集中状態と対応づけられる筋活動特徴量Ｘを取得する。ここで得た主観的な評価は、当該第３のＥＭＧデータから取得した筋活動特徴量Ｘと対応づけられて保持されてもよい。

次に、ステップＳ２０４では、被計測者にリラックスビデオを見せ、積極的なストレス状態から解放して再びリラックス状態に移行させて第４のＥＭＧデータを取得する。そして、上記と同様の方法により、リラックス状態と対応づけられる筋活動特徴量Ｘを取得する。

次に、ステップＳ２０５では、被計測者にテストを行わせ、再びストレス状態に移行させ、第５のＥＭＧデータを取得する。そして、ストレス状態もしくは集中状態と対応づけられる筋活動特徴量Ｘを取得する。

次に、ステップＳ２０６では、被計測者にアンケートを行い、精神状態の主観的な評価を得るとともに、第６のＥＭＧデータを取得する。そして、第６のＥＭＧデータから、上記と同様の方法により、ストレス状態もしくは集中状態と対応づけられる筋活動特徴量Ｘを取得する。ここで得た主観的な評価は、第６のＥＭＧデータから取得した筋活動特徴量Ｘと対応づけられて保持される。

最後に、ステップＳ２０７では、被計測者にリラックスビデオを見せ、積極的なストレス状態から解放して再びリラックス状態に移行させて第７のＥＭＧデータを取得し、リラックス状態と対応づけられる筋活動特徴量Ｘを取得して、これまでの様子を評価する。

本例では、このようにして得られた参照データすなわち精神状態と対応づけられた筋電活動量Ｘを用いて、予測モデルを学習した。モデルの学習は、既存の機械学習の手法により、例えば、回帰・分類計算を行って、各状態を認識させた。

図９に、予測モデルのキャリブレーションにおける各状態と、取得された筋活動特徴量Ｘ（平均単位時間筋活動量ＭＡｕ）との関係を示す。なお、図９において、横軸の状態は、図７の７ステップに対応している。具体的には、第１状態、第４状態、第７状態がそれぞれステップＳ２０１、Ｓ２０４、Ｓ２０７に対応し、リラックス状態を表す。そして、第２状態、第３状態、第５状態、第６状態がそれぞれステップＳ２０２、Ｓ２０３、Ｓ２０５、Ｓ２０６に対応し、ストレス状態を表す。

図９に示すように、リラックス状態における平均単位時間筋活動量ＭＡｕは、ストレス状態と比較すると大きくなる傾向にあるのがわかる。なお、図９では、第１の状態における値に対する比率を用いて、各状態の平均単位時間筋活動量ＭＡｕを表している。

上記のキャリブレーションによる参照データの取得を、被験者の試験の前に予めできるだけ多く行って、機械学習の予測精度を高める。

図１０〜図１２は、予測モデルの予測正確率の評価結果である。なお、図１０〜１２はそれぞれ予測モデルの精神状態別の推定成否率を示している。なお、図１０は、予測モデルの説明変数に、平均単位時間筋活動量ＭＡｕのみを用いたときの推定成否率を示している。また、図１１は、説明変数に、心拍間隔中央値のみを用いたときの推定成否率を示している。また、図１２は、説明変数に、平均単位時間筋活動量ＭＡｕおよび心拍間隔中央値を併用したときの推定成否率を示している。

予測モデルの説明変数に、平均単位時間筋活動量ＭＡｕのみを用いたときの精神状態予測正確率は８３．３％であり、改善効果は４．２と算出された。また、予測モデルの説明変数に、心拍間隔中央値のみを用いたときの精神状態予測正確率は７７．１％であり、改善効果は３．４と算出された。また、予測モデルの説明変数に、平均単位時間筋活動量ＭＡｕと心拍間隔中央値を併用いたときの精神状態予測正確率は９３．８％であり、改善効果は９．１と算出された。

なお、改善効果は、以下の式（５）を用いて算出したものである。

式（５）において、ηは、精神状態の推定精度の改善効果であり、ｐは、予測正確率である。なお、２値の状態を完全にランダムに予測した場合、予測正確率ｐ＝５０％となる。この状態を改善効果なしとして、式（５）ではランダム予測に対する改善効果の度合いを計算により求めている。

また、図１３は、大頬骨筋と小頬骨筋の間に表面電極を設置したときの予測モデルの予測正確率の評価結果である。図１４は、本例における表面電極の設置位置を示す説明図である。図１３に示すように、頬骨筋の平均単位時間筋活動量に基づいても、精神状態を推定できる。なお、図１３に示すように、頬骨筋の平均単位時間筋活動量ＭＡｕに基づく精神状態予測正確率は８５．７％であり、良好な結果が得られることがわかる。

また、上記の例では、精神状態の推定のみを行う場合の予測正確率を示したが、本実施形態によれば、平均単位時間筋活動量を求める時間区間を短く（例えば、１秒や、０．５秒等）することにより、精神状態の切替や、瞬時的な変化を検出できる。

これは、筋電信号が、脈波信号や心電信号とは異なり、周期性の特徴が顕著ではなく、筋肉の瞬時的な動きを反映する偶発的な信号の特徴を有するためである。このため、解析の際には、一般的に時間領域での変動のみを考慮すればよく、脈波信号や心電信号みたいに周波数成分を考慮しなくてもよいためである。すなわち、筋電信号を用いることにより、時間領域での変動のみを解析の対象としても、表情の変化等に基づく筋肉活動を的確に検出できるので、短時間かつ高精度の予測が可能となる。

実施形態２．
次に、本発明の第２の実施形態について説明する。図１５は、第２の実施形態の精神状態推定システムの構成例を示すブロック図である。図１５に示す精神状態推定システム３００は、第１の実施形態の精神状態推定装置１００が備えていた各構成要素に加えて、筋電センサ３と、学習部４とを備える。

筋電センサ３は、上述したような筋電信号を計測するための表面電極を含む計測装置である。

学習部４は、目的変数とされる精神状態と、該精神状態と相関のある説明変数であって少なくとも筋電活動量Ｘを含む説明変数とが対応づけられた参照データを用いて、精神状態の推定に用いる予測モデルを学習する。

なお、図１５では、データ記憶部２０、結果出力部１４、学習部４とがネットワーク５に接続される例を示しているが、学習部４は少なくともデータ記憶部２０にアクセス可能であればよい。

また、図１５では、筋電信号取得部１１とデータ解析部１２とが信号処理装置１に実装され、精神状態推定部１３と結果出力部１４とが推定装置２に実装される例を示しているが、第１の実施形態と同様、１つの装置に実装されていてもよい。なお、図１５では、１つの信号処理装置１と１つの推定装置２とを示しているが、例えば、信号処理装置１は、被計測者の数に応じて複数備えられていてもよい。なお、データ解析部１２が推定装置２に実装される場合もある。信号処理装置１と推定装置２との間のデータのやり取りは直接行うことも可能であるし、データ記憶部２０を介して行うことも可能である。また、図示省略しているが、ネットワークを介して行うことも可能である。

本実施形態によれば、多くの被計測者から得られるＥＭＧデータを利用して予測モデルを自動で学習、更新することができるので、より精度を向上できる。

また、図１６は、本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。

上述の各実施形態の精神状態推定装置や精神状態推定システムが備える装置（処理部を含む）は、コンピュータ１０００に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って各実施形態における所定の処理を実施する。なお、ＣＰＵ１００１は、プログラムに従って動作する情報処理装置の一例であり、ＣＰＵ（Central Processing Unit）以外にも、例えば、ＭＰＵ（Micro Processing Unit）やＭＣＵ（Memory Control Unit）やＧＰＵ（Graphics Processing Unit）などを備えていてもよい。

補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、各実施形態における所定の処理を実行してもよい。

また、プログラムは、各実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで各実施形態における所定の処理を実現する差分プログラムであってもよい。

インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。

また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、コンピュータ１０００がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。例えば、コンピュータ１０００がユーザから情報入力を受け付けないのであれば、入力デバイス１００６は省略可能である。

また、上記の各実施形態の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、上記の各実施形態各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

上記の各実施形態の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要を説明する。図１７は、本発明の精神状態推定システムの概要を示すブロック図である。図１７に示す精神状態推定システム６００は、精神状態推定部６０１を備える。

精神状態推定部６０１（例えば、精神状態推定部１３）は、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する。

また、図１８は、本発明の精神状態推定システムの他の例を示すブロック図である。図１８に示すように、精神状態推定システム６００は、さらに、筋電信号取得部６０２と、データ解析部６０３とを備えていてもよい。

筋電信号取得部６０２（例えば、筋電信号取得部１１）は、表面電極を介して観測される、表情筋において発生する筋電位による電気信号である筋電信号を取得する。

データ解析部６０３（例えば、データ解析部１２）は、取得された筋電信号の時系列データであるＥＭＧデータに対して量的因子を解析して、表情筋における筋活動に関する特徴量を取得する。

以上のように構成することにより、人の精神状態をより素早く推定できるだけでなく、精神状態の切替や瞬時的な変化も検出できる。

なお、上記の実施形態は以下の付記のようにも記載できる。

（付記１）コンピュータに、表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する処理を実行させるための精神状態推定プログラム。

以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、様々な精神状態を推定する用途に適用できる。例えば、本発明を、仕事における心理的および肉体的なストレスの判定、自動車等の運転時における精神的および肉体的なストレスの判定、精神疾患の治療における患者の精神状態の判定等に用いることにより、職場における作業能率の低下の検出、運転中などにおける危険性の回避、精神障害や身体の病気の発見に役立つ。

１００ 精神状態推定装置
１１ 筋電信号取得部
１２ データ解析部
１３ 精神状態推定部
１４ 結果出力部
１５ 他信号取得部
１６ 他特徴量取得部
２０ データ記憶部
３ 筋電センサ
３１Ａ、３１Ｂ 検出用電極
３２ 出力ポート
３３ アース電極
３００ 精神状態推定システム
１ 信号処理装置
２ 推定装置
４ 学習部
５ ネットワーク
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
１００６ 入力デバイス
６００ 精神状態推定システム
６０１ 精神状態推定部
６０２ 筋電信号取得部
６０３ データ解析部

Claims (10)

1. 表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定する精神状態推定部を備える
   ことを特徴とする精神状態推定システム。
2. 前記表情筋が、前頭筋、皺眉筋、眼輪筋、上唇挙筋、笑筋、小頬骨筋、大頬骨筋、口輪筋、下唇下制筋、口角下制筋およびオトガイ筋の少なくともいずれかである
   請求項１に記載の精神状態推定システム。
3. 表面電極を介して観測される、表情筋において発生する筋電位による電気信号である筋電信号を取得する筋電信号取得部と、
   前記筋電信号の時系列データであるＥＭＧデータに対して量的因子を解析して、前記表情筋における筋活動に関する特徴量を取得するデータ解析部とを備える
   請求項１または請求項２に記載の精神状態推定システム。
4. 前記表面電極が、表情筋を構成する所定の筋肉間の隙間または境界に設置されている
   請求項３に記載の精神状態推定システム。
5. 前記表面電極が、前頭筋と皺眉筋の間もしくは小頬骨筋と大頬骨筋の間の隙間または境界に設置されている
   請求項４に記載の精神状態推定システム。
6. 前記データ解析部は、前記ＥＭＧデータから、所定の時間区間における前記筋電信号の振幅の大きさの積分値で表される筋活動量もしくは前記筋活動量の前記時間区間における単位時間平均である平均単位時間筋活動量を取得する
   請求項３から請求項５のうちのいずれかに記載の精神状態システム。
7. 表情筋からの筋電信号を計測する表面電極を有する筋電センサを備える
   請求項１から請求項６のうちのいずれかに記載の精神状態推定システム。
8. 表情筋における筋活動に関する特徴量以外の、人の精神状態と相関のある特徴量を取得する他特徴量取得部を備え、
   前記精神状態推定部は、表情筋における筋活動に関する特徴量と、前記他特徴量取得部により取得された特徴量とを併用して、人の精神状態を推定する
   請求項１から請求項７のうちのいずれかに記載の精神状態推定システム。
9. 表情筋における筋活動に関する特徴量である筋活動特徴量を示す変数を少なくとも含む１つ以上の説明変数と精神状態との関係を学習する学習部を備え、
   前記学習部は、顔面部の所定位置に表面電極が設置された状態で積極的に所定の精神状態へと移行させる行為を移行先の精神状態を変えながら行った結果得られる筋電信号からなるＥＭＧデータであって、複数の既知の精神状態に対応づけられたＥＭＧデータから前記筋活動特徴量を計算することによって生成される参照データを少なくとも用いて、前記関係を学習する
   請求項１から請求項８のうちのいずれかに記載の精神状態推定システム。
10. 表情筋における筋活動に関する特徴量を少なくとも用いて人の精神状態を推定することを特徴とする精神状態推定方法。