JP2020048622A - 生体状態推定装置 - Google Patents

生体状態推定装置 Download PDF

Info

Publication number
JP2020048622A
JP2020048622A JP2018178193A JP2018178193A JP2020048622A JP 2020048622 A JP2020048622 A JP 2020048622A JP 2018178193 A JP2018178193 A JP 2018178193A JP 2018178193 A JP2018178193 A JP 2018178193A JP 2020048622 A JP2020048622 A JP 2020048622A
Authority
JP
Japan
Prior art keywords
state
biological
data
biological state
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018178193A
Other languages
English (en)
Other versions
JP7067389B2 (ja
Inventor
和彦 篠田
Kazuhiko Shinoda
和彦 篠田
勇人 山口
Yuto Yamaguchi
勇人 山口
梶 洋隆
Hirotaka Kaji
洋隆 梶
理比古 吉井
Rihiko Yoshii
理比古 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018178193A priority Critical patent/JP7067389B2/ja
Publication of JP2020048622A publication Critical patent/JP2020048622A/ja
Application granted granted Critical
Publication of JP7067389B2 publication Critical patent/JP7067389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 被検者の生体計測特徴量を用いた生体状態の推定に於いて、推定結果が特定の状態に偏らず、ノイズに対するロバスト性及び推定精度を向上すること。【解決手段】 本発明の装置は、生体計測特徴量と学習パラメータとを用いて算出された被検者の生体状態が取り得る状態段階の各々の事後確率と状態段階間の遷移確率とに基づいて得られる出現確率の最も高い状態段階が被検者の生体状態の属する状態段階であると推定する。学習パラメータは、状態段階の各々にラベル付けされているデータの寄与が互いに等しくなるように選択された教師用データを用いた機械学習により決定される。遷移確率は、校正用の生体状態の計測による時系列の状態段階の判定結果のデータに於ける時点毎の状態段階の推移の頻度に基づいて決定される。【選択図】 図1

Description

本発明は、人の生理的な又は心理的な状態(以下、本明細書に於いて、「生体状態」と称する。)を推定する装置に係り、より詳細には、前記の如き生体状態を生体計測によって推定する装置に係る。
人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態(生体状態)、例えば、眠気、覚醒、集中、ストレス、緊張或いは安静の程度、睡眠の深さなどの状態、は、生体に於ける物理的な状態、例えば、呼吸、心拍、体温、皮膚電位、瞬き、体動、血圧、血流量、血中酸素濃度(光の透過率)、脳波等にも反映される。そこで、近年、上記の如き人の生体状態の検出又は推定の技術の分野に於いて、圧力、電位、電流、加速度又は光計測などの物理的な計測によって得られる、上記の如き物理的な状態の計測値又はその特徴(計測値の周波数特性、波形特性など)を用いて、上記の如き生体状態を推定する試みが為されている。かかる生体の物理的な計測値又はその特徴の指標値(以下、総じて、「生体計測特徴量」と称する。)による生体状態の推定の場合、典型的には、まず、生体状態が分かった状態で得られた生体計測特徴量の多数のデータ(教師付き学習データ、正解値付き学習データ)が収集され、統計的な分析方法を用いた機械学習を通じて、生体状態と相関の高い生体計測特徴量の探索と、その相関の高い生体計測特徴量と生体状態との相関関係又は対応関係の決定が為される。そして、実際の生体状態の推定に於いては、被検者に於ける計測値から得られた(生体状態との相関の高い)生体計測特徴量を変数パラメータとして参照して、前記の機械学習により予め得られた生体計測特徴量と生体状態の相関関係に於いて、生体計測特徴量に対応する生体状態がその生体計測特徴量が得られたときの生体状態であると推定されることとなる(以下、特に断らない限り、「生体計測特徴量」というときには、生体状態と相関の高い生体計測特徴量を指すものとする。)。
例えば、特許文献1に於いては、ウェアラブルセンサを用いて計測される人の呼吸運動や体動の計測データから抽出される呼吸運動特徴量及び体動特徴量に基づいて、校正用の睡眠段階の判定結果と呼吸運動特徴量及び体動特徴量とから成る学習用データを用いた機械学習によって設定された係数パラメータを含む睡眠状態関数を用いて、睡眠状態又は睡眠段階の推定を行う装置が提案されている。また、特許文献2に於いては、複数の種類の生理データと生体の覚醒度と用いて回帰分析処理を行う学習過程により、生理データと覚醒度との関係を表すモデルの情報を求め、そのモデル情報を用いて、生理データから覚醒度を推定する方法が提案されている。
特開2017−169884 特開2018−82931
Wallace,B.C.,Small,K.,Brodley,C.E.&Trikalinos,T.A.(2011)Class Imbalance, Redux.2011 IEEE 11th International Conference on Data Mining,754-763.
生体計測特徴量を参照して生体状態を推定する場合に、生体計測特徴量に於いてノイズや瞬時的な或いは過渡的な値の擾乱が生ずると、生体状態の推定結果が影響を受け、推定結果の解釈が困難となり得る。特に、生体状態の推定のための生体計測特徴量の計測を日常生活中に連続的に実行しようとする場合、使用者(被検者)の行動を妨げない程度に簡易なセンサを用いることが好ましいところ、そのようなセンサでは体動などによるノイズが発生しやすく、それらのノイズは、フィルタ処理を行っても除去し切れず、計測値のロバスト性には限界がある。ところで、上記に列記されている如き、眠気の程度、睡眠の深さなどの生体状態は、通常、連続的に変化し、その経時的な変化の傾向には固有の特徴が存在する。従って、生体状態の経時的な変化傾向の特徴を予め調べておき、生体計測特徴量を用いた生体状態の推定に於いて、かかる生体状態の経時的な変化傾向の特徴も考慮すれば、ノイズや瞬時的な或いは過渡的な値の擾乱に起因する生体状態の推定結果の変動が抑制され、生体状態の推定精度が向上することが期待される。
この点に関し、隠れマルコフモデル(HMM)や条件付き確率場(CRF)などの確率過程モデルを従って、或る系列的に観測されたデータ(系列観測データ)を参照してそれらに対応する状態を推定する手法によれば、生体状態の経時的な変化傾向の特徴を考慮して、生体計測特徴量の時系列データから生体状態を経時的に推定することが可能となるところ、かかる系列観測データに対応する状態の推定を行う手法に於いては、通常、生体計測特徴量と生体状態の関係性が比較的単純な関数で表せることが仮定されている。しかしながら、実際の生体計測特徴量と生体状態との関係は比較的複雑であり、単純なモデルで十分に捉えることは難しく、上記の如き系列観測データを参照して状態を推定する手法だけで満足できる生体状態の推定精度を得ることは困難となっている。一方、サポートベクターマシン法やランダムフォレスト法などの、観測値(生体計測特徴量)と正解ラベル(生体状態)とが組になった教師付き学習データを用いた教師付き機械学習を通じて観測値を参照してそれに対応するラベルを識別する識別器を構成する手法は、生体計測特徴量と生体状態との間が比較的複雑な関係にあっても任意の生体計測特徴量に対応する生体状態を的確に識別することのできる高い表現力を有している。しかしながら、かかる識別器を構成する手法の場合、各時点の生体状態が互いに独立であることが仮定されており、時系列データの前後関係、即ち、状態の経時的な変化傾向の特徴が考慮されていないため、ランダムに生ずるノイズや瞬時的な或いは過渡的な値の擾乱の影響で、生体状態の推定結果が、時系列で見ると、不自然となってしまうことがある(図8参照)。
また、上記の如く、生体計測特徴量を参照して生体状態を識別する識別器の構成のための機械学習に於いては、教師付き学習データが必要となるところ、十分な量の学習データを収集することは非常に手間がかかる。特に、眠気の程度などの生体状態は、実験による統制が難しく、学習データに含まれる生体状態の段階、例えば、眠気の段階、に於いて、或る特定の段階のデータ数が相対的に多くなり、別の段階のデータが相対的に少なくなるといった不均衡が生じやすい。そのような比較的少量かつ不均衡な学習データをそのまま用いて機械学習を行って得られた識別器により、生体状態の推定を行うと、推定結果に於ける状態に偏りが生じてしまうこととなる(図8参照)。
かくして、本発明の一つの課題は、上記の如き生体計測特徴量を用いた生体状態の推定に於いて、上記の問題に鑑み、生体計測特徴量を参照してそれに対応する生体状態を識別する識別器を構成する教師付き機械学習に際して、比較的少量かつ不均衡な学習データしかなくても、推定結果が特定の状態に偏らずに、生体計測特徴量と生体状態との比較的複雑な関係性が的確にモデル化されて(即ち、生体計測特徴量から生体状態が的確に識別されて)生体状態の推定精度が向上され、また、生体状態の経時的な変化傾向を考慮することで、生体計測特徴量に於ける計測時のノイズや瞬時的な或いは過渡的な値の擾乱の発生に対してロバスト性があり、系列全体の生体状態の推定精度が向上される新規な構成を提供することである。
本発明によれば、上記の課題は、被検者の生体状態を推定する装置であって、
被検者の生体計測特徴量を取得する生体計測特徴量取得部と、
前記生体計測特徴量に基づいて、前記生体状態が取り得る複数の状態段階のうちの、前記生体計測特徴量が得られた時点の前記被検者の生体状態が属する状態段階を推定する生体状態推定部とを含み、
前記生体状態推定部が、
前記生体計測特徴量と学習パラメータとを用いて前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属する確率である事後確率又はその指標値を算出する状態段階事後確率算出部と、
前記事後確率と遷移確率とに基づいて算出される前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属している確率である出現確率のうち、前記出現確率の最も高い状態段階を前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態の属する状態段階であると推定する状態段階推定部と
を含み、
前記学習パラメータが、
校正用の前記生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含む学習データの群を準備する過程と、
前記学習データの群の少なくとも一部を教師用データの群として用いた学習処理によって、前記事後確率を算出するための前記学習パラメータを決定する過程にして、前記教師用データの群に於いて、前記生体状態が取り得る前記状態段階の各々に判定されている学習データの群の前記学習パラメータに対する寄与が互いに等しくなるように、前記学習データの群からの前記教師用データの群の選択又は前記学習処理を実行する過程と
によって決定され、
前記遷移確率が、前記生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける前記被検者の生体状態の属する状態段階から前記生体計測特徴量が得られた時点に於いて前記被検者の生体状態が取り得る状態段階の各々へ前記被検者の生体状態が遷移又は停留する確率であり、
校正用の前記生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備する過程と、
前記系列学習データに於ける各時点の前記生体状態の属する状態段階がそこから前記所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、各状態段階にある前記生体状態が前記所定の時間の経過後に各状態段階に推移する確率を前記遷移確率として決定する過程と
によって決定される装置によって達成される。
上記の構成に於いて、「被検者の生体状態」とは、既に触れた如く、眠気の程度、覚醒の程度、睡眠の深さ、集中の程度、ストレスの強さ、緊張の程度、安静の程度などの人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態であってよい(これらのうちのいずれかであってよい。)。「生体計測特徴量」とは、被検者に於ける呼吸、体動、心拍、体温、皮膚電位、瞬き、血圧、血流量、血中酸素濃度(光の透過率)、脳波等の計測データから抽出される計測データに於ける特徴を表す指標値であって、生体状態との相関の高い任意の量であってよい。「生体計測特徴量」の種類の数は、単数であっても、複数であってもよい。上記の本発明の装置に於いて、「生体計測特徴量取得部」は、典型的には、被検者に於いて、圧力、電位、電流、加速度又は光計測などの物理的なセンサを用いて計測データを時系列に取得し、計測データを用いて「生体計測特徴量」を算出する。「生体計測特徴量」の具体例は、後の実施形態の欄に於いて説明される。
また、上記の本発明の装置に於いて、「生体状態推定部」は、上記の如く、「生体計測特徴量」を参照して、上記の如き被検者の生体状態、例えば、眠気の程度、睡眠の深さなどが、複数の段階(少なくとも二つの段階)のうちのいずれに段階にあるかを推定する。なお、本明細書に於いて、生体状態の段階を「状態段階」と称する。そして、「生体状態推定部」は、上記の如く、より詳細には、「状態段階事後確率算出部」と「状態段階推定部」とを含む。
「状態段階事後確率算出部」は、任意の機械学習の手法に従って構成される、或る観測対象から或る入力xが得られたときのその観測対象の状態が取り得る状態yの各々に在る確率、即ち、事後確率P(y|x)、(又はその指標値)を算出することが可能な識別器であってよく、生体計測特徴量と学習パラメータとを用い、生体計測特徴量が得られた各時点に於いて、被検者の生体状態が取り得る状態段階の各々に被検者の生体状態が属している確率である事後確率(又はその指標値)を算出する。かかる事後確率(又はその指標値)を算出する識別器を構成する手法としては、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、k−NN法などの任意の機械学習の手法が採用されてよい。実際に識別器で算出される値は、事後確率を表す指標値であってもよい。「学習パラメータ」は、生体計測特徴量に基づいて各状態段階の事後確率(又はその指標値)を算出するための識別器に於いて設定されるパラメータであり、かかる「学習パラメータ」の決定に於いては、上記の如く、校正用の生体状態の計測による状態段階の判定結果と、これと伴に得られた生体計測特徴量とを含む学習データの群が予め準備され、そのうちの学習データの群のうちの少なくとも一部が教師用データの群として用いられ、上記の機械学習の手法に従って学習パラメータが決定される。
なお、上記の学習パラメータの決定に関して、既に触れたように、学習処理に使用する学習データの群に於ける状態段階の判定結果が或る状態段階に偏っている場合、即ち、準備された学習データの群に於いて或る状態段階に判定されているデータの数がその他の状態段階に判定されているデータの数に比して相当に多く、学習データに於いて各状態段階に判定されているデータ数の割合が実質的に不均衡である場合に、その状態の学習データの群(不均衡データ群)をそのまま用いて学習処理を実行し、これにより得られた学習パラメータを用いて生体状態の推定処理を実行すると、推定結果に於ける生体状態が、学習データ群に於いてデータ数の多かった状態段階に偏ってしまう現象が生ずる。かかる現象を回避するために、本発明の装置に於ける学習パラメータの決定に於いては、上記の如く、教師用データの群に於いて、生体状態が取り得る状態段階の各々に判定されている学習データの群の学習パラメータに対する寄与が互いに等しくなるように、つまり、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるように、学習データの群からの教師用データの群の選択又は学習処理が実行される(不均衡データ対策)。即ち、例えば、生体状態が第一、第二及び第三の状態段階を取り得る場合に、学習データに於いて、第一、第二及び第三の状態段階のうちのいずれかに判定されたデータ数(生体計測特徴量の組の数)が多かったとしても、第一、第二及び第三の状態段階に判定されているデータ群の各々による学習パラメータに対する寄与が互いに等しくなるように、教師用データの群が選択され、或いは、学習処理が実行される。かかる不均衡データ対策としては、具体的には、学習データの群に於いて最もデータ数の少ない状態段階の付与されたデータの数にその他の状態段階の付与されたデータの数が揃うように学習データの群から教師用データの群を抽出するアルゴリズム(非特許文献1)、SMOTE(Synthetic Minority Over-sampling Technique)アルゴリズム、ADASYN(Adaptive Synthetic Sampling Approach)アルゴリズム、学習処理に於いて誤答したときのコスト又はペナルティを課すアルゴリズム(誤分類コストの設定)、状態段階毎に学習処理に於ける重みを設定するアルゴリズム(状態段階毎の重みの設定)などが利用可能である。
「状態段階推定部」に於いては、上記の如く、まず、状態段階事後確率算出部で算出された各状態段階の事後確率と遷移確率(被検者の生体状態が、生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける被検者の生体状態の属する状態段階から、生体計測特徴量が得られた時点に於いて、被検者の生体状態が取り得る状態段階の各々に停留又は遷移する確率)とに基づいて算出される出現確率(被検者の生体状態が取り得る状態段階の各々に被検者の生体状態が属している確率)のうち、出現確率の最も高い状態段階が、生体計測特徴量が得られた各時点に於ける被検者の生体状態の属する状態段階であると推定される(前記の事後確率は、生体計測特徴量と学習パラメータとを用いて得られる確率であるのに対し、出現確率は、かかる事後確率と遷移確率とを用いて得られる確率、謂わば、事後確率を遷移確率で補正して得られる確率である。)。即ち、或る時点に於いて生体計測特徴量が得られ、その生体計測特徴量から状態段階の各々の事後確率が決定されると、状態段階推定部は、それらの事後確率(又はその指標値)と、被検者の生体状態の属する状態段階の推移を記述する遷移確率(又はその指標値)とを用いて、その時点に於ける生体状態が取り得る状態段階の各々の出現確率又はその指標値を算出し、そのうち、出現確率が最大となる状態段階を探索し、その時点の生体状態の属する状態段階であると推定することとなる(かかる一連の処理手順は、所謂ビダビアルゴリズムに従っている。)。
なお、前記の遷移確率は、上記の如く、或る時点から次の時点へ時間が経過する際に、生体状態の属する状態段階が推移する確率であるので、校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備し、その系列学習データに於ける各時点の生体状態の属する状態段階がそこから所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、HMM、CRFなどの任意の確率過程モデルに従い、各時点に各状態段階にある生体状態が次の時点に各状態段階にある確率を遷移確率として算出することによって決定可能である。ここで、「所定の時間」は、任意に設定されてよく、例えば、状態段階の判定結果の得られている時点間の長さ、生体計測特徴量の算出時点間の長さなどであってよい。校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データには、前記の学習パラメータの決定のための機械学習に用いられた学習データ又は教師用データの群の校正用の生体状態の計測による状態段階の判定結果が用いられてよく、それとは別に準備されたものでもよい。
また、上記の生体状態が取り得る状態段階の各々の出現確率について、より詳細には、生体計測特徴量の得られた時点の各状態段階の事後確率からベイズの定理により算出される「被検者の生体状態が各状態段階であったときに生体計測特徴量が得られる確率」を「生体計測特徴量尤度」とすると、各状態段階の出現確率は、生体計測特徴量尤度と生体状態が生体計測特徴量の得られた時点より前の状態段階から各状態段階への推移する遷移確率との積により算出される。この点に関し、「生体計測特徴量尤度」は、後に説明される如く、本発明の装置に於いては、対応する事後確率に比例すると考えることができるので、最大の出現確率を与える状態段階の決定に於いては、生体計測特徴量尤度と遷移確率との積から各状態段階の出現確率を算出してもよいし、事後確率と遷移確率との積から各状態段階の出現確率の大きさを表す指標値を算出し、出現確率又はその指標値を参照して、最大の出現確率を与える状態段階が決定されてよい(即ち、出現確率自体が実際に算出されなくてもよく、その場合も本発明の範囲に属する。)。
上記の如く、本発明の装置では、端的に述べれば、被検者の生体計測特徴量を参照して被検者の生体状態が属する状態段階を推定する構成に於いて、まず、任意の教師付き機械学習の手法により構成された識別器を用いて、生体計測特徴量が得られたときの被検者の生体状態が取り得る各状態段階の事後確率が算出され、しかる後、それらの事後確率と、系列学習データを用いた任意の確率過程モデルに従った学習によって決定された生体状態の属する状態段階が経時的に推移するときの遷移確率とを用いて、生体計測特徴量が得られたときに被検者の生体状態の取り得る各状態段階の出現確率又はその指標値が算出され、それらが参照されて、出現確率の最も高い状態段階が被検者の生体状態の属する状態段階として判定される。即ち、上記の本発明の装置に於いては、生体計測特徴量(入力)と生体状態(出力)との間の相関関係或いは対応関係がやや複雑な場合であっても的確に生体状態の状態段階を識別することが可能な識別器によって、謂わば、仮の識別結果(各状態段階の事後確率)が、先ず、決定され、しかる後、生体状態の状態段階の推移を的確に推定できるアルゴリズムにより仮の識別結果が修正されて最終的な識別結果(最大の出現確率を与える状態段階)が出力されることとなる。その際、好適には、事後確率を算出する識別器を構成する学習パラメータには、学習データに於ける状態段階の判定結果が不均衡な場合でも、各々の状態段階に判定されたデータの学習パラメータへの寄与が互いに等しくなるように機械学習を実行して決定されたものが用いられ、識別器として、不均衡データ対策が施されたものが使用されることとなる。
本発明の装置の好ましい実施の形態に於いては、まず、生体状態の推定の準備として、学習データの群、即ち、校正用の生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含むデータの群が準備され、学習データの群の少なくとも一部を用いて、生体状態が取り得る状態段階の各々に判定されている学習データの群の学習パラメータに対する寄与が互いに等しくなる態様にて、事後確率(又はその指標値)を算出するための識別器の学習パラメータが、上に列記されている如き任意の機械学習の手法に従って決定される。また、これと並行して、校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備され、系列学習データを用いて上記の如く各状態段階にある生体状態が所定の時間の経過後に各状態段階に推移する際の遷移確率がHMM、CRFなどの任意の確率過程モデルの仮定の下に決定される。
そして、本装置による生体状態の推定の段階に於いては、被検者の生体計測特徴量が時々刻々と取得されると、まず、前記の学習パラメータが設定された識別器(状態段階事後確率算出部)に於いて、生体計測特徴量を参照して、被検者の生体状態が取り得る各状態段階の事後確率(又はその指標値)が算出される。しかる後、それらの事後確率又はそれらの指標値の各々と、被検者の生体計測特徴量が得られた時点より所定の時間経過前の時点の生体状態の属する状態段階から生体計測特徴量が得られた時点に於いて被検者の生体状態が取り得る各状態段階に推移する(停留又は遷移する)遷移確率の各々とを用いて、各状態段階の出現確率又はその指標値が算出され、それらを参照して、最大の出現確率を与える状態段階が被検者の生体状態として時々刻々に推定される。
かくして、上記の本発明の装置によれば、生体計測特徴量を用いた生体状態の推定に於いて、生体計測特徴量により生体状態の識別を行うための機械学習に際して、生体計測特徴量と生体状態との間が比較的複雑な関係にあっても生体計測特徴量に対応する生体状態が的確に識別されると同時に、生体状態の経時的な変化傾向を考慮して、生体計測特徴量と生体状態とのより精密に把握された相関関係と生体状態の時系列の推移傾向との双方とに基づいて、生体計測特徴量から生体状態を推定するようになっており、これにより、各時点に於ける生体状態の推定精度が向上される一方、生体計測特徴量に於いて、ノイズ等のランダムな擾乱に応答して仮の識別結果である事後確率に於いて擾乱が生じても、生体状態の最終的な推定結果を与える出現確率(又はその指標値)が生体状態の推移傾向に適合するように修正されることとなり、ノイズや瞬時的な或いは過渡的な値の擾乱に対してロバスト性のある推定の実現が期待される。また、好適には、学習データとして比較的少量かつ不均衡なデータしかなくても、推定結果が特定の状態に偏らないように識別器が構成される。実際、後の実施形態に於いて示される如く、本発明の教示に従った生体状態の推定によれば、従前の場合に比して、正解率及びF値(精度と再現率の調和平均)に於いて改善が見られた。
本発明の装置は、生体状態として、生体計測特徴量との相関関係がやや複雑であり、状態段階の推移に或る傾向を有するものを推定する場合、例えば、上記に例示されている如き人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態を推定する場合のいずれにも適用可能であり、推定される生体状態の種類によらず、本発明の範囲に属することは理解されるべきである。生体状態の推定に適した生体計測特徴量の選択は、当業者に於いて実験的に又は理論的に実行可能であり、生体計測特徴量の種類によらず、上記の構成を含む装置は、本発明の範囲に属することは理解されるべきである。
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
図1(A)は、本発明による生体状態推定装置(例えば、眠気レベル推定装置)の実施形態に於ける生体計測特徴量が抽出される生理データ(呼吸波形、体動加速度など)を計測するためのセンサを含む被検者の胸部又は腹部に装着される筐体を模式的に表した図である。図1(B)は、本発明による生体状態推定装置の実施形態の内部の構成をブロック図の形式で表した図である。図1(C)は、本発明による生体状態推定装置の実施形態に於ける生体状態推定に使用する識別器パラメータと遷移確率との機械学習のための装置の構成をブロック図の形式で表した図である。 図2(A)は、本発明による生体状態推定装置の実施形態に於ける生体状態を推定する処理をフローチャートの形式にて示した図である。図2(B)は、本実施形態に於ける生体状態推定に使用される識別器パラメータの決定処理をフローチャートの形式にて示した図である。図2(C)は、本実施形態に於ける生体状態推定に使用される遷移確率の決定処理をフローチャートの形式にて示した図である。図2(D)は、本実施形態に於ける生体計測特徴量の算出のタイミングを説明する図である。図2(E)は、本実施形態に於いて、生体状態として眠気レベルを推定する場合に利用可能な生体計測特徴量を説明する図である。 図3は、本実施形態に於いて学習データから教師用データを抽出する処理を説明する図である。 図4は、本実施形態による生体状態として眠気レベルを推定する装置の作用効果の検証実験を行った際に被検者に課した実験中の行動プロトコルを示している。 図5は、本実施形態に於いて生体状態として眠気レベルを推定する場合に、学習データに於ける状態段階の判定結果である眠気レベルの正解値を計測するために使用されるカロリンスカ眠気尺度に於ける眠気尺度を説明する図である。 図6(A)〜(D)は、本実施形態に於いて生体状態として眠気レベルを推定する装置の作用効果の検証実験に於ける推定結果の例を示している。(A)は、不均衡データ対策をせずに機械学習(ランダムフォレスト)により構成された識別器を用いて生体計測特徴量から算出された事後確率から決定された生体状態(眠気レベル)の推定結果であり、(B)は、不均衡データ対策をして機械学習(ランダムフォレスト)により構成された識別器を用いて生体計測特徴量算出された事後確率から決定された生体状態(眠気レベル)の推定結果であり、(C)は、不均衡データ対策をせずに機械学習(ランダムフォレスト)により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とに基づいて決定された生体状態(眠気レベル)の推定結果であり、(D)は、本発明の教示に従って、不均衡データ対策をして機械学習(ランダムフォレスト)により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とに基づいて決定された生体状態(眠気レベル)の推定結果である。 図7は、本実施形態に於いて生体状態として眠気レベルを推定する装置の作用効果の検証実験に於ける推定結果に於ける正解率とF値とを示している。 図8(A)は、眠気レベルを直接に測った場合の眠気レベルの時間変化(正解値)の例であり、図8(B)は、図8(A)のデータの場合に従前の機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率から推定された眠気レベルの時間変化の例である。
1…筐体
10…生体状態推定装置
12…機械学習装置
P…被検者
装置の構成
図1(A)を参照して、本発明による被検者の生体状態推定装置の一つの実施形態は、被検者Pの胸部又は腹部に装着可能な(ウェアラブルな)筐体1を有し、かかる筐体1内に生体状態の推定に使用される構成要素が収容された形態となっていてよい。筐体1内には、特に、生体状態推定のために参照される生体計測特徴量が抽出される生理データを計測するためのセンサが収容される。例えば、推定される生体状態が眠気の程度である場合には、生理データとしては、例えば、呼吸波形データ、体動加速度データが選択されるので、筐体1内に収容されるセンサは、例えば、被検者の呼吸運動に伴う体表面の変位によって変化する圧力を計測する圧力センサ(呼吸センサ)、被検者の体動に伴って変化する加速度値を計測する加速度センサなどであってよい。圧力センサは、この分野に於いて、呼吸波形データを計測するために使用される任意の、例えば、ピエゾ素子を用いたセンサであってよく、被検者の呼吸運動に伴う胸部又は腹部の収縮・膨張による体表面の変位を圧力値として計測するものであってよい。加速度センサは、上記の如く被検者の体動により変化する加速度値を計測するセンサであるところ、体動の向きは、任意の方向であるので、3軸加速度センサが用いられてよい。なお、センサの種類、センサを収容する筐体の形態は、計測される生理データに応じて種々のものであってよいことは理解されるべきである。例えば、センサが心拍センサであれば、腕時計型や胸バンド型の形態の筐体が採用されてもよい。また、センサとしては、心臓の拍動により生じる電位を計測する心電位センサ、皮下の血流の変化を光学的に検出する光電脈波センサ、心臓の拍動により生じる皮膚の微小な変動を捉える加速度センサなど,種々のセンサが用いられてよい。センサがいずれの場合であっても本発明の範囲に属することは理解されるべきである。
また、本実施形態の一つの態様に於いては、筐体1内に、更に、上記のセンサの出力を受容して、後に述べる態様にて被検者の生体状態の判定を行う演算部、演算部の出力値及び/又は装置の作動状況を表示するディスプレイと、演算部の出力値を外部の装置又は設備へ送信する通信部、被検者又は使用者による装置に対する指示・操作を受容する操作パネルなどが設けられてよい。この場合、演算部は、マイクロコンピュータ、メモリ又はフラッシュメモリ等を含む通常の小型のコンピュータ装置であってよい。或いは、別の態様に於いて、上記の演算部等は、筐体1とは別体のコンピュータ装置(図示せず)に於いて構成されていてもよく、その場合には、センサの出力が有線又は無線通信にてコンピュータ装置へ送信されるようになっていてよい。更にまた、被検者の生体状態の判定を行う処理の一部が筐体内で実行され、一部が外部コンピュータ装置にて実行されるようになっていてもよい。
本実施形態に於ける被検者の生体状態を推定する装置(生体状態推定装置)10に於いては、図1(B)に描かれている如く、各センサが計測した生理データを時々刻々に受容して、生理データから生体計測特徴量を抽出又は算出する特徴量抽出部と、特徴量抽出部から生体計測特徴量を受容し、それらを参照して、メモリに記憶されているパラメータ(識別器パラメータ)を用いて構成される識別器によって被検者の生体状態が取り得る各状態段階の事後確率(生体状態が取り得る各状態段階に被検者の生体状態が属している確率)を算出する状態段階事後確率算出部と、各状態段階の事後確率と、メモリに記憶されている、被検者の生体状態が所定の時間の経過前の時点で属してした状態段階から各状態段階へ推移する遷移確率とを用いて、出現確率(生体状態が取り得る各状態段階に被検者の生体状態が属している確率)又はその指標値を算出する状態段階出現確率算出部と、出現確率又はその指標値とを参照して被検者の生体状態が属している状態段階を推定する状態段階推定部とが設けられる。そして、状態段階の推定結果がディスプレイに表示され或いは任意の記憶装置に記憶される。上記の被検者の生体状態推定の構成が筐体1内に収容されている場合も別体のコンピュータ装置に構成されている場合も、装置内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。
上記の被検者の生体状態推定の処理に使用される識別器パラメータと遷移確率とは、それぞれ、機械学習によって決定され、メモリに記憶される。かかる機械学習の処理は、筐体1内の演算部に於いて実行され、実行結果が筐体1内のメモリに記憶されるようになっていてもよいし、筐体1とは別体のコンピュータ装置に於いて実行され、実行結果がメモリに記憶されるようになっていてもよい。図1(C)を参照して、機械学習を実行する装置(機械学習装置)12に於いては、生体状態推定装置10の場合と同様に、呼吸センサ等が計測した生理データを受容して、生理データから生体計測特徴量を抽出又は算出する特徴量抽出部と、かかる生体計測特徴量及びその生体計測特徴量が得られたとき、即ち、生理データの計測時に於ける生体状態の状態段階の判定結果(例えば、眠気レベル)を用いて、状態段階の判定結果(正解値)と生体計測特徴量とが組になった学習データを調製する学習データ調製部と、学習データから後に説明される不均衡データ対策が果たされるように教師用データを選択する教師用データ選択部と、教師用データを用いて機械学習処理を実行して識別器パラメータを決定する識別器パラメータ決定部と、時系列の生体状態の状態段階の判定結果(正解値)を用いて遷移確率を決定する遷移確率決定部と、識別器パラメータと遷移確率とをそれぞれ記憶するメモリとが設けられてよい。なお、ここに於いて、センサ並びに特徴量抽出部は、生体状態推定装置10内のものと同一のものであってよい(共用であってよい。)。上記の被検者の機械学習装置12が筐体1内に収容されている場合も別体のコンピュータ装置に構成されている場合も、装置内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。
装置の作動
(1)生体状態推定に於ける改良の概要
「発明の概要」の欄に於いても説明されている如く、サポートベクターマシン法やランダムフォレスト法などの教師付き機械学習の手法に従って構成された識別器は、生体計測特徴量と生体状態との対応関係がやや複雑であっても、生体計測特徴量に対応する生体状態を的確に識別することが可能であるところ、生体状態が時系列に変化するものであっても、その経時的な変化傾向の特徴を考慮していないため、ノイズ等の影響により、時系列で見ると、生体状態の推定結果が不自然に変化する場合がある。また、機械学習に使用した学習データの群に於いて、或る状態段階に判定されているデータの数がその他の状態段階に判定されているデータの数よりも相当に多くなっている場合、即ち、学習データの群が不均衡データ群となっていると、識別器の推定結果が学習データの群でデータの数の多かった状態段階に偏ってしまう場合がある。例えば、生体状態として眠気レベルを推定する構成に於いて、図8(A)に示されている如く眠気レベルが推移した例に対して、学習データ群が不均衡データ群となっており、生体状態の経時的な変化傾向の特徴を考慮しない態様にて生体計測特徴量から眠気レベルの推定を行った場合、図8(B)に示されている如く、図8(A)の眠気レベルの推移に比して、推定結果の眠気レベルに偏りが生じ(眠気レベル3が多く含まれた学習データを学習に用いたため、推定結果が眠気レベル3に偏っている。)、また、短時間の内に眠気レベルが激しく遷移しており、眠気の傾向を把握することが困難となっている。そこで、本実施形態に於いては、以下に説明される如く、不均衡な学習データしかなくても、推定結果が特定の状態に偏らないようにすると共に、推定結果に生体状態の経時的な変化傾向の特徴が反映されるようにして、推定精度の向上が図られる。
(2)生体状態の推定
本実施形態の装置の生体状態の推定に於いては、図2(A)に示されている如く、生理データの取得(ステップ1〜3)、生体計測特徴量の算出(ステップ4)、事後確率の算出(ステップ5)、出現確率指標値の算出(ステップ6)及び状態段階の推定(ステップ7)が反復して実行され、生体状態の推定結果が時系列に出力される。以下、各処理について説明する。
(i)生理データの取得と生体計測特徴量の算出(ステップ1〜4)
生体状態の推定のために計測される生理データは、生体状態の種類に応じて適宜選択されてよい。例えば、生体状態として眠気の程度を推定する場合には、既に述べた如く、生理データとして呼吸波形、体動加速度が時系列に計測されてよい。そして、かかる時系列に計測された生理データから抽出される生体計測特徴量も生体状態の種類に応じて適宜選択されてよい。典型的は、生体計測特徴量として、時系列の生理データの所定の時間毎の統計量が採用されよい。その場合、例えば、図2(D)に模式的に示されている如く、時系列の生理データは、エポックという単位に分割し、エポック毎に生体計測特徴量が抽出されてよい(一つのエポックは、前後のエポックと重複していても、重複していなくてもよい。図示の如く、例えば、60秒幅のエポックが、30秒間ずつ前後のエポックと重複するようになっていてもよく、各エポックの終了時Ct1、Ct2…に於いて各エポックに於ける時系列の生理データを用いて生体計測特徴量が抽出又は算出される。なお、前後のエポックと重複する割合は任意に変更されてよい。)。従って、この場合、図2(A)に示されている如く、各エポックが完了するまで、生理データの計測(ステップ1)と記憶(ステップ2)が反復して実行され、エポックの完了毎(ステップ3)に生体計測特徴量の抽出が実行されることとなる(ステップ4)。
生体状態として眠気の程度を推定する場合、生体計測特徴量としては、下記の如き生理データの統計量が採用可能である(図2(E)参照)。
・吸気時間の平均
・呼気時間の平均
・(吸気時間/呼吸時間)の平均
・ポーズ時間の平均
・(呼気波形面積/吸気波形面積)の平均
・吸気時間の標準偏差
・呼気時間の標準偏差
・(吸気時間/呼吸時間)の標準偏差
・ポーズ時間の標準偏差
・(呼気波形面積/吸気波形面積)の標準偏差
・平均呼吸数[=60/(呼吸波形ピーク間隔の平均値(秒))]:呼吸波形データに於いて、ピーク間隔Rw[秒]は、1回の呼吸に要する時間となるので、ピーク間隔Rwであったときの1分間当たりの呼吸数は、60/Rwとなる(以下、単に「呼吸数」と称する。)。そこで、ここでは、エポック内の呼吸数の平均値を、60/(1回の呼吸に要する時間の平均値)により算出する。
・呼吸変動係数[=呼吸数の標準偏差/平均呼吸数]:呼吸数の標準偏差は、呼吸数60/Rwのエポック内の標準偏差である。
・振幅変動係数[=振幅の標準偏差/平均振幅]:振幅は、上側のピークと下側のピークとの差分Raであり、平均振幅は、エポック内のRaの平均値であり、振幅の標準偏差は、エポック内のRaの標準偏差である。
・自己相関ピーク比:1エポック分の呼吸波形データから1エポック分の呼吸波形データの平均を引いた値の自己相関関数値(τ)に於いて(τは、相関時間)、τ=0から見て、最初にピークが現れたとき(τ=τpのとき、とする。)のピーク値を自己相関関数G(0)にて割って正規化した値。
・加速度差分ノルムの最大値:
加速度差分ノルム={(axt-axt-1)2+(ayt-ayt-1)2+(azt-azt-1)2}1/2 …(1)
(axt、ayt、aztは、それぞれ、x軸、y軸、z軸方向の時刻tに於ける加速度値)
のエポック内の最大値
・加速度差分ノルムの標準偏差:加速度差分ノルムのエポック内の標準偏差
なお、好適には、上記の各特徴量は、それぞれ算出された後に正規化(Zスコア変換)されてよい。正規化特徴量Xは、下記の如く与えられる。
X=(x−xa)/σ …(2)
ここで、x、xa、σは、正規化前の特徴量、その全エポックの平均値又は中央値、標準偏差である(xa、σは、それまでの計測された全エポックについての値であってよい。)。かかる正規化により、個人差、個人内差(体調、季節などによる違い)が取り除かれ、推定精度が向上することが可能となる。
(ii)各状態段階の事後確率の算出(ステップ5)
上記の如く生体計測特徴量が得られると、それらを参照して、時点tに生体計測特徴量Xtが観測されたときに、被検者の生体状態が取り得る各状態段階Yj(j=1,2,…)に、被検者の生体状態が属している事後確率P(Yj|Xt)が算出される。例えば、生体状態として眠気レベルがレベルY1、Y2、Y3のいずれであるかを推定する場合には、P(Y1|Xt)、P(Y2|Xt)、P(Y3|Xt)のそれぞれが算出される。かかる事後確率の算出は、後に説明される如き学習データを用いて教師付き機械学習の手法にて決定されたパラメータ(識別器パラメータ)を用いて構成される識別器を用いて実行される。識別器は、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、k−NN法などの任意の教師付き機械学習の手法に従って構成されてよい。識別器パラメータは、後に説明される如く予め準備されて、メモリ内に記憶され、使用する際に呼び出される。事後確率を算出する具体的な処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。なお、ここにおいて、実際に算出される値は、事後確率を表す任意の指標値であってもよい。
(iii)出現確率指標値の算出(ステップ6)及び状態段階の推定(ステップ7)
ステップ5にて算出された各状態段階の事後確率P(Yj|Xt)によれば、生体状態の属する状態段階は、最大の事後確率を与える段階であると推定することは可能である。しかしながら、上記の事後確率の算出に於いては、生体状態の推移の傾向が考慮されておらず、従って、生体計測特徴量にノイズ等の瞬間的な又は過渡的な値の擾乱が重畳としていると、算出される事後確率は、それまでの生体状態の推移にかかわらず、ノイズ等の値の擾乱が重畳した生体計測特徴量に対応した値となり、生体状態が誤推定されてしまうこととなる。そこで、本実施形態に於いては、ステップ5にて算出された各状態段階の事後確率に対して更に生体状態の推移の傾向の特徴を加味して、被検者の生体状態が取り得る各状態段階Yjに被検者の生体状態が属している確率を修正し、修正された確率、即ち、出現確率が最大となる状態段階が被検者の生体状態が属している状態段階であると推定される。
より具体的には、状態段階の推定は、各状態段階の事後確率P(Yj|Xt)からベイズの定理より得られる生体計測特徴量の尤度P(Xt|Yj)[生体状態が状態段階Yjであるときに生体計測特徴量Xtが得られる確率]を用いて、下記の如く、ビタビアルゴリズムに従って行われてよい。
まず、時点tに於ける生体状態の推移の傾向の特徴を加味した各状態段階jの出現確率をδ(j)にて表すと、生体状態の属する状態段階の初期値(t=0のとき)は不明であるところ、各状態段階の出現確率の初期値δ(j)=πjは均等であると仮定されてよい。例えば、生体状態の取り得る状態段階の数が3であれば、出現確率の初期値πiは、1/3となる。次いで、次の時点t=1の各状態段階の出現確率δ(j)は、時点t=1に於ける生体計測特徴量尤度を用いて、πj・P(X|Yj)と演算される。そして、それ以降の時点t(=2〜T)に於ける各状態段階の出現確率δ(j)は、下記の式により、与えられる。
δ(j)=max[δt-1(i)・Aij]・P(X|Yj) …(3)
ここにおいて、maxは、δt-1(i)・Aijの最大値を選択する演算子である。Aijは、生体状態が状態段階Yiから所定の時間の経過後に状態段階Yjへ推移する確率である遷移確率であり、状態段階Yiは、時点tよりも所定の時間前の時点t−1に於いて生体状態が属していた状態段階となる。遷移確率Aijは、生体状態の属する状態段階の推移がHMM、CRFなどの任意の確率過程モデルに従って記述されるという仮定の下、後に説明される校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを用いて算出することが可能であり、遷移確率Aij(又はその指標値)は、後に説明される如く、予め準備されて、メモリ内に記憶され、使用する際に呼び出される。なお、各状態段階の出現確率δ(j)は、時点t=0から時点t=Tまで事後確率が算出された後に、時点t=2から時点t=Tまで再帰的に算出される。また、各状態段階Yjに於いて最大の出現確率δ(j)を与える直前の状態段階Yiが、変数ψ(j)に於いて下記の如く記憶される。
ψ(j)=argmax[δt−1(i)・Aij] …(3a)
ここにおいて、argmaxは、δt−1(i)・Aijが最大となる状態Yiを選択する演算子である。しかる後、時点t=Tまでの出現確率δ(j)とψ(j)とが決定されると、時点t=Tに於ける出現確率δ(j)の最大値Pと状態段階Yが下記の如く与えられる。
P=max[δ(j)] …(3b)
=argmax[δ(j)] …(3c)
かくして、ψ(j)[t=2〜T]、Yにて表される状態段階の列が得られると、時系列の生体状態の属する状態段階の推定結果が、t=Tからt=1に向かって、順に、
Yt=ψt+1(Yt+1=j) …(3d)
によって与えられる。
上記の式(3)に表される出現確率δ(j)は、時点tに於いて生体計測特徴量Xtが得られたときの生体状態が各状態段階Yjに属している確率(事後確率)と、時点t−1に於いて状態段階Yiに在った生体状態が時点tに於いて各状態段階Yjに在る確率(遷移確率)との積の関数であり、生体計測特徴量と生体状態との相関関係と共に生体状態の推移の傾向との双方が反映されているので、より精度よく生体計測特徴量Xtが得られた時点tに於いて各状態段階Yjに生体状態が属している確率を表していると考えることができる。そして、かかる出現確率δ(j)が最大となる状態段階Yjが時点tに於ける生体状態の属する状態段階であると推定できることとなる。
実際の推定処理に於いては、生体計測特徴量尤度P(X|Yj)は、ベイズの定理より、事後確率P(Yj|X)、時点tに生体計測特徴量がXとなる確率P(X)及び生体状態が状態段階Yjである確率P(Yj)を用いて、
P(X|Yj)=P(Yj|X)・P(X)/P(Yj) …(4)
により与えられるところ、生体計測特徴量Xtは、均等に出現すると仮定でき、その場合、状態段階Yjによらず、P(Xt)は定数となる。また、各状態段階の出現頻度も均等であると仮定でき、その場合、P(Yj)も定数となる(後に説明される如く、識別器パラメータの決定に於いて不均衡データ対策を行う場合には、各状態段階の出現頻度が均等であると看做すことができる。)。従って、式(3)の演算に於いては、生体計測特徴量Xtの尤度を計算せずに、
δ(j)=max[δt−1(i)・Aij]・P(Yj|Xt) …(3e)
を出現確率の指標値として算出し、上記の処理が実行されてよい。また、ステップ5で実際に算出される値が事後確率の指標値Q(Yj|Xt)である場合には、出現確率の指標値は、max[δt−1(i)・Aij]・Q(Yj|Xt)となる。或いは、遷移確率を表す指標値Bijを用いる場合には、出現確率の指標値は、max[δt−1(i)・Bij]・P(Yj|Xt)若しくはmax[δt−1(i)・Bij]・Q(Yj|Xt)などとなる。いずれの場合も本発明の範囲に属することは理解されるべきである。更に別の態様として、各時点tに於ける事後確率と遷移確率との積が最大値となる状態段階が生体状態の属する状態段階であると推定されてもよい。
(3)生体状態の推定のための機械学習
上記の本実施形態の装置の生体状態の推定に於いては、識別器パラメータと線確率(又はその指標値)とは、予め機械学習の手法によって決定され、メモリに記憶される。以下、それぞれの決定処理について説明する。
(a)識別器パラメータの決定
既に述べた如く、生体計測特徴量Xtが得られたときの各状態段階の事後確率を算出する識別器は、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、k−NN法などの任意の教師付き機械学習の手法に従って構成されてよいところ、識別器を構成するために設定される識別器パラメータは、図2(B)に示されている如く、下記の如く調製され選択された教師付き学習データ又は正解値付き学習データ(ステップ11、12)を用いて機械学習によって決定される(ステップ13)。
学習データの調製(ステップ11)に於いては、図2(A)のステップ1〜4に関連して説明された生理データの計測及び生体計測特徴量の抽出の処理と同様にして生体計測特徴量のデータが調製され、これと共に生理データの計測と同時に、生体状態の計測及び判定が実行され、そこでの判定結果が学習データに於ける正解値として生体計測特徴量のデータに関連づけられる。生体状態の計測及び判定は、推定されるべき生体状態によって適宜実行されてよいことは理解されるべきである。例えば、推定される生体状態が眠気の程度である場合には、生理データの計測と同時に、眠気の程度が任意の尺度(例えば、カロリンスカ眠気尺度、図5参照)に従って被検者の主観的な判定によって記録され、或いは、脳波測定などにより客観的に測定され記録されてよい。なお、識別器パラメータの決定に於いて用いられる学習データは、生体計測特徴量と生体状態の状態段階とが対応して記録されていればよく、時系列に記録されていることは必須ではない。
識別器パラメータを決定するための機械学習に従った処理(ステップ13)は、事後確率の算出に採用する機械学習の手法に応じて、上記の学習データの少なくとも一部を用いて、適宜実行されてよい。既に述べた如く、事後確率の算出処理は、任意のアルゴリズム或いは任意のプログラム言語にて用意された関数やモジュールを使用して実行されてよく、識別器パラメータは、使用するアルゴリズム、プログラム言語の関数又はモジュールの仕様によって決まるので、かかる仕様に応じて、識別器パラメータの具体的な値が適宜設定されることは当業者に於いて理解されるであろう。
ところで、「発明の概要」の欄に於いて述べた如く、上記の識別器パラメータの決定のための学習処理に使用する学習データの群が、状態段階の判定結果が或る状態段階に偏っている不均衡データ群であると、推定結果に於ける生体状態が、学習データ群に於いてデータ数の多かった状態段階に偏ってしまう現象が生ずる。この現象を回避するための不均衡データ対策として、本実施形態に於いては、学習データの群からの教師用データの群の選択又は学習処理が、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるように実行される。一つの態様に於いては、準備された学習データの群の中から実際に学習処理に使用する教師用データの群として、学習データの群に於いて最もデータ数の少ない状態段階の付与されたデータの数にその他の状態段階の付与されたデータの数が揃うように、学習データが抽出される(非特許文献1)。例えば、図3に模式的に描かれている如く、生体状態が状態段階としてレベル1、2、3を取り得る場合に、全学習データのうち、レベル1に判定されたデータの数が最小であるとき(Nmin)には、教師用データとして、レベル1のデータの全てと、レベル2に判定されたデータのうちの任意のNmin個と、レベル3に判定されたデータのうちの任意のNmin個が選択される。なお、機械学習の手法として、ランダムフォレスト法、勾配ブースティング法などの全学習データの群から複数の学習データの群を復元抽出して多数のデータ群(サンプルデータ群)を準備して、教師用データとして使用する場合(Bootstrapサンプル)には、図3のサンプル1〜3に示されている如く、全てのサンプルデータ群に於いて各状態段階に判定されているデータの数が互いに等しくなるようにデータが選択される。かかる構成によれば、識別器により算出される事後確率に於いて、特定のレベルの確率が偏って高くなるといった現象が回避され、また、全てのデータを有効活用することができ、推定精度の向上が期待される。なお、別の態様として、SMOTEアルゴリズム、ADASYNアルゴリズムなどに従って教師用データが選択されてもよい。また、ステップ13の機械学習処理に於いて、誤答したときのコスト又はペナルティを課すアルゴリズム(誤分類コストの設定)、状態段階毎に学習処理に於ける重みを設定するアルゴリズム(状態段階毎の重みの設定)などによって、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるようにして、識別器パラメータが決定されてもよい。
(b)遷移確率の決定
既に述べた如く、或る時点から次の時点へ時間が経過する際に生体状態の属する状態段階が推移する確率である遷移確率は、図2(C)の示されている如く、系列学習データを調製し(ステップ21)、生体状態の属する状態段階がHMM、CRFなどの任意の確率過程モデルに従って推移するとの仮定の下、系列学習データを用いて機械学習により算出される(ステップ22)。ここで系列学習データとは、既に触れた如く、校正用の生体状態の計測による時系列の状態段階の判定結果を含むデータである。なお、識別器パラメータの決定に用いた学習データの正解値データを時系列に並べたものであってもよい。また、系列学習データには、遷移確率の算出のアルゴリズムによっては、状態段階に対応する生体計測特徴量の時系列データが含まれていてよい。推定される生体状態が眠気の程度である場合、眠気の程度が任意の尺度(例えば、カロリンスカ眠気尺度、図5参照)に従って被検者の主観的な判定によって時系列に記録され、或いは、脳波測定などにより客観的に測定され時系列に記録されたものであってよい。
系列学習データを用いて遷移確率を求める態様の一つに於いては、具体的には、例えば、或る状態段階Yiに在る生体状態が所定の時間の経過後に状態段階Yjに推移する遷移確率Aijは、
Aij=Fij/ΣFij …(5)
(Σは、jについての総和)
により算出される。ここで、Fijは、系列学習データに於ける生体状態が状態段階Yiから所定の時間の経過後に状態段階Yjに推移した頻度であり、ΣFijは、生体状態が状態段階Yiから所定の時間の経過後に各状態段階に推移した頻度の総和である。状態段階が3段階であれば、遷移確率Aijは、9通り算出される。
かくして、上記の如く、機械学習により決定された識別器パラメータと遷移確率とは、それぞれ、メモリに記憶され、生体計測特徴量を参照して生体状態の推定を行う際に利用される。なお、ここで実際に算出され記憶される値は、遷移確率を表す指標値であってもよく、その場合も本発明の範囲に属する。
検証実験
上記に説明した本発明の有効性を検証するために、以下の如き実験を行った。なお、以下の実施例は、本発明の有効性を例示するものであって、本発明の範囲を限定するものではないことは理解されるべきである。
上記の本実施形態の装置により、生体状態として日常的な行動中の眠気の程度を推定する実験を行った。実験に於いては、図4に示されたプロトコルに従って行動した被検者に於いて、呼吸波形と加速度のデータを生理データとして計測すると共にタイピングの前後とDVD視聴中の3分毎にアンケートによって被検者の主観的眠気をカロリンスカ眠気尺度に従って取得した。カロリンスカ眠気尺度に於いては、図5に示すように主観的眠気の程度が9段階で評価される。本実験に於いては、眠気尺度1〜3をレベル1、眠気尺度4〜5をレベル2、眠気尺度6〜9をレベル3とし、学習データに於ける正解値とした。生理データと眠気の計測は、10名の被検者について2回ずつ行った(学習データとして20組のデータ群を取得した。)。生体計測特徴量には、生理データから抽出された次の特徴量を用いた。:吸気時間の平均、呼気時間の平均、(吸気時間/呼吸時間)の平均、ポーズ時間の平均、(呼気波形面積/吸気波形面積)の平均、吸気時間の標準偏差、呼気時間の標準偏差、(吸気時間/呼吸時間)の標準偏差、ポーズ時間の標準偏差、(呼気波形面積/吸気波形面積)の標準偏差、平均呼吸数、呼吸変動係数、振幅変動係数、自己相関ピーク比、加速度差分ノルムの最大値、加速度差分ノルムの標準偏差。眠気レベルの推定の評価は、下記のLOSOCV(Leave One Subject Out Cross Validation)の手順にて各被検者について眠気レベルを推定し、推定結果の正解率とF値(精度と再現率の調和平均)との平均値を算出した。事後確率を算出するための識別器は、ランダムフォレスト法に従って構成し、学習データの復元抽出は、100回を行い、教師用データとして、100組のデータ群を用いた。LOSOCVの手順に於いては、被検者1名分のデータをテストデータとし、残りの被検者のデータを用いた機械学習により識別器パラメータと遷移確率とを決定し、決定された識別器パラメータと遷移確率との設定の下、テストデータを用いて眠気レベルの推定と推定結果の正解率とF値を算出する処理を、被検者全員のデータがテストデータとなるように10回繰り返した。
図6は、上記の手順に従って得られた眠気レベルの推定結果と正解値との例を示している。図に於いては、(A)[ランダムフォレストのみ]不均衡データ対策をせずに機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率から決定された眠気レベルの推定結果、(B)[ランダムフォレスト+不均衡対策]不均衡データ対策をして機械学習)により構成された識別器を用いて生体計測特徴量算出された事後確率から決定された眠気レベルの推定結果、(C)[ランダムフォレスト+時系列処理]不均衡データ対策をせずに機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とを用いて決定された眠気レベルの推定結果、及び、(D)[ランダムフォレスト+不均衡対策+時系列処理]上記の本実施形態の教示に従い、不均衡データ対策をして機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とを用いて決定された眠気レベルの推定結果が、それぞれ、示されている。同図を参照して、(A)の場合、推定結果は、眠気レベル3に偏ってしまっており、また、短時間に急激な変化をしており、正解値の眠気レベルの推移に全く追従できていなかった。これは、学習データに於いて、眠気レベル3に判定されているデータが多くなったこと、及び、生理データにノイズが重畳していたことに起因すると考えられる。(B)及び(C)の場合には、それぞれ、(A)の場合に比して改善は見られたが、満足な程度にて、眠気レベルの推移を捉えられることができなかった。これらに対し、(D)の本実施形態の教示に従って為された推定結果に於いては、ところどころ誤推定があるところ、概ね眠気レベルの推移を捉えることに成功した。
図7は、上記4つの場合の推定結果の正解率とF値の平均値を示している。図から理解される如く、(D)の本実施形態の教示に従って為された推定結果に於いて、正解率とF値の平均値が共に最大となり、本実施形態による手法が定量的な評価においても優れた手法であることが示された。
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。
例えば、学習データの群が不均衡データ群ではない場合には、上記の不均衡データ対策は実行されなくてもよい。

Claims (1)

  1. 被検者の生体状態を推定する装置であって、
    被検者の生体計測特徴量を取得する生体計測特徴量取得部と、
    前記生体計測特徴量に基づいて、前記生体状態が取り得る複数の状態段階のうちの、前記生体計測特徴量が得られた時点の前記被検者の生体状態が属する状態段階を推定する生体状態推定部とを含み、
    前記生体状態推定部が、
    前記生体計測特徴量と学習パラメータとを用いて前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属する確率である事後確率又はその指標値を算出する状態段階事後確率算出部と、
    前記事後確率と遷移確率とに基づいて算出される前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属している確率である出現確率のうち、前記出現確率の最も高い状態段階を前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態の属する状態段階であると推定する状態段階推定部と
    を含み、
    前記学習パラメータが、
    校正用の前記生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含む学習データの群を準備する過程と、
    前記学習データの群の少なくとも一部を教師用データの群として用いた学習処理によって、前記事後確率を算出するための前記学習パラメータを決定する過程にして、前記教師用データの群に於いて、前記生体状態が取り得る前記状態段階の各々に判定されている学習データの群の前記学習パラメータに対する寄与が互いに等しくなるように、前記学習データの群からの前記教師用データの群の選択又は前記学習処理を実行する過程と
    によって決定され、
    前記遷移確率が、前記生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける前記被検者の生体状態の属する状態段階から前記生体計測特徴量が得られた時点に於いて前記被検者の生体状態が取り得る状態段階の各々へ前記被検者の生体状態が遷移又は停留する確率であり、
    校正用の前記生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備する過程と、
    前記系列学習データに於ける各時点の前記生体状態の属する状態段階がそこから前記所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、各状態段階にある前記生体状態が前記所定の時間の経過後に各状態段階に推移する確率を前記遷移確率として決定する過程と
    によって決定される装置。
JP2018178193A 2018-09-24 2018-09-24 生体状態推定装置 Active JP7067389B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018178193A JP7067389B2 (ja) 2018-09-24 2018-09-24 生体状態推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178193A JP7067389B2 (ja) 2018-09-24 2018-09-24 生体状態推定装置

Publications (2)

Publication Number Publication Date
JP2020048622A true JP2020048622A (ja) 2020-04-02
JP7067389B2 JP7067389B2 (ja) 2022-05-16

Family

ID=69994430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178193A Active JP7067389B2 (ja) 2018-09-24 2018-09-24 生体状態推定装置

Country Status (1)

Country Link
JP (1) JP7067389B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022215322A1 (ja) * 2021-04-07 2022-10-13 ソニーグループ株式会社 情報処理システム
WO2023286313A1 (ja) * 2021-07-15 2023-01-19 ソニーグループ株式会社 信号処理装置および方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254827A (ja) * 2003-02-25 2004-09-16 Matsushita Electric Ind Co Ltd 睡眠状態判定装置
US20150190086A1 (en) * 2014-01-03 2015-07-09 Vital Connect, Inc. Automated sleep staging using wearable sensors
JP2017169884A (ja) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 睡眠状態推定装置
JP2017537731A (ja) * 2014-12-18 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 心肺睡眠段階分類のためのシステム及び方法
JP2017537725A (ja) * 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 乳幼児睡眠モニタ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254827A (ja) * 2003-02-25 2004-09-16 Matsushita Electric Ind Co Ltd 睡眠状態判定装置
US20150190086A1 (en) * 2014-01-03 2015-07-09 Vital Connect, Inc. Automated sleep staging using wearable sensors
JP2017537725A (ja) * 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 乳幼児睡眠モニタ
JP2017537731A (ja) * 2014-12-18 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 心肺睡眠段階分類のためのシステム及び方法
JP2017169884A (ja) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 睡眠状態推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FONSECA, PEDRO, ET AL.: "A comparison of probabilistic classifiers for sleep stage classification", PHYSIOLOGICAL MEASUREMENT, JPN6021042157, 2018, ISSN: 0004630598 *
WALLACE, BYRON C., ET AL.: "Class imbalance, redux", IEEE 11TH INTERNATIONAL CONFERENCE ON DATA MINING, JPN6021042158, 2011, ISSN: 0004630599 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022215322A1 (ja) * 2021-04-07 2022-10-13 ソニーグループ株式会社 情報処理システム
WO2023286313A1 (ja) * 2021-07-15 2023-01-19 ソニーグループ株式会社 信号処理装置および方法

Also Published As

Publication number Publication date
JP7067389B2 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
JP6721153B2 (ja) 生体情報分析装置、システム、及び、プログラム
Zhang et al. Heart sound classification based on scaled spectrogram and partial least squares regression
EP2698112B1 (en) Real-time stress determination of an individual
CN107028603B (zh) 使用脉搏触诊信号来检测人体内的糖尿病的装置和方法
CA2631870C (en) Residual-based monitoring of human health
CN102245102B (zh) 用于心冲击图信号的分析的方法和设备
US8798726B2 (en) Method and apparatus for eliminating motion artifacts of bio signal using personalized bio signal pattern
CN104144636B (zh) 处理表示生理节律的信号的方法
KR20170023770A (ko) 진단모델 생성 시스템 및 방법
EP3073400B1 (en) System and method for determining psychological stress of a person
KR20110004899A (ko) 생리적 상태를 결정하기 위한 방법 및 시스템
US20160354024A1 (en) Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
US10765374B2 (en) Methods and apparatus for adaptable presentation of sensor data
Altini et al. Combining wearable accelerometer and physiological data for activity and energy expenditure estimation
JP6951516B2 (ja) 人の歩調を検出する方法及びシステム
US11617545B2 (en) Methods and systems for adaptable presentation of sensor data
Alivar et al. Motion artifact detection and reduction in bed-based ballistocardiogram
CN110022762A (zh) 监测用户心脏活动的方法和系统
CN108511067A (zh) 预警方法及电子设备
John et al. A multimodal data fusion technique for heartbeat detection in wearable IoT sensors
Alivar et al. Motion detection in bed-based ballistocardiogram to quantify sleep quality
JP7067389B2 (ja) 生体状態推定装置
Pinge et al. A comparative study between ECG-based and PPG-based heart rate monitors for stress detection
WO2016057806A1 (en) Weaning readiness indicator, sleeping status recording device, and air providing system applying nonlinear time-frequency analysis
WO2019075520A1 (en) INDICATOR OF RESPIRATORY CONDITION

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151