JP2018202130A - 状態推定装置、情報処理装置、状態推定システム - Google Patents

Abstract

【課題】対象者の状態の推定精度が向上された状態推定装置を提供する。
【解決手段】対象者の状態を推定する状態推定装置２０であって、対象者から心拍に関する信号を取得するセンサとのインタフェースと、信号から心電図のＲ波とＲ波の間隔に相当するＲＲＩ信号を取得するＲＲＩ取得手段と、ＲＲＩ信号を解析して心拍揺らぎ高周波成分と心拍揺らぎ低周波成分を算出する周波数成分検出手段と、高周波成分と前記低周波成分の和、及び、和に対する高周波成分の比を算出する算出手段と、和と比に基づいて対象者の状態を推定する状態推定手段と、を有する。
【選択図】図９

Description

本発明は、状態推定装置、情報処理装置、及び、状態推定システムに関する。

人間の生理的な状態を数値化することができれば、これまで本人や観察者の主観に頼っていた生理的な状態の判断に客観性が得られる。生理的な状態の１つに眠気を挙げることができ、眠気があることが好ましくない状況で対象者が眠くなり何らかの不都合を生じさせることを、眠気を客観的に検出することで抑制する試みがある。眠気を推定する装置を対象者の生理的な状態を推定するという意味で状態推定装置と称することにする。

例えば、心拍間隔が自律神経の活動と関係することに着目し、心拍間隔の変動を測定して眠気を推定する技術がある。心拍間隔の変動時系列データをＲＲＩ（R-R Interval）信号といい、状態推定装置はＲＲＩ信号の高周波成分（ＨＦ）と低周波成分（ＬＦ）を算出する。ＨＦは副交感神経の活動指標であるため対象者がリラックスしていると大きくなり、ＬＦは交感神経の活動指標であるため緊張感が高まると大きくなることが知られている。そこで、ＨＦとＬＦから眠気を判断するための指標値を算出して眠気の大きさを判断することが検討されている（例えば、特許文献１参照。）。特許文献１には、ＨＦ/（ＬＦ＋ＨＦ）と閾値を比較して眠気を判断する状態推定装置が開示されている。

特開2016-120061号公報

しかしながら、ＨＦとＬＦを用いた従来の判断方法では、必ずしも眠気の判断精度が高くないという問題がある。図１、図２を用いて説明する。

図１（ａ）は、ＬＦ/ＨＦと眠気レベルの時間的な推移を示す図である。眠気レベルは１〜５の５段階（値が大きいほど眠気が大きい）であり、被験者が自己申告した値である。眠気レベルは時間と共に増大しているが、ＬＦ/ＨＦの値は１５０秒以降で低下している。したがって、ＬＦ/ＨＦの値に着目するだけでは、被験者の眠気が大きい場合に眠気が大きいことを検出できないおそれがある。

図１（ｂ）はＨＦとＬＦを所定のアルゴリズムに入力して得られる眠気レベルの時間的な推移を示す図である。なお、このアルゴリズムは公開されておらず特許文献１に記載のものとは同じでない。図１（ｂ）においても図１（ａ）の眠気レベルが正しい判断結果である。しかし、図１（ｂ）の眠気レベルと図１（ａ）の眠気レベルを比較すると、誤り率は８５％を超えており、眠気の判断精度が高くないことが分かる。

図２は、ＨＦとＬＦという２つの値にのみ着目することが必ずしも妥当でないことを説明する図の一例である。図２（ａ）〜（ｃ）において横軸はＬＦ，縦軸はＨＦである。図２からは明らかでないが図２はＨＦとＬＦに対する眠気レベル１〜５の散布図である。被験者のＲＲＩ信号から算出されたＨＦとＬＦに対し自己申告による眠気レベル１〜５のいくつかの組が得られている。図２では更に、適切な機械学習により眠気レベル１〜５の識別境界が描画されており、同じ眠気レベルの領域には同じ濃度（実際はカラーなので同じ色）が付されている。濃度が濃いほど眠気レベルが高いことを示す。

図２（ａ）〜（ｃ）はそれぞれ３人の異なる被験者の実験結果を示す。図２（ａ）の被験者にとってエリアＡＲ１は眠気が小さいことを示すが、図２（ｂ）の被験者のエリアＡＲ１は、眠気が大きいことを示している。同様に、図２（ａ）の被験者にとってエリアＡＲ２は眠気が小さいことを示すが、図２（ｃ）の被験者のエリアＡＲ２は、眠気が大きいことを示している。また、図２（ａ）の被験者にとってエリアＡＲ３は眠気が大きいことを示すが、図２（ｃ）の被験者のエリアＡＲ３は、眠気が小さいことが示している。

図２の実験結果からＨＦとＬＦという２つの値に着目しても、汎用性のある識別器１８が得られないことが分かる。換言すると、被験者ごとの学習データを使って学習装置が学習を行えばＨＦとＬＦという２つの値にのみ着目しても眠気を検出することが可能になる可能性があるが、任意のユーザの眠気を判断することは困難になる。

本発明は、上記課題に鑑み、対象者の状態の推定精度が向上された状態推定装置を提供することを目的とする。

本発明は、対象者の状態を推定する状態推定装置であって、前記対象者から心拍に関する信号を取得するセンサとのインタフェースと、前記信号から心電図のＲ波とＲ波の間隔に相当するＲＲＩ信号を取得するＲＲＩ取得手段と、 前記ＲＲＩ信号を解析して心拍揺らぎ高周波成分と心拍揺らぎ低周波成分を算出する周波数成分検出手段と、前記高周波成分と前記低周波成分の和、及び、前記和に対する前記高周波成分の比を算出する算出手段と、前記和と前記比に基づいて前記対象者の状態を推定する状態推定手段と、を有する。

本発明によれば、対象者の状態の推定精度が向上された状態推定装置を提供することができる。

ＬＦ/ＨＦと眠気レベルの時間的な推移、及び、ＨＦとＬＦを所定のアルゴリズムに入力して得られる眠気レベルの一例を示す図である。 ＨＦとＬＦという２つの値にのみ着目することが必ずしも妥当でないことを説明する図の一例である。 状態推定装置の概略的な動作を説明する図の一例である。 状態推定装置が利用されるシーンの一例を示す図である。 学習装置の機能をブロック状に示す機能ブロック図の一例である。 ＲＲＩ信号について説明する図の一例である。 ＲＲＩ信号にＦＦＴが施されて得られた周波数分布スペクトルの一例を示す図である。 学習のモデルの一例であるニューラルネットワークと呼ばれるモデルを示す図である。 単体型の状態推定装置の機能をブロック状に示す機能ブロック図の一例である。 クライアントサーバ型の状態推定システムの機能をブロック状に示す機能ブロック図の一例である。 状態推定装置又は状態推定システムが眠気レベルを推定する手順を示すフローチャート図の一例である。 ＨＦｒ及びＨＦ＋ＬＦと識別器が算出する眠気レベルの対応を説明する図の一例である。 各分析手法の眠気レベルと自己申告の眠気レベルの平均二乗誤差（ＭＳＥ）を示す図である ＨＦｒ及びＨＦ＋ＬＦと、識別器が出力する眠気レベルの関係を三次元のグラフで示す図である。 ＨＦｒ及びＨＦ＋ＬＦと閾値の関係を説明する図の一例である。 状態推定装置又は状態推定システムが眠気の有無を推定する手順を示すフローチャート図の一例である。 ある被験者の午前（ＡＭ）と午後（ＰＭ）のＨＦｒ及びＨＦ＋ＬＦの分布範囲の一例を示す図である。 単体型の状態推定装置の機能をブロック状に示す機能ブロック図の一例である（実施例２）。 ある被験者のＲＲＩレンジごとのＨＦｒとＬＨ＋ＨＦの一例を示す図である。 ＲＲＩ信号とＬＦ、及び、ＲＲＩ信号とＨＦの関係を説明する図の一例である。 状態推定装置が眠気レベルを推定する手順を示すフローチャート図の一例である。 状態推定装置が出力する眠気レベルの精度と従来技術の精度との比較結果を示す図である（実施例２）。 クライアントサーバ型の状態推定システムの機能をブロック状に示す機能ブロック図の一例である（実施例２）。 状態推定装置と指標分布作成サーバの機能をブロック状に示す機能ブロック図の一例である。 指標分布作成サーバが指標分布ＤＢを作成する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、状態推定装置と状態推定装置が行う状態推定方法について図面を参照しながら説明する。

＜状態推定装置の概略＞
図３は、本実施例の状態推定装置の概略的な動作を説明する図の一例である。まず、本出願人はＨＦｒ（＝ＨＦ/（ＨＦ＋ＬＦ））とＨＦ＋ＬＦという指標が眠気レベルと高い相関を示すことを発見した。言葉で表すと、ＨＦとＬＦの和、及び、和に対するＨＦの比が眠気レベルと高い相関を示す。なお、ＨＦは心拍揺らぎ高周波成分であり、ＬＦは心拍揺らぎ低周波成分である。そこで、図示するように、ＨＦｒ及びＨＦ＋ＬＦの組と自己申告された眠気レベルの対応を学習装置が学習することで識別器１８を構築する。

構築された識別器１８は、リアルタイムに入力されたＨＦｒ及びＨＦ＋ＬＦに対し推定される眠気レベル１〜５を出力する。後述するが推定された眠気レベル１〜５は任意の対象者について自己申告の眠気レベルと同程度になる。このようにＨＦｒ及びＨＦ＋ＬＦに着目することで汎化能力が高い（被験者の違いに影響されにくい）識別器１８が得られる。

＜用語について＞
対象者とは状態が推定される者をいい、この状態は対象者の様子に関するものである。例えば、生理的な状態であり、具体的には眠気、ストレス、疲れなどに関する状態が挙げられる。

状態は多段階に評価されてよく、多段階の状態を状態レベルという。本実施例では眠気レベルという用語で説明する。

心拍に関する信号とは、心拍そのものである必要はなく、心拍に相当する又は心拍に変換可能な信号を含む。

＜システム構成例＞
図４は、状態推定装置が利用されるシーンの一例を示す図である。図４（ａ）は単体型の状態推定装置の一例を示している。図４（ａ）において状態推定装置はナビゲーション装置１０の機能の一部として搭載されている。ナビゲーション装置１０には有線又は無線でＲＲＩ（R-R Interval）センサ１１が接続されており、ＲＲＩセンサ１１が運転者の身体（図４では手首）に装着される。ナビゲーション装置１０はＲＲＩ信号を解析してＨＦｒとＨＦ＋ＬＦを算出し、識別器で眠気レベルを推定する。眠気レベルが大きい場合、運転者が眠いと推定されるので、ナビゲーション装置１０は運転者を覚醒させる制御を行う。例えば、スピーカ３１から音楽を出力したり、運転者の嗜好が高い分野のニュースを出力したりする。また、アロマを噴出したり、ステアリングホイール３３を振動させたり、パワーシート３４を駆動したりする。

なお、ナビゲーション装置１０とは、車両の周辺の道路地図をディスプレイに表示すると共に、出発地（第１の地点）から目的地（第２の地点）までの経路を案内する機能等を有する装置である。このような機能の他、音楽や映像を再生したり、テレビ/ラジオを受信したりする機能を有している場合がある。ナビゲーション装置１０は、ナビゲーションに専用の装置として用意される場合と、汎用的な装置にナビゲーションの機能が搭載される場合がある。いずれのタイプの装置においても車両に固定される場合と、車両に脱着可能な場合がある。

状態推定装置はクライアントサーバ型でも実現できる。クライアントサーバ型の状態推定装置を状態推定システムと称する。図４（ｂ）はクライアントサーバ型の状態推定システム１００の一例を示している。車両７にはナビゲーション装置１０が搭載されており、ナビゲーション装置１０がサーバ３０と通信する。図４（ａ）と同様にナビゲーション装置１０にはＲＲＩセンサ１１が接続されており、ＲＲＩセンサ１１が検出したＲＲＩ信号又はＲＲＩ信号から算出されたＨＦｒとＨＦ＋ＬＦをサーバ３０に送信する。サーバ３０はＨＦｒとＨＦ＋ＬＦから識別器で眠気レベルを推定し、眠気レベルを車両７に送信する。車両７は眠気レベルに応じて運転者を覚醒させる制御を行う。

このように、眠ってしまった場合に不都合が多い車両７の運転者の眠気を推定することで適切な制御を行うことができる。一方、図４のような車両７の運転に関する利用シーンは一例に過ぎず、装置の操作、単調作業、会議の出席中、又はデスクワークなどの場合に、状態推定装置が眠気レベルを推定して覚醒のための制御を行うことができる。車両７のようにナビゲーション装置１０を設置する空間的な余裕がない場合、スマートフォンやウェアラブルデバイスなどの携帯端末が利用されればよい。この場合、携帯端末にはＲＲＩセンサ１１が接続され、ナビゲーション装置１０が車載された場合と同様に眠気レベルを推定する。携帯端末が用いられる場合も単体型又はクライアントサーバ型のいずれが採用されてもよい。また、クライアントサーバ型の場合に、ＲＲＩ信号をサーバ３０に送信するかＲＲＩ信号から算出されたＨＦｒとＨＦ＋ＬＦをサーバ３０に送信するかは、携帯端末の処理負荷及び通信速度等を考慮して決定される。なお、いうまでもなく携帯端末がナビゲーション装置として利用される場合がある。

＜学習フェーズのシステム構成例＞
続いて、図５を用いて、学習装置５０が識別器１８を構築する学習フェーズのシステム構成について説明する。学習フェーズとは、機械学習における識別器１８を構築するフェーズと、識別器１８で状態を識別する識別フェーズのうち前者を言う。

図５は、学習装置５０の機能をブロック状に示す機能ブロック図の一例である。なお、学習装置５０は、一般的な情報処理装置を実体としており、公知のハードウェア構成を有している。すなわち、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Hard Disk Drive）、キーボード・マウス等の入力部、ディスプレイに画面を表示するディスプレイＩ/Ｆ、及び、ＵＳＢ Ｉ/Ｆなどの周辺機器と接続するためＩ/Ｆ等を有している。

図５に各ブロックとして示す機能は、学習装置５０が有するハードウェアリソースのいずれかが、ＨＤＤからＲＡＭに展開されたプログラムに従ったＣＰＵからの命令により動作することで実現される機能又は手段である。学習装置５０が実行するプログラムは、プログラム配信用のサーバから配信されるか又は記憶媒体に記憶された状態で配布される。

学習装置５０は、センサＩ/Ｆ１２、ＲＲＩ信号取得部１３、周波数解析部１４ａ、指標算出部１４ｂ、正規化部９、眠気レベル受付部１５、学習データ生成部１６、学習部１７、及び、識別器１８を有している。識別器１８は学習部１７によって構築されるまでは存在しない。

センサＩ/Ｆ１２はＲＲＩセンサ１１と接続されている。ＲＲＩセンサ１１は、心拍の変動時系列データであるＲＲＩ信号を検出するセンサであり、一般に心電図を検出するセンサである。被験者の心電図を直接、検出する場合、ＲＲＩセンサ１１は胸部に密着された電極を有し、心臓が収縮する時に心臓内に起こる電気の分布の変化によって引き起こされる体表面の電位を検出する。ＲＲＩ信号の一例を図６に示す。

なお、識別フェーズで状態推定装置が車載される場合、ＲＲＩセンサは装着しやすいことが好ましい。このようなＲＲＩセンサ１１については後述する。

センサＩ/Ｆ１２はＲＲＩセンサ１１からデータを取得するインタフェースである。例えば、時系列にＲＲＩセンサ１１から送信される電気信号を所定のサンプリング周期で取得する。電気信号がアナログ信号の場合はＡ/Ｄ変換を行う。センサＩ/Ｆ１２は有線又は無線のいずれでＲＲＩセンサ１１と通信してもよい。有線通信の場合は例えばＵＳＢケーブルなどで接続され、無線通信の場合はBluetooth（登録商標）又はWi-Fi（登録商標）などで接続される。

ＲＲＩ信号取得部１３は、センサＩ/Ｆ１２が取得した電気信号からＲＲＩ信号を取得する。すなわち、電気信号のピーク（Ｒ波）を検出し、時間に対しＲ波とＲ波の間隔を対応付けることでＲＲＩ信号を生成する。

周波数解析部１４ａは、ＲＲＩ信号にＦＦＴ（Fast Fourier Transform）を施して周波数分布スペクトルを生成する。フーリエ変換とは、信号を正弦波の重ねあわせで表現する手法である。ある周波数の正弦波がどのくらい信号に含まれているかを検出できる。なお、フーリエ変換が施されるＲＲＩ信号の期間は特に規定されていないので、数十秒など適切な値であるとする。ＲＲＩ信号から得られる周波数分布スペクトルを図７に示す。

指標算出部１４ｂは、周波数分布スペクトルからＨＦとＬＦを算出し、眠気レベルの指標となる上記のＨＦｒとＨＦ＋ＬＦを算出する。正規化部９は、ＨＦｒとＨＦ＋ＬＦをそれぞれ０〜１の範囲に正規化する。ＨＦｒはすでに０〜１の値になっているため正規化は不要であるが正規化してもよい。ＨＦ＋ＬＦは、ＨＦ＋ＬＦが取り得る値の上限値を１、下限値が０となるように０〜１の値に正規化する。

眠気レベル受付部１５は、被験者から教師信号となる眠気レベル１〜５を受け付ける。例えば、キーボード、タッチパネル又は音声入力装置などにより１〜５の数値の入力を受け付ければよい。

学習データ生成部１６は、眠気レベルの指標となる上記のＨＦｒ及びＨＦ＋ＬＦと被験者が入力した眠気レベルとを対応付けて学習データを生成する。これは、眠気レベルの指標となる上記のＨＦｒ及びＨＦ＋ＬＦの算出タイミングと、眠気レベル１〜５が入力されるタイミングが一致するとは限らないためである。ＨＦｒとＨＦ＋ＬＦは測定値なので比較的短い周期で入力されるのに対し、眠気レベルを被験者が短い周期で入力することは困難である（眠くなりにくくなってしまう）。そこで、学習データ生成部１６は、例えば時系列に入力された眠気レベルで眠気レベルを補間して、補間結果を用いて眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦと眠気レベルを対応付ける。

学習部１７は、眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦを入力値、眠気レベルを教師信号として、例えばニューラルネットワークにより識別器１８を構築する。学習方法の詳細を図８にて説明する。構築された識別器１８は、任意の被験者のＨＦｒとＨＦ＋ＬＦが入力されると、眠気レベル１〜５を出力（推定）することができる。

＜ＲＲＩ信号について＞
図６はＲＲＩ信号について説明する図の一例である。図６（ａ）はＲＲＩセンサ１１が検出する電気信号（心電図）を模式的に示す。電気信号には、Ｒ波のピークを有するＱＲＳ波が観測される。ＱＲＳ波は、心室全体を急速に興奮させるときに発生するものとされる。また、その前方のＰ波は、洞房結節に興奮が発生し、心房が収縮したときの波とされる。更に、ＱＲＳ波の後方に現れるＴ波は、心室の興奮か回復するときに発生する波とされる。

図６（ｂ）に示すように、電気信号には拍動に応じてＲ波が繰り返し現れる。安静時には心臓がゆっくり拍動するのでＲ波とＲ波の間隔が長くなり、興奮時には心臓が速く拍動するのでＲ波とＲ波の間隔が短くなる。

図６（ｃ）はＲＲＩ信号の一例を示す。図６（ｂ）のＲ波とＲ波の間隔を１つの点として時間に対しこの点が描画されている。図６（ｃ）の横軸の時間は図６（ｂ）の横軸の時間と同じである。Ｒ波とＲ波の間隔は一定でないので図６（ｂ）から生成された生のＲＲＩ信号はサンプル点が等間隔ではない。したがって、そのままでは信号処理するには好ましくない。そこで、ＲＲＩ信号取得部１３は、ＲＲＩ信号を等しい時間間隔のデータに変換する。このため、ＲＲＩ信号取得部１３は、生のＲＲＩ信号に線形補間又はスプライン補間を施し、連続したデータに変換する。そして、例えば、０．５秒や１秒などの等間隔で再サンプリングすることでＲＲＩ信号を生成する。

＜ＨＦとＬＦの算出＞
図７はＲＲＩ信号にＦＦＴが施されて得られた周波数分布スペクトルの一例を示す。横軸は周波数〔Ｈｚ〕であり、縦軸はパワー〔msec^２/Hz〕である。ＨＦはこのうち高い周波数成分をいい心拍揺らぎ高周波成分と称される。ＬＦは低い周波数成分をいい心拍揺らぎ低周波成分と称される。ＨＦ、ＬＦそれぞれの範囲に決まった定義はない。本実施例では一例として以下のように定義する。
ＨＦ：周波数０．１５〜０．４０〔Ｈｚ〕
ＬＦ：周波数０．０４〜０．１５〔Ｈｚ〕
具体的にはこれらの範囲で周波数分布スペクトルを積分することで、ＨＦ，ＬＦが得られる。ＬＦは交感神経の緊張度の度合いを表しており、ＬＦが大きいほど緊張度が増していることになる。一方、ＨＦは副交感神経の緊張度の度合いを表しており、ＨＦが大きいほどリラックスしていることを意味する。

＜ニューラルネットワークによる学習について＞
図８は学習モデルの一例であるニューラルネットワークと呼ばれるモデルを示す。図８（ａ）は学習フェーズのニューラルネットワークの動作を示す。入力層５０１には２つのノードｎが用意されており、それぞれに眠気レベルの指標となるＨＦｒとＨＦ＋ＬＦが入力される。ＨＦ＋ＬＦは０〜１の値に正規化される（ＨＦｒはすでに０〜１以下の値になっている）。中間層５０２には２つのノードｎが用意されており、出力層５０３には１つのノードｎが用意されている。各ノードｎの結びつきの大きさを重みｗといい、入力されたＨＦｒとＨＦ＋ＬＦは入力層５０１と中間層５０２の間で重みｗに応じた特徴量に変換され、更に、中間層５０２と出力層５０３の間で重みｗに応じた特徴量に変換される。出力層５０３が出力する特徴量が眠気レベル１〜５である。

学習フェーズにおいて出力層５０３のノードｎには、教師信号である眠気レベルが設定される。例えば、図８（ａ）では被験者が入力した眠気レベルが「２」である。出力層５０３が出力した眠気レベルが３である場合、「３−２」が誤差となる。出力層５０３のノードｎの値と教師信号の差は、誤差逆伝播法に基づき各ノード間の重みｗに伝播され更新される。このように、教師信号と算出された眠気レベルの差が重みｗに反映されることが繰り返されることで正しい眠気レベルの算出に適したノード間の重みｗが徐々に得られる。

図８（ｂ）は識別フェーズのニューラルネットワークを示す。識別フェーズのニューラルネットワークは入力されたＨＦｒとＨＦ＋ＬＦに対し１〜５の眠気レベルを出力する。

なお、入力層５０１のノードｎの数は、眠気レベルの指標がＨＦｒとＨＦ＋ＬＦの２つなので２個であり、出力層５０３のノードｎの数は眠気レベルを出力すればよいので１つである。中間層５０２のノードの数は２に限られず１つ又は３つ以上でもよい。また、中間層５０２の数は適宜設計されるものであり、２つ以上でもよい。

＜識別フェーズのシステム構成例＞
識別器１８が構築されたので、状態推定装置２０は識別器１８を用いてリアルタイムに眠気レベルを算出することができる。図９は、単体型の状態推定装置２０の機能をブロック状に示す機能ブロック図の一例である。状態推定装置２０が車載される場合、状態推定装置２０は例えばナビゲーション装置１０（車載装置）である。状態推定装置２０は情報処理装置の機能を有しており、情報処理装置の公知のハードウェア構成を有している。すなわち、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Hard Disk Drive）、タッチパネル・ハードキー等の入力部、ディスプレイに画面を表示するディスプレイＩ/Ｆ、通信装置、及び、ＵＳＢ Ｉ/Ｆなどの周辺機器と接続するためＩ/Ｆ等を有している。

図９に各ブロックとして示す機能は、状態推定装置２０が有するハードウェアリソースのいずれかが、ＨＤＤからＲＡＭに展開されたプログラムに従ったＣＰＵからの命令により動作することで実現される機能又は手段である。

状態推定装置２０は、センサＩ/Ｆ１２、ＲＲＩ信号取得部１３、周波数解析部１４ａ、指標算出部１４ｂ、識別器１８、及び、覚醒制御部２４を有している。これらのうち、センサＩ/Ｆ１２、ＲＲＩ信号取得部１３、周波数解析部１４ａ、指標算出部１４ｂ、及び、識別器１８については図５と同様である。

ここで、対象者としての運転者がＲＲＩセンサ１１を装着することを考慮するとＲＲＩセンサは装着容易であることが好ましい。例えば、ＲＲＩセンサ１１は心拍の検出センサで代用することができる。心電図を検出するＲＲＩセンサと比べて心拍の検出センサは対象者が装着しやすい。心拍を検出する形態のＲＲＩセンサ１１としては指先の細動脈から心拍を検出する指尖容積脈波センサがある。このＲＲＩセンサ１１の場合、指先にＲＲＩセンサ１１が装着できるため対象者の煩わしさを低減できる。指先に限らず手首に装着されて脈波を検出するＲＲＩセンサ１１も知られており、このＲＲＩセンサ１１の場合、リストバンド状（腕時計状）のＲＲＩセンサ１１を対象者が装着する。この場合も対象者の煩わしさを低減できる。

ＲＲＩセンサ１１の他の形態として、対象者が着座する席に配置されるシート形状のものもある。このようにＲＲＩセンサ１１は運転者のＲＲＩ信号を検出できればどのような形態であってもよい。すなわちＲＲＩセンサ１１は心電図のＲ波とＲ波の間隔に相当する信号を検出できるセンサであればよい。

また、学習フェーズにおいても識別フェーズと同じ種類のＲＲＩセンサ１１が用いられてよい。学習フェーズのＲＲＩ信号の信頼性が低下するおそれがあるが、学習フェーズと識別フェーズで同じ種類のＲＲＩセンサ１１が使用されることで、ＲＲＩセンサ１１の違いに起因した推定される眠気レベルの精度低下を抑制できる可能性がある。

覚醒制御部２４は、識別器１８が出力した眠気レベル１〜５に応じて、音声出力、アロマ噴出、ステアリングホイールの振動制御、及び、パワーシートの駆動制御の少なくとも１つ以上を行う。眠気レベルに応じて例えば以下のような制御を行う。
眠気レベル１…何もしない
眠気レベル２…スピーカ３１から注意喚起する音、又は、運転者の嗜好が強いニュースを出力する
眠気レベル３…アロマ噴出器３２から覚醒作用があるアロマを噴出する
眠気レベル４…ステアリングホイール３３を振動させる
眠気レベル５…パワーシート３４を前後に駆動したりリクラインニング角度を大小に変化させたりする
適宜、複数の制御を組み合わせてもよいし、運転者が眠気レベルと覚醒制御の対応を設定しておいてもよい。また、眠気レベルが大きい場合には覚醒制御部２４が路肩などに車両７を停止させてもよい。

また、覚醒制御部２４は、眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦそのものと閾値を比較して、眠気の有無を判断することもできる。詳細は図１５にて説明する。

<<クライアントサーバ型の状態推定システム>>
図１０は、クライアントサーバ型の状態推定システム１００の機能をブロック状に示す機能ブロック図の一例である。図１０の説明では、主に図９との相違を説明する。図１０ではナビゲーション装置１０がセンサＩ/Ｆ１２，ＲＲＩ信号取得部１３、信号送信部１９、覚醒制御部２４、及び、眠気レベル受信部２３を有し、サーバ３０が信号受信部２１、周波数解析部１４ａ、指標算出部１４ｂ、識別器１８、及び、眠気レベル送信部２２を有している。

信号送信部１９はＲＲＩ信号をリアルタイムにサーバ３０に送信する。眠気レベル受信部２３はサーバ３０から眠気レベルを受信する。これにより図９と同様にナビゲーション装置１０は眠気レベルに応じた覚醒制御を行うことができる。

サーバ３０の信号受信部２１はＲＲＩ信号を受信し、周波数解析部１４ａに送出する。周波数解析部１４ａは周波数分布スペクトルを生成し、指標算出部１４ｂは周波数分布スペクトルから眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦを抽出して識別器１８に送出する。識別器１８はＨＦｒとＨＦ＋ＬＦから眠気レベルを算出し眠気レベル送信部２２に送出する。眠気レベル送信部２２は眠気レベルをナビゲーション装置１０に送信する。

クライアントサーバ型において覚醒制御部２４がＨＦｒとＨＦ＋ＬＦに基づいて眠気の有無を判断する際は、眠気レベル送信部２２が眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦをナビゲーション装置１０に送信する。

このように、通信による遅延が生じるとしてもクライアントサーバ型でもほぼリアルタイムに眠気レベルを算出できる。なお、ナビゲーション装置１０がＨＦｒとＨＦ＋ＬＦの算出までを行ってＨＦｒとＨＦ＋ＬＦをサーバ３０に送信してもよい。あるいは、ナビゲーション装置１０はセンサＩ/Ｆ１２が取得した電気信号をサーバ３０に送信してもよい。ナビゲーション装置１０とサーバ３０がどのように処理を分担するかはそれぞれの処理負荷を考慮して決定される。

＜動作手順＞
図１１は、状態推定装置２０又は状態推定システム１００が眠気レベルを推定する手順を示すフローチャート図の一例である。図１１の処理は例えば対象者がＲＲＩセンサ１１を装着して眠気レベルの推定が開始されることでスタートする。

まず、ＲＲＩ信号取得部１３はセンサＩ/Ｆ１２を介してＲＲＩセンサ１１から取得した電気信号からＲＲＩ信号を取得する（Ｓ１０）。ＲＲＩ信号はＲ波が検出されるたびにデータ点が１つ増えていく。

次に、ＲＲＩ信号取得部１３は外れ値を除去する（Ｓ２０）。例えば、前方２０個のサンプルデータの中央値を決定し、この中央値から±１０％を超えるサンプルデータを除去する。これにより、ＨＦ、ＬＦの急激な変化を抑制できる。

次に、ＲＲＩ信号取得部１３はＲＲＩ信号を補間しデータ間隔を等間隔にする（Ｓ３０）。このデータ間隔はＲＲＩ信号の揺らぎ周波数0.05Hz~0.4Hz（周期2.5秒〜20秒）に対して十分小さい値で、かつ、ＦＦＴ（高速フーリエ変換）に好ましい値である。本実施例では、例えばデータ間隔を２５．６〔ms〕に揃える。

次に、周波数解析部１４ａが所定期間のＲＲＩ信号にＦＦＴを施し周波数分布スペクトルを算出する（Ｓ４０）。この所定期間の適切な値には諸説あるが、例えば数十秒から数分などである。本実施例では、２０秒間を１つのウィンドウとして、１０秒ごとにＦＦＴを行う。所定期間が経過した後は過去の所定期間のＲＲＩ信号を利用できるので定期的に周波数分布スペクトルが得られる。

次に、指標算出部１４ｂは周波数分布スペクトルからＨＦ，ＬＦを算出する（Ｓ５０）。

指標算出部１４ｂは算出したＨＦ、ＬＦの移動平均を算出する（Ｓ６０）。周波数分布スペクトルが１０秒ごとに得られるので、１０秒ごとに過去３００秒間のＨＦ、ＬＦの移動平均を算出する。３００秒としたのは従来から採用されている時間だからであり、３００秒に限るものではない。

次に、正規化部９は、ＨＦ、ＬＦが０〜１の値になるように正規化する（Ｓ７０）。例えば、３００秒間のＨＦ，ＬＦを使ってもよいし、ＨＦ，ＬＦが取り得る値（例えば、７００から１２００）を使って正規化してもよい。なお、平均が０、分散が１になるように正規化してもよい。この場合、正規化部９は、ＨＦ，ＬＦの平均と標準偏差をそれぞれ求め、各ＨＦ、各ＬＦをそれぞれの標準偏差で割る。

次に、指標算出部１４ｂは正規化したＨＦ，ＬＦからＨＦｒ，ＨＦ＋ＬＦを算出する（Ｓ８０）。ＨＦｒ，ＨＦ＋ＬＦを算出してから正規化してもよい。

そして、識別器１８はＨＦｒ，ＨＦ＋ＬＦに対し学習結果を利用して眠気レベル１〜５を出力する（Ｓ９０）。整数値でない場合は例えば小数点第１位を四捨五入する。

覚醒制御部２４は眠気レベルに応じた制御を行う（Ｓ１００）。以上が１回のサイクルの処理であり、状態推定装置２０又は状態推定システム１００は図１１の処理を繰り返す。

＜実験結果＞
以下、図１２〜図１４を用いて、ＨＦｒ及びＨＦ＋ＬＦの機械学習により構築された識別器１８の効果を説明する。図１２は、ＨＦｒ及びＨＦ＋ＬＦと、識別器１８が算出する眠気レベルの対応を説明する図の一例である。なお、実験は１６人の被験者に対して行われたが、図１２はそのうちの一人の実験結果を示す。

図１２（ａ）は時間に対するＨＦｒのグラフとＨＦ＋ＬＦのグラフを示す。ＨＦｒ、ＨＦ＋ＬＦは正規化されている。図１２（ｂ）は被験者が自己申告した眠気レベルのグラフ２０１、識別器１８が算出した眠気レベルのグラフ２０２、及び、ＨＦｒ及びＨＦ＋ＬＦを独立変数として眠気レベルを従属変数とする重回帰分析により得られた眠気レベルのグラフ２０３を示す。
（１）図１２（ａ）と自己申告された眠気レベルのグラフ２０１を比較すると、眠気が大きくなるとＨＦｒは低下し、ＨＦ＋ＬＦは増加している。この傾向は、被験者１６人のうち、１５人で確認された。
（２）図１２（ｂ）の自己申告された眠気レベルのグラフ２０１と識別器１８が算出した眠気レベルのグラフ２０２を比較すると、一致の程度が高いことが分かる。重回帰分析により得られた眠気レベルのグラフ２０３よりも明らかによく一致している。

重回帰分析について簡単に説明する。ｙを予測値（各分析手法の推定値）、ａを回帰定数、ｂを偏回帰定数、ｘ１をＨＦｒ、ｘ２をＨＦ＋ＬＦとし、ｙをａ，ｂ，ｘ１，ｘ２を用いて表す。
ｙ ＝a+b1x1+b2x2
ｙに自己申告の眠気レベル、ｘ１にＨＦｒ、ｘ２にＨＦ＋ＬＦを入力し最小二乗法を適用することで、ａ，ｂ１、ｂ２が得られる。

ちなみ単回帰分析は以下のように、独立変数が１つの場合を言う。同様に最小二乗法でａ，ｂを求めることができる。
ｙ ＝a+bx
図１３は、各分析手法の眠気レベルと自己申告の眠気レベルの平均二乗誤差（ＭＳＥ）を示す図である。図１３は実験条件が同じ１２名分の平均二乗誤差を示す。平均二乗誤差は、下式のように予測値と実際の値の差の二乗の合計をデータ数で割ったものである。

ｎはデータ数、ｓｉは自己申告の眠気レベル、ｙｉは予測値（各分析手法による推定値）である。

図１３の分析手法は以下のとおりである。
ＳＲ１：ＨＦ＋ＬＦを独立変数、自己申告の眠気レベルを従属変数とした単回帰分析により予測値ｙｉを算出した場合の平均二乗誤差
ＳＲ２：ＨＦｒを独立変数、自己申告の眠気レベルを従属変数とした単回帰分析により予測値ｙｉを算出した場合の平均二乗誤差
ＭＲ：ＨＦ＋ＬＦとＨＦｒを独立変数、自己申告の眠気レベルを従属変数とした重回帰分析により予測値ｙｉを算出した場合の平均二乗誤差
Ｔｒａｉｎ：本実施例の識別器１８が算出した眠気レベルと、自己申告の眠気レベルの平均二乗誤差
図１３によれば１２人全ての被験者において、Ｔｒａｉｎの平均二乗誤差が他の分析手法の平均二乗誤差よりも小さいことが確認できる。図１３では数値までは確認できないが、実際の数値では、Ｔｒａｉｎの平均二乗誤差は他の分析手法の平均二乗誤差よりも１桁小さい。１２人全ての被験者で同じように識別器１８が算出した眠気レベルの精度が高いことが分かるので、本実施例の識別器１８は汎化能力が高い（対象者の違いに影響されにくい）ことが分かる。

したがって、図１３の平均二乗誤差からも眠気レベルの指標としてＨＦｒ及びＨＦ＋ＬＦを使用すること、及び、構築された識別器１８が有効であることが確認できる。

図１４は、ＨＦｒ及びＨＦ＋ＬＦと、識別器１８が出力する眠気レベルの関係を三次元のグラフで示す図である。図１４のｘ軸はＨＦｒ、ｙ軸はＨＦ＋ＬＦ、ｚ軸は識別器１８が出力した眠気レベルである。

図１４（ａ）は任意の１被験者のＲＲＩ信号から算出されたＨＦｒとＨＦ＋ＬＦで学習した識別器１８の眠気レベルを示し、図１４（ｂ）は全被験者のＲＲＩ信号から算出されたＨＦｒとＨＦ＋ＬＦで学習した識別器１８の眠気レベルを示す。なお、図１４ではＲＲＩ信号から算出されたＨＦｒとＨＦ＋ＬＦにより算出される眠気レベルと共に、ＨＦｒとＨＦ＋ＬＦのある範囲に対し識別器１８で算出される眠気レベルが描画されている。このようにして描画される面をtrainsurfaceという。

図１４（ａ）（ｂ）をｘｚ面から見ると、眠気レベルが増大する際はＨＦｒが低下する傾向にあることが分かる。ｙｚ面から見ると、眠気レベルが増大する際はＨＦ＋ＬＦが増大する傾向にあることが分かる。図１４（ａ）は任意の被験者の傾向であり、図１４（ｂ）は全被験者の傾向であるため、本実施例の識別器１８は汎化能力が高い（対象者の違いに影響されにくい）ことが分かる。

＜ＨＦｒとＨＦ＋ＬＦに着目した眠気判断＞
上記のように、眠気レベルの指標であるＨＦｒとＨＦ＋ＬＦが識別器１８に入力されることで、精度が高い眠気レベルを出力できる。しかしながら、図１２（ａ）及び図１４にて説明したように、本実施例によれば、眠気レベルが増大する際はＨＦｒが低下する傾向にあり、かつ、ＨＦ＋ＬＦが増大する傾向にあるという知見も得られた。したがって、この知見を利用して眠気の有無を判断することができる。

この場合、覚醒制御部２４は指標算出部１４ｂからＨＦｒとＨＦ＋ＬＦを取得して閾値と比較して眠気の有無を判断する。

図１５は、ＨＦｒ及びＨＦ＋ＬＦと閾値の関係を説明する図の一例である。ＨＦ＋ＬＦは時刻ｔ１に第１閾値を超えており、ＨＦｒは時刻ｔ２に第２閾値を下回っている。覚醒制御部２４は、ＨＦ＋ＬＦが第１閾値を超えるか、又は、ＨＦｒが第２閾値を下回るか、の少なくとも一方が満たされる場合、対象者に眠気があると判断する。本実施例では、より精度よく判断するためこの両方が満たされた場合に対象者に眠気があると判断する。

なお、第１閾値と第２閾値は、自己申告の眠気レベルが一定以上（例えば２又は３など）になるＨＦｒ及びＨＦ＋ＬＦとして決定される。対象者がこの眠気レベルを設定してもよい。

また、図１５では眠気の有無だけが判断されているが、ＨＦ＋ＬＦに対する第１閾値が複数個設定され、ＨＦｒに対する第２閾値が複数個設定されれば、覚醒制御部２４は多段階に眠気を判断すること（眠気レベルを判断すること）ができる。

＜動作手順＞
図１６は、状態推定装置２０又は状態推定システム１００が眠気の有無を推定する手順を示すフローチャート図の一例である。図１６の処理は例えば対象者がＲＲＩセンサ１１を装着して眠気レベルの推定が開始されることでスタートする。なお、図１６の説明では主に図１１との相違を説明する。ステップＳ１０〜Ｓ８０の処理は図１１と同様でよい。

ステップＳ８０に続いて、覚醒制御部２４はＨＦ＋ＬＦが第１閾値を超え、かつ、ＨＦｒが第２閾値を下回ったかどうかを判断する（Ｓ９５）。

ステップＳ９５の判断がＹｅｓの場合、覚醒制御部２４は覚醒を促す制御を行う（Ｓ１００）。すなわち、スピーカ３１から音声出力、アロマの噴出、ステアリングホイール３３の振動、又は、パワーシート３４の制御の１つ以上を行う。

＜まとめ＞
以上説明したように、本実施例の状態推定装置２０又は状態推定システム１００は、ＨＦｒ及びＨＦ＋ＬＦを指標とすることで眠気の有無を推定することができる。また、ＨＦｒ及びＨＦ＋ＬＦと自己申告の眠気レベルの対応を機械学習することで、汎化能力が高い識別器１８が得られ、任意の対象者の眠気レベルを精度よく推定できる。

実施例１ではＨＦｒ及びＨＦ＋ＬＦを識別器１８に入力するか、又は、ＨＦｒ及びＨＦ＋ＬＦに着目することで眠気レベルを推定できると説明した。本実施例では、このＨＦｒ及びＨＦ＋ＬＦのより適切な正規化方法について説明する。

本願の発明者は被験者が安静状態であってもＨＦｒ及びＨＦ＋ＬＦの分布範囲（ＨＦ、ＬＦの分布範囲）が変動することを突き止めた。一例としては時間帯により数割程度、ＨＦｒ及びＨＦ＋ＬＦの分布範囲が移動する。

図１７は、ある被験者の午前（ＡＭ）と午後（ＰＭ）のＨＦｒ及びＨＦ＋ＬＦの分布範囲の一例を示す。ＨＦｒの分布範囲はそれほど大きくは違わないが、ＨＦ＋ＬＦの分布範囲は、午後の方が午前よりも小さい方に移動している。実施例１で説明したように、ＨＦｒ及びＨＦ＋ＬＦは絶対値ではなく正規化された値が使用される。このことは、分布範囲によって正規化後の値が一定にはならないことを意味する。例えば、ＨＦｒ及びＨＦ＋ＬＦの絶対値が１００、２００であった場合、ある分布範囲でＨＦｒとＨＦ＋ＬＦが正規化されると０．３，０．６となるが、別の分布範囲で正規化されると０．３、０．５など異なる値になる（これらの値はあくまで説明のための値である）。正規化後の値が識別器１８に入力されるため、分布範囲が変わることは識別器１８を再構築（又は、キャリブレーション）するべきと考えられるが、従来は分布範囲が考慮されていなかったため、眠気の推定精度が低下したと考えられる。

なお、ＨＦｒ及びＨＦ＋ＬＦの分布範囲は再現性が低く、同じ被験者の同じ時間帯のＲＲＩ信号でも同じ分布範囲にはならない。このことはＨＦｒ及びＨＦ＋ＬＦの分布範囲は知られていない要因の影響を受けていると考えられ、例えば、睡眠時間、食事、ストレスなど、その時の体調や精神状態などに影響されていると推測される。しかしながら一方で、同じ被験者の同じ時間帯の分布範囲は別の被験者の同じ時間帯の分布範囲よりも類似性が高いと推測される。

そこで、本実施例では、予めＨＦｒ及びＨＦ＋ＬＦのいくつか異なる分布範囲を用意しておき、その中から分布範囲を選択する状態推定装置２０について説明する。また、選択のキーとしてＲＲＩ信号を使用する。これは、後述するようにＲＲＩ信号とＬＦ、ＲＲＩ信号とＨＦには相関性が認められたためである。

＜識別フェーズのシステム構成例＞
図１８は、本実施例における単体型の状態推定装置２０の機能をブロック状に示す機能ブロック図の一例である。なお、図１８の説明では、図９において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の状態推定装置２０は新たに分布選択部４１と指標分布ＤＢ４２を有する。まず指標分布ＤＢ４２について説明する。

表１は指標分布ＤＢ４２に記憶されている情報を模式的に示す。指標分布ＤＢ４２にはＲＲＩレンジに対応付けてＨＦｒとＬＦ＋ＨＦの分布データが設定されている。ＲＲＩレンジとは、ＲＲＩ信号が取り得る値をいくつかのグループに区分したＲＲＩの範囲（レンジ）である。ＨＦｒとＬＦ＋ＨＦの分布データは、ＲＲＩレンジのＲＲＩ信号が測定された際にこのＲＲＩ信号で算出されたＨＦｒとＬＦ＋ＨＦである。表１では、分布データ１〜５で示されているが実際の指標分布ＤＢ４２にはＨＦｒとＬＦ＋ＨＦの値が組になって登録されている。ＨＦｒとＬＦ＋ＨＦではなく、ＬＦとＨＦの値が組になって登録されていてもよい。各ＲＲＩレンジの具体例については図１９にて説明する。

表１ではＲＲＩレンジが１００単位に区切られているが、ＲＲＩレンジは５０単位や２００単位など任意に区分されてよい。ＲＲＩ信号が取り得る値（７００〜１１９９）が少なくとも２つ以上に区分されればよい。また、各ＲＲＩレンジは均等に区分されていなくてよい。例えば、ＲＲＩ信号が小さい部分と大きい部分では大きな単位（例えば２００）で区分し、ＲＲＩ信号が中くらいの部分では小さな単位（例えば５０）で区分する。

図１８に戻って説明する。分布選択部４１にはＲＲＩ信号取得部１３からＲＲＩ信号が入力される。分布選択部４１はＲＲＩ信号取得部１３から入力されたＲＲＩ信号が属するＲＲＩレンジに対応付けられた分布データを指標分布ＤＢ４２から読み出す。そして、この分布データを正規化部９に送出する。

一方、指標算出部１４ｂは実施例１と同様にＨＦｒとＬＦ＋ＨＦを正規化部９に送出する。正規化部９は指標算出部１４ｂが送出したＨＦｒとＬＦ＋ＨＦを、分布選択部４１が選択した分布データを用いて正規化する。正規化部９はこのようにＲＲＩレンジに対応付けられた分布データで正規化されたＨＦｒとＬＦ＋ＨＦを識別器１８に入力する。

＜ＲＲＩレンジとＨＦｒとＬＨ＋ＨＦの関係の一例＞
図１９はある被験者のＲＲＩレンジごとのＨＦｒとＬＨ＋ＨＦの一例を示す図である。図１９（ａ）は全てのＨＦｒとＬＨ＋ＨＦの分布範囲（ＲＲＩレンジに区分されていない分布範囲）を示す。ＲＲＩ信号の取り得る範囲はおよそ７００から１２００とされているため、図１９（ａ）は７００から１２００のＨＦｒとＬＨ＋ＨＦの分布範囲を示す。ただし、ＲＲＩ信号の下限と上限は図示するものに限られない。

図１９（ｂ）〜図１９（ｆ）は各ＲＲＩレンジのＨＦｒとＬＨ＋ＨＦの分布範囲を示す。図１９（ｂ）のＲＲＩレンジは７００〜７９９、図１９（ｃ）のＲＲＩレンジは８００〜８９９，図１９（ｄ）のＲＲＩレンジは９００〜９９９，図１９（ｅ）のＲＲＩレンジは１０００〜１０９９、図１９（ｆ）のＲＲＩレンジは１１００〜１１９９である。このように、同じ一人の被験者でもＲＲＩレンジによってＨＦｒとＬＦ＋ＨＦの分布範囲は異なることが分かる。換言すると、被験者から測定されたＲＲＩ信号が属するＲＲＩレンジに対応するＨＦｒとＬＦ＋ＨＦの分布範囲を選択することで、正規化したＨＦｒとＬＦ＋ＨＦが被験者のＨＦｒとＬＦ＋ＨＦをより適切に表すことが期待できる。

図２０は、ＲＲＩ信号とＬＦ、及び、ＲＲＩ信号とＨＦの関係を説明する図の一例である。図１９に示したＨＦｒとＨＦ＋ＬＦの分布範囲から、ＲＲＩ信号とＬＦ、及び、ＲＲＩ信号とＨＦには相関があることが予測される。本願の発明者はこのことを検証するため、ＲＲＩ信号とＬＦ及びＨＦの相関を求めた。図２０（ａ）はＲＲＩ信号とＬＦの回帰直線３０１，３０２を示し、図２０（ｂ）はＲＲＩ信号とＨＦの回帰直線３０３、３０４を示す。図２０（ａ）と図２０（ｂ）で被験者は同じである。

図２０（ａ）（ｂ）ではそれぞれ午前のＲＲＩ信号と午後のＲＲＩ信号で別々の回帰直線を示す。図２０（ａ）（ｂ）のいずれにおいても、午前と午後でＬＦとＨＦの分布範囲が異なることが分かる。そして、図２０（ａ）によれば、ＲＲＩ信号と午前のＬＦの散布図がその回帰直線３０２にほぼ重畳しており、ＲＲＩ信号と午後のＬＦの散布図がその回帰直線３０１にほぼ重畳していることが読み取れる。このことは、午後又は午前のＲＲＩ信号があれば、予め求めてある回帰直線に代入することで、ＬＦを算出することができることを意味している。

図２０（ｂ）によれば、ＲＲＩ信号と午前のＨＦの散布図がその回帰直線３０４にほぼ重畳しており、ＲＲＩ信号と午後のＨＦの散布図がその回帰直線３０３にほぼ重畳していることが読み取れる。したがって、午後又は午前のＲＲＩ信号があれば、予め求めてある回帰直線に代入することで、ＨＦを算出することができる。

同一人に関しては、回帰直線３０１〜３０４が類似する状況（時間帯、曜日など）が特定されれば、同一の被験者のＲＲＩ信号とＨＦ又はＬＦから求めた回帰直線にＲＲＩ信号を代入すればＬＦとＨＦを算出できる。また、任意の被験者については、現状では回帰直線３０１〜３０４にどのくらいの個人差があるのか評価されていないが、個人差がないか又は少ない状況（時間帯、曜日など）が特定されれば、予め求めた回帰直線に任意の被験者のＲＲＩ信号を代入して、ＬＦとＨＦを算出できる。このＬＦとＨＦは、周波数解析部１４ａが算出するＬＦとＨＦの代わりに使用できる。

＜動作手順＞
図２１は、状態推定装置２０が眠気レベルを推定する手順を示すフローチャート図の一例である。図２１の説明では、主に図１１との相違を説明する。

図２１のフローチャート図は、ステップＳ２０に続いてステップＳ２０−２が選択される。すなわち、分布選択部４１はＲＲＩ信号取得部１３が取得したＲＲＩ信号に基づいて指標分布ＤＢ４２から分布データを選択する（Ｓ２０−２）。そして、ステップＳ７０では選択された分布データを用いて正規化部９がＨＦとＬＦを正規化する。以降の処理は図１１と同様である。

なお、ステップＳ２０−２の処理は全てのＲＲＩ信号に対し行われる必要がない。ＲＲＩレンジは頻繁に変化するものではないためである。例えば、１回の走行（乗車から降車まで）では、同じ分布データを使用する。運転者は通常、２時間程度で休憩するため、１回の走行であれば同じ分布データでカバーできると考えられる。長時間の走行については例えば、数時間ごとにステップＳ２０−２の分布データの選択を行うことが有効である。

＜本実施例の効果＞
図２２は本実施例の状態推定装置２０が出力する眠気レベルの精度と従来技術の精度との比較結果を示す図である。横軸は相対時間（RELATIVE TIME）、縦軸は眠気（SLEEPINESS）である。

図２２（ａ）は被験者Ａが自己申告した眠気レベルのグラフ３１１、及び、従来の状態推定装置２０が算出した眠気レベルのグラフ３１２を示す。また、図２２（ａ）の下方のRmseは、眠気レベルと自己申告の眠気レベルの平均二乗誤差を示す。また、「＞4detectionIn1Ratio」は、自己申告の眠気レベルが４より大きい場合に従来技術の状態推定装置２０が４より大きい眠気レベルを出力した比率を示す。したがって、「＞N１ detectionIn1Ratio」は、被験者が眠い時に状態推定装置２０も眠いと推定する場合の精度である。「＜２detectionIn1Ratio」は、自己申告の眠気レベルが２より小さい場合に従来技術の状態推定装置２０が２より小さい眠気レベルを出力した比率を示す。したがって、「＜N２ detectionIn1Ratio」は、被験者が眠くない時に状態推定装置２０も眠くないと推定する場合の精度である。

図２２（ｂ）は被験者Ａが自己申告した眠気レベルのグラフ３１１、及び、本実施例の状態推定装置２０が算出した眠気レベルのグラフ３１３を示す。まず、図２２（ｂ）の平均二乗誤差が図２２（ａ）に比べ大きく向上していることが分かる。平均二乗誤差は０に近いほど相関性が高いことを示すが、本実施例の状態推定装置２０が推定する眠気レベルは平均二乗誤差が３２２％向上している。

なお、「＜２detectionIn1Ratio=nan」は、眠気レベルが２未満のデータがなかったことを意味する。

図２２（ｃ）は被験者Ｂが自己申告した眠気レベルのグラフ３１１、及び、従来の状態推定装置２０が算出した眠気レベルのグラフ３１２を示す。図２２（ｄ）は被験者Ｂが自己申告した眠気レベルのグラフ３１１、及び、本実施例の状態推定装置２０が算出した眠気レベルのグラフ３１３を示す。被験者Ｂについては平均二乗誤差が１３０％向上した。また、「＜N２ detectionIn1Ratio」も０．５から１．０に向上した。

したがって、本実施例の状態推定装置２０は、眠気レベルの推定精度を大きく向上させることが確認できた。

<<クライアントサーバ型の状態推定システム>>
図２３は、本実施例においてクライアントサーバ型の状態推定システム１００の機能をブロック状に示す機能ブロック図の一例である。図２３の説明では主に図１０との相違を説明する。図２３のナビゲーション装置１０の構成は図１０と同様でよい。

これに対し、サーバ３０は分布選択部４１と指標分布ＤＢ４２を有している。分布選択部４１と指標分布ＤＢ４２の機能は図１８と同様でよい。このようにクライアントサーバ型の状態推定システム１００によっても、眠気レベルの推定精度を向上できる。

＜指標分布ＤＢの作成＞
指標分布ＤＢ４２の作成方法について説明する。クライアントサーバ型の状態推定システム１００の場合、サーバ３０が、ナビゲーション装置１０から送信されたＲＲＩ信号と、指標算出部１４ｂが算出したＨＦｒとＬＦ＋ＨＦをＲＲＩレベルごとに対応付けることでサーバ３０が指標分布ＤＢ４２を作成できる。

単体型の状態推定装置の指標分布ＤＢ４２の作成には、指標分布作成サーバ１２０を利用することが考えられる。図２４は状態推定装置２０と指標分布作成サーバ１２０の機能をブロック状に示す機能ブロック図の一例である。図２４の説明では主に図９との相違を説明する。

まず、状態推定装置２０が送信部４３と指標分布取得部４４を有している。送信部４３は、ＲＲＩ信号取得部１３が取得したＲＲＩ信号と指標算出部１４ｂが算出したＨＦｒとＬＦ＋ＨＦを指標分布作成サーバ１２０に送信する。指標分布取得部４４は、指標分布作成サーバ１２０から指標分布ＤＢ４２を取得する。取得のタイミングは、乗車ごと、定期的（１日、１週間、１年等）、運転者が要求した時、又は、指標分布作成サーバが新しく指標分布ＤＢ４２を作成した時、等である。

指標分布作成サーバ１２０は受信部４５、指標分布作成部４６、及び、指標分布送信部４８を有する。受信部４５は、状態推定装置２０からＲＲＩ信号とＨＦｒとＬＦ＋ＨＦを受信する。指標分布作成部４６は、ＲＲＩ信号をＲＲＩレンジに区分して、ＲＲＩレンジにＨＦｒ、ＬＦ＋ＨＦを対応付けて登録することで指標分布ＤＢ４２を作成する。作成の際は以下のように分布範囲が類似する被験者別、又は、被験者の属性別に指標分布ＤＢ４２を作成してよい。
(i) 運転者（個人）ごとに作成
(ii) 男性用と女性用を別々に作成
(iii) 年代別に作成
これら(i)〜(iii)では更に以下のような状況別に指標分布ＤＢ４２を作成してよい。
(iv) 時間帯別
(v) 曜日別
このように指標分布ＤＢ４２が、分布範囲が類似すると推定される被験者の属性又は状況に応じて作成されることで、推定される眠気レベルの精度が向上することが期待される。

指標分布送信部４８は、指標分布ＤＢ４２を状態推定装置２０に送信する。上記のように、指標分布ＤＢ４２は適宜、送信される。分布選択部４１は、運転者の現在の属性と状況に応じた指標分布ＤＢ４２を選択し、その上でＲＲＩ信号が属するＲＲＩレンジの分布データを選択する。

なお、指標分布作成サーバ１２０は必ずしも必要ない。この場合、車両又は状態推定装置２０の出荷時には指標分布ＤＢ４２を使用しないか、又は、初期設定用の汎用的な指標分布ＤＢ４２が状態推定装置２０に搭載される。そして、走行時に状態推定装置２０が運転者のＲＲＩ信号とＨＦｒ及びＬＦ＋ＨＦを取得すると、時間帯や曜日別の指標分布ＤＢ４２を作成する。

ＲＲＩ信号とＨＦｒ及びＬＦ＋ＨＦの再現性が高い状況や属性が不明の場合、分布範囲が類似する状況を機械学習などで特定できれば、この状況ごとに指標分布ＤＢ４２を作成する。

＜＜指標分布ＤＢの作成手順＞＞
図２５は、指標分布作成サーバ１２０が指標分布ＤＢ４２を作成する手順を示すフローチャート図の一例である。図２５（ａ）は状態推定装置２０の処理を示し、図２５（ｂ）は指標分布作成サーバ１２０の処理を示す。

図２５の処理は、状態推定装置２０が眠気レベルの推定を開始すると開始される。

まず、状態推定装置２０のＲＲＩ信号取得部１３がＲＲＩ信号を取得する（Ｓ２０１）。送信部４３はＲＲＩ信号を保持しておく。

次に、状態推定装置２０の周波数解析部１４ａがＬＦ、ＨＦを算出し、指標算出部１４ｂがＨＦｒとＬＦ＋ＨＦを算出する（Ｓ２０２）。算出の手順は実施例１で説明した。

次に、送信部４３は保持しているＲＲＩ信号、ＨＦｒとＬＦ＋ＨＦを指標分布作成サーバ１２０に送信する（Ｓ２０３）。送信時には、運転者の属性を判断可能なＩＤ（識別情報）、又は属性そのものが送信されることが好ましい。

指標分布作成サーバ１２０の受信部４５はＲＲＩ信号、ＨＦｒとＬＦ＋ＨＦを受信する（Ｓ２０４）。指標分布作成サーバ１２０には各車両からＲＲＩ信号、ＨＦｒとＬＦ＋ＨＦが送信される。

指標分布作成部４６は被験者の属性及び状況を判断する（Ｓ２０５）。これにより、ＨＦｒとＬＦ＋ＨＦの登録先の指標分布ＤＢ４２を決定する。

そして、指標分布作成部４６は、状態推定装置２０から取得したＲＲＩ信号が属するＲＲＩレンジを決定する（Ｓ２０６）。ＲＲＩレンジの区分は予め定められているものとし、状態推定装置２０から取得したＲＲＩ信号がどのＲＲＩレンジに入るかを判断すればよい。

そして、指標分布作成部４６は決定したＲＲＩレンジにＨＦｒとＬＦ＋ＨＦを登録する（Ｓ２０７）。これにより、属性ごと及び状況ごとの指標分布ＤＢ４２を作成できる。

指標分布ＤＢ４２の作成は常に行われる必要はない。例えば、被験者ごとの指標分布ＤＢ４２では年に１、２回、更新すればよい。

＜まとめ＞
以上説明したように、本実施例の状態推定装置は、ＨＦｒ及びＨＦ＋ＬＦの分布範囲が変動することに着目し、ＲＲＩレンジごとのＨＦｒとＬＨ＋ＨＦを用意しておくことで、眠気レベルの推定精度を向上させることができる。

また、本実施例で正規化されたＨＦｒとＨＦ＋ＬＦを図１６の処理に適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態の状態推定装置２０は人の生理的な状態（眠気）を推定したが、ＲＲＩ信号を検出可能な動物の生理的の状態を推定することも可能である。この場合、動物のＲＲＩ信号に対応するためＨＦやＬＦの定義範囲が適宜、決定される。

また、本実施形態では眠気レベルを１〜５の５段階で表したが１〜３の３段階でもよいし、６段階以上で表してもよい。

また、本実施形態では状態推定装置２０は人の生理的な状態の一例として眠気を推定したが、眠気以外の生理的な状態レベルとしてストレスレベル、疲れレベルなどを推定してもよい。この場合、教師信号にストレスレベル又は疲れレベルが用いられる。

また、学習装置が識別器１８を構築するためにニューラルネットワークが使用されたが、機械学習のアルゴリズムはニューラルネットワークに限られない。例えば、サポートベクターマシン、ロジスティック回帰、決定木、ランダムフォレストなどがある。また、複数のアルゴリズムが組み合わされて用いられてもよい。

また、本実施形態では、状態推定装置２０の利用シーンとして車両７の運転者の眠気レベルが推定されているが、携帯端末とＲＲＩセンサがあれば多くの利用シーンが考えられる。

また、本実施形態では任意の対象者に対し汎化能力が高い識別器１８が得られると説明したが、任意の対象者だけでなく、任意の場所や時間帯等に対し汎化能力が高い識別器１８が得られる。

また、図５，図９，図１０、図１８、図２３、図２４などの構成例は、学習装置５０、状態推定装置２０、及び状態推定システム１００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。学習装置５０、状態推定装置２０、及び状態推定システム１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、ＲＲＩ信号取得部１３はＲＲＩ取得手段の一例であり、周波数解析部１４ａは周波数成分検出手段の一例であり、指標算出部１４ｂは算出手段の一例であり、識別器１８は状態推定手段の一例であり、覚醒制御部２４は覚醒制御手段の一例である。また、ナビゲーション装置１０は第一の情報処理装置の一例であり、サーバ３０は第二の情報処理装置の一例である。指標分布ＤＢ４２はレンジ別周波数情報の一例であり、正規化部９は正規化手段の一例であり、分布選択部４１は選択手段の一例である。

１０ ナビゲーション装置
１１ ＲＲＩセンサ
１４ａ 周波数解析部
１４ｂ 指標算出部
１５ 眠気レベル受付部
１７ 学習部
１８ 識別器
２０ 状態推定装置
１００ 状態推定システム

Claims (12)

1. 対象者の状態を推定する状態推定装置であって、
   前記対象者から心拍に関する信号を取得するセンサとのインタフェースと、
   前記信号から心電図のＲ波とＲ波の間隔に相当するＲＲＩ信号を取得するＲＲＩ取得手段と、
   前記ＲＲＩ信号を解析して心拍揺らぎ高周波成分と心拍揺らぎ低周波成分を算出する周波数成分検出手段と、
   前記高周波成分と前記低周波成分の和、及び、前記和に対する前記高周波成分の比を算出する算出手段と、
   前記和と前記比に基づいて前記対象者の状態を推定する状態推定手段と、
   を有する状態推定装置。
2. 前記状態推定手段は、前記和及び前記比を入力とし、自己申告の状態レベルを教師信号とする機械学習により構築され、前記和及び前記比から状態レベルを算出する手段であることを特徴とする請求項１に記載の状態推定装置。
3. 前記状態推定手段は、前記和が第１閾値を超え、かつ、前記比が第２閾値を下回った場合に、前記対象者に眠気があると判断することを特徴とする請求項１又は２に記載の状態推定装置。
4. 前記状態推定手段は、複数の被験者から検出された前記和及び前記比を入力とし、前記被験者の自己申告の眠気レベルを教師信号とする機械学習により構築され、
   任意の対象者から検出された前記和及び前記比に基づいて前記任意の対象者の眠気レベルを算出する手段であることを特徴とする請求項２に記載の状態推定装置。
5. 前記状態推定手段は、前記対象者の状態として、前記対象者の眠気レベル、前記対象者のストレスレベル、又は、前記対象者の疲れレベルを推定することを特徴とする請求項２に記載の状態推定装置。
6. 前記ＲＲＩ信号のレンジごとに予め取得しておいた前記高周波成分及び前記低周波成分の分布データが登録されたレンジ別周波数情報を参照し、前記ＲＲＩ取得手段が取得した前記ＲＲＩ信号が属する前記レンジの前記分布データを選択する選択手段と、
   前記選択手段が選択した前記分布データで、前記周波数成分検出手段が検出した前記高周波成分と前記低周波成分の和、及び、前記和に対する前記高周波成分の比を正規化する正規化手段と、を有し、
   前記状態推定手段は、前記正規化手段が正規化した前記和と前記比に基づいて前記対象者の状態を推定することを特徴とする請求項１〜５のいずれか１項に記載の状態推定装置。
7. 対象者の属性又は状況に応じて作成された前記レンジ別周波数情報を取得する取得手段を有し、
   前記選択手段は前記対象者の属性又は状況に応じた前記レンジ別周波数情報を選択することを特徴とする請求項６に記載の状態推定装置。
8. 請求項１〜７のいずれか１項に記載された前記状態推定装置を有し、
   前記状態推定装置は車両の運転者の眠気レベルを推定することを特徴とする情報処理装置。
9. 前記状態推定装置が推定した車両の運転者の眠気レベルに応じて、運転者を覚醒させるための制御を行う覚醒制御手段を有することを特徴とする請求項８に記載の情報処理装置。
10. 車両の周辺の道路地図をディスプレイに表示すると共に、
    第１の地点から第２の地点までの経路を案内するナビゲーションの機能を有することを特徴とする請求項８又は９に記載の情報処理装置。
11. 第一の情報処理装置と第二の情報処理装置が通信して対象者の状態を推定する状態推定システムであって、
    前記第一の情報処理装置又は前記第二の情報処理装置の少なくとも一方が、
    前記対象者から心拍に関する信号を取得するセンサとのインタフェースと、
    前記信号から心電図のＲ波とＲ波の間隔に相当するＲＲＩ信号を取得するＲＲＩ取得手段と、
    前記ＲＲＩ信号を解析して心拍揺らぎ高周波成分と心拍揺らぎ低周波成分を算出する周波数成分検出手段と、
    前記高周波成分と前記低周波成分の和、及び、前記和に対する前記高周波成分の比を算出する算出手段と、
    前記和と前記比に基づいて前記対象者の状態を推定する状態推定手段と、
    を有する状態推定システム。
12. 対象者の状態を推定する状態推定装置であって、
    前記対象者から心拍に関する信号を取得するセンサとのインタフェースと、
    前記信号から心電図のＲ波とＲ波の間隔に相当するＲＲＩ信号を取得するＲＲＩ取得手段と、
    前記ＲＲＩ信号を解析して心拍揺らぎ高周波成分と心拍揺らぎ低周波成分を算出する周波数成分検出手段と、
    前記ＲＲＩ信号のレンジごとに予め取得しておいた前記高周波成分及び前記低周波成分の分布データが登録されたレンジ別周波数情報を参照し、前記ＲＲＩ取得手段が取得した前記ＲＲＩ信号が属する前記レンジの前記分布データを選択する選択手段と、
    前記選択手段が選択した前記分布データを用いて、前記周波数成分検出手段が検出した前記高周波成分と前記高周波成分、又は、前記低周波成分と前記高周波成分から算出された情報を正規化する正規化手段と、
    前記正規化手段が正規化した前記低周波成分と前記高周波成分を用いて前記対象者の状態を推定する状態推定手段と、
    を有する状態推定装置。