JP2020185284A - 着座者の眠気推定システム - Google Patents

Abstract

【課題】より高精度に着座者の眠気レベルを推定することができる眠気推定システムを提供する。【解決手段】眠気推定システム１は、着座者２の脈拍、着座者２の呼吸および着座者２による座圧の少なくとも２種の基本情報を検出するセンサ１０と、センサ１０により検出される基本情報に基づいて着座者２の眠気を推定する推定処理装置２０とを備える。推定処理装置２０は、基本情報に基づいて機械学習に用いる複数の特徴量を抽出する特徴量抽出部２４と、所定の機械学習アルゴリズムにより構築されたモデルであって、複数の特徴量に基づいて着座者２の眠気レベルを判定するための学習済みモデルを記憶する学習済みモデル記憶部２７と、複数の特徴量と学習済みモデルとに基づいて着座者２の眠気レベルを推定する推定処理部２８とを備える。【選択図】図８

Description

本発明は、着座者の眠気推定システムに関するものである。

特許文献１には、第一モードにおける第一センサのそれぞれの検出値に基づいて圧力センサセルに面する身体の体圧分布を演算し、第二モードにおける第二センサの検出値に基づいて身体の生体情報を演算する計測装置が記載されている。

特許文献２には、ベッド上の被験者の生体情報をモニタリングするシステムが記載されている。当該システムは、ベッド上の被験者の荷重の重心位置の時間的変動に基づいて被験者の体動情報を算出し、重心位置の時間的変動および体動情報に基づいて呼吸数を算出する。そして、算出した体動情報および／または呼吸数に基づいて、ベッド上の被験者が睡眠状態であるか覚醒状態であるかを判断する。睡眠および覚醒のアルゴリズムは、被験者から採られる覚醒時または睡眠時のラベルの付いた教師データを参照して生体情報モニタリングシステムから得られる離床、着床、大きな体動、小さな体動、呼吸、無呼吸、いびき、発話、心拍のような各種生体情報とその演算とを用いた機械学習により得ることができるとされている。

特許文献３には、心拍のＲ−Ｒ間隔に相当するＲＲＩ信号を解析して心拍ゆらぎ高周波成分と心拍ゆらぎ低周波成分の和、および、和に対する高周波成分の比を入力とし、自己申告の眠気レベルを教師信号とする機械学習により構築され、和および比から眠気レベルを算出する状態推定装置が記載されている。

また、特許文献４には、眠気レベルの評価指標として、「新エネルギー・産業技術総合開発機構（ＮＥＤＯ）」が提案した５段階の評価値が記載されている。

特開２０１７−１７６４９８号公報 特許第６１０５７０３号公報 特開２０１８−２０２１３０号公報 特開２０１９−１６２１３号公報

特許文献２に記載のように、ベッド上の被験者を対象とする場合には、高精度に生体情報を取得することが可能となる。従って、高精度に取得された生体情報などを用いて、被験者の睡眠状態、覚醒状態を判断することが可能となる。しかし、着座者を対象とした場合、特に着座者に関する情報の検出時間が短い場合には、着座者の睡眠状態および覚醒状態を判断することは容易ではない。

近年では、自動車の運転者、デスクワークにおける作業者などを対象として、眠気レベルを推定することが求められている。特許文献３に記載の装置によれば、心拍のＲ−Ｒ間隔信号に基づいて対象者の眠気レベルを推定している。しかし、心拍のＲ−Ｒ間隔のみでは高精度に推定することができない。

本発明は、より高精度に着座者の眠気レベルを推定することができる眠気推定システムを提供することを目的とする。

本発明に係る眠気推定システムは、着座者の脈拍、前記着座者の呼吸および前記着座者による座圧の少なくとも２種の基本情報を検出するセンサと、前記センサにより検出される前記基本情報に基づいて前記着座者の眠気を推定する推定処理装置とを備える。

前記推定処理装置は、前記基本情報に基づいて機械学習に用いる複数の特徴量を抽出する特徴量抽出部と、所定の機械学習アルゴリズムにより構築されたモデルであって、前記複数の特徴量に基づいて前記着座者の眠気レベルを判定するための学習済みモデルを記憶する学習済みモデル記憶部と、前記複数の特徴量と前記学習済みモデルとに基づいて前記着座者の眠気レベルを推定する推定処理部とを備える。

着座者の脈拍、着座者の呼吸および着座者による座圧の少なくとも２種を用いて、機械学習により着座者の眠気レベルを推定している。つまり、上記の少なくとも２種を用いた機械学習を適用することにより、これらの情報の検出時間が短い場合であっても、高精度に着座者の眠気レベルを推定することができる。

眠気推定システムの構成を示す機能ブロック図である。 ＮＥＤＯ評定を示す図である。 眠気推定システムにおける第一例のセンサの構成を示す図である。 眠気推定システムにおける第二例のセンサの構成を示す図である。 眠気推定システムにおける第三例のセンサの構成を示す図である。 面状感圧センサの構成を示す分解斜視図である。 眠気推定システムにおいて機械学習の学習フェーズにおける第一例の推定処理装置の構成を示す図である。 眠気推定システムにおいて機械学習の推定フェーズにおける第一例の推定処理装置の構成を示す図である。 機械学習アルゴリズムの例を示す図である。 脈拍信号を示すグラフである。 呼吸信号を示すグラフである。 座圧分布を示す図である。 座圧信号の重心位置の時間変化を示すグラフである。 座圧分布の分散共分散行列を示すグラフである。 眠気推定システムにおいて機械学習の学習フェーズにおける第二例の推定処理装置の構成を示す図である。 眠気推定システムにおいて機械学習の推定フェーズにおける第二例の推定処理装置の構成を示す図である。 第二例の推定処理装置に適用される機械学習アルゴリズムを示す図である。 眠気推定システムにおいて機械学習の学習フェーズにおける第三例の推定処理装置の構成を示す図である。 眠気推定システムにおいて機械学習の推定フェーズにおける第三例の推定処理装置の構成を示す図である。 実験における被験者の分布を示す。 実験結果を示す。 実験結果を示す。 実験結果を示す。

（１．眠気推定システム１の構成）
眠気推定システム１は、着座者を対象とし、着座者の眠気レベルを推定する。着座者は、任意の座面に着座している者である。着座者としては、近年における自動運転に伴って、自動車や電車などの車両の運転者が対象として好適であるが、運転者に限定されるものではない。

眠気推定システム１は、図１に示すように、着座者の状態を表す基本情報を検出するセンサ１０と、検出された着座者の状態を表す基本情報に基づいて眠気レベルを推定する推定処理装置２０とを備える。

着座者の状態を表す基本情報とは、着座者の脈拍、着座者の呼吸、着座者の座圧（座面に付与される圧力）などの情報である。ここで、脈拍、呼吸および座圧は、眠気に密接に関係する情報であることが知られている。つまり、眠気レベルに応じて、脈拍、呼吸および座圧が変化する。

特に、着座者の状態を表す基本情報は、脈拍、呼吸、座圧の中から選択された少なくとも２種を用いることが好適である。当該２種には、脈拍と呼吸、脈拍と座圧、呼吸と座圧の何れであってもよい。特に、脈拍は眠気レベルを表すのに有効な情報であるため、基本情報に脈拍を含めるのが好適である。また、着座者の状態を表す基本情報に、上記の３種以外を含めるようにしてもよい。例えば、着座者の姿勢、着座者の瞼の状態、着座者の血圧、着座者の脳波（α波，θ波，δ波）、着座者の発汗の状態などを含めるようにしてもよい。

眠気レベルとは、例えば、ＮＥＤＯ評定のように５段階で表してもよいし、眠気の有無の２段階としてもよいし、眠気の程度を表す連続値としてもよい。ＮＥＤＯ評定における眠気レベルは、図２に示すとおりである。ＮＥＤＯ評定は、顔表情に基づく眠気レベルの判定基準である。例えば３人の評価者が被験者の顔表情の動画を確認し、評価者それぞれが判定基準の行動に基づいて眠気レベルを決定する。評価者の意見が異なる場合には、例えば多数決により眠気レベルが決定される。

さらに、眠気推定システムは、機械学習アルゴリズムにより構築された学習済みモデルを用いて、眠気レベルを推定する。学習フェーズにおいて、学習済みモデルを生成するために用いる訓練データには、上記の着座者の状態を表す基本情報に関する特徴量と、眠気レベルに関する教師データとを含む。つまり、学習済みモデルは、教師あり学習により生成されたモデルである。推論フェーズにおいて、上記の着座者の状態を表す基本情報に関する特徴量を入力データとし、学習済みモデルを用いることにより、眠気レベルを出力する。

（２．センサ１０の構成）
（２−１．第一例のセンサ１０の構成）
第一例のセンサ１０の構成について、図３を参照して説明する。図３においては、着座者２が、車両の運転者である場合を例に挙げる。つまり、着座者２は、車両のシート３１に着座しており、ステアリングホイール３２を把持している。

眠気推定システム１は、第一例のセンサ１０として、着座者２の脈拍を検出する脈拍センサ１１、着座者２の呼吸を検出する呼吸センサ１２、座圧分布を検出する面状感圧センサ１３を備える。脈拍センサ１１は、例えば、着座者２の指に装着されるセンサや、ステアリングホイール３２の表面に配置されるセンサなどである。呼吸センサ１２は、例えば、着座者２の胸部に配置されている。もちろん、呼吸センサ１２は、着座者２の他の部位に配置することも可能である。面状感圧センサ１３は、シート３１の座面に配置されており、着座者２の座圧分布を検出する。

（２−２．第二例のセンサ１０の構成）
第二例のセンサ１０の構成について、図４を参照して説明する。眠気推定システム１は、第二例のセンサ１０として、脈拍および呼吸を検出するためのカメラ１４と、座圧分布を検出する面状感圧センサ１３とを備える。カメラ１４によって撮像された着座者２の顔画像または顔動画により、脈拍および呼吸を検出することが可能である。

（２−３．第三例のセンサ１０の構成）
第三例のセンサ１０の構成について、図５を参照して説明する。眠気推定システム１は、第三例のセンサ１０として、シート３１の座面に配置された１枚の面状感圧センサ１５を備える。面状感圧センサ１５は、着座者２の大腿部（太もも）または臀部（尻）における動脈の動きを検出することで、脈拍を検出するセンサとして機能すると共に、呼吸を検出するセンサとして機能する。さらに、面状感圧センサ１５は、着座者２の座圧分布を検出する座圧センサとしても機能する。つまり、面状感圧センサ１５は、脈拍、呼吸および座圧の全てを検出することができる共通のセンサとなる。なお、面状感圧センサ１５は、大腿部および臀部に限らず、心臓の脈動に由来する体の振動を検出することができる部位に配置すればよい。

（３．面状感圧センサ１３，１５の構成）
面状感圧センサ１３，１５の構成の一例について、図６を参照して説明する。面状感圧センサ１３，１５は、可撓性を有し、面状に形成されている。面状感圧センサ１３，１５は、面法線方向に、圧縮変形可能である。面状感圧センサ１３，１５は、例えば、８列の第一電極１３ａ，１５ａと、１６列の第二電極１３ｂ，１５ｂと、誘電層１３ｃ，１５ｃとを備える。なお、第一電極１３ａ，１５ａと第二電極１３ｂ，１５ｂの列数は、適宜変更可能である。

第一電極１３ａ，１５ａは、帯状に形成され、相互に平行に配置される。第二電極１３ｂ，１５ｂは、面状感圧センサ１３，１５の面法線方向に、第一電極１３ａ，１５ａに対して距離を隔てて配置される。第二電極１３ｂ，１５ｂは、帯状に形成され、相互に平行に配置される。第二電極１３ｂ，１５ｂの延在方向は、第一電極１３ａ，１５ａの延在方向に対して直交する方向である。誘電層１３ｃ，１５ｃは、弾性変形可能な面状に形成され、第一電極１３ａ，１５ａと第二電極１３ｂ，１５ｂとの間に配置される。

第一電極１３ａ，１５ａおよび第二電極１３ｂ，１５ｂは、エラストマー中に導電性フィラーを配合させることにより成形される。第一電極１３ａ，１５ａおよび第二電極１３ｂ，１５ｂは、可撓性を有し、伸縮自在な性質を有する。第一電極１３ａ，１５ａおよび第二電極１３ｂ，１５ｂを構成するエラストマーには、例えば、シリコーンゴム、エチレン‐プロピレン共重合ゴム、天然ゴム、スチレン‐ブタジエン共重合ゴム、アクリロニトリル‐ブタジエン共重合ゴム、アクリルゴム、エピクロロヒドリンゴム、クロロスルホン化ポリエチレン、塩素化ポリエチレン、ウレタンゴムなどが適用される。また、第一電極１３ａ，１５ａおよび第二電極１３ｂ，１５ｂに配合される導電性フィラーには、導電性を有する粒子であればよく、例えば、炭素材料や金属等の微粒子が適用される。

誘電層１３ｃ，１５ｃは、エラストマーにより成形され、可撓性を有し且つ伸縮自在な性質を有する。誘電層１３ｃ，１５ｃを構成するエラストマーには、例えば、シリコーンゴム、アクリロニトリル‐ブタジエン共重合ゴム、アクリルゴム、エピクロロヒドリンゴム、クロロスルホン化ポリエチレン、塩素化ポリエチレン、ウレタンゴムなどが適用される。

従って、第一電極１３ａ，１５ａと第二電極１３ｂ，１５ｂとの交差位置がマトリックス状に位置する。面状感圧センサ１３，１５は、マトリックス状の電極交差位置において、静電容量型センサとして機能するセンサセルを備える。本例においては、面状感圧センサ１３，１５は、横１６列、縦８列に配列された１２８個のセンサセルを備える。そして、１２８個のセンサセルが、面状に配列されている。

そして、面状感圧センサ１３，１５が面法線方向に圧縮する力を受けた場合には、誘電層１３ｃ，１５ｃが圧縮変形することにより、第一電極１３ａ，１５ａと第二電極１３ｂ，１５ｂの離間距離が短くなる。つまり、第一電極１３ａ，１５ａと第二電極１３ｂ，１５ｂとの間の静電容量が大きくなる。そして、静電容量の変化に基づいて、座圧を取得することができる。さらには、静電容量の変化に基づいて、脈拍および呼吸数を取得することができる。

（４．第一例の推定処理装置２０の構成）
第一例の推定処理装置２０の構成について、図７および図８を参照して説明する。推定処理装置２０は、上述したように、機械学習アルゴリズムにより構築された学習済みモデルを用いて、眠気レベルを推定する。以下において、推定処理装置２０の構成について、機械学習における学習フェーズと推定フェーズとに分けて説明する。ここで、以下の説明においては、眠気推定システム１が、図３に示す第一例のセンサ１０を備える場合を例に挙げるが、図４に示す第二例のセンサ１０および図５に示す第三例のセンサ１０を備える場合にも、実質的に同様の構成となる。

（４−１．学習フェーズ）
学習フェーズにおいて、第一例の推定処理装置２０は、図７に示すように、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、眠気レベル取得部２５、学習済みモデル生成部２６および学習済みモデル記憶部２７を備える。

脈拍信号取得部２１は、脈拍センサ１１により検出される脈拍に関する基本情報を取得する。呼吸信号取得部２２は、呼吸センサ１２により検出される呼吸に関する基本情報を取得する。座圧信号取得部２３は、面状感圧センサ１３により検出される座圧に関する基本情報を取得する。

特徴量抽出部２４は、センサ１０により検出される基本情報、すなわち、脈拍、呼吸および座圧に関する基本情報に基づいて、機械学習に用いる複数の特徴量を抽出する。特徴量抽出部２４は、脈拍に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。特徴量抽出部２４は、呼吸に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。また、特徴量抽出部２４は、座圧に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。なお、各特徴量の具体例については、後述する。

眠気レベル取得部２５は、機械学習における教師データとしての眠気レベルに関する情報を取得する。本例においては、眠気レベル取得部２５は、人間によって入力される被験者の眠気レベルに関する情報を取得する。

教師データとしての眠気レベルの第一例は、第三者である複数の評価者がＮＥＤＯ評定に基づく評価結果を用いる。つまり、教師データとしての眠気レベルの第一例は、カメラにより撮像された着座者２の顔表情に基づいて複数の評価者が評価した眠気レベルである。なお、ＮＥＤＯ評定に基づく評価結果は、図２に示すように、５段階のレベルで表される。

教師データとしての眠気レベルの第二例は、被験者である着座者２の自己申告による眠気レベルに関する情報を用いる。自己申告においても、ＮＥＤＯ評定と同様に、５段階のレベルで表す。ただし、眠気レベルは、５段階に限られず、眠気の有無を示す２段階としてもよいし、その他任意の離散的な段階としてもよいし、連続値としてもよい。

学習済みモデル生成部２６は、所定の機械学習アルゴリズムにより構築されたモデルであって、複数の特徴量に基づいて着座者２の眠気レベルを判定するための学習済みモデルを生成する。詳細には、学習済みモデルは、特徴量抽出部２４により抽出された複数の特徴量と、眠気レベル取得部２５により取得された教師データとしての眠気レベルとを訓練データとする教師あり学習を行うことにより生成される。

ここで、学習済みモデルの出力層は、段階的な眠気レベルを出力するようなモデルとしてもよいし、連続値を出力するモデルとしてもよいし、連続値を一次出力した後に段階的な離散値を二次出力するモデルとしてもよい。また、最終的に出力される眠気レベルの段階数も、任意に設定することができる。そして、学習済みモデル生成部２６により生成された学習済みモデルは、学習済みモデル記憶部２７に記憶される。なお、機械学習アルゴリズムの例については後述する。

（４−２．推定フェーズ）
推定フェーズにおいて、第一例の推定処理装置２０は、図８に示すように、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、学習済みモデル記憶部２７および推定処理部２８を備える。脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４および学習済みモデル記憶部２７は、学習フェーズにおいて説明した各構成と同様である。

推定処理部２８は、特徴量抽出部２４により抽出された複数の特徴量と、学習済みモデル記憶部２７に記憶している学習済みモデルとに基づいて、着座者の眠気レベルを推定する。ここで、推定処理部２８によって推定される眠気レベルは、上述の学習フェーズにおける学習済みモデルの出力層の出力情報に一致する。つまり、推定される眠気レベルは、段階的な値であったり、連続値であったりとなる。ただし、推定される眠気レベルは、学習済みモデルの出力層の出力情報に対してさらなる追加処理を施すようにしてもよい。

（５．機械学習アルゴリズムの例）
以下に、推定処理装置２０にて適用される機械学習アルゴリズムの例について説明する。ここで、特徴量として、脈拍、呼吸および座圧に関する基本情報が用いられる。これらの特徴量は何れも、眠気に応じて時間変化を伴うものである。例えば、眠気レベルが高い場合には、脈拍信号のピーク間隔が徐々に変化する。また、眠気レベルが高い場合には、呼吸信号のピーク間隔が徐々に変化する。また、眠気レベルが高い場合には、座り直しなどに伴って座圧分布が変化する。

従って、機械学習アルゴリズムとして、時系列データの予測に適したものがよい。例えば、時系列データの予測に好適な機械学習アルゴリズムは、リカレントニューラルネットワーク（ＲＮＮ）である。リカレントニューラルネットワークは、内部層（中間層や隠れ層とも称する）において、少なくとも一部のノード（ニューロン）において前の時刻での出力情報を、直接または間接に、後の時刻の入力とする。従って、リカレントニューラルネットワークでは、前後の時刻における影響を考慮した出力がなされる。

リカレントニューラルネットワークには、フルリカレントネットワーク、ホップフィールドネットワーク、エルマンネットワーク、ジョーダンネットワーク、エコーステートネットワーク（ＥＳＮ）、Long short term memory network（ＬＳＴＭ）、Bi- directional RNN（ＢＲＮＮ）などである。

特に、エコーステートネットワーク（ＥＳＮ）は、学習対象が少ないことから、学習時間を短くすることができる。ここで、エコーステートネットワークにおいては、入力層の全てと内部層の全てが結合されており、内部層の全てと出力層の全てとが結合されている。そして、エコーステートネットワークの内部層は、結合対象がノードの集合からランダムに決定され、且つ、入力層と内部層との結合における重み、および、内部層内のノードの結合における重みがランダムに決定される。そして、内部層と出力層との結合における重みが、学習対象となる。

一例である機械学習アルゴリズム４０（以下、アルゴリズム４０と称する）について、図９を参照して説明する。アルゴリズム４０は、エコーステートネットワークを適用する。アルゴリズム４０は、入力層４１と、内部層４２と、出力層４３と、離散化処理層４４とを備える。

入力層４１は、特徴量抽出部２４により抽出された複数の特徴量のそれぞれである。内部層４２は、複数のノードにより構成されており、内部層４２の全てのノードが、入力層４１の全てのノードに結合されている。そして、入力層４１の各ノードと内部層４２の各ノードとの結合の重みは、ランダムに設定されている。さらに、内部層４２における各ノードは、ランダムに結合されている。さらに、内部層４２における各ノードの結合の重みも、ランダムに結合されている。

出力層４３は、内部層４２の全てのノードに結合されており、出力層４３と内部層４２の各ノードとの結合の重みは学習により設定される。また、出力層４３は、所定の活性化関数により得られる値を出力する。活性化関数は、例えば、双曲正接関数、シグモイド関数、ソフトマックス関数、恒等関数、ＲｅＬｕなどである。従って、本例においては、出力層４３が出力する値は、眠気レベルを表す連続値である。

離散化処理層４４は、出力層４３から出力された眠気レベルの連続値を、例えば５段階の離散値に変換する。もちろん、離散化処理層４４が、５段階以外、例えば２段階の離散値に変換するようにしてもよい。なお、出力層４３は、連続値を出力する活性化関数を用いたが、離散値を出力する活性化関数を用いることもできる。この場合、離散化処理層４４は不要となる。

（６．特徴量の例）
特徴量抽出部２４により抽出される複数の特徴量について説明する。上述したように、特徴量抽出部２４は、脈拍信号取得部２１により取得される脈拍に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。つまり、脈拍に関する特徴量は、以下の（Ａ１）〜（Ａ８）である。

ここで、脈拍信号は、図１０に示すような波形となる。脈拍信号ピークとは、１回の脈における最大値となる部位である。脈拍信号ピーク間隔Ｄｎ（ｎは１以上の整数）は、図１０に示すとおりである。また、所定サンプリング時間Ｔｓａｍは、例えば、２ｍｉｎ〜１５ｍｉｎの範囲から設定される。所定セグメント時間Ｔｓｅｇは、所定サンプリング時間Ｔｓａｍより短い時間であればよく、例えば、１ｍｉｎ〜１０ｍｉｎの範囲から設定される。また、特徴量として（Ａ１）〜（Ａ８）の全てを適用してもよいし、（Ａ１）〜（Ａ８）の一部のみを適用してもよい。
（Ａ１）所定サンプリング時間Ｔｓａｍにおける脈拍信号ピーク間隔Ｄｎの平均値
（Ａ２）所定セグメント時間Ｔｓｅｇごとの脈拍信号ピーク間隔Ｄｎの平均値のそれぞれを母集団とした場合に所定サンプリング時間Ｔｓａｍにおける母集団の標準偏差
（Ａ３）所定サンプリング時間Ｔｓａｍにおける脈拍信号ピーク間隔Ｄｎの標準偏差
（Ａ４）所定セグメント時間Ｔｓｅｇごとの脈拍信号ピーク間隔Ｄｎの標準偏差のそれぞれを母集団とした場合に所定サンプリング時間Ｔｓａｍにおける母集団の平均値
（Ａ５）隣接する脈拍信号ピーク間隔Ｄｎの差の二乗値についての所定サンプリング時間Ｔｓａｍにおける平均値の平方根
（Ａ６）隣接する脈拍信号ピーク間隔Ｄｎの差の絶対値についての所定サンプリング時間Ｔｓａｍにおける平均値
（Ａ７）隣接する脈拍信号ピーク間隔Ｄｎの差についての所定サンプリング時間Ｔｓａｍにおける標準偏差
（Ａ８）所定サンプリング時間Ｔｓａｍにおいて隣接する脈拍信号ピーク間隔Ｄｎの差が５０ｍｓｅｃを超える比率

また、特徴量抽出部２４は、呼吸信号取得部２２により取得される呼吸に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。つまり、呼吸に関する特徴量は、以下の（Ｂ１）〜（Ｂ７）である。ここで、呼吸信号は、図１１に示すような波形となる。呼吸信号ピークとは、１回の呼吸における最大値となる部位である。呼吸信号ピーク間隔Ｅｎ（ｎは１以上の整数は、図１１に示すとおりである。特徴量として（Ｂ１）〜（Ｂ７）の全てを適用してもよいし、（Ｂ１）〜（Ｂ７）の一部のみを適用してもよい。
（Ｂ１）所定サンプリング時間Ｔｓａｍにおける呼吸信号ピーク間隔Ｅｎの平均値
（Ｂ２）所定セグメント時間Ｔｓｅｇごとの呼吸信号ピーク間隔Ｅｎの平均値のそれぞれを母集団とした場合に所定サンプリング時間Ｔｓａｍにおける母集団の標準偏差
（Ｂ３）所定サンプリング時間Ｔｓａｍにおける呼吸信号ピーク間隔Ｅｎの標準偏差
（Ｂ４）所定セグメント時間Ｔｓｅｇごとの呼吸信号ピーク間隔Ｅｎの標準偏差のそれぞれを母集団とした場合に所定サンプリング時間Ｔｓａｍにおける母集団の平均値
（Ｂ５）隣接する呼吸信号ピーク間隔Ｅｎの差の二乗値についての所定サンプリング時間Ｔｓａｍにおける平均値の平方根
（Ｂ６）隣接する呼吸信号ピーク間隔Ｅｎの差の絶対値についての所定サンプリング時間Ｔｓａｍにおける平均値
（Ｂ７）隣接する呼吸信号ピーク間隔Ｅｎの差についての所定サンプリング時間Ｔｓａｍにおける標準偏差

また、特徴量抽出部２４は、座圧信号取得部２３により取得される座圧に関する基本情報に基づいて、１つまたは複数の特徴量を抽出する。座圧分布は、図１２に示すとおりである。また、座圧分布の重心位置の時間変化は、図１３に示すとおりである。また、座圧分布の分散共分散行列は、図１４に示すとおりである。そして、座圧に関する特徴量は、以下の（Ｃ１）〜（Ｃ４）である。
（Ｃ１）所定サンプリング時間Ｔｓａｍにおける座圧信号の基線からのゆらぎ
（Ｃ２）所定サンプリング時間Ｔｓａｍにおける左右の座圧信号の重心位置の逐次差分の標準偏差
（Ｃ３）所定サンプリング時間Ｔｓａｍにおける座圧信号の重心位置の分散共分散行列が定める楕円の面積
（Ｃ４）所定サンプリング時間Ｔｓａｍにおける左右の座圧信号の重心位置の標準偏差

ここで、（Ｃ１）座圧信号の基線からのゆらぎは、図１３に示すように座圧信号の重心位置の基線からのゆらぎとしてもよい。なお、ゆらぎとは、座圧信号の重心位置のサンプリング開始時の重心位置を基準とする基線（破線にて示す）に対する縦軸方向（図１２におけるＸ軸方向（車両の左右方向）またはＹ軸方向（車両の前後方向））の変化度合を示す指標である。図１３は、図１２の座圧分布のＸ軸方向（車両の左右方向）の重心位置の時間変化を示す。また、座圧信号の重心位置が基線から所定値以上大きく変化した場合は、変化後の重心位置を起点として基線を変更してもよい。さらに、図１２の座圧分布をＸ軸方向（車両の左右方向）の中心を基準に左右に分割したそれぞれの範囲における座圧信号の重心位置の基線からのゆらぎとしてもよいし、任意に分割した範囲における座圧信号の重心位置の基線からのゆらぎとしてもよい。

(７．第二例の推定処理装置２０の構成)
第二例の推定処理装置２０の構成について、図１５−図１７を参照して説明する。ここで、第二例の推定処理装置２０において、図７および図８に示す第一例の推定処理装置２０と同一構成については同一符号を付す。また、第二例の推定処理装置２０について、第一例と同様に、学習フェーズと推定フェーズに分けて説明する。

（７−１．学習フェーズ）
学習フェーズにおいて、第二例の推定処理装置２０は、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、眠気レベル取得部２５、学習済みモデル生成部２６ａおよび学習済みモデル記憶部２７ａを備える。学習済みモデル生成部２６ａは、複数の学習済みモデルを生成し、生成された複数の学習済みモデルは、学習済みモデル記憶部２７ａに記憶される。ここで、複数の学習済みモデルは、同一の訓練データを用いた教師あり学習を行うことにより生成される。

（７−２．推定フェーズ）
推定フェーズにおいて、第二例の推定処理装置２０は、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、学習済みモデル記憶部２７ａおよび推定処理部２８ａを備える。推定処理部２８ａは、複数の特徴量と複数の学習済みモデルのそれぞれとに基づいて着座者２の複数の予備眠気レベルを推定し、さらに複数の予備眠気レベルに基づいて眠気レベルを推定する。

（７−３．機械学習アルゴリズム５０の例）
本例における機械学習アルゴリズム５０（以下、アルゴリズム５０と称する）は、図１７に示すように、複数のエコーステートネットワークを用いて構成される。つまり、アルゴリズム５０は、入力層５１と、複数の内部層５２ａ，５２ｂ，５２ｃ、複数の出力層５３ａ，５３ｂ，５３ｃ、総合出力層５４を備える。そして、入力層４１、内部層５２ａ，５２ｂ，５２ｃの１つ、出力層５３ａ，５３ｂ，５３ｃの１つが、１つの学習済みモデルを構成する。

入力層５１は、特徴量抽出部２４により抽出された複数の特徴量のそれぞれである。複数の内部層５２ａ，５２ｂ，５２ｃのそれぞれは、複数のノードにより構成されている。複数の出力層５３ａ，５３ｂ，５３ｃは、複数の内部層５２ａ，５２ｂ，５２ｃのそれぞれに結合されている。総合出力層５４は、複数の出力層５３ａ，５３ｂ，５３ｃを入力として、例えば、総合的な値を出力する。例えば、出力層５３ａ，５３ｂ，５３ｃが連続値を出力する場合には、総合出力層５４は、これらの平均値を出力する。出力層５３ａ，５３ｂ，５３ｃが離散値を出力する場合には、総合出力層５４は、多数決などによる離散値を出力する。

(８．第三例の推定処理装置２０の構成)
第三例の推定処理装置２０の構成について、図１８および図１９を参照して説明する。第三例の推定処理装置２０は、着座者２の体格に応じた学習済みモデルを用いて眠気レベルを推定する。脈拍、呼吸および座圧は、人間の体格に応じて異なることが知られている。そこで、より高精度に眠気レベルを推定するために、着座者２の体格に応じて、判定に用いる学習済みモデルを変更する。

ここで、第三例の推定処理装置２０を備える眠気推定システム１は、センサ１０として、脈拍センサ１１、呼吸センサ１２および面状感圧センサ１３を備える。本例においては、面状感圧センサ１３を、着座者２の体格を検出する体格センサ１３１としても機能させる。ただし、体格センサ１３１は、面状感圧センサ１３とは別のセンサとして設けてもよい。例えば、体格センサ１３１は、腹囲、胸囲などを検出することにより、着座者２の体格を検出することもできる。

第三例の推定処理装置２０において、図７および図８に示す第一例の推定処理装置２０と同一構成については同一符号を付す。また、第三例の推定処理装置２０について、第一例と同様に、学習フェーズと推定フェーズに分けて説明する。

（８−１．学習フェーズ）
学習フェーズにおいて、第三例の推定処理装置２０は、図１８に示すように、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、体格判定部１２１、眠気レベル取得部２５、学習済みモデル生成部２６ｂおよび学習済みモデル記憶部２７ｂを備える。

体格判定部１２１は、体格センサ１３１を兼用する面状感圧センサ１３による検出値に基づいて、着座者２の体格を判定する。体格は、例えば、２段階から５段階程度に分類するとよい。

学習済みモデル生成部２６ｂは、体格判定部１２１により判定された着座者２の体格に応じた複数の学習済みモデルを生成する。つまり、学習済みモデル生成部２６ｂは、着座者２の体格に応じて訓練データを分類し、それぞれ体格に関する訓練データを用いて学習済みモデルを生成する。生成された複数の学習済みモデルは、学習済みモデル記憶部２７ｂに記憶される。

（８−２．推定フェーズ）
推定フェーズにおいて、第三例の推定処理装置２０は、図１９に示すように、脈拍信号取得部２１、呼吸信号取得部２２、座圧信号取得部２３、特徴量抽出部２４、体格判定部１２１、学習済みモデル記憶部２７ｂおよび推定処理部２８ｂを備える。推定処理部２８ｂは、学習済みモデル記憶部２７ｂに記憶されている複数の学習済みモデルの中から、体格センサ１３１により検出された着座者２の体格に応じた学習済みモデルを決定する。そして、推定処理部２８ｂは、複数の特徴量と体格センサ１３１により検出された着座者２の体格に応じた学習済みモデルとに基づいて着座者２の眠気レベルを推定する。

（９．実験）
推定処理装置２０による眠気レベルの推定精度について確認するための実験を行った。第一例の推定処理装置２０を適用し、さらに機械学習アルゴリズム４０は、エコーステートネットワークを適用する。また、第一例のセンサ１０を適用する。

（９−１．実験方法）
ドライビングシミュレータを用い、被験者による高速道路を模擬したコースでの走行を行った。実験時間は、１回あたりおよそ１時間とし、一定速度１２０ｋｍ／ｈでの走行とした。また、実験室は、眠気を誘発しやすくするために、実験室の照明は点灯せずに行うと共に、走行するコースは、単調な直線のコースを採用した。

被験者は、図２０に示すように、２０代から６０代の健康な男女４０名であり、うち３名については時間をずらし３回の実験を実施した。さらに、被験者は、体格に相当するＢＭＩが２５以下の者とした。つまり、被験者は、肥満型を除く、やややせ型から標準型の者とした。

また、脈拍センサ１１は、光電脈波センサを用い、脈拍は、容積脈波を計測することにより取得した。呼吸センサ１２は、呼吸ピックアップを用いた。面状感圧センサ１３は、図６に示すセンサを用いた。真値としての眠気レベルは、３人の評価者によるＮＥＤＯ評定による評価結果を用いた。

機械学習アルゴリズム４０としてのエコーステートネットワークのパラメータは、内部層４２のノード数３００、内部層４２内の結合率０．２、内部層４２内の結合重み行列のスペクトル半径０．２とした。内部層４２の活性化関数は、ロジスティックシグモイド関数を用い、出力層４３の活性化関数は、双曲正接関数を用いた。被験者４０人のうちランダムに選択した３１人についての３７回分のデータを訓練データとし、残りの９人についての９回分のデータをテストデータとした。

（９−２．実験結果）
９人の９回分のテストデータについて、３人の３回分についての結果を、図２１Ａ、図２１Ｂ、図２１Ｃに示す。各図において、破線が真値を示し、実線が推定値を示す。

そして、眠気レベルを５段階のうちレベル１，２とレベル３，４，５の２段階（２値）に分類した場合、正答率は８３．３％、真陽性率は８８．７％、真陰性率は６３．２％であった。

５段階で眠気レベルを推定した場合において、図２１Ａ、図２１Ｂ、図２１Ｃより、精度よく推定されていることが分かる。また、２段階で眠気レベルを推定した場合には、非常に高い精度で推定できている。つまり、検出時間が短い場合であっても、高精度に着座者２の眠気レベルを推定することができる。

１：眠気推定システム、２：着座者、１０：センサ、１１：脈拍センサ、１２：呼吸センサ、１３，１５：面状感圧センサ、１３１：体格センサ、１３ａ，１５ａ：第一電極、１３ｂ，１５ｂ：第二電極、１３ｃ，１５ｃ：誘電層、１４：カメラ、１５：面状感圧センサ、２０：推定処理装置、２１：脈拍信号取得部、２２：呼吸信号取得部、２３：座圧信号取得部、２４：特徴量抽出部、２５：眠気レベル取得部、２６，２６ａ，２６ｂ：学習済みモデル生成部、２７，２７ａ，２７ｂ：学習済みモデル記憶部、２８，２８ａ，２８ｂ：推定処理部、３１：シート、３２：ステアリングホイール、４０：機械学習アルゴリズム、４１：入力層、４２：内部層、４３：出力層、４４：離散化処理層、５０：機械学習アルゴリズム、５１：入力層、５２ａ，５２ｂ，５２ｃ：内部層、５３ａ，５３ｂ，５３ｃ：出力層、５４：総合出力層、１２１：体格判定部、Ｄｎ：脈拍信号ピーク間隔、Ｅｎ：呼吸信号ピーク間隔、Ｔｓａｍ：所定サンプリング時間、Ｔｓｅｇ：所定セグメント時間

Claims (15)

1. 着座者の脈拍、前記着座者の呼吸および前記着座者による座圧の少なくとも２種の基本情報を検出するセンサと、
   前記センサにより検出される前記基本情報に基づいて前記着座者の眠気を推定する推定処理装置と、
   を備え、
   前記推定処理装置は、
   前記基本情報に基づいて機械学習に用いる複数の特徴量を抽出する特徴量抽出部と、
   所定の機械学習アルゴリズムにより構築されたモデルであって、前記複数の特徴量に基づいて前記着座者の眠気レベルを判定するための学習済みモデルを記憶する学習済みモデル記憶部と、
   前記複数の特徴量と前記学習済みモデルとに基づいて前記着座者の眠気レベルを推定する推定処理部と、
   を備える、眠気推定システム。
2. 前記基本情報は、少なくとも前記脈拍を含む、請求項１に記載の眠気推定システム。
3. 前記基本情報は、前記脈拍、前記呼吸および前記座圧の３種を含む、請求項１または２に記載の眠気推定システム。
4. 前記特徴量抽出部は、前記脈拍に関する特徴量として、
   所定サンプリング時間における脈拍信号ピーク間隔の平均値、
   所定セグメント時間ごとの脈拍信号ピーク間隔の平均値のそれぞれを母集団とした場合に所定サンプリング時間における母集団の標準偏差、
   所定サンプリング時間における脈拍信号ピーク間隔の標準偏差、
   所定セグメント時間ごとの脈拍信号ピーク間隔の標準偏差のそれぞれを母集団とした場合に所定サンプリング時間における母集団の平均値、
   隣接する脈拍信号ピーク間隔の差の二乗値についての所定サンプリング時間における平均値の平方根、
   隣接する脈拍信号ピーク間隔の差の絶対値についての所定サンプリング時間における平均値、
   隣接する脈拍信号ピーク間隔の差についての所定サンプリング時間における標準偏差、
   所定サンプリング時間において隣接する脈拍信号ピーク間隔の差が５０ｍｓｅｃを超える比率、
   のうち少なくとも１つを抽出する、請求項２または３に記載の眠気推定システム。
5. 前記基本情報は、少なくとも前記呼吸を含み、
   前記特徴量抽出部は、前記呼吸に関する特徴量として、
   所定サンプリング時間における呼吸信号ピーク間隔の平均値、
   所定セグメント時間ごとの呼吸信号ピーク間隔の平均値のそれぞれを母集団とした場合に所定サンプリング時間における母集団の標準偏差、
   所定サンプリング時間における呼吸信号ピーク間隔の標準偏差、
   所定セグメント時間ごとの呼吸信号ピーク間隔の標準偏差のそれぞれを母集団とした場合に所定サンプリング時間における母集団の平均値、
   隣接する呼吸信号ピーク間隔の差の二乗値についての所定サンプリング時間における平均値の平方根、
   隣接する呼吸信号ピーク間隔の差の絶対値についての所定サンプリング時間における平均値、
   隣接する呼吸信号ピーク間隔の差についての所定サンプリング時間における標準偏差、
   のうち少なくとも１つを抽出する、請求項１−３の何れか１項に記載の眠気推定システム。
6. 前記基本情報は、少なくとも前記座圧を含み、
   前記特徴量抽出部は、前記座圧に関する特徴量として、
   所定サンプリング時間における座圧信号の重心位置の基線からのゆらぎ、
   所定サンプリング時間における左右の座圧信号の重心位置の逐次差分の標準偏差、
   所定サンプリング時間における座圧信号の重心位置の分散共分散行列が定める楕円の面積、
   所定サンプリング時間における左右の座圧信号の重心位置の標準偏差、
   のうち少なくとも１つを抽出する、請求項１−３の何れか１項に記載の眠気推定システム。
7. 前記学習済みモデルは、カメラにより撮像された前記着座者の顔表情に基づいて複数の評価者が評価した眠気レベルを教師データとして生成された、請求項１−６の何れか１項に記載の眠気推定システム。
8. 前記学習済みモデルは、前記着座者の自己申告による眠気レベルを教師データとして生成された、請求項１−６の何れか１項に記載の眠気推定システム。
9. 前記機械学習アルゴリズムは、リカレントニューラルネットワーク（ＲＮＮ）である、請求項１−８の何れか１項に記載の眠気推定システム。
10. 前記機械学習アルゴリズムは、リカレントニューラルネットワーク（ＲＮＮ）の１種であるエコーステートネットワーク（ＥＳＮ）である、請求項９に記載の眠気推定システム。
11. 前記学習済みモデル記憶部は、複数の前記学習済みモデルを記憶し、
    前記推定処理部は、
    前記複数の特徴量と複数の前記学習済みモデルのそれぞれとに基づいて前記着座者の複数の予備眠気レベルを推定し、
    前記複数の予備眠気レベルに基づいて前記眠気レベルを推定する、
    請求項１−１０の何れか１項に記載の眠気推定システム。
12. 前記学習済みモデル記憶部は、前記着座者の体格に応じた複数の前記学習済みモデルを記憶し、
    前記眠気推定システムは、さらに、前記着座者の体格を検出する体格センサを備え、
    前記推定処理部は、前記複数の特徴量と、前記体格センサにより検出された前記着座者の前記体格に応じた前記学習済みモデルとに基づいて、前記着座者の眠気レベルを推定する、請求項１−１１の何れか１項に記載の眠気推定システム。
13. 前記着座者は、車両の運転者である、請求項１−１２の何れか１項に記載の眠気推定システム。
14. 前記センサは、座面に配置された１枚の面状感圧センサであり、前記脈拍、前記呼吸および前記座圧の全てを検出する共通のセンサである、請求項１−１３の何れか１項に記載の眠気推定システム。
15. 前記センサは、
    前記脈拍および前記呼吸の少なくとも一方を検出するカメラと、
    前記座圧を検出する面状感圧センサと、
    を備える、請求項１−１３の何れか１項に記載の眠気推定システム。

Images