JP7211441B2 - 覚醒度推定装置、覚醒度推定方法、及びプログラム - Google Patents

覚醒度推定装置、覚醒度推定方法、及びプログラム Download PDF

Info

Publication number
JP7211441B2
JP7211441B2 JP2020569335A JP2020569335A JP7211441B2 JP 7211441 B2 JP7211441 B2 JP 7211441B2 JP 2020569335 A JP2020569335 A JP 2020569335A JP 2020569335 A JP2020569335 A JP 2020569335A JP 7211441 B2 JP7211441 B2 JP 7211441B2
Authority
JP
Japan
Prior art keywords
arousal level
person
pulse wave
image
arousal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569335A
Other languages
English (en)
Other versions
JPWO2020157989A1 (ja
Inventor
剛範 辻川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020157989A1 publication Critical patent/JPWO2020157989A1/ja
Application granted granted Critical
Publication of JP7211441B2 publication Critical patent/JP7211441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)

Description

本発明は、人の覚醒度を推定するための、覚醒度推定装置、及び覚醒度推定方法に関し、更には、これらを実現するためのプログラムに関する。
近年、少子高齢化により生産年齢人口が減少し、労働力不足が進行している。そして、このような状況下において、今まで人が行っていた仕事の一部を、ロボット又はＡＩ（Artificial Intelligence）で置き換える試みが増加している。但し、人が行う仕事のうち、知的労働が必要となる仕事については、ロボット又はＡＩでの置き換えは困難である。このため、今後、人においては、知的労働の生産性を維持、向上することが必須となる。
ところで、人は、機械と異なり、睡眠時無呼吸症候群などの疾病、その他何等かが原因で寝不足になったり、二日酔いになったりすることで、就業中に眠気を感じる（低覚醒の状態となる）ことがある。当然、そのような状態では就業者は通常の生産性を維持することが困難となる。
就業者の覚醒状態を検出し、就業者本人に提示し、寝不足の原因を考えさせたり、生活習慣を見直すきっかけを与えたりすることで、就業中の覚醒度の低下を抑えることができる可能性がある。そのため、人の覚醒状態を精度良く検出することが重要となる。
例えば、特許文献１は、人の覚醒状態を検出する装置を開示している。具体的には、特許文献１に開示された装置は、顔画像からまばたきの時間を計測し、更に、心拍センサから心拍変動を計測する。そして、特許文献１に開示された装置は、計測したまばたき時間に延長が現れ、且つ、計測した心拍変動においてＨＦ成分の上昇の開始が認められると、入眠予兆と判定する。
特開２００９－１８０９１号公報
ところで、特許文献１に開示された装置によれば、人の覚醒状態を検出することが可能となるが、そのためには、心拍を検出するためのセンサを各人に装着させる必要がある。この結果、特許文献１に開示された装置を企業等で導入するためには、コストが掛かりすぎるという問題がある。
一方、特許文献１に開示された装置に、人の顔画像から心拍を検出する技術を導入すれば、上記問題は解決できると考えられる。但し、この場合、装置は、顔画像からまばたき時間を計測する処理に加えて、顔画像から心拍を検出する処理も常時行う必要があり、装置における処理負担が増大してしまう。また、特許文献１に開示された装置は、従業員等が業務で使用するコンピュータ、又は別の用途のために用意されたコンピュータによって実現されるため、処理負担の増大は看過できない問題である。
本発明の目的の一例は、上記問題を解消し、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出し得る、覚醒度推定装置、覚醒度推定方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における覚醒度推定装置は、
人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における覚醒度推定方法は、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を実行させる、
ことを特徴とする。
以上のように、本発明によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。
図１は、本発明の実施の形態における覚醒度推定装置の構成を示すブロック図である。 図２は、本発明の実施の形態において第２の覚醒度推定部が使用するニューラルネットワークの学習に用いられる学習データの一例を示す図である。 図３は、本発明の実施の形態における覚醒度推定装置で行われる処理を模式的に示す図である。 図４は、本発明の実施の形態における覚醒度推定装置の動作を示すフロー図である。 図５は、本発明の実施の形態における変形例３で用いられる学習データの一例を示す図である。 図６は、本発明の実施の形態における覚醒度推定装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、本発明の実施の形態における、覚醒度推定装置、覚醒度推定方法、及びプログラムについて、図１～図６を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における覚醒度推定装置の構成について説明する。図１は、本発明の実施の形態における覚醒度推定装置の構成を示すブロック図である。
図１に示す、本実施の形態における覚醒度推定装置１０は、人３０の覚醒度を推定する装置である。図１に示すように、覚醒度推定装置１０は、画像抽出部１１と、第１の覚醒度推定部１２と、脈波検出部１３と、第２の覚醒度推定部１４とを備えている。
画像抽出部１１は、人３０の顔画像の画像データから、眼を含む部分の画像を抽出する。第１の覚醒度推定部１２は、抽出された画像に基づいて、第１の覚醒度を推定する。脈波検出部１３は、推定された第１の覚醒度が設定条件を満たすかどうかを判定し、第１の覚醒度が設定条件を満たす場合に、人３０の顔画像から人３０の脈波を検出する。第２の覚醒度推定部１４は、この検出された脈波に基づいて、人３０の第２の覚醒度を推定する。
このように、本実施の形態では、まず、眼の部分の状態から推定された覚醒度が設定条件を満たす場合にのみ、顔画像からの脈波の検出処理と脈波からの覚醒度の推定とが実行されるので、装置の処理負担の増大が抑制される。また、本実施の形態において、脈波の検出のために、各人にセンサを装着させる必要はない。このため、本実施の形態によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。
続いて、本実施の形態における覚醒度推定装置１０の構成及び各部の機能についてより具体的に説明する。
図１に示すように、本実施の形態では、覚醒度推定装置１０は、撮像装置２０に接続されている。撮像装置２０は、覚醒度推定装置を使用する人３０の顔を撮影できるように配置されおり、設定間隔で、撮影した画像（顔を含む画像）の画像データを、覚醒度推定装置１０に出力する。撮像装置２０は、デジタルカメラ、Ｗｅｂカメラ等である。
画像抽出部１１は、本実施の形態では、まず、撮像装置２０が出力した画像データを受け取ると、その度に、受け取った画像データの特徴量を抽出する。続いて、画像抽出部１１は、抽出した特徴量と、予め登録されている眼及び他の顔の部分の特徴量とを比較し、比較結果を用いて、画像データ中の眼及びその周辺の領域を特定し、特定した領域の画像を抽出する。
第１の覚醒度推定部１２は、本実施の形態では、画像抽出部１１によって抽出された画像（以下「抽出画像」と表記する）から、瞼の開閉状態を検出し、検出した状態に応じて、人３０が起きているかどうかを判定し、判定結果を、第１の覚醒度とする。従って、第１の覚醒度は、人３０が起きていることを示す値「１」と、人３０が眠っていることを示す値「０」と、のうちいずれかとなる。
具体的には、第１の覚醒度推定部１２は、設定期間分の抽出画像を取得し、抽出画像毎に、抽出画像中の瞼の開閉度合（閉じている状態０．０～開いている状態１．０）を算出し、算出した開閉度合の時系列変化から、例えば、瞼が閉じられている時間を算出する。続いて、第１の覚醒度推定部１２は、瞼が閉じられている時間が閾値以下の場合は、人３０が起きていると判定し、一方、瞼が閉じられている時間が閾値を越えると、人３０が眠っていると判定する。
そして、第１の覚醒度推定部１２は、人３０が起きていると判定した場合は、人３０が起きていることを示す第１の覚醒度を「１」とする。また、第１の覚醒度推定部１２は、人３０が眠っていると判定した場合は、人３０が眠っていることを示す第１の覚醒度を「０（ゼロ）」とする。
脈波検出部１３は、第１の覚醒度推定部１２によって、人３０が起きていないと判定された場合、即ち、第１の覚醒度が「０」の場合に、第１の覚醒度が設定条件を満たすと判断し、撮像装置２０によって撮影された顔画像から人３０の脈波を検出する。本実施の形態では、脈波の検出は、既存の手法によって、例えば、ヘモグロビンが緑色光を吸収するという特性を利用して、顔画像における緑色成分の輝度（Ｇ値）の変化を検出することによって行われる。
具体的には、脈波検出部１３は、出力されてきた設定期間分の画像データ毎に、抽出された画像中の全画素の緑色成分の輝度値の平均値を算出し、これによって、緑色成分の輝度値の時系列変化を取得する。次に、脈波検出部１３は、取得した輝度値の時系列変化に対して、体や頭の動き、顔の表情変化、周囲の光環境の変化等により生じるノイズを除去する処理を行い、これらの処理後の輝度値の時系列変化を、脈波とする。
ノイズの除去処理方法としては、次に示す方法が望ましい方法としてあげられる。まず、脈波検出部１３は、設定期間分（例えば、６０秒）のノイズを含む、輝度値の時系列変化の信号を、設定期間より短い時間（例えば４秒）の窓単位で周波数変換し、窓毎にパワーが最大となる周波数（脈拍成分に相当する周波数）を算出する。そして、脈波検出部１３は、算出結果を用いて、脈拍成分に相当する周波数の時系列変化の信号を抽出する。
次に、脈波検出部１３は、抽出した周波数の時系列変化の信号から、統計値（例えば、平均値、標準偏差、最大値、及び最小値など）を算出し、算出した統計値を用いて、その周波数の時系列変化の信号がどの周波数範囲に分布するかを特定する。その後、脈波検出部１３は、時系列変化の信号が分布している周波数範囲の信号のみを通過させる帯域通過フィルタを、設定期間分（６０秒）のノイズを含む輝度値の時系列変化の信号に適用し、これによって、脈拍成分とは無関係のノイズを除去する。
上述のノイズの除去処理方法によれば、ノイズを含む輝度値の時系列変化の信号から算出した、脈拍に相当する周波数の値は誤差を含むが、設定期間分（６０秒）の統計値を算出することにより、時系列変化の信号が分布する周波数範囲という点では誤差は抑えられている。このため、効果的に、ノイズ除去後の輝度値の時系列変化、つまり、脈波を得ることができる。
第２の覚醒度推定部１４は、本実施の形態では、脈波検出部１３によって脈波として検出された時系列変化に応じて、人３０が起きているかどうかを判定し、判定結果を、第２の覚醒度とする。具体的には、第２の覚醒度推定部１４は、図２に示す学習データを用いて学習されたニューラルネットワークを用いて、人３０が起きているかどうかを判定する。図２は、本発明の実施の形態において第２の覚醒度推定部が使用するニューラルネットワークの学習に用いられる学習データの一例を示す図である。
また、本実施の形態において用いられるニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）等が挙げられる。図２においては、時刻Ｔ～時刻Ｔ＋Ｎ（例えば、６０秒間）の脈波の時系列信号が、畳み込みニューラルネットワークに入力されたときに、その結果が覚醒状態（第２の覚醒度）と一致するように、ネットワークの学習が行われる。
第２の覚醒度推定部１４は、学習データ以外の新たな脈波の時系列信号を、ニューラルネットワークに入力する。これにより、ニューラルネットワークは、第２の覚醒度の判定結果として、０または１を出力する。そして、第２の覚醒度推定部１４は、１が出力されると、人３０は起きていると判定し、０が出力されると、人３０は眠っていると判定する。
図３は、本発明の実施の形態における覚醒度推定装置で行われる処理を模式的に示す図である。図３に示すように、覚醒度推定装置１０では、眼の状態から推定された第１の覚醒度で「眠っている」と判定されて初めて、脈波の検出が行われ、検出された脈波による第２の覚醒度の推定が行われる。
［装置動作］
次に、本発明の実施の形態における、覚醒度推定装置１０の動作について図４を用いて説明する。図４は、本発明の実施の形態における覚醒度推定装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、覚醒度推定装置１０を動作させることによって、覚醒度推定方法が実施される。よって、本実施の形態における覚醒度推定方法の説明は、以下の覚醒度推定装置１０の動作説明に代える。
最初に、図４に示すように、画像抽出部１１は、撮像装置２０が出力した顔画像の画像データを受け取り、受け取った画像データから、眼を含む部分の画像を抽出する（ステップＡ１）。
次に、第１の覚醒度推定部１２は、ステップＡ１で抽出された画像（抽出画像）に基づいて、第１の覚醒度を推定する（ステップＡ２）。具体的には、第１の覚醒度推定部１２は、ステップＡ１で抽出された画像から、眼の状態を検出し、検出した状態に応じて、人３０が起きているかどうかを判定し、判定結果を、第１の覚醒度とする。
次に、脈波検出部１３は、ステップＡ２で推定された第１の覚醒度が設定条件を満たすかどうかを判定する（ステップＡ３）。具体的には、脈波検出部１３は、第１の覚醒度が、人３０が眠っていることを示しているかどうかを判定する。
ステップＡ３の判定の結果、第１の覚醒度が設定条件を満たさない場合、即ち、第１の覚醒度が、人３０が起きていることを示している場合は、脈波検出部１３は、第１の覚醒度を外部の装置に出力する（ステップＡ７）。これにより、第１の覚醒度が、外部の装置の画面に表示される。外部の装置としては、表示装置、端末装置等が挙げられる。
一方、ステップＡ３の判定の結果、第１の覚醒度が設定条件を満たしている場合、即ち、第１の覚醒度が、人３０が眠っていることを示している場合は、脈波検出部１３は、ステップＡ１で取得された画像データの顔画像から、人３０の脈波を検出する（ステップＡ４）。
次に、第２の覚醒度推定部１４は、ステップＡ４で検出された脈波に基づいて、人３０の第２の覚醒度を推定する（ステップＡ５）。具体的には、第２の覚醒度推定部１４は、本実施の形態では、脈波検出部１３によって検出された特定の画素の輝度値の時系列変化に応じて、人３０が起きているかどうかを判定し、判定結果を、第２の覚醒度とする。
その後、第２の覚醒度推定部１４は、ステップＡ５で推定した第２の覚醒度を外部の装置に出力する（ステップＡ６）。これにより、第２の覚醒度が、外部の装置の画面に表示される。
また、ステップＡ６又はＡ７の実行後、再度、ステップＡ１が実行される。ステップＡ１～Ａ７は繰り返し実行される。これにより、外部の装置の画面上には、常に最新の第１の覚醒度又は第２の覚醒度が表示されることになる。
［変形例］
以下に、本実施の形態１における変形例１～４について説明する。
変形例１：
本変形例１では、第１の覚醒度推定部１２の第１の覚醒度推定モデルを学習する際に、正解データとして与える第１の覚醒度として、顔画像を参照して付与した多段階、例えば５段階（１：全く眠くなさそう、０．７５：やや眠そう、０．５：眠そう、０．２５：かなり眠そう、０．０：非常に眠そう）の覚醒度が用いられる。第１の覚醒度推定モデルの学習は、眼の状態として、眼を閉じている時間、又はまばたきの回数等が入力され、出力が上記正解データと一致するように行われる。
また、本変形例１では、第１の覚醒度推定部１２の出力は２値（０または１）ではなく、０～１の多値となるため、脈波検出部１３は、第１の覚醒度が閾値を下回るかどうか（条件）に応じて動作する。また、閾値を上回っている場合は、脈波検出部１３は動作せず、下回っている場合は、脈波検出部１３は動作する。
変形例２：
本変形２では、第２の覚醒度推定部１４の第２の覚醒度推定モデルを学習する際に、正解データとして与える第２の覚醒度として、行動情報が用いられる。行動情報は、例えば、対象者に４段階（１．０：起きていた、０．６６：浅い眠りだった、０．３３：普通の眠りだった、０．０：深い眠りだった）のどれだったかを聞きとることによって取得される。
また、本変形例２では、第２の覚醒度推定部１４の出力は２値（０または１）ではなく、０～１の多値となる。更に、本変形例２では、第２の覚醒度推定部１４によって、多値の出力が２値（起きている又は眠っている）に変換されてから出力されてもよい。
変形例３：
本変形例３では、第２の覚醒度推定部１４は、人３０の脳の活動と人３０の脈波との関係を機械学習することによって構築された学習モデルを用いて、人３０が起きているかどうかを判定し、その判定結果を第２の覚醒度とする。
本変形例３では、学習モデルは、例えば、図５に示す学習データを用いて畳み込みニューラルネットワークを学習することによって構築できる。図５は、本発明の実施の形態における変形例３で用いられる学習データの一例を示す図である。
図５の例では、脈波信号と、そのときの人３０の脳の行動（レム睡眠、ノンレム睡眠又は起きている）を示すラベルとの、組合せデータが、学習データとして用いられている。この場合、第２の覚醒度推定部１４は、脈波の時系列信号を、学習モデルに適用することで、第２の覚醒度を推定する。
［実施の形態における効果］
以上のように本実施の形態によれば、眼の状態から推定された第１の覚醒度で「眠っている」と判定されて初めて、脈波による第２の覚醒度の推定が行われるので、覚醒度推定装置１０における処理負担の増大が抑制される。また、脈波は、第１の覚醒度と同様に、顔画像から検出されるので、脈波の検出のために別途センサを用意する必要はないことから、導入コストの増加も抑制される。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における覚醒度推定装置１０と覚醒度推定方法とを実現することができる。この場合、コンピュータのプロセッサは、画像抽出部１１、第１の覚醒度推定部１２、脈波検出部１３、及び第２の覚醒度推定部１４として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像抽出部１１、第１の覚醒度推定部１２、脈波検出部１３、及び第２の覚醒度推定部１４のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、覚醒度推定装置１０を実現するコンピュータについて図６を用いて説明する。図６は、本発明の実施の形態における覚醒度推定装置を実現するコンピュータの一例を示すブロック図である。
図６に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における覚醒度推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、覚醒度推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記２１）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
を備えている、
ことを特徴とする覚醒度推定装置。
（付記２）
付記１に記載の覚醒度推定装置であって、
前記第１の覚醒度推定部が、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
前記脈波検出部が、前記第１の覚醒度推定部によって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定装置。
（付記３）
付記２に記載の覚醒度推定装置であって、
前記第１の覚醒度推定部が、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
（付記４）
付記１または２に記載の覚醒度推定装置であって、
前記脈波検出部が、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
前記第２の覚醒度推定部が、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定装置。
（付記５）
付記４に記載の覚醒度推定装置であって、
前記第２の覚醒度推定部が、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
（付記６）
付記４に記載の覚醒度推定装置であって、
前記第２の覚醒度推定部が、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
（付記７）
付記１から６のいずれかに記載の覚醒度推定装置であって、
前記第２の覚醒度推定部が、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定装置。
（付記８）
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を有する、
ことを特徴とする覚醒度推定方法。
（付記９）
付記８に記載の覚醒度推定方法であって、
前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定方法。
（付記１０）
付記９に記載の覚醒度推定方法であって、
前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
（付記１１）
付記８または９に記載の覚醒度推定方法であって、
前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定方法。
（付記１２）
付記１１に記載の覚醒度推定方法であって、
前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
（付記１３）
付記１２に記載の覚醒度推定方法であって、
前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
（付記１４）
付記８から１３のいずれかに記載の覚醒度推定方法であって、
前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定方法。
（付記１５）
コンピュータに、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を実行させる、プログラム。
（付記１６）
付記１５に記載のプログラムであって、
前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とするプログラム。
（付記１７）
付記１６に記載のプログラムであって、
前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするプログラム。
（付記１８）
付記１５または１６に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とするプログラム。
（付記１９）
付記１８に記載のプログラムであって、
前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするプログラム体。
（付記２０）
付記１８に記載のプログラムであって、
前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするプログラム。
（付記２１）
付記１５から２０のいずれかに記載のプログラムであって、
前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とするプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。本発明は、人の覚醒状態の検出が求められているシステム、例えば、車両の運転支援システム、業務用のコンピュータシステム等に有用である。
１０ 覚醒度推定装置
１１ 画像抽出部
１２ 第１の覚醒度推定部
１３ 脈波検出部
１４ 第２の覚醒度推定部
２０ 撮像装置
３０ 人
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

  1. 人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
    抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
    推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
    検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
    を備え、
    前記第１の覚醒度推定部が、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
    前記脈波検出部が、前記第１の覚醒度推定部によって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
    ことを特徴とする覚醒度推定装置。
  2. 請求項１に記載の覚醒度推定装置であって、
    前記第１の覚醒度が、前記人が起きていること示す場合は、前記脈波検出部が、前記第１の覚醒度を表示装置に出力し、
    前記第１の覚醒度が、前記人が起きていないことを示す場合は、前記第２の覚醒度推定部が、前記第２の覚醒度を前記表示装置に出力する、
    ことを特徴とする覚醒度推定装置。
  3. 請求項１に記載の覚醒度推定装置であって、
    前記第１の覚醒度推定部が、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
    ことを特徴とする覚醒度推定装置。
  4. 請求項１に記載の覚醒度推定装置であって、
    前記脈波検出部が、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
    前記第２の覚醒度推定部が、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
    ことを特徴とする覚醒度推定装置。
  5. 請求項４に記載の覚醒度推定装置であって、
    前記第２の覚醒度推定部が、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
    ことを特徴とする覚醒度推定装置。
  6. 請求項４に記載の覚醒度推定装置であって、
    前記第２の覚醒度推定部が、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
    ことを特徴とする覚醒度推定装置。
  7. 請求項１に記載の覚醒度推定装置であって、
    前記第２の覚醒度推定部が、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
    ことを特徴とする覚醒度推定装置。
  8. 請求項４に記載の覚醒度推定装置であって、
    前記脈波検出部が、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出し、検出した前記時系列変化から脈拍成分に相当する周波数の時系列変化の信号を抽出し、そして、抽出した前記時系列変化の信号から統計値を算出し、算出した前記統計値から前記時系列変化の信号が分布する周波数範囲を特定し、更に、特定した前記周波数範囲の信号を通過させる帯域通過フィルタを用いて、前記人の脈波として、脈拍成分に相当する周波数の時系列変化の信号を抽出し、
    前記第２の覚醒度推定部が、抽出された前記信号の前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
    ことを特徴とする覚醒度推定装置。
  9. （ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
    （ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
    （ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
    （ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
    を有し、
    前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
    前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
    ことを特徴とする覚醒度推定方法。
  10. コンピュータに、
    （ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
    （ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
    （ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
    （ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
    を実行させ、
    前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
    前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
    プログラム。
JP2020569335A 2019-02-01 2019-02-01 覚醒度推定装置、覚醒度推定方法、及びプログラム Active JP7211441B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003752 WO2020157989A1 (ja) 2019-02-01 2019-02-01 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020157989A1 JPWO2020157989A1 (ja) 2021-12-16
JP7211441B2 true JP7211441B2 (ja) 2023-01-24

Family

ID=71840986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569335A Active JP7211441B2 (ja) 2019-02-01 2019-02-01 覚醒度推定装置、覚醒度推定方法、及びプログラム

Country Status (3)

Country Link
US (1) US11992317B2 (ja)
JP (1) JP7211441B2 (ja)
WO (1) WO2020157989A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443283B2 (ja) 2021-03-29 2024-03-05 公益財団法人鉄道総合技術研究所 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257043A (ja) 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2009028239A (ja) 2007-07-26 2009-02-12 Nissan Motor Co Ltd 居眠り運転検出装置
JP2013081708A (ja) 2011-10-12 2013-05-09 Aisin Seiki Co Ltd 睡眠状態判別装置および睡眠状態判別方法
JP2017012730A (ja) 2015-06-29 2017-01-19 パナソニックＩｐマネジメント株式会社 人状態推定方法、及び、人状態推定システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US7894637B2 (en) * 2004-05-21 2011-02-22 Asahi Kasei Corporation Device, program, and method for classifying behavior content of an object person
JP4985428B2 (ja) * 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
JP5007975B2 (ja) * 2007-07-13 2012-08-22 国立大学法人名古屋大学 居眠り検知装置
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5782726B2 (ja) * 2011-02-04 2015-09-24 日産自動車株式会社 覚醒低下検出装置
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
JP6201469B2 (ja) * 2013-07-12 2017-09-27 セイコーエプソン株式会社 生体情報処理装置、生体情報処理方法
CN107530016A (zh) * 2015-04-20 2018-01-02 深圳市长桑技术有限公司 一种生理体征信息获取方法和系统
CN106264449B (zh) 2015-06-29 2022-01-28 松下知识产权经营株式会社 人状态推定方法和人状态推定系统
CN106361270B (zh) 2015-07-22 2021-05-07 松下电器（美国）知识产权公司 清醒度预测方法和清醒度预测装置
CN106551690A (zh) * 2015-09-30 2017-04-05 齐心 一种生命体征测量装置及方法
JP2017205145A (ja) * 2016-05-16 2017-11-24 富士通株式会社 脈拍推定装置、脈拍推定システム、脈拍推定方法および脈拍推定プログラム
JP2018062308A (ja) * 2016-10-14 2018-04-19 オムロン株式会社 運転モード切替制御装置、方法およびプログラム
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US10393530B2 (en) * 2016-12-15 2019-08-27 Gracenote, Inc. Dynamic content delivery based on vehicle navigational attributes
JP2018114266A (ja) * 2017-01-19 2018-07-26 パナソニックＩｐマネジメント株式会社 脈波計測装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257043A (ja) 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2009028239A (ja) 2007-07-26 2009-02-12 Nissan Motor Co Ltd 居眠り運転検出装置
JP2013081708A (ja) 2011-10-12 2013-05-09 Aisin Seiki Co Ltd 睡眠状態判別装置および睡眠状態判別方法
JP2017012730A (ja) 2015-06-29 2017-01-19 パナソニックＩｐマネジメント株式会社 人状態推定方法、及び、人状態推定システム

Also Published As

Publication number Publication date
JPWO2020157989A1 (ja) 2021-12-16
WO2020157989A1 (ja) 2020-08-06
US20220313132A1 (en) 2022-10-06
US11992317B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
US9946942B2 (en) Method, apparatus and system for biometric identification
US11727279B2 (en) Method and apparatus for performing anomaly detection using neural network
US11406323B2 (en) Method and system for monitoring sleep quality
US20140309943A1 (en) System and method for the analysis of biopotential signals using motion artifact removal techniques
US20210090740A1 (en) State estimation apparatus, state estimation method, and non-transitory recording medium
Geman et al. Automatic assessing of tremor severity using nonlinear dynamics, artificial neural networks and neuro-fuzzy classifier
JPWO2019216378A1 (ja) 演算装置、検知装置、演算方法、及び、コンピュータプログラム
WO2023112384A1 (ja) 計算機システム及び情動推定方法
JP7211441B2 (ja) 覚醒度推定装置、覚醒度推定方法、及びプログラム
US11039794B2 (en) Meal detection method, meal detection system, and storage medium
US20190021633A1 (en) Detecting respiratory rates in audio using an adaptive low-pass filter
CN114901128A (zh) 心律失常性心跳弹性睡眠呼吸暂停检测
JP6853159B2 (ja) 状態推定装置
CN111407261A (zh) 生物信号的周期信息的测量方法及装置、电子设备
EP3977482A1 (en) System and method for filtering time-varying data for physiological signal prediction
JP7279812B2 (ja) ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム
WO2019146123A1 (ja) 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
Zhang et al. Sleep/wake classification via remote PPG signals
JP6604266B2 (ja) 眠気検知装置
WO2021260836A1 (ja) 学習モデル生成装置、ストレス推定装置、学習モデル生成方法、ストレス推定方法、及びコンピュータ読み取り可能な記録媒体
JP7327417B2 (ja) 状態推定装置、状態推定方法、及びプログラム
WO2022101990A1 (ja) 疲労度推定装置、疲労度推定方法、及びコンピュータ読み取り可能な記録媒体
US20220369992A1 (en) Energy efficient detection and management of atrial fibrillation
US20240090829A1 (en) Evaluation of sleep data
CN117015342A (zh) 心房颤动的节能检测和管理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R151 Written notification of patent or utility model registration

Ref document number: 7211441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151