CN108366732A - 困倦起始检测 - Google Patents

困倦起始检测 Download PDF

Info

Publication number
CN108366732A
CN108366732A CN201680073944.9A CN201680073944A CN108366732A CN 108366732 A CN108366732 A CN 108366732A CN 201680073944 A CN201680073944 A CN 201680073944A CN 108366732 A CN108366732 A CN 108366732A
Authority
CN
China
Prior art keywords
sleepy
individual
information
feature
starting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073944.9A
Other languages
English (en)
Other versions
CN108366732B (zh
Inventor
A·卡纳安
G·拉马斯瓦米
A·古扎尔
S·巴斯卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108366732A publication Critical patent/CN108366732A/zh
Application granted granted Critical
Publication of CN108366732B publication Critical patent/CN108366732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)

Abstract

困倦起始检测实现基于心率信息来预测人何时从清醒状态过渡到困倦状态。接着采取合适的行动来将人刺激至清醒状态或通知其他人其状态(关于困倦/警觉)。这一般涉及使用一个或多个心率(HR)传感器随时间捕获人的心率信息，并且接着根据所捕获的心率信息来计算心率变异性(HRV)信号。使用离散傅里叶变换和离散小波变换，分析HRV信号以提取指示个体从清醒状态到困倦状态的过渡的特征。将所提取的特征输入到已经被训练为使用相同的特征来识别个体何时进行前述过渡到困倦的人工神经网络(ANN)中。每当检测到困倦起始时，发起警告。

Description

困倦起始检测
背景技术
脑电图(EEG)是一种随时间来监视如使用放置在头皮上的多个电极所捕获的大脑的电活动的方法。关于人的精神和身体状况的信息可以从对EEG信号中观察到的所谓的脑波的分析中得出。一种这样的情况是清醒状态与困倦状态之间的转换。
在人类睡眠中，存在两种主要类型的睡眠——即，快速眼动(REM)睡眠和非快速眼动(NREM)睡眠。REM睡眠在EEG信号中可通过其特有的低振幅高频率波被识别。NREM睡眠分为三个不同的阶段：N1、N2和N3；并呈现出与REM睡眠非常不同的EEG波形。例如，N3NREM睡眠在EEG信号中展现出由高振幅低频率波表征的脑波。一般而言，随着人从N1阶段转换到N3阶段的睡眠，脑波变得更慢并且更加同步。
当人入睡时，他们身体的活动减慢，并且他们的脑波变得更慢且更大。Nl NREM睡眠经常被称为困倦睡眠或困倦，通常发生在睡眠与清醒之间。该阶段在EEG信号中表征为具有8-13Hz频率(其在清醒状态中常见)的所谓的alpha波与具有4-7Hz频率的所谓的theta波之间的转换。因此，可以在EEG信号中容易地看到从清醒状态到困倦状态的转换。
发明内容
在本文中所描述的困倦起始检测实现通常检测个体中困倦的起始。在一个一般实现中，这涉及使用捕获个体的HR信息的一个或多个心率(HR)传感器、一个或多个计算设备、以及具有能够由一个或多个计算设备执行的多个子程序的困倦起始检测器计算机程序。所述一个或多个计算设备由困倦起始检测器计算机程序的子程序引导，以首先从所述一个或多个心率传感器接收HR信息。接着从HR信息中提取一组特征。能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换。接下来，组合所提取的特征以产生困倦检测输入。接着将困倦检测输入馈送到人工神经网络(ANN)分类器中，其已经被训练为基于所提取的特征来对个体的清醒状态与个体的困倦状态进行区分。在一个实现中，还使用在EEG信号中展现出的清醒与困倦(即，N1NREM睡眠)之间的转换的指示符来部分地训练ANN分类器。接下来，从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始。如果是，则发起困倦起始警告。
应当注意的是，提供了前述发明内容以用简化形式引入在以下具体实施方式中进一步地被描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。其唯一目的在于以简化形式呈现所要求保护的主题的一些概念，以作为在下文中呈现的更加详细的描述的序言。
附图说明
关于以下描述、所附权利要求、和附图，本公开的具体特征、方面和优点将变得更好理解，其中：
图1是以简化形式示出用于实现在本文中所描述的困倦起始检测实现的系统框架的一个实现的图。
图2是以简化形式示出用于检测个体中困倦的起始的过程的示例性实现的流程图。
图3是以简化形式示出涉及远程服务器或云服务的用于实现在本文中所描述的困倦起始检测实现的系统框架的另一实现的图。
图4是以简化形式示出涉及远程服务器或云服务的用于检测个体中困倦的起始的过程的示例性实现的流程图。
图5是以简化形式示出用于训练困倦起始检测分类器的系统框架的示例性实现的图，该困倦起始检测分类器进而可以用于检测个体中困倦的起始。
图6是以简化形式示出用于训练困倦起始检测分类器的过程的示例性实现的流程图。
图7是描绘了构成用于在本文中所描述的困倦起始检测实现的示例性系统的通用计算设备的图。
具体实施方式
在下面的描述中，对形成了其部分并且作为说明示出了其中可以实践困倦起始检测实现的特定版本的附图进行了参考。应当理解的是，可以利用其他实现并且可以进行结构改变，而不脱离其范围。
还应当注意的是，为了清楚起见，在描述困倦起始检测实现时将采用特定的术语，并且这些实现不旨在限于这样选择的特定术语。此外，应当理解的是，每个特定术语包括以大致类似的方式操作以达到类似目的的其全部技术等同物。本文中对“一个实现”或“另一实现”或“示例性实现”或“替代实现”的引用意味着结合实现所描述的特定特征、特定结构或特定特性可以被包括在困倦起始检测的至少一个版本中。在说明书中的各种地方的短语“在一个实现中”、“在另一实现中”、“在示例性实现中”以及“在替代实现中”的出现不一定全部指的是相同的实现，也不一定的是与其他实现相互排斥的分离的或可替代的实现。而此外，表示项目信息提取的一个或多个实现的过程流程的顺序不固有地指示任何特定顺序或暗示其任何限制。
如在本文中所利用的，术语“组件”、“系统”、“客户端”等旨在指计算机相关的实体，其为硬件、软件(例如，执行中)、固件或其组合之一。例如，组件可以是在处理器上运行的进程、对象、可执行文件、程序、函数、库、子例程、计算机、或软件和硬件的组合。作为示例，在服务器上运行的应用和服务器两者都可以是组件。一个或多个组件可以驻留在进程内，并且组件可以定位在一个计算机上和/或分布在两个或更多个计算机之间。术语“处理器”一般被理解为是指硬件组件，例如，计算机系统的处理单元。
此外，就术语“包括”、“包括有”、“具有”、“包含”及其变型以及其他类似词语用于本具体实施方式或权利要求书之一中而言，这些术语旨在以与作为开放式过渡词而不排除任何额外或其他元素的术语“包括”相似的方式来包括。
1.0困倦起始检测
一般而言，在本文中所描述的困倦起始检测实现可以基于随时间的心率信息来预测人是何时从清醒状态转换到困倦状态的。接着可以采取合适的动作来将人刺激至清醒状态或通知其他人其状态(关于困倦/警觉)。这在需要人清醒的许多场景中是有用的，例如，当驾驶汽车时、指挥船舶时、驾驶飞机时、人们在为考试而学习时、在会议期间等。
在本文中所描述的困倦起始检测实现一般涉及使用一个或多个心率(HR)传感器随时间捕获人的心率信息，并且接着从所捕获的心率信息来计算心率变异性(HRV)信号。分析该HRV信号以提取指示个体从清醒状态转换到困倦状态(即，N1REM睡眠)的特征。将所提取的特征输入到已经被训练为使用相同的特征来识别个体何时进行前述转换到困倦的人工神经网络(ANN)中。每当检测到困倦起始时，发起可以采用各种形式的警告。
在本文中所描述的困倦起始检测的有利特征在于从HRV信号中提取的特征已被定制为具体地检测从清醒到困倦的转换。例如，在一个实现中，与采用能够从HRV信号提取的许多特征相比，仅采用11个特征。由此，处理的量以及检测困倦起始所花费的时间显著减少。
在本文中所描述的困倦起始检测实现还出于包括但不限于以下的各种其他原因而是有利的。从以下更详细的描述中将认识到的是，困倦起始检测实现中的一些是自包含的。更加特别地，它们要么完全包含在本地HR传感器设备中，要么采用这样的设备来捕获接着被转发至用户携带的计算设备的HR信息。由此，不需要外部通信(例如，不使用蜂窝数据)，并且该方案甚至可以在没有外部连通性的情况下工作(例如，在蜂窝服务不可用的情况下)。此外，在本文中所描述的困倦起始检测实现是非侵害性的，并且产生被认为超过当前正在采用的任何清醒监视方案的准确结果。
1.1系统和过程框架
该部分描述了可用于实现在本文中所描述的困倦起始检测实现的系统框架和过程框架的不同示例性实现。应注意的是，除了在该部分中所描述的系统框架实现和过程框架实现之外，还可以使用各种其他系统框架实现和过程框架实现来实行困倦起始检测实现。
图1以简化形式示出了用于实行在本文中所描述的困倦起始检测实现的系统框架的一个实现。如在图1中举例说明的，系统框架100包括一组一个或多个心率(HR)传感器102。可以采用捕获个体心率的任何类型的传感器作为心率(HR)传感器102。在一个版本中，这些HR传感器102物理地布置在(例如，穿戴在)用户身体上。在另一版本中，HR传感器102由用户104携带。在又一版本中，HR传感器102远离用户，但仍然能够检测人的心率(例如，经由成像技术)。从以下更详细的描述中将认识到的是，该组HR传感器102被配置为当用户开始其一天时，不断地(例如，在持续变化的基础上)和被动地测量(例如，捕获)与用户相关联的心率信息，并且至少输出包括该速率信息的当前值的具有时间戳的数据流。
再次参考图1，系统框架100还包括一个或多个计算设备104。在一个版本中，计算设备104驻留在一个或多个HR传感器102中，因此创建了统一的困倦起始检测设备。在另一版本中，采用与一个或多个HR传感器102分离的计算设备104。计算设备104的该后一版本可以是由用户携带的移动设备，例如，常规的智能电话或常规的平板计算机。在又一版本中，存在驻留在HR传感器102中的计算设备104以及由用户携带的分离的计算设备两者。如稍后将更加详细地描述的，该最后版本中的驻留在传感器102中的计算设备104用于执行对由传感器输出的信号的至少一些预处理。例如，如稍后将更详细地描述的，该预处理可以涉及从原始HR传感器读数中得出心率变异性(HRV)信号。
如上文所指示的，一个或多个HR传感器102可以采用不同的形式。例如，在传感器被穿戴在用户身体上的一个实现中，HR传感器102可以被封装在可穿戴设备中。一种这样的可穿戴设备是戴在个体手腕上的健康/健身跟踪设备。应当注意的是，包括HR传感器的许多不同类型的健康/健身跟踪可穿戴计算设备现在可以在市场上是可以买到的。
在具有与一个或多个HR传感器102分离的计算设备104的前述版本中，HR传感器中的每个被配置为将从传感器输出的具有时间戳的数据流无线地发送至计算设备。计算设备104由此被配置为无线地接收从该组HR传感器102发送的各种数据流。可以使用各种无线技术来实现从该组HR传感器102输出的各种数据流的无线通信。例如，该无线通信可以使用常规的蓝牙个域网来实现。使用常规的Wi-Fi局域网来实现无线通信的另一版本是可能的。使用不同的无线网络化技术的组合来实现无线通信的又一版本也是可能的。
如图1中举例说明的，系统框架100还包括困倦起始检测器计算机程序106，其具有能够由一个或多个计算设备104执行的子程序。子程序包括接收子程序108、特征提取子程序110、特征组合子程序112、人工神经网络(ANN)分类器输入子程序114、困倦起始识别子程序116、以及困倦起始警告子程序118。在一个版本中，将原始HR传感器数据120从HR传感器102输入到接收子程序108中。在另一版本中，将前述HRV信号122从HR传感器102输入到接收子程序108中。这两个输入的替代性质在图1中用虚线箭头指示。困倦起始警告124从困倦起始警告子程序118输出。如先前所指示的，这些子程序中的每个在一个或多个计算设备(例如，在下面的示例性操作环境部分中更详细地描述的那些)上实现。应当注意的是，每当存在多个计算设备时，它们经由计算机网络(例如，互联网或专有内联网)彼此进行通信。
现在参考图2，前述一个或多个计算设备由计算机程序的前述子程序引导以完成一系列过程动作。更加特别地，图2以简化形式示出了用于检测个体中困倦的起始的过程的示例性实现。该过程以从一个或多个心率传感器接收HR信息(过程动作200)开始。接着，从HR信息中提取一组特征(过程动作202)。能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换。接下来，组合所提取的特征以产生困倦检测输入(过程动作204)。将困倦检测输入输入到已经被训练为基于所提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中(过程动作206)。接着，从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始(过程动作208)。如果是，则发起困倦起始警告(过程动作210)。如果不是，则重复前述过程。
关于发起困倦起始警告，警告可以被表征为属于三个一般类别。第一类别是针对困倦而在被监视的个体的唤醒呼叫的类别。作为示例而非限制，困倦起始警告可以是显示在显示屏上的“消息”。当如前所述对一个或多个心率传感器进行封装时，该封装可以具有显示器。另外，对于采用前述移动设备的实现，该设备可以具有显示器。所述消息可以是文本或图像，或者甚至采用对于用户而言如显示屏上的闪光灯的闪光图像的形式。除了或者代替前述唤醒消息示例，唤醒消息可以采用对个体的建议的形式。例如，在驾驶车辆的个体的上下文中，消息可以包括提供最近的酒店或休息站的位置的文本。警告还可以是通过驻留在心率传感器封装或移动设备中的扬声器播放的有声警报(例如，嗡嗡声、振铃声、语音、音乐等)。警告还可以是响应于发出命令而由心率传感器封装或移动设备使用常规方法创建的触觉警报(例如，振动、轻微电击等)。还可以组合前述警报中的任何一个以创建对个体的困倦警告。另一类型的警告涉及向第三方(例如，护士、医疗专业人员、医生、睡眠研究员等)发送消息，该第三方继而警告针对困倦在被监视的个体，或者以其他方式基于个体经历困倦起始来采取动作。而另一类型的警告是响应于个体经历困倦起始而对设备采取某一行动的指令。例如，在不久的将来，个体可以驾驶所谓的联网汽车，其可以接受指令(假定遵循合适的安全协议)以接管对汽车的控制并将其驾驶到安全的地方(例如马路边)。类似地，其他“联网”设备可以以类似的方式被控制，以避免由于个体困倦而导致的事故。例如，可以关闭如炉子之类的家用电器。
如先前所指示的，困倦起始检测的前述实现和版本具有自包含的优点。它们要么完全被包含在HR感测设备中，要么采用这样的设备来捕获接着被转发至用户携带的计算设备的HR信息。然而，尽管自包含具有其优点，但其他考虑可能比这些优点更有价值。例如，在基于云的场景中，可以包括诸如人的睡眠历史、当前天气、以及其他实时信息之类的额外历史特征。由于云上的处理能力通常相当大，因此可以设想涉及同时快速大量处理多个人的睡眠信息的更复杂的模型。为此，困倦起始检测的一些实现涉及使用前述系统元件来与服务器或云服务进行通信。在该情况下，将原始HR传感器信息或经预处理的HRV信号发送至服务器或云服务，所述服务器或云服务进而检测何时发生困倦起始并发出合适的警告。这可以涉及将警告指示符发送回实现警告的用户设备或第三方或其两者。
图3示出了前述替代实现。如在图3中举例说明的，系统框架300包括一组一个或多个心率(HR)传感器302。如在先前的实现中，在一个版本中，这些HR传感器302物理地布置在(例如，穿戴在)用户的身上。在另一版本中，HR传感器302由用户携带。在又一版本中，HR传感器302远离用户，但仍然能够检测人的心率。该组HR传感器302被配置为当用户开始其一天时，不断地(例如，在持续变化的基础上)和被动地测量(例如，捕获)与用户相关联的心率信息，并且至少输出包括该速率信息的当前值的具有时间戳的数据流。系统框架300还包括一个或多个计算设备304。正如先前的实现，在一个版本中，计算设备304驻留在一个或多个HR传感器302中。在另一版本中，采用与一个或多个HR传感器302分离的计算设备304。计算设备304的该后一版本可以是由用户携带的移动设备，例如，常规的智能电话或常规的平板计算机。在又一版本中，存在驻留在HR传感器302中的计算设备304以及由用户携带的分离的计算设备两者。如之后将更详细地描述的，该后一版本中的驻留在传感器302中的计算设备304用于执行对由传感器所输出的信号的至少一些预处理，例如，从原始HR传感器读数中得出前述HRV。额外地，如前所述，在具有与一个或多个HR传感器302分离的计算设备304的前述版本中，HR传感器中的每个被配置为将从传感器输出的时间戳数据流无线地发送至计算设备。计算设备304由此被配置为无线地接收从该组HR传感器302发送的各种数据流。从该组HR传感器302输出的各种数据流的无线通信可以使用各种无线技术来实现。例如，该无线通信可以使用常规的蓝牙个域网来实现。使用常规的Wi-Fi局域网来实现无线通信的另一版本是可能的。使用不同的无线联网技术的组合来实现无线通信的又一版本也是可能的。
额外地，在图3中所示出的实现中，计算设备304(无论是仅驻留在HR传感器302中还是以由用户携带的分离的设备的形式)还被配置为通过诸如互联网(此外还有其他类型的网络)之类的数据通信网络306来与云服务308进行通信，该云服务308在远离计算设备304的一个或多个其他计算设备310上操作。远程计算设备310也可以经由网络306彼此进行通信。术语“云服务”在本文中用于指代在云中操作并且可以被托管(例如，部署)在能够位于不同地理区域(例如，世界的不同区域)的多个数据中心上的web应用。应当注意的是，在前述方案的一个版本中，云服务被替换为常规的远程服务器(未示出)。
如在图3中进一步举例说明的，系统框架300包括在与云服务308(或远程服务器)相关联的一个或多个计算设备310上操作的困倦起始检测器计算机程序312。困倦起始检测器计算机程序312具有能够由一个或多个计算设备310执行的子程序。所述子程序包括接收子程序314、特征提取子程序316、特征组合子程序318、人工神经网络(ANN)分类器输入子程序320、困倦起始识别子程序322、以及困倦起始警告子程序324。在一个版本中，将原始HR传感器数据326从HR传感器304输入到接收子程序314中。在另一版本中，将前述HRV信号328输入到接收子程序314中。这两个输入的替代性质在图3中用虚线箭头指示。困倦起始警告330从困倦起始警告子程序324经由网络306输出。如先前所指示的，这些子程序中的每个在一个或多个计算设备(例如，在下面的示例性操作环境部分中更详细地描述的那些)上实现。应当注意的是，每当存在多个计算设备时，它们经由计算机网络(例如，互联网或专有内联网)彼此进行通信。
现在参考图4，与云服务(或远程服务器)相关联的前述一个或多个计算设备由困倦起始检测器计算机程序的前述子程序引导，以完成一系列过程动作。更加特别地，图4以简化形式示出了用于检测个体中困倦的起始的过程的示例性实现。过程以接收个体的HR信息开始(过程动作400)。该HR信息经由数据通信网络从与前述一个或多个HR传感器相关联的计算设备接收。接着，从HR信息中提取一组特征(过程动作402)。能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换。接下来，组合所提取的特征以产生困倦检测输入(过程动作404)。将困倦检测输入输入到已经被训练为基于所提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中(过程动作406)。接着，从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦起始(过程动作408)。如果是，则发送困倦起始通知(过程动作410)。如果不是，则重复前述过程。
如前所述，自包含的实现(例如，在图1和图2中所示)发起困倦起始警告。由云服务(或远程服务器)所发送的困倦起始通知用于类似的效果。如先前所指示的，警告的类型中的一个涉及针对困倦在被监视的个体的唤醒呼叫。即，作为示例而非限制，困倦起始通知可以是被发送至先前描述的经封装的一个或多个心率传感器或前述移动设备的“消息”。所述消息可以是显示在与传感器或移动设备相关联的显示屏上的文本或图像，或者甚至采用对于用户而言如显示屏上的闪光灯的闪光图像的形式。除了或者代替前述唤醒消息示例，唤醒消息可以采用对个体的建议的形式。例如，在驾驶车辆的个体的上下文中，消息可以包括提供最近的酒店或休息站的位置的文本。警告还可以是通过驻留在心率传感器封装或移动设备中的扬声器播放的有声警报(例如，嗡嗡声、振铃声、语音、音乐等)。警告还可以是响应于发出命令而由心率传感器封装或移动设备使用常规方法创建的触觉警报(例如，振动、轻微电击等)。还可以组合前述警报中的任何一个以创建对个体的困倦警告。另一类型的警告涉及向第三方(例如，护士、医疗专业人员、医生、睡眠研究员等)发送消息，该第三方继而警告针对困倦在被监视的个体，或者以其他方式基于个体经历困倦起始来采取动作。而另一类型的警告是响应于个体经历困倦起始而对设备采取某一行动的指令。例如，在不久的将来，个体可能驾驶所谓的联网汽车，其可以接受指令(假定遵循适当的安全协议)以接管对汽车的控制并将其驾驶到安全的地方(如马路边)。类似地，可以以类似的方式来控制其他“联网”设备，以避免由于个体的困倦而导致的事故。例如，可以关闭如炉子之类的家用电器。
1.2特征提取
如先前所指示的，在自包含的实现或基于云服务的实现之一中，采用已经被训练为基于前述所提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器来检测在被监视的个体的困倦起始。在该部分中，将描述示例性特征提取方法以及所提取的特征的示例性类型。
医学研究指出，心率和个体对困倦的感知是有联系的。更加特别地，使用对人的心率的测量来检测该个体何时从清醒状态转换到困倦状态(即，N1NREM睡眠)是可能的。典型的心电图(EKG或ECG)所产生的波形包括一系列QRS复合波。这些复合波中的每个由三个偏转的组合构成——即，被称为Q波、R波和S波的偏转。Q波和S波通常由初始负向或向下的偏转来表征，而R波通常由初始正向或向上的偏转来表征。心电图中的两个连续的R波之间所经过的时间被称为RR间隔。在本文中所描述的困倦起始检测实现中采用的一个或多个HR传感器能够至少检测R波波峰。在一个实现中，检测到的R波波峰形成由一个或多个HR传感器所捕获的前述原始HR信号。心率变异性(HRV)是R波波峰之间的时间间隔的变化的生理现象。其是通过RR间隔的变化来测量的。HRV信号是通过与HR传感器相关联的计算设备或者分离的计算设备(例如，由在被监视的个体所携带的移动设备，或者通过与云服务(或远程服务器)相关联的计算设备)从原始HR信号计算的。
在一个实现中，随着HRV信号被生成，其被分为规定长度的分段的序列。在一个版本中，这些段的长度为两分钟，并且表示大约120个RR间隔值(即，1Hz信号分段)。在一个实现中，接着在特征提取之前上采样HRV信号的两分钟分段。更加特别地，采用曲线拟合技术(这样的三次样条插值)来将在分段的RR间隔值中看到的变化建模为方程。接着，对所得出的方程进行采样。在一个版本中，在120个RR间隔是由所述方程表示的情况下，使用常规方法来获取840个采样。这表示对原始HRV分段的七倍上采样。执行该上采样(即，1Hz到7Hz)，这是因为发现7Hz信号分段很好地配合马上将描述的特征提取方法进行操作。
在一个实现中，前述规定长度的HRV信号分段是基于滚动窗口从HRV信号获取的，这使得在每个段之间存在规定的偏移时间。例如，在两分钟长度的分段的情况下，偏移可以是大于0且小于2分钟的任何时间段。在一个版本中，采用1分钟的偏移量，以使得50％的数据与先前的分段是共同的，而50％是新数据。
从经上采样的HRV信号的每个连续分段提取前述一组特征。在一个实现中，该特征提取通常涉及对离散快速傅里叶变换(DFFT)和采用一组3阶Symlet母波的离散小波变换(DWT)的使用。尽管可以从所产生的经频率变换的HRV信号分段中得到许多特性，但已经发现低频(LF)分量的功率与高频(HF)分量的功率的比率特别地指示清醒与困倦之间的转换。如此，在一个实现中，将该LF与HF功率比被选择为前述所提取的特征中的一个。
关于DWT，在一个实现中，执行对HRV分段的8级分解。使用常规方法来计算经分解的分段与Symlet母波在每个等级之间的差的熵，以产生一系列上限D熵系数(即，D1，...，D8)和一系列下限A熵系数(即，A1，...，A8)。系数的各种平均值还可以被计算并且被用作所提取的特征，此外还有其他组合。然而，已经发现DWT系数和组合中的一些与其他相比更能指示清醒与困倦之间的转换。例如，已经发现以下DWT系数与其他系数相比更能指示所述转换：
a)D1到D8熵系数；
b)A8熵系数；以及
c)A1到A8熵系数的平均值
由此，在可以使用HRV分段的DFFT和DWT分析所提取的许多系数中，发现上述十一个系数(即，LF/HF功率比、D1到D8熵、A8熵、以及A1到A8熵的平均值)提供对清醒与困倦之间的转换的具体指示。
1.3分类器训练
图5以简化形式示出了在训练困倦起始检测分类器时使用的系统框架的示例性实现，所述分类器进而可以用于检测个体中困倦的起始。如在图5中举例说明的，系统框架500包括困倦起始检测器训练计算机程序502，其具有能够由一个或多个计算设备执行的子程序。这些子程序包括接收子程序504，并且针对与多个个体(I1，I2，...，In)中的每个相关联的HR信息，包括提取子程序506和组合子程序508。另外，存在训练子程序510，其使用针对每个个体(I1，I2，...，In)的组合子程序的输出进行训练。由多个个体的一个或多个心率传感器输出的HR信息512以及针对个体中的每个的指定该个体是处于清醒状态还是处于困倦状态的困倦指示符514被输入至接收子程序504。从训练子程序510输出经训练的困倦起始检测分类器516。这些子程序中的每个在一个或多个计算设备(例如，在以下“示例性操作环境”部分中更详细地描述的计算设备)上实现。应当注意的是，每当存在多个计算设备时，它们可以经由计算机网络(例如，互联网或专有内联网)彼此通信。
现在参考图6，前述一个或多个计算设备由困倦起始检测器训练计算机程序的前述子程序引导，以完成一系列过程动作。更加特别地，经由接收子程序来接收由多个个体的一个或多个心率传感器所输出的HR信息以及针对个体中的每个的指定该个体在HR信息被捕获时是处于清醒状态还是处于困倦状态的困倦指示符(过程动作600)。在一个实现中，从使用先前描述的用于识别人是处于清醒状态还是困倦状态(即，N1NREM睡眠)的脑电图方法所捕获的EEG信号中得出困倦指示符。此外，所捕获的HR信息以及相关联的困倦指示符对应于个体从清醒状态转换到困倦状态的时间。
接下来选择与前述个体中的先前未选择的一个相关联的HR信息(过程动作602)。使用提取子程序来从所选择的HR信息中提取一组特征(过程动作604)。能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换。接着，使用组合子程序来组合所提取的特征以产生困倦检测输入(过程动作606)。接下来，确定是否存在尚未选择和处理的与个体相关联的HR信息(过程动作608)。如果存在，则重复过程动作602至608。当已经选择和处理了与全部个体相关联的HR信息时，训练子程序接着使用与多个个体中的每个相关联的困倦检测输入和困倦指示符来训练人工神经网络(ANN)分类器以区分个体的清醒状态和个体的困倦状态(过程动作610)。这样训练使用常规的ANN训练方法来完成。
2.0示例性操作环境
在本文中所描述的困倦起始检测实现操作性地使用许多类型的通用或专用计算系统环境或配置。图7示出了通用计算机系统的简化示例，利用该通用计算机系统可以实现在本文中所描述的困倦起始检测的各种方面和元素。应当注意的是，在图7中所示出的简化的计算设备10中由虚线或点划线表示的任何方框表示简化的计算设备的替代实现。如以下所描述的，这些替代实现中的任何一个或全部可以结合在该文档通篇中描述的其他替代实现一起使用。简化的计算设备10通常被发现在具有至少一些最小计算能力的设备中，例如，个人计算机(PC)、服务器计算机、手持式计算设备、膝上型计算机或移动计算机、诸如蜂窝电话和个人数字助理(PDA)之类的通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费性电子产品、网络PC、小型计算机、大型计算机、以及音频或视频媒体播放机。
为了实现在本文中所描述的困倦起始检测实现，设备应当具有足够的计算能力和系统存储器以使能基本的计算操作。特别地，在图7中所示出的简化的计算设备10的计算能力一般是由一个或多个处理单元12示出的，并且还可以包括一个或多个图形处理单元(GPU)14，处理单元12和图形处理单元14中的任何一个或两者与系统存储器16进行通信。应当注意的是，简化的计算设备10的处理单元12可以是专用微处理器(例如，数字信号处理器(DSP)、超长指令字(VLIW)处理器、现场可编程门阵列(FPGA)或其他微控制器)，或者可以是具有一个或多个处理核心的常规中央处理单元(CPU)。
另外，简化的计算设备10还可以包括其他组件，例如，通信接口18。简化的计算设备10还可以包括一个或多个常规的计算机输入设备20(例如，触摸屏、触摸感应表面、指向设备、键盘、音频输入设备、基于语音或话音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)，或者这些设备的任何组合。
类似地，与简化的计算设备10以及与可穿戴感测装置的任何其他组件或特征的各种交互(包括对与困倦起始检测相关联的一个或多个用户或其他设备或系统的输入、输出、控制、反馈、以及响应)是由多种自然用户界面(NUI)场景使能的。NUI技术和场景包括但不限于允许一个或多个用户以“自然”方式进行交互的界面技术，而没有由诸如鼠标、键盘、遥控器之类的输入设备所施加的人为约束。
通过使用如下各种技术来使能这样的NUI实现，所述技术包括但不限于使用从经由麦克风或其他传感器所捕获的用户话音或语声中得到的NUI信息。这样的NUI实现还可以通过使用以下各种技术来使能，所述技术包括但不限于从用户的面部表情以及从用户的手、手指、手腕、手臂、腿、身体、头部、眼睛等的位置、运动或朝向中得到的信息，其中这样的信息可以使用各个类型的2D或深度成像设备(例如，立体或飞行时间相机系统、红外相机系统、RGB(红、绿和蓝)相机系统等)或这些设备的任何组合来捕获。这样的NUI实现的另外的示例包括但不限于，从触摸和触笔识别、(屏幕或显示器的屏幕上和表面附近的)手势识别、空中或基于接触的手势、(各种表面、对象或其他用户上的)用户触摸、基于悬停的输入或动作等中得到的NUI信息。这样的NUI实现还可以包括但不限于，对各种预测性机器智能过程的使用，其单独地或者结合其他NUI信息来评估当前或过去的用户行为、输入、动作等以预测诸如用户意图、期望、和/或目标之类的信息。无论基于NUI的信息的类型或来源如何，这样的信息接着可以用于发起、终止或以其他方式对在本文中所描述的困倦起始检测实现的一个或多个输入、输出、动作或功能特征进行控制或交互。
然而，应当理解的是，可以通过将人为约束或额外信号的使用与NUI输入的任意组合进行组合来进一步增强前述示例性NUI场景。这样的人为约束或额外信号可以由诸如鼠标、键盘、和遥控器之类的输入设备，或者通过各种远程的或用户穿戴的设备来施加或生成，所述远程或用户穿戴的设备例如，加速度计、用于接收表示由用户的肌肉所生成的电信号的肌电信号的肌电图(EMG)传感器、心率监视器、用于测量用户排汗的电流皮肤传导传感器、用于测量或以其他方式感测用户大脑活动或电场的可穿戴或远程生物传感器、用于测量用户体温改变或差值的可穿戴或远程的生物传感器，等等。从这些类型的人为约束或额外信号中所得到的任何这样的信息可以与任何一个或多个NUI输入结合以发起、终止或以其他方式对在本文中所描述的困倦起始检测实现的一个或多个输入、输出、动作或功能特征进行控制或交互。
简化的计算设备10还可以包括其他可选组件，例如，一个或多个常规计算机输出设备22(例如，显示设备24、音频输出设备、视频输出设备、用于发送有线或无线数据传输的设备等等)。应当注意的是，针对通用计算机的典型的通信接口18、输入设备20、输出设备22、以及存储设备26对于本领域技术人员而言是公知的，并且将不在本文中详细描述。
在图7中所示出的简化的计算设备10还可以包括多种计算机可读介质。计算机可读介质可以是能够由计算机10经由存储设备26存取的任何可用的介质，并且可以包括可移除28和/或不可移除30的易失性和非易失性介质两者，以用于存储诸如计算机可读指令或计算机可执行指令、数据结构、程序、子程序或其他数据之类的信息。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质是指有形的计算机可读或机器可读介质或存储设备，例如，数字多功能盘(DVD)、蓝光盘(BD)、压缩盘(CD)、软盘、磁带驱动器、硬盘驱动器、光学驱动器、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储、智能卡、闪速存储器(例如，卡、棒、和键驱动)、盒式磁带、磁带、磁盘存储、磁条或其他磁存储设备。此外，传播的信号不包括在计算机可读存储介质的范围内。
诸如计算机可读指令或计算机可执行指令、数据结构、程序、子程序等之类的信息的保留还可以通过使用用于对一个或多个调制数据信号或载波进行编码的各种前述通信介质(与计算机存储介质相反)中的任何一个或其他传输机制或通信协议来完成，并且可以包括任何有线或无线信息传递机制。应当注意的是，术语“调制数据信号”或“载波”通常是指具有以关于对信号中的信息进行编码这样的方式来设置或改变的信号特性中的一个或多个的信号。例如，通信介质可以包括有线介质，例如，承载一个或多个调制数据信号的有线网络或直接有线连接；以及用于发送和/或接收一个或多个调制数据信号或载波的无线介质，例如，声学、射频(RF)、红外、激光、以及其他无线介质。
此外，实施在本文中所描述的各种困倦起始检测实现中的一些或全部的软件、程序和/或计算机程序产品或其部分可以从计算机可读介质或机器可读介质或存储设备和通信介质的任何期望的组合中，以计算机可执行指令或其他数据结构的形式被存储、接收、发送或读取。额外地，所要求保护的主题可以被实现为使用标准编程和/或工程技术来生产用于控制计算机实现所公开的主题的软件、固件、硬件或其任何组合的方法、装置或制品。在本文中所使用的术语“制品”旨在包含能够从任何计算机可读设备或介质访问的计算机程序。
还可以在由计算设备执行的诸如程序之类的计算机可执行指令的一般上下文中描述在本文中所描述的困倦起始检测实现。一般而言，程序包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在本文中所描述的困倦起始检测实现还可以在由一个或多个远程处理设备执行任务的分布式计算环境中实践，或者在通过一个或多个通信网络链接的一个或多个设备的云内实践。在分布式计算环境中，程序可以位于包括介质存储设备的本地计算机存储介质和远程计算机存储介质两者中。额外地，前述指令可以部分或全部实现为可以包括或可以不包括处理器的硬件逻辑电路。
可替代地或另外地，在本文中所描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如并且没有限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。
3.0其他实现
应注意的是，在说明书通篇的前述实现中的任何一个或全部可以以任何期望的组合使用以形成额外的混合实现。另外，尽管已以特定于结构特征和/或方法动作的语言对主题进行描述，但是应当理解的是，在所附权利要求中所定义的主题不一定限于以上所描述的特定特征或动作。相反，上文所描述的特定特征和动作是作为实现权利要求的示例形式公开的。
上文已描述的内容包括示例实现。当然，出于描述所要求保护的主题的目的，不可能描述组件或方法的每个能够想到的组合，但是本领域技术人员可以认识到许多进一步的组合和排列是可能的。由此，所要求保护的主题旨在涵盖落入所附权利要求的精神和范围内的全部这样的改变、修改和变型。
关于由以上所描述的组件、设备、电路、系统等执行的各种功能，用于描述这样的组件的术语(包括对“模块”的引用)旨在对应于(除非另有指示)执行所描述的组件的指定功能的任何组件(例如，功能等同物)，即使在结构上不等同于执行所要求保护的主题的本文中示出的示例性方面中的功能的所公开的结构。就这一点而言，还将理解的是，前述实现包括具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的系统以及计算机可读存储介质。
存在实现前述实现(例如，合适的应用程序编程接口(API)、工具套件、驱动程序代码、操作系统、控制、独立或可下载的软件对象等)的多种方式，这些方式使得应用和服务能够使用在本文中所描述的实现。所要求保护的主题从API(或其他软件对象)的角度以及从根据在本文中所阐述的实现操作的软件或硬件对象的角度来构想该使用。因此，在本文中所描述的各种实现可以具有完全以硬件、或部分以硬件并且部分以软件、或者完全以软件的方面。
已经关于几个组件之间的交互描述了前述系统。将认识到的是，这样的系统和组件可以包括那些组件或指定的子组件、指定的组件或子组件中的一些、和/或额外的组件，并且是根据前述的各种排列和组合。子组件还可以被实现为通信地耦合至其他组件的组件，而不是包括在父组件内(例如，分层组件)。
额外地，应注意的是，一个或多个组件可以被组合成提供聚合功能的单个组件或者被分成几个分离的子组件，并且可以提供诸如管理层之类的任何一个或多个中间层，以通信地耦合至这样的子组件以便提供集成的功能。在本文中所描述的任何组件还可以与在本文中没有具体描述但本领域技术人员通常已知的一个或多个其他组件进行交互。
4.0权利要求支持和进一步的实现
以下段落总结了可以在本文档中要求保护的实现的各种示例。然而，应当理解的是，下面总结的实现不旨在限制考虑到前面的说明书而可以要求保护的主题。此外，下面总结的实现中的任何一个或全部可以以与前述说明书通篇中所描述的实现、和在附图中的一个或多个中示出的任何实现、以及下面描述的任何其他实现中的一些或全部的任何期望的组合来要求保护。另外，应注意的是，以下实现旨在根据贯穿本文档所描述的前述说明书和附图来理解。
在一个实现中，采用一种用于检测个体中困倦的起始的系统。该系统包括一个或多个心率(HR)传感器，其捕获个体的HR信息；以及一个或多个计算设备，每当存在多个计算设备时，计算设备经由计算机网络彼此通信。所述系统还包括困倦起始检测器计算机程序，其具有能够由一个或多个计算设备执行的多个子程序。一个或多个计算设备由困倦起始检测器计算机程序的子程序引导，以从一个或多个心率传感器接收HR信息；从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合所提取的特征以产生困倦检测输入；将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始；并且每当困倦检测输入指示个体展现出困倦的起始时，发起困倦起始警告。
在HR信息包括由一个或多个HR传感器所捕获的原始HR信号的系统的一个实现中，用于从HR信息提取一组特征的子程序包括首先从原始HR信号计算心率变异性(HRV)信号。在系统的另一实现中，一个或多个HR传感器包括计算设备，所述计算设备从由一个或多个HR传感器所捕获的原始HR信号计算心率变异性(HRV)信号。前述HR信息包括该HRV信号。在又一实现中，一个或多个心率(HR)传感器和一个或多个计算设备驻留在统一的困倦起始检测设备中。在该实现的一个版本中，困倦起始检测设备是穿戴在个体的人上的可穿戴设备或者由个体携带的移动设备。在又一实现中，一个或多个心率(HR)传感器驻留在穿戴在个体的人上的可穿戴设备中，并且一个或多个计算设备驻留在由个体携带的移动设备中，并且可穿戴设备与移动设备进行无线通信。在该实现的一个版本中，HR信息包括发送至由个体携带的移动设备的由一个或多个HR传感器所捕获的原始HR信号。在另一版本中，HR信息包括由一个或多个HR传感器所捕获的原始HR信号，并且一个或多个HR传感器包括从原始HR信号计算心率变异性(HRV)信号的计算设备，其中HRV信号被发送至由个体携带的移动设备。
系统的一个实现还包括分段子程序，其在执行用于从HR信息中提取一组特征的子程序之前被执行。每当从一个或多个心率传感器接收到的HR信息是以心率变异性(HRV)信号为形式时，该分段子程序将接收到的HR信息分段成规定长度的分段的序列。此外，每当接收到的HR信息不是以心率变异性(HRV)信号为形式时，分段子程序在将HRV信号分段成规定长度的分段的序列之前从接收到的HR信息来计算HRV信号。在HRV信号分段中的每个被创建时对其执行针对以下操作的子程序：从HR信息提取一组特征，组合所提取的特征，将困倦检测输入输入到ANN分类器中，从ANN分类器的输出识别困倦检测输入是否指示个体展现出困倦的起始，并且每当困倦检测输入指示个体展现出困倦的起始时，发起困倦起始警告。在一个版本中，HRV信号的这些规定长度的分段的长度每个为两分钟，并且表示滚动窗口，以使得在每个段之间存在规定的偏移时间。在一个变型中，每个两分钟长的HRV信号分段表示大约120个心率变化值，并且分段子程序还包括使用曲线拟合技术将每个HRV信号分段上采样到大约840个样本心率变化值。在另一版本中，用于从每个HRV信号分段提取一组特征的子程序包括使用离散快速傅里叶变换(DFFT)和离散小波变换(DWT)来提取一组特征。在一个变型中，DFFT用于计算HRV信号分段的低频分量的功率与HRV信号分段的高频(HF)分量的功率的比率以作为提取的特征，并且DWT用于根据HRV分段的8级分解计算D1到D8熵系数、A8熵系数以及A1到A8熵系数的平均值以作为提取的特征。
在系统的一个实现中，用于发起困倦起始警告的子程序包括以显示在所述个体能够观看的显示屏上的消息的形式发起对所述个体的唤醒呼叫。在一个版本中，该消息包括文本、或图像、或在显示屏上显示为闪光灯的闪光图像、或前述的任意组合。在另一实现中，用于发起困倦起始警告的子程序包括向个体发起以通过个体的听力范围内的扬声器播放的有声警报形式的唤醒呼叫。在又一实现中，用于发起困倦起始警告的子程序包括向个体发起以个体可以感觉到的触觉警报形式的唤醒呼叫。在又一实现中，用于发起困倦起始警告的子程序包括向第三方发送请求第三方警告个体的消息。
在一个实现中，采用另一系统来检测个体的困倦的起始。该系统包括一个或多个计算设备，每当存在多个计算设备时，计算设备经由计算机网络来彼此通信。系统还包括困倦起始检测器计算机程序，其具有能够由一个或多个计算设备执行的多个子程序。一个或多个计算设备由困倦起始检测器计算机程序的子程序引导，以接收个体的心率(HR)信息，其中一个或多个计算设备通过数据通信网络同与捕获HR信息的一个或多个HR传感器相关联的远程计算设备进行通信，并且其中，HR信息是从远程计算设备经由数据通信网络接收的。一个或多个计算设备还由困倦起始检测器计算机程序的子程序引导以从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合所提取的特征以产生困倦检测输入；将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始；并且每当困倦检测输入指示个体展现出困倦的起始时，发送困倦起始通知。
在一个实现中，采用另一系统来训练困倦起始检测分类器。该系统包括一个或多个计算设备，每当存在多个计算设备时，计算设备经由计算机网络彼此通信。系统还包括困倦起始检测器训练计算机程序，其具有能够由一个或多个计算设备执行的多个子程序。一个或多个计算设备由困倦起始检测器训练计算机程序的子程序引导，以接收由用于多个个体的一个或多个心率传感器输出的HR信息，以及针对个体中的每个的指定在HR信息被捕获时该个体是处于清醒状态还是处于困倦状态的困倦指示符。对于与多个个体中的每个相关联的HR信息，从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换，并且组合所提取的特征以产生困倦检测输入。使用与多个个体中的每个相关联的困倦检测输入和困倦指示符来训练人工神经网络(ANN)分类器以区分个体的清醒状态和个体的困倦状态。
在一个实现中，采用计算机实现的过程来检测个体的困倦的起始，该过程包括使用计算设备来执行以下过程动作：从一个或多个心率传感器接收HR信息；从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合所提取的特征以产生困倦检测输入；将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始；并且每当困倦检测输入指示个体展现出困倦的起始时，发起困倦起始警告。
在另一实现中，采用计算机实现的过程来检测个体的困倦的起始，该过程包括使用计算设备来执行以下过程动作：接收个体的心率(HR)信息，其中，一个或多个计算设备通过数据通信网络同与捕获HR信息的一个或多个HR传感器相关联的远程计算设备进行通信，并且其中，HR信息是从远程计算设备经由数据通信网络接收的。过程动作还包括从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合所提取的特征以产生困倦检测输入；将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始；并且每当困倦检测输入指示个体展现出困倦的起始时，发送困倦起始通知。
在另一实现中，采用计算机实现的过程来训练困倦起始检测分类器，该过程包括使用计算设备来执行以下过程动作：接收由用于多个个体的一个或多个心率传感器输出的HR信息，以及针对个体中的每个的指定在HR信息被捕获时该个体是处于清醒状态还是处于困倦状态的困倦指示符。对于与多个个体中的每个相关联的HR信息，从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换，并且组合所提取的特征以产生困倦检测输入。接着使用与多个个体中的每个相关联的困倦检测输入和困倦指示符来训练人工神经网络(ANN)分类器以区分个体的清醒状态和个体的困倦状态。
在一个实现中，检测个体的困倦的起始包括使用计算设备来执行以下过程步骤：接收步骤，用于从一个或多个心率传感器接收HR信息；提取步骤，用于从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合步骤，用于组合所提取的特征以产生困倦检测输入；输入步骤，用于将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；识别步骤，用于从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始，并且每当困倦检测输入指示个体展现出困倦的起始时，执行用于发起困倦起始警告的发起步骤。
在另一实现中，检测个体的困倦的起始包括使用计算设备来执行以下过程步骤：接收步骤，用于接收个体的心率(HR)信息，其中，一个或多个计算设备通过数据通信网络同与捕获HR信息的一个或多个HR传感器相关联的远程计算设备进行通信，并且其中，HR信息是从远程计算设备经由数据通信网络接收的。过程步骤还包括提取步骤，用于从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；组合步骤，用于组合所提取的特征以产生困倦检测输入；输入步骤，用于将困倦检测输入输入到已经被训练为基于提取的特征来区分个体的清醒状态和个体的困倦状态的人工神经网络(ANN)分类器中；识别步骤，用于从ANN分类器的输出中识别困倦检测输入是否指示个体展现出困倦的起始；并且每当困倦检测输入指示个体展现出困倦的起始时，执行用于发送困倦起始通知的发送步骤。
在另一实现中，训练困倦起始检测分类器包括使用计算设备来执行以下过程步骤：接收步骤，用于接收由用于多个个体的一个或多个心率传感器输出的HR信息、以及针对个体中的每个的指定在HR信息被捕获时该个体是处于清醒状态还是处于困倦状态的困倦指示符。对于与多个个体中的每个相关联的HR信息，执行提取步骤，其用于从所述HR信息中提取一组特征(能够从HR信息中提取的许多特征中的特征)，其已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；以及执行组合步骤，其用于组合所提取的特征以产生困倦检测输入。接着执行训练步骤，其用于使用与多个个体中的每个相关联的困倦检测输入和困倦指示符来训练人工神经网络(ANN)分类器以区分个体的清醒状态和个体的困倦状态。

Claims (15)

1.一种用于检测个体中困倦的起始的系统，包括：
一个或多个心率(HR)传感器，其捕获所述个体的HR信息；
一个或多个计算设备，每当存在多个计算设备时，所述计算设备彼此进行通信；以及
困倦起始检测器计算机程序，其具有能够由所述一个或多个计算设备执行的多个子程序，所述一个或多个计算设备由所述困倦起始检测器计算机程序的所述子程序引导以进行以下操作：
从所述一个或多个心率传感器接收所述HR信息；
从所述HR信息中提取一组特征，能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；
组合所提取的特征以产生困倦检测输入；
将所述困倦检测输入输入到人工神经网络(ANN)分类器中，所述ANN分类器已被训练为基于所述提取的特征来在所述个体的清醒状态与所述个体的困倦状态之间进行区分；
从所述ANN分类器的输出中识别所述困倦检测输入是否指示所述个体展现出困倦的起始；并且
每当所述困倦检测输入指示所述个体展现出困倦的起始时，发起困倦起始警告。
2.根据权利要求1所述的系统，还包括分段子程序，所述分段子程序在执行用于从所述HR信息中提取所述一组特征的所述子程序之前被执行，每当从所述一个或多个心率传感器接收到的HR信息是以心率变异性(HRV)信号为形式时，所述分段子程序将所接收到的HR信息分段成规定长度的分段的序列，并且每当所述接收到的HR信息不是以心率变异性(HRV)信号的形式时，所述分段子程序在将所述HRV信号分段成所述规定长度的分段的序列之前从所接收到的HR信息来计算所述HRV信号，并且其中，在HRV信号分段中的每个HRV信号分段被创建时对其执行用于进行以下操作的子程序：从所述HR信息提取一组特征，组合所述提取的特征，将所述困倦检测输入输入到所述ANN分类器中，从所述ANN分类器的输出识别所述困倦检测输入是否指示所述个体展现出困倦的起始，以及每当所述困倦检测输入指示所述个体展现出困倦的起始时发起困倦起始警告。
3.根据权利要求2所述的系统，其中，所述HRV信号的所述规定长度的分段每个长度为两分钟并且表示滚动窗口，以使得在每个分段之间存在规定的偏移时间。
4.根据权利要求3所述的系统，其中，每个两分钟长的HRV信号分段表示大约120个心率变化值，并且其中，所述分段子程序还包括使用曲线拟合技术将每个HRV信号分段上采样到大约840个样本心率变化值。
5.根据权利要求2所述的系统，其中，用于从每个HRV信号分段中提取所述一组特征的子程序包括使用离散快速傅里叶变换(DFFT)和离散小波变换(DWT)来提取所述一组特征。
6.根据权利要求5所述的系统，其中，所述DFFT用于计算所述HRV信号分段的低频分量的功率与所述HRV信号分段的高频(HF)分量的功率的比率作为所提取的特征，并且其中，所述DWT用于从所述HRV分段的8级分解来计算D1到D8熵系数、A8熵系数、以及所述A1到A8熵系数的平均值作为所提取的特征。
7.根据权利要求1所述的系统，其中，所述HR信息包括由所述一个或多个HR传感器所捕获的原始HR信号，并且其中，用于从所述HR信息提取所述一组特征的子程序包括首先从所述原始HR信号来计算心率变异性(HRV)信号。
8.根据权利要求1所述的系统，其中，所述一个或多个HR传感器包括计算设备，所述计算设备从由所述一个或多个HR传感器所捕获的原始HR信号来计算心率变异性(HRV)信号，并且其中，所述HR信息包括所述HRV信号。
9.根据权利要求1所述的系统，其中，所述一个或多个心率(HR)传感器和所述一个或多个计算设备驻留在统一的困倦起始检测设备中。
10.根据权利要求9所述的系统，其中，所述困倦起始检测设备是穿戴在所述个体的人上的可穿戴设备或者由所述个体携带的移动设备之一。
11.根据权利要求1所述的系统，其中，所述一个或多个心率(HR)传感器驻留在穿戴在所述个体的人上的可穿戴设备中，并且所述一个或多个计算设备驻留在由所述个体携带的移动设备中，并且其中，所述可穿戴设备与所述移动设备进行无线通信。
12.根据权利要求11所述的系统，其中，所述HR信息包括由所述一个或多个HR传感器所捕获的原始HR信号，所述原始HR信号被发送至由所述个体携带的所述移动设备。
13.根据权利要求11所述的系统，其中，所述HR信息包括由所述一个或多个HR传感器所捕获的原始HR信号，并且其中，所述一个或多个HR传感器包括从所述原始HR信号计算心率变异性(HRV)信号的计算设备，所述HRV信号被发送至由所述个体携带的所述移动设备。
14.根据权利要求1所述的系统，其中，用于发起困倦起始警告的子程序包括以显示在所述个体能够观看的显示屏上的消息的形式发起对所述个体的唤醒呼叫。
15.一种用于检测个体中困倦的起始的系统，包括：
一个或多个计算设备，每当存在多个计算设备时，所述计算设备彼此进行通信；以及
困倦起始检测器计算机程序，其具有能够由所述一个或多个计算设备执行的多个子程序，所述一个或多个计算设备由所述困倦起始检测器计算机程序的所述子程序引导以进行以下操作：
接收所述个体的心率(HR)信息，其中，所述一个或多个计算设备通过数据通信网络同与捕获所述HR信息的一个或多个HR传感器相关联的远程计算设备进行通信，并且其中，所述HR信息是经由所述数据通信网络从所述远程计算设备接收的；
从所述HR信息中提取一组特征，能够从HR信息中提取的许多特征中的所述特征已经被确定为具体地指示从个体的清醒状态到个体的困倦状态的转换；
组合所提取的特征以产生困倦检测输入；
将所述困倦检测输入输入到人工神经网络(ANN)分类器中，所述ANN分类器已被训练为基于所述提取的特征来在所述个体的清醒状态与所述个体的困倦状态之间进行区分；
从所述ANN分类器的输出中识别所述困倦检测输入是否指示所述个体展现出困倦的起始；并且
每当所述困倦检测输入指示所述个体展现出困倦的起始时，发起困倦起始通知。
CN201680073944.9A 2015-12-18 2016-12-08 困倦起始检测 Active CN108366732B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/974,584 US9955925B2 (en) 2015-12-18 2015-12-18 Drowsiness onset detection
US14/974,584 2015-12-18
PCT/US2016/065484 WO2017105976A1 (en) 2015-12-18 2016-12-08 Drowsiness onset detection

Publications (2)

Publication Number Publication Date
CN108366732A true CN108366732A (zh) 2018-08-03
CN108366732B CN108366732B (zh) 2022-03-29

Family

ID=57758704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073944.9A Active CN108366732B (zh) 2015-12-18 2016-12-08 困倦起始检测

Country Status (19)

Country Link
US (2) US9955925B2 (zh)
EP (1) EP3389474B1 (zh)
JP (1) JP7152950B2 (zh)
KR (1) KR20180094907A (zh)
CN (1) CN108366732B (zh)
AU (1) AU2016370291B2 (zh)
BR (1) BR112018010809A2 (zh)
CA (1) CA3003765C (zh)
CL (1) CL2018001551A1 (zh)
CO (1) CO2018006480A2 (zh)
IL (1) IL259253B (zh)
MX (1) MX2018007224A (zh)
MY (1) MY192362A (zh)
NZ (1) NZ742741A (zh)
PH (1) PH12018550055A1 (zh)
RU (1) RU2734339C2 (zh)
SG (1) SG11201804723WA (zh)
WO (1) WO2017105976A1 (zh)
ZA (1) ZA201802905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110786869A (zh) * 2019-10-29 2020-02-14 浙江工业大学 一种程序员的疲劳程度的检测方法
CN114283559A (zh) * 2022-03-04 2022-04-05 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535024B1 (en) 2014-10-29 2020-01-14 Square, Inc. Determining employee shift changes
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置
KR102670512B1 (ko) * 2016-12-16 2024-05-30 삼성전자주식회사 차량의 운전을 보조하는 전자 장치 및 방법
WO2018165451A1 (en) * 2017-03-08 2018-09-13 Obma Padraic A method for identifying human joint characteristics
US11089968B2 (en) * 2017-04-19 2021-08-17 Beijing Shunyuan Kaihua Technology Co., Ltd. Systems and methods for providing user insights based on heart rate variability
EP3416147B1 (en) * 2017-06-13 2020-01-15 Volvo Car Corporation Method for providing drowsiness alerts in vehicles
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
KR101962812B1 (ko) * 2017-10-13 2019-03-28 아주대학교산학협력단 Ppg 기반 rem 수면 검출 방법 및 장치
TWI698223B (zh) * 2017-11-20 2020-07-11 金寶電子工業股份有限公司 可辨識打瞌睡階段的穿戴式裝置及其辨識方法
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US10709386B2 (en) 2017-12-12 2020-07-14 Lear Corporation Electrocardiogram waveform identification and diagnostics via electrophysiological sensor system fusion
US10147319B1 (en) * 2017-12-22 2018-12-04 Pin-Hua CHEN Safe driving system having function of detecting heart rate variability
US11318277B2 (en) 2017-12-31 2022-05-03 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
FR3078518B1 (fr) * 2018-03-05 2020-02-07 Psa Automobiles Sa Dispositif d’assistance d’un conducteur de vehicule par determination d’un etat de vigilance avec des regles de decision adaptees
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN108937916A (zh) * 2018-08-03 2018-12-07 西南大学 一种心电信号检测方法、装置及存储介质
JP7241082B2 (ja) * 2018-08-10 2023-03-16 古野電気株式会社 船舶操縦支援システム、船舶制御装置、船舶制御方法、及びプログラム
CN112739259B (zh) * 2018-08-29 2024-06-04 睡眠咨询科技股份有限公司 基于光电容积描记术检测受试者在清醒、困倦和睡眠阶段之间的转变
EP3850639A1 (en) * 2018-09-11 2021-07-21 ICM (Institut du Cerveau et de la Moelle Épinière) System and methods for consciousness evaluation in non-communcating subjects
CA3112564A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
EP3883467A4 (en) * 2018-11-23 2022-08-24 Wellness IP, Inc. APPLICATION TO OPTIMIZE CHANGING MICROCOHERENCE NETWORK STRENGTH AND DEEP BEHAVIOR
KR102171236B1 (ko) * 2019-03-14 2020-10-28 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110580799A (zh) * 2019-06-19 2019-12-17 四川鼎鸿物联网科技有限公司 一种出租车网约车驾乘人员言行自动预判报警系统
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
KR102108515B1 (ko) 2019-10-10 2020-05-08 국방과학연구소 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법
WO2022037914A1 (fr) 2020-08-17 2022-02-24 Fipsico Procede et systeme de detection de la somnolence d'un individu
FR3113369B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113368B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113370B1 (fr) 2020-08-17 2022-10-21 Fipsico Procede et systeme de detection de la somnolence d’un individu
US20240016401A1 (en) * 2020-11-13 2024-01-18 Vikas Khurana Systems and methods for analysis of pulse and physiological, pathological, and emotional state and applications thereof
US11909784B2 (en) * 2021-07-29 2024-02-20 Vmware, Inc. Automated actions in a conferencing service
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
US20230389714A1 (en) 2022-06-01 2023-12-07 Rezet Technologies, Inc. Smart mattress topper system and associated method
WO2024062439A1 (en) * 2022-09-22 2024-03-28 Sleep Advice Technologies S.R.L. Real-time sleep prediction based on statistical analysis off a reduced set of biometric data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101224113A (zh) * 2008-02-04 2008-07-23 电子科技大学 机动车驾驶员状态监控方法及系统
US20120265080A1 (en) * 2011-04-15 2012-10-18 Xiong Yu Non-contact sensing of physiological signals
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
US20140378857A1 (en) * 2012-03-19 2014-12-25 Fujitsu Limited Arousal-level determining apparatus and arousal-level determining method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9518094D0 (en) * 1995-09-05 1995-11-08 Cardionics Ltd Heart monitoring apparatus
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
AU2006217448A1 (en) 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
RU63084U1 (ru) * 2007-01-11 2007-05-10 Открытое акционерное общество "Бинейро" Устройство для фиксации состояния сонливости у человека
EP2100556A1 (en) 2008-03-14 2009-09-16 Koninklijke Philips Electronics N.V. Modifying a psychophysiological state of a subject
WO2009144598A1 (en) * 2008-04-14 2009-12-03 Itamar Medical Ltd. Non-invasive method and apparatus for determining light- sleep and deep-sleep stages
US20110034811A1 (en) 2008-04-16 2011-02-10 Koninklijke Philips Electronics N.V. Method and system for sleep/wake condition estimation
JP2010063682A (ja) * 2008-09-11 2010-03-25 Aisin Seiki Co Ltd 運転者監視装置
CA2649731C (en) 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
WO2010060153A1 (en) 2008-11-28 2010-06-03 The University Of Queensland A method and apparatus for determining sleep states
US20120123232A1 (en) 2008-12-16 2012-05-17 Kayvan Najarian Method and apparatus for determining heart rate variability using wavelet transformation
WO2010143535A1 (ja) 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
US8725311B1 (en) 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US9566032B2 (en) 2012-03-21 2017-02-14 Koninklijke Philips N.V. Method and apparatus for providing a visual representation of sleep quality based on ECG signals
US8917182B2 (en) * 2012-06-06 2014-12-23 Honda Motor Co., Ltd. System and method for detecting and preventing drowsiness
US20150164377A1 (en) 2013-03-13 2015-06-18 Vaidhi Nathan System and method of body motion analytics recognition and alerting
JP6191242B2 (ja) 2013-05-30 2017-09-06 トヨタ自動車株式会社 集中度推定装置
EP3080732A1 (en) 2013-12-02 2016-10-19 Koninklijke Philips N.V. Calculating a current circadian rhythm of a person
JP6375496B2 (ja) 2014-06-02 2018-08-22 エイケン工業株式会社 眠気検出方法及び眠気検出装置
IN2015MU02950A (zh) 2015-08-04 2015-09-11 Vijay Singh Indra
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101224113A (zh) * 2008-02-04 2008-07-23 电子科技大学 机动车驾驶员状态监控方法及系统
US20120265080A1 (en) * 2011-04-15 2012-10-18 Xiong Yu Non-contact sensing of physiological signals
US20140378857A1 (en) * 2012-03-19 2014-12-25 Fujitsu Limited Arousal-level determining apparatus and arousal-level determining method
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GANG LI等: "Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier", 《SENSORS》 *
M. PATEL等: "Applying neural network analysis on heart rate variability data to assess driver fatigue", 《EXPERT SYSTEMS WITH APPLICATIONS》 *
MURUGAPPAN MURUGAPPAN等: "Frequency Band Analysis of Electrocardiogram (ECG) Signals for Human Emotional State Classification Using Discrete Wavelet Transform (DWT)", 《J. PHYS. THER. SCI》 *
NERMINE MUNLA等: "Driver Stress Level Detection Using HRV Analysis", 《2015 INTERNATIONAL CONFERENCE ON ADVANCES IN BIOMEDICAL ENGINEERING (ICABME)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110786869A (zh) * 2019-10-29 2020-02-14 浙江工业大学 一种程序员的疲劳程度的检测方法
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
CN114283559A (zh) * 2022-03-04 2022-04-05 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质

Also Published As

Publication number Publication date
MX2018007224A (es) 2018-08-01
NZ742741A (en) 2022-01-28
RU2018121883A3 (zh) 2020-04-28
CN108366732B (zh) 2022-03-29
US10646168B2 (en) 2020-05-12
RU2734339C2 (ru) 2020-10-15
EP3389474A1 (en) 2018-10-24
BR112018010809A2 (pt) 2018-11-21
US9955925B2 (en) 2018-05-01
RU2018121883A (ru) 2019-12-16
KR20180094907A (ko) 2018-08-24
US20170172520A1 (en) 2017-06-22
CL2018001551A1 (es) 2018-09-28
US20180214089A1 (en) 2018-08-02
AU2016370291B2 (en) 2021-01-28
JP7152950B2 (ja) 2022-10-13
WO2017105976A1 (en) 2017-06-22
PH12018550055A1 (en) 2018-11-12
CA3003765A1 (en) 2017-06-22
MY192362A (en) 2022-08-17
SG11201804723WA (en) 2018-07-30
JP2019509076A (ja) 2019-04-04
IL259253B (en) 2021-10-31
IL259253A (en) 2018-07-31
AU2016370291A1 (en) 2018-06-07
EP3389474B1 (en) 2023-06-28
CA3003765C (en) 2023-08-15
CO2018006480A2 (es) 2018-07-10
ZA201802905B (en) 2019-09-25

Similar Documents

Publication Publication Date Title
CN108366732A (zh) 困倦起始检测
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20200218350A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
CN111315278B (zh) 用于基于屏幕的交互的自适应接口
WO2018103028A1 (zh) 一种音频播放装置、系统及方法
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
KR102365118B1 (ko) 생체 신호 분석 시스템 및 이를 이용한 생체 신호 분석 방법
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
CN108475295A (zh) 用于预测即将进食时刻的可穿戴系统
CN113448438B (zh) 一种基于睡眠感知的控制系统及方法
Yıldırım et al. A research on estimation of emotion using EEG signals and brain computer interfaces
WO2024092505A1 (en) Methods and devices for continous fatigue monitoring using smart devices
Gray Emotion Detection Using an Ensemble Model Trained with Physiological Signals and Inferred Arousal-Valence States
WO2023184039A1 (en) Method, system, and medium for measuring, calibrating and training psychological absorption
CN116616795A (zh) 脑电信号分类方法、装置、设备和存储介质
CN117770777A (zh) 疲劳数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257858

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant