CN109416729A - 从生理信号提取特征 - Google Patents

从生理信号提取特征 Download PDF

Info

Publication number
CN109416729A
CN109416729A CN201780037758.4A CN201780037758A CN109416729A CN 109416729 A CN109416729 A CN 109416729A CN 201780037758 A CN201780037758 A CN 201780037758A CN 109416729 A CN109416729 A CN 109416729A
Authority
CN
China
Prior art keywords
signal
subject
based drive
heartbeat
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780037758.4A
Other languages
English (en)
Inventor
赵明敏
F·艾迪布
D·卡塔比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of CN109416729A publication Critical patent/CN109416729A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102—Ballistocardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

一种用于确定被检体的情绪状态的方法，其包括：接收与被检体相关联的基于运动的生理信号，所述基于运动的生理信号包括与所述被检体的生命体征相关的分量；以及至少部分地基于与所述被检体的生命体征相关的分量来确定所述被检体的情绪状态。

Description

从生理信号提取特征
相关申请的交叉引用
本申请要求2016年10月4日提交的美国临时申请序列号62/403,808、以及2016年4月18日提交的美国临时申请序列号62/323,928的优先权，上述文献的全部内容通过引用而并入于此。
关于联邦资助研究的声明
本发明是根据美国空军授予的合同号FA8721-05-C-0002的合同，在政府支持下作出的。政府拥有本发明的某些权利。
背景技术
本发明涉及从生理信号提取特征，具体涉及从表示生理运动的信号提取特征。
能够推断被检体的情绪、并且在一些情况下对所推断的情绪进行反应的系统持续引起关注。这样的系统可以用于设计和测试游戏、电影、广告、在线内容和人机界面。
在一些示例中，用于推断被检体的情绪的系统分两个阶段进行操作：在第一阶段，系统提取情绪相关信号(例如，视听线索或生理信号)，并且在第二阶段，它们将情绪相关信号馈送至分类器中以识别情绪。用于提取情绪相关信号的现有方法分为两类：视听技术和生理技术。
视听技术一般依赖于视听记录或流中所呈现的面部表情、语音和手势。视听方法不需要用户在其身体上穿戴任何传感器。然而，由于视听方法依赖于外在表现出的状态，因此它们经常会错过精细的情绪、并且可能在被检体控制或抑制情绪的外在表现时失败。此外，许多基于视觉的技术需要用户面对照相机以正确地进行操作。
生理技术依赖于诸如ECG和EEG信号等的生理测量。对于被检体来说，控制生理测量一般更加困难，因为这些生理测量受自主神经系统(ANS)的无意识活动的控制。可提取这些信号的现有传感器需要与人体进行物理接触，因此会干扰被检体的体验并可能影响她的情绪状态。
用于基于情绪相关信号来识别情绪的现有方法从测量信号提取情绪相关特征，然后使用分类器来处理所提取的特征以识别被检体的情绪状态。一些现有分类方法为各种情绪分配离散的标签(例如，愉快、悲伤或愤怒)。其它现有分类方法使用如下的多维模型，其中该多维模型以效价(valence)(即，正情感与负情感)轴和觉醒(arousal)(即，平静与激动)轴所围成的2D平面表现情绪。例如，愤怒和悲伤都是负情感，但愤怒涉及更多的觉醒。同样，高兴和愉快都是正情感，但前者与兴奋有关，而后者是指满足的状态。
发明内容
在一般方面，.一种用于处理基于运动的生理信号的方法，所述基于运动的生理信号表示被检体的运动，所述方法使用来自所述被检体的信号反射来进行所述处理，所述方法包括从发送元件发送包括一个或多个发送信号模式的射频发送信号。在一个或多个接收元件处接收包括发送信号的多个反射的组合的射频接收信号，所述发送信号的多个反射中的至少一些反射与所述被检体相关联。处理发送信号模式的反射的时间连续模式以形成一个或多个基于运动的生理信号，包括针对所述多个反射中的至少一些反射，根据所述接收信号中的发送信号的反射随时间的变化来形成表示被检体的生理运动的基于运动的生理信号。处理所述一个或多个基于运动的生理信号的子集中的各基于运动的生理信号，以确定所述基于运动的生理信号的心跳分量的分段，所述处理包括：确定所述心跳分量，在所述心跳分量中确定针对心跳的模板时间模式，以及基于所确定的模板时间模式来确定所述心跳分量的分段。
各方面可以包括以下特征中的一个或多个。
所述发送信号可以是包括单个信号模式的重复的调频连续波(FMCW)信号。所述一个或多个发送信号模式可以包括一个或多个伪随机噪声序列。确定所述心跳分量可以包括减轻呼吸对基于运动的生理信号的影响，这包括确定所述基于运动的生理信号的二阶导数。确定所述心跳分量可以包括减轻呼吸对所述基于运动的生理信号的影响，这可以包括使用带通滤波器来对所述基于运动的生理信号进行滤波。在所述心跳分量中确定针对心跳的模板时间模式以及确定所述心跳分量的分段可以包括对针对心跳的时间模式以及所述心跳分量的分段进行联合优化。
所述方法可以包括至少部分地基于所确定的与所述被检体相关联的基于运动的生理信号的心跳分量的分段来确定所述被检体的认知状态。所述被检体的认知状态可以包括以下状态中的一个或多个：混淆状态、注意力分散状态、和注意力集中状态。所述方法可以包括从所述基于运动的生理信号中的各基于运动的生理信号的心跳分量提取特征、并将所提取的特征映射到一个或多个心脏功能，所述特征包括拐点的峰值、谷值。
所述方法可以包括至少部分地基于所确定的与所述被检体相关联的基于运动的生理信号的心跳分量的分段来确定所述被检体的情绪状态。确定所述被检体的情绪状态还可以基于一个或多个基于运动的生理信号的呼吸分量。所述方法可以包括确定所述一个或多个基于运动的生理信号的呼吸分量，这包括对所述一个或多个基于运动的生理信号应用低通滤波器。确定所述被检体的情绪状态可以包括对根据所确定的所述基于运动的生理信号的心跳分量的分段而确定的一个或多个特征应用情绪分类器。
确定所述被检体的情绪状态可以包括对根据所确定的所述基于运动的生理信号的心跳分量的分段而确定的一个或多个特征、以及对根据所述一个或多个基于运动的生理信号的呼吸分量而确定的一个或多个特征应用情绪分类器。所述方法可以包括在二维网格中呈现所述情绪状态，所述二维网格包括：第一维度即觉醒维度和第二维度即效价维度。所述基于运动的生理信号可以表示根据所述接收信号中发送信号反射的相位角随时间的变化的被检体的生理运动。
在另一一般方面，一种用于确定被检体的情绪状态的方法，包括：接收与被检体相关联的基于运动的生理信号，所述基于运动的生理信号包括与所述被检体的生命体征相关的分量；以及至少部分地基于与所述被检体的生命体征相关的分量来确定所述被检体的情绪状态。
各方面可以包括以下特征中的一个或多个。
与所述被检体的生命体征相关的分量可以包括周期性分量，所述方法还包括确定所述周期性分量的分段。确定所述周期性分量的分段可以包括确定针对所述周期性分量的周期的模板时间模式、并基于所确定的模板时间模式来确定所述周期性分量的分段。确定所述被检体的情绪状态可以至少部分地基于所述周期性分量的分段。所述周期性分量可以包括心跳分量和呼吸分量至少之一。
确定所述心跳分量可以包括确定所述基于运动的生理信号的二阶导数。所述方法可以还包括确定所述心跳分量，这包括对所述基于运动的生理信号应用带通滤波器。所述方法可以包括确定所述呼吸分量，包括对所述基于运动的生理信号应用低通滤波器。确定所述被检体的情绪状态可以包括对根据与所述被检体相关联的基于运动的生理信号而确定的一个或多个特征应用情绪分类器。确定所述被检体的情绪状态可以包括对根据所确定的所述周期性分量的分段而确定的一个或多个特征应用情绪分类器。
所述方法可以包括在二维网格中呈现所述情绪状态，所述二维网格包括：第一维度即觉醒维度和第二维度即效价维度。与所述被检体相关联的基于运动的生理信号可以与加速度计测量相关联。与所述被检体相关联的基于运动的生理信号可以与超声测量相关联。与所述被检体相关联的基于运动的生理信号可以与基于射频的测量相关联。与所述被检体相关联的基于运动的生理信号可以与基于视频的测量相关联。
如上所述，用于推断人的情绪的现有方法一般依赖于诸如图像和音频片段等的视听线索，或者需要人穿戴如ECG监测器的生理传感器。这些现有方法都存在相关联的局限性。
特别地，当前的视听技术利用情绪的外在表现，但不衡量内在情感。例如，一个人即使没有面带笑容也可能是高兴的，或者即使不高兴也可能面带笑容。此外，人们在表达内在情绪方面的表现力差异很大，这进一步使这一问题复杂化。使用身体传感器来监测生理信号(例如，心跳)是测量被检体内在情绪的改进方法，因为该方法考虑了自主神经系统和心律之间的相互作用。然而，使用身体传感器(例如，ECG监测器)来测量这些信号是烦琐的、并且可能干扰用户活动和情绪，使得该方法不适合于常规使用。
本公开所述的方面直接测量生理信号而不需要被检体在其身体上携带传感器，然后使用所测量到的生理信号来估计被检体的情绪。在一些方面，所述方法使用射频(RF)信号来感测生理信号(以及与生理信号相关联的情绪)。具体地，RF反射信号从人体反射并且通过身体运动，包括与呼吸相关联的运动以及与心跳相关联的运动，而被调制。
如果可以提取RF反射信号的心跳分量中的各心跳，则使用各跳动的长度和/或形状的微小变化来估计被检体的情绪。然而，从RF反射信号提取各心跳存在许多相关联的挑战。例如，RF反射信号由被检体的呼吸和被检体的心跳两者调制，其中呼吸的影响通常比心跳的影响大几个数量级，使得呼吸相关运动掩盖了各心跳。为了将呼吸与心率分开，旧的系统在频域中操作多秒，放弃测量逐跳变化的能力。
此外，RF反射信号中的心跳相关特征(这里一般通常称为“心跳”)缺少表征ECG信号的尖峰，使得更难以准确地识别跳动的边界。
最后，跳动间隔(IBI)的差异仅为几十毫秒。因此，必须将各跳动分段为几毫秒以内。在没有用于识别心跳开始或结束的清晰特征的情况下，获得这种准确度特别困难。
各方面解决了这些挑战，以实现用于使用人体的RF反射来进行情绪识别的无线系统。各方面利用用于从RF反射信号提取各心跳以及各心跳之间的变化的算法。在一些方面，该算法首先减轻呼吸对RF反射信号的影响。在一些示例中，减轻机制基于这样的认识，即：虽然由于吸气-呼气过程引起的胸部位移比由心跳引起的微小振动大几个数量级，但是由于呼吸引起的运动的加速度明显小于由于心跳引起的运动加速度。也就是说，呼吸通常是缓慢且稳定的，而心跳涉及在局部时刻的心肌的快速收缩。因此，各方面对RF反射信号的加速进行操作以抑制呼吸信号并强调心跳。
然后，各方面将RF反射信号分段成各心跳。与具有已知预期形状的ECG信号相反，RF反射信号中的心跳的形状是未知的，并且根据被检体的身体和相对于装置的确切姿势而变化。因此，各方面需要在分段发生时获悉跳动形状。为此，在如下的两个子问题之间迭代联合优化算法：第一个子问题在给定特定分段的情况下获悉心跳的模板，而第二个子问题找到使与所获悉模板的相似性最大化的分段。在两个子问题之间继续迭代优化算法，直到该优化算法收敛于最佳跳动模板以及使与模板的相似性最大化的最佳分段为止。
分段考虑到跳动可以缩小和扩大，因此其跳动长度可以不同。因此，算法找到如下的跳动分段，该跳动分段使得在连续跳动中心跳信号的形态的相似性最大化，同时允许跳动信号的灵活翘曲(缩小或扩大)。
某些方面将所确定的分段提供给情绪分类子系统。情绪分类子系统计算基于心跳的特征和基于呼吸的特征，并使用支持向量机(SVM)分类器来区分各种情绪状态。
各方面可具有以下优点中的一个或多个。
除其它优点外，各方面还能够有利地从RF反射信号准确地提取心跳。具体地，即使在估计心跳间隔时具有40～50毫秒的误差，也会显著降低情绪识别准确度。与此相对，各方面能够实现3.2毫秒的跳动间隔(IBI)平均误差，其小于平均跳动长度的0.4％。
各方面通过依赖于从被检体身体反射的无线信号来识别被检体的情绪。
各方面可以根据RF反射恢复人的整体心跳，因此可以在无创健康监测和诊断的背景中使用。
各方面通过仅依赖于从用户的身体反射的无线信号来捕获生理信号而无需他/她穿戴任何传感器。
附图说明
图1是情绪识别系统的框图。
图2是图1中的系统的运动信号获取模块的框图。
图3是表示被检体的生理运动的信号的示例。
图4是图1中的系统的运动信号处理模块的框图。
图5是图3中的信号的心跳分量的示例。
图6是图3中的信号的呼吸分量的示例。
图7是心跳分段算法的伪代码描述。
图8是图5中的心跳分量的分段。
图9是根据图5中的心跳分量而确定的心跳模板。
图10是二维情绪网格。
具体实施方式
参考图1，情绪识别系统100获取表示被检体104的生理运动的信号，并处理所获取的信号以推断被检体的情绪状态112。系统100包括用于获取与被检体104的生理运动相关的信号的运动信号获取模块102、运动信号处理模块106、心跳分段模块107、特征提取模块108、以及用于对被检体的情绪状态112进行分类的情绪分类模块110。
1信号获取
在图1的示例中，被检体的身体由于被检体的呼吸和被检体心脏的跳动两者而运动。运动信号获取模块102包括一个或多个换能器(未示出)，其中该换能器感测被检体身体的运动(或任何其它生理运动)并生成表示被检体身体运动的信号φ(t)(例如，电信号)。
参考图2，在一些示例中，运动信号获取模块102使用无线感测技术来生成表示被检体身体运动的信号。无线感测技术利用了以下事实：无线信号的特性受到环境中的运动(包括由于吸气和呼气引起的胸部运动以及由于心跳引起的身体振动)的影响。特别地，无线感测系统发射从对象(包括环境中的被检体104)反射的无线信号(注意环境中可能存在多于一个被检体)。然后在运动感测获取模块102处接收反射信号。随着环境中的被检体104呼吸并且随着其心脏跳动，由无线感测系统接收到的反射无线信号所行进的距离发生变化。无线感测系统使用飞行时间(TOF)(也称为“往返时间”)来监测系统的天线与被检体104之间的距离。
在图2中，运动信号获取模块102实现被称为调频连续波(FMCW)无线感测的特定无线感测技术。运动感测信号获取模块包括发送天线114、接收天线116、以及多个信号处理组件，其中这多个信号处理组件包括控制器118、FMCW信号发生器120、频移模块122和相位信号提取模块124。
在操作中，控制器118使FMCW信号发生器120生成信号模式(例如，扫频信号模式)的重复。重复的信号模式被提供给发送天线114，并从发送天线114被发送至模块102周围的环境中。发送信号从一个或多个被检体104和/或其它对象105(诸如环境中的壁和家具等)反射，然后被接收天线116接收。接收反射信号与FMCW信号发生器120所生成的发送信号一起被提供给频移模块122。频移模块122根据发送信号(例如，通过乘以该信号)来对接收信号进行频移(例如，“下变频”或“下混频”)，并(例如，经由快速傅立叶变换(FFT))将频移的接收信号变换为频域表示，从而得到频移的接收信号S(ω)i以离散频率集ω的频域表示。
频移信号S(ω)i的频域表示被提供给相位信号提取模块124，其中该相位信号提取模块124处理S(ω)i以提取一个或多个相位信号φ(t)。在一些示例中，相位信号提取模块124处理频移信号S(ω)i以基于其反射次数将来自环境中的对象和/或被检体的反射信号在空间上分离开。在一些示例中，相位信号提取模块124消除来自静态对象(即，不随时间移动的对象)的反射。
在图2所示的示例中，发射天线114和接收天线116之间的路径112被示出为从代表性被检体104反射。假设恒定的信号传播速度c(即光速)，从坐标为(xt,yt,zt)的发送天线经由坐标(xo,yo,zo)处的被检体反射并在坐标(xr,yr,zr)处的接收天线上接收到的飞行时间(TOF)可被表示为：
在这种情况下，利用单个天线对，与路径112相关联的TOF将被检体104的位置约束在由路径的发送天线和接收天线的三维坐标、以及从TOF确定的路径距离所限定的椭圆体上。
如上所述，椭圆体与发射天线和接收天线对的距离随着被检体由于呼气和吸气引起的胸部运动、以及由于心跳引起的身体振动而变化。天线114、116与被检体104之间的变化距离在反射信号中表现为如下的时变相位：
其中，φ(t)是信号的相位，λ是波长，d(t)是行进距离，t是时间变量。信号的相位φ(t)从运动信号获取模块102输出，作为表示被检体身体运动的信号。
上述基于FMCW的运动感测技术的更多详情可以在提交于2015年4月28日、并且公开为WO2015168093的标题为“VITAL SIGNS MONITORING VIA RADIO REFLECTIONS”的PCT申请号PCT/US2015/027945中找到，其通过引用而并入于此。
参考图3，信号获取模块102所获取的表示被检体身体运动的信号的一个示例φ(t)由于被检体在其吸气和呼气时的胸部位移因而具有相对大的呼吸分量(即，频率为～0.25Hz的正弦分量)。相位信号的心跳分量表现为对呼吸分量进行调制的小变化，这种小变化是由与被检体的心跳和血液脉动相关联的微小身体振动引起的。
2运动信号处理
再次参考图1，运动信号处理模块106从运动信号获取模块102接收表示被检体的运动的信号φ(t)，并处理表示被检体的运动的信号以将信号的心跳分量φ″(t)与信号的呼吸分量φb(t)分离开。
参考图4，运动信号处理模块包括用于处理表示被检体的运动的信号φ(t)以离析信号的心跳分量φ″(t)的微分器442、以及用以离析信号的呼吸分量φb(t)的低通滤波器440。
由于呼吸分量比心跳分量的幅度大几个数量级，因此呼吸分量与心跳分量分离。为了离析心跳分量φ″(t)，运动信号处理模块106利用呼吸运动的加速度小于心跳运动的加速度这一事实。这是因为呼吸通常缓慢且稳定，而心跳则涉及心肌的快速收缩。因此，运动信号处理模块106包括微分器442，以通过确定加速度信号来减小信号的呼吸分量相对于心跳分量的影响。特别地，微分器442计算表示被检体运动的信号的二阶导数φ″(t)。
在一些示例中，无φ(t)的分析表达式可用，因此使用数值方法来计算二阶导数φ″(t)。在一些示例中，由于对噪声的鲁棒性，因此微分器442实现以下的二阶微分器：
其中，f″0是指特定样本处的二阶导数，fi是指时间序列中的i个样本以外的值，以及h是连续样本之间的时间间隔。
参考图5，通过使微分器442对表示被检体运动的信号φ(t)应用以上的二阶微分器来确定由微分器442输出的加速度信号φ″(t)的一个示例。在所得到的加速度信号中，由于与心跳相关的运动的加速度远大于与被检体呼吸相关的运动的加速度，因此由于心跳引起的信号分量φ″(t)占主要部分。在一些示例中，运动信号处理模块106使用带通滤波器来离析与心跳相关的信号分量，同时还减少信号中存在的噪声。
再次参考图4，使用低通滤波器440来离析表示被检体运动的信号φ(t)的呼吸分量φb(t)。特别地，由于相对于心跳分量、呼吸分量主要是低频，因此可以使用低通滤波器以从表示被检体运动的信号φ(t)中基本上消除心跳分量，同时使呼吸分量φb(t)基本上完整无损。
信号(即，加速度信号)的心跳分量φ″(t)和信号的呼吸分量φb(t)被提供作为来自运动信号处理模块106的输出。参考图6，在低通滤波器440所输出的呼吸分量φb(t)的一个示例中，从表示被检体的运动的信号φ(t)中基本上移除相对较高频的心跳分量，同时呼吸分量φb(t)基本上完整无损。
3心跳分段
再次参考图1，信号的心跳分量φ″(t)被提供至心跳分段模块107，该心跳分段模块107确定心跳分量的最佳分段。如上所述，情绪分类的一些方法利用被检体的心跳间隔的小变化来对被检体的情绪状态进行分类。由于心跳信号中的心跳的形态(例如，时间模式或形状)是未知的(由于诸如被检体相对于系统100的位置和姿势等的因素)，因此心跳分段模块107使用如下的优化算法，该优化算法联合地确定心跳的形态并对心跳进行分段。除其它优点外，所得到的分段φ″S(t)用于识别上述的心跳间隔的小变化。
优化算法基于如下假设，即连续的人类心跳具有相同形态。也就是说，虽然各心跳运动可能由于不同的跳动长度而延伸或压缩，但它们都将具有相似的整体形状。考虑到该假设，算法确定使心跳之间的形状差异最小化的分段，同时考虑心跳跳动的形状不是先验已知的、并且心跳可以压缩或延伸的事实。如下所述，该算法被公式化为针对加速度信号φ″(t)的所有可能分段的优化问题。
设x＝(x1,x2,...,xn)表示长度为n的序列。x的分段S＝{s1,s2,...}是x到非重叠连续子序列(即，分段)的分区，其中各分段si包括|si|个点。为了识别各心跳，识别具有彼此最相似的分段的分段(即，使分段间的变化最小化)。由于统计方差仅仅是针对具有相同维度的标量或向量而定义的，因此对具有不同长度的向量的定义被扩展，使得分段S＝{s1,s2,...}的方差是
其中ω(μ,|si|)是μ到长度|si|的(例如，通过三次样条插值的)线性翘曲。
注意，在所有分段具有相同长度的情况下，以上定义与统计方差相同。在以上定义中，μ表示所有分段的中心趋势(即，针对跳动形状或形态的模板)。
算法确定使分段的方差最小化的最佳分段S*，并且可以在形式上如下所述：
基于以上对于最佳分段的陈述，最佳化问题可被再陈述为：
服从
bmin≤|si|≤bmax,si∈S
其中bmin和bmax是对于各个心跳周期的长度的约束。
优化问题试图确定使分段和模板之间的平方差的总和最小化的最佳分段S和模板(即，形态)μ。该优化问题涉及针对S的组合优化以及针对μ的数值优化这两者。详尽地搜索所有可能的分段具有呈指数的复杂度。
为了避免这种呈指数的复杂度，算法在更新分段和模板之间交替，而不是同步地进行分段S和模板μ的估计。在每次迭代期间，算法在给定当前模板的情况下更新分段，然后在给定新分段的情况下更新模板。对于这两个子问题中的每一个，算法获得具有线性时间复杂度的全局最优。
参考图7，心跳分段算法的伪代码描述接收n个数据样本的序列x和可允许心率范围B作为输入。心跳分段算法生成包括多个分段S、以及长度为m的模板μ的输出。
在伪代码描述的第1行中，将表示μ的向量初始化为包括全零。在伪代码描述的第2行中，将迭代数l初始化为零。在伪代码描述的第3～7行中，执行循环，其中迭代地更新分段S和模板μ，直到算法收敛为止。特别地，在伪代码描述的第4行中，通过针对数据样本的序列x和模板的最近更新版本μl调用UPDATESEGMENTATION过程来确定Sl+1。在伪代码描述的第5行中，通过针对数据样本的序列x和分段的最近更新版本Sl+1调用UPDATETEMPLATE过程来确定模板的更新版本μl+1。在伪代码描述的第5行中，l递增。重复调用UPDATESEGMENTATION过程和UPDATETEMPLATE过程，直到算法收敛为止。一旦算法收敛，在伪随机描述的第8行中返回最终分段Sl和最终模板μl。
参考伪代码描述的第9～16行，UPDATESEGMENTATION过程接收n个数据样本的序列x和模板μ作为输入。该过程返回第n个分段Sn，其被确定如下：
尽管可能的分段数随着x的长度呈指数增长，但是使用动态编程有效地解决了以上的优化问题。动态程序的递归关系如下：如果Dt表示对序列x1:t进行分段的最小成本，则：
其中τt,B基于分段长度约束来指定τ的可能选择。基于式6的动态程序的时间复杂度是O(n)，并且保证全局最优。
参考伪代码描述的第17～19行，UPDATETEMPLATE过程接收n个数据样本的序列x和和分段S作为输入。该过程返回更新后的模板μ。更新后的模板确定如下：
其中m是模板所需的长度。以上优化问题是具有以下封闭解的加权最小平方：
参考图8，对加速度信号应用上述算法的结果是分段加速度信号S*。参考图9，示出通过上述算法从加速度信号中发现的心跳形态。
4体征提取
将分段的加速度信号和呼吸信号提供给特征提取模块108，该特征提取模块108使用所确定的心跳信号和呼吸信号的形态和分段来确定情绪分类模块110所用的特征。
在一些示例中，特征提取模块108提取时域中的特征，诸如均值、中间值、SDNN、PNN50、RMSSD、SDNNi、meanRate、sdRate、HRVTi以及TINN等。在一些示例中，特征提取模块108提取频域中的特征，诸如Welch PSD(LF/HF、peakLF、peakHF)、BurgPSD(LF/HF、peakLF、peakHF)、Lomb-Scargle PSD(LF/HF、peakLF、peakHF)。在一些示例中，特征提取模块108提取诸如SD1、SD2、SD2/SD1等的Poincare特征。在一些示例中，特征提取模块108提取诸如SampEn1、SampEn2、DFAall、DFA1和DFA2等的非线性特征。
在一些示例中，特征提取模块108提取呼吸特征，诸如呼吸的不规则性。为此，特征提取模块108通过呼吸分量φb(t)中的峰值检测来识别各呼吸周期。然后，特征提取模块108使用上述的一些或全部特征来测量呼吸的可变性。
5情绪分类
再次参考图1，将特征提取模块108所提取的特征提供给情绪分类模块110，该情绪分类模块110根据例如情绪模型来处理特征以生成被检体的情绪112的分类。
在一些示例中，情绪分类模块110实现具有效价轴和觉醒轴的情绪模型。一般来说，情绪模型在四种基本情绪状态之间进行分类：悲伤(负效价和负觉醒)、愤怒(负效价和正觉醒)、愉快(正效价和负觉醒)、以及高兴(正效价和正觉醒)。例如，参考图8，2D情绪网格830包括由情绪模型生成的多个示例性情绪分类结果。第一情绪分类结果832具有正觉醒值和负效价，因此表示具有愤怒情绪状态的被检体。第二情绪分类结果834具有正觉醒值和正效价值，因此表示具有高兴情绪状态的被检体。第三情绪分类结果836具有负觉醒值和负效价值，因此表示具有悲伤情绪状态的被检体。第四情绪分类结果838具有负觉醒值和正效价值，因此表示具有愉快情绪状态的被检体。
在一些示例中，使用训练数据集对情绪分类模块110的情绪模型进行训练以将被检体的情绪分类到2D情绪网格中。在一些示例中，该训练数据集包括从多个被检体测量到的多个特征集，其中各特征集与2D情绪网格中的已知情绪状态相关联。情绪分类模块110使用机器学习技术来分析训练数据并基于各特征集和情绪状态之间的统计关系来对情绪模型(例如，支持向量机(SVM)分类器模型)进行训练。一旦训练了情绪模型，情绪分类模块110就能够从特征提取模块108接收被检体的提取特征，并通过对提取的特征应用情绪模型来预测被检体的情绪。与情绪分类系统和方法相关的更多详情可以在例如J.Kim和E.André.的“Emotion recognition based on physiological changes in musiclistening.Pattern Analysis and Machine Intelligence,”(IEEE Transactions on,30(12):2067–2083,2008)、以及P.J.Lang.的“The emotion probe:studies of motivationand attention.”(American psychologist,50(5):372,1995)中找到，上述文献的内容通过引用而并入于此。
在一些示例中，针对相同的情绪状态，特征提取模块108所提取的特征在被检体之间彼此不同。此外，对于同一被检体，这些特征在不同的日子可能不同。这种变化可能由包括咖啡因摄入、睡眠以及当天的基线心情的多种因素引起。为了确保模型是与用户无关且与时间无关的，情绪分类模块110并入基线情绪状态：中性。也就是说，情绪分类模块110利用生理特征的变化而不是绝对值。因此，在一些示例中，情绪分类模块110通过针对各特征减去在给定的日子针对给定人的中性状态下计算出的相应值，来校准所计算出的特征。这种校准可以并入到情绪分类模块110所使用的情绪模型中，以及/或者可以是在提取特征被提供给情绪模型之前应用于这些提取特征的预处理步骤的一部分。
在一些示例中，使用上面列出的所有特征以及有限量的训练数据可能导致过度拟合。为此，在一些示例中，情绪分类模块110选择与情绪最相关的特征集。这种选择不仅减少了训练所需的数据量，而且还提高了测试数据的分类准确度。在一些示例中，情绪分类模块110在训练情绪模型的同时学习哪些特征最有助于情绪模型的准确度。在一些示例中，使用l1-SVM完成这种学习，其中该l1-SVM在训练情绪模型的同时选择相关特征的子集。
6可选例
应当注意，虽然上述的实施例使用非接触式RF感测来感测被检体身体(例如，皮肤或内部结构、或覆盖皮肤的衣服)的运动，但在其它示例中，信号获取模块102使用(直接或经由被检体身体上的衣服或可穿戴配件而)连接至被检体身体的加速度计来感测被检体身体的运动。在另外的其它示例中，信号获取模块102使用超声测量技术来感测运动(例如，被检体脉管系统中的血液的运动)。应当理解，可以使用任何数量的其它合适方法来感测与被检体的生理学相关的运动。一般来说，运动信号获取模块102通过例如对信号进行滤波、放大和采样来调节表示被检体身体运动的信号，使得运动信号获取模块102所输出的信号可被系统100的下游模块使用。
上述系统采用如下的FMCW无线感测技术，其中该FMCW无线感测技术包括对单个信号模式(例如，扫频信号模式)的重复发送。然而，应当注意，在一些示例中，系统进行各发送包括(系统先验已知的)不同信号模式的重复发送。例如，各发送可以包括先验已知的伪随机噪声信号模式。由于各信号模式是系统先验已知的，因此该系统可以通过将所发送的先验已知信号与所接收到的发送信号的反射进行比较(例如，通过使已知信号与所接收到的发送信号的反射互相关)来确定诸如飞行时间等的信息。
应当注意，表示生理运动的信号可以表示任何数量的不同类型的生理运动。例如，信号可以表示宏观尺度的生理运动，诸如被检体皮肤的运动等。信号还可以表示较小尺度的生理运动，诸如血液通过被检体的脉管系统的运动等。例如，可以分析被检体的视频记录(即，使用视频像机拍摄的记录)以识别由于血液进出被检体皮肤内和附近的脉管系统而引起的被检体皮肤色泽的小变化。然后可以使用所观察到的被检体皮肤的色泽变化来推断被检体的情绪。
在一些示例中，系统被配置为使用认知状态分类器(例如，基于支持向量机的认知状态分类器)来确定被检体的认知状态(例如，混淆、注意力分散、注意力集中的程度)。认知状态分类器至少部分地基于所确定的与被检体相关联的基于运动的生理信号的心跳分量的分段来对被检体的认知状态进行分类。
在一些示例中，从与被检体相关联的基于运动的生理信号的心跳分量中提取被检体的心跳的特征，并将这些特征映射到心脏功能。在一些示例中，该特征包括心跳分量中的峰值、谷值和拐点中的一个或多个。
7实现
实现上述技术的系统可以以软件、固件、数字电子电路或计算机硬件或它们的组合来实现。该系统可以包括有形地体现在机器可读存储装置中以供可编程处理器执行的计算机程序产品，并且方法步骤可以由可编程处理器执行指令程序来进行，以通过对输入数据进行操作并生成输出来执行功能。系统可以以可编程系统上可执行的一个或多个计算机程序来实现，其中该可编程系统包括至少一个可编程处理器，该至少一个可编程处理器连接以相对于数据存储系统、至少一个输入装置和至少一个输出装置进行数据和指令的接收和发送。各计算机程序可以以高级过程编程语言或面向对象编程语言来实现，或者必要时可以以汇编语言或机器语言来实现；并且在任何情况下，语言可以是编译语言或解释语言。举例而言，合适的处理器包括通用和专用的微处理器这两种。一般来说，处理器将从只读存储器和/或随机存取存储器接收指令和数据。一般来说，计算机将包括用于存储数据文件的一个或多个大容量存储装置；这样的装置包括：诸如内部硬盘和可移除盘等的磁盘；磁光盘；以及光盘。适合有形地体现计算机程序指令和数据的存储装置包括以下的所有形式：诸如EPROM、EEPROM和闪存存储器装置等的例如包括半导体存储器装置的非易失性存储器；诸如内部硬盘和可移除盘等的磁盘；磁光盘；以及CD-ROM盘。任何前述装置可以由ASIC(专用集成电路)进行补充、或者并入到ASIC(专用集成电路)中。
应当理解，上述说明意图说明而非限制由所附权利要求书的范围所定义的本发明的范围。其它实施例在所附权利要求书的范围内。

Claims (31)

1.一种用于处理基于运动的生理信号的方法，所述基于运动的生理信号表示被检体的运动，所述方法使用来自所述被检体的信号反射来进行所述处理，所述方法包括：
从发送元件发送包括一个或多个发送信号模式的射频发送信号；
在一个或多个接收元件处接收包括发送信号的多个反射的组合的射频接收信号，所述多个发送信号的多个反射中的至少一些反射与所述被检体相关联；
处理发送信号模式的反射的时间连续模式以形成一个或多个基于运动的生理信号，包括针对所述多个反射中的至少一些反射，根据所述接收信号中的发送信号的反射随时间的变化来形成表示被检体的生理运动的基于运动的生理信号；以及
处理所述一个或多个基于运动的生理信号的子集中的各基于运动的生理信号，以确定所述基于运动的生理信号的心跳分量的分段，所述处理包括：
确定所述心跳分量，
在所述心跳分量中确定针对心跳的模板时间模式，以及
基于所确定的模板时间模式来确定所述心跳分量的分段。
2.根据权利要求1所述的方法，其中，所述发送信号是包括单个信号模式的重复的调频连续波信号即FMCW信号。
3.根据权利要求1所述的方法，其中，所述一个或多个发送信号模式包括一个或多个伪随机噪声序列。
4.根据权利要求1所述的方法，其中，确定所述心跳分量包括减轻呼吸对基于运动的生理信号的影响，减轻呼吸对基于运动的生理信号的影响包括确定所述基于运动的生理信号的二阶导数。
5.根据权利要求1所述的方法，其中，确定所述心跳分量包括减轻呼吸对基于运动的生理信号的影响，减轻呼吸对基于运动的生理信号的影响包括使用带通滤波器来对所述基于运动的生理信号进行滤波。
6.根据权利要求1所述的方法，其中，在所述心跳分量中确定针对心跳的模板时间模式以及确定所述心跳分量的分段包括对针对心跳的时间模式以及所述心跳分量的分段进行联合优化。
7.根据权利要求1所述的方法，还包括至少部分地基于所确定的与所述被检体相关联的基于运动的生理信号的心跳分量的分段来确定所述被检体的认知状态。
8.根据权利要求7所述的方法，其中，所述被检体的认知状态包括以下状态中的一个或多个：混淆状态、注意力分散状态、和注意力集中状态。
9.根据权利要求1所述的方法，还包括至少部分地基于所确定的与所述被检体相关联的基于运动的生理信号的心跳分量的分段来确定所述被检体的情绪状态。
10.根据权利要求9所述的方法，其中确定所述被检体的情绪状态还基于一个或多个基于运动的生理信号的呼吸分量。
11.根据权利要求9所述的方法，还包括确定所述一个或多个基于运动的生理信号的呼吸分量，确定所述一个或多个基于运动的生理信号的呼吸分量包括对所述一个或多个基于运动的生理信号应用低通滤波器。
12.根据权利要求9所述的方法，其中，确定所述被检体的情绪状态包括对根据所确定的所述基于运动的生理信号的心跳分量的分段而确定的一个或多个特征应用情绪分类器。
13.根据权利要求10所述的方法，其中，确定所述被检体的情绪状态包括对根据所确定的所述基于运动的生理信号的心跳分量的分段而确定的一个或多个特征、以及对根据所述一个或多个基于运动的生理信号的呼吸分量而确定的一个或多个特征应用情绪分类器。
14.根据权利要求9所述的方法，还包括在二维网格中呈现所述情绪状态，所述二维网格包括：第一维度即觉醒维度和第二维度即效价维度。
15.根据权利要求1所述的方法，其中，所述基于运动的生理信号表示根据所述接收信号中的发送信号反射的相位角随时间的变化的被检体的生理运动。
16.根据权利要求1所述的方法，还包括从所述基于运动的生理信号中的各基于运动的生理信号的心跳分量提取特征、并将所提取的特征映射到一个或多个心脏功能，所述特征包括拐点的峰值、谷值。
17.一种用于确定被检体的情绪状态的方法，所述方法包括：
接收与被检体相关联的基于运动的生理信号，所述基于运动的生理信号包括与所述被检体的生命体征相关的分量；以及
至少部分地基于与所述被检体的生命体征相关的分量来确定所述被检体的情绪状态。
18.根据权利要求17所述的方法，其中，与所述被检体的生命体征相关的分量包括周期性分量，所述方法还包括确定所述周期性分量的分段。
19.根据权利要求18所述的方法，其中，确定所述周期性分量的分段包括确定针对所述周期性分量的周期的模板时间模式、并基于所确定的模板时间模式来确定所述周期性分量的分段。
20.根据权利要求18所述的方法，其中，确定所述被检体的情绪状态至少部分地基于所述周期性分量的分段。
21.根据权利要求18所述的方法，其中，所述周期性分量包括心跳分量和呼吸分量至少之一。
22.根据权利要求21所述的方法，还包括确定所述心跳分量，确定所述心跳分量包括确定所述基于运动的生理信号的二阶导数。
23.根据权利要求21所述的方法，还包括确定所述心跳分量，确定所述心跳分量包括对所述基于运动的生理信号应用带通滤波器。
24.根据权利要求21所述的方法，还包括确定所述呼吸分量，确定所述呼吸分量包括对所述基于运动的生理信号应用低通滤波器。
25.根据权利要求17所述的方法，其中，确定所述被检体的情绪状态包括对根据与所述被检体相关联的基于运动的生理信号而确定的一个或多个特征应用情绪分类器。
26.根据权利要求20所述的方法，其中，确定所述被检体的情绪状态包括对根据所确定的所述周期性分量的分段而确定的一个或多个特征应用情绪分类器。
27.根据权利要求17所述的方法，还包括在二维网格中呈现所述情绪状态，所述二维网格包括：第一维度即觉醒维度和第二维度即效价维度。
28.根据权利要求17所述的方法，其中，与所述被检体相关联的基于运动的生理信号与加速度计测量相关联。
29.根据权利要求17所述的方法，其中，与所述被检体相关联的基于运动的生理信号与超声测量相关联。
30.根据权利要求17所述的方法，其中，与所述被检体相关联的基于运动的生理信号与基于射频的测量相关联。
31.根据权利要求17所述的方法，其中，与所述被检体相关联的基于运动的生理信号与基于视频的测量相关联。
CN201780037758.4A 2016-04-18 2017-04-18 从生理信号提取特征 Pending CN109416729A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662323928P 2016-04-18 2016-04-18
US62/323,928 2016-04-18
US201662403808P 2016-10-04 2016-10-04
US62/403,808 2016-10-04
PCT/US2017/028106 WO2018013192A2 (en) 2016-04-18 2017-04-18 Extraction of features from physiological signals

Publications (1)

Publication Number Publication Date
CN109416729A true CN109416729A (zh) 2019-03-01

Family

ID=60157076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037758.4A Pending CN109416729A (zh) 2016-04-18 2017-04-18 从生理信号提取特征

Country Status (5)

Country Link
US (1) US20170311901A1 (zh)
EP (1) EP3446248A2 (zh)
JP (1) JP2019515730A (zh)
CN (1) CN109416729A (zh)
WO (1) WO2018013192A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110200640A (zh) * 2019-05-14 2019-09-06 南京理工大学 基于双模态传感器的非接触式情绪识别方法
CN110368005A (zh) * 2019-07-25 2019-10-25 深圳大学 一种智能耳机及基于智能耳机的情绪及生理健康监控方法
CN111759305A (zh) * 2019-04-02 2020-10-13 纬创资通股份有限公司 活体检测方法与活体检测系统
CN113274022A (zh) * 2021-05-08 2021-08-20 南京邮电大学 一种匹配饮品咖啡因含量的音乐辅助调节情绪智能方法
CN116725538A (zh) * 2023-08-11 2023-09-12 深圳市昊岳科技有限公司 一种基于深度学习的手环情绪识别方法
CN116763312A (zh) * 2023-08-21 2023-09-19 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2883877T3 (es) * 2016-12-06 2021-12-09 Nippon Telegraph & Telephone Aparato de extracción de características de señal, método de extracción de características de señal, y programa
US10159435B1 (en) * 2017-09-29 2018-12-25 Novelic D.O.O. Emotion sensor system
US10310073B1 (en) * 2018-02-07 2019-06-04 Infineon Technologies Ag System and method for determining engagement level of a human being using a millimeter-wave radar sensor
US20200155038A1 (en) 2018-11-20 2020-05-21 Massachusetts Institute Of Technology Therapy monitoring system
CN109512441A (zh) * 2018-12-29 2019-03-26 中山大学南方学院 基于多元信息的情绪识别方法及装置
CN109685156B (zh) * 2018-12-30 2021-11-05 杭州灿八科技有限公司 一种用于识别情绪的分类器的获取方法
JP7001627B2 (ja) 2019-03-01 2022-01-19 Kddi株式会社 感情特定装置、感情特定方法及びメッセージ出力システム
CN110123342B (zh) * 2019-04-17 2021-06-08 西北大学 一种基于脑电波的网瘾检测方法及系统
EP4013338A4 (en) 2019-08-12 2023-08-30 Bard Access Systems, Inc. FORM MEASUREMENT SYSTEMS AND PROCESSES FOR MEDICAL DEVICES
CN110619301B (zh) * 2019-09-13 2023-04-18 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
EP4061466A4 (en) 2019-11-25 2023-11-22 Bard Access Systems, Inc. ADVANCED OPTICAL TRACKING SYSTEMS AND THEIR METHODS
US11525670B2 (en) * 2019-11-25 2022-12-13 Bard Access Systems, Inc. Shape-sensing systems with filters and methods thereof
US11832933B2 (en) 2020-04-20 2023-12-05 Emerald Innovations Inc. System and method for wireless detection and measurement of a subject rising from rest
CN216319408U (zh) 2020-06-26 2022-04-19 巴德阿克塞斯系统股份有限公司 错位检测系统
CN216136534U (zh) 2020-06-29 2022-03-29 巴德阿克塞斯系统股份有限公司 用于将医疗装置放置入患者身体内的医疗装置系统
CN113907705A (zh) 2020-07-10 2022-01-11 巴德阿克塞斯系统股份有限公司 连续光纤功能监测和自诊断报告系统
CN114052658A (zh) 2020-08-03 2022-02-18 巴德阿克塞斯系统股份有限公司 布拉格光栅光纤波动感测与监测系统
JP2022071797A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 車両及び表示方法
CN112957044A (zh) * 2021-02-01 2021-06-15 上海理工大学 一种基于双层神经网络模型的驾驶员情绪识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958638A (en) * 1988-06-30 1990-09-25 Georgia Tech Research Corporation Non-contact vital signs monitor
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
WO2015168093A1 (en) * 2014-04-28 2015-11-05 Massachusetts Institute Of Technology Vital signs monitoring via radio reflections

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2659340B2 (ja) * 1994-11-22 1997-09-30 防衛庁技術研究本部長 レーダ装置
JP2692733B2 (ja) * 1995-04-14 1997-12-17 工業技術院長 加速度心拍計
JPH1080412A (ja) * 1996-09-10 1998-03-31 Omron Corp 生体情報処理装置、生体情報処理方法及び生体情報処理プログラム記憶媒体
JP3733710B2 (ja) * 1997-10-09 2006-01-11 セイコーエプソン株式会社 心機能診断装置
KR100462182B1 (ko) * 2002-04-15 2004-12-16 삼성전자주식회사 Ｐｐｇ 기반의 심박 검출 장치 및 방법
JP3930376B2 (ja) * 2002-06-03 2007-06-13 日本無線株式会社 Ｆｍｃｗレーダ装置
JP4136569B2 (ja) * 2002-09-25 2008-08-20 株式会社タニタ 枕型睡眠測定装置
US20070191901A1 (en) * 2004-06-04 2007-08-16 Pacesetter, Inc. Quantifying systolic and diastolic cardiac performance from dynamic impedance waveforms
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
EP2020919B1 (en) * 2006-06-01 2019-07-31 ResMed Sensor Technologies Limited Apparatus, system, and method for monitoring physiological signs
US9833184B2 (en) * 2006-10-27 2017-12-05 Adidas Ag Identification of emotional states using physiological responses
US20100152600A1 (en) * 2008-04-03 2010-06-17 Kai Sensors, Inc. Non-contact physiologic motion sensors and methods for use
US10493281B2 (en) * 2008-04-18 2019-12-03 Medtronic, Inc. Timing therapy evaluation trials
JP5140891B2 (ja) * 2009-06-09 2013-02-13 国立大学法人九州大学 信号ピーク測定システム
US20130001422A1 (en) * 2011-06-29 2013-01-03 The Procter & Gamble Company Apparatus And Method For Monitoring The Condition Of A Living Subject
WO2013102180A1 (en) * 2011-12-30 2013-07-04 Neurotrek, Inc. Optimization of ultrasound waveform characteristics for transcranial ultrasound neuromodulation
JP6015479B2 (ja) * 2013-02-08 2016-10-26 トヨタ自動車株式会社 生体情報取得装置、生体情報取得方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958638A (en) * 1988-06-30 1990-09-25 Georgia Tech Research Corporation Non-contact vital signs monitor
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
WO2015168093A1 (en) * 2014-04-28 2015-11-05 Massachusetts Institute Of Technology Vital signs monitoring via radio reflections

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAETANO VALENZA等: "Revealing Real-Time Emotional Responses: a Personalized Assessment based on Heartbeat Dynamics", 《SCIENTIFIC REPORTS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111759305A (zh) * 2019-04-02 2020-10-13 纬创资通股份有限公司 活体检测方法与活体检测系统
CN111759305B (zh) * 2019-04-02 2023-08-25 纬创资通股份有限公司 活体检测方法与活体检测系统
CN110200640A (zh) * 2019-05-14 2019-09-06 南京理工大学 基于双模态传感器的非接触式情绪识别方法
CN110200640B (zh) * 2019-05-14 2022-02-18 南京理工大学 基于双模态传感器的非接触式情绪识别方法
CN110368005A (zh) * 2019-07-25 2019-10-25 深圳大学 一种智能耳机及基于智能耳机的情绪及生理健康监控方法
CN113274022A (zh) * 2021-05-08 2021-08-20 南京邮电大学 一种匹配饮品咖啡因含量的音乐辅助调节情绪智能方法
CN113274022B (zh) * 2021-05-08 2022-07-01 南京邮电大学 一种匹配饮品咖啡因含量的音乐辅助调节情绪智能方法
CN116725538A (zh) * 2023-08-11 2023-09-12 深圳市昊岳科技有限公司 一种基于深度学习的手环情绪识别方法
CN116725538B (zh) * 2023-08-11 2023-10-27 深圳市昊岳科技有限公司 一种基于深度学习的手环情绪识别方法
CN116763312A (zh) * 2023-08-21 2023-09-19 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统
CN116763312B (zh) * 2023-08-21 2023-12-05 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统

Also Published As

Publication number Publication date
EP3446248A2 (en) 2019-02-27
WO2018013192A3 (en) 2018-06-21
US20170311901A1 (en) 2017-11-02
JP2019515730A (ja) 2019-06-13
WO2018013192A2 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
CN109416729A (zh) 从生理信号提取特征
Le Kernec et al. Radar signal processing for sensing in assisted living: The challenges associated with real-time implementation of emerging algorithms
US11896380B2 (en) Medical decision support system
TWI720215B (zh) 提供即時訊號分段和基準點對準架構的系統與方法
Sengur An expert system based on principal component analysis, artificial immune system and fuzzy k-NN for diagnosis of valvular heart diseases
Mondal et al. Detection of lungs status using morphological complexities of respiratory sounds
Machado et al. Human activity data discovery from triaxial accelerometer sensor: Non-supervised learning sensitivity to feature extraction parametrization
CN107106028B (zh) 用于心肺睡眠阶段分类的系统和方法
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
US8935195B2 (en) Method of identification and devices thereof
Zhao et al. PPG-based finger-level gesture recognition leveraging wearables
CN105701331A (zh) 计算机辅助诊断设备和计算机辅助诊断方法
CN106659428A (zh) 通过无线电反射的生命体征监测
Procházka et al. Extraction of breathing features using MS Kinect for sleep stage detection
Chen et al. Apneadetector: Detecting sleep apnea with smartwatches
CN113116321A (zh) 基于pso-grnn神经网络的无创连续血压测量系统
Samyoun et al. Stress detection via sensor translation
Petrenko et al. Detection of human respiration patterns using deep convolution neural networks
Gamage et al. Clustering of scg events using unsupervised machine learning
Dang et al. Emotion recognition method using millimetre wave radar based on deep learning
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
Choudhary et al. Design of breathing-states detector for m-health platform using seismocardiographic signal
Banerjee et al. An irregularity measurement based cardiac status recognition using support vector machine
Chen et al. Applying cybernetic technology to diagnose human pulmonary sounds
Valero et al. Reprint of: Vibration sensing-based human and infrastructure safety/health monitoring: A survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261790

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301