CN107850940B - 情感评估 - Google Patents

情感评估 Download PDF

Info

Publication number
CN107850940B
CN107850940B CN201680039972.9A CN201680039972A CN107850940B CN 107850940 B CN107850940 B CN 107850940B CN 201680039972 A CN201680039972 A CN 201680039972A CN 107850940 B CN107850940 B CN 107850940B
Authority
CN
China
Prior art keywords
data
histogram
period
emotion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680039972.9A
Other languages
English (en)
Other versions
CN107850940A (zh
Inventor
贾瓦哈·贾殷
西达尔特
赛义德·萨迪
普拉纳夫·米斯特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107850940A publication Critical patent/CN107850940A/zh
Application granted granted Critical
Publication of CN107850940B publication Critical patent/CN107850940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

在一个实施例中，一个或多个计算机可读非临时性存储介质包含软件，所述软件在被执行时可操作以：基于心脏活动数据来确定在一段时间期间交感迷走神经平衡的偏移；获得情感状态特性，所述情感状态特性基于脑波活动数据；和基于所述SVB偏移和所述情感状态特性来确定用户在所述一段时间期间的情感状态的估计。

Description

情感评估
技术领域
本公开大体上涉及可佩带的电子设备。
背景技术
在行为科学、生物科学和社会科学中可以看出评估人类情感的兴趣日益增加。在不考虑人类情感的情况下，从个人认知处理到社会和集体行为的许多现象可能不能被很好地理解。近来，对感情计算，即可以识别、解释、处理和模拟人类感情的计算系统或设备的研究和开发，一直存在兴趣。特别是，用户的情感可以用作用于可以通过计算设备或系统进行后续操作的输入。
发明内容
问题的解决方案
一个或多个计算机可读非临时性存储介质，包含软件，所述软件在被执行时可操作以：基于心脏活动数据来确定在一段时间期间交感迷走神经平衡的偏移；获得情感状态特性，所述情感状态特性基于脑波活动数据；以及基于所述交感迷走神经平衡的偏移和所述情感状态特性来确定用户在所述一段时间期间的情感状态的估计。
附图说明
图1示出了用于内部身体组织和骨骼的光学检测系统的具体实施例的示例性网络环境。
图2a、图2b和图2c示出了用于噪声预测和信号修正(stitch)或替换的噪声校正系统。
图3A示出了基线数据直方图的示例。
图3B示出了其中交感迷走神经平衡向左偏移的测试数据直方图的示例。
图3C示出了其中交感迷走神经平衡向右偏移的测试数据直方图的示例。
图4示出了情感的环形模型的示例图。
图5示出了随时间变化的示例性心脏和脑波活动数据。
图6示出了用于情感评估的情感评估系统。
图7示出了用于情感评估的示例性方法。
图8示出了根据本发明的具体实施例的示例性计算机系统。
具体实施方式
在一个实施例中，一个或多个计算机可读非临时性存储介质包含软件，所述软件在被执行时可操作以：基于心脏活动数据来确定在一段时间期间交感迷走神经平衡的偏移；获得情感状态特性，所述情感状态特性基于脑波活动数据；以及基于所述交感迷走神经平衡的偏移和所述情感状态特性来确定用户在所述一段时间期间的情感状态的估计。
在一个实施例中，其中所述软件可进一步操作以基于所述心脏活动数据来确定用户在所述一段时间期间的心率或心率变化；并且其中所估计的用户的情感状态进一步基于在所述一段时间期间的所述心率或心率变化。
在一个实施例中，其中所述软件可进一步操作以计算所述交感迷走神经平衡的偏移与所述情感状态特性之间的协方差。
在一个实施例中，其中所述情感状态特性包括多个情感状态，所述多个情感状态中的每一个情感状态包括多个具体情感。
在一个实施例中，其中所述脑波活动数据被存储在存储器中或者被实时测量。
在一个实施例中，其中所述软件可进一步操作以确定所述脑波活动数据的一个或多个特征，并且其中该特征中的一个或多个包括大于预定义的阈值的能量水平。
在一个实施例中，其中所述软件可进一步操作以基于所述脑波活动数据来计算脑电图短期激动数据。
在一个实施例中，其中所述软件可进一步操作以：基于用户的脑波活动识别二维空间的第一象限；以及基于所述交感迷走神经平衡识别该二维空间的第二象限，并且其中第一象限和第二象限均对应于用户在所述一段时间期间的多个候选情感状态。
在一个实施例中，其中所述软件可操作以基于在所述一段时间期间所述交感迷走神经平衡的偏移和所述情感状态特性的变化来标记所述一段时间。
在一个实施例中，其中所述脑波活动是使用头戴式装置检测的，所述头戴式装置包括多个电极和头戴式显示器。
在一个实施例中，其中所述软件可进一步操作以计算基于所述心脏活动数据和所述脑波活动数据的情感能量。
在一个实施例中，其中所述软件可进一步操作以：接收标识所估计的用户的情感状态是否正确地标识用户在所述一段时间期间的情感的反馈；以及将所述反馈存储在可通过一个或多个机器学习算法访问的数据结构中。
在一个实施例中，其中所述软件可进一步操作以：将所述心脏活动数据与所述脑波活动数据同步；对所述心脏活动数据或所述脑波活动数据进行上采样；以及对所述心脏活动数据或所述脑波活动数据进行平滑。
在一个实施例中，其中所述软件可进一步操作以确定第一象限是否对应于第二象限。
在一个实施例中，其中所述一段时间长于预定的阈值时间量。
在一个实施例中，其中所述软件可进一步操作以基于计算出的情感能量来确定内容的评级。
在一个实施例中，一种方法，所述方法包括：基于心脏活动数据来确定在一段时间期间交感迷走神经平衡的偏移；获得情感状态特性，所述情感状态特性基于脑波活动数据；以及基于所述交感迷走神经平衡的偏移和所述情感状态特性来确定用户在所述一段时间期间的情感状态的估计。
在一个实施例中，一种系统，所述系统包括：一个或多个处理器；以及耦接到所述处理器的非临时性存储器，所述非临时性存储器包括可通过所述处理器执行的指令，所述处理器在执行所述指令时可操作以：基于心脏活动数据来确定在一段时间期间交感迷走神经平衡的偏移；获得情感状态特性，所述情感状态特性基于脑波活动数据；以及基于所述交感迷走神经平衡的偏移和所述情感状态特性来确定用户在所述一段时间期间的情感状态的估计。
实施方式
图1示出了示例性网络环境100。网络环境100包括一个或多个可佩带设备110A-B、客户端系统120、网络130、一个或多个服务器140和一个或多个数据存储设备150。可佩带设备110A-B、客户端系统120、服务器140、和数据存储设备150可以通过网络130经由链路160彼此连接。尽管图1示出了可佩带设备110A-B、客户端系统120、网络130、服务器140和数据存储设备150的具体布置，但是本公开可想到用户110、客户端系统120、网络130、服务器140和数据存储设备150的任何适合的布置。
网络环境100包括可以与客户端系统120连接的一个或多个可佩带设备110A-B。在具体实施例中，一个或多个可佩带设备110A-B是可以佩带在用户身体部位(如臂部、腕部、手指、腿、踝部、脚趾、躯干、颈部、头部)、身体的任何其它适合的部位、或其任何组合上的可佩带电子设备(例如，客户端系统120的设备)。在具体实施例中，一个或多个可佩带设备110A-B被配置为测量来自一个或多个系统的人体的数据。作为示例并且非限制性地，第一可佩带设备110A可以被配置为监测人脑的电活动，且第二可佩带设备110B可以被配置为监测人心脏的电活动。可佩带设备110A-B可以被配置有集成的传感器、横跨多个可佩带设备分布的传感器、或任何适合的传感器配置。在具体实施例中，一个或多个可佩带设备110A-B可以包括增强/虚拟现实设备(例如，头戴式显示器(HMD))或用户接口(UI)。
在具体实施例中，可佩带设备110A-B可以与客户端系统120直接或经由网络130连接，这可以有助于可佩带设备110A-B和客户端系统120之间的交互和/或数据传递。数据(例如，心率、脑波活动、睡眠时间、情感状态等)可以被存储在可佩带设备110A-B、客户端系统120、数据存储设备150、其它适合的数据库、或其任何组合上。另外，数据的处理和具体算法(如下所讨论的)的计算可以通过可佩带设备110A-B、客户端系统120、服务器140、其它适合的设备/系统、或其任何组合执行。在具体实施例中，数据的处理和具体算法的计算可以通过经由网络130从数据存储设备150访问用户数据、参考/基线数据帧、医疗数据、其它相关数据或其任何组合来执行。
作为示例并且非限制性地，客户端系统120、服务器140、数据存储设备150、或其任何适合的组合中的两个或更多个可以绕过网络130彼此直接连接(例如，以太网或局域网(LAN)连接)。作为另一示例，客户端系统120、服务器140、和数据存储设备150中的两个或更多个可以全部或部分地彼此物理或逻辑共置于同一位置。此外，尽管图1示出了可佩带设备110A-B、客户端系统120、网络130、服务器140、和数据存储设备150的具体数量和配置，但是本公开可想到可佩带设备110A-B、客户端系统120、网络130、服务器140和数据存储设备150的任何适合的数量或配置。作为示例并且非限制性地，网络环境100可以包括多个可佩带设备110A-B、客户端系统120、网络130、服务器140和数据存储设备150。
在具体实施例中，客户端系统120可以是任何适合的计算设备，如移动计算设备、智能手机、蜂窝电话、平板计算机、膝上型计算机、个人计算机、或其任何组合。用户可以与这些设备中的一个或多个交互。另外，这些设备可以经由网络130、直接地(例如，通过非网络连接)、通过任何其他适合的方法或其任何组合相互通信。作为示例并且非限制性地，客户端系统120通过无线通信协议(如Wi-Fi或蓝牙(BLUETOOTH))与网络130通信。在具体实施例中，网络130可以是任何适合的网络。作为示例并且非限制性地，网络130的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网络(PSTN)的一部分、蜂窝电话网络、或其中两个或更多个的组合。网络130可以包括一个或多个网络。
在具体实施例中，链路160可以将客户端系统120、服务器140和数据存储设备150连接至网络130或彼此连接。本公开可想到任何适合的链路160。在具体实施例中，一个或多个链路160包括一个或多个有线线路(如数字订户线路(DSL)或电缆数据业务接口规范(DOCSIS))、无线(如Wi-Fi或微波存取全球互通(WiMAX))、或光学(如同步光学网络(SONET)或同步数字体系(SDH))链路。在具体实施例中，一个或多个链路160各自包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、因特网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一个链路160、或两个或更多个这样的链路160的组合。在整个网络环境100内，链路160不必相同，使得一个或多个第一链路160可以在一个或多个方面与一个或多个第二链路160不同。
在具体实施例中，服务器140可以是任何适合的服务器。每一个服务器140可以是单个服务器或横跨多个计算机或多个数据中心分布的服务器。服务器140可以是各种类型的，例如并且非限制性地，网络服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合用于执行本文所述的功能或过程的另一服务器、或其任何组合。在具体实施例中，每一个服务器140可以包括硬件、软件、或嵌入式逻辑组件、或两个或更多个这样的组件的组合，以用于执行由服务器140执行或支持的适合的功能。
在具体实施例中，数据存储设备150可以是任何适合的数据存储设备。数据存储设备150可以用于存储各种类型的信息。在具体实施例中，可以根据具体的数据结构对存储在数据存储设备150中的信息进行组织。在具体实施例中，每一个数据存储设备150可以是相关数据库、柱状数据库、关联数据库或其它适合的数据库。数据存储设备150可以包括网络化的存储设备，例如云存储设备或其它可网络访问的存储设备。另外或备选地，数据存储设备150可以包括在客户端系统120的任一设备内的或与其直接附接的本地存储设备，如固态驱动器(SSD)或硬盘驱动器(HDD)。
在具体实施例中，数据存储设备150可以存储与光学检测设备和由光学检测设备收集的数据的处理相关的各种数据结构。作为示例并且非限制性地，数据存储设备150可以存储与生物感测测量(例如，心率(HR)、心率变化(HRV)、由HR或HRV得到的数据(例如，交感迷走神经平衡(SVB))、或“脑波”模式(例如，脑电图(EEG)数据的测量)对应的数据结构。作为另一示例且非限制性地，数据存储设备150可以存储与基于用于情感评估的特征评估过程确定的特征数据和特征矢量对应的数据结构。尽管本公开描述了或示出了网络环境100的组件的具体类型和这些组件的应用，但是本公开可想到网络环境100的这些组件的任何适合的组件类型、任何适合的网络拓扑(例如，包括独立的设备拓扑)和任何适合的应用。
如上所述，人类情感的自动评估在行为应用、生物应用和社会应用等中尤其有用。下面讨论的具体实施例描述了在个性化的娱乐体验中的移动监测应用的上下文中对人类情感的评估。在移动监测中，使用具有传感器的可佩带设备110A-B可以有助于人类情感的实时评估。在具体实施例中，通过测量自主神经系统(ANS)的活动/唤醒来评估人类情感，其中唤醒的变化是各种情感的指示。例如，ANS的唤醒导致生理变化，该生理变化可以通过以下各项的变化来测量：心率、皮肤传导、血压、呼吸、经由EEG的脑波模式、其它相关度量、或其任何组合。下面所述的具体实施例描述了神经和心血管系统的病理生理相互作用的监测和测量。
人类情感的变化可以部分通过EEG值或脑波活动在大脑的不同位置的变化来测量。例如，大脑不同地响应于不同的兴奋和条件，因此不同的人类情感对大脑活动具有可区分的标记。在具体实施例中，可佩带设备110A可以包括被配置为测量电“脑波”活动(例如，EEG)的传感器。
可佩带设备110A可以包括如所述的多个EEG传感器(例如，14个传感器)，其以这样的方式被定位，即，使得传感器测量用户头部的特定区域。在一个示例性方面，所使用的EEG传感器的总数和每一个传感器在头部上的定位尤其可能影响脑波特征的提取的准确性、分辨率和/或可靠性。在传感器数据处理期间，设备110A、110B、120、140中的一个或多个可以将来自每一个EEG传感器的传感器数据与大脑的预定区域联系在一起。如在下面更详细描述的，对脑波测量进行处理以确定趋势(例如，以确定EEG激动或唤醒正在增加还是减小)。尽管本公开示出了和描述了被配置为测量脑波活动的具有特定的传感器配置的特定类型的可佩带设备，但是本公开可想到具有用于测量脑波活动的任何适合的传感器配置的任何适合类型的设备。
在具体实施例中，脑波活动是在预定的频带内测量的。预定的频带可以包括例如，α(7-13Hz)；β1或低β波(～13-20Hz)；和β2或β波(～20-30Hz)。α波特征源自于大脑两侧的后部区域且在支配侧幅度更高。β波特征源自于对称分布的大脑两侧并且在前面最明显。β波活动与运动行为紧密相关，且在主动移动中通常是衰减的。γ频带在示例性实施例中被忽略，原因是噪声水平高。EEG的预定义的频谱带的能级被用作特征并且针对可佩戴设备110A的每一个传感器针对在预定的一段时间(例如，1秒)测量的数据来计算能级。例如，示例性特征是大于预定义的阈值的能级，且在一些实施例中，在大于预定时间的持续时间期间大于预定义的阈值的能级。这种类型的特征可以指示与例如相应频带和/或大脑区域对应的脑波活动的类型。其它示例性特征是相对于用户大脑的区域而言测量的脑波活动的对称性或非对称性。
在具体实施例中，与不同的光谱带对应的频段(frequency bins)的特征(例如，频带内的能量或功率谱密度(PSD))通过以下方式计算：使用快速傅立叶变换(FFT)算法将来自可佩带设备110A的传感器的离散时域信号转换到频域。在具体实施例中，特征的值被归一化为介于0和1之间的范围内的值。通过可佩带设备110A的传感器捕获的特征的总数可以是很大的。捕获的特征中的一些可能不能用于情感评估，因此可以基于试探法减少特征的总数。在具体实施例中，使用主成分分析(PCA)算法执行特征减少，所述算法将数据投影到多维空间使得该投影对应于原始信号的最佳表示而没有显著的信息损失。
如上所述，可佩带设备110B可以包括被配置为测量心血管数据的一个或多个传感器。存在可以使用的多个类型的传感器。在具体实施例中，可佩带设备110B可以通过光体积描记器(PPG)测量心血管活动，其中光体积描记器照亮下面的皮肤并且基于光吸收的变化来确定心血管活动。作为示例并且非限制性地，PPG测量由压力脉冲导致的体积变化，所述体积变化通过以下方式检测：用来自发光二极管(LED)的光照亮皮肤，然后测量被透射或反射至可佩带设备110B的光电二极管的光的量。另外或备选地，可佩带设备110B可以通过心电图(ECG)测量心血管活动，所述心电图使用置于皮肤上的电极测量心脏的电活动。作为示例并且非限制性地，可佩带设备110B可以是具有被配置为测量心脏电活动的一个或多个电极的胸带。尽管本公开示出了和描述了被配置为测量心血管活动的具有特定的传感器配置的特定类型的可佩带设备，但是本公开可想到具有用于测量心血管活动的任何适合的传感器配置的任何适合类型的设备。
生物感测测量(如PPG数据)可以是有噪的并且由这些测量得到的生物信号可能是噪声敏感的。作为示例并且非限制性地，噪声源包括运动伪差、不稳定的和/或失去的身体-传感器接触、环境干扰、或其它的相关噪声。具体地，噪声增加了收集的信号数据的变化性，这可能误差地增加所感知的HRV计算的变化性，进而可能误差地影响SVB输出。作为示例并且非限制性地，噪声在PPG信号中是高度突出的，其是对比理想的收集和分析方法更差的方法具有低容忍度的敏感的生物信号。下面论述的具体实施例涉及使用有噪的测量监测和分析与健康状况和/或健康相关的适合的生物信号。健康测量是根据由生物感测设备(例如，一个或多个可佩带设备110A-B、移动设备(例如，智能手机)、专用监测设备(例如，医疗设备等)、其它适合的设备、或其任何组合(例如，如上关于图1所述))获得的数据来计算的。作为示例并且非限制性地，健康测量可以包括压力、心率、睡眠、情感状态、其它相关测量、或其任何组合。例如，数据可以对应于EEG信号、PPG信号、ECG信号、生物阻抗信号、动脉血压(BP信号)、其它适合的信号、或其任何组合。如上所述，PPG信号用于计算HRV，其进而用于计算SVB。然而，PPG信号中的噪声可能导致HRV计算的变化性的增加，这进而导致误差的SVB测量。下面所述的实施例描述了校正由于PPG信号或EEG信号中的噪声导致的误差。
在具体实施例中，校正有噪的信号(例如，PPG信号或EEG信号)可以基于以下观测：抖动或信号失真对于峰或谷或零交点可能是局部的。对于信号的最大值、最小值或零交点附近的信号失真，噪声通过如下方式估计：计算预期的信号分布、然后将基于所预期的信号分布确定的所构造信号与原始信号混合。在高信号失真的情况下，信号的相关部分可能被完全否决并且被基于所预期的信号分布确定的所构造信号代替。所构造信号提供了具有低噪声的良好的PPG信号或EEG信号以供使用或分析。修正和/或替换有噪的信号可以实时进行以输出相对无噪声的信号。
图2a、图2b和图2c示出了用于噪声预测和信号修正或替换的噪声校正系统200。如下面所述的，确定信号噪声和估计的误差之间的关系。在具体实施例中，该关系可以被实现为计算的关系(例如，等式)或查找表。因此，基于计算出的噪声水平，可以使用误差-噪声曲线确定估计的误差。可以根据HRV或SVB计算给出误差，且可以对对应的计算进行调整。
可以在可佩带设备110A-B或客户端系统120上实现的噪声校正系统200最初可以接收原始信号210的输入。如上所述，原始信号210可以从传感器(或传感器接口)接收，通过基本滤波和峰值检测220处理。作为示例并且非限制性地，原始信号210可以通过基本滤波处理以除去一部分噪声(例如，原始信号中的频率大于15Hz的任何块)。另外，原始信号210可以被处理使得可以对信号进行峰值检测，且该信息可以被存储以便以后使用(例如，为了确定信号是否是有噪的)。
将滤波的原始信号发送至噪声量化系统230。在具体实施例中，噪声量化系统230可以包括信号延迟232、信号滤波器236、数据门238、噪声检测器240、和波形缓冲器246。在具体实施例中，将滤波的原始信号发送至信号延迟232，在信号延迟232处将延迟-滤波的信号234发送至信号滤波器236和数据门238。在具体实施例中，信号延迟232可以在将延迟-滤波的信号234传送至数据门238之前将滤波的原始信号存储且保持预定的一段时间，使得可以通过噪声检测器240分析被发送至信号滤波器236的延迟-滤波的信号234以确定是否存在噪声(例如，使得可以近似实时地检测并处理噪声)。在确定是否存在噪声时，噪声检测器240可以计算(例如，第一脉冲与一个或多个随后的第二脉冲之间的)相对脉冲宽度和脉冲幅度且与可生理接受的偏差比较，且大于可生理接受的偏差的度量变化可以被认为是噪声。作为示例并且非限制性地，对于PPG波形，信号延迟232可以维持(例如，“延迟”)所滤波的原始信号约100个样本的时段，这对应于约单个心跳脉冲。这样，如果确定滤波的原始信号包含噪声，则噪声校正系统200可以回到单个脉冲的开始处(例如，100个样本中的某处)且在噪声出现之前校正滤波的原始信号。在具体实施例中，对于PPG波形信号，单个波形的开始可以是峰(例如，其中单个脉冲是基于脉冲峰至下一个脉冲峰确定的)、谷(例如，其中单个脉冲是基于谷至下一个谷确定的)、零交点(例如，其中单个脉冲是基于零交点至下一个零交点确定的)、其它相关的波形特征、或其任何组合。下面更详细地论述具体的波形特征和特定的波形特征的优点。
一旦噪声检测器240确定在延迟-滤波的信号234中是否存在噪声，该确定除了被发送至混合器262之外，还被发送至数据门238。如果确定没有噪声(例如，步骤242)，则延迟-滤波的信号234被保存并且输入至波形缓冲器244，同时也被发送至混合器262(如下所述)。在具体实施例中，波形缓冲器244(例如，存储缓冲器)可以仅仅存储预定量的数据。作为示例并且非限制性地，对于PPG波形信号，波形缓冲器244可以仅仅存储与3个心跳脉冲(例如，N＝3)对应的数据。波形缓冲器244可以被配置为存储少量的脉冲，使得与之前的信号相比有噪的信号(例如，与一个或多个之前的脉冲信号相比在一个或多个特征方面偏差大的脉冲信号)可以被确定为有噪的，但是同时允许信号的逐渐变化。另外，当波形缓冲器244以缓冲器中为空(例如，没有存储的PPG波形)开始时，最初的确定将会是延迟-滤波的信号不包含噪声，使得在使用之前的PPG脉冲的波形分析目前的PPG脉冲的波形之前可以存储至少3个PPG脉冲。然后，当在波形缓冲器244中存储了3个无噪的PPG波形之后，将被确定为没有噪声的每一个额外的PPG波形保存至波形缓冲器244，同时将移除旧的PPG波形(例如，来自之前的4个脉冲的PPG波形)。这样，波形缓冲器244可以始终保持与最后3个脉冲对应的最后3个PPG波形。
在具体实施例中，存储在波形缓冲器244中的脉冲的数量可以足够小以允许有意义的比较并且也可以足够大以平均化脉冲间偏差和噪声。这里提及术语R可以是指与PPG波形的QRS波群的峰或主动脉处的最大压力梯度对应的点，且提及术语RR间隔是指连续的R之间的间隔。作为示例并且非限制性地，由于呼吸-窦性心律失常(RSA)的现象，三个心跳脉冲被存储在波形缓冲器244中，呼吸-窦性心律失常是与呼吸同步的心率变化性，由于呼吸-窦性心律失常，在ECG或PPG上的RR间隔在吸气期间缩短并且在呼气期间延长。RSA对PPG波形的影响是使得吸气逐渐增加HR，同时减小PPG波形幅度，而呼气逐渐减小HR，同时增加PPG波形幅度。在具体实施例中，RSA对PPG波形的影响可以作为因素包括在PPG波形中的噪声的确定中并且与该确定分开(例如，选择N＝3以落入已知的RSA循环中)。
另一方面，如果确定在延迟-滤波的信号234中存在噪声(例如，步骤246)，则如在图2a的示例中所示的，有噪的数据256被发送至波形构造器250的延迟258。在具体实施例中，波形构造器250可以包括统计引擎252、延迟258、和混合器262。在具体实施例中，通过波形缓冲器244处理的延迟-滤波的信号234被输入至统计引擎252，其然后基于存储在波形缓冲器244中的数据(例如，最后3个脉冲)生成统计波形254，并且也可以在PPG波形信号从有噪的变为无噪的并且统计波形254转变为实时数据时调节数据以匹配信号的变化时段从而允许更好的信号匹配。该统计波形254然后被发送至混合器262。另外，有噪的数据256被输入至延迟258，在延迟258处，有噪的数据256被存储预定量的时间，使得统计波形254可以由统计引擎252生成(例如，允许近似实时的数据校正)。然后，除了来自噪声检测器240的确定和延迟-滤波的信号234(例如，由数据门238输出)之外，延迟-有噪的数据260和统计波形254也被输入至混合器262。然后当在延迟-滤波的信号234中检测到噪声时，混合器262可以将统计波形254(例如，所构造的波形)与延迟-滤波的信号234(例如，原始信号波形)混合。作为示例并且非限制性地，混合可以包括从在最靠近所选特征(例如，零交点、峰、或谷)的点对于所构造的波形给予的0强度(例如，0％)和对于原始信号波形给予的100％强度开始，然后逐渐更大地加权所构造的波形直至信号为100％构造的波形和0％原始信号波形为止。另外，该过程可以当在信号中不再检测到噪声之后逐渐相反地进行以合并两个信号。在具体实施例中，然后可以通过附加的滤波器发送所得到的混合信号以确保波形上的点平滑地被混合到该所得到的混合信号中。然后，混合器262可以向脉冲校正器270输出噪声补偿的数据264(例如，噪声补偿的信号)。
如在图2c的示例中所示的，脉冲校正器270可以包括心率(HR)计算器272、RSA插值器、RSA质量检查280、和或门286。脉冲校正器270的目的是当在存在有噪的数据的情况下提出HR时考虑RSA循环，其可以使用HR信号的二次插值进行。首先，将噪声补偿的数据264输入至HR计算器272中以基于噪声补偿的数据264确定心率信号。然后，将通过HR计算器272确定的心率信号发送至RSA插值器，其计算二次拟合信号276(例如，插值的RSA-估计)，并且通过RSA质量检查280将该信号与噪声补偿的HR信号278比较。如果确定二次拟合信号276偏离噪声补偿的HR信号超出预定的量(例如，可接受偏差的阈值量)，即，如果确定噪声补偿的HR信号278具有差的质量，则基于二次拟合信号276和噪声补偿的HR信号278两者计算二次平均信号282，并且经由或门286将该二次平均信号282作为校正的输出290(例如，近似实时校正的输出信号)输出。另一方面，如果确定二次拟合信号276不偏离噪声补偿的HR信号超出预定的量，则经由或门286将噪声补偿的HR信号284作为校正的输出290输出。在具体实施例中，可接受偏差的阈值量可以根据情况而定。作为示例并且非限制性地，当没有检测到噪声时，在第一组数据和随后的第二组数据之间的最大可允许偏差可以是15％。然而，当检测到噪声时，在第一组数据和随后的第二组数据之间的最大可允许偏差可以减小至5％。
在具体实施例中，PPG波形的特征(例如，峰、零交点、或谷)用于测量心跳间的时间，其然后用于确定HRV。示例性实施例基于确定波形的特定特征是否被噪声破坏来动态地选择用于确定心跳间的时间的特征。在具体实施例中，在连续的心跳中发现的未破坏的特征用于确定心跳间的时间。作为示例并且非限制性地，噪声校正系统200试图确定具有某些性质(如在每一个循环中具有重复和可检测的特征的良好形貌)的传感器信号(例如，在PPG信号中的峰附近的正弦型信号)的峰。在具体实施例中，进行峰值检测并且基于所检测的峰值信息确定信号特征。
根据示例性实施例，可以以多种不同的方法计算噪声。示例性实施例的一种方法是将噪声作为信号的总面积与无噪声的PPG信号中的平均信号之间的比例进行计算。如果该比例明显在所预期的范围之外，则信号可以被视为是有噪的，并且该比例可以用于量化噪声的水平。示例性实施例的另一种方法是估计给定的脉冲中的峰(或谷)的数量，且如果给定的数量高于阈值，则这是信号中的噪声的量化量(quantifier)。示例性实施例的又一种方法是测量信号与所预期的分布的均方根(RMS)偏差，且该量度可以作为信号的噪声水平。示例性实施例的再一种方法是对于计算出的每一个峰和谷以及零交点，通过曲线拟合计算这些特征附近的所预期的信号曲线。然后，使用实际的信号与预期的信号的RMS偏差作为对于给定的特征的信号中的总噪声的量化。作为该方法的进一步精炼，如果将信号的具体特征用于RR计算，则在该特征附近的噪声被用作信号中的噪声的标记。
一种具体的误差-噪声模型可能更适合给定的设置中的误差校正，并且该具体的噪声模型可以作为优选的模型。在一个示例性实施例中，噪声校正系统200自动地确定要选择哪一个误差-噪声模型。例如，可以在无噪声的PPG中引入人造的噪声，并且测量每一个误差-噪声模型的校正的准确性。选择具有最高准确性(例如，最低的误差)的误差-噪声模型。
此外，在多种情况下，信号也可能被破坏使得根本不可能估计任何特征。在这样的情况下，在总信号中的这些脉冲(通过从平均心率的外推得到)的数量被用作信号中的总噪声的标记。然而，每一个有噪的RR可能破坏例如3个RR-δ测量。因此，在信号中离散分布的噪声可以具有比存在于连续的延伸中的噪声更大的影响。例如，如果噪声仅仅影响一个脉冲，且这样的单个有噪脉冲实例遍布于整个信号中，然后其可能导致例如30个有噪的RR-δ计算，因此这样的情况比例如10个有噪脉冲是连续的情况更破坏信号。关于错误的或仅仅不可计算的RR-δ的总预期数量的信息可以是信号中的总噪声的有意义的量化。
在具体实施例中，量化PPG信号的噪声的量包括量化与PPG波形的预定特征相关联的噪声的量。如下所述，PPG波形的预定特征可以包括与PPG信号相关联的一个或多个峰、与PPG信号相关联的一个或多个谷、与PPG信号相关联的一个或多个零交点、或其任何组合。在具体实施例中，可以使用传感器平台以不同的采样率从用户的腕部获取PPG波形，所述传感器平台包括LED和光电探测器(例如，作为可佩带设备110B的一部分)。可以以例如在25Hz至800Hz的范围内变化的频率对从可佩带设备110B接收的数据进行数字化。作为示例并且非限制性地，PPG波形的时间序列可以包含多个峰(例如，4个峰)且PPG波形的形貌特征可以随着峰而变化。
在具体实施例中，基于所确定的每一个特征的噪声水平选择性地使用PPG波形的特征。另外，在每一个特征附近的信号被分析以确定是否存在噪声并且确定特征是否是可靠的特征。作为示例并且非限制性地，如果PPG信号的峰被确定为有噪的，则RR间隔可以不从第一峰至随后的第二峰计算，而是从零交点至随后的零交点计算。换言之，噪声校正系统200可以分析与信号相关联的全部特征以基于一个或多个特征中的噪声选择一个或多个特征用于信号分析，并且还丢弃被确定为有噪的任何特征。
在具体实施例中，如上所述计算噪声误差估计，并且量化信号中的噪声以产生噪声-误差曲线，其然后如下所述可以用于校正计算出的HRV。在具体实施例中，心脏活动数据可以包括在噪声-计算时段期间测量的PPG信号。如上所述，所接收的传感器数据的噪声水平基于计算与PPG信号相关联的误差-噪声估计，然后基于与PPG信号相关联的误差-噪声估计量化PPG信号的噪声的量。
在具体实施例中，噪声校正系统200可以将健康-变化性测量调节基于所确定的噪声水平计算的量。在具体实施例中，将健康-变化性测量调节基于所确定的噪声水平计算的量可以包括将健康-变化性测量减小通过计算的误差-调节所确定的量。随着信号中噪声的百分比增加，所得到的误差的百分比也增加。因此，与在噪声补偿之后的信号相比，有噪的信号可以导致人为升高的(因此不准确的)HRV计算，因此导致人为降低的SVB计算。在噪声补偿的情况下，通过基于噪声水平和误差-噪声曲线确定的误差向上调节SVB以获得用户的更准确的SVB。在具体实施例中，在调节HRV测量之后，噪声校正系统200可以将所调节的HRV测量发送至用户的电子设备(例如，客户端系统120)。尽管本公开描述了或示出了噪声校正系统200的组件的具体类型和这些组件的应用，但是本公开可想到用于心脏或脑波活动数据的噪声校正的任何适合类型的组件。
心血管系统是通过ANS调节的，所述ANS包括交感神经系统(SNS)和副交感神经系统(PSNS)。交感迷走神经平衡(SVB)被定义为SNS和PSNS之间的平衡点。心律由窦房(SA)结控制，所述窦房(SA)结通过自主神经系统的交感神经和副交感神经分支调节。心脏通过副交感神经节和交感神经节以及脊柱的侧灰柱接收其神经输入。交感神经活动往往增加心率，而副交感神经活动往往降低心率。在具体实施例中，至少部分地基于SVB的情感评估依赖于内环境平衡，其中交感神经流出量和PSNS(例如，迷走神经)流出量处于稳定的平衡。因此，可以通过分析SNS和PSNS之间(例如，副交感神经流出量和交感神经流出量之间)的相对支配和平衡确定SVB。这种方法实际上是线性的，这使得其相对于噪声(例如，其往往实际上是非线性的)是很稳定的。另外，该方法对于解决用户、其它用户或医疗专业人员的独特需求是可高度定制的。
图3A示出了基线数据直方图300的示例。如图3A的示例中所示，基线数据直方图300的x轴对应于心率波动(例如，连续的心跳之间的RR-δ或RR间隔差)，且基线数据直方图300的y轴对应于对于一组基线数据发生特定心率波动的频率或次数。在基线SVB的一侧的一组测量数据的一部分用于确定在心脏活动数据的第一部分中的ANS活动标记的数量。计算HRV特性，即，涉及心脏活动数据的第一部分中的ANS活动标记的数量和第二部分中的ANS活动标记的数量的比例。SVB由基线数据直方图300的50：50分布的点来定义，使得这组基线数据的数据点的50％在SVB左边，而这组基线数据的数据点的50％在SVB右边。HRV数据用于确定SVB中的变化。HRV描述连续心跳之间的变化。通过使用基线数据直方图300，SVB对应于表示“正常”(例如，“非不安”)状态的HRV区域。所述的SVB的分析以相等的权重对待SNS和PSNS(例如，因为它们都用于分析ANS唤醒)且使用RR-δ。
在具体实施例中，为了确定SVB，将压力或唤醒定义为在测试数据t的RR-δ直方图Ht中SNS的增加的支配，且直方图上的数据点对应于在一组测试数据中的相邻RR间隔的长度之差。在具体实施例中，计算相对映射至SNS的事件的数量与相对映射至PSNS的事件的数量的比例。HRV的测量可以基于时域分析或频域分析，这两者都具有许多的缺点。作为示例，频域分析方法(如基于FFT的那些频域分析方法)并非非常适合于在移动平台上执行，因为它们对于噪声伪影是极度敏感的，且需要相当长的测量时间段。时域方法(如连续心跳间隔差的均方根(RMSSD)、NN(心跳间)间隔的标准偏差(SDNN)、以及相差大于50毫秒的连续NN对的数量除以NN的总数的比例(pNN50))常用于分析瞬间心率信号。在给定用户的基线SVB和RR-δ直方图Ht的情况下，SVB可以被计算为全部RR-δ的中值、全部RR-δ的均值、在Ht上计算的RMSSD的50％、在Ht上计算的SDNn的50％、其他相关值、或其任何组合。
图3B示出了测试数据直方图310的示例，其中SVB向左偏移，而图3C示出了测试数据直方图320的示例，其中SVB向右偏移。如在图3B的示例中所示的，类似于图3A，测试数据直方图310的x轴对应于心率波动(例如，RR-δ)，且测试数据直方图310的y轴对应于对于一组测试数据的心率波动的次数。在具体实施例中，基于将这组测量数据的直方图表示划分为第一部分和第二部分的基线SVB值(例如，用户特定的基线SVB值)选择这组测量数据的第一部分和第二部分。当对于这组测试数据的心率波动平均导致从直方图A1(例如，例如对应于基线数据)朝左方向至直方图A2的平衡偏移时，或者换言之，当在SVB的左边的直方图A2的心率波动的测量(例如，如基于基线数据确定)的数量大于在SVB的右边的直方图A2的心率波动的测量的数量时，确定用户的状态对应于表示“高唤醒”状态的HRV区域。以另一种方式说明，如图3B所示，在给定总面积A的情况下，当直方图向左偏移时，A2相对于A的面积(例如，在A2的曲线下的面积)被确定为小于A1相对于A的面积(例如，在A1的曲线下的面积)，且确定用户的状态对应于表示“高唤醒”状态或增加的SVB的HRV区域。
另一方面，如图3C所示，类似于图3A，测试数据直方图320的x轴对应于心率波动(例如，RR-δ)，且测试数据直方图320的y轴对应于对于一组测试数据的心率波动的次数。当对于这组测试数据的心率波动平均导致从直方图A1(例如，例如对应于基线数据)朝右方向至直方图A2的平衡偏移时，或者换言之，当在SVB的右边的直方图A2的心率波动的测量(例如，如基于基线数据确定)的数量大于在SVB的左边的直方图A2的心率波动的测量的数量时，确定用户的状态对应于表示“低唤醒”状态的HRV区域。以另一种方式说明，如图3C的示例中所示，在给定总面积A的情况下，当直方图向右偏移时，A2相对于A的面积(例如，在A2的曲线下的面积)被确定为大于A1相对于A的面积(例如，在A1的曲线下的面积)，且确定用户的状态对应于表示“低唤醒”状态的HRV区域。
该实施例的具体实施例依赖于基于上下文适合的SVB的概念创造性地划分RR-δ直方图HT。作为示例并且非限制性地，如果上下文全部是在记录时段内负责变化性的循环分量，则可以通过SDNN(H)模型评估SVB的比例。
在具体实施例中，在压力的计算期间用于填充直方图的RR-δ数据的缓冲器的长度无需限于一定的固定尺寸。因为该算法提供了SVB的量度，因此即使使用大于某个最小长度的更长的数据长度，SVB也仍然被有意义地描述。这样，缓冲器长度可以根据对准确度、稳定性或其中可变长度可以是有利的任何其它属性的要求变化。在具体实施例中，测量数据可以包括心跳间心率(RR-δ)、皮肤传导、在头皮上的电活动中固有的频率分量、吸气和呼气模式等的变化。作为示例并且非限制性地，测量数据可以使用心率测量传感器(如心电图仪器(ECG)、皮电分析传感器、EEG耳机、呼吸传感器、其它适合的传感器、或其任何组合)来测量。
图4示出了情感的环形模型的示例图。情感的环形模型400将人类情感映射到包含唤醒和效价维度的二维圆形空间402。唤醒的水平被映射到圆形空间402的垂直轴，并且效价的水平被映射到圆形空间402的水平轴。在环形模型400中，效价对应于情感的类型(例如，积极的或消极的)，而唤醒对应于情感的强度。圆形空间402的中心表示中性效价和唤醒水平。在该模型中，情感状态可以以效价和唤醒的任何水平来表示，或者以这些因素中的一个或两个的中性水平来表示。另外，圆形空间402可以分为4个象限I-IV，其各自对应于具有类似的唤醒和效价水平的情感状态的分组。作为示例并且非限制性地，象限I的情感对应于积极的效价和高唤醒情感状态。在所示的实施例中，象限I的情感状态包括警惕、激动、高兴和快乐。以增加的效价为顺序，象限I的这些情感状态为警惕、激动、高兴和快乐。以增加的唤醒为顺序，象限I的这些情感状态为快乐、高兴、激动和警惕。
象限II的情感对应于消极的效价和高唤醒情感状态。在所示的实施例中，象限II的情感状态包括紧张、焦虑、不安和沮丧。以增加的效价为顺序，象限II的这些情感状态为沮丧、不安、焦虑和紧张。以增加的唤醒为顺序，象限II的这些情感状态为沮丧、不安、焦虑和紧张。
象限III情感的对应于消极的效价和低唤醒情感状态。在所示的实施例中，象限III的情感状态包括悲伤、消沉、嗜睡和疲乏。以增加的效价为顺序，象限III的这些情感状态可以列举为悲伤、消沉、嗜睡和疲乏。以增加的唤醒为顺序，象限III的这些情感状态为疲乏、嗜睡、消沉和悲伤。
象限IV的情感对应于积极的效价和低唤醒情感状态。在所示的实施例中，象限IV的情感状态包括镇定、放松、平静和满足。以增加的效价为顺序，象限IV的这些情感状态为镇定、放松、平静和满足。以增加的唤醒为顺序，象限IV的这些情感状态为镇定、放松、平静和满足。应理解，在备选的示例性实施例中，可以包括另外的情感，或者可以省略图4的一个或多个情感或将其改名。
如下面所述的，至少部分地基于心脏活动数据(例如，心率或SVB)且结合通过传感器或图1的设备110A、110B测量的“脑波”活动数据(例如，EEG数据)，计算或确定用户的情感的估计。
图5示出了随着时间而变化的示例性心脏和脑波活动数据。来自可佩带设备110A-B的数据可以计算SVB数据510(例如，基于HR和SVB)和EEG短时激动(STE)数据。积极的效价情感(例如，快乐或激动)是可以具有短的持续时间的情感。在本文中公开的用于计算SVB的示例性方法和系统可以便于估计具有短的持续时间的情感状态，如图5中所示。例如，在具体实施例中，情感评估基于协方差的量或SVB和EEG(以及在示例性情况中的HR)同时变化了多少。
作为示例并且非限制性地，基于在一段时间期间HRV和EEG-STE值是否变化，可以将一段时间标记为可存储的和/或不可存储的。例如，在一段时间515期间，SVB数据510和EEG-STE数据505都增加。作为另一示例，在一段时间520期间，SVB数据510增加，而EEG-STE数据505减小。这样，两段时间515、520可以被标记为可存储的。此外，高/升高的SVB水平被视为积极的情感状态的指示。另外，升高的(或下降的)EEG-STE水平与高/升高的SVB水平相结合可以用于将相应的持续时间标记为激动(或兴奋)。
图6示出了便于使用情感评估的应用的情感评估系统600。在具体实施例中，情感评估系统600可以包括信号同步模块602、信号上采样模块604、信号平滑模块606、SVB量化模块608、EEG评估模块610、和情感评估模块612。在本文中，提及模块可以是指独立的计算机代码或可执行的，其被配置为执行分立的功能。此外，模块可以是专用电子电路，其被配置为执行分立的功能。在具体实施例中，信号同步模块602最初对由上述可佩带设备110A-B捕获的信号进行同步。作为示例并且非限制性地，信号同步模块602发送信号以使被配置为捕获脑波活动(例如，EEG)的可佩带设备110A的传感器与被配置为捕获心脏活动(例如，ECG或PPG)的可佩带设备110B的传感器同步，使得两个数据流表示在近似相同的一段时间捕获的信息。例如，在每一种类型的数据(例如，EEG或PPG)的时间戳之间的时间差的量可以小于0.1毫秒。在心脏活动数据的情况下，数据的时间戳的大的差别可能导致确定HRV。
信号上采样模块604从可佩带设备接收数据，其已经通过信号同步模块602同步。在具体实施例中，将两个数据流进行插值以产生信号的近似，如同其是通过以更高的速率(例如，高达1KHz或更高的速率)对信号进行采样而获得的。可以对其扰动率与典型的心跳率近似相同的数据流(例如脑波或心脏活动)分析数据流的协方差。作为示例并且非限制性地，上采样可以通过如上所述的对用于计算HR、HRV或EEG信息的一个或多个特征的附近进行上采样而进行。
如在图6的示例中所示的，信号平滑模块606从信号上采样模块604接收上采样数据流并且从上采样数据流中移除噪声。在具体实施例中，信号平滑模块606从心脏活动数据中移除由如上关于图2a、图2b和图2c的示例所述的RSA引入的噪声。作为示例并且非限制性地，可以使用平滑滤波器(例如，低通滤波器)针对4个心跳对RSA噪声进行滤波，所述平滑滤波器对应于近似4个心跳的典型呼吸率。作为示例并且非限制性地，一旦从心脏活动数据中移除了噪声，就可以将心率的协方差与HRV或EEG的变化进行比较，因为RSA噪声的存在使得难以确定心脏活动数据和EEG信号之间的协方差。
信号平滑模块606的被处理的心脏活动和脑波数据被分别发送至SVB量化模块608和EEG评估模块610。在具体实施例中，如在图3A至图3C的示例中所示的，SVB量化模块608通过分析以预定的时间间隔(例如，每隔30秒)测量的HRV的直方图来计算基于HRV的SVB。如上所述，SVB被定义为SNS与PSNS之间的平衡点，因此对准确的SVB计算的时间要求取决于用于SNS和PSNS测量的稳定时间。作为示例并且非限制性地，PSNS测量可能需要约2至3秒才稳定，而SNS测量可能需要约25秒。具有更大的频段(或更长的测量时间)的直方图补偿系统的延时，而更小的频段(或更短的测量时间)可能导致不准确的SVB计算。
在一个示例性实施例中，SVB和HR不是二元的，而是量化SVB和HR激活的强度。因此，计算出的强度可以用于增加可以被估计的情感状态的分辨率和数量。
在大脑可以通过大脑的高级中枢处理情感之前可能需要一段时间。例如，这一段时间可以是6秒或以上。考虑到用户的典型的呼吸循环为每次呼吸约4秒(其可能导致HR和HRV和SVB的基于呼吸窦性心律失常(RSA)的变化这样的事实，示例性实施例使用时间窗(例如，10秒)以确认来自中枢神经系统的信号(由EEG取得)和心脏信号(由适合的心脏活动测量传感器取得)的协变趋势。
如上所述，脑波数据可以是来自多个传感器的EEG测量流，所述多个传感器均被安置以测量来自大脑的特定区域的活动。例如，EEG传感器可以被布置为产生14个EEG通道：AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、和AF4(基于国际上的10-20个位置)。在具体实施例中，EEG评估模块610可以执行特征评估过程以确定脑波数据的特征。从脑波测量提取的特征可以被映射到n维特征矢量。特征矢量是表示输出的数值“特征”或自变量的矢量，在这种情况下，用户的情感由EEG数据指示。在具体实施例中，通过可佩带设备110A收集并且发送的特征矢量可以包括来自EEG数据的多个提取的特征。在具体实施例中，特征数据或特征矢量可以被存储在任何适合的数据库(如数据存储设备140)上。
分类是将输出与给定的输入相关(例如，将情感与脑波和心脏数据相关)。例如，特定的特征矢量(例如排序的特征列表)可以与用户的特定情感相关。分类可以使用预测器函数进行，预测器函数是使用包括输入矢量和答复矢量的一组“训练”数据构造的。机器-学习分类器算法可以将输入矢量与一个或多个权重结合(例如，通过点积)以构造预测器函数从而将输入矢量与答复矢量最佳地适配。作为示例并且非限制性地，分类算法可以包括支持矢量机(SVM)、朴素贝叶斯(Naive Bayes)、自适应提升(AdaBoost)、随机森林(RandomForest)、梯度提升(Gradient Boosting)、K均值聚类、带有噪声的应用的基于密度的空间聚类(DBSCAN)、或神经网络算法。
在具体实施例中，在离线训练期间，可以从在测量数据时来自许多用户的心脏和脑波数据以及用户的相应情感获得训练数据。作为示例并且非限制性地，输入矢量可以是被提取的EEG特征的矢量并且答复矢量可以是用户所报告的相应情感(例如，快乐)。作为示例并且非限制性地，用于情感状态特性评估的训练数据可以从在佩带可佩带设备110A-B的同时正在观察某一内容(例如，体育比赛、TV演出、或电影)的用户捕获。在具体实施例中，机器学习分类器的输出矢量可以是如下面所述的环形模型400的一个或多个象限或情感或情感状态特性，并且输出矢量可以与答复矢量进行比较以“训练”机器学习分类器的预测器函数。
在一个示例性实施例中，EEG评估模块610输出一个或多个状态特性，其可以包括EEG-激动、EEG-吸引、EEG-挫折、和EEG-扁桃体(amygdala)水平。EEG-扁桃体水平可以与HR数据相结合以确定EEG-Q2和EEG-Q3的水平。例如，增加的HR指示EEG-Q2激活且下降的HR指示EEG-Q3激活。各自的输出可以是基于所接收的EEG数据指示分类的强度的数值。如上所述，EEG评估模块610的输出可以与SVB量化相结合以提供用户的情感状态的估计。
如在图6的示例中所示的，情感评估模块612分别从SVB量化模块608和EEG评估模块610接收心脏活动(例如，HR和SVB)数据和脑波(例如，EEG)数据。在具体实施例中，情感评估模块612被配置为基于在较长的一段时间(例如，～5秒或以上)期间的HR、SVB和EEG数据的协方差确定用户的情感。在具体实施例中，情感评估模块612基于来自SVB量化模块608的数据对用户在一段时间期间的情感状态进行估计。在具体实施例中，情感评估模块612可以包括情感状态比较模块614。在具体实施例中，可以使用与心脏活动和脑波数据的预定阈值对应的瞬间发起用户的情感的评估。作为示例并且非限制性地，可以捕获与阈值(例如，HRV上升超过60和EEG中的激动上升超过80)对应的瞬间并且使其与特定情感(例如，兴高采烈或激动)相关联。
在具体实施例中，情感评估模块612基于确定情感的环形模型400的与由SVB量化模块608发送的SVB和HR数据对应的具体象限来识别情感。作为示例并且非限制性地，情感评估模块612可以计算出SVB和HR两者基本上同时增加对应于环形模型400的象限I(右上象限)，SVB下降和HR增加对应于象限II(左上象限)，SVB和HR两者都下降对应于象限III(左下象限)，且SVB增加和HR下降对应于象限IV(右下象限)。在具体实施例中，可以使用其它的生物感测测量精炼所确定的用户的情感。作为示例并且非限制性地，下降的SVB和增加的HR以及伴随的体表温度的增加可以对应于生气。作为另一示例，下降的SVB和增加的HR以及伴随的由加速计测量的坐立不安或移动的增加可以对应于焦虑。在具体实施例中，情感评估模块612基于由EEG评估模块610确定的用户的情感精炼在环形模型400的具体象限内的用户的情感。作为示例并且非限制性地，情感评估模块612针对特定情感精炼组合HR、SVB或EEG数据的协方差。例如，EEG-激动增加和SVB增加可以被评估为激动；eeg-激动和SVB增加可以被评估为兴奋；eeg-激动中性和SVB增加可以被评估为平和；EEG-激动、HR和SVB增加可以被评估为喜悦；HR以及SVB增加可以被评估为兴高采烈/快乐；EEG-吸引和SVB增加可以被评估为吸引；EEG-激动和HR下降以及SVB可以被评估为满足；EEG-吸引和HR增加可以被评估为警惕；EEG-挫折增加和HRV下降可以被评估为挫折；eeg-Q3增加以及SVB和HR下降可以被评估为悲伤；以及EEG-Q2增加、SVB下降以及HR增加可以被评估为生气。
SVB和HR下降指示环形模型400的象限III中的情感(例如，悲伤、消沉、厌倦、或嗜睡)。此外，可以通过检测伴随的由EEG评估模块610测量的EEG活动的(例如，高协方差)下降或增加来精炼悲伤的分析。长时间段(例如，延续数天)内持续的EEG活动的下降以及下降的SVB和HR可以指示消沉。作为另一示例，SVB下降和HR增加指示环形模型400的象限II中的情感(例如，沮丧、不安、焦虑、或紧张)。在具体实施例中，通过检测伴随的由EEG评估模块610测量的EEG活动的下降或增加来精炼生气的分析。在具体实施例中，情感评估模块612基于由EEG评估模块610确定的用户的情感来精炼在环形模型400的具体象限内的用户的情感。
如本文中所使用的，EEG、SVB和HR水平的增加和下降是相对于基线值而言的。
在一个示例性实施例中，如果EEG信号和心脏信号(在SVB或HR或两者方面)的一致性的趋势保持大于预定的时间量(例如，10秒)，则系统输出所估计的情感状态。应理解，其它实施例省略了对预定的时间量内EEG信号和心脏信号的一致性的检查。
在具体实施例中，情感状态比较模块614确定用户的情感从而比较同时由SVB量化模块608和EEG评估模块610确定的情感。如上所述，SVB量化模块608基于SVB和HR估计用户的情感，而EEG评估模块610基于对EEG特征进行分类来估计用户的情感。在具体实施例中，情感状态比较模块614基于确定在由SVB量化模块608估计的情感与由EEG评估模块610估计的情感之间存在对应关系来估计用户的情感。作为示例并且非限制性地，情感状态比较模块614可以基于SVB量化模块608确定SVB和HR两者增加来估计用户正感到兴高采烈，同时EEG评估模块610确定用户正在经历被分类为兴高采烈的积极情感。
图7示出了用于情感评估的示例性方法。如下面所述的，可以通过将脑波活动和心脏活动的特征与具体的情感相关来评估用户的情感。可以在一个或多个电子设备(如移动电话、平板电脑、智能手表、头戴式设备、捆绑身体式设备等的移动设备、可佩带设备、固定位置计算设备、和/或具有适合的通信、处理、感测设施的网络或云部署的系统、其它适合的设备、或其任何组合)上部署示例性方法700。在具体实施例中，测量数据可以包括心跳间心率(RR-δ)、皮肤传导、在头皮上的电活动中固有的频率分量、吸气和呼气模式等的变化。作为示例并且非限制性地，测量数据可以使用心率测量传感器(如心电图仪器(ECG)、皮电分析传感器、EEG耳机、呼吸传感器、其它适合的传感器、或其任何组合)来测量。作为另一示例且非限制性地，处理器或电路可以实现所述方法(例如，一个或多个计算机处理器可以通信地耦接至存储指令的数据存储设备，所述指令可以由一个或多个计算机处理器执行以执行用于情感评估的示例性方法700的操作)。
在具体实施例中，方法700可以通过情感评估系统600执行。方法700在步骤710开始，在步骤710，情感评估系统600确定在一段时间期间SVB的偏移。在具体实施例中，SVB的偏移可以由SVB量化模块608使用由可佩带设备110B的传感器捕获的心脏活动数据来确定。在步骤720，情感评估系统600可以基于脑波活动数据获得用户的情感状态特性。在具体实施例中，情感评估模块612可以估计情感状态特性，其可以由EEG评估模块610使用由可佩带设备110A的传感器捕获的脑波数据来确定。作为示例并且非限制性地，所述获得包括：访问存储在存储器中的用户的EEG数据，或当捕获到脑波数据时通过EEG评估模块610对脑波数据进行计算以计算EEG-激动、EEG-Q2等。在步骤730，情感评估系统600可以基于用户在一段时间期间的脑波活动来确定用户的唤醒。在具体实施例中，在步骤730，情感评估系统600可以基于SVB的偏移和情感状态特性来确定用户在所述一段时间期间的情感的估计。然后方法700可以终止。
在具体实施例中，在确定SVB偏移之前，方法700可以确定将心脏活动数据与脑波数据同步，对心脏活动数据进行上采样，然后对上采样的心脏活动数据进行平滑。在合适时，具体实施例可以重复图7的方法700的一个或多个步骤。尽管本公开描述了且示出了图7的方法的具体步骤是以特定的顺序进行的，但是本公开可想到以任何适合的顺序进行的图7的方法的任何适合的步骤。此外，尽管本公开描述了且示出了包括图7的方法的具体步骤的用于评估用户的情感的示例性方法，但是本公开可想到包括任何适合的步骤的用于评估用户的情感的任何适合的方法，其在合适时可以包括图7的方法的全部步骤、一些步骤或不包括图7的方法的步骤。此外，尽管本公开描述了且示出了执行图7的方法的具体步骤的具体组件、设备或系统，但是本公开可想到执行图7的方法的任何适合的步骤的任何适合的组件、设备或系统的任何适合的组合。
在具体实施例中，可佩带设备110A可以是具有被配置为测量脑波活动的一个或多个传感器的头戴式显示器(HMD)。在具体实施例中，可以基于被评估的用户的情感调整内容或与内容相关联的设置。作为示例并且非限制性地，通过可佩带设备(例如，110A)向用户提供内容的服务器140可以基于来自由可佩带设备110A-B捕获的数据的用户的情感以交互方式提供视频流。例如，服务器140可以提供视频流且来自可佩带设备110A-B的输入可以针对服务器140评估用户的情感。服务器140可以动态地提供用于引起特定情感的内容。作为示例并且非限制性地，服务器140可以选择引起用户放松的感觉的视频流的一个或多个帧且发送所选择的帧(例如，猫玩纱线)以在可佩带设备110A上显示。
作为另一示例，服务器140可以发送与视频游戏的场景相对应的视频流以在可佩带设备110A上显示。服务器140可以评估用户在玩游戏期间的情感并且基于用户的情感调节游戏的难度级别。例如，如果用户在玩游戏期间表现出挫折，则服务器140可以基于检测到用户的挫折而发送难度级别更低的游戏内容。相反，服务器140可以基于检测到厌倦来发送与更高的难度级别相对应的游戏内容。
作为另一示例，关于虚拟现实(VR)内容，服务器140可以具有带有多个视角的特定场景的内容。服务器140可以选择与用户经历激动的特定视角相对应的帧。在具体实施例中，服务器140可以避免选择与用户经历不安或紧张的特定视角相对应的帧。在具体实施例中，服务器140可以监测用户的情感状态并且基于对用户的情感状态的实时评估调整内容或与内容相关联的设置。
在具体实施例中，服务器140可以基于在消费特定的内容的同时所评估的用户的情感向用户发送针对附加内容的一个或多个推荐。例如，服务器140可以基于确定用户在玩特定游戏时正在经历快乐或激动而发送针对类似风格的游戏(例如第一人称射击游戏或社交游戏)的推荐。作为另一示例，服务器140可以基于确定用户在观看特定的电影或电视演出时正在经历消沉或疲劳而发送针对不同风格的电影或电视演出(例如，动作片或体育)的推荐。示例性应用是用于评估各种类型的内容的设计和影响的内容评级。例如，系统可以用于确定预期为令人兴奋的视频游戏是否引起用户的兴奋感。每一种内容类型或内容可以使得不同的目标情感被测量。这些目标情感可以被称为针对给定内容的期望的主要情感和期望的次要情感，其可以由与内容文件相关联的元数据来定义。同样，对于一些内容，用户可能愿意在消费内容时提供对用户的唤醒和效价的自我评估。情感能量可以用来提供自动的内容评级。例如，可以根据下式计算情感能量：
EE＝Type×(Valance2+Arousal2) (1)
其中EE是情感能量，对于积极的情感，Type＝1，并且对于消极的情感，Type＝-1，Valance是与脑波数据相关联的能量，并且Arousal是与心脏活动数据相关联的能量。
在另一个示例性实施例中，可以根据下式计算情感能量：
EE＝Type×(Valance2+Arousal2+K×Dominance2) (2)
其中EE为情感能量，对于积极的情感，Type＝1，并且对于消极的情感，Type＝-1，Valance是与脑波数据相关联的能量，Arousal是与心脏活动数据相关联的能量，K为常数(例如，小于0.25)，且Dominance是用户的目光固定在目标观察区域上的时间量的函数。在具体实施例中，在当用户的目光固定在目标观察区域上时Dominance增加的VR应用中，Dominance可以被测量。
在没有分别由用户给定的效价和唤醒的情况下，内容的质量可以如下计算：
QC＝∑i＝k(所有实例[DPW×LPE])+∑i＝m(所有实例[DSW×LSE]) (3)
其中QC是内容的质量，DPW是期望的主要情感的权重，LPE是期望的主要情感的实例的时间长度，DSW是期望的次要情感的权重，LSE是期望的次要情感的实例的时间长度，k是针对特定内容的期望的主要情感的实例的数量，且m是针对特定内容的期望的次要情感的实例的数量。在具体实施例中，该等式可以扩展至包括权重为负的不期望的情感，因此这样的实例将从总数中减去。
在具体实施例中，对于给定的一组内容，多个(n个)不同的内容的内容评级可以通过对使用上面的等式(3)计算的相应的n个QC的归一化列表进行分类来确定。归一化不仅可以考虑内容的总长度，而且还可以考虑给定的情感在用户中必须产生多久的期望目标。作为示例并且非限制性地，如果所产生的情感同样强烈的话，则30秒的幽默剪辑可以具有比2分钟的幽默剪辑的QC值更低的QC值。
用户家里可以包括在“智能家庭(smart home)”中的一个或多个互联网连接设备(例如，恒温器、照明设备、或媒体服务器)。在具体实施例中，服务器140可以基于用户的情感状态调整一个或多个互联网连接设备的设置。作为示例并且非限制性地，服务器140可以基于检测到用户正在经历紧张来调整照明量(例如，昏暗)。作为另一示例，服务器140可以基于检测到用户继续经历紧张来调整恒温设置(例如，加热器)。
在具体实施例中，用户的情感状态的记录可以用于确定或验证具体的治疗是否有效。作为示例并且非限制性地，具体的疗程可以被发现引起用户或患者的积极的或高效价情感，使得相对于引起消极的情感的疗程，健康医护人员可以强调这些具体的疗程。作为另一示例，基于缺少由患者所经历的积极的情感，用户或患者可以被诊断为患有极度的或重度的消沉。
在具体实施例中，当用户正在经历积极的情感时，可以激活相机或其它的媒体记录设备。作为示例并且非限制性地，响应于检测到用户正在经历积极的情感(例如，兴高采烈或激动)，附接到用户的视频相机可以开始记录。
图8示出了根据本发明的一些实施例的示例性计算机系统800。在具体实施例中，一个或多个计算机系统800执行在本文中描述或说明的一个或多个方法的一个或多个步骤。在具体实施例中，一个或多个计算机系统800提供在本文中描述或说明的功能。在具体实施例中，在一个或多个计算机系统800上运行的软件执行在本文中描述或说明的一个或多个方法的一个或多个步骤或者提供在本文中描述或说明的功能。具体实施例包括一个或多个计算机系统800的一个或多个部分。在本文中，在适合时，提及计算机系统可以包括计算设备，反之亦然。此外，在适合时，提及计算机系统可以包括一个或多个计算机系统。
本公开可想到任何适合数量的计算机系统800。本公开可想到计算机系统800采取任何适合的物理形式。作为示例且非限制性地，计算机系统800可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(例如，模块上计算机(computer-on-module)(COM)或模块上系统(system-on-module)(SOM))、桌面计算机系统、便携式或笔记本计算机系统、交互式公用电话亭、主机、计算机系统网、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、或其中的两种或更多种的组合。在适合时，计算机系统800可以包括一个或多个计算机系统800；是单一的或分布的；跨越多个位置；跨越多个机器；跨越多个数据中心；或驻留在云中，所述云可以包括一个或多个网络中的一个或多个云组件。在适合时，一个或多个计算机系统800可以在没有显著的空间或时间上的限制的情况下执行在本文中描述或说明的一个或多个方法的一个或多个步骤。作为示例并且非限制性地，一个或多个计算机系统800可以实时或以分批模式执行在本文中描述或说明的一个或多个方法的一个或多个步骤。在适合时，一个或多个计算机系统800可以在不同的时间或在不同的位置执行在本文中描述或说明的一个或多个方法的一个或多个步骤。
在具体实施例中，计算机系统800包括处理器802、存储器804、存储设备806、输入/输出(I/O)接口808、通信接口810、和总线812。尽管本公开描述了且示出了在具体布置中具有具体数量的具体组件的具体计算机系统，但是本公开可想到在任何适合的配置中具有任何适合数量的任何适合组件的任何适合的计算机系统。
在具体实施例中，处理器802包括用于执行指令的硬件，如构成计算机程序的那些指令。作为示例并且非限制性地，为了执行指令，处理器802可以从内部寄存器、内部高速缓存器、存储器804或存储设备806取回(或取得)指令，对其进行解码和执行，然后将一个或多个结果写入内部寄存器、内部高速缓存器、存储器804或存储设备806。在具体实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部高速缓存器。本公开可想到在适合时包括任何适合数量的任何适合的内部高速缓存器的处理器802。作为示例并且非限制性地，处理器802可以包括一个或多个指令高速缓存器、一个或多个数据高速缓存器和一个或多个快速重编址缓冲器(TLB)。指令高速缓存器中的指令可以是在存储器804或存储设备806中的指令的拷贝，且指令高速缓存器可以加速由处理器802取回那些指令。数据高速缓存器中的数据可以是针对在处理器802处执行以便对其进行操作的指令的存储器804或存储设备806中的数据、用于由在处理器802处执行的后续指令访问或者写入存储器804或存储设备806的在处理器802执行的先前指令的结果、或其它适合的数据的拷贝。数据高速缓存器可以加速通过处理器802进行的读取或写入操作。TLB可以加速处理器802的虚拟地址转换。在具体实施例中，处理器802可以包括用于数据、指令、或地址的一个或多个内部寄存器。本公开可想到在适合时包括任何适合数量的任何适合的内部寄存器的处理器802。在适合时，处理器802可以包括一个或多个算术逻辑单元(ALU)；是多核处理器；或包括一个或多个处理器802。尽管本公开描述了和示出了具体的处理器，但是本公开可想到任何适合的处理器。
在具体实施例中，存储器804包括用于存储处理器802要执行的指令或处理器802要对其进行操作的数据的主存储器。作为示例并且非限制性地，计算机系统800可以将来自存储设备806或另一个源(例如，另一个计算机系统800)的指令加载至存储器804。处理器802然后可以将来自存储器804的指令加载至内部寄存器或内部高速缓存器。为了执行指令，处理器802可以从内部寄存器或内部高速缓存器取回指令且对其进行解码。在执行指令期间或之后，处理器802可以将一个或多个结果(其可以是中间或最终结果)写入内部寄存器或内部高速缓存器。处理器802然后可以将那些结果中的一个或多个写入存储器804。在具体实施例中，处理器802仅仅执行一个或多个内部寄存器或内部高速缓存器中或存储器804(而非存储设备806或别处)中的指令且仅仅对一个或多个内部寄存器或内部高速缓存器中或存储器804(而非存储设备806或别处)中的数据进行操作。一个或多个存储器总线(其各自可以包括地址总线和数据总线)可以将处理器802与存储器804耦接。如下面所述，总线812可以包括一个或多个存储器总线。在具体实施例中，一个或多个存储器管理单元(MMU)驻留在处理器802和存储器804之间，且有助于访问处理器802请求的存储器804。在具体实施例中，存储器804包括随机存取存储器(RAM)。在适合时，该RAM可以是易失性存储器。在适合时，该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适合时，该RAM可以是单端口或多端口RAM。本公开可想到任何适合的RAM。在适合时，存储器804可以包括一个或多个存储器804。尽管本公开描述了和示出了具体的存储器，但是本公开可想到任何适合的存储器。
在具体实施例中，存储设备806包括用于数据或指令的大容量存储设备。作为示例并且非限制性地，存储设备806可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁-光盘、磁带、或通用串行总线(USB)驱动器或其中两个或更多个的组合。在适合时，存储设备806可以包括可移除或不可移除(或固定的)介质。在适合时，存储设备806可以在计算机系统800的内部或外部。在具体实施例中，存储设备806是非易失性固态存储器。在具体实施例中，存储设备806包括只读存储器(ROM)。在适合时，该ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改ROM(EAROM)、或闪存或其中的两个或更多个的组合。本公开可想到采取任何适合的物理形式的大容量存储设备806。在适合时，存储设备806可以包括有助于处理器802与存储设备806之间的通信的一个或多个存储控制单元。在适合时，存储设备806可以包括一个或多个存储设备806。尽管本公开描述了和示出了具体的存储设备，但是本公开可想到任何适合的存储设备。
在具体实施例中，I/O接口808包括提供用于计算机系统800和一个或多个I/O设备之间的通信的一个或多个接口的硬件、软件、或两者。在适合时，计算机系统800可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以实现个人和计算机系统800之间的通信。作为示例并且非限制性地，I/O设备可以包括键盘、键区、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静止相机、手写笔、平板电脑、触摸屏、跟踪球、视频相机、另一种适合的I/O设备、或其中的两个或更多个的组合。I/O设备可以包括一个或多个传感器。本公开可想到任何适合的I/O设备和用于它们的任何适合的I/O接口808。在适合时，I/O接口808可以包括使得处理器802能够驱动这些I/O设备中的一个或多个的一个或多个设备或软件驱动器。在适合时，I/O接口808可以包括一个或多个I/O接口808。尽管本公开描述了和示出了具体的I/O接口，但是本公开可想到任何适合的I/O接口。
在具体实施例中，通信接口810包括提供用于计算机系统800和一个或多个其它计算机系统800或一个或多个网络之间的通信(例如，基于分组的通信)的一个或多个接口的硬件、软件或两者。作为示例并且非限制性地，通信接口810可以包括用于与以太网或其它基于有线的网络或无线NIC(WNIC)通信的网络接口控制器(NIC)或网络适配器、或用于与无线网络(如WI-FI网络)通信的无线适配器。本公开可想到任何适合的网络和用于任何适合的网络的任何适合的通信接口810。作为示例并且非限制性地，计算机系统800可以与自组织网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或因特网的一个或多个部分、或其中的两个或更多个的组合。这些网络中的一个或多个的一个或多个部分可以是有线的或无线的。作为示例，计算机系统800可以与无线PAN(WPAN)(例如，BLUETOOTH WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如，全球移动通信(GSM)网络)、或其它适合的无线网络或其中的两个或更多个的组合通信。在适合时，计算机系统800可以包括用于这些网络中的任何一个的任何适合的通信接口810。在适合时，通信接口810可以包括一个或多个通信接口810。尽管本公开描述了和示出了具体通信接口，但是本公开可想到任何适合的通信接口。
在具体实施例中，总线812包括将计算机系统800的组件相互耦接的硬件、软件、或两者。作为示例并且非限制性地，总线812可以包括加速图形端口(AGP)或其它的图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附接(SATA)总线、视频电子标准协会局域(VLB)总线、或另一个适合的总线或其中的两个或更多个的组合。在适合时，总线812可以包括一个或多个总线812。尽管本公开描述了和示出了具体的总线，但是本公开可想到任何适合的总线或互连。
在本文中，在适合时，一个或多个计算机可读非临时性存储介质可以包括一个或多个基于半导体的集成电路(IC)或其它集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁-光盘、磁-光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其它适合的计算机可读取非临时性存储介质、或其中的两个或更多个的任何适合的组合。在适合时，计算机可读非临时性存储介质可以是易失性的、非易失性的、或者易失性的和非易失性的组合。
在本文中，“或”是包含性的且而非排他性的，除非另外明确指明或另外由上下文指明。因此，在本文中，“A或B”是指“A、B、或两者”，除非另外明确指明或另外由上下文指明。此外，“和”既是共同的，也是个别的，除非另外明确指明或另外由上下文指明。因此，在本文中，“A和B”是指“A和B(共同地或个别地)”，除非另外明确指明或另外由上下文指明。
本公开的范围包括本领域普通技术人员应当理解的本文中描述或说明的示例性实施例的全部改变、替换、变化、更改和修改。本公开的范围不限于本文中描述或说明的示例性实施例。此外，尽管本公开将本文中的各个实施例描述和说明为包括具体的组件、元件、特征、功能、操作、或步骤，但是这些实施例中的任何一个可以包括本领域技术人员应当理解的本文中任何地方描述或说明的任何组件、元件、特征、功能、操作、或步骤的任何组合或排列。此外，在所附权利要求中提及适配为、布置为、能够、被配置为、使得能够、可操作以、或能够操作以执行具体的功能的装置或系统或装置或系统的组件包括该装置、系统、组件，而不管其或具体功能是否被激活、打开或解锁，只要装置、系统或组件是这样适配、布置、能够、配置、使得能够、可操作、或能够操作即可。另外，尽管本公开将具体实施例描述或说明为提供具体的优点，但是具体实施例可以不提供这些优点、或者提供这些优点中的一些或全部。

Claims (14)

1.一种计算机可读非临时性存储介质，包含软件，所述软件在被执行时能够操作以：
基于心脏活动数据来确定直方图，所述直方图表示x轴上的心率波动相对于y轴上的心率波动的频率；
基于所述直方图确定在一段时间期间的交感迷走神经平衡的偏移，所述交感迷走神经平衡的偏移被映射到二维空间中的垂直轴值并且包括所述直方图中的数据点的数量相对于基线数据直方图中的与基线值相对应的点的偏移，所述数据点的一半位于所述基线数据直方图中的所述基线值的左边，并且所述数据点的另一半位于所述基线数据直方图中的所述基线值的右边；
获得情感状态特性，所述情感状态特性被映射到所述二维空间的水平轴值并且基于所述一段时间期间的脑波活动数据；以及
确定所述交感迷走神经平衡的偏移和所述情感状态特性之间的协方差，从而在由所述垂直轴值和所述水平轴值限定的象限中估计用户在所述一段时间期间的情感状态，
其中，所述二维空间中的垂直轴值对应于情感的强度，所述二维空间的水平轴值对应于情感的类型。
2.根据权利要求1所述的介质，其中所述软件能够进一步操作以基于所述心脏活动数据来确定所述用户在所述一段时间期间的心率或心率变化；并且其中所估计的用户的情感状态进一步基于所述一段时间期间的所述心率或所述心率变化。
3.根据权利要求1所述的介质，其中所述情感状态特性包括多个情感状态，所述多个情感状态中的每一个情感状态包括多个具体情感。
4.根据权利要求1所述的介质，其中所述脑波活动数据被存储在存储器中或者被实时测量。
5.根据权利要求1所述的介质，其中所述软件能够进一步操作以确定所述脑波活动数据的一个或多个特征，并且其中所述特征中的一个或多个特征包括大于预定义的阈值的能量水平。
6.根据权利要求1所述的介质，其中所述软件能够进一步操作以基于所述脑波活动数据来计算脑电图短期激动数据。
7.根据权利要求1所述的介质，其中所述软件能够进一步操作以：
基于所述用户的脑波活动来识别所述二维空间的第一象限；以及
基于所述交感迷走神经平衡来识别所述二维空间的第二象限，并且其中所述第一象限和所述第二象限均对应于所述用户在所述一段时间期间的多个候选情感状态。
8.根据权利要求1所述的介质，其中所述软件能够操作以基于在所述一段时间期间所述交感迷走神经平衡的偏移和所述情感状态特性的变化来标记所述一段时间。
9.根据权利要求1所述的介质，其中所述脑波活动是使用头戴式装置检测的，所述头戴式装置包括多个电极和头戴式显示器。
10.根据权利要求1所述的介质，其中所述软件能够进一步操作以计算基于所述心脏活动数据和所述脑波活动数据的情感能量。
11.根据权利要求1所述的介质，其中所述软件能够进一步操作以：
接收标识所估计的用户的情感状态是否正确地标识所述用户在所述一段时间期间的情感的反馈；以及
将所述反馈存储在能够通过一个或多个机器学习算法访问的数据结构中。
12.根据权利要求1所述的介质，其中所述软件能够进一步操作以：
将所述心脏活动数据与所述脑波活动数据同步；
对所述心脏活动数据或所述脑波活动数据进行上采样；以及
对所述心脏活动数据或所述脑波活动数据进行平滑。
13.一种方法，包括：
基于心脏活动数据来确定直方图，所述直方图表示x轴上的心率波动相对于y轴上的心率波动的频率；
基于所述直方图确定在一段时间期间的交感迷走神经平衡的偏移，所述交感迷走神经平衡的偏移被映射到二维空间中的垂直轴值并且包括所述直方图中的数据点的数量相对于基线数据直方图中的与基线值相对应的点的偏移，所述数据点的一半位于所述基线数据直方图中的所述基线值的左边，并且所述数据点的另一半位于所述基线数据直方图中的所述基线值的右边；
获得情感状态特性，所述情感状态特性被映射到所述二维空间的水平轴值并且基于所述一段时间期间的脑波活动数据；以及
确定所述交感迷走神经平衡的偏移和所述情感状态特性之间的协方差，从而在由所述垂直轴值和所述水平轴值限定的象限中估计用户在所述一段时间期间的情感状态，
其中，所述二维空间中的垂直轴值对应于情感的强度，所述二维空间的水平轴值对应于情感的类型。
14.一种系统，包括：
一个或多个处理器；以及
耦接到所述处理器的非临时性存储器，所述非临时性存储器包括能够通过所述处理器执行的指令，所述处理器在执行所述指令时能够操作以：
基于心脏活动数据来确定直方图，所述直方图表示x轴上的心率波动相对于y轴上的心率波动的频率；
基于所述直方图确定在一段时间期间的交感迷走神经平衡的偏移，所述交感迷走神经平衡的偏移被映射到二维空间中的垂直轴值并且包括所述直方图中的数据点的数量相对于基线数据直方图中的与基线值相对应的点的偏移，所述数据点的一半位于所述基线数据直方图中的所述基线值的左边，并且所述数据点的另一半位于所述基线数据直方图中的所述基线值的右边；
获得情感状态特性，所述情感状态特性被映射到所述二维空间的水平轴值并且基于所述一段时间期间的脑波活动数据；以及
确定所述交感迷走神经平衡的偏移和所述情感状态特性之间的协方差，从而在由所述垂直轴值和所述水平轴值限定的象限中估计用户在所述一段时间期间的情感状态，
其中，所述二维空间中的垂直轴值对应于情感的强度，所述二维空间的水平轴值对应于情感的类型。
CN201680039972.9A 2015-07-08 2016-07-08 情感评估 Active CN107850940B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562189743P 2015-07-08 2015-07-08
US62/189,743 2015-07-08
US15/202,407 2016-07-05
US15/202,407 US10285634B2 (en) 2015-07-08 2016-07-05 Emotion evaluation
PCT/KR2016/007425 WO2017007277A1 (en) 2015-07-08 2016-07-08 Emotion evaluation

Publications (2)

Publication Number Publication Date
CN107850940A CN107850940A (zh) 2018-03-27
CN107850940B true CN107850940B (zh) 2021-12-31

Family

ID=57685362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680039972.9A Active CN107850940B (zh) 2015-07-08 2016-07-08 情感评估

Country Status (5)

Country Link
US (1) US10285634B2 (zh)
EP (1) EP3320414B1 (zh)
KR (1) KR102104499B1 (zh)
CN (1) CN107850940B (zh)
WO (1) WO2017007277A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623912B1 (ko) * 2014-09-30 2016-05-25 주식회사 중앙교육 사용자 디바이스를 통하여 사용자의 비인지능력을 트레이닝하기 위한 컨텐츠를 제공하는 장치 및 제공 방법
KR101772279B1 (ko) * 2015-09-14 2017-09-05 주식회사 그릿연구소 사용자의 생체 데이터를 이용한 심리검사의 왜곡도 보정방법
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
EP3369374A1 (en) * 2017-03-01 2018-09-05 Koninklijke Philips N.V. Method and apparatus for sending a message to a subject
US10568573B2 (en) * 2017-03-07 2020-02-25 Sony Interactive Entertainment LLC Mitigation of head-mounted-display impact via biometric sensors and language processing
KR20180108341A (ko) 2017-03-24 2018-10-04 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 캡쳐 방법
US10939834B2 (en) 2017-05-01 2021-03-09 Samsung Electronics Company, Ltd. Determining cardiovascular features using camera-based sensing
US10127825B1 (en) 2017-06-13 2018-11-13 Fuvi Cognitive Network Corp. Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US20190272466A1 (en) * 2018-03-02 2019-09-05 University Of Southern California Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
JP2019082952A (ja) * 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びａｉサーバ
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN107753043B (zh) * 2017-12-05 2018-07-17 清华大学 一种基于脑电波的视频卡顿极限值的估量方法
CN108294739B (zh) * 2017-12-27 2021-02-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及其装置
CN108121448A (zh) * 2017-12-29 2018-06-05 阿里巴巴集团控股有限公司 信息提醒方法、装置及设备
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
US20190235246A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing emoji on display glasses
US20190235621A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing an expression of how an object has been stared at in a displayed video
CN108279777B (zh) * 2018-02-11 2021-06-25 Oppo广东移动通信有限公司 脑电波控制方法及相关设备
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN108836326A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波和小波包进行感官物质分类的方法
CN108836320A (zh) * 2018-04-02 2018-11-20 东北电力大学 一种基于嗅觉脑电波进行感官物质分类的方法
CN108542385A (zh) * 2018-04-02 2018-09-18 东北电力大学 一种利用嗅觉脑电波进行感官风味物质分类的方法
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US20210235997A1 (en) * 2018-04-30 2021-08-05 Koninklijke Philips N.V. Flagging a portion of a recording for review
US20210169415A1 (en) * 2018-08-19 2021-06-10 Sensority Ltd. Machine classification of significant psychophysiological response
US11646110B2 (en) * 2018-09-07 2023-05-09 Sean Sullivan System and method for improving the emotional mindset of the user
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
US20200105389A1 (en) * 2018-09-28 2020-04-02 Aashka Garg Mining sentiments by bio-sensing to improve performance
TWI746924B (zh) * 2019-01-14 2021-11-21 瑞軒科技股份有限公司 影片推薦系統及影片推薦方法
KR102569000B1 (ko) 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
KR102054821B1 (ko) * 2019-03-29 2019-12-12 엘아이지넥스원 주식회사 사용자의 생존과 감정 상태의 자가구동형 모니터링 장치 및 방법
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11553871B2 (en) 2019-06-04 2023-01-17 Lab NINE, Inc. System and apparatus for non-invasive measurement of transcranial electrical signals, and method of calibrating and/or using same for various applications
SG10202007306PA (en) * 2019-07-31 2021-02-25 Tata Consultancy Services Ltd System and method of photoplethysmography based heart-rate estimation in presence of motion artifacts
JP7297300B2 (ja) * 2019-08-06 2023-06-26 株式会社Agama-X 情報処理装置及びプログラム
CN110742559B (zh) * 2019-10-24 2021-09-14 佛山市云米电器科技有限公司 一种基于脑电波检测的扫地机器人控制方法及系统
US11496802B2 (en) 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
US20230118151A1 (en) * 2020-02-07 2023-04-20 Life Quest Inc. Content playback device, content playback method, and program
JP7233663B2 (ja) * 2020-02-07 2023-03-07 株式会社ライフクエスト コンテンツ再生装置、コンテンツ再生方法、及びプログラム
CN111611860B (zh) * 2020-04-22 2022-06-28 西南大学 一种微表情发生检测方法及检测系统
KR102433084B1 (ko) * 2020-06-25 2022-08-17 주식회사 리얼리티매직 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
CN114098729B (zh) * 2020-08-27 2023-11-10 中国科学院心理研究所 基于心脏间期的情绪状态客观测量方法
CN112603279B (zh) * 2021-01-06 2022-11-11 睢宁赛航信息科技有限公司 医疗信息智能共享方法和系统
JP2022114958A (ja) * 2021-01-27 2022-08-08 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及びプログラム
CN113081656B (zh) * 2021-03-31 2023-04-07 中国科学院心理研究所 智能按摩椅及其控制方法
WO2022212052A1 (en) * 2021-03-31 2022-10-06 Dathomir Laboratories Llc Stress detection
CN113143274B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 基于摄像头的情绪预警方法
CN113349778B (zh) * 2021-06-03 2023-02-17 杭州回车电子科技有限公司 基于经颅直流电刺激的情绪分析方法、装置和电子装置
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
KR20230035182A (ko) * 2021-09-03 2023-03-13 삼성전자주식회사 정신 건강 관리를 위한 전자 장치 및 이의 제어 방법
KR102408773B1 (ko) * 2021-12-20 2022-06-13 인천대학교 산학협력단 온열 환경 기반 재실자 감정상태 분석장치 및 그 동작 방법
WO2023191743A1 (en) * 2022-03-28 2023-10-05 Aydiner Merve System and method of wearable communication platform

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010038217A1 (en) * 2008-10-03 2010-04-08 University Of Cape Town Neonatal brain well-being monitor
CN101969850A (zh) * 2008-03-14 2011-02-09 皇家飞利浦电子股份有限公司 用于维持对象的状态的方法和系统
CN102802515A (zh) * 2009-06-12 2012-11-28 皇家飞利浦电子股份有限公司 调节有机体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292688B1 (en) 1996-02-28 2001-09-18 Advanced Neurotechnologies, Inc. Method and apparatus for analyzing neurological response to emotion-inducing stimuli
KR100281650B1 (ko) 1997-11-13 2001-02-15 정선종 긍정/부정 감성 상태 판별을 위한 뇌파 분석 방법
US6358201B1 (en) * 1999-03-02 2002-03-19 Doc L. Childre Method and apparatus for facilitating physiological coherence and autonomic balance
KR100580618B1 (ko) 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
CA2511988A1 (en) 2003-08-08 2005-02-17 Quantum Intech, Inc. Electrophysiological intuition indicator
US20050215916A1 (en) 2004-03-29 2005-09-29 Fadem Kalford C Active, multiplexed digital electrodes for EEG, ECG and EMG applications
WO2008055078A2 (en) 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
TWI400062B (zh) 2007-11-08 2013-07-01 私立中原大學 Medical devices that record physiological signals
US20150099987A1 (en) 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US8396744B2 (en) 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
KR20130032998A (ko) 2011-09-26 2013-04-03 세명대학교 산학협력단 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템
KR20140114588A (ko) 2013-03-19 2014-09-29 세종대학교산학협력단 복합 생체신호 기반의 감정인식 방법 및 장치
KR101506561B1 (ko) 2013-07-19 2015-03-27 전자부품연구원 감정 분석을 통한 선호 음원 관리 장치 및 방법
TWI532466B (zh) 2013-09-13 2016-05-11 緯創資通股份有限公司 量測腦波訊號及心電圖訊號之量測裝置
US20150272465A1 (en) 2014-03-31 2015-10-01 Sharp Laboratories Of America, Inc. Systems and methods for portable neurofeedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969850A (zh) * 2008-03-14 2011-02-09 皇家飞利浦电子股份有限公司 用于维持对象的状态的方法和系统
WO2010038217A1 (en) * 2008-10-03 2010-04-08 University Of Cape Town Neonatal brain well-being monitor
CN102802515A (zh) * 2009-06-12 2012-11-28 皇家飞利浦电子股份有限公司 调节有机体

Also Published As

Publication number Publication date
EP3320414A4 (en) 2018-06-20
WO2017007277A1 (en) 2017-01-12
EP3320414B1 (en) 2023-02-15
EP3320414A1 (en) 2018-05-16
KR20180007006A (ko) 2018-01-19
US10285634B2 (en) 2019-05-14
US20170007165A1 (en) 2017-01-12
CN107850940A (zh) 2018-03-27
KR102104499B1 (ko) 2020-04-24

Similar Documents

Publication Publication Date Title
CN107850940B (zh) 情感评估
US10874309B2 (en) Determining emotions using camera-based sensing
KR102219913B1 (ko) 내장된 알람 피로도 감소 특성을 이용한 지속적인 스트레스 측정
US20200260962A1 (en) System and methods for acquisition and analysis of health data
CN111386068B (zh) 基于摄像机的压力测量系统与方法
CN109620209B (zh) 一种动态心电、呼吸和运动监测系统和方法
EP2874539A1 (en) A method and system for determining the state of a person
WO2017027232A1 (en) System and method for sympathetic and parasympathetic activity monitoring by heartbeat
KR20210001486A (ko) 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치
Betella et al. Interpreting psychophysiological states using unobtrusive wearable sensors in virtual reality
Bicen et al. Improved pre-ejection period estimation from ballistocardiogram and electrocardiogram signals by fusing multiple timing interval features
CN210494064U (zh) 一种动态心电、呼吸和运动监测设备
US20230404444A1 (en) Arterial blood oxygenation measurements
Tu High-Precision and Personalized Wearable Sensing Systems for Healthcare Applications
WO2024061487A1 (en) Analyzing method for and apparatus of intracranial dynamics
Kheirkhah Dehkordi Monitoring sleep and sleep breathing disorders using pulse oximeter photoplethysmogram
CA3033804A1 (en) Anxiety detection in different user states

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant