CN106999111A - 用于检测不可见人类情感的系统和方法 - Google Patents

用于检测不可见人类情感的系统和方法 Download PDF

Info

Publication number
CN106999111A
CN106999111A CN201580053561.0A CN201580053561A CN106999111A CN 106999111 A CN106999111 A CN 106999111A CN 201580053561 A CN201580053561 A CN 201580053561A CN 106999111 A CN106999111 A CN 106999111A
Authority
CN
China
Prior art keywords
image
main body
emotion
described image
invisible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580053561.0A
Other languages
English (en)
Inventor
李康
郑璞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Niuluosi Co
Nuralogix Corp
Original Assignee
Niuluosi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niuluosi Co filed Critical Niuluosi Co
Publication of CN106999111A publication Critical patent/CN106999111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

用于情感检测的系统和方法，并且更具体的，用于检测个体所感受的不可见且真实的情感的基于图像捕获的系统和方法。该系统提供了以高置信度检测不可见情感的远程且无创伤的途径。该系统支持通过光学成像和相关检测系统来监测血红蛋白浓度变化。

Description

用于检测不可见人类情感的系统和方法
技术领域
下文一般地涉及情感检测，并且更具体地，涉及用于检测不可见人类情感的基于图像捕获的系统和方法。
背景技术
人类具有丰富的情感生活。超过90％的时间，虽然我们内心经历丰富的情感，但我们的面部表情却不露声色。这些不可见情感刺激我们大部分的行为决定。如何准确地揭示不可见情感已成为一个多世纪以来大量科学研究的焦点。现有方法仍高度技术化和/或昂贵，使得它们仅可用于获大量资助的医疗和研究目的，但尚不可用于包括诸如产品测试或市场分析之类的实际应用的广泛的日常使用。
用于情感检测的无创伤且便宜的技术(例如，计算机视觉)完全依赖于面部表情，因此对于尽管经历大量不可见内在情感却无表情的个体是无效的。存在大量证据表明诸如脑和表面血流之类的生理信号可以提供关于个体的内在情感状态的可靠信息，并且不同的情感以独特的生理反应模式为特征。不同于基于面部表情的方法，即使当个体面无表情时，基于生理信息的方法也可以检测个体的内在情感状态。通常，研究人员通过将传感器附着于面部或身体来检测这类生理信号。测谎仪、肌电图(EMG)以及脑电图(EEG)是这类技术的示例，并且是高度技术化、无创伤、和/或昂贵的。它们还受制于主体的运动伪影和操纵。
存在基于各种成像技术来检测不可见情感的若干方法。虽然功能磁共振成像(fMRI)不要求将传感器附着到身体，但它过于昂贵并且易受可能导致不可靠读数的运动伪影的影响。替代地，可以采用高光谱成像来捕获心输出量或“血流”的增加或减少，这种增加或减少然后可能与情感状态有关。使用高光谱图像带来的缺点包括存储和处理方面的成本和复杂度。
发明内容
一方面，提供了一种用于根据主体的捕获图像序列检测该主体所表达的不可见人类情感的系统，该系统包括图像处理单元，该图像处理单元被训练以确定该捕获图像序列中表示主体的血红蛋白浓度(HC)变化的多个图像的位面集，并基于HC变化来检测主体的不可见情感状态，该图像处理单元是使用包括情感状态已知的一组主体的训练集来训练的。
另一方面，提供了一种用于检测主体所表达的不可见人类情感的方法，该方法包括：捕获主体的图像序列，确定捕获的图像序列中表示主体的血红蛋白浓度(HC)变化的多个图像的位面集，以及使用如下模型来基于HC变化检测主体的不可见情感状态，该模型是使用包括情感状态已知的一组主体的训练集来训练的。
还提供了一种用于不可见情感检测的方法。
附图说明
本发明的特征在参考附图的下列详细描述中将变得更加清楚，其中：
图1是用于不可见情感检测的透皮光学成像系统的框图；
图2示出了光从皮肤表皮和皮下层的再发射；
图3是一组表面及相应的透皮图像，示出了与特定时间点的特定人类主体的不可见情感相关联的血红蛋白浓度的变化；
图4是将经历积极、消极、以及中性情感状态的主体的前额的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图5是将经历积极、消极、以及中性情感状态的主体的鼻子的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图6是将经历积极、消极、以及中性情感状态的主体的面颊的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图7是示出全自动透皮光学成像和不可见情感检测系统的流程图；
图8是系统产生的示例性报告；
图9是用于优化的血红蛋白图像组合的数据驱动机器学习系统的图示；
图10是用于多维不可见情感模型建立的数据驱动机器学习系统的图示；
图11是自动不可见情感检测系统的图示；以及
图12是存储细胞。
具体实施方式
现在将参考附图描述实施例。为说明的简单和清楚起见，在认为适当的情况下，可以在附图之间重复参考标号以指示对应的或类似的元件。此外，阐述了许多具体细节以便提供本文描述的实施例的透彻的理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实施本文描述的实施例。在其他实例中，未详细描述公知的方法、过程以及组件以免模糊本文描述的实施例。此外，本说明不应被认为限制本文描述的实施例的范围。
除非上下文另有指示，否则可以如下解读和理解本说明书通篇所使用的各个术语：如通篇使用的，“或”是包括性的，如同写成“和/或”；如通篇使用的，单数冠词和代词包括它们的复数形式，反之亦然；类似地，性别代词包括它们的对应代词，从而代词不应被理解为将本文描述的任何内容限制为由单个性别使用、实现、执行等；“示例性”应被理解为“说明性”或“举例”并且不一定相对于其他实施例是“优选”的。可以在本文陈述术语的其他定义；如通过阅读本说明书将理解的，这些其他定义可应用于那些术语的在先和后续的实例。
本文举例的执行指令的任意模块、单元、组件、服务器、计算机、终端、引擎或设备可包括计算机可读介质或以其他方式访问计算机可读介质，计算机可读介质例如是存储介质、计算机存储介质、或诸如磁盘、光盘、或磁带之类的数据存储设备(可移除的和/或不可移除的)。计算机存储介质可包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块、或其他数据)的任意方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可用于存储期望信息并可由应用、模块或二者访问的任意其它介质。任意这类计算机存储介质可以是设备的一部分或可供设备访问或可以连接到设备。此外，除非上下文另有清楚指示，否则本文陈述的任意处理器或控制器可被实现为单个处理器或多个处理器。多个处理器可以是阵列式的或分布式的，并且可以通过一个或多个处理器来执行本文提及的任意处理功能，即使可能以单个处理器为例。本文描述的任意方法、应用或模块可以使用可由这类计算机可读介质存储或以其他方式保持并且由一个或多个处理器执行的计算机可读/可执行指令来实现。
下文一般地涉及情感检测，并且更具体地，涉及用于检测不可见的人类情感(特别是在一系列图像或视频中捕获的个体的不可见情感状态)的基于图像捕获的系统和方法。系统提供了用于以高置信度检测不可见情感状态的远程且无创伤的方法。
交感神经系统和副交感神经系统对情感有反应。已经发现，个体的血流是由交感神经系统和副交感神经系统控制的，这超出绝大多数个体的意识控制。因此，可以通过监测个体的血流来容易地检测个体内在经历的情感。内在情感系统通过调整自主神经系统(ANS)的激活来使人类准备好处理环境中的不同情况；交感神经系统和副交感神经系统在情感调节中起不同的作用，前者上调战斗-逃跑反应而后者用于下调应激反应。基本情感具有不同的ANS特征。大部分面部(例如，眼睑、面颊以及下巴)中的血流主要由交感神经血管扩张神经元控制，而鼻子和耳朵中的血流主要由交感神经血管收缩神经元控制；相反，前额区域中的血流由交感神经血管扩张和副交感神经血管扩张二者进行神经支配。因此，不同的内在情感状态在面部的不同部分具有不同的空间和时间激活模式。通过从系统捕获血红蛋白数据，可以提取各个特定面部区域中的面部血红蛋白浓度(HC)变化。然后将来自个体的这些多维和动态数据阵列与下面将更详细讨论的基于规范数据的计算模型进行比较。通过这种比较，可以做出关于个体的内在情感状态的基于可靠统计的推论。由于ANS所控制的面部血红蛋白活动不易服从意识控制，因此这类活动提供了进入个体的真正最深处情感的良好窗口。
已经发现，可以从传统数字相机拍摄的原始图像分离出血红蛋白浓度(HC)，并将HC的时空变化与人类情感相关联。现在参考图2，显示了示出光从皮肤的再发射的图示。光(201)在皮肤(202)下面行进，并且在穿过不同的皮肤组织之后再发射(203)。然后可以通过光学相机捕获再发射的光(203)。影响再发射的光的主要发色团是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，已经发现，可以获得如图3所示的主要反映表皮下面的HC的图像。
系统实现了两步骤方法以生成适合于输出人类主体的情感状态属于多个情感中的一个情感的估计统计概率以及给定任意主体的视频序列时该情感状态的归一化强度量度的规则。系统可以检测的情感对应于系统被训练的那些情感。
现在参考图1，示出了用于不可见情感检测的系统。该系统包括互连的元件，包括图像处理单元(104)、图像滤波器(106)、以及图像分类机(105)。该系统还可包括相机(100)和存储设备(101)，或可以通信地链接到存储设备(101)，该存储设备(101)被预加载和/或定期性地加载有从一个或多个相机(100)捕获的视频成像数据。图像分类机(105)被使用图像的训练集(102)进行训练，并且可操作来针对从相机(100)所捕获的图像生成、由图像滤波器(106)处理、并存储在存储设备(102)上的图像的查询集执行分类。
现在参考图7，显示了示出全自动透皮光学成像和不可见情感检测系统的流程图。系统执行图像登记(registration)701以记录关于具有未知情感状态的主体所捕获的视频序列的输入、血红蛋白图像提取702、ROI选择703、多ROI时空血红蛋白数据提取704、不可见情感模型705应用、数据映射706(用于映射变化的血红蛋白模式)、情感检测707、以及报告生成708。图11描绘了自动不可见情感检测系统的另一此类图示。
图像处理单元获取每个所捕获的图像或视频流，并对图像执行操作以生成主体的相应的经优化的HC图像。图像处理单元分离出所获取的视频序列中的HC。在示例性实施例中，使用数字相机以每秒30帧的速度拍摄主体的面部的图像。将理解的是，可以利用替代的数字相机和照明条件来执行该处理。
通过以下处理来实现对HC的分离：分析视频序列中的位面以确定并分离出提供高信噪比(SNR)的位面集并因此优化面部表皮(或任意部分的人类表皮)上的不同情感状态之间的信号区分。参考构成所捕获的视频序列的图像的第一训练集来确定高SNR位面，该图像的第一训练集与来自从其获得训练集的人类主体的EKG、气动呼吸、血压、激光多普勒数据相耦合。EKG和气动呼吸数据被用来移除HC数据中的心脏、呼吸、以及血压数据以防止这类活动掩盖HC数据中的更微秒的情感相关的信号。第二步骤包括训练机器以使用从大量人类主体的样本的经优化的“位面”图像提取的感兴趣区域(“ROI”)中的表皮HC变化的时空信号模式来建立针对特定情感的计算模型。
为进行训练，捕获暴露于已知引起特定情感反应的刺激的测试主体的视频图像。可以宽泛地对反应进行分组(中性、积极、消极)，或更详细地对反应进行分组(痛苦、高兴、焦虑、悲伤、沮丧、好奇、喜悦、厌恶、愤怒、惊讶、蔑视等)。在另外的实施例中，可以捕获每个情感状态中的等级。优选地，主体受指示以不在面部表达任何情感，从而所测量的情感反应是不可见情感并且与HC中的变化相分离。为确保主体不在面部表情中“泄漏”情感，可以利用面部情感表情检测程序来分析表面图像序列。如下所述，还可以使用EKG机、气动呼吸机、连续血压机、以及激光多普勒机来采集EKG、气动呼吸、血压、以及激光多普勒数据，并且这些数据提供了额外的信息以降低来自位面分析的噪声。
手动或自动地为视频图像定义情感检测的ROI(例如，前额、鼻子、以及脸颊)。基于本领域关于HC具体表明其情感状态的ROI的知识来优选地选择这些ROI。使用包括所有三个R、G、B信道的所有位面的本地图像来提取在特定情感状态(例如，积极)下每个ROI上在特定时间段(例如，10秒)内改变的信号。可以针对其他情感状态(例如，消极或中性)重复该处理。EKG和气动呼吸数据可被用来滤除图像序列上的心脏、呼吸器、以及血压信号以防止非情感系统HC信号掩盖真实的情感相关的HC信号。可以对EKG、呼吸、以及血压数据使用快速傅里叶变换(FFT)以获取EKG、呼吸、以及血压的峰值频率，然后可以使用陷波滤波器来移除具有以这些频率为中心的时间频率的ROI上的HC活动。可以使用独立分量分析(ICA)来实现相同的目标。
现在参考图9，示出了用于优化的血红蛋白图像组合的数据驱动机器学习的图示。使用来自两个或更多个情感状态901和902的ROI的经过滤的信号，采用机器学习903来系统地标识将显著增加不同情感状态之间的信号区分的位面904以及不影响或降低不同情感状态之间的信号区分的位面。在丢弃后者之后，获得最优地区分感兴趣的情感状态的剩余位面图像905。为进一步改善SNR，可以将结果重复地反馈到机器学习903处理直到SNR达到最优渐近值。
机器学习处理涉及使用图像减法和加法来操纵位面向量(例如，8×8×8、16×16×16)以针对一部分(例如，70％、80％、90％)主体数据来最大化一段时间内不同情感状态之间的所有ROI中的信号差异，并验证剩余主体数据。以像素方式执行加法或减法。使用现有机器学习算法(长短期存储(LSTM)神经网络、GPNet、或适当的替代算法)来高效地获取关于不同情感状态之间的区分在精度方面的提升、贡献最佳信息的(一个或多个)位面、以及在特征选择方面没有影响的位面的信息。长短期存储(LSTM)神经网络和GPNet允许我们执行组特征选择和分类。下面更详细地讨论LSTM和GPNet机器学习算法。通过该处理，获取将被从图像序列分离出以反映HC中的时间变化的位面集。图像滤波器被配置为在下述后续步骤中分离出所标识的位面。
图像分类机105(先前已经利用使用上面的方法捕获的图像的训练集来训练)将所捕获的图像分类为与情感状态相对应。在第二步骤中，使用从上面提供的经优化位面图像导出的主体情感数据的新训练集，再次采用机器学习来建立感兴趣的情感状态(例如，积极、消极以及中性)的计算模型。现在参考图10，示出了用于多维不可见情感模型建立的数据驱动的机器学习的图示。为创建这样的模型，征募第二组训练主体(优选地，具有不同皮肤类型的新的多种族训练主体组)，并在他们暴露于引起已知情感反应(例如，积极、消极、中性)的刺激时获取图像序列1001。示例性刺激集是已常用于诱发情感的国际情绪图片系统(International Affective Picture System)以及其他良好建立的情感诱发范例。对图像序列1001应用图像滤波器以生成高HC SNR图像序列。刺激还可包括非视觉方面，例如，听觉、味觉、嗅觉、触觉、或其他感觉刺激、或其组合。
使用从位面滤波图像1002导出的主体情感数据1003的该新训练集，再次使用机器学习来建立感兴趣的情感状态(例如，积极、消极以及中性)的计算模型1003。注意，用于标识最优地区分感兴趣的情感状态的剩余位面滤波图像的感兴趣的情感状态与用于建立感兴趣的情感状态的计算模型的状态必须是相同的。对于不同的感兴趣的情感状态，必须在后者开始之前重复前者。
机器学习处理同样涉及一部分主体数据(例如，70％、80％、90％的主体数据)并使用剩余的主体数据来验证模型。该第二机器学习处理因此产生所训练的情感的单独的多维(空间和时间)计算模型1004。
为建立不同的情感模型，当主体正在观察特定情感诱发刺激时，每个主体的面部图像的每个像素上的面部HC变化数据被(从步骤1)作为时间的函数提取。为提高SNR，根据前面提到的多个ROI的不同底层ANS调节机制来将主体的面部划分为多个ROI，并且平均每个ROI中的数据。
现在参考图4，显示了示出主体前额的血红蛋白分布差异的绘图。虽然人类和基于计算机的面部表情检测系统均不可检测任何面部表情差异，但透皮图像示出了积极401、消极402以及中性403条件之间的血红蛋白分布的显著差异。在图5和图6中分别可以看出主体的鼻子和面颊的血红蛋白分布的差异。
同样可以使用长短期存储(LSTM)神经网络、GPNet、或诸如非线性支持向量机之类的适当的替代、以及深度学习来评估跨主体的血红蛋白变化的通用时空模式的存在。在来自主体的一部分(例如，70％、80％、90％)的透皮数据上训练长短期存储(LSTM)神经网络或GPNet机或替代物以获取针对三个不可见情感分类中的每个不可见情感分类的多维计算模型。然后在来自剩余训练主体的数据上测试这些模型。
遵循这些步骤，现在可能获取任意主体的视频序列并将从所选位面提取的HC应用于感兴趣的情感状态的计算模型。输出将是：(1)主体的情感状态属于所训练的情感中的一个情感的估计统计概率，以及(2)这样的情感状态的归一化强度量度。对于长的运行视频流，当情感状态变化并且强度波动时，可以报告依赖于基于移动时间窗口(例如，10秒)的HC数据的概率估计和强度得分随时间的变化。将理解的是，分类的置信水平可以小于100％。
在另外的实施例中，可以使用以腕表、腕带、手带、衣服、鞋类、眼镜或方向盘的形式指向或直接附着于任意身体部分(例如，腕或前额)的皮肤的光学传感器。系统还可以从这些身体区域提取与情感相关联的动态血红蛋白变化，同时移除心跳伪影以及诸如运动和热干扰之类的其他伪影。
在另外的实施例中，系统可被安装在与人类进行交互的机器人及其变体(例如，人形机器人、类人机器人)中，以使得机器人能够检测正在与机器人进行交互的人类的面部或其他身体部分的血红蛋白变化。因此，配备有透皮光学成像能力的机器人读取人类的不可见情感和其他血红蛋白变化相关活动以增强人机交互。
现在将更详细地描述针对以下操作的两个示例实现方式：(1)获取关于情感状态之间的区分在精度方面的改进的信息，(2)标识贡献最佳信息的位面以及在特征选择方面没有影响的位面，以及(3)评估跨主体的血红蛋白变化的通用时空模式的存在。第一个这样的实现方式是递归神经网络并且第二个这样的实现方式是GPNet机。
一个递归神经网络被称为长短期存储(LSTM)神经网络，该LSTM神经网络是指定用于序列数据分析和预测的一类神经网络模型。LSTM神经网络包括至少三层单元。第一层为输入层，接受输入数据。第二层(以及可能的额外层)为隐藏层，包括存储单元(见图12)。最后一层为输出层，该输出层使用逻辑回归来基于隐藏层生成输出值。
如所示出的，每个存储单元包括四个主要元素：输入门、具有自递归连接(到它自身的连接)的神经元、遗忘门以及输出门。自递归连接具有1.0的权重并确保(除任何外部干扰以外)存储单元的状态从一个时间步骤到另一时间步骤可以保持不变。这些门用于调制存储单元自身与其环境之间的交互。输入门准许或防止传入信号更改存储单元的状态。另一方面，输出门可以准许或防止存储单元的状态影响其他神经元。最后，遗忘门可以调制存储单元的自递归连接，准许该单元按需记住或遗忘其之前的状态。
下面的等式描述了如何在每个时间步骤t对存储单元层进行更新。在这些等式中：xt为时刻t时到存储单元层的输入阵列。在本申请中，这是所有ROI处的血流信号：
Wi、Wf、Wc、Wo、Ui、Uf、Uc、Uo以及Vo为权重矩阵；并且bi、bf、bc以及bo为偏差向量。
首先，我们计算在时刻t时输入门it和存储单元的状态的候选值的值：
it＝σ(Wixt+Uiht-1+bi)
然后，我们计算在时刻t时存储单元的遗忘门的激活ft的值：
ft＝σ(Wfxt+Ufht-1+bf)
给定输入门激活it、遗忘门激活ft以及候选状态值的值，我们可以计算在时刻t时存储单元的新状态Ct：
利用存储单元的新状态，我们可以计算它们的输出门的值并随后计算它们的输出：
ot＝σ(Woxt+Uoht-1+VoCt+bo)
ht＝ot*tanh(Ct)
基于存储单元的模型，对于在每个时间步骤的血流分布，我们可以计算来自存储单元的输出。因此，根据输入序列x0、x1、x2、……、xn，LSTM层中的存储单元将产生表征序列h0、h1、h2、……、hn。
目标是将序列分类到不同的条件。逻辑回归输出层基于来自LSTM隐藏层的表征序列生成每个条件的概率。可以如下计算在时间步骤t的概率向量：
pt＝softmax(Woutputht+boutput)
其中，Woutput为从隐藏层到输出层的权重矩阵，并且boutput为输出层的偏差向量。具有最大累计概率的条件将是该序列的预测条件。
GPNet计算分析包括下列三个步骤：(1)特征提取、(2)贝叶斯(Bayesian)稀疏组特征选择、以及(3)贝叶斯稀疏组特征分类。
对于每个主体，使用表面图像、透皮图像或二者，可以针对条件T1、T2、T3、以及T4等(例如，基线、积极、消极、以及中性)来提取级联特征向量vT1、vT2、vT3、vT4。来自T1的图像被视为将要从T2、T3、以及T4的图像减去的背景信息。作为示例，当对T2和T3进行分类时，计算差值向量vT2\1＝vT2-vT1和vT3\1＝vT3-vT1。集合来自所有主体的差值向量，形成两个差异矩阵VT2\1和VT3\1，其中，VT2\1或VT3\1的每行是来自一个主体的差值向量。矩阵被归一化以使得它的每列具有标准差1。然后，经归一化的VT2，3\1被视为用于以下贝叶斯分析的设计矩阵。当对T4和T3进行分类时，采用相同的形成差值向量和矩阵并联合归一化VT4\1和VT3\1的列的过程。
已经开发了在各个时间点对经归一化的视频进行分类并联合标识与分类任务有关的区域的经验贝叶斯途径。提供了使得对相关区域的选择以及到等同高斯处理模型的转换能够大大减少计算成本的稀疏贝叶斯模型。可以使用像似然函数那样表示二进制状态(例如，正对负)的概率的概率单位模型：y＝[y1，…，yN]。给定有噪声特征向量：X＝[x1，…，xN]以及分类器w：其中，函数φ(·)为高斯累积密度函数。为对分类器w中的不确定度进行建模，对其分配高斯先验：
其中，wj为与在以j为索引的特定时刻的ROI相对应的分类器权重，αj控制第j个区域的相关性，以及J为在所有时间点的AOI的总数。由于先验具有零均值，因此若方差αj非常小，则第j个区域的权重将以0为中心，指示第j个区域对于分类任务具有较小的相关性。相反，若αj较大，则第j个区域对于分类任务是重要的。为从另一角度查看该关系，可以经由简单的线性变换来对似然函数和先验进行再参数化：
p(w)＝N(w|0，I)
其中，xij为从第i个主体的第j个区域提取的特征向量。该模型在以下意义上等价于前一模型：它们在经分类器w积分之后给出相同的模型边际似然性：p(y|X，α)＝∫p(y|X，w)p(w|α)dα。
在该新的等价模型中，αj依比例决定(scale)分类器权重wj。明显地，αj越大，则第j个区域对于分类越相关。
为发现每个区域的相关性，采用经验贝叶斯策略。模型边际似然性p(y|X，α)相对于方差参数α＝[α1，…，αJ]上被最大化。由于该边际似然性为概率分布(即，它总是被归一化为一)，因此将其最大化将自然地推动后验分布集中于α的子空间；换句话说，αj的许多元素将具有较小的值或甚至变为零，因此，相应区域变得不相关并且仅若干重要区域将被选择。
然而，边际似然性的直接优化将要求计算分类器w的后验分布。由于数据的高维数，诸如马尔科夫链蒙特卡洛(Markov Chain Monte Carlo)之类的经典蒙特卡洛方法将在它们的收敛之前招致过高的计算成本。若使用经典拉普拉斯(Laplace)方法来通过高斯函数近似后验分布(这将需要在一些优化迭代内部对w的极大协方差矩阵求逆)，则总计算成本将为O(kd3)，其中，d为X的维数并且k为优化迭代次数。同样，计算成本过高。
为解决该计算挑战，开发了新的高效稀疏贝叶斯学习算法。核心思想是根据数据构建等价高斯处理模型并高效地训练GP模型而非原始模型。然后应用期望传播来训练GP模型。它的计算成本为O(N3)阶，其中，N为主体的数目。因此，显著降低了计算成本。在获得GP模型的后验处理之后，然后使用期望最大化算法来迭代地优化方差参数α。
现在参考图8，显示了示出用于检测人类情感的系统的输出的示例性报告。该系统可以将唯一客户编号801归属于给定主体的名字802和性别803。利用给定概率805来标识情感状态804。标识情感强度等级806，以及情感强度指数得分807。在实施例中，报告可以包括随时间811将被示作主体808基于给定ROI 809所感受的情感与模型数据810进行比较的曲线图。
上述系统和方法可被应用于多个领域，特别地包括营销、广告以及销售，这是由于积极情感通常与购买行为和品牌忠诚度相关联，而消极情感则相反。在实施例中，系统可以在个体暴露于商业广告、使用给定产品或在零售环境中浏览时采集个体的视频。然后可以实时分析视频以提供关于产品或广告的多个方面的实时用户反馈。所述技术可以辅助标识诱发购买决定所需的情感以及产品被积极还是消极地接收。
在实施例中，该系统可被用在医疗行业。医生、牙医、心理学家、精神病学家等可以使用该系统来了解病人所感受的真实情感以支持更好的治疗、处方等。
国土安全以及地方警察当前使用相机作为海关检查或讯问过程的一部分。可以使用该系统来标识对安全形成威胁或正在说谎的个体。在另外的实施例中，可以使用该系统来辅助嫌疑人的讯问或关于目击者的信息收集。
教育工作者还可以使用该系统来标识学生关于主题、想法、教学方法等所感受的真实情感。
公司和人力资源部门也可以应用该系统。公司可以使用该系统来监测员工的压力和情绪。此外，该系统还可用于标识个体在面试环境或其他人力资源过程中所感受的情感。
该系统可用于标识员工在运输或军事环境中所感受的情绪、压力以及疲劳程度。例如，疲劳的驾驶员、飞行员、队长、士兵等可被标识为过于疲劳而不能有效地继续轮班工作。除了可能由运输行业制定的安全改进之外，还可以导出通知调度的分析。
在另一方面，该系统可用于约会申请人。通过了解响应于潜在合作伙伴所感受的情感，可以使得用于向给定用户呈现潜在合作伙伴的筛选过程更有效。
在又一方面，该系统可以由寻求降低与贸易实务或贷款有关的风险的金融机构来使用。该系统可以提供对交易者所感受的情感或压力水平的洞察，为风险交易提供制衡。
该系统可以由试图评估用户对于特定词汇、短语、销售策略等的反应电话销售员使用，这些反应可能告知最佳销售方法以激发品牌忠诚度或完成销售。
在另外的实施例中，该系统可被用作情感神经科学中的工具。例如，该系统可以与MRI或NIRS或EEG系统相耦合以不仅测量与主体的情感相关联的神经活动，还测量透皮血流变化。所采集的血流数据可用于提供关于主体的情感状态的额外的和验证信息，或用于分离皮质中枢神经系统所生成的生理信号以及自主神经系统所生成的那些生理信号。例如，可以解决皮肤血红蛋白变化经常与头皮血红蛋白变化混合的功能近红外光谱学(fNIRS)研究中的脸红和脑部问题。
在另外的实施例中，该系统可以检测除了视觉之外的声音(例如，音乐、哭泣等)所引起的不可见情感。还可以检测由包括嗅觉、气味、味觉以及前庭感觉的其他感觉所引起的不可见情感。
将理解的是，尽管本申请描述了用于不可见情感检测的系统和方法，但该系统和方法可以替代地应用于以血液浓度流为指标的任意其他状况的检测。
其他应用可以变得明显。
虽然已经参考某些具体的实施例描述了本发明，但在不脱离如所附权利要求所概述的本发明的精神和范围的情况下，其中的各种修改对于本领域技术人员将是明显的。上述所有参考文献的全部公开内容通过引用结合于此。

Claims (50)

1.一种用于根据主体的捕获图像序列检测该主体所表达的不可见人类情感的系统，所述系统包括图像处理单元，所述图像处理单元被训练以确定所述捕获图像序列中表示所述主体的血红蛋白浓度(HC)变化的多个图像的位面集并且基于HC变化来检测所述主体的不可见情感状态，所述图像处理单元是使用包括情感状态已知的一组主体的训练集来训练的。
2.如权利要求1所述的系统，其中，所述图像处理单元分离出所述捕获图像序列的每个图像中的血红蛋白浓度以获得透皮血红蛋白浓度变化。
3.如权利要求2所述的系统，其中，所述训练集包括针对多个人类主体获得的多个捕获图像序列，所述多个人类主体显示从透皮血液变化能够确定的各种已知情感。
4.如权利要求3所述的系统，其中，所述训练集是通过从正暴露于已知引起特定情感反应的刺激的所述人类主体捕获图像序列来获得的。
5.如权利要求4所述的系统，其中，所述系统还包括面部表情检测单元，所述面部表情检测单元被配置为确定每个捕获图像是否显示对所述刺激的不可见面部反应，以及在做出所述不可见面部反应被显示的确定后即丢弃相应的图像。
6.如权利要求1所述的系统，其中，所述图像处理单元还处理所述捕获图像序列以移除与心脏、呼吸、以及血压活动相关联的信号。
7.如权利要求6所述的系统，其中，所述系统还包括EKG机、气动呼吸机、以及连续血压测量系统，并且所述移除包括从所述主体采集EKG、气动呼吸、以及血压数据。
8.如权利要求7所述的系统，其中，所述移除还包括去噪。
9.如权利要求8所述的系统，其中，所述去噪包括下列项中的一项或多项：快速傅立叶变换(FFT)、陷波和带通滤波、一般线性建模、以及独立分量分析(ICA)。
10.如权利要求1所述的系统，其中，所述图像处理单元确定一个或多个感兴趣的区域上的HC变化，所述一个或多个感兴趣的区域包括所述主体的前额、鼻子、面颊、口部、以及下巴。
11.如权利要求10所述的系统，其中，所述图像处理单元实现重复的数据驱动机器学习以标识最大化不可见情感状态的检测和区分的所述位面的最优组合。
12.如权利要求11所述的系统，其中，所述机器学习包括使用图像减法和加法来操纵位面向量以最大化跨所述图像序列的不同感情状态之间的感兴趣区域中的信号差异。
13.如权利要求12所述的系统，其中，所述减法和加法以像素的方式被执行。
14.如权利要求1所述的系统，其中，所述训练集是预加载图像的子集，其余的图像包括验证集。
15.如权利要求1所述的系统，其中，所述HC变化是从下列项中的任意一项或多项获得的：所述主体的面部、腕部、手部、躯干、或脚部。
16.如权利要求15所述的系统，其中，所述图像处理单元被嵌入在下列项中的一项中：腕表、腕带、手带、服装、鞋类、眼镜或方向盘。
17.如权利要求1所述的系统，其中，所述图像处理单元在训练期间应用机器学习处理。
18.如权利要求1所述的系统，其中，所述系统还包括图像捕获设备和图像显示设备，所述图像显示设备提供所述主体可以查看的图像，并且所述主体查看所述图像。
19.如权利要求18所述的系统，其中，所述图像是营销图像。
20.如权利要求18所述的系统，其中，所述图像是与医疗有关的图像。
21.如权利要求18所述的系统，其中，所述图像被用于在检查或讯问中确定主体的欺骗性。
22.如权利要求18所述的系统，其中，所述图像旨在引起情感、压力或疲劳反应。
23.如权利要求18所述的系统，其中，所述图像旨在引起风险反应。
24.如权利要求1所述的系统，其中，所述系统在机器人中被实现。
25.如权利要求4所述的系统，其中，所述刺激包括听觉刺激。
26.一种用于检测主体所表达的不可见人类情感的方法，所述方法包括：捕获所述主体的图像序列，确定捕获的图像序列中表示所述主体的血红蛋白浓度(HC)变化的多个图像的位面集，以及使用如下模型来基于HC变化检测所述主体的不可见情感状态，所示模型是使用包括情感状态已知的一组主体的训练集来训练的。
27.如权利要求26所述的方法，其中，图像处理单元分离出所述捕获的图像序列的每个图像中的血红蛋白浓度以获得透皮血红蛋白浓度变化。
28.如权利要求27所述的方法，其中，所述训练集包括针对多个人类主体获得的多个捕获的图像序列，所述多个人类主体显示从透皮血液变化能够确定的各种已知情感。
29.如权利要求28所述的方法，其中，所述训练集是通过从正暴露于已知引起特定情感反应的刺激的所述人类主体捕获图像序列来获得的。
30.如权利要求29所述的方法，其中，所述方法还包括确定每个捕获的图像是否显示对所述刺激的不可见面部反应，以及在做出所述不可见面部反应被显示的确定后即丢弃相应的图像。
31.如权利要求26所述的方法，其中，所述方法还包括移除与心脏、呼吸、以及血压活动相关联的信号。
32.如权利要求31所述的方法，其中，所述移除包括使用EKG机、气动呼吸机、以及连续血压测量系统来从所述主体采集EKG、气动呼吸、以及血压数据。
33.如权利要求32所述的方法，其中，所述移除还包括去噪。
34.如权利要求33所述的方法，其中，所述去噪包括下列项中的一项或多项：快速傅立叶变换(FFT)、陷波和带通滤波、一般线性建模、以及独立分量分析(ICA)。
35.如权利要求26所述的方法，其中，所述HC变化在一个或多个感兴趣的区域上，包括所述主体的前额、鼻子、面颊、口部、以及下巴。
36.如权利要求35所述的方法，其中，图像处理单元实现重复的数据驱动机器学习以标识最大化不可见情感状态的检测和区分的所述位面的最优组合。
37.如权利要求36所述的方法，其中，所述机器学习包括使用图像减法和加法来操纵位面向量以最大化跨所述图像序列的不同感情状态之间的感兴趣区域中的信号差异。
38.如权利要求37所述的方法，其中，所述减法和加法以像素的方式被执行。
39.如权利要求26所述的方法，其中，所述训练集是预加载图像的子集，其余的图像包括验证集。
40.如权利要求26所述的方法，其中，所述HC变化是从下列项中的任意一项或多项获得的：所述主体的面部、腕部、手部、躯干、或脚部。
41.如权利要求40所述的方法，其中，所述方法由下列项中的一项实现中：腕表、腕带、手带、服装、鞋类、眼镜或方向盘。
42.如权利要求26所述的方法，其中，图像处理单元在训练期间应用机器学习处理。
43.如权利要求26所述的方法，其中，所述方法还包括提供所述主体可以查看的图像，并且所述主体查看所述图像。
44.如权利要求43所述的方法，其中，所述图像是营销图像。
45.如权利要求43所述的方法，其中，所述图像是与医疗有关的图像。
46.如权利要求43所述的方法，其中，所述图像被用于在检查或讯问中确定主体的欺骗性。
47.如权利要求43所述的方法，其中，所述图像旨在引起情感、压力或疲劳反应。
48.如权利要求43所述的方法，其中，所述图像旨在引起风险反应。
49.如权利要求26所述的方法，其中，所述方法由机器人实现。
50.如权利要求29所述的方法，其中，所述刺激包括听觉刺激。
CN201580053561.0A 2014-10-01 2015-09-29 用于检测不可见人类情感的系统和方法 Pending CN106999111A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462058227P 2014-10-01 2014-10-01
US62/058,227 2014-10-01
PCT/CA2015/050975 WO2016049757A1 (en) 2014-10-01 2015-09-29 System and method for detecting invisible human emotion

Publications (1)

Publication Number Publication Date
CN106999111A true CN106999111A (zh) 2017-08-01

Family

ID=55629197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053561.0A Pending CN106999111A (zh) 2014-10-01 2015-09-29 用于检测不可见人类情感的系统和方法

Country Status (5)

Country Link
US (2) US20160098592A1 (zh)
EP (1) EP3030151A4 (zh)
CN (1) CN106999111A (zh)
CA (1) CA2962083A1 (zh)
WO (1) WO2016049757A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107550501A (zh) * 2017-08-30 2018-01-09 西南交通大学 高铁调度员心理旋转能力的测试方法及系统
CN108597609A (zh) * 2018-05-04 2018-09-28 华东师范大学 一种基于lstm网络的医养结合健康监测方法
CN108697386A (zh) * 2016-02-17 2018-10-23 纽洛斯公司 用于检测生理状态的系统和方法
CN109035231A (zh) * 2018-07-20 2018-12-18 安徽农业大学 一种基于深度循环的小麦赤霉病的检测方法及其系统
CN109069072A (zh) * 2016-02-08 2018-12-21 纽洛斯公司 欺骗检测系统和方法
CN109199411A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于模型融合的案件知情者识别方法
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN110123342A (zh) * 2019-04-17 2019-08-16 西北大学 一种基于脑电波的网瘾检测方法及系统
WO2020073708A1 (zh) * 2018-10-08 2020-04-16 杭州中威电子股份有限公司 一种融合视频通信与体征分析的系统
CN111259895A (zh) * 2020-02-21 2020-06-09 天津工业大学 一种基于面部血流分布的情感分类方法及系统
CN111386068A (zh) * 2017-10-24 2020-07-07 纽洛斯公司 基于摄像机的压力测量系统与方法
CN112190235A (zh) * 2020-12-08 2021-01-08 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法
CN114423341A (zh) * 2019-07-16 2022-04-29 纽洛斯公司 用于血液生物标志物的基于相机的量化的系统和方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10349887B1 (en) 2015-06-14 2019-07-16 Facense Ltd. Blood pressure measuring smartglasses
US9968264B2 (en) 2015-06-14 2018-05-15 Facense Ltd. Detecting physiological responses based on thermal asymmetry of the face
US10165949B2 (en) 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10151636B2 (en) 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
US10064559B2 (en) 2015-06-14 2018-09-04 Facense Ltd. Identification of the dominant nostril using thermal measurements
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
US10092232B2 (en) 2015-06-14 2018-10-09 Facense Ltd. User state selection based on the shape of the exhale stream
US11154203B2 (en) 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
US10638938B1 (en) 2015-06-14 2020-05-05 Facense Ltd. Eyeglasses to detect abnormal medical events including stroke and migraine
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US10130261B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Detecting physiological responses while taking into account consumption of confounding substances
US10299717B2 (en) 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US10080861B2 (en) 2015-06-14 2018-09-25 Facense Ltd. Breathing biofeedback eyeglasses
US10791938B2 (en) 2015-06-14 2020-10-06 Facense Ltd. Smartglasses for detecting congestive heart failure
US11103139B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US10136856B2 (en) 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10130299B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Neurofeedback eyeglasses
US10076270B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses while accounting for touching the face
US10045737B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Clip-on device with inward-facing cameras
US10376163B1 (en) 2015-06-14 2019-08-13 Facense Ltd. Blood pressure from inward-facing head-mounted cameras
US10076250B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses based on multispectral data from head-mounted cameras
US10045699B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Determining a state of a user based on thermal measurements of the forehead
US10154810B2 (en) 2015-06-14 2018-12-18 Facense Ltd. Security system that detects atypical behavior
US10523852B2 (en) 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10667697B2 (en) 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors
US10216981B2 (en) 2015-06-14 2019-02-26 Facense Ltd. Eyeglasses that measure facial skin color changes
US10799122B2 (en) 2015-06-14 2020-10-13 Facense Ltd. Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US11064892B2 (en) 2015-06-14 2021-07-20 Facense Ltd. Detecting a transient ischemic attack using photoplethysmogram signals
US10130308B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US11103140B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
CN104978762B (zh) * 2015-07-13 2017-12-08 北京航空航天大学 服装三维模型生成方法及系统
US10783431B2 (en) * 2015-11-11 2020-09-22 Adobe Inc. Image search using emotions
US10705603B2 (en) 2016-02-08 2020-07-07 Nuralogix Corporation System and method for detecting invisible human emotion in a retail environment
WO2017150575A1 (ja) * 2016-02-29 2017-09-08 ダイキン工業株式会社 疲労状態判定装置及び疲労状態判定方法
DE102016009410A1 (de) * 2016-08-04 2018-02-08 Susanne Kremeier Verfahren zur Mensch-Maschine-Kommunikation bzgl. Robotern
WO2018085946A1 (en) * 2016-11-14 2018-05-17 Nuralogix Corporation System and method for detecting subliminal facial responses in response to subliminal stimuli
CN109937002B (zh) * 2016-11-14 2021-10-22 纽洛斯公司 用于基于相机的心率跟踪的系统和方法
CA3047452A1 (en) 2016-12-19 2018-06-28 Nuralogix Corporation System and method for contactless blood pressure determination
KR20180092778A (ko) * 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US11200265B2 (en) * 2017-05-09 2021-12-14 Accenture Global Solutions Limited Automated generation of narrative responses to data queries
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
GB2564865A (en) * 2017-07-24 2019-01-30 Thought Beanie Ltd Biofeedback system and wearable device
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
TWI670047B (zh) * 2017-09-18 2019-09-01 Southern Taiwan University Of Science And Technology 頭皮檢測設備
US10699144B2 (en) 2017-10-26 2020-06-30 Toyota Research Institute, Inc. Systems and methods for actively re-weighting a plurality of image sensors based on content
US11003858B2 (en) * 2017-12-22 2021-05-11 Microsoft Technology Licensing, Llc AI system to determine actionable intent
US20190343441A1 (en) * 2018-05-09 2019-11-14 International Business Machines Corporation Cognitive diversion of a child during medical treatment
US11568237B2 (en) 2018-05-10 2023-01-31 Samsung Electronics Co., Ltd. Electronic apparatus for compressing recurrent neural network and method thereof
CN108937968B (zh) * 2018-06-04 2021-11-19 安徽大学 基于独立分量分析的情感脑电信号的导联选择方法
IL262116A (en) * 2018-10-03 2020-04-30 Sensority Ltd Remote prediction of human neuropsychological state
WO2020160887A1 (en) * 2019-02-06 2020-08-13 Unilever N.V. A method of demonstrating the benefit of oral hygiene
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置
CN110765838B (zh) * 2019-09-02 2023-04-11 合肥工业大学 用于情绪状态监测的面部特征区域实时动态分析方法
US11151385B2 (en) 2019-12-20 2021-10-19 RTScaleAI Inc System and method for detecting deception in an audio-video response of a user
WO2021150836A1 (en) * 2020-01-23 2021-07-29 Utest App, Inc. System and method for determining human emotions
CN113052099B (zh) * 2021-03-31 2022-05-03 重庆邮电大学 一种基于卷积神经网络的ssvep分类方法
CN114081491B (zh) * 2021-11-15 2023-04-25 西南交通大学 基于脑电时序数据测定的高速铁路调度员疲劳预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654831A (ja) * 1992-08-10 1994-03-01 Hitachi Ltd 磁気共鳴機能イメージング装置
WO1994023643A1 (en) * 1993-04-12 1994-10-27 Noninvasive Medical Technology Corporation System and method for noninvasive hematocrit monitoring
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172106A (ja) * 2000-12-07 2002-06-18 Hitachi Ltd 生体光計測法を用いた遊戯装置
GB2390950A (en) * 2002-07-17 2004-01-21 Sony Uk Ltd Video wipe generation based on the distance of a display position between a wipe origin and a wipe destination
GB2390949A (en) * 2002-07-17 2004-01-21 Sony Uk Ltd Anti-aliasing of a foreground image to be combined with a background image
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US20110292181A1 (en) * 2008-04-16 2011-12-01 Canesta, Inc. Methods and systems using three-dimensional sensing for user interaction with applications
JP5386594B2 (ja) * 2009-11-27 2014-01-15 株式会社日立製作所 生体光計測装置
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
JP5668138B2 (ja) * 2011-06-17 2015-02-12 株式会社日立製作所 生体光計測装置
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
AU2013256179A1 (en) * 2012-05-02 2014-11-27 Aliphcom Physiological characteristic detection based on reflected components of light
JP5982483B2 (ja) * 2012-06-21 2016-08-31 株式会社日立製作所 生体状態評価装置およびそのためのプログラム
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
CN105873503A (zh) * 2013-12-25 2016-08-17 旭化成株式会社 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统
EP3177201B1 (en) * 2014-08-10 2023-08-02 Autonomix Medical, Inc. Methods and systems for assessing neural activity in an eye

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654831A (ja) * 1992-08-10 1994-03-01 Hitachi Ltd 磁気共鳴機能イメージング装置
WO1994023643A1 (en) * 1993-04-12 1994-10-27 Noninvasive Medical Technology Corporation System and method for noninvasive hematocrit monitoring
EP1491135A2 (en) * 1993-04-12 2004-12-29 Hema Metrics, Inc. Method and apparatus for monitoring blood constituents
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEOVANY A.RAMIREZ, ET AL.: "Color Analysis of Facial Skin: Dectection of Emotional State", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
JIMENEZ ET AL.: "A practical appearance model for dynamic facial color", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109069072B (zh) * 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
CN109069072A (zh) * 2016-02-08 2018-12-21 纽洛斯公司 欺骗检测系统和方法
CN108697386A (zh) * 2016-02-17 2018-10-23 纽洛斯公司 用于检测生理状态的系统和方法
US11497423B2 (en) 2016-02-17 2022-11-15 Nuralogix Corporation System and method for detecting physiological state
CN108697386B (zh) * 2016-02-17 2022-03-04 纽洛斯公司 用于检测生理状态的系统和方法
CN109426765B (zh) * 2017-08-23 2023-03-28 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN107550501B (zh) * 2017-08-30 2020-06-12 西南交通大学 高铁调度员心理旋转能力的测试方法及系统
CN107550501A (zh) * 2017-08-30 2018-01-09 西南交通大学 高铁调度员心理旋转能力的测试方法及系统
US11857323B2 (en) 2017-10-24 2024-01-02 Nuralogix Corporation System and method for camera-based stress determination
CN111386068A (zh) * 2017-10-24 2020-07-07 纽洛斯公司 基于摄像机的压力测量系统与方法
CN111386068B (zh) * 2017-10-24 2023-05-30 纽洛斯公司 基于摄像机的压力测量系统与方法
CN108597609A (zh) * 2018-05-04 2018-09-28 华东师范大学 一种基于lstm网络的医养结合健康监测方法
CN109035231A (zh) * 2018-07-20 2018-12-18 安徽农业大学 一种基于深度循环的小麦赤霉病的检测方法及其系统
CN109199411B (zh) * 2018-09-28 2021-04-09 南京工程学院 基于模型融合的案件知情者识别方法
CN109199411A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于模型融合的案件知情者识别方法
WO2020073708A1 (zh) * 2018-10-08 2020-04-16 杭州中威电子股份有限公司 一种融合视频通信与体征分析的系统
CN110123342A (zh) * 2019-04-17 2019-08-16 西北大学 一种基于脑电波的网瘾检测方法及系统
CN114423341A (zh) * 2019-07-16 2022-04-29 纽洛斯公司 用于血液生物标志物的基于相机的量化的系统和方法
CN111259895B (zh) * 2020-02-21 2022-08-30 天津工业大学 一种基于面部血流分布的情感分类方法及系统
CN111259895A (zh) * 2020-02-21 2020-06-09 天津工业大学 一种基于面部血流分布的情感分类方法及系统
CN112190235A (zh) * 2020-12-08 2021-01-08 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法

Also Published As

Publication number Publication date
EP3030151A1 (en) 2016-06-15
WO2016049757A1 (en) 2016-04-07
US20160098592A1 (en) 2016-04-07
US20200050837A1 (en) 2020-02-13
CA2962083A1 (en) 2016-04-07
EP3030151A4 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106999111A (zh) 用于检测不可见人类情感的系统和方法
US10806390B1 (en) System and method for detecting physiological state
US10360443B2 (en) System and method for detecting subliminal facial responses in response to subliminal stimuli
CN109069072A (zh) 欺骗检测系统和方法
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
Qiao et al. Ternary-task convolutional bidirectional neural turing machine for assessment of EEG-based cognitive workload
Wang et al. Deep learning-based EEG emotion recognition: Current trends and future perspectives
Perera et al. A review of electroencephalogram-based analysis and classification frameworks for dyslexia
Wardoyo et al. Oversampling approach using radius-SMOTE for imbalance electroencephalography datasets
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
KR20220060976A (ko) 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치
Sahu et al. Brain and Behavior Computing
de J Lozoya-Santos et al. Current and future biometrics: technology and applications
Moukayed et al. Detecting Academic Emotions from Learners’ Skin Con-ductance and Heart Rate: A Data-driven Approach using Fuzzy Logic
Liu Predicting stress in remote learning via advanced deep learning technologies
Abdullah et al. EEG Emotion Detection Using Multi-Model Classification
Barik et al. Advances in data science, trends, and applications of artificial intelligence within the interaction between natural and artificial computation
Samal et al. Role of machine learning and deep learning techniques in EEG-based BCI emotion recognition system: a review
van Vliet et al. A large-scale computational model to accurately predict early brain activity in response to written words
RAMACHANDAR HUMAN CENTRIC COGNITIVE FUNCTIONING USING BCI TECHNOLOGY
Lylath et al. Efficient Approach for Autism Detection using deep learning techniques: A Survey
Gorriz Sáez et al. Arti cial intelligence within the interplay between natural and arti cial Computation: advances in data science, trends and applications
Aboud Identifying cybersickness features from EEG data using deep learning
Li A Dual-Modality Emotion Recognition System of EEG and Facial Images and its
Manishaa et al. Emotional Resonance in Brainwaves: EEG based Classification of Emotional Dynamics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801