CN110464314A - 利用深层生理情绪网络的人类感情推定方法及系统 - Google Patents

利用深层生理情绪网络的人类感情推定方法及系统 Download PDF

Info

Publication number
CN110464314A
CN110464314A CN201811527686.4A CN201811527686A CN110464314A CN 110464314 A CN110464314 A CN 110464314A CN 201811527686 A CN201811527686 A CN 201811527686A CN 110464314 A CN110464314 A CN 110464314A
Authority
CN
China
Prior art keywords
mentioned
emotion
time margin
time
classification loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811527686.4A
Other languages
English (en)
Inventor
赵成浩
金炳亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korean Academy Of Science And Technology
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korean Academy Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180125780A external-priority patent/KR102221264B1/ko
Application filed by Korean Academy Of Science And Technology filed Critical Korean Academy Of Science And Technology
Publication of CN110464314A publication Critical patent/CN110464314A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)

Abstract

本发明公开利用用于识别人类感情的深度生理情绪网络的人类感情推定方法及系统。本发明一实施例的感情推定方法包括：获取使用人员的生理信号的步骤；当根据时间轴学习输入所获取的上述生理信号的网络时，利用考虑时间裕度的基于时间裕度的分类损失函数来学习的步骤；以及通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情的步骤。

Description

利用深层生理情绪网络的人类感情推定方法及系统
技术领域
本发明涉及可推定人类感情的技术，更详细地，涉及如下的方法及系统，即，根据深层学习网络和基于时间裕度的损失函数生成生理模型，例如，深层生理情感网络(DPAN；deep psychological affect network)，利用生成的生理模型识别人类的感情，从而提高与感情识别有关的性能。
背景技术
与识别人类情绪有关的过去的研究利用了利用生物体传感器的各种技术，小型化的生物体传感器和尖端移动计算技术可利用所谓称为“日常技术”的技术持续检测生物体信号。此传感器提供为了反映感情变化而使用的脑波检查(EEG；electroencephalography)、心跳的变动性、脉冲氧检测法及皮肤电(galvanic)反应数据。
其中，数据用助于更好地理解如压力的精神健康病理的原因，由于引发感情且关联生物体信号的特性复杂，难以构建可理解情绪动态的可靠的自动化系统。
感情为多成分(multicomponent)现象，能够以各种不同的方式表达，可随着时间的流逝隐藏。由于处理感情的神经机制的复杂性，难以检测并准确地理解感情。虽然生物体信号受到从各种人工产品(artifacts)的噪声、传感器的低新报对噪声比(SNR)及生理活动的个体间的变动性(inter-subject variability)和个体内变动性(intra-subjectvariability)的影响，生物体信号的变化受到人类感情的影响。
由于感情的多角特性(multifaceted nature)，提出了用于理解感情的较多的理论。在以往的一实施例技术中，当提及心理构成要素的作用时，以“雨伞”概念说明了感情的多面特性，此概念包括生成感情的各种结构要素的各种作用和其关联性、将这种要素分类为特定感情。
情感偏侧化(Emotional Lateralization)为与左半球与右半球之间的感情处理有关的非对称表达。以往的研究呈现2个明显地大脑半球的非对称活性化。与情感偏侧化有关的最久的理论主张左侧半球与认知过程相关、右侧半球与感情处理相关。此理论以根据与脸部表情有关的实验的各种研究为支撑，在许多应对研究中理解人类的感情的过程中，报告显示超越右侧半球的主导作用的各种脑不对称模式，尤其，与积极且消极的情绪相关的模式。
原子价(valence)假设左侧半球具有积极的感觉的中心、右侧板球具有消极的感觉的中心。在上述研究中验证了上述假设并在额叶区域中示出了非对称活性化。与上述假设有关的另一应对方案为动机进退(motivational approach-withdrawal)假设，根据此假设，感情在环境中与个人行动及动机赋予方向紧密相关，使用进化论概念分类。幸福、震惊及愤怒由于利用环境刺激引导移动的倾向，分类为接近感情，悲伤、害怕及厌恶由于回避厌恶刺激的环境原因的倾向，与回避行动有关。
积极/消极及接近/回避假设具有较多的类似面，对愤怒的感情分类具有大的差异。在积极/消极模型中，愤怒与悲伤、害怕、厌恶一同视为消极感情，愤怒在接近/回避模型中分类为接近感情。它们分配在与幸福及震惊相同的范畴，这是因为使个人争吵且为刺激的源泉。不顾这种不一致，这种假设相互弥补，之前的数十年被许多研究支撑。
与感情相关的半球非对称的发现实现了如对称脑波检查电极中的差动(differential)及合理非对称的相关脑波功能。一实施例的技术提出了用于识别听音乐中的4种感情状态的基于脑波检查的框架，以互不相同的壳体为对象调查与情绪处理最具相关的独立特征，并检测了多分类器的效用性。并且，上述技术主张基于谱功率非对称的特征利用与四种感情状态(开心、愤怒、悲伤、快乐)有关的反应特性化脑动力学的过程中，比其他特征优秀。再一实施例的技术公开了与4种不同的分类作业过程中的感情状态有关的自动识别方法，在此模型中，定量化半球间电极的谱时间生理模式之间的相互信息。这种基于特征的接近法广泛用于情绪计算领域，使用得到提高的信号处理来研发，当尝试研发用于其他感情的按照主题的差别化要素时，大部分的研究会遇到困难，因此，依赖其他效数据组。
感情的各种理论示出生理活动对于理解感情较重要。最终，利用生理信号的与人类的情绪有关的研究被广泛施行，在过去的数十年间，在许多方面具有大的发展。
大部分的情绪识别方法包括接着中枢神经系统(CNS；central nervous system)的变化和特定感情状态抽取的自主神经系统(ANS；autonomic nervous system)的变化。在情绪计算研究中，2个系统被视为主要构成要素。基于中枢神经系统方法的使用被大脑皮质包括用于调节人类的感情的各种区的事实合理化。尤其，从脑波检查和光电容积脉搏波(PPG；Photoplethysmography)获取的生理信号广泛用于感情识别，各自的感情识别具有优点。
脑波检查检测脑的电活动。脑波检查为利用放置于头皮的多个电极记录脑的自发电活动。虽然具有与头皮有关的低空间分辨率，此方法的非常高的时间清晰度有用于临床应用。例如，癫痫及其他睡眠障碍可通过在脑波检查读取中检测出暂时异常来确认。并且，将脑波检查的无创和移动性使用领域扩张至作为与使用人员的脑进行通信的外部装置的脑机接口(BCI；brain-computer interfaces)。脑波检查通过如运动想象(motor imagery)和视觉诱发电位(visual evoked potential)的与控制战略相关的许多研究广泛被追求。
大部分的脑波检查相关研究依赖基于特征的分类器。当根据神经科学假设选择电极时，为了分类分离感情，抽取并选择特征。例如，一实施例的技术根据标准化的电影剪辑数据库说明了基于实时脑波检查的感情识别系统，类似地，另一实施例的技术研究了用于分类感情的脑波特征的特性和追踪感情变化的轨迹的技术。它们抽取了评价脑波检查与感情状态之间的关联性的特征。他们的研究示出，右侧枕叶(occipital lobe)和顶叶(parietal lobe)主要与α带相关的感情具有关联，头顶和颞叶(temporal lobes)与β带相关的感情具有关联，左侧额叶(frontal lobe)和右侧颞叶与γ带相关的感情具有关联。在此接近法中，与感情状态关联的特定频率带的谱功率用于感情识别。
还有一实施例的技术研发了在时间-频率区域中用于脑波检查信号分段(segmentation)的适应性方法和此分段与感情相关信息之间的关联性评价。他们利用额叶脑波检查非对称和多维指示信息接近法说明的右侧半球与左侧半球的因果关系。这种结果示出额叶及颞叶的情感偏侧化可成为感情状态的良好的差别化要素。
往往使用不同的模式时，基于脑波检查的感情识别系统呈现得到提高的结果。在许多生理信号中，检测血液量的光电容积脉搏波广泛用于计算心率(HR；heart rate)。为了在血液循环中检测血液的体积变化，光电容积脉搏波使用基于光的技术。认为其准确性低于心电图(ECG；electrocardiograms)的准确度，由于简单，在日常生活中检测精神压力等的临床应用领域中用于研发可穿戴生物传感器。不仅是心率，心率变异性(HRV；heart ratevariability)也以有用于感情评价而周知。在以往的20年间，具有心率变异性分析在时间及频率领域均可提供与自主功能有关的明确评价的一部分报告。但是，这种评价需要高时间及频率分辨率。由于这种需求，心率变异性仅适合长期数据分析。多名研究人员重点研究怎样克服此局限，作为与此有关的一例的技术，最近研发了如下的个人概率框架，即，为了准确地评价实施感情反应，通过分析心跳的力学(dynamics)来规定感情状态特征。在此技术中，在时间或频率区域中，生理信号的明显或作为峰值的单一瞬间的变化被视为后补。但是，此接近法具有局限，由于复杂的属性和多维现象，无法完整地说明感情抽取原理。
并且，最近，在计算机视觉、机器人工学及神经科学领域中，逐渐使用较多的深度学习(deep learning)方法。在感情识别中，深度学习技术技术为了研发比通用的基于抽取特征的情绪建模更可靠、更准确的影响建模而研究。一实施例的技术公开的从各种生理信号对人类的影响进行建模的深度学习方法论的使用。为了对情绪的学习进行建模，他们与去燥(denoising)自动编码器使用了多层卷积神经网络(CNN；convolutional neuralnetwork)。该技术算出通过深度学习的抽取特征的自动化更高的预测能力的生理情绪探测器，这提出提供更高准确度的情绪模型的假设。该技术对于包括与玩家的情绪有关的主观自身报告及生理信号的游戏数据资料评价了深度学习方法，算出深度学习更准确的情绪模型，因此，示出了其性能比手动点对点(ad-Hoc)特征抽取更优秀。
并且，为了需理解数据的时间变化的复杂作业，证明了深度学习学习非静态数据流是有益的。又一实施例的技术在借助脑波检查查明的感情的脉络中调查了大脑活动的非静态特性，使用具有从多通道脑波检查数据抽取的微分熵特征的深度信念(deep belief)网络来调查了用于识别感情的有意义的频带和通道。又一实施例的技术为了从脸部表情影像持续预测情绪价值的2阶段自动系统中对连续情绪预测之间的时间关系进行建模公开了延时神经网络(TDNN，time-delay neural network)，该技术使用延时神经网络在感情状态预测步骤中尝试分了感情状态力学。其中，延时神经网络不使时间信息偏向，不受连续框架内特性之间的高可变性的影响。
利用生理信号的感情分析用数据库(DEAP；Database for Emotion Analysisusing Physiological Signals)为在生理信号中用于分析各种感情的多模数据集。利用生理信号的感情分析用数据库数据集根据国际系统配置的活性AgCl电极和光看以1分钟的长度精选的音乐影片的32名的参与人员记录13个的其他周围生理信号，如，使用体积描记器(plethysmographs)以512Hz的采样速度记录32通道脑波检查来生成。此数据集包括1至9的连续原子价(valence)、觉醒(arousal)、爱好(liking)及优势(dominance)等级和各尝试之后直接评价的1至5的分离熟悉程度。其中，自我评价模型(SAM，Self-AssessmentManikins)可用于将等级视觉化。例如，将拇指向上及向下的图标可用于爱好。
并且，利用生理信号的感情分析用数据库数据集的著作人为了在数据集中自动标记影像的情绪，提出了使用3种互不相同的模式的方法论及单一尝试分类的结果，3种互不相同的模式为脑波检查信号、周围生理信号及多媒体内容分析(MCA)。其中，基准分类器可使用朴素贝叶斯(Naive Bayes)分类器。在互不相同的模式中，抽取包括多媒体内容分析的生理特征，可将次用于分类原子价、觉醒及爱好的低状态及高状态。低状态和高状态通过配置于9分等级的中间的临界值决定。通过使用朴素贝叶斯分类器对于各模式及等级标准实现了平均67.7％的参与人员的准确度，在多模态融合中获取了如下的结论，即，通过实现65.2％的最高准确度，在制造非常准确的单一试验分类的过程中具有信号噪声、个别生理差异、自我评价的受限的品质等的障碍。这是因为基准分类器解决这种问题的能力受限。因为使用最大似然法(maximum-likelihood method)的朴素贝叶斯模型的独立假设可忽视互不相同的感情之间的事后机率(posterior probabilities)的最大化。
最近研究通过使用数据集努力提高分类基于脑波检查的感情状态的准确性。研究了融合各种模式的技术，相应技术研究三维(3D)感情表达模型并使用基于小波的大分辨率接近法研发了从检测到的生理信号中识别并预测各种感情的多模态融合框架。又一实施例的技术公开了基于概率的分类器，此分类器使用借助具有横向双极蒙太奇(transversalbipolar montage)和纵向双极蒙太奇(longitudinal bipolar montage)生成的如C3-C4及C4-P4的61个附加虚拟通道的32通道脑波检查数据来从原子价等级及觉醒等级中分类2种等级(高及低)时实现了70.9％和70.1％的平均准确率。又一实施例的技术公开了为了克服自我评价的局限性能而使用层叠的自动编码器从32通道脑波检查输入信号中发现未被知晓的特征相关关系的深度学习网络，这示出比朴素贝叶斯分类器更好的性能。又一实施例的技术调查在各种感情状态下被视为通过个人和绘画共享共通性的神经活动的稳定的脑波检查模式并评价模型在各种感情之间区分脑波检查信号的程度，结果从使用微分熵特征的利用生理信号的感情分析用数据库中分类4种状态(高原子价/高觉醒，高原子价/低觉醒，低原子价/高觉醒，低原子价/低觉醒)来呈现了平均69.67％的准确性。
发明内容
本发明的实施例提供根基深度学习网络和基于时间裕度的损失函数生成生理模型，如，深层生理情感网络(深层生理情感网络；deep psychological affect network)并利用所生成的生理模型识别人类的感情来提高与感情识别有关的性能的方法及系统。
本发明一实施例的感情推定方法包括：获取使用人员的生理信号的步骤；当根据时间轴学习输入所获取的上述生理信号的网络时，利用考虑时间裕度的基于时间裕度的分类损失函数来学习的步骤；以及通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情的步骤。
在获取上述生理信号的步骤中，可获取与图像序列有关的上述使用人员的脑波信号和心跳信号中的至少一种生理信号。
上述基于时间裕度的分类损失函数能够以使基于时间的时间裕度维持或继续增加的方式施加惩罚。
在上述学习步骤中，从图像序列抽取与所获取的上述生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，可通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习上述网路。
上述基于时间裕度的分类损失函数可根据交叉熵损失函数(cross-entropy lossfunction)及相当于与特定感情等级的检测值(ground truth)标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度(discriminative margin)来计算上述时间裕度。
在上述学习步骤中，可利用上述时间裕度分类损失函数来学习卷积长短记忆(LSTM，Convolutional Long Short-Term Memor)网络。
本发明再一实施例的感情推定方法包括：当根据时间轴学习时提供考虑时间裕度的基于时间裕度的分类损失函数的步骤；以及通过利用上述基于时间裕度的分类损失函数进行的学习来推定使用人员的感情的步骤。
在上述推定步骤中，从图像序列抽取与所获取的上述使用人员的生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习网络，从而可推定上述使用人员的感情。
上述基于时间裕度的分类损失函数可根据交叉熵损失函数及相当于与特定感情等级的检测值标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度来计算上述时间裕度。
本发明一实施例的感情推定系统包括：获取部，获取使用人员的生理信号；学习部，当根据时间轴学习输入所获取的上述生理信号的网络时，利用考虑时间裕度的基于时间裕度的分类损失函数来学习；以及推定部，通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情。
上述获取部可获取与图像序列有关的上述使用人员的脑波信号和心跳信号中的至少一种生理信号。
上述基于时间裕度的分类损失函数能够以使基于时间的时间裕度维持或继续增加方式施加惩罚。
上述学习部从图像序列抽取与所获取的上述生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，可通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习上述网络。
上述基于时间裕度的分类损失函数可根据交叉熵损失函数及相当于与特定感情等级的检测值标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度来计算上述时间裕度。
上述学习部可利用上述时间裕度分类损失函数来学习卷积长短记忆网络。
本发明另一实施例的感情推定方法包括：获取使用人员的生理信号的步骤；以及利用考虑时间裕度的基于时间裕度的分类损失函数来推定与上述生理信号对应的使用人员的感情的步骤。
在上述推定步骤中，当根据时间轴学习输入所获取的上述生理信号的网络学习时，利用上述基于时间裕度的分类损失函数来学习，可通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情。
根据本发明的实施例，根据深度学习网络，如，深层生理情感网络和基于时间裕度的损失函数生成生理模型，利用生成的生理模型识别人类的感情，来可提高与感情识别有关的性能。
这种本发明可利用包括脑波检查信号和光电容积脉搏波信号的生理信号和基于时间裕度的损失函数推定使用人员的感情，因此，容易适用于以往的感情识别系统，可在实际生活环境中与多个应用程序一同适用。
并且，本发明可适用于掌握与医疗领域、虚拟/增强现实内的内容有关的使用人员的感情反应的技术等。
并且，本发明随着检测脑波的传感器的小型化技术的发展，向可穿戴市场扩大，可通过制造可与使用人员的智能手机连动的脑波检测可穿戴设备用于日常生活。
附图说明
图1为示出用于说明本发明一实施例的深层生理情感网络的示意图。
图2为示出用于说明生理特征抽取过程和感情识别问题的公式化的一例示图。
图3为示出本发明中的与损失公式有关的理论根据图3A和与根据时间的感情的判别裕度图3B有关的一例示图。
图4为示出为了本发明中使用的脑波检查电极配置和获取生理信号而使用的脉搏描记器。
图5A、图5B、图5C为示与出本发明的模型、全连接长短期记忆(FC-LSTM)及借助以往的方法的原子价等级的混淆矩阵(confusion matrices)有关的一例示图。
图6A、图6B、图6C为示与出本发明的模型、全连接长短期记忆及借助以往的方法的觉醒等级的混淆矩阵有关的一例示图。
图7为示出与练习过程中使用本发明的损失函数使识别性能得到提高的原子价和觉醒等级的平均准确度有关的一例示图。
具体实施方式
可参照附图和详细说明的实施例明确理解本发明的优点及特征、实现优点及特征的方法。但是，本发明并不局限于以下所公开的实施例，以互不相同的各种形态实现，本实施例仅使本发明的内容更完整，为了使本发明所属技术领域的普通技术人员更完整地理解发明的范畴而提供，本发明仅通过发明要求保护范围定义。
在本说明书中使用的术语用于说明实施例，并不限定本发明。在本说明书中，除非在句子中特别提及，单数形还包括复数形。在说明书中使用的“包括(comprises)”和/或“包括(comprising)……的”用于特定所提及的结构要素、步骤、动作和/或元件，并不排除一种以上的其他结构要素、步骤、动作和/或元件的存在或附加。
除非另行定义，在本说明书中使用的所有术语(包括技术及科学术语)可用作本发明所属技术领域的普通技术人员共同理解的含义。并且，除非明确地另行定义，通常使用的词典所定义的术语并不解释成过于理想或夸张的含义。
以下，参照附图对本发明的优选实施例进行详细说明。对附图中的相同结构要素赋予相同的附图标记，省略相同的结构要素的重复说明。
本发明的主旨在于，根据深度学习网络和基于时间裕度的损失函数生成生理模型，如，深层生理情感网络，利用生成的生理模型识别人类的感情，使得提高与感情识别有关的性能。
其中，本发明可利用基于时间裕度的损失函数学习深度学习网络，如，卷积长短记忆网络来生成生理模型。
本发明可将感情识别公式化为谱-时间生理序列学习问题，具体地，将感情识别问题公式化为成为脑偏侧化(lateralization)的基础的双极脑波检查信号和光电容积脉搏波信号的谱-时间顺序分类问题，使得可提高感情识别的性能。
其中，本发明的基于时间裕度的损失函数客服与与可靠的违反有关的惩罚。
本发明的与深层生理情感网络有关输入为生理信号序列，如，两极性脑波检查信号和光电容积脉搏波信号的序列，根据感情原子价-觉醒(valence-arousal)模型利用基于时间裕度的损失函数学习信号的表达，使得可推定使用人员的感情状态。
脑偏侧化指大脑(大脑的左侧和右侧的大脑皮质)的一半在功能上具有差异的想法。更具体地，情感偏侧化为大脑半球中的感情知觉及彪啊处理的非对称表达。脑波检查信号的差动偏侧化的主要优点仅需要最小构成为2个的电极。这种简单性可研发容易佩戴的如轻量脑波检查装置的日常技术，可使使用人员在日常状况下自由地行动。
本发明学习半球脑波检查信号和光电容积脉搏波信号的差动生理活性化并对其定量化，使得识别感情。
并且，本发明可利用基于时间裕度的分类损失函数以时间更好地认知感情并掌握位置。典型的长短期记忆(LSTM)模型示出如下的优势，即，记住与之前的观测有关的有用图案，向当前预测提供更长范围(longer-range)的环境。但是，当时这种模型学习时，若仅使用分类损失，则通常无法向错误的预测施加适当的惩罚。这是因为长短期记忆暗示性地考虑以之前的隐藏的状态和存储的形态根据时间的经过传递的环境。使长短期记忆模型学习时的暗示性在学习包括复杂的感情诱导机制的生理信号长期(long-term)序列数据时尤其地成为问题。本发明可更好地捕捉使向长短期记忆学习添加明示地时间限制来学习的模型从感情的开始至当前时间为止的整体感情的明确进行。
利用附图对这种本发明进行详细说明。
图1为示出用于说明本发明一实施例的深层生理情感网络的示意图，示出用于感情识别的模型。
如图1所示，本发明在每小时间隔N之后利用2个生理信号，如，脑偏侧化信号和心跳信号抽取2个生理特征，如，脑偏侧化特征和心跳特征并构成谱时间张量。接着，将抽取的特征向卷积长短记忆输入并通过作为本发明的损失模型的基于时间裕度的损失(TM-loss)计算感情的情绪评分。最终序列的输出为了表达与整体序列有关的二维原子价-觉醒模型有关的感情而选择。
本发明中使用的模型包括2种主要结构要素，即，生理特征抽取以及基于时间裕度的分类损失函数，上述生理特征抽取基于感情识别问题的公式化，上述感情识别问题聚焦于成为脑偏侧化的基础的两极性脑波检查信号和光电容积脉搏波信号的时间频率分析，上述基于时间裕度的分类损失函数根据卷积长短记忆和之前时间步骤中的卷积长短记忆的隐藏的状态和存储、当前框架的特征计算情绪分数。本发明可使用卷积长短记忆向非反复连接适用信号丢失(dropout)。
即，如图1所示，在本发明中，向模型输入根据使用人员观看《狮子王》电影而感受到的感情变化的生物体信号，即，脑波检查信号和光电容积脉搏波信号，将所输入的2种时间序列的数据与模式详解哈来变形为谱、时间以及模式的三维数据。以上述变形的三维数据向卷积长短记忆输入并利用基于时间裕度的分类损失函数(TM-loss)使损失函数收敛为最小值的方式学习。在图1中，根据时间轴通过4个场面学习的结果达到悲伤的感情，因此，可在二维原子价-觉醒模型中以悲伤的感情表达。图1中仅示出了4个场面，但并不限定于此，场面数和框架数可根据状况不同。
感情识别问题的公式化
为了说明复杂的情感机制，深层生理情感网络的重点在于成为脑偏侧化的基础的双极脑波检查信号和光电容积脉搏波信号的时间-频率分析。在各时间框架中，深层生理情感网络通过输入2通道脑波检查信号和光电容积脉搏波信号输出从1至9示出所调整的感情状态的一维载体。
其中，为了在感情中检测生理变化，可将以峰值呈现的频率或在单一瞬间时间产生的功率谱密度(PSD；power spectral density)中区别于其他来示出的频率作为后补来考虑。但是，由于感情抽取机制的复杂且多维地现象，此接近法无法处理个体之间的变动性及个体内的变动性问题。
本发明使用在时间序列中开率频率的局部相邻(local neighbors)的推定，这比在一种单一时间内推定频率的方法更优秀。并且，本发明作为谱-时间序列学习问题可将情绪识别公式化。
图2为示出用于说明生理特征抽取过程和感情识别问题的公式化的一例示图，如图2所示，在时间N中，以M×N网格表达的脑偏侧化特征和心跳特征分别从双极脑波检查信号和光电容积脉搏波信号的谱图(spectrogram)抽取。张量从2个模式(P＝2)利用谱-时间特征构成。
即，本发明具有P个互不相同的模式并经过借助M×N表达的谱-时间区域在时间N中从脑波检查信号及光电容积脉搏波传感器获取生理信号，指定时间中的观测值为能够以张量示出。
其中，可意味着所观测到的生理特征的领域，如，从图2的脑波检查信号和光电容积脉搏波信号抽取的生理特征的领域。
学习问题为根据张量的序列的正确类的识别，如下述数学式1所示。
数学式1
其中，可意味着原子价-觉醒类的集。
抽取生理特征(Physiological Feature Extraction)
本发明从脑波检查传感器和光电容积脉搏波传感器的2种模式(P＝2)中抽取生理特征。抽取的特征借助上述数学式1的以M×N×P谱-时间区域表达。其中，M可意味着频率，N可意味着时间，P可意味着模式。
本发明从各自的时间框架t中的2通道脑波检查信号Et抽取作为脑非对称特征的其中，脑非对称特征可成为左右通道上的谱及因果关系(casual)非对称的基础。
脑非对称特征在脑中提供差动与因果关系相互作用。本发明融合为脑非对称特征Bt来示出特征空间中的情感偏侧化的因果关系方向性和大小，这种Bt如下述数学式2。
数学式2
其中，可意味着阿达玛积(Hadamard product)，行列ξrl可意味着r与l脑波检查双极通道之间的因果关系非对称。
上述数学式2可用于检测从通道r向通道l的方向性相互作用，这意味着通道r对通道l的影响，获取0与1之间的值，高的值反应从r至l为止的方向的线形影响。因此，非对称性提供与2个通道之间的因果关系相互作用的方向性有关的信息。
在本发明中，为了检测从r至l为止的因果关系，可使用基于格兰杰(Granger)因果性(causality)概念的部分定向相干(Partial Directed Coherence，PDC)标准，使用基于格兰杰因果性的概念的部分定向相干标准的因果关系如下述数学式3所示。
数学式3
中，m＝1，…，M，n＝1，…，N，Arl可意味着A(m，n)的第rl个元素，可意味着作为行列A(m，n)的第k个列的载体ak的厄米特转置(Hermitian transpose)。
行列A(m，n)可定义为如下述数学式4。
数学式4
其中，I可意味着单位行列(identity matrix)，频率m可从0变化至奈奎斯特率(Nyquist rate)。行列Ad如下述数学式5。
数学式5
其中，行列可利用因果关系(causal)多元自回归(多元自回归；multivariateautoregressive)模型计算。
因果关系多元自回归模型可为如格兰杰因果指数(GCI；Granger CausalityIndex)、定向传递函数(Directed Transfer Function，DTF)及部分定向相干的基于格兰杰因果性检测的表达，这种检测可在多元自回归模型的框架定义。在本发明中，使用部分定向相干检测的原因在于利用频域定义并具有方向性。即，具有方向性意味着ζrl≠ζlr。反映在延迟d中的通道r与l之间的线形关系，不仅考虑直接及简介影像，还考虑脑波检查通道之间的信息流动的方向。本发明中的多元自回归模型在以往的论文(A.K.Seth，A.B.Barrett，and L.Barnett，“Granger causality analysis in neuroscience andneuroimaging”，Journal of Neuroscience，vol.35，no.8，pp.3293–3297，2015.)中详细说明，因此，将省略详细说明。
示出l与r脑波检查通道之间的谱非对称，ζl和ζr分别意味着与左侧半球和右侧半球的特定带有关的谱功率的对数(logarithm)。非对称性示出半球偏侧化的程度(degree)。若非对称特性增加，左侧半球活性化比右侧半球活性化增加。因此，上述数学式2的脑非对称特性示出2个半球之间的情感偏侧化的方向性和大小。
本发明经过M×N谱时域在各时间框架t中从光电容积脉搏波信号Pt抽取心率(心跳数)特性Ht，在光电容积脉搏波信号的功率谱密度中具有峰值的频率可视为实际心率的后补。这种数据随着时间的流逝形成后补集。
卷积长短记忆(ConvLSTM)
本发明可在上述数学式1中识别公式化的感情状态而适用卷积长短记忆。卷积长短记忆全连接(fully connected)卷积长短记忆(FC-LSTM)扩张而成，在输入-状态切换及状态-状态切换模式均具有卷积结构。卷积长短记忆利用输入、隐藏状态(hidden state)、输出及最后2个维度为空间维度(行和列)的三维张量示出其他栅极。卷积长短记忆在状态-状态切换及输入-状态切换中使用卷积计算人员来根据相邻的之前状态和输入决定网格内的特定单元的未来状态。在卷积结构中的此计算人员可捕捉与上述数学式1中的公式等同的时空的数据的地区从属性。处理时空数据为全连接长短期记忆的主要缺点。在输入-状态切换及状态-状态切换中，向全连接长短期记忆的整体连接编如空间信息，包括较多的重复(redundancy)。
在及分别示出输入、单元输出及隐藏状态的情况下，卷积长短记忆的主要方程式为如下述数学式6。
数学式6
其中，it、ft及ot可意味着借助三维张量示出的卷积长短记忆的栅极，“*”可意味着卷积计算人员。
单元可通过输入、输出及遗失的栅极(forget gate)的活性化长期存储并检索信息。由此可接近更长范围的环境信息并解决消失的梯度(gradient)问题。在使用最后二维为1的三维张量示出全连接长短期记忆的隐藏状态和单元输出的情况下，传统全连接长短期记忆可视为单一单元中的卷积长短记忆的特殊情况。卷积长短记忆科比全连接长短期记忆更好地执行时空(或谱-时间)捕捉。
为了识别感情状态，具有线形层的卷积长短记忆根据当前时间框架t的生理特征和隐藏状态及之前步骤的卷积长短记忆存储计算情绪分。本发明将软最大值(softmax)层用作最终线形层，因此，情绪分可为模型的软最大值输出。
基于时间裕度的分类损失(Temporal Margin-based Classification Loss))
卷积长短记忆具有效率，相反，在学习中仅使用分类损失的情况下，无法向错误的预测施加适当的惩罚。与模型已处理的感情环境无关地，此模型对相同的错误施加惩罚。例如，悲伤的感觉依次伴随否定、愤怒、妥协、忧郁症、接受。感情包括妥协和接受，因此，满足感可以为通过模型算出的最错误的结果。具有悲伤感情的序列的长短期记忆与已处理的序列的量无关地输出相同的惩罚。例如，若长短期记忆处理了达到悲伤的悲伤感情，则错误的“感情满足度”如模型示出愤怒的情况施加相同的惩罚。但是，相比于将感情视作愤怒为止输出不正确的感情的情况，将感情视作忧郁症为止之后输出不正确的感情的情况需施加更多的惩罚。长短期记忆默认只考虑在之前的隐藏状态和存储的公式化过程中随着时间的流逝传递的环境，因此，必须施加准确的惩罚。若没有准确的惩罚，则长短期记忆模型难以从如包括负载的情绪抽取机制的生理信号的长期序列数据学习。这种机制视为与感情有关的先期步骤，相对长时间被视为感情的构成步骤。因此，在学习中学习感情的进行模式对于研发可靠的情绪模型尤为重要。
为结局上述问题，本发明通过修改以往的分类损失函数根据正确的感情状态与不正确的感情状态之间的时间裕度对新的损失函数进行公式化。在观察到更多的特定感情的情况下，本发明的模型随着进行识别过程更加缺陷感情抽取。
图3A示出电影“狮子王(1994)”的悲伤场面的序列，在木法沙(Mufasa)欲要救儿子辛巴(Simba)的过程中被刀疤(Scar)杀害的场面序列。电影的序列包括如悲伤冷静的复杂的感情的步骤，随着序列的进行，悲伤扩大，辛巴在认知到父亲木法沙的死亡且镇静的感觉变得模糊的场面中达到高潮。即，如图3所示，本发明可确信如下内容，即，若逐渐看到更多的悲伤的感情，具有相当于悲伤感情(sad)的线的正确的感情状态，没有相当于冷静(calm)的感情的线的错误的状态。
在感情进行的过程中为了区分不与其他裕度一同简单地减少的裕度，本发明的函数限制正确的感情状态的情绪评分。因此，本发明公开基于在区别正确的感情分类和不正确的感情分类的时间裕度的分类损失。
其中，基于时间裕度的分类损失如下述数学式7。
数学式7
其中，-log st(y)可意味着学习深度学习模型所述的必要的常规交叉熵损失函数，y可意味着感情等级的实际检测值，st(y)可意味着与时间t有关的实际检测值标签y的所分类的情绪评分，mt(y)可意味着时间t中的感情标签y的判别裕度。
判别裕度mt(y)如下述数学式8。
[数学式8]
其中，可意味着用于控制判别裕度的影响的相对项目(relative term)。
上述数学式7在区别正确的状态和不正确的状态的过程中示出可确信的模型。即，本发明的基于时间裕度的分类损失函数可提供明确区分感情的正确的状态和不正确的状态的模型。本发明的模型随着学习感情维持情绪评分中的单调性。
如图3B所示，感情y的判别裕度mt(y)从时间t0开始，判别裕度mt(y)通过实际检测的情绪评分st(y)和时间t0与t之间的所有错误的感情状态的最大分数maxy′≠yst(y′)之间的差异计算。模型在将感情状态分类至时间tc为止的过程中具有较强的自信心，在时间tc之后由于违反裕度的单调性(monotonicity)，基于时间裕度的分类损失不是0。
为了在学习的过程中计算与模型参数有关的梯度，本发明可计算与通过时间逆传播的st(y)有关的损失的梯度。并且，为了进行单数化，本发明可不计算与st(y')有关的损失的梯度或逆传播。
为了量化评价，本发明使用广泛作为用于分析人类的情绪状态的公开的数据集的利用生理信号的感情分析用数据库。通过与2个存在的模型进行比较可知，本发明的模型很有效地识别人类感情。
利用生理信号的感情分析用数据库数据集
在本发明中，从利用生理信号的感情分析用数据库数据集使用右侧半球(F8、FC2、FC6、C4、T8、CP2、CP6及PO4)和左侧半球(F7、FC1、FC5、C3、T7、CP1、CP5及PO3)的8个对称双电极。本发明从32个电极中选择与感情具有高的相关关系的8个对称双电极通道。除脑波检查信号之外，为了机关与心率相关的生理特征，本发明使用检测参与人员的左侧拇指的血液量的脉搏描记器。图4示出在本发明中使用的脑波检查电极配置和为了获取生理信号而使用的脉搏描记器。原子价和觉醒的连续等级变换为以阴的无限大四舍五入的分离等及。
进行实验
本发明对准脑偏侧化，1280个影像记录的8个所选择的多个电极和脉搏描记器的数据与各影像生理信号的64种组合一同生成81920个生理数据分。为了测试，本发明将整体数据集分为具有16384生理数据分的5个。本发明为了检查剩余的数据的1/5(13107生理数据分)有效性而使用，将剩余数据的4/5(52429生理数据分)用作练习集。练习数据和测试数据主体独立，这意味着随机选择了数据。有效数据均衡的维持等级分布的同时被随机选择。高光处理的1分钟脑波检查信号和脉搏描记器信号每10秒分割为6个框架。各信号以256Hz下载采样并抽取功率谱特征。
对于脑波检查信号，利用脑波检查lab工具箱被具有2Hz截止频率的高通滤波器过滤，为了去除眼伪影，适用盲源分离技术。对于脉搏描记器信号，利用约束独立分量分析(cICA；constrained independent component analysis)算法从信号去除运动伪影，使得细化信号。上述约束独立分量分析算法为独立分量分析(ICA)的扩张算法。在从4Hz至65Hz的频率范围中，谱功率的对数从所选择的多个电极和参与人员的拇指抽取。本发明每个框架利用2个谱-时间数据集从Bt和Ht 以输入Xt生成50×50谱-时间特征的2个集。其中，Xt可与原子价和觉醒的实测值相对应。
在本发明中，可通过本发明的模型、全连接长短期记忆以及现有方式的比较评价本发明的性能。本发明的深层生理情感网络模型可使用具有256的隐藏状态、5×5的输入-状态内核大小和5×5的状态-状态内核大小的1-层网络。为了学习本发明的模型，本发明可使用32序列的学习配置。通过逆传播的时间为10时间步长，动量和重量衰减(weightdecay)可分别设置为0.7和0.0005。学习率从0.1开始，每反复20000此之后可被10分割。
为了调查对捕捉感情与生理信号之间的谱-时间相关关系起到的影响，本发明可尝试如3×3、7×7、9×9的其他构成。对于全连接卷积长短记忆，作为输出可使用具有软最大值层的3个1700结点长短期记忆层。
以往的方式可使用与本发明的分类器相同的分类器，如，融合单一模式的朴素贝叶斯分类器。2个模式被朴素贝叶斯分类器独立处理，各模式可设置成对最终结果作出相同的贡献。
实验结果
图5A、图5B、图5C和图6A、图6B、图6C为借助本发明的模型、全连接长短期记忆以及以往的方法示出与原子价和觉醒等级的混淆矩阵有关的一例示图，如图5A、图5B、图5C和图6A、图6B、图6C所示，可知，本发明的模型(深层生理情感网络)在分别识别原子价感情和觉醒感情的过程中具有78.72％和79.03％的准确度，全连接长短期记忆方法在分别识别原子价感情和觉醒感情的过程中具有68.45％和66.56％的准确度，以往的方法(Koelstra etal.)在分别识别原子价感情和觉醒感情的过程中具有63.23％和62.59％的准确度。通过图5A、图5B、图5C和图6A、图6B、图6C可知，相比于全连接长短期记忆方法和以往的方法(Koelstra et al.)，本发明的方法识别原子价感情和觉醒感情的准确度更高。
本发明的实验示出本发明的方法比其他方法更具有一致性，具有2个如下的理由。第一，基于卷积长短记忆的本发明的模型可借助网络的非线型和卷积结构的学习感情抽取机制的复杂的谱-时间模式。卷积结构的输入-状态内核和状态-状态内核捕捉局部谱-时间模式，在生理检测中可维持个体之间的变动性和减少个体内变动的局部一致性(localconsistency)。
相反，在以往的方法(Koelstra et al.)中，朴素贝叶斯模型难以理解或联系信号的复杂性。根据利用最大似然法的独立性假设的参数的推定可忽视感情等级之间的事后概率的最大化。这种限制在原子价等级为5、觉醒等级为1的情况下较重要。分类器示出如原子价等级为5、觉醒等级为1的情况的与特定实例有关的预测性能不好的结果，这是因为，分类器过多地学习2个等级的表达而产生识别误差。因此，丢失可利用多个生理特征之间的相互作用的能力。全连接长短期记忆的完全连接结构具有许多的重复连接，无法制造用于捕捉谱-时间模式中的重要的局部一致性的最佳化。
第二，本发明可通过施加与错误的分类有关的惩罚区别生理模式。本发明的基于时间裕度的分类损失在练习过程中增加生理明显性。但是，仅简单地使用分类损失的朴素贝叶斯模型和长短期记忆无法实现明显性。而且，这种问题在朴素贝叶斯模型和长短期记忆使用接近4与6之间的原子价等级和1与3之间的觉醒等级的分类的情况下更严重。感情刺激很好地适用于高觉醒/高原子价(HAHV；high arousal/high valence)和高觉醒/低原子((HAHV；high arousal/low valence)条件。与条件有关的感情刺激可引导强烈的生理变化。朴素贝叶斯模型和长短期记忆难以捕捉被重力条件诱发的小的生理变化并学习它们的表达。
图7为示出与练习过程中使用本发明的损失函数而使识别性能得到提高的原子价和觉醒等级的平均准确度有关的一例示图，如图7所示，可知，本发明的损失函数，即，基于时间裕度的分类损失函数可更有效地为了识别感情而学习卷积长短记忆模型，若与仅使用分类损失而练习的卷积长短记忆模型进行比较，则可知原子价等级的平均准确性提高了6.3％、觉醒等级的平均准确性提高了6.2％。而且，本发明的损失函数对4与6之间的原子价和觉醒等级有效。如图5A、图5B、图5C和图6A、图6B、图6C所示，4与6之间的原子价和觉醒等级由于该等级之间的生理类似性，难以分类。本发明的基于时间裕度的分类损失函数可知，相比于其他等级，提高4与6之间的等级中的识别性能，这意味着可将本发明的基于时间裕度的分类损失函数适用于识别各种形态的感情。
如上所述，本发明实施例的方法利用基于裕度的分类损失函数学习深度学习网络，使得可提高感情推定准确度。
并且，本发明实施例的深层生理情感网络可提供如下的贡献度。
1)用于捕捉并追踪感情变化的坚固的模型：本发明公开基于多重模式(modal)生理特征的卷积长短记忆建模的深层生理情感网络，由此根据将原子价和觉醒作为各自的轴的二维感情模型识别感情状态。
2)基于时间裕度的分类损失函数：为了更好地学习可识别感情状态的模型，提供时间裕度分类损失函数，本发明的模型及你通过在感情识别作业中使用分类损失的情况示出相比于所学习的卷积长短记忆模型具有大的改善。
3)情绪偏侧化对感情识别的影响分析：公开从与日常技术中的潜在饮用有关的本发明的系统的分类结果获取的感情偏侧、感情原子价及觉醒之间的相关关系，提供与个体之间的变动性及经过个体之间的变动性的差别化要素的局限有关的更好地理解。
如山所述，本发明的方法利用考虑时间裕度的基于时间裕度的分类损失函数推定使用人员的感情，在利用从使用人员获取的生理信号推定使用人员感情的过程中，利用基于时间裕度的分类损失函数。即，本发明的另一实施例可获取使用人员的生理信号且利用考虑时间裕度的基于时间裕度的分类损失函数推定与由此获取的生理信号相对应的使用人员的感情。
这种本发明的方法可由感情推定系统实现。例如，本发明一实施例的感情推定系统可包括获取部、学习部及推定部。当然，这里的结构单元可根据状况不同。
获取部获取使用人员的生理信号。
其中，获取部可获取与图像序列有关的使用人员的脑波(脑波检查)信号和心跳(光电容积脉搏波)信号中的至少一种生理信号。
当根据时间轴学习输入生理信号的网络时，学习部利用考虑时间裕度的基于时间裕度的分类损失函数学习。
其中，学习部可利用时间裕度分类损失函数学习卷积长短记忆网络。
进而，学习部从图像序列抽取与所获取的上述生理信号有关的生理特征，利用所抽取的生理特征构成谱时间张量，通过输入所构成的上述谱时间张量以使基于时间裕度的分类损失函数收敛为最小值的方式学习网络。
当然，在利用多个模式获取生理信号的情况下，学习部还可利用抽取的生理特征和模式构成包括谱-时间模式的三维张量。
基于时间裕度的分类损失函数能够以使根据时间的时间裕度维持或继续增加的方式施加惩罚，可根据相当于交叉熵损失函数及特定感情等级的检测值标签有关的情绪评分和其他感情等级的最大情绪评分差异的判别裕度计算时间裕度。
推定部通过利用基于时间裕度的分类损失函数的网络的学习推定使用人员的感情。
其中，推定部可利用上述数学式7和数学式8的基于时间裕度的分类损失函数并根据时间容县推定使用人员的感情。
即使在本发明的系统中省略了说明，本技术领域的普通技术人员应当了解本发明的系统包括在上述图1至图7中说明的所有内容。
以上说明的系统或装置可由硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合实现。例如，在实施例中说明的系统、装置及结构要素可由如处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程阵列(FPA，field programmable array)、可编程逻辑单元(PLU，programmable logic unit)、微型处理器或看执行并响应指令(instruction)的其他任何装置利用1个以上的普通计算机或特殊目的计算机实现。处理装置可执行操作系统(OS)及在上述操作系统上执行发的1个以上的软件应用程序。并且，处理装置响应软件的施行接近、存储、操作、处理及生成数据。为了便于理解，以仅使用1个处理装置的情况进行说明，本技术领域的普通技术人员可了解处理装置可包括多个处理要素(processingelement)和/或多个类型的处理要素。例如，处理装置可包括多个处理器或1个处理器及1个控制器。并且，还可使用如并联处理器(parallel processor)的其他处理结构(processingconfiguration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一种以上的组合，以所要的目的进行工作的方式构成处理装置或独立或结合(collectively)地对处理装置下指令。为了借助处理装置解释或向处理装置提供指令或数据，软件和/或数据可在一种机械、结构要素(component)、物理装置、虚拟装置(virtualequipment)、计算上级存储介质或装置或者被传输的信号波(signal wave)永久或暂时地具体化(embody)。软件分散于以网络连接的系统上来以分散的方法存储或执行。软件及数据可存储于1个以上的计算机可读记录介质。
实施例的方法以能够通过各种计算机单元执行的数据指令形态实现并记录于计算机可读介质。上述计算机可读介质可单独或组合性的包括数据指令、数据文件、数据结构等。记录于上述介质的程序指令可为为了实施例特别设计并构成的指令或计算力软件领域的普通技术人员所公知的指令。计算机可读记录介质的例包括如硬盘、软盘及磁带的磁介质(magnetic media)，如CD-ROM、DVD的光记录介质(opcial media)，如光盘(floptcialdisk)的磁光介质(magneto-optcial media)，以及如只读存储器(ROM)、随机存取存储器(RAM)、闪存等的存储并执行程序指令的硬件装置。程序指令的例不仅包括通过编译器制造的机械代码，还包括使用解释器等在计算机执行的高级语言代码。上述硬件装置可为了执行实施例的工作作为1个以上的软件模块进行工作，反之也相同。
如上所述，虽通过限定的实施例和附图对实施例进行了说明，本技术领域的普通技术人员可从上述记载进行各种修改及变形。例如，所说明的技术以与说明的方法不同的顺序执行和/或所说明的系统、结构、装置、电路等的结构要素以与所说明的方法不同的方式结合或组合，或者被其他结构要素或等同技术方案代替或取代也可实现适当的结构。
因此，其他实例、其他实施例及与发明要求保护范围等同技术方案也属于发明要求保护范围的范围。

Claims (17)

1.一种感情推定方法，其特征在于，包括：
获取使用人员的生理信号的步骤；
当根据时间轴学习输入所获取的上述生理信号的网络时，利用考虑时间裕度的基于时间裕度的分类损失函数来学习的步骤；以及
通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情的步骤。
2.根据权利要求1所述的感情推定方法，其特征在于，在获取上述生理信号的步骤中，获取与图像序列有关的上述使用人员的脑波信号和心跳信号中的至少一种生理信号。
3.根据权利要求1所述的感情推定方法，其特征在于，上述基于时间裕度的分类损失函数以使基于时间的时间裕度维持或继续增加的方式施加惩罚。
4.根据权利要求1所述的感情推定方法，其特征在于，在上述学习步骤中，从图像序列抽取与所获取的上述生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习上述网路。
5.根据权利要求1所述的感情推定方法，其特征在于，上述基于时间裕度的分类损失函数根据交叉熵损失函数及相当于与特定感情等级的检测值标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度来计算上述时间裕度。
6.根据权利要求1所述的感情推定方法，其特征在于，在上述学习步骤中，利用上述时间裕度分类损失函数来学习卷积长短记忆网络。
7.一种感情推定方法，其特征在于，包括：
当根据时间轴学习时提供考虑时间裕度的基于时间裕度的分类损失函数的步骤；以及
通过利用上述基于时间裕度的分类损失函数进行的学习来推定使用人员的感情的步骤。
8.根据权利要求7所述的感情推定方法，其特征在于，在上述推定步骤中，从图像序列抽取与所获取的上述使用人员的生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习网络，从而推定上述使用人员的感情。
9.根据权利要求7所述的感情推定方法，其特征在于，上述基于时间裕度的分类损失函数根据交叉熵损失函数及相当于与特定感情等级的检测值标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度来计算上述时间裕度。
10.一种感情推定系统，其特征在于，包括：
获取部，获取使用人员的生理信号；
学习部，当根据时间轴学习输入所获取的上述生理信号的网络时，利用考虑时间裕度的基于时间裕度的分类损失函数来学习；以及
推定部，通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情。
11.根据权利要求10所述的感情推定系统，其特征在于，上述获取部获取与图像序列有关的上述使用人员的脑波信号和心跳信号中的至少一种生理信号。
12.根据权利要求10所述的感情推定系统，其特征在于，上述基于时间裕度的分类损失函数以使基于时间的时间裕度维持或继续增加方式施加惩罚。
13.根据权利要求10所述的感情推定系统，其特征在于，上述学习部从图像序列抽取与所获取的上述生理信号有关的生理特征，利用所抽取的上述生理特征来构成谱时间张量，通过输入所构成的上述谱时间张量来以使上述基于时间裕度的分类损失函数收敛为最小值的方式学习上述网络。
14.根据权利要求10所述的感情推定系统，其特征在于，上述基于时间裕度的分类损失函数根据交叉熵损失函数及相当于与特定感情等级的检测值标签有关的情绪评分与其他感情等级的最大情绪评分之间的差的判别裕度来计算上述时间裕度。
15.根据权利要求10所述的感情推定系统，其特征在于，上述学习部利用上述时间裕度分类损失函数来学习卷积长短记忆网络。
16.一种感情推定方法，其特征在于，包括：
获取使用人员的生理信号的步骤；以及
利用考虑时间裕度的基于时间裕度的分类损失函数来推定与上述生理信号对应的使用人员的感情的步骤。
17.根据权利要求16所述的感情推定方法，其特征在于，在上述推定步骤中，当根据时间轴学习输入所获取的上述生理信号的网络学习时，利用上述基于时间裕度的分类损失函数来学习，通过利用上述基于时间裕度的分类损失函数的上述网络的学习来推定上述使用人员的感情。
CN201811527686.4A 2018-05-09 2018-12-13 利用深层生理情绪网络的人类感情推定方法及系统 Pending CN110464314A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180053173 2018-05-09
KR10-2018-0053173 2018-05-09
KR1020180125780A KR102221264B1 (ko) 2018-05-09 2018-10-22 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
KR10-2018-0125780 2018-10-22

Publications (1)

Publication Number Publication Date
CN110464314A true CN110464314A (zh) 2019-11-19

Family

ID=68463705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811527686.4A Pending CN110464314A (zh) 2018-05-09 2018-12-13 利用深层生理情绪网络的人类感情推定方法及系统

Country Status (3)

Country Link
US (1) US10853632B2 (zh)
CN (1) CN110464314A (zh)
WO (1) WO2019216504A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248927A (zh) * 2020-01-17 2020-06-09 北京师范大学 一种通过大脑血氧信号预测特定人际关系的方法及系统
CN112463970A (zh) * 2020-12-16 2021-03-09 吉林大学 一种基于时间关系对文本包含的因果关系进行抽取的方法
CN114504317A (zh) * 2022-01-05 2022-05-17 电子科技大学 一种基于脑电网络的情绪实时监测系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3740898A4 (en) * 2018-01-19 2021-10-13 Board of Regents, The University of Texas System SYSTEMS AND PROCEDURES FOR EVALUATING THE ATTENTION AND EMOTIONAL ENGAGEMENT OF AN INDIVIDUAL, GROUP AND CROWD
WO2020096621A1 (en) * 2018-11-09 2020-05-14 Hewlett-Packard Development Company, L.P. Classification of subject-independent emotion factors
US11017902B2 (en) * 2019-10-25 2021-05-25 Wise IOT Solutions System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud
CN111709267B (zh) * 2020-03-27 2022-03-29 吉林大学 深度卷积神经网络的脑电信号情感识别方法
CN111611860B (zh) * 2020-04-22 2022-06-28 西南大学 一种微表情发生检测方法及检测系统
CN111611878B (zh) * 2020-04-30 2022-07-22 杭州电子科技大学 一种基于视频图像的人群计数和未来人流量预测的方法
CN111616721B (zh) * 2020-05-31 2022-05-27 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN111898670B (zh) * 2020-07-24 2024-04-05 深圳市声希科技有限公司 多模态情感识别方法、装置、设备及存储介质
CN112200016A (zh) * 2020-09-17 2021-01-08 东北林业大学 基于集成学习方法AdaBoost的脑电信号情感识别
CN112464837B (zh) * 2020-12-03 2023-04-07 中国人民解放军战略支援部队信息工程大学 基于小数据样本的浅海水声通信信号调制识别方法及系统
CN112618911B (zh) * 2020-12-31 2023-02-03 四川音乐学院 基于信号处理的音乐反馈调节系统
CN112766173B (zh) * 2021-01-21 2023-08-04 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112806995B (zh) * 2021-02-01 2023-02-17 首都师范大学 心理压力分类与评估方法及装置
CN112906555B (zh) * 2021-02-10 2022-08-05 华南师范大学 因人而异地识别表情的人工智能心理机器人和方法
CN112998711A (zh) * 2021-03-18 2021-06-22 华南理工大学 一种基于可穿戴装置的情绪识别系统及方法
CN113705398B (zh) * 2021-08-17 2022-12-27 陕西师范大学 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
WO2023021612A1 (ja) * 2021-08-18 2023-02-23 日本電信電話株式会社 目的変数推定装置、方法およびプログラム
CN113673434B (zh) * 2021-08-23 2024-02-20 合肥工业大学 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法
CN113974628B (zh) * 2021-10-29 2023-04-07 杭州电子科技大学 一种基于脑机模态共空间的情绪识别方法
CN115778389B (zh) * 2022-12-02 2024-05-28 复旦大学 基于心电和皮肤电联合分析的分娩恐惧检测方法和系统
CN115844348A (zh) * 2023-02-27 2023-03-28 山东大学 一种基于可穿戴设备的心脏骤停分级响应预警方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030139654A1 (en) * 2002-01-23 2003-07-24 Samsung Electronics Co., Ltd. System and method for recognizing user's emotional state using short-time monitoring of physiological signals
JP2016007363A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 集団感情推定装置、集団感情推定方法及び集団感情推定プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457476A (en) * 1992-05-27 1995-10-10 Apple Computer, Inc. Method for controlling a computerized organizer
KR101014321B1 (ko) * 2009-02-24 2011-02-14 한국전자통신연구원 최소 분류 오차 기법을 이용한 감정 인식 방법
KR101838045B1 (ko) * 2011-08-31 2018-03-14 연세대학교 산학협력단 심박변이도 기반의 감성 구분을 위한 시분할 길이와 특징조합에 대한 조건을 산출하기 위한 장치 및 그 방법
KR101833405B1 (ko) * 2015-09-04 2018-04-13 이재실 감정노동자를 위한 직무스트레스에 따른 심리치료장치 및 심리치료방법
US11270798B2 (en) * 2016-07-13 2022-03-08 Koninklijke Philips N.V. Central signal segregation system
KR101907598B1 (ko) * 2016-10-18 2018-10-12 경북대학교 산학협력단 인공지능 모델을 통해 사용자의 감정과 행동을 심리 처방하는 웨어러블 장치를 이용한 전자장치, 방법 및 시스템
US20180160982A1 (en) * 2016-12-09 2018-06-14 X Development Llc Sensor fusion for brain measurement
CN109918499A (zh) * 2019-01-14 2019-06-21 平安科技（深圳）有限公司 一种文本分类方法、装置、计算机设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030139654A1 (en) * 2002-01-23 2003-07-24 Samsung Electronics Co., Ltd. System and method for recognizing user's emotional state using short-time monitoring of physiological signals
JP2016007363A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 集団感情推定装置、集団感情推定方法及び集団感情推定プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BYUNG HYUNG KIM: "《Deep Physiological Affect Network for the》", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 *
BYUNG HYUNG KIM等: "《Deep physiological affect network for the recongnition of human emotions》", 《JOURNAL OF LATEX CLASS FILES》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248927A (zh) * 2020-01-17 2020-06-09 北京师范大学 一种通过大脑血氧信号预测特定人际关系的方法及系统
CN112463970A (zh) * 2020-12-16 2021-03-09 吉林大学 一种基于时间关系对文本包含的因果关系进行抽取的方法
CN114504317A (zh) * 2022-01-05 2022-05-17 电子科技大学 一种基于脑电网络的情绪实时监测系统
CN114504317B (zh) * 2022-01-05 2023-04-18 电子科技大学 一种基于脑电网络的情绪实时监测系统

Also Published As

Publication number Publication date
WO2019216504A1 (ko) 2019-11-14
US20190347476A1 (en) 2019-11-14
US10853632B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110464314A (zh) 利用深层生理情绪网络的人类感情推定方法及系统
Kim et al. Deep physiological affect network for the recognition of human emotions
Zhang Expression-EEG based collaborative multimodal emotion recognition using deep autoencoder
Qing et al. Interpretable emotion recognition using EEG signals
CN106886792B (zh) 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN112120716A (zh) 一种可穿戴式多模态情绪状态监测装置
Sabeti et al. A new approach for EEG signal classification of schizophrenic and control participants
WO2022042122A1 (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Hssayeni et al. Multi-modal physiological data fusion for affect estimation using deep learning
Nita et al. A new data augmentation convolutional neural network for human emotion recognition based on ECG signals
CN111920420B (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Zhuang et al. Real-time emotion recognition system with multiple physiological signals
Yildirim A review of deep learning approaches to EEG-based classification of cybersickness in virtual reality
CN115590529A (zh) 基于时空注意力机制的癫痫脑电信号监测方法及系统
CN115422973A (zh) 一种基于注意力的时空网络的脑电情绪识别方法
Ley et al. Evaluating Methods for Emotion Recognition based on Facial and Vocal Features.
KR102646257B1 (ko) 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치
Othmani et al. EEG-based neural networks approaches for fatigue and drowsiness detection: A survey
Xu et al. Unsupervised EEG channel selection based on nonnegative matrix factorization
Altaf et al. Machine Learning Approach for Stress Detection based on Alpha-Beta and Theta-Beta Ratios of EEG Signals
CN115736840A (zh) 一种基于心电数据的睡眠质量识别分类方法
Dessai et al. Emotion Detection and Classification Using Machine Learning Techniques
Buscema et al. The Implicit Function as Squashing Time Model: A Novel Parallel Nonlinear EEG Analysis Technique Distinguishing Mild Cognitive Impairment and Alzheimer′ s Disease Subjects with High Degree of Accuracy
Li [Retracted] A Recognition Method of Athletes’ Mental State in Sports Training Based on Support Vector Machine Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119

WD01 Invention patent application deemed withdrawn after publication