CN115270855A - 情感识别方法、情感识别设备及情感识别系统 - Google Patents

情感识别方法、情感识别设备及情感识别系统 Download PDF

Info

Publication number
CN115270855A
CN115270855A CN202210777324.0A CN202210777324A CN115270855A CN 115270855 A CN115270855 A CN 115270855A CN 202210777324 A CN202210777324 A CN 202210777324A CN 115270855 A CN115270855 A CN 115270855A
Authority
CN
China
Prior art keywords
training sample
emotion
signal data
muscle stress
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210777324.0A
Other languages
English (en)
Inventor
白紫千
姜梦琦
刘红围
金春
胡虹慈
邵犁
郭嘉苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202210777324.0A priority Critical patent/CN115270855A/zh
Publication of CN115270855A publication Critical patent/CN115270855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6804Garments; Clothes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种情感识别方法、情感识别设备及情感识别系统。其中,情感识别方法包括以下步骤:获取三维传感器阵列服装采集的用户的当前肌肉应力信号数据;将当前肌肉应力信号数据输入至已训练好的多元情感分类模型,获得多元情感分类模型输出的情感识别结果。本发明通过采用三维传感器阵列服装采集人体表达情感时当前肌肉应力信号数据,将其输入已训练好的多元情感分类模型中,多元情感分类模型通过肌肉应力信号数据输出其对应的情感识别结果。通过三维传感器阵列服装采集人体表达情感时的动作数据,可以确保高质量捕获肌肉应力信号数据,并根据动作与情感状态之间的关系,可以更准确地识别人体的情感表达,提高了情感识别的准确性。

Description

情感识别方法、情感识别设备及情感识别系统
技术领域
本发明涉及人工智能技术领域,尤其涉及一种情感识别方法、情感识别设备及情感识别系统。
背景技术
情感识别在研究人类及人类心理问题的过程中起到重要作用,随着人工智能的发展,通过大量的数据训练获得可以自动识别人类情感的模型。现有的情感识别研究已经充分地探索了如何从语音和表情、皮肤温度和血压、脑神经活动等信息中识别情绪状态。
现有的情感识别装置有着无法通过用户的动作数据识别用户情感的缺点。
发明内容
本发明的主要目的在于提供一种情感识别方法、情感识别设备及情感识别系统,用于通过用户的动作数据分析用户表达的情感。
为实现上述目的,本发明提供一种情感识别方法,包括以下步骤:
获取三维传感器阵列服装采集的用户的当前肌肉应力信号数据;
将所述当前肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果。
优选地,所述将所述肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果的步骤之前,所述方法还包括:
获取用户执行多个预设动作时三维传感器阵列服装采集的肌肉应力信号数据,其中,每个预设动作对应多个肌肉应力信号数据;
对所述肌肉应力信号数据进行标记,获得具有情感标签的训练样本,并获得由多个训练样本构成的第一训练样本数据集;
通过所述第一训练样本数据集对SVM模型进行训练,获得多元情感分类模型。
优选地,所述通过所述第一训练样本数据集对SVM模型进行训练,获得多元情感分类模型的步骤,包括:
对所述第一训练样本数据集中的训练样本进行信号数据过滤,获得由多个过滤后的训练样本构成的第二训练样本数据集;
对所述第二训练样本数据集中的训练样本进行信号特征提取,获得由多个提取到的样本特征构成的第一训练样本特征集;
对所述第一训练样本特征集中的样本特征进行信号特征选择,获得由多个特征选择后的样本特征构成第二训练样本特征集;
将所述第二训练样本特征集输入所述SVM模型并进行训练,获得多元情感分类模型。
优选地,所述对所述第一训练样本数据集中的训练样本进行信号数据过滤,获得由多个过滤后的训练样本构成的第二训练样本数据集的步骤,包括:
将同一传感器采集的任意肌肉应力信号数据和与其对应的前一个肌肉应力信号数据作差,获得差值,其中,所述三维传感器阵列服装包括多个传感器;
从第一训练样本数据集的训练样本的肌肉应力信号数据中筛除掉差值大于预设最大偏差值的肌肉应力信号数据,并用其前一个肌肉应力信号数据代替筛除掉的肌肉应力信号数据,获得由筛选完成的肌肉应力信号数据组成的过滤后的训练样本,并获得由多个筛选出的过滤后的训练样本构成的第二训练样本数据集。
优选地,所述对所述第二训练样本数据集中的训练样本进行信号特征提取,获得由多个提取到的样本特征构成的第一训练样本特征集的步骤,包括:
对所述第二训练样本数据集中的训练样本提取多种时-频域特征,获得由多个时-频域特征组成的训练样本线性特征集;
对所述第二训练样本数据集中的训练样本提取多种非线性特征,获得由多个非线性特征组成的训练样本非线性特征集;
将所述训练样本线性特征集和所述训练样本非线性特征集组合,获得第一训练样本特征集。
优选地,所述对所述第一训练样本特征集进行信号特征选择,获得由多个特征选择后的样本特征构成第二训练样本特征集的步骤,包括:
基于关联的特征选择算法,获得所述第一训练样本特征集的信号特征重要度;
筛选出所述第一训练样本特征集的信号特征中信号特征重要度大于或等于预设阈值的信号特征,获得由多个筛选后的信号特征组成的第二训练样本特征集。
优选地,所述将所述第二训练样本特征集输入所述SVM模型并进行训练,获得多元情感分类模型的步骤,包括:
对所述第二训练样本特征集进行归一化处理,获得第三训练样本特征集;
将所述第三训练样本特征集输入所述SVM模型,获取SVM模型的最佳惩罚系数和最佳gamma参数;
将所述最佳惩罚系数、所述最佳gamma参数与所述第二训练样本特征集输入SVM模型进行多元情感分类训练,获得所述多元情感分类模型。
优选地,将所述肌肉应力信号数据输入至所述多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果的步骤包括:
对所述当前肌肉应力信号数据进行信号数据过滤、信号特征提取和信号特征选择,获得当前肌肉应力信号特征集;
将所述当前肌肉应力信号特征集输入所述所述多元情感分类模型,输出所述当前肌肉应力信号特征集对应的情感标签。
本发明还提供一种情感识别设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现上述的情感识别方法的步骤。
本发明还提供一种情感识别系统,包括:
三维传感器阵列服装,所述三维传感器阵列服装上设置有多个传感器组成的传感器阵列,用于采集用户的肌肉应力信号数据;
上述的情感识别设备,用于接收所述肌肉应力信号数据,并根据所述肌肉应力信号数据获得情感识别结果。
在本发明的技术方案中,通过采用三维传感器阵列服装采集人体表达情感时肌肉应力信号数据,将其输入已训练好的多元情感分类模型中,多元情感分类模型通过肌肉应力信号数据输出其对应的情感识别结果。本发明通过三维传感器阵列服装采集人体表达情感时的动作数据,可以确保高质量捕获人体表达情感时的肌肉数据,并根据动作与情感状态之间的关系,可以更准确地识别人体的情感表达,提高了情感识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明第一实施例情感识别方法的流程框图;
图2为本发明第二实施例情感识别方法的流程框图;
图3为本发明第三实施例情感识别方法的流程框图;
图4为本发明第四实施例情感识别方法的具体步骤框图;
图5为本发明第五实施例情感识别方法的具体步骤框图;
图6为本发明第六实施例情感识别方法的具体步骤框图;
图7为本发明第七实施例情感识别方法的具体步骤框图;
图8为本发明第八实施例情感识别方法的流程框图;
图9为本发明一实施例情感识别系统的结构示意图;
图10为本发明一实施例三维传感器阵列服装的示意图;
图11位本发明一实施例三维传感器阵列服装不同情感状态下的应力分布图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本实施例中的附图,对本实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种情感识别系统,包括三维传感器阵列服装,三维传感器阵列服装上设置有多个传感器组成的传感器阵列,用于采集用户的肌肉应力信号数据;
情感识别设备,用于接收肌肉应力信号数据,并根据肌肉应力信号数据获得情感识别结果。
可以理解地,三维传感器阵列服装为将多个柔性织物传感器集成在可穿戴的服装上获得,用户穿戴三维传感器阵列服装,这种三维传感器阵列服装采集肌肉应力信号数据时,用户做任意动作都可以采集到其对应的肌肉应力信号数据,在空间上映射用户的实时动作所引起的应力刺激,同时还具有舒适性,几乎可以长期地与人体的任何部位接触,从而拓展了全新人机接口的可能性。
请参阅图1,基于但是不限于上述硬件设备,提供一种情感识别方法,本实施例包括以下步骤:
S10,获取三维传感器阵列服装采集的用户的当前肌肉应力信号数据;
S20,将当前肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果。
请结合图10、图11,在可穿戴的服装上集成多个传感器形成传感器阵列作为三维传感器阵列服装,图10中原点即为传感位置,图10a为服装正面传感器位置示意图,图10b为服装背面传感器位置示意图,图11为三维传感器阵列服装实物图,图11中为用户在不同情感状态下穿着三维传感器阵列服装时,其表达出的不同肢体动作对应的应力图,图11a为平静状态下的三维传感器阵列服装应力分布图;图11b为开心状态下的三维传感器阵列服装应力分布图;图11c为难过状态下的三维传感器阵列服装应力分布图;图11d为生气状态下的三维传感器阵列服装应力分布图。用户做任意动作时,对应的肌肉产生变化,压迫三维传感器阵列服装上的传感器阵列,传感器受压阵列产生电信号,即为肌肉应力信号数据,肌肉应力信号数据对应人体不同部位在表达不同情感时的应力变化,将当前肌肉应力信号数据采集后,输入已训练好的多元情感分类模型,多元情感分类模型通过肌肉应力信号数据分析出用户表达的情感,并输出情感识别结果。
在本发明的技术方案中,通过采用三维传感器阵列服装采集人体表达情感时肌肉应力信号数据,将其输入已训练好的多元情感分类模型中,多元情感分类模型通过肌肉应力信号数据输出其对应的情感识别结果。本发明通过三维传感器阵列服装采集人体表达情感时的动作数据,可以确保高质量捕获人体表达情感时的肌肉应力信号数据,并根据动作与情感状态之间的关系,可以更准确地识别人体的情感表达,提高了情感识别的准确性。
请参阅图2,在一实施例中,将肌肉应力信号数据输入至已训练好的多元情感分类模型,获得多元情感分类模型输出的情感识别结果的步骤之前,方法还包括:
S100,获取用户执行多个预设动作时三维传感器阵列服装采集的肌肉应力信号数据,其中,每个预设动作对应多个肌肉应力信号数据;
S200,对肌肉应力信号数据进行标记,获得具有情感标签的训练样本,并获得由多个训练样本构成的第一训练样本数据集;
S300,通过第一训练样本数据集对SVM模型进行训练,获得多元情感分类模型。
例如,用户执行快乐动作时,对应呼吸频率及呼吸强度的变化,其胸部的起伏会产生变化,从而使用户胸口部位的传感器采集到肌肉应力信号数据,同时胸口部位对应多个肌肉应力信号数据,采集完成后,将一组表达快乐的肌肉应力信号数据作为一组训练样本,并对其进行标记,获得具有快乐标签的训练样本,即一组标记为快乐的肌肉应力信号数据;此时用户再执行悲伤动作,采集用户执行悲伤动作时身体因肌肉变化产生的肌肉应力信号数据,将一组表达悲伤的肌肉应力信号数据作为一组训练样本,并对其进行标记,获得具有悲伤标签的训练样本,即一组标记为悲伤的肌肉应力信号数据。将多个表达不同情感的训练样本构成第一训练样本数据集。再通过第一训练样本数据集对SVM模型进行训练,获得多元情感分类模型,此时将用户的动作数据输入多元情感分类模型,即可输出与其对应的情感标签,即用户的动作表达的情感为快乐或悲伤。
可以理解地,用户表达情感时身体的肌肉变化不限于胸口部位,同时用户表达各种情感时肌肉应力信号数据的变化也不同,一组训练样本包括用户执行一个情感表达的动作时所有传感器获得的肌肉应力信号数据,用户表达的情感也不限于快乐和悲伤,第一训练样本数据集可包括多种情感表达的训练样本。
请结合图3-图7,在一实施例中,通过第一训练样本数据集对SVM模型进行训练,获得多元情感分类模型的步骤,包括:
S310,对第一训练样本数据集中的训练样本进行信号数据过滤,获得由多个过滤后的训练样本构成的第二训练样本数据集;
在获取训练样本的肌肉应力信号数据的过程中,难免会产生对模型训练无作用甚至副作用的无效肌肉应力信号数据,因此需要采用滤波法对训练样本进行数据信号过滤,常用的滤波法可以采用限幅滤波法,通过设置两次采样允许的最大偏差值来筛选信号数据,可以有效筛除因偶然因素引起的无效肌肉应力信号数据;或是采用递推平均滤波法(又称滑动平均滤波法),把连续取得的N个采样值看成一个队列,队列的长度固定为N,每次采样到一个新数据放入队尾,并扔掉原来队首的一次数据,把队列中的N个数据进行算术平均运算,获得新的滤波结果,滑动平均滤波法对周期性干扰有良好的抑制作用,平滑度高。
作为一种实施方式,S310,具体包括:S3110,将同一传感器采集的任意肌肉应力信号数据和与其对应的前一个肌肉应力信号数据作差,获得差值,其中,所述三维传感器阵列服装包括多个传感器;可以理解地,传感器采集肌肉应力信号数据时存在时间排序,因此将一时间节点的肌肉应力信号数据与其对应的前一时间节点的肌肉应力信号数据做差值。
S3120,从第一训练样本数据集的训练样本的肌肉应力信号数据中筛除掉差值大于预设最大偏差值的肌肉应力信号数据,并用其前一个肌肉应力信号数据代替筛除掉的肌肉应力信号数据,获得由筛选完成的肌肉应力信号数据组成的过滤后的训练样本,并获得由多个筛选出的过滤后的训练样本构成的第二训练样本数据集。如果差值大于预设最大偏差值,则将该时间节点的肌肉应力信号数据筛除,并以其前一时间节点的肌肉应力信号数据代替该时间节点的肌肉应力信号数据。
通过设置预设最大偏差值,筛除掉差值超过预设最大偏差值的肌肉应力信号数据,差值变化过大的肌肉应力信号数据可能是三维传感器阵列服装采集异常或数据上传异常导致,因此筛除掉差值异常的肌肉应力信号数据有助于提升肌肉应力信号数据的参考性,提高第二训练样本数据集的准确性。
S320,对第二训练样本数据集中的训练样本进行信号特征提取,获得由多个提取到的样本特征构成的第一训练样本特征集;
对训练样本中的肌肉应力信号数据进行特征提取,来使肌肉应力信号数据与情感标签的对应关系更准确,特征提取通常提取时域特征和频域特征,时域的常见特征有波形指标、脉冲指标、峭度指标、裕度指标、峰峰值、过零率、短时能量和短时自相关函数等;常见的频域特征有重心频率、均方频率、均方根频率、频率方差、频率标准差、短时功率谱密度、谱熵、基频和共振峰等。
作为一种实施方式,S320,具体包括:S3210,对第二训练样本数据集中的训练样本提取多种时-频域特征,获得由多个时-频域特征组成的训练样本线性特征集;因直接从肌肉应力信号数据中获取的信息并不明显。因此,需要提取一些特征来表示信号。通过提取肌肉应力信号数据中时域特征和频域特征来获得训练样本线性特征,可以提高训练样本的参考性和准确性。
S3220,对第二训练样本数据集中的训练样本提取多种非线性特征,获得由多个非线性特征组成的训练样本非线性特征集;再提取训练样本中的非线性特征,与线性特征结合,可以进一步地提高第一训练样本特征集的准确性。
S3230,将训练样本线性特征集和训练样本非线性特征集组合,获得第一训练样本特征集。
S330,对第一训练样本特征集中的训练样本进行信号特征选择,获得由多个特征选择后的训练样本构成第二训练样本特征集;
通过特征选择避免机器学习的过拟合,常用的特征选择方法有过滤法、包装法和嵌入法。
作为一种实施方式,S320,具体包括:
S3310,基于关联的特征选择算法,获得第一训练样本特征集的信号特征重要度;可以理解地,基于关联的特征选择算法输出皮尔逊相关性作为信号特征重要度的量化,1表示高度正相关,0表示不相关,-1代表高度负相关S3320,筛选出第一训练样本特征集的信号特征中信号特征重要度大于或等于预设阈值的信号特征,获得由多个筛选后的信号特征组成的第二训练样本特征集。通过特征选择筛除掉无关紧要或庸余的特征,来保证第一训练样本特征集中的特征数据对SVM模型的训练作用更高效,降低浪费在无效特征上的算力,提高训练效率,同时提高了训练的准确性。具体地,将预设阈值设置为0.1,则可以将不相关和高度负相关的信号特征筛除,以提高第二训练样本特征集的可参考性。
S340,将第二训练样本特征集输入SVM模型并进行训练,获得多元情感分类模型。
作为一种实施方式,S320,具体包括:S3410,对第二训练样本特征集进行归一化处理,获得第三训练样本特征集;
S3420,将第三训练样本特征集输入SVM模型,获取SVM模型的最佳惩罚系数和最佳gamma参数;
S3430,将最佳惩罚系数、最佳gamma参数与第二训练样本特征集输入SVM模型进行多元情感分类训练,获得多元情感分类模型。可以理解地,SVM模型为支持向量机模型,SVM模型是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。SVM的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。少数支持向量决定了最终结果,这不但可以“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:增、删非支持向量样本对模型没有影响;支持向量样本集具有一定的鲁棒性;有些成功的应用中,SVM方法对核的选取不敏感。因此采用SVM模型对于情感识别的训练具有更精准,更简洁的优点。
通过信号数据过滤、信号特征提取和信号特征选择将采集到的用户的肌肉应力信号数据进行预处理,筛除掉其中参考价值不大的训练样本,使得进行训练的肌肉应力信号数据参考价值更高,从而使训练好的SVM模型对情感的识别更准确。
请参阅图8,在一实施例中,将肌肉应力信号数据输入至多元情感分类模型,获得多元情感分类模型输出的情感识别结果的步骤包括:
S21,对所述当前肌肉应力信号数据进行信号数据过滤、信号特征提取和信号特征选择,获得当前肌肉应力信号特征集;
S22,将所述当前肌肉应力信号特征集输入所述所述多元情感分类模型,输出所述当前肌肉应力信号特征集对应的情感标签。
在使用时,对采集到的用户的当前肌肉应力信号数据进行预处理,即信号数据过滤、信号特征提取和信号特征选择,获得对应的第二训练样本特征集,如用户表达快乐的当前肌肉应力信号数据,经已训练好的多元情感分类模型识别后,认定其与表达快乐的训练样本更为相似,即输出情感识别结果为表达快乐的情绪。
基于同一发明构思,本发明还提供一种情感识别设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,计算机程序配置为实现上述的情感识别方法的步骤。由于本情感识别设备采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
请参阅图9,基于同一发明构思,本发明还提供一种情感识别系统,用于实现上述的情感识别方法,包括:
电源、三维传感器阵列服装、微控制器和上述的情感识别设备;
电源分别与三维传感器阵列服装、微控制器、情感识别设备通过有线连接,
三维传感器阵列服装用于采集用户执行情感动作的肌肉应力信号数据并以信号数据的形式发送给微控制器,三维传感器阵列服装和微控制器通过有线连接,微控制器与上位机通过有线连接;
电源用于分别与三维传感器阵列服装、微控制器和情感识别设备连接并提供电力,
微控制器用于接收三维传感器阵列服装采集的肌肉应力信号数据并保存,然后发送到情感识别设备;
情感识别设备对从微控制器接收到的压力值数据经过分析处理后实时显示情感识别的结果。
本情感识别装置通过三维传感器阵列服装采集用户的肌肉应力信号数据,并通过微控制器传送给上位机,上位机内安装有多元情感分类模型,上位机对肌肉应力信号数据进行预处理,获得第二训练样本特征集,并将第二训练样本特征集输入多元情感分类模型,多元情感分类模型输出对应的情感标签,完成情感识别。由于本情感识别装置采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
在一具体的实施例中,情感识别方法包括以下步骤:
确定一个涵盖R种情感的情感概念模型(R>3,本实施例中为4),并随机选定M个参与者(本实施例中为10),使M个参与者穿上三维传感器阵列服装,并让参与者通过动作分别表达R种情感,通过三维传感器阵列服装采集参与者每次表达情感时的肌肉应力信号数据作为训练样本,其中三维传感器阵列服装中的传感器数量为W个(本实施例中为18),参与者对应每个情感分别进行N次动作表达(N取值范围为1~5,本实施例中为3),共获得P组训练样本,并对P组训练样本对应的参与者表达的情感进行标签和编号,获得P个情感标签和第一训练样本数据集,P=R×M×N(本实施例中为4×10×3=120),其中,每个训练样本为采集参与者1分钟的动作中,W个通道的信号数据(通道数对应传感器数量),传感器的可检测力度范围为0~30kPa,且采集频率为5HZ,即每秒采集五个信号点;
对第一训练样本数据集进行预处理,包括信号数据过滤、信号特征提取、信号特征选择三部分;
为克服外部环境偶然因素引起的突变性扰动尖脉冲干扰,对第一训练样本数据集进行限幅滤波法处理,确定两次采样之间允许的最大偏差值,设置为Pc,可以理解地,采集到的肌肉应力信号数据按时间顺序排序,将时间上后一个肌肉应力信号数据与其对应的前一个肌肉应力信号数据作差,并将差值与Pc比较,筛除掉差值大于Pc的肌肉应力信号数据,并用前一个肌肉应力信号数据代替被筛除掉的肌肉应力信号数据值,若差值小于Pc,则采集当前肌肉应力信号数据,获得筛选后的第二训练样本数据集;
需要注意的是,为了抑制周期性干扰并提升信号数据的信号平滑度,对第一训练样本数据集实施滑动平均滤波法处理。在本实施例中,将连续采集到的T个肌肉应力信号数据点看成一个循环队列,长度固定为T,每次采集到一个新的肌肉应力信号数据点后,放置队尾,并丢弃原来的队首数据,滤波器每次输出的肌肉应力信号数据值总是当前队列中的T个数据的算术平均值;
对第二训练样本数据集进行信号特征提取,对第二训练样本数据集中每个训练样本的每个信号通道提取U种时-频域特征,得到P×(W×U)阵列的训练样本线性特征集。本实施例选择了9种时-频域特征:峰-峰均值、均方值、方差、功率谱之和、最大功率谱密度、最大功率谱频率、活性度、移动性和复杂性,训练样本线性特征集为120×162的阵列;
对第二训练样本数据集中每个训练样本的每个信号通道再提取V种非线性特征,得到P×(W×V)阵列的训练样本非线性特征集。本实施例选择了9种非线性特征:近似熵、C0复杂度、关联维度、李雅普诺夫指数、柯尔莫哥洛夫熵、排列熵、奇异熵、香农熵和功率谱熵,训练样本非线性特征集为120×162的阵列;
将训练样本线性特征集和训练样本非线性特征集组合,获得第一训练样本特征集,第一训练样本特征集为120×324的阵列,每个训练样本包含18个信号通道,其特征数为(U+V)×W,即324;
在新西兰快卡托大学开发者所贡献的WEKA(怀卡托智能分析环境)工具中应用基于关联的特征选择算法,建立第一训练样本特征集中324种不同信号特征对第二训练样本数据集的重要度。基于关联的特征选择算法输出皮尔逊相关性作为信号特征重要度的量化,1表示高度正相关,0表示不相关,﹣1代表高度负相关,并按照重要度从高到低对第一训练样本特征集中的信号特征进行排序,将重要度低于一定阈值的信号特征筛除,本实施例中阈值为0.1,获得第二训练样本特征集,第二训练样本特征集中的每个训练样本都带有情感标签;
将第二训练样本特征集进行归一化处理,获得第三训练样本特征集,并将第三训练样本特征集输入LIBSVM工具箱,选用RBF核函数,获得获取SVM模型的最佳惩罚系数和最佳gamma参数,并将最佳惩罚系数和最佳gamma参数和第二训练样本特征集输入SVM模型进行训练,获得多元情感分类模型;
训练完成SVM模型后,SVM模型装入上位机中,通过三维传感器阵列服装获得用户的当前肌肉应力信号数据,并将当前肌肉应力信号数据预处理后获得第二训练样本特征集,输入多元情感分类模型,训练好的SVM模型输出该第二训练样本特征集对应的情感标签作为情感输出结果。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种情感识别方法,其特征在于,包括以下步骤:
获取三维传感器阵列服装采集的用户的当前肌肉应力信号数据;
将所述当前肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果。
2.如权利要求1所述的情感识别方法,其特征在于,所述将所述肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果的步骤之前,所述方法还包括:
获取用户执行多个预设动作时三维传感器阵列服装采集的肌肉应力信号数据,其中,每个预设动作对应多个肌肉应力信号数据;
对所述肌肉应力信号数据进行标记,获得具有情感标签的训练样本,并获得由多个训练样本构成的第一训练样本数据集;
通过所述第一训练样本数据集对SVM模型进行训练,获得所述多元情感分类模型。
3.如权利要求2所述的情感识别方法,其特征在于,所述通过所述第一训练样本数据集对SVM模型进行训练,获得所述多元情感分类模型的步骤,包括:
对所述第一训练样本数据集中的训练样本进行信号数据过滤,获得由多个过滤后的训练样本构成的第二训练样本数据集;
对所述第二训练样本数据集中的训练样本进行信号特征提取,获得由多个提取到的样本特征构成的第一训练样本特征集;
对所述第一训练样本特征集中的样本特征进行信号特征选择,获得由多个特征选择后的样本特征构成第二训练样本特征集;
将所述第二训练样本特征集输入所述SVM模型并进行训练,获得所述多元情感分类模型。
4.如权利要求3所述的情感识别方法,其特征在于,所述对所述第一训练样本数据集中的训练样本进行信号数据过滤,获得由多个过滤后的训练样本构成的第二训练样本数据集的步骤,包括:
将同一传感器采集的任意肌肉应力信号数据和与其对应的前一个肌肉应力信号数据作差,获得差值,其中,所述三维传感器阵列服装包括多个传感器;
从第一训练样本数据集的训练样本的肌肉应力信号数据中筛除掉差值大于预设最大偏差值的肌肉应力信号数据,并用其前一个肌肉应力信号数据代替筛除掉的肌肉应力信号数据,获得由筛选完成的肌肉应力信号数据组成的过滤后的训练样本,并获得由多个筛选出的过滤后的训练样本构成的第二训练样本数据集。
5.如权利要求3所述的情感识别方法,其特征在于,所述对所述第二训练样本数据集中的训练样本进行信号特征提取,获得由多个提取后的样本特征构成的第一训练样本特征集的步骤,包括:
对所述第二训练样本数据集中的训练样本提取多种时-频域特征,获得由多个时-频域特征组成的训练样本线性特征集;
对所述第二训练样本数据集中的训练样本提取多种非线性特征,获得由多个非线性特征组成的训练样本非线性特征集;
将所述训练样本线性特征集和所述训练样本非线性特征集组合,获得第一训练样本特征集。
6.如权利要求3所述的情感识别方法,其特征在于,所述对所述第一训练样本特征集进行信号特征选择,获得由多个特征选择后的样本特征构成第二训练样本特征集的步骤,包括:
基于关联的特征选择算法,获得所述第一训练样本特征集的信号特征重要度;
筛选出所述第一训练样本特征集的信号特征中信号特征重要度大于或等于预设阈值的信号特征,获得由多个筛选后的信号特征组成的第二训练样本特征集。
7.如权利要求3所述的情感识别方法,其特征在于,所述将所述第二训练样本特征集输入所述SVM模型并进行训练,获得所述多元情感分类模型的步骤,包括:
对所述第二训练样本特征集进行归一化处理,获得第三训练样本特征集;
将所述第三训练样本特征集输入所述SVM模型,获取SVM模型的最佳惩罚系数和最佳gamma参数;
将所述最佳惩罚系数、所述最佳gamma参数与所述第二训练样本特征集输入SVM模型进行多元情感分类训练,获得所述多元情感分类模型。
8.如权利要求3所述的情感识别方法,其特征在于,将所述当前肌肉应力信号数据输入至已训练好的多元情感分类模型,获得所述多元情感分类模型输出的情感识别结果:
对所述当前肌肉应力信号数据进行信号数据过滤、信号特征提取和信号特征选择,获得当前肌肉应力信号特征集;
将所述当前肌肉应力信号特征集输入所述所述多元情感分类模型,输出所述当前肌肉应力信号特征集对应的情感标签。
9.一种情感识别设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至8中任一项所述的情感识别方法的步骤。
10.一种情感识别系统,其特征在于,包括:
三维传感器阵列服装,所述三维传感器阵列服装上设置有多个传感器组成的传感器阵列,用于采集用户的肌肉应力信号数据;
如权利要求9所述的情感识别设备,用于接收所述肌肉应力信号数据,并根据所述肌肉应力信号数据获得情感识别结果。
CN202210777324.0A 2022-07-01 2022-07-01 情感识别方法、情感识别设备及情感识别系统 Pending CN115270855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210777324.0A CN115270855A (zh) 2022-07-01 2022-07-01 情感识别方法、情感识别设备及情感识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210777324.0A CN115270855A (zh) 2022-07-01 2022-07-01 情感识别方法、情感识别设备及情感识别系统

Publications (1)

Publication Number Publication Date
CN115270855A true CN115270855A (zh) 2022-11-01

Family

ID=83764284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210777324.0A Pending CN115270855A (zh) 2022-07-01 2022-07-01 情感识别方法、情感识别设备及情感识别系统

Country Status (1)

Country Link
CN (1) CN115270855A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063144A (zh) * 2021-11-09 2022-02-18 北京科技大学 一种利用短时过零率识别煤岩失稳前兆特征的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063144A (zh) * 2021-11-09 2022-02-18 北京科技大学 一种利用短时过零率识别煤岩失稳前兆特征的方法

Similar Documents

Publication Publication Date Title
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
US20200075007A1 (en) Voice interaction system, voice interaction method, program, learning model generation apparatus, and learning model generation method
Singh et al. Small sample motor imagery classification using regularized Riemannian features
US10368792B2 (en) Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
CN108634969B (zh) 情绪检测设备、情绪检测系统、情绪检测方法、存储介质
US11127181B2 (en) Avatar facial expression generating system and method of avatar facial expression generation
CN110477914A (zh) 基于Android的情绪激励与脑电信号情绪识别系统
CN112426160A (zh) 一种心电信号类型识别方法及装置
CN117457229B (zh) 基于人工智能的麻醉深度监测系统及方法
CN115270855A (zh) 情感识别方法、情感识别设备及情感识别系统
Al-Assaf Surface myoelectric signal analysis: dynamic approaches for change detection and classification
CN111291727A (zh) 一种光体积变化描记图法信号质量检测方法和装置
CN114190953A (zh) 针对脑电采集设备的脑电信号降噪模型的训练方法和系统
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
KR102267741B1 (ko) Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법
EP3872694A1 (en) Avatar facial expression generating system and method of avatar facial expression generation
CN106598223A (zh) 一种基于情绪识别的虚拟环境渲染方法和装置
CN112438741B (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
KR20140073294A (ko) 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법
JP2016030096A (ja) 生体電気ノイズ同定システム及び生体電気ノイズ除去システム
Agarwal et al. Classification of EEG signal using LSTMs under Audiovisual Stimuli
CN114742107A (zh) 信息服务中的感知信号的识别方法及相关设备
CN109697472B (zh) 一种子情绪划归方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination