CN111772648A - 一种结合hrv信号和面部表情判断情绪的方法及设备 - Google Patents

一种结合hrv信号和面部表情判断情绪的方法及设备 Download PDF

Info

Publication number
CN111772648A
CN111772648A CN202010520760.0A CN202010520760A CN111772648A CN 111772648 A CN111772648 A CN 111772648A CN 202010520760 A CN202010520760 A CN 202010520760A CN 111772648 A CN111772648 A CN 111772648A
Authority
CN
China
Prior art keywords
emotion
facial expression
hrv
data
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010520760.0A
Other languages
English (en)
Inventor
彭浩
周长亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Seven Rocks Electronic Technology Co ltd
Original Assignee
Nanjing Seven Rocks Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Seven Rocks Electronic Technology Co ltd filed Critical Nanjing Seven Rocks Electronic Technology Co ltd
Priority to CN202010520760.0A priority Critical patent/CN111772648A/zh
Publication of CN111772648A publication Critical patent/CN111772648A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种结合HRV信号和面部表情判断情绪的方法及设备,该方法为:使用前:情绪分类;建立HRV信号数据库和各情绪区间;建立面部表情数据库和各情绪区间;使用中:采集即时HRV信号数据、比对HRV信号数据,判断情绪;采集即时面部表情数据、比对面部表情数据,判断情绪;当2次判断一致,则输出情绪,否则输出无效,重新采集HRV信号数据和面部表情数据,直到两次判断情绪一致,输出情绪。本发明根据两个指标的结合输出情绪,评估效果较为准确,避免人故意压制,制造假情绪。

Description

一种结合HRV信号和面部表情判断情绪的方法及设备
技术领域
本发明涉及一种结合HRV信号和面部表情判断情绪的方法及设备,属于人脸表情判断的技术领域。
背景技术
情绪管理(Emotion Management)是指通过研究个体和群体对自身情绪和他人情绪的认识、协调、引导、互动和控制,充分挖掘和培植个体和群体的情绪智商、培养驾驭情绪的能力,从而确保个体和群体保持良好的情绪状态,并由此产生良好的管理效果。
在当今高节奏的生活环境下,做好个人的情绪管理是非常必要的。情绪管理的前提是能够判断情绪,目前判断情绪还没有有效直观的方法。很多时候,人们并不清楚自己的情绪状态,所以无从下手去管理清晰,可见,寻找有效的人机互动的形式判断情绪,称为亟待解决的问题。
心率变异性简称HRV,是指逐次心跳周期差异的变化情况,它含有神经体液因素对心血管系统调节的信息,从而判断其对心血管等疾病的病情及预防,可能是预测心脏性猝死和心律失常性事件的一个有价值的指标。将HRV用于判断情绪,是有个有效方式。
人脸识别已经成为非常成熟的技术,人脸识别仅仅是选择多个固定点,与采集的图片进行比对,来判断是或否,输出面部是否匹配,不能有效识别面部表情。
发明内容
为了解决上述技术问题,本发明提供一种结合HRV信号和面部表情判断情绪的方法及设备,其具体技术方案如下:
一种结合HRV信号和面部表情判断情绪的方法,包括以下步骤:
步骤1:情绪分类;
步骤2:建立HRV信号数据库:根据不同的情绪分类,分别采集多组若干组HRV信号数据,组成HRV信号数据库;
步骤3:建立HRV信号的各情绪区间:确定各情绪的HRV信号数据区间;
步骤4:建立面部表情数据库: 根据不同的情绪分类,分别采集若干组面部表情数据,组成面部表情数据库;
步骤5:建立面部表情的各情绪区间:确认各情绪的面部表情特征值区间;
步骤6:采集即时HRV信号数据:采集测试者或使用者的HRV信号数据;
步骤7:比对HRV信号数据:将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较,确认属于的情绪区间;
步骤8:采集即时面部表情数据:采集测试者或使用者的面部表情数据;
步骤9:比对面部表情数据:将步骤8采集的HRV信号数据与步骤5中的各情绪区间的端值比较,确认属于的情绪区间;
步骤10:判断情绪:比对步骤7和9输出的情绪,当属于相同情绪时,确定此情绪为输出情绪,否则返回步骤6和8,直到步骤7和9输出的情绪,属于相同情绪。
进一步的,所述步骤1中将情绪分成3类,分别为平静、负情绪和正情绪。
进一步的,所述步骤2中确定采集者处于不同程度的负面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成负面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的正面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成正面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的平静情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成平静情绪HRV信号数据区间;
负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和平静情绪HRV信号数据区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
进一步的,所述HRV信号数据采用心率测试仪绑缚在采集者的手腕处采集。
进一步的,所述步骤4确定采集者处于不同程度的负面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成负面情绪面部表情特征区间;
采集者处于不同程度的正面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成正面情绪面部表情特征区间;
采集者处于不同程度的平静情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成平静情绪面部表情特征区间;
所述负面情绪面部表情特征区间、正面情绪面部表情特征区间和平静情绪面部表情特征区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
进一步的,所述面部表情数据采集具体为:
步骤a:采集图像:摄像机采集嘴部图像;
步骤b:图像处理:对图像进行灰度处理获得灰度图,阈值分割获得二值图,通过计算sobel算子来计算图像灰度函数的近似梯度,图像可清晰显示牙齿位置和嘴角位置;
步骤c:建立坐标系:以门牙的中心作为圆点,门牙所在平面,平行于牙齿方向为X轴,门牙的中缝与下巴骨骼的中间连线作为Y轴,同时垂直于X轴和Y轴作为Z轴;
步骤d:确定嘴角位置:确定两侧嘴角在坐标系中坐标。
进一步的,所述步骤d中嘴角坐标通过 matlab软件快速标注生成。
结合HRV信号和面部表情判断情绪的设备,该设备通过上述方法实现情绪判断。
本发明的工作原理是:
本发明设备在使用前,首先需要录入数据库,首先在设备上分类情绪,然后采集设备使用者在各种情绪(情绪可以人为制造,每种情绪变换多种方式制造,引发出各种可能的程度)下的HRV信号数据和面部表情数据,数据分区间时,去除重复的交集数据,使得每个情绪有明确的区间端值。
使用时,采集已经存储过数据的人的数据,系统判断处于哪个区间内,给出所处区间的情绪。如果两种情绪不一致,表明采集者故意压制,没有表现出真实的情绪,输出无效,直到两种数据输出的情绪属于相同的情绪,表明数据有效,输出情绪为使用者的真实情绪。
本发明的有益效果是:
本发明根据两个指标的结合给出人的情绪评估范围,确定情绪处于正面情绪、负面情绪或者是平静情绪,评估效果较为准确,人很难蒙混假装表面现象来输出与实际不符的情绪。
本发明检测快速,适用面广,可以用于犯罪甄别,以及孩子的情绪管理,以及心理障碍者的康复等等。
具体实施方式
本发明的结合HRV信号和面部表情判断情绪的方法,包括以下步骤:
步骤1:情绪分类:情绪分成3类,分别为平静、负情绪和正情绪,在特定的使用情况下,可以根据需要分成更多种类,只需要根据不同的情绪,通过大量的数据采集,寻找确定各个情绪的特征以及特征区间便可。
步骤2:建立HRV信号数据库:根据不同的情绪分类,分别采集多组若干组HRV信号数据,组成HRV信号数据库,采用心率测试仪绑缚在采集者的手腕处采集。
步骤3:建立HRV信号的各情绪区间:确定采集者处于不同程度的负面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成负面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的正面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成正面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的平静情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成平静情绪HRV信号数据区间;
负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和平静情绪HRV信号数据区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
步骤4:建立面部表情数据库: 根据不同的情绪分类,分别采集若干组面部表情数据,组成面部表情数据库;面部表情数据采集具体为:
步骤a:采集图像:摄像机采集嘴部图像;
步骤b:图像处理:对图像进行灰度处理获得灰度图,阈值分割获得二值图,通过计算sobel算子来计算图像灰度函数的近似梯度,图像可清晰显示牙齿位置和嘴角位置;
步骤c:建立坐标系:以门牙的中心作为圆点,门牙所在平面,平行于牙齿方向为X轴,门牙的中缝与下巴骨骼的中间连线作为Y轴,同时垂直于X轴和Y轴作为Z轴;
步骤d:确定嘴角位置:确定两侧嘴角在坐标系中坐标,嘴角坐标通过 matlab软件快速标注生成。
步骤5:建立面部表情的各情绪区间:确定采集者处于不同程度的负面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成负面情绪面部表情特征区间;
采集者处于不同程度的正面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成正面情绪面部表情特征区间;
采集者处于不同程度的平静情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成平静情绪面部表情特征区间;
所述负面情绪面部表情特征区间、正面情绪面部表情特征区间和平静情绪面部表情特征区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
步骤6:采集即时HRV信号数据:在实际应用时,确定使用者的上述步骤1-5的数据全部录入以后,采集测试者或使用者的HRV信号数据;
步骤7:比对HRV信号数据:将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较,确认属于的情绪区间;
步骤8:采集即时面部表情数据:采集测试者或使用者的面部表情数据;
步骤9:比对面部表情数据:
步骤10:判断情绪:比对步骤7和9输出的情绪,当属于相同情绪时,确定此情绪为输出情绪,否则返回步骤6和8,直到步骤7和9输出的情绪,属于相同情绪。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种结合HRV信号和面部表情判断情绪的方法,其特征在于:包括以下步骤:
步骤1:情绪分类;
步骤2:建立HRV信号数据库:根据不同的情绪分类,分别采集多组若干组HRV信号数据,组成HRV信号数据库;
步骤3:建立HRV信号的各情绪区间:确定各情绪的HRV信号数据区间;
步骤4:建立面部表情数据库: 根据不同的情绪分类,分别采集若干组面部表情数据,组成面部表情数据库;
步骤5:建立面部表情的各情绪区间:确认各情绪的面部表情特征值区间;
步骤6:采集即时HRV信号数据:采集测试者或使用者的HRV信号数据;
步骤7:比对HRV信号数据:将步骤6采集的HRV信号数据与步骤3中的各情绪区间的端值比较,确认属于的情绪区间;
步骤8:采集即时面部表情数据:采集测试者或使用者的面部表情数据;
步骤9:比对面部表情数据:将步骤8采集的HRV信号数据与步骤5中的各情绪区间的端值比较,确认属于的情绪区间;
步骤10:判断情绪:比对步骤7和9输出的情绪,当属于相同情绪时,确定此情绪为输出情绪,否则返回步骤6和8,直到步骤7和9输出的情绪,属于相同情绪。
2.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述步骤1中将情绪分成3类,分别为平静、负情绪和正情绪。
3.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述步骤2中确定采集者处于不同程度的负面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成负面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的正面情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成正面情绪HRV信号数据区间;
所述步骤2中确定采集者处于不同程度的平静情绪下,采集多组HRV数据,确定这些HRV数据的最大值和最小值,形成平静情绪HRV信号数据区间;
负面情绪HRV信号数据区间、正面情绪HRV信号数据区间和平静情绪HRV信号数据区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
4.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述HRV信号数据采用心率测试仪绑缚在采集者的手腕处采集。
5.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述步骤4确定采集者处于不同程度的负面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成负面情绪面部表情特征区间;
采集者处于不同程度的正面情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成正面情绪面部表情特征区间;
采集者处于不同程度的平静情绪下,采集多组面部表情图像,提取这些面部表情图像的特征,形成平静情绪面部表情特征区间;
所述负面情绪面部表情特征区间、正面情绪面部表情特征区间和平静情绪面部表情特征区间不存在交集,若存在交集,视为无效数据,剔除,增加数据采集组数,直到寻找到确定的区间端值。
6.根据权利要求1所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述面部表情数据采集具体为:
步骤a:采集图像:摄像机采集嘴部图像;
步骤b:图像处理:对图像进行灰度处理获得灰度图,阈值分割获得二值图,通过计算sobel算子来计算图像灰度函数的近似梯度,图像可清晰显示牙齿位置和嘴角位置;
步骤c:建立坐标系:以门牙的中心作为圆点,门牙所在平面,平行于牙齿方向为X轴,门牙的中缝与下巴骨骼的中间连线作为Y轴,同时垂直于X轴和Y轴作为Z轴;
步骤d:确定嘴角位置:确定两侧嘴角在坐标系中坐标。
7.根据权利要求6所述的结合HRV信号和面部表情判断情绪的方法,其特征在于:所述步骤d中嘴角坐标通过 matlab软件快速标注生成。
8.结合HRV信号和面部表情判断情绪的设备,其特征在于:该设备通过上述权利要求1-7任一方法实现情绪判断。
CN202010520760.0A 2020-06-10 2020-06-10 一种结合hrv信号和面部表情判断情绪的方法及设备 Pending CN111772648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010520760.0A CN111772648A (zh) 2020-06-10 2020-06-10 一种结合hrv信号和面部表情判断情绪的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010520760.0A CN111772648A (zh) 2020-06-10 2020-06-10 一种结合hrv信号和面部表情判断情绪的方法及设备

Publications (1)

Publication Number Publication Date
CN111772648A true CN111772648A (zh) 2020-10-16

Family

ID=72755784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010520760.0A Pending CN111772648A (zh) 2020-06-10 2020-06-10 一种结合hrv信号和面部表情判断情绪的方法及设备

Country Status (1)

Country Link
CN (1) CN111772648A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103263274A (zh) * 2013-05-24 2013-08-28 桂林电子科技大学 基于fniri和erp的表情显示装置
CN104244824A (zh) * 2012-04-10 2014-12-24 株式会社电装 情绪监视系统
US20170083506A1 (en) * 2015-09-21 2017-03-23 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
CN108765869A (zh) * 2018-05-31 2018-11-06 深圳市零度智控科技有限公司 基于人脸识别的儿童安全手表
CN109672937A (zh) * 2018-12-28 2019-04-23 深圳Tcl数字技术有限公司 电视应用主题切换方法、电视、可读存储介质及系统
CN110621228A (zh) * 2017-05-01 2019-12-27 三星电子株式会社 使用基于相机的感测来确定情绪

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244824A (zh) * 2012-04-10 2014-12-24 株式会社电装 情绪监视系统
CN103263274A (zh) * 2013-05-24 2013-08-28 桂林电子科技大学 基于fniri和erp的表情显示装置
US20170083506A1 (en) * 2015-09-21 2017-03-23 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
CN110621228A (zh) * 2017-05-01 2019-12-27 三星电子株式会社 使用基于相机的感测来确定情绪
CN108765869A (zh) * 2018-05-31 2018-11-06 深圳市零度智控科技有限公司 基于人脸识别的儿童安全手表
CN109672937A (zh) * 2018-12-28 2019-04-23 深圳Tcl数字技术有限公司 电视应用主题切换方法、电视、可读存储介质及系统

Similar Documents

Publication Publication Date Title
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
Pantic et al. Facial action recognition for facial expression analysis from static face images
JP6899989B2 (ja) 感情推定装置及び感情推定方法
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN105574518A (zh) 人脸活体检测的方法和装置
CN109460703B (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN103902970B (zh) 自动指纹姿态估计方法及系统
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN109528217A (zh) 一种基于生理振动分析的情绪检测和预警方法
CN106650628B (zh) 一种基于三维k曲率的指尖检测方法
CN110874587A (zh) 一种人脸特征参数提取系统
CN114358194A (zh) 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN106503651A (zh) 一种手势图像的提取方法及系统
Wei et al. A comparative study on movement feature in different directions for micro-expression recognition
Mansor et al. Coma patients expression analysis under different lighting using k-NN and LDA
CN115349828A (zh) 一种基于计算机深度学习的新生儿疼痛评估系统
Sun et al. Kinect-based intelligent monitoring and warning of students' sitting posture
CN107480635A (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统
CN113143274A (zh) 基于摄像头的情绪预警方法
CN111772648A (zh) 一种结合hrv信号和面部表情判断情绪的方法及设备
CN112528767A (zh) 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN109902656B (zh) 一种面部动作单元的识别方法、系统
Schak et al. Gesture Recognition on a New Multi-Modal Hand Gesture Dataset.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016