CN117084682A - 一种人体情绪感知方法及装置 - Google Patents

一种人体情绪感知方法及装置 Download PDF

Info

Publication number
CN117084682A
CN117084682A CN202310871511.XA CN202310871511A CN117084682A CN 117084682 A CN117084682 A CN 117084682A CN 202310871511 A CN202310871511 A CN 202310871511A CN 117084682 A CN117084682 A CN 117084682A
Authority
CN
China
Prior art keywords
human body
emotion
signal
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310871511.XA
Other languages
English (en)
Inventor
昌亚胜
张国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou City College
Original Assignee
Suzhou City College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou City College filed Critical Suzhou City College
Priority to CN202310871511.XA priority Critical patent/CN117084682A/zh
Publication of CN117084682A publication Critical patent/CN117084682A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及一种人体情绪感知方法及装置，方法包括：向目标人体发射雷达信号；所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；获取目标人体的人脸图像；构建所述人脸图像与人体情绪的第二神经网络模型；将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果。本发明能够精确检测人体的情绪。

Description

一种人体情绪感知方法及装置
技术领域
本发明涉及情绪感知技术领域，尤其是指一种人体情绪感知方法及装置。
背景技术
在医疗行业以及特殊监管行业中，存在个人单独处于密闭狭窄空间的情形(如放射治疗、射线影像拍摄、刑讯审问等)，易产生恐惧、紧张等不利于病情和工作展开等情绪，如恐惧引起的血压上升，对危重个人产生极不利的影响。因此及时对患者的情绪进行感知，并提前干预，将避免因情绪等带来的负面影响，甚至做个极端行为。目前传统深度学习视域下基于面部表情的情绪识别方法，在一定程度上能检测人体的情绪，但是表情本身具有一定的欺骗性，且并不是所有人的情绪都会在面部表情上体现出来，因此该类方法具有一定的局限性。对于特殊场景并不适用。如密闭环境下的医学检测和审讯等，具体来讲，患者在做射线透视拍摄、CT检查等，由于射线的辐射性，需要患者单独处于密闭空间内，其紧张、恐惧大多并不会在面部表情上表现出来，但是恐惧、紧张等引起其他生理变化，对于一些患者是不利的，甚至会影响其生命安全。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于深度学习所感知的面部表情等人体情绪检测方法存在使用场景有限、检测精度较低的问题。
为解决上述技术问题，本发明提供了一种人体情绪感知方法，包括：
向目标人体发射雷达信号；
所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取目标人体的人脸图像；
构建所述人脸图像与人体情绪的第二神经网络模型；
将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
综合所述第一判别结果和第二判别结果得到被测人体的情绪。
在本发明的一个实施例中，所述雷达信号的公式为：
SR(t)＝Acos(2π∫0f(t)dt+θ0)＝Acos(2πf0t+πBt2/T+θ0),0≤t≤T
其中，A为振幅，θ0为初始相位，f0为初始频率，B为带宽，T为脉冲持续时间，t为时间序列。
在本发明的一个实施例中，所述接收信号的公式为：
其中，A为振幅，K1为衰减系数，K2为混频后增益，f0为初始频率，B为带宽，T为脉冲持续时间，R为雷达发射源到目标人体的距离，C为光速，t为时间序列，θ(t)为时间序列t内的人体胸腔和心脏起伏将引起相位变化。
在本发明的一个实施例中，所述将所述接收信号分离得到呼吸信号和心率信号，方法包括：
对所述接收信号中的由于人体胸腔和心脏起伏ΔR进行傅里叶变换和带通滤波得到呼吸信号和心率信号。
在本发明的一个实施例中，所述综合所述第一判别结果和第二判别结果得到被测人体的情绪，方法包括：
将所述第一判别结果乘以生理特征权重得到第一结果；
将所述第二判别结果乘以表情权重得到第二结果；
将所述第一结果和第二结果相加得到被测人体的情绪；
其中，所述生理特征权重和表情权重之和为100％，并且所述生理特征权重大于表情权重。
在本发明的一个实施例中，所述生理特征权重为80％，所述表情权重为20％。
在本发明的一个实施例中，所述第一神经网络模型为CNN模型，所述第二神经网络模型为U-Net模型。
为解决上述技术问题，本发明提供了一种人体情绪感知方法装置，包括：
发射模块：用于向目标人体发射雷达信号；
接收模块：用于所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
第一构建模块：用于构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取模块：用于获取目标人体的人脸图像；
第二构建模块：用于构建所述人脸图像与人体情绪的第二神经网络模型；
检测模块：用于将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
判别模块：用于综合所述第一判别结果和第二判别结果得到被测人体的情绪。
为解决上述技术问题，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述人体情绪感知方法的步骤。
为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述人体情绪感知方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明在深度学习视域下训练呼吸、心率数据与人体情绪的第一神经网络模型(CNN模型)，进一步结合计算机视觉视域下的面部表情数据，通过面部表情数据训练与人体情绪的第二神经网络模型(U-Net模型)，通过综合第一神经网络模型及第二神经网络模型的识别结果实现对人体情绪的精确感知。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明方法流程图；
图2是本发明实施例中呼吸和心跳的实时波形图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明涉及一种人体情绪感知方法，包括：
向目标人体发射雷达信号；
所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取目标人体的人脸图像；
构建所述人脸图像与人体情绪的第二神经网络模型；
将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
综合所述第一判别结果和第二判别结果得到被测人体的情绪。
本实施例使用雷达信号检测人体的呼吸数据和心率数据，并建立呼吸、心率数据和人体情绪的第一神经网络模型，进一步结合深度学习视域下的人体面部表情识别信息，实现对人体情绪的高精度检测。具体来讲，面部表情是可以通过意志进行控制的，面部表情可以有针对性地进行改变，但是情绪所影响的另一个关键因素，即心率，是无法受自身意志所控制的，因此其反映的信息是客观的，结合呼吸和面部表情信息，可实现对人体情绪的客观、高精准的识别。
以下对本实施例进行详细介绍：
本实施例使用的雷达信号优选为毫米波，毫米波是指波长为1-10mm，频域范围为30-300GHz的电磁波，具体使用型号为TI IWR1642毫米波雷达发射电磁波信号并接收反射回来的信号来获取目标的距离、速度、方向等信息，从而实现一定距离内的人体呼吸、心率数据采集。并在深度学习视域下训练呼吸、心率数据与人体情绪的第一神经网络模型(CNN模型)，进一步结合计算机视觉视域下的面部表情数据，通过面部表情数据训练与人体情绪的第二神经网络模型(U-Net模型)，通过综合第一神经网络模型及第二神经网络模型的识别结果实现对人体情绪的精确感知。
1)毫米波检测人体胸腔和心脏微小起伏所引起的在特定的距离的信号的相位变化；
设雷达的发射信号的公式为：
SR(t)＝Acos(2π∫0f(t)dt+θ0)＝Acos(2πf0t+πBt2/T+θ0),0≤t≤T
其中，A为振幅(即胸腔或者呼吸引起的最大位移)，θ0为初始相位，f0为初始频率，B为带宽，T为脉冲持续时间，t为时间序列。
雷达发射信号到达目标人体，并由目标人体反射后，接收天线对其进行接收，人体的微动信号(即胸腔和心脏微小起伏)将引起接收信号的相位产生变化，公式如下：
Sτ(t)＝K1SR(t-τ)＝K1A[2πf0(t-τ)+πB(t-τ)2/T+θ0+θ(t)],τ≤t≤T+τ
其中，K1为衰减系数，R为雷达发射源到目标人体的距离，C为光速，t为时间序列，θ0为初始相位，θ(t)为时间序列t内的人体胸腔和心脏起伏将引起相位变化。
需要注意的是，上述公式并没有考虑心跳和呼吸的混频，只是考虑了胸腔和心脏微小起伏(即只考虑了相位变化)。
在实际中，混频后的接收信号可用下式表示：
其中，K2为混频后增益，令则可以将接收信号简写为：
SIF(t)＝Mcos(ωIFt+φ+θ(t))
人体的呼吸和心跳会导致胸壁的微小起伏，该起伏将会导致回波的相位变化，相位λ为波长。设呼吸或心跳引起的胸壁微动变化为ΔR，则：
其中，Δθ为接收信号(即混频信号)和发射信号的相位差。根据ΔR从而可通过提取回波相位，可以实现对呼吸、心跳引起的微小起伏进行检测。需要注意的是，本实施例中的ΔR应包含两个，一个关于心跳信号ΔR1，一个关于呼吸信号ΔR2。
对所述接收信号中的由于人体胸腔和心脏起伏ΔR进行傅里叶变换和带通滤波得到呼吸信号和心率信号。获呼吸和心跳的实时波形请见图2。
本实施例综合第一判别结果和第二判别结果得到被测人体的情绪，方法包括：
将所述第一判别结果乘以生理特征权重得到第一结果；
将所述第二判别结果乘以表情权重得到第二结果；
将所述第一结果和第二结果相加得到被测人体的情绪；
其中，所述生理特征权重和表情权重之和为100％，并且所述生理特征权重大于表情权重。
本实施例以学术界普遍认可的人体情绪分类标准为依据，将输出结果分为：恐惧、难过、生气、讨厌、高兴和惊讶六种(在其他实施例中，也可以是其他类型)，并对每种情绪进行分级，共分为六个等级。在面部表情识别中，本实施例同样分别将这六种情绪分为六个等级。如表1所示：6级为最严重，1级为最轻。
表1情绪等级分类表
恐惧 难过 生气 讨厌 高兴 惊讶
1级0％ 1级0％ 1级0％ 1级0％ 1级0％ 1级0％
2级20％ 2级20％ 2级20％ 2级20％ 2级20％ 2级20％
3级40％ 3级40％ 3级40％ 3级40％ 3级40％ 3级40％
4级60％ 4级60％ 4级60％ 4级60％ 4级60％ 4级60％
5级80％ 5级80％ 5级80％ 5级80％ 5级80％ 5级80％
6级100％ 6级100％ 6级100％ 6级100％ 6级100％ 6级100％
本实施例融合心率、呼吸生理特征以及面部表情的情绪识别输出：本发明将生理特征权重设置为80％，表情权重为20％。如生理特征，情绪识别结果如表2所示，面部表情识别结果如表3所示。
表2情绪识别结果表
恐惧 难过 生气 讨厌 高兴 惊讶
6级100％ 2级20％ 2级20％ 2级20％ 1级0％ 1级0％
表3面部表情识别结果
恐惧 难过 生气 讨厌 高兴 惊讶
5级80％ 2级20％ 3级40％ 3级40％ 1级0％ 1级0％
则本实施例给出的最终情绪识别结果为：
恐惧：100％×0.8+80％×0.2＝96％
难过：20％×0.8+20％×0.2＝20％
生气：20％×0.8+40％×0.2＝24％
讨厌：20％×0.8+40％×0.2＝24％
高兴：0％×0.8+0％×0.2＝0％
惊讶：0％×0.8+0％×0.2＝0％
由此可见，最终人体情绪检测结果为恐惧。
实施例二
本实施例提供一种人体情绪感知装置，包括：
发射模块：用于向目标人体发射雷达信号；
接收模块：用于所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
第一构建模块：用于构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取模块：用于获取目标人体的人脸图像；
第二构建模块：用于构建所述人脸图像与人体情绪的第二神经网络模型；
检测模块：用于将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
判别模块：用于综合所述第一判别结果和第二判别结果得到被测人体的情绪。
实施例三
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述人体情绪感知方法的步骤。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述人体情绪感知方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种人体情绪感知方法，其特征在于：包括：
向目标人体发射雷达信号；
所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取目标人体的人脸图像；
构建所述人脸图像与人体情绪的第二神经网络模型；
将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
综合所述第一判别结果和第二判别结果得到被测人体的情绪。
2.根据权利要求1所述的人体情绪感知方法，其特征在于：所述雷达信号的公式为：
SR(t)＝Acos(2π∫0f(t)dt+θ0)＝Acos(2πf0t+πBt2/T+θ0),0≤t≤T
其中，A为振幅，θ0为初始相位，f0为初始频率，B为带宽，T为脉冲持续时间，t为时间序列。
3.根据权利要求1所述的人体情绪感知方法，其特征在于：所述接收信号的公式为：
其中，A为振幅，K1为衰减系数，K2为混频后增益，f0为初始频率，B为带宽，T为脉冲持续时间，R为雷达发射源到目标人体的距离，C为光速，t为时间序列，θ(t)为时间序列t内的人体胸腔和心脏起伏将引起相位变化。
4.根据权利要求1所述的人体情绪感知方法，其特征在于：所述将所述接收信号分离得到呼吸信号和心率信号，方法包括：
对所述接收信号中的由于人体胸腔和心脏起伏ΔR进行傅里叶变换和带通滤波得到呼吸信号和心率信号。
5.根据权利要求1所述的人体情绪感知方法，其特征在于：所述综合所述第一判别结果和第二判别结果得到被测人体的情绪，方法包括：
将所述第一判别结果乘以生理特征权重得到第一结果；
将所述第二判别结果乘以表情权重得到第二结果；
将所述第一结果和第二结果相加得到被测人体的情绪；
其中，所述生理特征权重和表情权重之和为100％，并且所述生理特征权重大于表情权重。
6.根据权利要求5所述的人体情绪感知方法，其特征在于：所述生理特征权重为80％，所述表情权重为20％。
7.根据权利要求1所述的人体情绪感知方法，其特征在于：所述第一神经网络模型为CNN模型，所述第二神经网络模型为U-Net模型。
8.一种人体情绪感知装置，其特征在于：包括：
发射模块：用于向目标人体发射雷达信号；
接收模块：用于所述雷达信号被目标人体反射得到接收信号，将所述接收信号分离得到呼吸信号和心率信号，其中，所述接收信号由于人体胸腔和心脏起伏将引起相位变化；
第一构建模块：用于构建所述呼吸信号、心率信号与人体情绪的第一神经网络模型；
获取模块：用于获取目标人体的人脸图像；
第二构建模块：用于构建所述人脸图像与人体情绪的第二神经网络模型；
检测模块：用于将被测人体的呼吸信号和心率信号输入所述第一神经网络模型得到第一情绪判别结果，同时将被测人体的人脸图像输入所述第二神经网络模型得到第二情绪判别结果；
判别模块：用于综合所述第一判别结果和第二判别结果得到被测人体的情绪。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述人体情绪感知方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述人体情绪感知方法的步骤。
CN202310871511.XA 2023-07-17 2023-07-17 一种人体情绪感知方法及装置 Pending CN117084682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310871511.XA CN117084682A (zh) 2023-07-17 2023-07-17 一种人体情绪感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310871511.XA CN117084682A (zh) 2023-07-17 2023-07-17 一种人体情绪感知方法及装置

Publications (1)

Publication Number Publication Date
CN117084682A true CN117084682A (zh) 2023-11-21

Family

ID=88781040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310871511.XA Pending CN117084682A (zh) 2023-07-17 2023-07-17 一种人体情绪感知方法及装置

Country Status (1)

Country Link
CN (1) CN117084682A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150018676A1 (en) * 2012-02-11 2015-01-15 Sensifree Ltd. Microwave contactless heart rate sensor
US20180263502A1 (en) * 2014-10-08 2018-09-20 The University Of Florida Research Foundation, Inc. Method and apparatus for non-contact fast vital sign acquisition based on radar signal
CN110464366A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种情绪识别方法、系统及存储介质
US20210093203A1 (en) * 2019-09-30 2021-04-01 DawnLight Technologies Systems and methods of determining heart-rate and respiratory rate from a radar signal using machine learning methods
CN113397546A (zh) * 2021-06-24 2021-09-17 福州大学 基于机器学习和生理信号的情绪识别模型构建方法及系统
CN114707530A (zh) * 2020-12-17 2022-07-05 南京理工大学 基于多源信号和神经网络的双模态情绪识别方法及系统
CN114767112A (zh) * 2021-01-22 2022-07-22 中国移动通信有限公司研究院 一种情绪识别方法、装置及电子设备
CN115089143A (zh) * 2022-08-24 2022-09-23 江苏亿连通信技术有限公司 毫米波雷达生命体征信号提取和测量方法
CN115633961A (zh) * 2022-10-28 2023-01-24 福州大学 基于动态加权决策融合恐高情绪识别模型构建方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150018676A1 (en) * 2012-02-11 2015-01-15 Sensifree Ltd. Microwave contactless heart rate sensor
US20180263502A1 (en) * 2014-10-08 2018-09-20 The University Of Florida Research Foundation, Inc. Method and apparatus for non-contact fast vital sign acquisition based on radar signal
CN110464366A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种情绪识别方法、系统及存储介质
US20210093203A1 (en) * 2019-09-30 2021-04-01 DawnLight Technologies Systems and methods of determining heart-rate and respiratory rate from a radar signal using machine learning methods
CN114707530A (zh) * 2020-12-17 2022-07-05 南京理工大学 基于多源信号和神经网络的双模态情绪识别方法及系统
CN114767112A (zh) * 2021-01-22 2022-07-22 中国移动通信有限公司研究院 一种情绪识别方法、装置及电子设备
CN113397546A (zh) * 2021-06-24 2021-09-17 福州大学 基于机器学习和生理信号的情绪识别模型构建方法及系统
CN115089143A (zh) * 2022-08-24 2022-09-23 江苏亿连通信技术有限公司 毫米波雷达生命体征信号提取和测量方法
CN115633961A (zh) * 2022-10-28 2023-01-24 福州大学 基于动态加权决策融合恐高情绪识别模型构建方法与系统

Similar Documents

Publication Publication Date Title
CN110755076B (zh) 磁共振扫描仪的图像采集方法、装置、设备和介质
Chen et al. Laser doppler vibrometry measures of physiological function: Evaluation of biometric capabilities
Parvez et al. Detection of pre-stage of epileptic seizure by exploiting temporal correlation of EMD decomposed EEG signals
CN118177968B (zh) 颅内电极的靶点标定方法和系统、手术导航方法和系统
US20160354061A1 (en) Method And Apparatus For Ultrasonic Analysis Of Brain Activity In Stroke Patients
CN117084682A (zh) 一种人体情绪感知方法及装置
Liang et al. airBP: Monitor Your Blood Pressure with Millimeter-Wave in the Air
WO2022073306A1 (zh) 膈肌的超声测量方法及系统
Sakai Modeling the relationship between heart rate and features of vocal frequency
JPH04193255A (ja) 眼球制御系の解析装置
Golz et al. Prediction of immediately occurring microsleep events from brain electric signals
Shao et al. Clustering of heading selectivity and perception-related activity in the ventral intraparietal area
CN109044276A (zh) 一种检测肌肉内源性疲劳度的方法、装置及存储介质
CN116059600B (zh) 一种基于互动投影的康复训练装置、训练方法及评估系统
JP4609539B2 (ja) 眠気検出装置
EP4059438B1 (en) Ultrasound-guided drug-loaded microbubble delivery method and apparatus
CN115423786A (zh) 基于类造影深度学习模型评估甲状腺结节消融疗效的方法
CN115040091A (zh) 基于vmd算法的毫米波雷达生命信号提取方法
US20210034148A1 (en) Automatic localization of a structure
KR20170053103A (ko) 초음파 진단 장치 및 초음파 영상을 생성하기 위한 방법
Rocha et al. Flexible needles detection in ultrasound images using a multi-layer perceptron network
US20210275048A1 (en) Biometric information processing apparatus and biometric information processing method
Aloudat et al. Histogram analysis for automatic blood vessels detection: First step of IOP
Yanagimoto et al. Frequency filter networks for EEG-based recognition
Du et al. Estimating residual stenosis for an arteriovenous shunt using a flexible fuzzy classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination