CN112712022B - 基于图像识别的压力检测方法、系统、装置及存储介质 - Google Patents

基于图像识别的压力检测方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN112712022B
CN112712022B CN202011603691.6A CN202011603691A CN112712022B CN 112712022 B CN112712022 B CN 112712022B CN 202011603691 A CN202011603691 A CN 202011603691A CN 112712022 B CN112712022 B CN 112712022B
Authority
CN
China
Prior art keywords
pressure
video data
image
acquiring
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011603691.6A
Other languages
English (en)
Other versions
CN112712022A (zh
Inventor
邢晓芬
廖宣凯
徐向民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011603691.6A priority Critical patent/CN112712022B/zh
Publication of CN112712022A publication Critical patent/CN112712022A/zh
Application granted granted Critical
Publication of CN112712022B publication Critical patent/CN112712022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的压力检测方法、系统、装置及存储介质，其中方法包括以下步骤：获取视频数据和脉搏信号，根据所述视频数据和所述脉搏信号构建训练集；建立卷积神经网络，采用所述训练集对卷积神经网络进行训练，获得压力检测模型；获取图像数据，将所述图像数据输入所述压力检测模型进行检测，输出压力提示信号。本发明通过采集图像数据来进行压力检测，避免使用辅助设备进行接触式检测，适用于一些不方便穿戴设备检测的场景，实施性更强。本发明可广泛应用于图像数据处理领域。

Description

基于图像识别的压力检测方法、系统、装置及存储介质
技术领域
本发明涉及图像数据处理领域，尤其涉及一种基于图像识别的压力检测方法、系统、装置及存储介质。
背景技术
随着经济社会的发展，人们的生活节奏不断加快，进而造成生活压力的日益增大。心理学相关研究表明，压力的大小影响人们的身心健康，长时间持续的心理压力会导致包括抑郁症在内的多种心理疾病，进而造成生理上的严重损害。同时，在某些情境下，例如：在驾驶过程中，压力会影响着人们的行为，从而影响到人们的安全。因此，实时监测的压力状态，并提示被检测者进行相应的调整，具有极为重要的研究意义。
问卷调查是一种常见的压力检测的方式，但由于问卷调查的结果很大程度上取决于个人的回答，压力测量是很主观的。当人们选择表达自己的心理状态时保留，结果量表将有偏差。当前普遍的方法是通过使用可穿戴设备检测人的身体的指标例如生理心率变异性(HRV)、心电图(ECG)、皮肤电反应(GSR)、血液等信号来检测压力。虽然这些方法能够客观地感知人们的压力状态，但通常需要可穿戴设备和传感器，这些设备和传感器很难实现非接触式测量。因此，这些方法不适用于某些情况下的检测，例如：驾驶过程中的检测和医生动手术时的检测。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于图像识别的压力检测方法、系统、装置及存储介质。
本发明所采用的技术方案是：
一种基于图像识别的压力检测方法，包括以下步骤：
获取视频数据和脉搏信号，根据所述视频数据和所述脉搏信号构建训练集；
建立卷积神经网络，采用所述训练集对卷积神经网络进行训练，获得压力检测模型；
获取图像数据，将所述图像数据输入所述压力检测模型进行检测，输出压力提示信号。
进一步，所述获取视频数据和脉搏信号，包括：
收集被检测者的视频数据，根据所述视频数据获取正脸图像；
获取被检测者的脉搏信号，在时间上将所述脉搏信号与所述视频数据进行匹配。
进一步，所述根据所述视频数据获取正脸图像，包括：
将所述视频数据输入预设的人脸检测模块进行人脸检测，提取图像中的人脸并进行正则化，获得正脸图像；
调节所述正脸图像的尺寸；
所述获取被检测者的脉搏信号的步骤还包括对脉搏信号进行处理的步骤，具体为：
对所述脉搏信号的原始数据进行经验模态分解，去除基线漂移，获得无基线漂移的波形信号；
从所述波形信号中提取小波变换特征，用于辅助训练。
进一步，所述采用所述训练集对卷积神经网络进行训练，包括：
将所述正脸图像输入所述卷积神经网络进行特征提取，其中，所述卷积神经网络包括三层卷积层；
在最后一层卷积层获得展开为一维向量的特征图，将所述特征图输入全连接层进行降维；
降维后的数据输入Softmax分类函数进行分类，分类结果为三种，分别为无压力、有一定压力和有较大压力；
所述脉搏信号在Softmax分类训练阶段进行辅助训练。
进一步，所述卷积神经网络的每一层卷积层所使用的激活函数为Relu函数。
进一步，所述将所述图像数据输入所述压力检测模型进行检测，输出压力提示信号，包括：
根据所述图像数据获取人脸图像，将所述人脸图像输入所述压力检测模型进行检测，输出压力分类结果；
根据所述压力分类结果控制压力提示装置的工作状态。
进一步，所述小波变换特征通过以下公式分解提取：
Figure BDA0002869924350000021
其中，WTf(a,τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，
Figure BDA0002869924350000022
为基波分解函数，f(t)为波形信号。
本发明所采用的另一技术方案是：
一种基于图像识别的压力检测系统，包括：
摄像头，用于采集图像数据；
推理模块，所述推理模块内部署有压力检测模型，将所述图像数据输入所述压力检测模型进行检测，输出压力分类结果；
压力提示装置，根据所述压力分类结果控制压力提示装置的工作状态。
本发明所采用的另一技术方案是：
一种基于图像识别的压力检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过采集图像数据来进行压力检测，避免使用辅助设备进行接触式检测，适用于一些不方便穿戴设备检测的场景，实施性更强。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于图像识别的压力检测系统的整体结构图；
图2是本发明实施例中压力检测卷积神经网络训练过程示意图；
图3是本发明实施例中压力检测卷积神经网络模型图；
图4是本发明实施例中压力检测卷积神经网路推理过程示意图；
图5是本发明实施例中压力检测终端示意图；
图6是本发明实施例中一种基于图像识别的压力检测方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图6所示，本实施例提供一种基于图像识别的压力检测方法，包括以下步骤：
实施例一
S1、获取视频数据和脉搏信号，根据视频数据和脉搏信号构建训练集。
让实验者观看不同的类型的视频片段，从而产生不同的压力状态，收集视频图像信息，并佩戴可穿戴设备获取相应脉搏信号，组建训练集，具体可采用以下步骤来实现：
S11、实验中的收集图像信息的摄像头位于被检测者前方，收集到被检测者的正脸图像；
S12、收集的图像信息是彩色图像，以便后续通过图像RGB通道提取特称进行训练和推理；
S13、通过佩戴可穿戴设备获取被检测者脉搏信号，与视频信息时间上相对应。
S14、图像视频信息进入卷积神经网络前将通过一个人脸检测模块，将图像中的人脸提取出来并进行正则化，进入卷积神经网络的人脸图像大小为64×64×3；
S15、对脉搏信号的原始数据进行经验模态分解，去除基线漂移，得到无基线漂移的波形信号；
S16、通过特征提取模块从波形信号中提取小波变换特征，用于辅助训练。
其中，小波分解的公式为：
Figure BDA0002869924350000041
式中，WTf(a,τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，
Figure BDA0002869924350000042
为基波分解函数，f(t)为波形信号。
S2、建立卷积神经网络，采用训练集对卷积神经网络进行训练，获得压力检测模型。
其中，步骤S2包括以下步骤：
S21、经过处理的人脸图像进入卷积神经网络进行特征提取，其中卷积神经网络中卷积层一共有三层；
S22、卷积层最后所得到的特征图展开为一维向量，并输入全连接层进行降维，降维后的数据被输入Softmax分类函数进行分类，分类结果为三种，分别是无压力、有一定压力和有较大压力；
S23、脉搏信号在Softmax分类训练阶段进行辅助训练；
S24、卷积神经网络模型的每一层卷积层所使用的激活函数为Relu。采取Relu作为激活函数，是由于Relu求导计算量小且Relu不会引起梯度消失，简化了卷积神经网络训练过程的计算量。
S3、获取图像数据，将图像数据输入压力检测模型进行检测，输出压力提示信号。
完成训练后将是一个端对端的从图像信息直接输出压力信息的卷积神经网络模型，将模型部署到压力检测终端的推理模块中，开启运行后，压力检测终端将根据摄像头收集到的图像实时输出压力提示信号。具体包括以下步骤：
S31、训练完成的卷积神经网络部署在压力检测终端的推理模块后，压力检测终端中的摄像头收集视频图像并实时传入推理模块；
S32、视频图像进入推理模块后，先进行视频图像的处理，提取出人脸图像，再将人脸图像输入卷积神经网络，然后输出结果并传输给压力提示灯；
S33、压力提示灯根据推理模块输出的结果，亮相应的提示灯，其中无压力时亮绿灯，有一定压力时亮黄灯，有较大压力时亮红灯。
如图1所示，本实施例还提供一种基于图像识别的压力检测系统，包括压力检测终端和卷积神经网络；其中，原始图像信息是压力检测终端中摄像头收集到的信息。
如图2所示，对视频数据进行处理，对脉搏信号进行处理，并提取特征作为标签用于辅助训练，建立卷积神经网络，训练相关的算法模型。图像视频信息进入卷积神经网络前将通过一个人脸检测模块，将图像中的人脸提取出来并进行正则化。本实施例中，进入卷积神经网络的人脸图像大小为64×64×3。对脉搏信号的原始数据进行经验模态分解，去除基线漂移，得到无基线漂移的波形信号，再提取小波变换特征，用于辅助训练。
如图3所示，经过处理的人脸图像进入卷积神经网络进行特征提取。本实施例中，卷积神经网络中卷积层一共有三层。卷积层最后所得到的特征图展开为一维向量，并输入全连接层进行降维，降维后的数据被输入Softmax分类函数进行分类，分类结果为三种，分别是无压力、有一定压力和有较大压力。脉搏信号在Softmax分类训练阶段进行辅助训练。
如图4所示，训练完成后的推理不需要加入脉搏信号，卷积神经网络直接从图像推理输出压力结果。该卷积神经网络是端对端的，直接接收处理后的人脸图像并输出压力结果，更有利于在压力检测终端的推理模块进行部署。
综上所述，本实施例相对于现有技术，具有如下有益效果：
(1)本实施例引入卷积神经网路，同时通过收集到的脉搏信号辅助训练。可以有效解决图像用于压力检测识别率不高的问题，使卷积神经网络通过摄像头收集到的图像信息可以准确地检测出当前被检测者地压力状况。
(2)本实施例引入卷积神经网路，同时通过收集到的脉搏信号辅助训练。可以有效解决图像用于压力检测识别率不高的问题，使卷积神经网络通过摄像头收集到的图像信息可以准确地检测出当前被检测者地压力状况。
(3)本实施例中压力检测终端通过摄像头、推理模块和压力提示灯组成，结构简单有效，部署便利，可实施性强。
(4)本实施例使用轻量型卷积神经网路和结构简洁的车载终端，有较好的实时性，可实时提示被检测者。
(5)本实施例中压力提示灯包括无压力时会亮的绿灯，有一定压力时会亮的黄灯，有较大压力时会亮的红灯。输出结果提示性强，便于提示被检测者及时调整心理状态。
实施例二
如图5所示，本实施例提供一种基于图像识别的压力检测系统，本实施例以驾驶情景作为实施例子，为了实时检测驾驶者的压力状态，将压力监测系统部署在车载视频终端中，车载视频终端包括：摄像头、推理模块和压力提示灯。
其中，原始图像信息是压力检测终端中摄像头收集到的信息。
其中，摄像头为车载视频摄像头，该摄像头为RGB摄像头，并将所收集的视频图像传入推理模块。
其中，推理模块包括处理单元和推理单元。
其中，压力提示灯包括无压力时会亮的绿灯，有一定压力时会亮的黄灯，有较大压力时会亮的红灯。
其中，车载视频终端中的摄像头收集视频图像并实时传入推理模块，视频图像进入推理模块后，先进行视频图像的处理，提取出人脸图像，再将人脸图像输入卷积神经网络，然后输出结果并传输给压力提示灯；压力提示灯根据推理模块输出的结果，亮相应的提示灯，其中无压力时亮绿灯，有一定压力时亮黄灯，有较大压力时亮红灯。
实施例三
本实施例还提供一种基于图像识别的压力检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图6所示的方法。
本实施例的一种基于图像识别的压力检测装置，可执行本发明方法实施例所提供的一种基于图像识别的压力检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图6所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于图像识别的压力检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于图像识别的压力检测方法，其特征在于，包括以下步骤：
获取视频数据和脉搏信号，根据所述视频数据和所述脉搏信号构建训练集；建立卷积神经网络，采用所述训练集对卷积神经网络进行训练，获得压力检测模型；
获取图像数据，将所述图像数据输入所述压力检测模型进行检测，输出压力提示信号；
所述获取视频数据和脉搏信号，包括：
收集被检测者的视频数据，根据所述视频数据获取正脸图像；
获取被检测者的脉搏信号，在时间上将所述脉搏信号与所述视频数据进行匹配；
所述根据所述视频数据获取正脸图像，包括：
将所述视频数据输入预设的人脸检测模块进行人脸检测，提取图像中的人脸并进行正则化，获得正脸图像；
调节所述正脸图像的尺寸；
所述获取被检测者的脉搏信号的步骤还包括对脉搏信号进行处理的步骤，具体为：
对所述脉搏信号的原始数据进行经验模态分解，去除基线漂移，获得无基线漂移的波形信号；
从所述波形信号中提取小波变换特征，用于辅助训练；
所述采用所述训练集对卷积神经网络进行训练，包括：
将所述正脸图像输入所述卷积神经网络进行特征提取，其中，所述卷积神经网络包括三层卷积层；
在最后一层卷积层获得展开为一维向量的特征图，将所述特征图输入全连接层进行降维；
降维后的数据输入Softmax分类函数进行分类，分类结果为三种，分别为无压力、有一定压力和有较大压力；
所述脉搏信号在Softmax分类训练阶段进行辅助训练；
所述小波变换特征通过以下公式分解提取：
Figure FDA0004095281100000021
其中，WTf(a,τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，
Figure FDA0004095281100000022
为基波分解函数，f(t)为波形信号。
2.根据权利要求1所述的一种基于图像识别的压力检测方法，其特征在于，所述卷积神经网络的每一层卷积层所使用的激活函数为Relu函数。
3.根据权利要求1所述的一种基于图像识别的压力检测方法，其特征在于，所述将所述图像数据输入所述压力检测模型进行检测，输出压力提示信号，包括：
根据所述图像数据获取人脸图像，将所述人脸图像输入所述压力检测模型进行检测，输出压力分类结果；
根据所述压力分类结果控制压力提示装置的工作状态。
4.一种基于图像识别的压力检测系统，其特征在于，包括：
摄像头，用于采集图像数据；
推理模块，所述推理模块内部署有压力检测模型，将所述图像数据输入所述压力检测模型进行检测，输出压力分类结果；
压力提示装置，根据所述压力分类结果控制压力提示装置的工作状态；
所述压力检测模型通过以下方式获得：
获取视频数据和脉搏信号，根据所述视频数据和所述脉搏信号构建训练集；建立卷积神经网络，采用所述训练集对卷积神经网络进行训练，获得压力检测模型；
所述获取视频数据和脉搏信号，包括：
收集被检测者的视频数据，根据所述视频数据获取正脸图像；
获取被检测者的脉搏信号，在时间上将所述脉搏信号与所述视频数据进行匹配；
所述根据所述视频数据获取正脸图像，包括：
将所述视频数据输入预设的人脸检测模块进行人脸检测，提取图像中的人脸并进行正则化，获得正脸图像；
调节所述正脸图像的尺寸；
所述获取被检测者的脉搏信号的步骤还包括对脉搏信号进行处理的步骤，具体为：
对所述脉搏信号的原始数据进行经验模态分解，去除基线漂移，获得无基线漂移的波形信号；
从所述波形信号中提取小波变换特征，用于辅助训练；
所述采用所述训练集对卷积神经网络进行训练，包括：
将所述正脸图像输入所述卷积神经网络进行特征提取，其中，所述卷积神经网络包括三层卷积层；
在最后一层卷积层获得展开为一维向量的特征图，将所述特征图输入全连接层进行降维；
降维后的数据输入Softmax分类函数进行分类，分类结果为三种，分别为无压力、有一定压力和有较大压力；
所述脉搏信号在Softmax分类训练阶段进行辅助训练；
所述小波变换特征通过以下公式分解提取：
Figure FDA0004095281100000031
其中，WTf(a,τ)为分解结果，a为变换尺度,τ为时域偏移，t为时间，
Figure FDA0004095281100000032
为基波分解函数，f(t)为波形信号。
5.一种基于图像识别的压力检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-3任一项所述的一种基于图像识别的压力检测方法。
6.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-3任一项所述方法。
CN202011603691.6A 2020-12-29 2020-12-29 基于图像识别的压力检测方法、系统、装置及存储介质 Active CN112712022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011603691.6A CN112712022B (zh) 2020-12-29 2020-12-29 基于图像识别的压力检测方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011603691.6A CN112712022B (zh) 2020-12-29 2020-12-29 基于图像识别的压力检测方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112712022A CN112712022A (zh) 2021-04-27
CN112712022B true CN112712022B (zh) 2023-05-23

Family

ID=75546893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011603691.6A Active CN112712022B (zh) 2020-12-29 2020-12-29 基于图像识别的压力检测方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112712022B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109247923A (zh) * 2018-11-15 2019-01-22 中国科学院自动化研究所 基于视频的非接触式脉搏实时估计方法及设备
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038474B (zh) * 2017-12-28 2020-04-14 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109993093B (zh) * 2019-03-25 2022-10-25 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN111407243B (zh) * 2020-03-23 2021-05-14 华南理工大学 一种基于深度学习的脉搏信号压力识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN109247923A (zh) * 2018-11-15 2019-01-22 中国科学院自动化研究所 基于视频的非接触式脉搏实时估计方法及设备

Also Published As

Publication number Publication date
CN112712022A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
Fernandes et al. A novel nonintrusive decision support approach for heart rate measurement
Cui et al. A compact and interpretable convolutional neural network for cross-subject driver drowsiness detection from single-channel EEG
KR102265934B1 (ko) 모바일 단말을 이용한 맥파 신호 및 스트레스 측정 방법 및 장치
Swami et al. A novel robust diagnostic model to detect seizures in electroencephalography
Haputhanthri et al. An EEG based channel optimized classification approach for autism spectrum disorder
CN206086596U (zh) 确定驾驶者是否可以操作车辆的系统
Vesselenyi et al. Driver drowsiness detection using ANN image processing
KR20030063640A (ko) 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
CN108742660A (zh) 一种基于可穿戴设备的情绪识别方法
US20240081705A1 (en) Non-contact fatigue detection system and method based on rppg
Tayibnapis et al. A novel driver fatigue monitoring using optical imaging of face on safe driving system
Rundo et al. Innovative saliency based deep driving scene understanding system for automatic safety assessment in next-generation cars
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
CN112712022B (zh) 基于图像识别的压力检测方法、系统、装置及存储介质
Shahrudin et al. Driver drowsiness detection using different classification algorithms
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
Gu et al. Analysis of physiological responses from multiple subjects for emotion recognition
Murugappan et al. Subtractive fuzzy classifier based driver drowsiness levels classification using EEG
Asgari et al. A robust approach toward recognizing valid arterial-blood-pressure pulses
Dzitac et al. Fuzzy algorithm for human drowsiness detection devices
Nikhil et al. A conceptual analysis for the measurement of stress intensity by deep learning using EEG signals
Razak et al. Comparative Study of Machine Learning Algorithms in Classifying HRV for the Driver’s Physiological Condition
Nisa'Minhad et al. Assessments of Autonomic Nervous System Biomarker for Emotion Recognition using Electrodermal Activity Signal
Hole et al. Spatial feature extraction based eeg stress detection system
Rundo et al. Visual Saliency Detection in Advanced Driver Assistance Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant