CN110298325A - 基于视频表情识别的表达障碍患者辅助护理系统 - Google Patents
基于视频表情识别的表达障碍患者辅助护理系统 Download PDFInfo
- Publication number
- CN110298325A CN110298325A CN201910593597.8A CN201910593597A CN110298325A CN 110298325 A CN110298325 A CN 110298325A CN 201910593597 A CN201910593597 A CN 201910593597A CN 110298325 A CN110298325 A CN 110298325A
- Authority
- CN
- China
- Prior art keywords
- expression
- video
- patient
- expression recognition
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；利用深度卷积神经网络的良好非线性拟合的优点，构建出高性能的视频表情识别系统，通过构建高性能的视频表情识别深度神经网络模型，用于表情的自动识别，可以应用于表达障碍患者辅助护理系统，以极大地提高患者护理的质量。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及基于视频表情识别的表达障碍患者辅助护理系统。
背景技术
情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，包括伴随这种心理反应的生理反应。对人类情绪的感知与描述是当前神经科学、心理学、认知科学、计算机科学和人工智能等领域中的热点交叉研究课题。在人们的日常工作和生活中，情绪的作用无处不在。特别是在医疗护理中，如果能够知道患者、特别是有表达障碍的患者的情绪状态，就可以迅速将患者的情绪状况传送给护理人员，并及时根据患者的情绪做出不同的护理措施，提高护理质量。因此，表达障碍患者的情绪分析对提高护理质量来说非常重要。本发明提出一种基于视频表情识别的表达障碍患者辅助护理系统，以极大地提高患者护理的质量。
发明内容
针对上述问题，本发明提出了基于视频表情识别的表达障碍患者辅助护理系统，利用深度卷积神经网络的良好非线性拟合的优点，构建一种高性能的视频表情识别系统，用于医疗护理中。
本发明通过以下技术方案来实现上述目的：
基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；
采集视频模块用于收集患者表情数据集，并手动标注训练样本；收集的患者表情包括如下4种表情：厌恶、恐惧、快乐、悲伤；
人脸检测模块在得到表情数据集后根据目前比较成熟的人脸区域检测算法将人脸区域的视频裁剪出来，为后续使用；
基于深度神经网络的表情识别模块包括动态检测与静态检测两部分，静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU层，第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小；动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中，区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层；动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果，该融合过程可用如下公式表示：
O＝αA+(1-α)B，0≤α≤1；
其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果；
护理建议生成模块根据识别到的表情信息，判断患者的精神状态，若长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量，并将识别结果以及推荐的护理方案及时反馈给护理人员。
本申请另一方面提供了上述基于视频表情识别的表达障碍患者辅助护理系统的护理方法，包括以下步骤：
(1)构建视频表情识别深度神经网络模型，用于表情的自动识别；
(2)采集患者表情数据集，并构建标注的训练样本；
(3)利用(1)中模型以及(2)中的训练集，对网络模型进行优化训练；
(4)将(3)中得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据；
(5)采集到实际患者视频后，采用人脸区域检测算法将人脸区域的视频裁剪出来，并利用训练得到的深度卷积神经网络对输入人脸视频序列进行表情识别；
(6)将识别到的表情信息以及推荐的护理方案及时反馈给护理人员。
本发明的有益效果在于：
本发明利用深度卷积神经网络的良好非线性拟合的优点，构建出高性能的视频表情识别系统，通过构建高性能的视频表情识别深度神经网络模型，用于表情的自动识别，可以应用于表达障碍患者辅助护理系统，以极大地提高患者护理的质量。
本发明方法能够较好地提升护理效果，且提出的视频表情识别模块，能够很容易地扩展到别的领域，诸如用户满意度判别、员工工作状态感知、学生课堂状态判别等。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的工作流程示意图；
图2为本发明基于深度卷积神经网络的视频表情识别网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
在任一实施例中，如图1所示，本发明的基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；
采集视频模块用于收集患者表情数据集，并手动标注训练样本；收集的患者表情包括如下4种表情：厌恶、恐惧、快乐、悲伤；
人脸检测模块在得到表情数据集后根据目前比较成熟的人脸区域检测算法将人脸区域的视频裁剪出来，为后续使用；
基于深度神经网络的表情识别模块包括动态检测与静态检测两部分，静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU层，第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小；动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中，区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层；动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果，该融合过程可用如下公式表示：
O＝αA+(1-α)B，0≤α≤1；
其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果；
护理建议生成模块根据识别到的表情信息，判断患者的精神状态，若长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量，并将识别结果以及推荐的护理方案及时反馈给护理人员。
在一个具体实施例中，如图2所示，本申请提供了上述的本申请另一方面提供了上述基于视频表情识别的表达障碍患者辅助护理系统的护理方法，包括以下步骤：
(1)构建视频表情识别深度神经网络模型，用于表情的自动识别；
(2)采集患者表情数据集，并构建标注的训练样本；
(3)利用(1)中模型以及(2)中的训练集，对网络模型进行优化训练；
(4)将(3)中得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据；
(5)采集到实际患者视频后，采用人脸区域检测算法将人脸区域的视频裁剪出来，并利用训练得到的深度卷积神经网络对输入人脸视频序列进行表情识别；
(6)将识别到的表情信息以及推荐的护理方案及时反馈给护理人员。
所述(1)中，我们构建如图2所示的基于深度卷积神经网络的视频表情识别网络模型。该网络包含动态检测与静态检测两部分，最终将两部分的估计结果进行融合。先就静态检测部分进行介绍。静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU(激活函数)层。第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小。动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中。区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层。动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果。该融合过程可用如下公式表示：
O＝αA+(1-α)B，0≤α≤1；
其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果。
所述(2)中，我们采集大量的患者表情数据集，并手动标注训练样本。我们采用的患者表情包含如下4种：厌恶、恐惧、快乐、悲伤。
所述(3)中，我们首先利用(2)中得到的训练样本来训练(1)中构建的基于深度卷积神经网络的深度视频表情识别模型。
所述(4)中，将(3)得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据，用于后期视频表情识别。
所述(5)中，在采集到实际患者视频后，采用人脸区域检测算法将人脸区域的视频裁剪出来，并利用训练得到的深度卷积神经网络对输入人脸视频序列进行表情识别，得到表情估计结果。
所述(6)中，根据识别到的表情信息，判断患者的精神状态。如果长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量。最后，将识别结果以及推荐的护理方案及时反馈给护理人员。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (2)
1.基于视频表情识别的表达障碍患者辅助护理系统，其特征在于，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；
采集视频模块用于收集患者表情数据集，并手动标注训练样本；收集的患者表情包括如下4种表情：厌恶、恐惧、快乐、悲伤；
人脸检测模块在得到表情数据集后根据目前比较成熟的人脸区域检测算法将人脸区域的视频裁剪出来，为后续使用；
基于深度神经网络的表情识别模块包括动态检测与静态检测两部分，静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU层，第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小；动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中，区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层；动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果，该融合过程可用如下公式表示：
O＝αA+(1-α)B，0≤α≤1；
其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果；
护理建议生成模块根据识别到的表情信息，判断患者的精神状态，若长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量，并将识别结果以及推荐的护理方案及时反馈给护理人员。
2.如权利要求1所述基于视频表情识别的表达障碍患者辅助护理系统的护理方法，其特征在于，包括以下步骤：
(1)构建视频表情识别深度神经网络模型，用于表情的自动识别；
(2)采集患者表情数据集，并构建标注的训练样本；
(3)利用(1)中模型以及(2)中的训练集，对网络模型进行优化训练；
(4)将(3)中得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据；
(5)采集到实际患者视频后，采用人脸区域检测算法将人脸区域的视频裁剪出来，并利用训练得到的深度卷积神经网络对输入人脸视频序列进行表情识别；
(6)将识别到的表情信息以及推荐的护理方案及时反馈给护理人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910593597.8A CN110298325A (zh) | 2019-07-02 | 2019-07-02 | 基于视频表情识别的表达障碍患者辅助护理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910593597.8A CN110298325A (zh) | 2019-07-02 | 2019-07-02 | 基于视频表情识别的表达障碍患者辅助护理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298325A true CN110298325A (zh) | 2019-10-01 |
Family
ID=68030044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910593597.8A Pending CN110298325A (zh) | 2019-07-02 | 2019-07-02 | 基于视频表情识别的表达障碍患者辅助护理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298325A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762184A (zh) * | 2021-09-13 | 2021-12-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184239A (zh) * | 2015-08-27 | 2015-12-23 | 沈阳工业大学 | 基于患者表情识别的病房辅助医护系统及辅助医护方法 |
| CN107242876A (zh) * | 2017-04-20 | 2017-10-13 | 合肥工业大学 | 一种用于精神状态辅助诊断的计算机视觉方法 |
| CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN108710829A (zh) * | 2018-04-19 | 2018-10-26 | 北京红云智胜科技有限公司 | 一种基于深度学习的表情分类及微表情检测的方法 |
| CN109508654A (zh) * | 2018-10-26 | 2019-03-22 | 中国地质大学（武汉） | 融合多任务和多尺度卷积神经网络的人脸分析方法及系统 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109815785A (zh) * | 2018-12-05 | 2019-05-28 | 四川大学 | 一种基于双流卷积神经网络的人脸情绪识别方法 |
| CN109902632A (zh) * | 2019-03-02 | 2019-06-18 | 西安电子科技大学 | 一种面向老人异常的视频分析装置及视频分析方法 |
-
2019
- 2019-07-02 CN CN201910593597.8A patent/CN110298325A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184239A (zh) * | 2015-08-27 | 2015-12-23 | 沈阳工业大学 | 基于患者表情识别的病房辅助医护系统及辅助医护方法 |
| CN107242876A (zh) * | 2017-04-20 | 2017-10-13 | 合肥工业大学 | 一种用于精神状态辅助诊断的计算机视觉方法 |
| CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN108710829A (zh) * | 2018-04-19 | 2018-10-26 | 北京红云智胜科技有限公司 | 一种基于深度学习的表情分类及微表情检测的方法 |
| CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109508654A (zh) * | 2018-10-26 | 2019-03-22 | 中国地质大学（武汉） | 融合多任务和多尺度卷积神经网络的人脸分析方法及系统 |
| CN109815785A (zh) * | 2018-12-05 | 2019-05-28 | 四川大学 | 一种基于双流卷积神经网络的人脸情绪识别方法 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109902632A (zh) * | 2019-03-02 | 2019-06-18 | 西安电子科技大学 | 一种面向老人异常的视频分析装置及视频分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| 卿粼波 等: "基于多流CNN-LSTM网络的群体情绪识别", 《计算机应用研究》 * |
| 潘仙张 等: "多模深度卷积神经网络应用于视频表情识别", 《光学 精密工程》 * |
| 王露 等: "基于公共空间视频的人脸情绪识别", 《安徽工业大学学报(自然科学版)》 * |
| 王高峰: "基于AAM的人脸识别与表情分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762184A (zh) * | 2021-09-13 | 2021-12-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104871160B (zh) | 用于感觉和认知剖析的系统和方法 | |
| McCullough et al. | Neural organization for recognition of grammatical and emotional facial expressions in deaf ASL signers and hearing nonsigners | |
| Ngai et al. | Emotion recognition based on convolutional neural networks and heterogeneous bio-signal data sources | |
| Itier et al. | Neural bases of eye and gaze processing: the core of social cognition | |
| CN112120716A (zh) | 一种可穿戴式多模态情绪状态监测装置 | |
| Li et al. | Multi-modal bioelectrical signal fusion analysis based on different acquisition devices and scene settings: Overview, challenges, and novel orientation | |
| Bolzani Dinehart et al. | Adult perceptions of positive and negative infant emotional expressions | |
| KR102288267B1 (ko) | 인공지능 기반 뇌 정보 제공 방법 | |
| Lazzeri et al. | Can a humanoid face be expressive? A psychophysiological investigation | |
| Lai et al. | Facial age after-effects show partial identity invariance and transfer from hands to faces | |
| Baghdadi et al. | Dasps: a database for anxious states based on a psychological stimulation | |
| Ginsburg et al. | Bodily states and context in situated lines of action | |
| CN110298325A (zh) | 基于视频表情识别的表达障碍患者辅助护理系统 | |
| Boccignone et al. | Stairway to Elders: bridging space, time and emotions in their social environment for wellbeing | |
| Michelon et al. | Less impairment in face imagery than face perception in early prosopagnosia | |
| Niedbalski | The Trajectory of Suffering—Parents of Children with Intellectual Disability on the Future | |
| Wolfe | Knowing the self: Building a bridge from basic research to clinical practice. | |
| Owens et al. | Qualitative research in the field of death and dying | |
| Shahraki et al. | The Impact of Brain–Computer Interface on Lifestyle of Elderly People | |
| Peng et al. | The affective facial recognition task: The influence of cognitive styles and exposure times | |
| Mele et al. | Facial expressions as a model to test the role of the sensorimotor system in the visual perception of the actions | |
| Skog et al. | Change of outlook on elderly persons with dementia: a study of trainees during a year of special education | |
| Launeanu et al. | Conceptualizing and measuring embodiment: Lessons from a response processes inquiry with women recovering from anorexia nervosa | |
| Kaur et al. | The applicability of BCI in different domains | |
| Li | A Dual-Modality Emotion Recognition System of EEG and Facial Images and its |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |
|
| RJ01 | Rejection of invention patent application after publication |