CN115357073A - 一种基于老年人微表情及行为的智能健康环境调控系统 - Google Patents

Abstract

一种基于老年人微表情及行为的智能健康环境调控系统，涉及智能控制技术领域。本发明是为了解决目前的室内环境调控方法还存在无法适应个体差异，从而导致调控准确率低的问题。本发明包括：具有传感器的电子标签、智能节点、控制中心；具有传感器的电子标签用于获取用户参数和室内环境参数；智能节点用于读取具有传感器的电子标签获取的信息；控制中心用于将用户体征参数与预设用户参数阈值范围比较，若用户体征参数在预设用户参数阈值范围内，则无需调节；若用户体征参数不在预设用户参数阈值范围内，则将室内环境参数与预设的第一室内环境阈值对比，并根据对比结果向空调、新风机、室内灯光、隔声发送调节指令。本发明用于对老人居住环境调控。

Description

一种基于老年人微表情及行为的智能健康环境调控系统

技术领域

本发明涉及智能控制技术领域，特别涉及一种基于老年人微表情及行为的智能健康环境调控系统。

背景技术

从长期健康管理来看，维持正常的免疫水平可以有效减少远期罹患各种感染性疾病、过敏性疾病甚至癌症的风险。诚然，人体免疫水平与遗传因素、睡眠、压力、饮食等均存在密不可分的关系，但体力活动、情绪心理等对人体免疫水平的调节同样具有十分重要的作用。Eskola J与Monjan较早地提出适度运动对机体是一种良性刺激，可以增强人体免疫细胞的活性。Machinnon.L.T指出精神过度忧虑或心理的极度压抑会造成人体免疫系统的损害，这部分人群体内淋巴细胞的活性显著低于同年龄、性别及种族的普通人。与此同时，积极的城市建成环境在促进居民的体力活动、改善居民的消极情绪心理等方面具有显著的作用。因此，健康的城市建成环境有助于人体保持正常的免疫水平。

相比于其它城市建成环境，住区承载了更多居民日常生活服务活动。以美国疾控中心 (CDC)为代表的流行病学研究领域、渥太华《健康促进宪章》中均强调住区建成环境对居民健康的重要作用。中国城市规划学会也提出未来应按照人的活动规律配置各类基本生活服务设施、公共活动空间等，形成社区生活的良好环境，因此从住区建成环境角度研究居民免疫水平提升具有重要意义。尤其是老年人群体，是对环境变化最为敏感的人群之一，因此为老年人创造健康环境是当务之急。

目前针对老年人的环境调控方法主要是根据环境影响因子、老人年龄、居住面积计算出空调、照明灯开度阈值，然后根据开度阈值对老人所在环境进行调节，然而由于个性、生活差异、行为习惯的不同，不同的老人对环境的感受并不相同，而且老人年一般还会患有各种疾病，也会导致生理指标的不同，因此设定统一阈值无法适应所有老人，所以目前针对老年人的环境调控方法还存在无法适应个体差异，从而导致调控准确率低的问题。

发明内容

本发明目的是为了解决目前的室内环境调控方法还存在无法适应个体差异，从而导致调控准确率低的问题，而提出了一种基于老年人微表情及行为的智能健康环境调控系统。

一种基于老年人微表情及行为的智能健康环境调控系统包括：具有传感器的电子标签、智能节点、控制中心；

所述具有传感器的电子标签用于获取用户参数和室内环境参数；

所述用户参数包括：用户体征参数、行为参数、微表情信息；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

所述室内环境参数包括：温度、湿度、声压级、光亮度、空气质量；

所述空气质量包括：颗粒物浓度、含氧量；

所述智能节点用于读取具有传感器的电子标签获取的信息，并将信息发送给控制中心；

所述控制中心用于将用户体征参数与预设用户参数阈值范围比较，若用户体征参数在预设用户参数阈值范围内，则表示老年人当前为舒适状态，无需调节；若用户体征参数不在预设用户参数阈值范围内，则老年人当前为不舒适状态，将室内环境参数与预设的第一室内环境阈值进行对比，并根据对比结果向空调、新风机、室内灯光、隔声装置发送调节指令，调节后再将用户体征参数与用户预设参数阈值比较直到老年人处于舒适状态为止；

所述在用户参数阈值范围，通过以下方式获得：

步骤一、采集中年人和老人表情视频片段，并利用CASME II数据集对采集到的中年人表情和老人表情进行标注，获得标注后的成年人和老人表情视频片段；

步骤二、对标注后的老年人和中年人表情视频片段进行预处理，将预处理后的老年人和中年人表情视频片段进行对比，获得老年人与中年人的表情差异；

步骤三、根据步骤二获得的老年人与中年人的表情差异，采用迁移学习算法将中年人的微表情迁移到老年人微表情上，获得老年人微表情；

步骤四、采用人工智能AI深度学习方法利用步骤三获得的老年人微表情构建老年人微表情库；

步骤五、采用3D行为识别系统捕捉老人行为特征规律，并利用行为规律建立行为规律数据库；

步骤六、获取步骤四获得的老人微表情库中的不同微表情和步骤五获得的行为规律数据库中不同行为下的老人用户体征参数；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

步骤七、收集老年人对自我情绪的评价，获得老人的情绪分级，然后将老人的情绪分级与步骤四和步骤五获得的老年人微表情库、行为规律数据库和步骤六获得老人用户体征参数建立映射关系，从而获得老人舒适范围微表情、行为规律和用户体征参数范围即用户参数阈值范围。

本发明的有益效果为：

本发明提出了利用老年人微表情获得用户参数阈值和第一室内环境阈值，利用两种阈值结合实时监测老年人是否觉得舒适，并能及时对老年人觉得不舒适的环境进行调节；本发明在微表情的基础上结合老人的行动特征，提升了判断老人是否舒适的准确率。本发明考虑到了老年人一般都患有不同程度疾病的情况，针对性的利用不同老人的微表情为不同老人制造舒适环境，兼顾了老年人间的个体差异，提高了室内环境调控的准确率。

附图说明

图1为本发明模块图。

具体实施方式

具体实施方式一：如图1所示，本实施方式一种基于老年人微表情及行为的智能健康环境调控系统包括：具有传感器的电子标签、智能节点、控制中心；

所述具有传感器的电子标签用于获取用户参数和室内环境参数；

所述用户参数包括：用户体征参数、行为参数、微表情信息；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

所述室内环境参数包括：温度、湿度、声压级、光亮度、空气质量；

所述空气质量包括：颗粒物浓度、含氧量；

所述智能节点用于读取具有传感器的电子标签获取的信息，并将信息发送给控制中心；

所述控制中心用于将用户参数与用户参数阈值范围比较，若用户参数在用户参数阈值范围内，则表示老年人当前为舒适状态，无需调节；若用户参数不在用户参数阈值范围内，则老年人当前为不舒适状态，将室内环境参数与第一室内环境阈值进行对比，并根据对比结果向空调、新风机、室内灯光、隔声等装置发送调节指令，调节后再将用户参数与用户预设参数阈值比较直到老年人处于舒适状态为止。

具体实施方式二：所述预设用户参数阈值范围通过以下方式获得：

步骤一、采集中年人和老人表情视频片段，并利用CASME II数据集对采集到的中年人表情和老人表情进行标注，获得标注后的成年人和老人表情视频片段；

所述中年人和老人表情视频片段利用高速摄像机获得；

所述利用CASME II数据集对采集到的老人表情进行标注包括：表情活动的起点(Onset)、峰值点(Apex)与结束(Offset)、情感标注和面部活动单元(AU)标注；

步骤二、对标注后的老年人和中年人表情视频片段进行预处理，将预处理后的老年人和中年人表情视频片段进行对比，获得老年人与中年人的表情差异；

所述将标注后的老年人和中年人表情视频片段进行对比包括：面部区域比对、基准点比对、表情情感比对、个体表情特征比对；

步骤三、根据步骤二获得的老年人与中年人的表情差异，采用迁移学习算法将中年人的微表情迁移到老年人微表情上，获得老年人微表情；

将老年人微表情习惯输入神经网络，通过神经网络的迁移学习算法，以及将老年人表情和中年人表情的变化和特征对比进行分析，获得的微表情差异结果；

步骤四、采用人工智能AI深度学习方法利用步骤三获得的老年人微表情构建老年人微表情库；

所述人工智能AI深度学习方法可以选择朴素贝叶斯算法；

步骤五、采用3D行为识别系统捕捉老人行为特征规律，并利用行为规律建立行为规律数据库：

步骤五一、建立3D行为模型：

首先，将人体的主要关节和肢体视作不同的点，捕捉人体的行为和位置，采用行为捕捉中，点、线、面及体特征提取信息融合的方法，捕捉用户的行为特点，建立人体姿态、行为、体态模拟模型即3D行为模型；建立的3D行为模型，可以更好地将使用者与周围的环境区分开；

步骤五二、利用步骤五一获得的3D行为模型获得老人行为特征规律：

首先，根据步骤五一建立的3D行为模型获得老人的关节变化；

然后，将关节变化输入到训练好的深度信念网络中获得老人当前动作状态；

所述动作状态包括：静态活动、动态活动；坐立和站立；

然后，将老人当前动作状态输入到训练好的训练好的3D深度卷积神经网络中获得预测的老人后续行为，并根据预测的老人后续行为即为老人行为特征规律。

本步骤中，将现场采集到的老年人3D行为通过深度信念网络(deepbeliefnetwork，DBN) 进行分析，采集到老年人行为信息，通过关节变化特点，进行预测老年人的后续活动，以此对老年人的行为进行大组分类，如静态活动、动态活动；坐立和站立等。在此基础上对活动进行更加细致的划分，比如散步、坐着聊天、打牌等。此时活动采用3D的深度卷积神经网络进行分析，通过对老人行为的特点，以及预测的后续行为，对老人的行为采取更加精细的步骤。比如捕捉到老人为坐姿，那么就不需要再捕捉其腰部以下的节点特征，只需要捕捉老人腰部以上行为进行更加精准的分析。此外当老人为2人以上组团时，或者相隔较近时，要同时捕捉和分析成组老人的行为，通过3D的深度卷积神经网络将其行为关系进行预测和分析，获得更加精准的老年人活动行为。

步骤五三、利用的老人行为规律构建行为规律数据库；

步骤六、获取步骤四获得的老人微表情库中的不同微表情和步骤五获得的行为规律数据库中不同行为下的老人用户体征参数；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

步骤七、收集老年人对自我情绪的评价，获得老人的情绪分级，然后将老人的情绪分级与步骤四和步骤五获得的老年人微表情库、行为规律数据库和步骤六获得老人用户体征参数进行拟合，从而获得老人舒适范围微表情、行为规律和用户体征参数范围即用户参数阈值范围；

在步骤四和步骤五的数据库同时，收集老人对自我情绪的评价。通过语义学，将老人的情绪描绘进行扩展，在“舒适、不舒适、焦虑、烦躁、开心、悲伤”的基础上补充放松、喜悦等情绪分级。并且每一组情绪描述都采用“非常舒适——非常不舒适”对比词语，并采用程度7级分级评价，确保更加精准获得老年人的情绪感知。将获得的老年人情绪评价、步骤六获得的老人生理参数与步骤四和步骤五获得的数据库进行拟合分析。将各部分数据拟合后的结果，通过老年人情绪评价作为中介，建立步骤四和步骤五数据库之间的联系，计算出用户参数阈值范围；

具体实施方式三：所述预设的第一室内环境阈值，通过以下方式获得：

S1、获取老年人在不同状态下的室内环境参数：

S101、利用传感器获得老年人在不同状态条件下的室内温度、湿度、声压级、光亮度、空气质量；

所述不同状态条件包括：舒适、不舒适、焦虑、烦躁、开心、悲伤；

S102、利用传感器获得老年人在不同状态条件下的皮肤散热指标；利用智能手环获取老年人在不同状态条件下老年人的心跳、皮电、体温；

S2、将S1获得的老年人在不同状态下的室内环境参数输入到训练好的神经网络中，获得室内环境参数指标区间；

S3、在环境参数指标区间中获得第一室内环境阈值；

其中，老人舒适条件下的指标区间即舒适室内环境参数指标区间。

具体实施方式四：所述步骤二中的将标注后的老年人和中年人表情视频片段进行预处理包括：

步骤二一、对老年人和中年人的表情视频片段进行裁剪：

使用ASM或其他算法提取人脸特征点，以左眼的位置以及双眼间的距离作为基准，控制人脸裁剪的位置与范围；

步骤二二、基于面部特征点对所有表情视频片段进行面部配准：

face register首先选择一张脸作为标准人脸图像，提取其特征点；对于每个视频片段，提取视频片段中第一帧的面部特征点，并计算一个映射函数(此处使用LWM算法)，将这帧图像的特征点映射到标准图像的特征点上；最后，将此映射作用在视频中的所有帧上。这种方法可以使所有视频片段中的人脸特征点位置相同，从而减少不同人脸的差异。

步骤二三、对表情视频片段进行时间延长：

由于表情的时间较短，所以在表情处理上需要延长表情的持续时间，这样有利于特征的稳定提取，因此需要对视频片段进行时域上的插值，增加微表情片段所包含的图像数，相当于变相延长了微表情的持续时间。

步骤二四、采用欧拉视频方法算法(Eulerian video magnification，EVM)对表情视频片段中的表情进行放大：

由于表情的动作不明显，想直接从视频片段中提取想要的特征是比较困难的，此时可以使用欧拉视频放大(Eulerian video magnification，EVM)算法来放大想要的动作。EVM算法的核心思想在于使用带通滤波器对视频进行滤波，获得我们想要的信号频率(此处我们关注的是表情的动作频率)，并对该频率的信号进行放大，该方法既可以用于放大视频中的颜色变化，又可以用于放大动作。

Claims (8)

1.一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于所述系统包括：具有传感器的电子标签、智能节点、控制中心；

所述具有传感器的电子标签用于获取用户参数和室内环境参数；

所述用户参数包括：用户体征参数、行为参数、微表情信息；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

所述室内环境参数包括：温度、湿度、声压级、光亮度、空气质量；

所述空气质量包括：颗粒物浓度、含氧量；

所述智能节点用于读取具有传感器的电子标签获取的信息，并将信息发送给控制中心；

所述控制中心用于将用户参数与用户参数阈值范围比较，若用户参数在用户参数阈值范围内，则表示老年人当前为舒适状态，无需调节；若用户参数不在用户参数阈值范围内，则老年人当前为不舒适状态，将室内环境参数与第一室内环境阈值进行对比，并根据对比结果向空调、新风机、室内灯光、隔声装置发送调节指令，调节后再将用户参数与用户预设参数阈值比较直到老年人处于舒适状态为止；

所述在用户参数阈值范围，通过以下方式获得：

步骤一、采集中年人和老人表情视频片段，并利用CASME II数据集对采集到的中年人表情和老人表情进行标注，获得标注后的成年人和老人表情视频片段；

步骤二、对标注后的老年人和中年人表情视频片段进行预处理，将预处理后的老年人和中年人表情视频片段进行对比，获得老年人与中年人的表情差异；

步骤三、根据步骤二获得的老年人与中年人的表情差异，采用迁移学习算法将中年人的微表情迁移到老年人微表情上，获得老年人微表情；

步骤四、采用人工智能AI深度学习方法利用步骤三获得的老年人微表情构建老年人微表情库；

步骤五、采用3D行为识别系统捕捉老人行为特征规律，并利用行为规律建立行为规律数据库；

步骤六、获取步骤四获得的老人微表情库中的不同微表情和步骤五获得的行为规律数据库中不同行为下的老人用户体征参数；

所述用户体征参数包括：皮肤散热指标、心跳数据、皮电数据、体温数据；

步骤七、收集老年人对自我情绪的评价，获得老人的情绪分级，然后将老人的情绪分级与步骤四和步骤五获得的老年人微表情库、行为规律数据库和步骤六获得老人用户体征参数建立映射关系，从而获得老人舒适范围微表情、行为规律和用户体征参数范围即用户参数阈值范围。

2.根据权利要求1所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述情绪分级为在“舒适、不舒适、焦虑、烦躁、开心、悲伤”的基础上补充放松、喜悦情绪分级。

3.根据权利要求2所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述步骤一中的利用CASME II数据集对采集到的中年人表情和老人表情进行标注，包括：表情活动的起点、峰值点、结束，情感，面部活动单元。

4.根据权利要求3所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述步骤二中的对标注后的老年人和中年人表情视频片段进行预处理，包括：裁剪面部区域、面部配准、表情视频片段延长、表情放大。

5.根据权利要求4所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述步骤二中的将预处理后的老年人和中年人表情视频片段进行对比，包括：面部区域比对、基准点比对、表情情感比对、个体表情特征比对。

6.根据权利要求5所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述步骤五中的采用3D行为识别系统捕捉老人行为特征规律，并利用行为规律建立行为规律数据库，包括以下步骤：

步骤五一、建立3D行为模型：

将老人的主要关节和肢体视作不同的点，捕捉人体的行为和位置，采用行为捕捉中，点、线、面及体特征提取信息融合的方法捕捉用户的行为特点，建立人体姿态、行为、体态模拟模型即3D行为模型；

步骤五二、利用步骤五一获得的3D行为模型获得老人行为特征规律；

步骤五三、利用的老人行为规律构建行为规律数据库。

7.根据权利要求6所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述步骤五二中的利用步骤五一获得的3D行为模型获得老人行为特征规律，具体为：

首先，根据步骤五一建立的3D行为模型获得老人的关节变化；

然后，将关节变化输入到训练好的深度信念网络中获得老人当前动作状态；

所述动作状态包括：静态活动、动态活动；坐立和站立；

然后，将老人当前动作状态输入到训练好的训练好的3D深度卷积神经网络中获得预测的老人后续行为，并根据预测的老人后续行为即为老人行为特征规律。

8.根据权利要求7所述的一种基于老年人微表情及行为的智能健康环境调控系统，其特征在于：所述预测的第一室内环境阈值，通过以下方式获得：

S1、获取老年人在不同状态下的室内环境参数：

所述不同状态条件包括：舒适、不舒适、焦虑、烦躁、开心、悲伤；

S2、将S1获得的老年人在不同状态下的室内环境参数输入到训练好的神经网络中，获得室内环境参数指标区间；

S3、在环境参数指标区间中获得第一室内环境阈值；

其中，老人舒适条件下的指标区间即第一室内环境阈值。

Images