CN112303861A

CN112303861A - 一种基于人体热适应性行为的空调温度调节方法及系统

Info

Publication number: CN112303861A
Application number: CN202011041360.8A
Authority: CN
Inventors: 段培永; 段汶君; 王玉; 宁晨光
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2021-02-02

Abstract

本发明公开了一种基于人体热适应性行为的空调温度调节方法及系统，包括：获取当前温度下被控热空间的视频图像，对视频图像中人体行为采用姿态估计算法提取人体骨骼关节点坐标，构建人体关节时空图；对人体关节时空图进行多层时空图卷积操作，生成行为特征图；将行为特征图输入到预先训练的热适应性行为识别模型中，输出当前温度下人体热适应性行为类别，并以此对被控热空间的空调温度进行调节。以非入侵式检测方法实时监控个体的热舒适状态水平，根据视频数据中人体行为姿态提取行为特征，并对其分类识别得到相应的热适应性行为类别，为室内空调调控系统提供有效的反馈信号，提高室内人员热舒适水平的同时达到节省能源的目的。

Description

一种基于人体热适应性行为的空调温度调节方法及系统

技术领域

本发明涉及人体热舒适检测技术领域，特别是涉及一种基于人体热适应性行为的空调温度调节方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

暖通空调系统作为维持建筑正常运作的关键系统之一，对建筑性能的提升起着至关重要的作用。在大多数建筑中，采暖和制冷系统的最佳控制策略通常是按固定的时间安排将室内温度控制在一个静态设定值上运行。该温度由建筑管理员或居住者当时的主观意识决定，不能够全局分析室内所有人的温度喜好。

当前热舒适预测模型预测平均投票模型PMV(PredictedMeanVote)成立的前提条件是人体处于热平衡状态，不考虑空间使用者的个人热偏好，也不考虑对个人属性的实时测量。因此，PMV模型在真实动态环境中运行时的驱动因素难以量化，导致建筑内的温度控制系统使用频率底下，造成不必要的能源消耗。

人体对环境热条件可量化响应的数学模型，被称为人体温度条件过程，该过程导致心率、脑电图和血压等生理指标呈现出一定的变化规律，随着电子信息技术的发展，这类生理指标能够以低成本的方式实现实时监测，因此大量研究人员试图建立生理参数预热属实状态之间的数学模型描述两者相关性；但是，此类方法必须通过传感器和使用者之间进行物理接触取才能获取特征变量，并且需要额外的专业的硬件系统，使得该类方法在建筑热感觉检测中的使用率较低。

现有方法还提出利用电脑及手机摄像头等图像采集设备获取包含人体姿态的成像，通过姿态估计算法进行非入侵性热感觉预测，该方法虽然不需要额外添加设备，但是需要调用电脑摄像头或者手机摄像头，占用办公资源，对工作造成一定的影响。此外，目前这类方法假设电脑或者手机摄像头与所有的身体部位有连续、长时间的视觉接触，而在实际办公环境中，该假设并不总是成立的，因为一些身体部位可能会被家具或者其他身体部位挡住，或者不在成像范围内，这就导致获取的人体姿态数据不完整，无法准确判断当前温度下，暖通空调系统运行是否满足个体热舒适水平。

发明内容

为了解决上述问题，本发明提出了一种基于人体热适应性行为的空调温度调节方法及系统，以非入侵式检测方法实时监控人体的热舒适状态水平，根据视频数据中人体行为姿态提取行为特征，并对其分类识别得到相应的热适应性行为类别，为室内空调调控系统提供有效的反馈信号，提高室内人员热舒适水平的同时达到节省能源的目的。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于人体热适应性行为的空调温度调节方法，包括：

获取当前温度下被控热空间的视频图像，对视频图像中人体行为采用姿态估计算法提取人体骨骼关节点坐标，构建人体关节时空图；

对人体关节时空图进行多层时空图卷积操作，生成行为特征图；

将行为特征图输入到预先训练的热适应性行为识别模型中，输出当前温度下人体热适应性行为类别，并以此对被控热空间的空调温度进行调节。

第二方面，本发明提供一种基于人体热适应性行为的空调温度调节系统，包括：

视频处理模块，用于获取当前温度下被控热空间的视频图像，对视频图像中人体行为采用姿态估计算法提取人体骨骼关节点坐标，构建人体关节时空图；

特征提取模块，用于对人体关节时空图进行多层时空图卷积操作，生成行为特征图；

温度调节模块，用于将行为特征图输入到预先训练的热适应性行为识别模型中，输出当前温度下人体热适应性行为类别，并以此对被控热空间的空调温度进行调节。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明通过监控设备获取建筑内场景实时的视频数据，对视频数据中人员行为进行姿态估计，生成与视频帧序列对应的骨骼关节点坐标序列；根据关节点特征矩阵构建人体关节时空图；对人体关节时空图提取行为特征，并分类得到相应的热适应性行为及热感觉类型。以非入侵式检测方法实时监控个体的热舒适状态水平，为室内空调调控系统提供实时、准确、有效的反馈信号，提高室内人员热舒适水平的同时达到节省能源的目的。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于人体热适应性行为的空调温度调节方法流程图；

图2(a)-2(p)为本发明实施例1提供的热适应性行为调查结果示意图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

针对现有技术中对人体热感觉检测手段的诸多不足和空调控制系统固定或人工参与等缺陷，本实施例提供一种基于人体热适应性行为的空调温度调节方法，实现人体热感觉非侵入式检测，为空调控制系统提供实时有效的反馈信号，参与温度调节器三维自动运作，最大可能满足用户热舒适需求；如图1所示，具体包括：

S1：获取当前温度下被控热空间的视频图像，对视频图像中人体行为采用姿态估计算法提取人体骨骼关节点坐标，构建人体关节时空图；

S2：对人体关节时空图进行多层时空图卷积操作，生成行为特征图；

S3：将行为特征图输入到预先训练的热适应性行为识别模型中，输出当前温度下人体热适应性行为类别，并以此对被控热空间的空调温度进行调节。

所述步骤S1中，通过监控系统前端视频采集设备获取被控热空间场景的实时视频数据，并通过预处理将视频拆解成视频帧；

优选地，监控系统至少包括前端音视频采集设备、音视频传输设备、后端存储、控制及显示设备，其中后端设备可进一步分为中心控制设备和分控制设备。

所述步骤S1中，采用姿态估计算法逐帧提取视频中人体骨骼关节点坐标，生成与视频帧序列对应的描述人员行为的关节点时空位置序列，并根据关键关节点时空位置序列构建人体关节时空图；具体为：

S1-1：人体骨骼关节点包括：鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵和左耳朵等18个人体骨骼关键点；

S1-2：根据人体骨骼关键点对每个人生成关节点特征矩阵A＝(3,T,18,1)，其中，3表示关节点的特征(X,Y,C)；T表示视频帧数，本实施例中设置T＝300；18个关节点，1表示一人；对于多人情况，在每段视频中选择平均联合置信度大于0.5的N个人，将骨架序列构成元组A＝{A₁，A₂…A₃}，识别过程中描述个人行为特征矩阵A_i将依次输入识别模型中进行识别；

S1-3：根据给定的每个单人人体关节序列特征矩阵，构造无向时空图G＝(V,E)，以人体关节点为图节点，以关节的体内连接和帧间连接中的自然连通性为图边；即，

S1-3.1：使用每一帧中每一个人体骨骼的坐标表示关键关节点序列，人体的关键关节点为图的节点集V；节点集V＝{v_ti|t＝1,…,T,i＝1,…N}，表示由T帧组成的单人骨架序列中的所有N个节点；

S1-3.2：以骨架自然连接方式构建空间图，得到空间边集E_sp；

S1-3.3：以身体关节点时间上的连通性为图的时序边E_t，由以上节点集与时空边集构成人体关节时空图。

所述步骤S2中，对人体关节时空图进行卷积操作的分割，在空间上将一个节点的邻域划分为3个子集：节点本身、比节点更靠近骨架中心的相邻节点集以及比节点本身更远离骨架中心的相邻节点；

对时空图应用多层时空图卷积操作，生成更高级的特征图，利用标准的Softmax分类器，将其分类到相应的热适应性行为及热感觉类别中。

所述步骤S3中，通过构建热适应性行为动作数据集训练所述热适应性行为识别模型；具体包括：

由于大多数现有的视频数据集集中在日常活动或体育运动方面，因此，本实施例建立一个新的热适应性行为数据集，即TAA，用来分析基于动作识别的热感觉预测；为尽可能的接近摄像头成像，本实施例采用6个视频采集设备，包括3个微软Kinect传感器和3个监控摄像头，通过不同的视角同时拍摄个体执行的热适应性相关动作；

在每个视频采集设备中，同时使用六个相机为同一个动作样本捕捉六个不同的视图，6个相机设置在三个不同的水平角度：-45°,0°和+45°，每个相机设置不同的垂直高度和距离水平角度；

每个人员被要求每个热适应性行为动作执行三次，一次对着左边的摄像机，一次对着前面的摄像机，一次对着右边的摄像机，在每次采集中得到6个不同角度的视频，收集14800个有效视频，每个视频时长5～10秒，Kinect传感器和监控摄像头的视频分别以提供的1920×1080和1280×720的分辨率录制，所有视频的分辨率调整为340×256，帧速率转换为30帧/秒；将采集的数据集分成三个集合：70％的视频片段用于训练网络，20％的视频片段用于验证训练进度，10％的视频作为独立的测试集用于测试。

在本实施例中，定义与人体热感觉相关的热适应性行为包括：热舒适等级冷(-3)：缩肩膀、跺脚、抱手臂、搓手、给手哈气、喷嚏/咳嗽；热舒适等级凉(-2)：穿外套；热舒适等级微凉(-1)：戴帽子；热舒适等级微暖(1)：摘帽子；热舒适等级暖(2)：脱外套；热舒适等级热(3)：擦汗、抖胸前衣服、挠头、用扇子(纸等)扇风、用手扇风、卷起袖子；除上述行为外的其它表现默认为人员处于热舒适等级舒适(0)的状态；

优选地，本实施例通过调查问卷获得热适应性行为，如图2(a)-2(p)所示，具体如下：

考虑到热适应行为可能受到文化因素和气候适应的影响，本实施例通过两次当地问卷调查建立一套热适应行为。在第一项调查中，调查问卷中包括两个问题:“当你感到冷时，你会表现出什么行为？”和“当你感到热时，你会表现出什么行为？”，调查结果表明，热舒适与16项行为呈强正相关，即缩肩膀、跺脚、抱手臂、搓手、给手哈气、喷嚏/咳嗽、穿外套、戴帽子、摘帽子、脱外套、擦汗、抖胸前衣服、挠头、用扇子(纸等)扇风、用手扇风、卷起袖子；此外，调查结果中未包括的所有行为都被认为与舒适有关。

为了进一步调查16种行为与热感觉之间的具体关系，在第二项问卷中，包括“在室内，当你感觉___时脱掉你的夹克？”、“在室内，当你感觉___时戴上你的帽子/帽子？”，每个问题有8个可能的答案可供选择:“冷”、“冷”、“微冷”、“中性”、“微暖”、“温暖”、“热”或“从不做”。这些选项是基于ASHRAE标准55的7个级别:冷(-3)、冷(-2)、微冷(-1)、中性(0)、微暖(+1)、暖(+2)和热(+3)。在热感觉动作评估中，每个受试者必须根据动作提供他们的热感觉。本次调查的结果如下：热舒适等级冷(-3)：缩肩膀、跺脚、抱手臂、搓手、给手哈气、喷嚏/咳嗽；热舒适等级凉(-2)：穿外套；热舒适等级微凉(-1)：戴帽子；热舒适等级微暖(1)：摘帽子；热舒适等级暖(2)：脱外套；热舒适等级热(3)：擦汗、抖胸前衣服、挠头、用扇子(纸等)扇风、用手扇风、卷起袖子；除上述行为外的其它表现默认为人员处于热舒适等级舒适(0)的状态。

根据上述定义的热适应性行为种类和热舒适等级构建热适应性行为动作数据集，定义预设损失函数，将其作为时空图卷积神经网络模型的训练目标，根据热适应性行为动作数据集训练模型，通过卷积获取特征后利用分类器进行分类，训练得到所述热适应性行为识别模型；

通过热适应性行为识别模型识别出以上动作时，则判定室内环境处于对应的热舒适等级状态，为空调温度控制系统作为参考。

实施例2

本实施例提供一种基于人体热适应性行为的空调温度调节系统，包括：

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S3，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于人体热适应性行为的空调温度调节方法，其特征在于，包括：

2.如权利要求1所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，根据人体骨骼关节点坐标生成关节点特征矩阵，根据关节点特征矩阵构建人体关节时空图。

3.如权利要求1所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，所述人体关节时空图包括：人体的骨骼关节点为图的节点集；以骨架自然连接方式得到空间边集；以身体关节点时间上的连通性为图的时序边集，根据节点集、空间边集与时序边集构建人体关节时空图。

4.如权利要求1所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，对人体关节时空图进行卷积操作的分割，在空间上将一个节点的邻域划分为3个子集，即节点本身、比节点靠近骨架中心的相邻节点集以及比节点本身远离骨架中心的相邻节点，以进行特征提取。

5.如权利要求1所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，将预设的损失函数作为时空图卷积神经网络的训练目标，根据热适应性行为训练集通过时空图卷积获取特征后，利用分类器进行分类，以训练得到所述热适应性行为识别模型。

6.如权利要求5所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，所述热适应性行为训练集包括热适应性行为种类和热舒适等级。

7.如权利要求1所述的一种基于人体热适应性行为的空调温度调节方法，其特征在于，所述人体骨骼关节点包括：鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵和左耳朵的18个人体骨骼关节点。

8.一种基于人体热适应性行为的空调温度调节系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。