CN113719975B - 人体热舒适实时感知和室内环境智能调控方法及系统 - Google Patents

Abstract

本发明公开了室内空气调节技术领域的一种人体热舒适实时感知和室内环境智能调控方法及系统，人体热舒适实时感知方法，包括：采集人体体表温度、包含人体行为的视频流；对包含人体行为的视频流进行预处理，得到时间序列图像；将时间序列图像输入改进的Gate‑Shift(门控移位)模型中，输出人体行为类别；将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度，具有人体热舒适识别准确率高、鲁棒性好等特点。

Description

人体热舒适实时感知和室内环境智能调控方法及系统

技术领域

本发明属于室内空气调节技术领域，具体涉及一种人体热舒适实时感知和室内环境智能调控方法及系统。

背景技术

在节能减排的方面，建筑空调系统在全球的能源消耗中占大约五分之一的比重。但是基于现有的建筑内部能量管理的效率和智能控制的低下，过冷和过热会导致大量的额外能源被消耗。随着深度学习在计算机视觉领域的飞速发展，人体姿态估计和行为识别作为计算机视觉领域的一部分也得到了突破性的发展。但是基于识别个体之间存在较大的差距，对于不同个体之间的热舒适姿态的识别仍然是一个富有挑战的问题。传统的热舒适姿态识别存在以下问题：基于OpenPose的热舒适姿态估计。由于个体之间存在较大的差异，以至于基于OpenPose的热舒适姿态估计具有较差的鲁棒性，对于动态的行为信息识别不太友好。

发明内容

为解决现有技术中的不足，本发明提供一种人体热舒适实时感知和室内环境智能调控方法及系统，具有人体热舒适识别准确率高、鲁棒性好等特点。

为达到上述目的，本发明所采用的技术方案是：

第一方面，提供一种人体热舒适实时感知方法，包括：采集人体体表温度、包含人体行为的视频流；对包含人体行为的视频流进行预处理，得到时间序列图像；将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度。

进一步地，所述对包含人体行为的视频流进行预处理，得到时间序列图像，包括：首先将采集的视频流进行分区裁剪，然后进行视频化处理和标注，最后进行归一化处理，变为基于时间顺序的帧，并等比例选取其中的若干帧，得到时间序列图像。

进一步地，所述改进的Gate-Shift模型，具体为：含有改进GSM模块的BN-Inception网络，即在BN-Inception网络的基础上，将指定的若干个卷积块更改为改进后的GSM模块；改进后的GSM模块将S3D的输出作为门控信号的输入；S3D是在保持I3D的Inception Backbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积；改进后的GSM模块的运算如下：

Out_gate_1＝tanh(W₁*X₁) (8-1)

Out_gate_2＝tanh(W₂*X₂) (8-2)

Y_{_1}＝Out_gate_1⊙X₁ (9-1)

Y_{_2}＝Out_gate_2⊙X₂ (9-2)

R_{_1}＝X₁-Y_{_1} (10-1)

R_{_2}＝X₂-Y_{_2} (10-2)

Z_{_1}＝shift_Y_i+1(Y_{_1})+R_{_1} (11-1)

Z_{_2}＝shif_Y_i-1(Y_{_2})+R_{_2} (11-2)

其中，在公式(8-1)、(8-2)、(9-1)、(9-2)中，X是经过C2D后的特征，在通道维度均分为两个特征X₁和X₂，X₁和X₂分别经过S3D卷积和tanh函数，Out_gate输出-1到1之间的数值，即为门控信号，门控信号与X₁和X₂相乘得到Y_{_1}和Y_{_2}；在公式(10-1)、(10-2)中，门控模块输出的是R_{_1}＝X-Y_{_1}，R_{_2}＝X-Y_{_2}；在公式(11-1)、(11-2)中，Y_{_1}和Y_{_2}分别经过时移后与门控模块的输出相加得到Z_{_1}和Z_{_2}，Z_{_1}和Z_{_2}即为改进后GSM的最后输出。

进一步地，所述采集人体体表温度的方法包括：采用红外温度传感器获得、采集人体皮肤图像的饱和度并基于饱和度个体差异性因子获得或采集人体皮肤的纹理并基于纹理个体差异性因子获得。

进一步地，所述将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，具体为：

t_com＝λaction_n+(1-λ)temp_n (11-5)

其中，t_com表示人体热舒适度，λ表示行为所占的比例，action_n表示行为类别，temp_n表示人体皮肤温度。

第二方面，提供一种人体热舒适实时感知系统，包括：数据采集模块，用于采集人体体表温度、包含人体行为的视频流；第一数据处理模块，用于对包含人体行为的视频流进行预处理，得到时间序列图像；第二数据处理模块，用于将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；第三数据处理模块，用于将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度。

第三方面，提供一种室内环境智能调控方法，包括：采用第一方面所述的人体热舒适实时感知方法，获得人体热舒适度；基于人体热舒适度，调整室内空气调节设备的运行参数。

进一步地，所述基于人体热舒适度，调整室内空气调节设备的运行参数，包括直接控制和间接控制：直接控制，即根据人体热舒适度直接调节室内空气调节设备的运行参数；间接控制，即先根据人体热舒适度，转换为对应的红外遥控信号，通过发射对应的红外遥控信号调节室内空气调节设备的运行参数。

进一步地，所述基于人体热舒适度，调整室内空气调节设备的运行参数，包括：基于先验知识设置热舒适度和控制的映射关系，基于设置的映射关系调节室内空气调节设备的运行参数。

第四方面，提供一种室内环境智能调控系统，包括：人体热舒适度获取模块，用于采用第一方面所述的人体热舒适实时感知方法，获得人体热舒适度；室内空气调节设备控制模块，用于基于人体热舒适度，调整室内空气调节设备的运行参数。

与现有技术相比，本发明所达到的有益效果：

(1)本发明通过采集人体体表温度、包含人体行为的视频流，将人体行为的视频流处理后输入改进的Gate-Shift模型中，输出人体行为类别；结合人体体表温度，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度，具有人体热舒适识别准确率高、鲁棒性好等特点；

(2)本发明在不降低行为识别准确率的情况下，降低了计算的成本、进一步提高算法的普适性；

(3)本发明基于人体热舒适度调整室内空气调节设备的运行参数，在改变个体所处环境的同时达到节能的作用，做到智能化、人性化的能量管理。

附图说明

图1是采用本发明实施例提供的一种人体热舒适实时感知方法中的视频流预处理方法对视频流预处理的结果示意图；

图2是本发明实施例中的BN-Inception网络结构示意图；

图3是本发明实施例中改进后的GSM模块结构示意图；

图4是本发明实施例中含有改进GSM模块的BN-Inception网络结构示意图；

图5是本发明实施例提供的一种室内环境智能调控方法的流程示意图；

图6是本发明实施例提供的一种室内环境智能调控系统的结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

如图1～图5所示，一种人体热舒适实时感知方法，包括：采集人体体表温度、包含人体行为的视频流；对包含人体行为的视频流进行预处理，得到时间序列图像；将时间序列图像输入改进的Gate-Shift(门控移位)模型中，输出人体行为类别；将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度。

本实施例通过对普通摄像头采集到的视频信息进行图像化处理、像素处理、平均取16张图像输入到含有改进后的GSM(Gate-Shift Module)的BNInception网络中，采用门控信号Gate、时间移位Shift模块和S3D(Separable 3D CNN可分离的3D卷积)等角度提高识别的准确率、降低识别的参数量和提高算法对个体之间差异的影响；具体包括以下步骤：

S1、首先根据问卷调查的结果，设定17种非最佳状态下的人体热舒适的动作。基于这17种动作，构建所需要的模型，进行行为的识别。其17种行为见表1所示：

表1定义的行为序号和行为名称

S2、采集不同人体体表温度、包含人体行为的视频流等，基于S1定义的17种不同的动作对采集到的视频信息进行标注。采集人体体表温度的方法有三种：1)通过采用红外温度传感器获得；2)通过采集人体皮肤图像的饱和度并基于饱和度个体差异性因子获得；3)通过采集人体皮肤的纹理并基于纹理个体差异性因子获得；第二种和第三种方法都需要根据个体差异性因子对具体得到的皮肤温度进行一个调整。通过普通摄像头得到包含人体行为的视频流。

S3、将S2采集到的视频流进行预处理，具体的步骤为：首先将采集到的不同的行为信息进行区分裁剪；其次将裁剪到的视频信息进行图像化处理，得到时间序列图像。将采集的行为视频信息进行图像化处理，标签的标注可以达到输入到模型的效果。首先将采集的视频流进行分区裁剪，然后进行视频化处理和标注，最后进行归一化处理，变为基于时间顺序的帧，并等比例选取其中的若干帧，得到时间序列图像。

S4、将采集到图像平均取16张输入到Gate-Shift网络，得到行为识别所需要的模型，体表的温度信息，最终得到一个人体热舒适的状态，将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；改进的Gate-Shift模型，具体为：含有改进GSM模块的BN-Inception网络，即在BN-Inception网络的基础上，将指定的若干个卷积块更改为改进后的GSM模块；改进后的GSM模块将S3D的输出作为门控信号的输入；S3D是在保持I3D的Inception Backbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积。为了获取时序信息，一般的做法是采用3D卷积，例如C3D。这种方法有它的优点，可以学习到比较有用的时空特征，但是这种方法也有它的缺点，参数量大计算成本高。结合S3D对Gate-Shift网络进行改进，S3D就是在保持I3D(Inflated 3DConvNet膨胀的3D卷积网络)的InceptionBackbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积，参数更少且性能更好。在BN-Inception网络的基础上，将部分卷积块更改为改进后的Gate-Shift Module(GSM模块)。3D卷积参数量是十分庞大的，但是2D卷积存在图片特征提取不充分导致准确率低的弊端，所以对网络进行改进。

改进的Gate-Shift模型基于BN-Inception网络，批量归一化(BatchNormalization)已经是防止神经网络过拟合的通用手段。在神经网络训练的时候，如果输入数据的均值为0，方差为1，这种输入已经被证明能提升训练速度。那么对于每一层的输入都做一次归一化，就能解决神经网络不容易训练的问题。其归一化的公式如式(1)所示，反向传播的公式为式(2)所示：

其中，n为归一化之前的数据，

为归一化之后的数据，这个反向传播需要花费非常昂贵的代价。接下来就是批量归一化可以减少这种代价，其计算如式(3)所示：

同样，输入n＝(n⁽¹⁾...n^(d))，

为批量归一化的输出，μ_n、

分别为n的期望和均值。式(4)中，γ、β是引入的两个参数，来控制归一化的效果。

传统的GSM模块借鉴了时间移位网络的时移，在时间移位模块上对于视频行为识别来说，激活的形状通常为[N，C，T，H，W](激活A∈RN×C×T×H×W)，其中N为批量大小，C为信道数，T为时间维数，H和W为空间分辨率。首先考虑一个普通的卷积运算。为了简单起见，本实施例以一个核大小为3的一维卷积为例。假设卷积的权值是W＝(w₁，w₂，w₃)输入X是一个无限长一维向量。卷积算子Y＝Conv(W，X)可以写成：

Y_i＝w₁X_i-1+w₂X_i+w₃X_i+1 (5)

将卷积的运算解耦为两个步骤：移位和乘法累加：将输入X移动-1，0，+1，然后分别乘以w₁，w₂，w₃，它们的和是Y：

同时将GST(Grouped Spatial-Temporal分组的时空)中难以学习的通道分割替换为了可以学习的门控模块，通过门控模块输出的门控信号来控制不同的网络结构。但是门控模块的输入信号仍然是3D卷积的输出。改进后的GSM模块将门控信号的输入将原来的3D卷积替换为S3D的输出，在不影响准确率的同时，达到简化参数量的作用，达到判断出人体行为的目的。

公式(6)可以免费执行，因为它只需要一个偏移地址指针。公式(7)计算开销更大，但是时间移位模块将乘法累加合并到下面的2D中卷积，因此与基于2D CNN的模型相比，它没有额外的成本。

S3D就是在保持I3D的Inception Backbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积，参数更少且性能更好。改进的GSM模块运算如下：

Out_gate_1＝tanh(W₁*X₁) (8-1)

Out_gate-2＝tanh(W₂* X₂) (8-2)

Y_{_1}＝Out_gate_1⊙X₁ (9-1)

Y_{_2}＝Out_gate_2⊙X₂ (9-2)

R_{_1}＝X₁-Y_{_1} (10-1)

R_{_2}＝X₂-Y_{_2} (10-2)

Z_{_1}＝shift-Y_i+1(Y_{_1})+R_{_1} (11-1)

Z_{_2}＝shif_Y_i-1(Y_{_2})+R_{_2} (11-2)

在公式(8-1)、(8-2)、(9-1)、(9-2)中，X是经过C2D(2D-CNN)后的特征，在通道维度均分为两个特征X₁和X₂，X₁和X₂分别经过S3D卷积和tanh函数，Out_gate输出-1到1之间的数值，即为门控信号，门控信号与X₁和X₂相乘得到Y_{_1}和Y_{_2}；在公式(10-1)、(10-2)中门控模块输出的是R_{_1}＝X-Y_{_1}，R_{_2}＝X-Y_{_2}；在公式(11-1)、(11-2)中，Y_{_1}和Y_{_2}分别经过时移后与门控模块的输出相加得到Z_{_1}和Z_{_2}，Z_{_1}和Z_{_2}即为改进后GSM的最后输出。

假如tanh函数输出的门控信号值为0，Y_{_1}和Y_{_2}等于0，R_{_1}和R_{_2}等于X₁和X₂，时移一项消失，最后输出的Z_{_1}和Z_{_2}即为X₁和X₂。假如tanh函数输出的门控信号值为1，Y_{_1}和Y_{_2}等于X₁和X₂，R_{_1}和R_{_2}等于0，时移一项保留，最后输出的Z_{_1}和Z_{_2}即为shift Y₁和shift Y₂。假如tanh函数输出的门控信号值为-1，2D卷积特征和时移一项均保留。

S4、将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度。

将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度；首先归一化两者的数据

action_n＝Norm(action，n) (11-3)

temp_n＝Norm(temp，n) (11-4)

其中，action_n表示行为类别；temp_n表示人体皮肤温度，根据两者数据占比的情况就可以得到人体热舒适度：

t_com＝λaction_n+(1-λ)temp_n (11-5)

其中，t_com表示人体热舒适度，λ表示行为所占的比例。

本实施例通过采集人体体表温度、包含人体行为的视频流，将人体行为的视频流处理后输入改进的Gate-Shift模型中，输出人体行为类别；结合人体体表温度，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度，具有人体热舒适识别准确率高、鲁棒性好等特点；在不降低行为识别准确率的情况下，降低了计算的成本、进一步提高算法的普适性。

实施例二：

基于实施例一所述的一种人体热舒适实时感知方法，本实施例提供一种人体热舒适实时感知系统，包括：数据采集模块，用于采集人体体表温度、包含人体行为的视频流；第一数据处理模块，用于对包含人体行为的视频流进行预处理，得到时间序列图像；第二数据处理模块，用于将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；第三数据处理模块，用于将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度。

实施例三：

基于实施例一所述的一种人体热舒适实时感知方法、实施二所述的一种人体热舒适实时感知系统，本实施例提供一种室内环境智能调控方法，包括：采用实施例一所述的人体热舒适实时感知方法，获得人体热舒适度；基于人体热舒适度，调整室内空气调节设备的运行参数。

本实施例主要包括三个内容：一是基于问卷调查的结果对人体在环境中感到不适的姿态做一个定义，并且根据所定义的动作采集所需要的视频信息；二是对采集得到的视频信息进行预处理，图像化处理和像素处理等，并对处理好的数据进行标注；根据标注后的结果制定训练集、验证集和测试集，将其输入到含有改进后GSM的BNInception网络中，查看识别的准确率，然后调整参数和预处理进一步提升准确率。三是根据得到的人体热舒适的结果，依据控制单元中热舒适度和控制的映射关系，达到对室内环境进行调控的效果。

姿态的定义和采集。首先根据现有的资料和文献，预定义30种人体在环境中不适的动作，将这些动作填入问卷调查系统中，基于反馈回来的问卷调查，得到17种动作。首先选取19个受试者，分别进行采集17种动作，从动作开始到动作结束完整的采集。每个动作大概60秒的时间，在这个时间段内重复的做这个动作。将19人分为15+3+3的组合，分别对应着训练集、验证集和测试集。

视频流的预处理。首先将采集到的视频流裁剪成每个动作为一个短的小视频，每个小视频进行帧处理，每隔一个帧采集出一张图片。每个图片的像素更改为306×201像素值，然后将每个小视频采集到的图片放在一个文件夹内，将每个文件夹进行标注标签。

将标注好的训练集和验证集输入到含有改进GSM的BNInception网络中，首先图像经过卷积，其具体实施如下所示。其输入为：

V＝conv2(W，X，″valid″)+b (12)

其输出为：

上面的输入输出公式是对每一个卷积层而言的，每一个卷积层都有一个不同的权重矩阵W，并且W，X，Y是矩阵形式.对于最后一层全连接层，设为第L层，输出是向量形式的y^L，期望输出是d，则有总误差公式：

conv2()是卷积函数，第三个参数valid指明卷积运算的类型，前面介绍的卷积方式就是valid型。W是卷积核矩阵，X是输入矩阵在这也就是图片矩阵，b是偏置，

是激活函数。总误差中的d，y分别是期望输出和网络输出的向量。||d-y^L||₂表示向量d-y^L的2-范数，全连接层神经元的输入输出计算公式与BP(Back Propagation反向传播)网络完全相同。

与BP神经网络一样，卷积神经网络也是通过梯度下降和反向传播算法进行训练的，则全连接层的梯度公式与BP网络完全一样。下面是卷积层和池化层的梯度公式：

现在的目标是求出δ_ij和

的表达式。

其中，δ^l和δ^l-1分别为l和l-1层卷积结果，w为卷积核，v是输入。δ，w，v是矩阵形式，公式中rot180()函数表示将矩阵逆时针旋转180度，参数full表示进行的完全的卷积运算。

经过卷积后进行批量归一化，即执行以下计算：

其中，输入x＝(x⁽¹⁾...x^(d))，

为批量归一化的输出，

分别为x的期望和均值。γ、β是引入的两个参数，来控制归一化的效果。

经过归一化的数据进一步经过改进后的GSM模块，计算方法见公式(8-1)～公式(11-2)。

最后将经过GSM模块的数据和经过其他卷积后的数据进全连接，在经过softmax函数多分类就能对视频行为进行分类，训练集m种行为和已标记的标签{(x⁽¹⁾，y⁽¹⁾)，...，(x^(m)，y^(m))}，假设函数如下：

训练参数模型θ，使其能够最小代价函数为：

对于给定的测试输入x，用假设函数针对每一个类别j估算出概率值p＝(y＝j|x)，估计x的每一种分类结果出现的概率。假设函数将要输出一个k维的向量来表示这k个估计的概率值。假设函数h_θ形式如下：

其中，θ为模型参数，

这一项是对概率分布的归一化，所有概率之和为1。将类别x类别分为j的概率为：

综上所述就是可以将热舒适的行为识别出来的过程，这样就能得到个体的行为信息。

基于先验知识设置热舒适度和控制的映射关系，在控制单元中置入人体热舒适状态和具体设备控制的映射关系，依据得到的热舒适的状态，找到映射关系对应的设备控制，做到对外接设备进行精确控制的效果。从而使人体所处的室内环境的因子，如温度、湿度和气流等参数。使得人体处于最佳的室内环境中。本实施例结合红外温度传感器所得到的温度信息，最终得到一个人体热舒适的状态，以达到对外接设备(空调、风扇和通风系统等)的控制，调节室内的温度、湿度和气流等室内环境因素。

基于人体热舒适度，调整室内空气调节设备的运行参数，还包括直接控制和间接控制：直接控制，即根据人体热舒适度直接调节室内空气调节设备的运行参数；间接控制，即先根据人体热舒适度，转换为对应的红外遥控信号，通过发射对应的红外遥控信号调节室内空气调节设备的运行参数。

本实施例基于人体热舒适度调整室内空气调节设备的运行参数，在改变个体所处环境的同时达到节能的作用，做到智能化、人性化的能量管理。

实施例四：

基于实施例三所述的一种室内环境智能调控方法，本实施例提供一种室内环境智能调控系统，如图6所示，包括：人体热舒适度获取模块，用于采用实施例一所述的人体热舒适实时感知方法，获得人体热舒适度；室内空气调节设备控制模块，用于基于人体热舒适度，调整室内空气调节设备的运行参数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种人体热舒适实时感知方法，其特征是，包括：

采集人体体表温度、包含人体行为的视频流；

对包含人体行为的视频流进行预处理，得到时间序列图像；

将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；

将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度；

其中，所述改进的Gate-Shift模型，具体为：含有改进GSM模块的BN-Inception网络，即在BN-Inception网络的基础上，将指定的若干个卷积块更改为改进后的GSM模块；改进后的GSM模块将S3D的输出作为门控信号的输入，S3D指Separable 3D CNN可分离的3D卷积；S3D是在保持I3D的Inception Backbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积，I3D指Inflated 3D ConvNet膨胀的3D卷积网络；改进后的GSM模块的运算如下：

Out_gate_1＝tanh(W₁*X₁) (8-1)

Out_gate_2＝tanh(W₂*X₂) (8-2)

Y_{_1}＝Out_gate_1⊙X₁ (9-1)

Y_{_2}＝Out_gate_2⊙X₂ (9-2)

R_{_1}＝X₁-Y_{_1} (10-1)

R_{_2}＝X₂-Y_{_2} (10-2)

Z_{_1}＝shift_Y_i+1(Y_{_1})+R_{_1} (11-1)

Z_{_2}＝shif_Y_i-1(Y_{_2})+R_{_2} (11-2)

其中，在公式(8-1)、(8-2)、(9-1)、(9-2)中，X是经过C2D后的特征，C2D指2D-CNN，在通道维度均分为两个特征X₁和X₂，X₁和X₂分别经过S3D卷积和tanh函数，Out_gate输出-1到1之间的数值，即为门控信号，门控信号与X₁和X₂相乘得到Y_{_1}和Y_{_2}；在公式(10-1)、(10-2)中，门控模块输出的是R_{_1}＝X-Y_{_1}，R_{_2}＝X-Y_{_2}；在公式(11-1)、(11-2)中，Y_{_1}和Y_{_2}分别经过时移后与门控模块的输出相加得到Z_{_1}和Z_{_2}，Z_{_1}和Z_{_2}即为改进后GSM的最后输出。

2.根据权利要求1所述的人体热舒适实时感知方法，其特征是，所述对包含人体行为的视频流进行预处理，得到时间序列图像，包括：

首先将采集的视频流进行分区裁剪，然后进行视频化处理和标注，最后进行归一化处理，变为基于时间顺序的帧，并等比例选取其中的若干帧，得到时间序列图像。

3.根据权利要求1所述的人体热舒适实时感知方法，其特征是，所述采集人体体表温度的方法包括：采用红外温度传感器获得、采集人体皮肤图像的饱和度并基于饱和度个体差异性因子获得或采集人体皮肤的纹理并基于纹理个体差异性因子获得。

4.根据权利要求1所述的人体热舒适实时感知方法，其特征是，所述将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，具体为：

t_com＝λaction_n+(1-λ)temp_n (11-5)

其中，t_com表示人体热舒适度，λ表示行为所占的比例，action_n表示行为类别，temp_n表示人体皮肤温度。

5.一种人体热舒适实时感知系统，其特征是，包括：

数据采集模块，用于采集人体体表温度、包含人体行为的视频流；

第一数据处理模块，用于对包含人体行为的视频流进行预处理，得到时间序列图像；

第二数据处理模块，用于将时间序列图像输入改进的Gate-Shift模型中，输出人体行为类别；

第三数据处理模块，用于将人体行为类别与人体体表温度进行归一化处理，得到人体行为类别与人体体表温度两者的占比，用于判断人体热舒适度；

其中，所述改进的Gate-Shift模型，具体为：含有改进GSM模块的BN-Inception网络，即在BN-Inception网络的基础上，将指定的若干个卷积块更改为改进后的GSM模块；改进后的GSM模块将S3D的输出作为门控信号的输入，S3D指Separable 3D CNN可分离的3D卷积；S3D是在保持I3D的Inception Backbone不变情况下，将3×3×3卷积核都换成1×3×3+3×1×1卷积，I3D指Inflated 3D ConvNet膨胀的3D卷积网络；改进后的GSM模块的运算如下：

Out_gate_1＝tanh(W₁*X₁) (8-1)

Out_gate_2＝tanh(W₂*X₂) (8-2)

Y_{_1}＝Out_gate_1⊙X₁ (9-1)

Y_{_2}＝Out_gate_2⊙X₂ (9-2)

R_{_1}＝X₁-Y_{_1} (10-1)

R_{_2}＝X₂-Y_{_2} (10-2)

Z_{_1}＝shift_Y_i+1(Y_{_1})+R_{_1} (11-1)

Z_{_2}＝shif_Y_i-1(Y_{_2})+R_{_2} (11-2)

其中，在公式(8-1)、(8-2)、(9-1)、(9-2)中，X是经过C2D后的特征，C2D指2D-CNN，在通道维度均分为两个特征X₁和X₂，X₁和X₂分别经过S3D卷积和tanh函数，Out_gate输出-1到1之间的数值，即为门控信号，门控信号与X₁和X₂相乘得到Y_{_1}和Y_{_2}；在公式(10-1)、(10-2)中，门控模块输出的是R_{_1}＝X-Y_{_1}，R_{_2}＝X-Y_{_2}；在公式(11-1)、(11-2)中，Y_{_1}和Y_{_2}分别经过时移后与门控模块的输出相加得到Z_{_1}和Z_{_2}，Z_{_1}和Z_{_2}即为改进后GSM的最后输出。

6.一种室内环境智能调控方法，其特征是，包括：采用权利要求1～4任一项所述的人体热舒适实时感知方法，获得人体热舒适度；

基于人体热舒适度，调整室内空气调节设备的运行参数。

7.根据权利要求6所述的室内环境智能调控方法，其特征是，所述基于人体热舒适度，调整室内空气调节设备的运行参数，包括直接控制和间接控制：直接控制，即根据人体热舒适度直接调节室内空气调节设备的运行参数；间接控制，即先根据人体热舒适度，转换为对应的红外遥控信号，通过发射对应的红外遥控信号调节室内空气调节设备的运行参数。

8.根据权利要求6所述的室内环境智能调控方法，其特征是，所述基于人体热舒适度，调整室内空气调节设备的运行参数，包括：基于先验知识设置热舒适度和控制的映射关系，基于设置的映射关系调节室内空气调节设备的运行参数。

9.一种室内环境智能调控系统，其特征是，包括：

人体热舒适度获取模块，用于采用权利要求1～4任一项所述的人体热舒适实时感知方法，获得人体热舒适度；

室内空气调节设备控制模块，用于基于人体热舒适度，调整室内空气调节设备的运行参数。

Images