CN113627448A - 构建人体热舒适预测模型的方法、预测方法及系统 - Google Patents

Abstract

本发明提供一种构建人体热舒适预测模型的方法、人体热舒适预测方法与系统，所述构建人体热舒适预测模型的方法，其特征在于，包括：采集人员的生理参数、所处环境的环境参数以及该人员对所述所处环境的热舒适反馈作为一组数据，重复采集过程得到多组数据；将所述多组数据划分为训练数据集、测试数据集和验证数据集；使用所述训练数据集分别训练多个分类器，其中每个分类器的输入为人员的生理参数和环境参数，输出为人体热舒适信息；以及使用所述验证数据集和所述测试数据集从所述多个分类器中选择最优分类器，作为所述人体热舒适预测模型。本发明能够以非侵入的方式、实时预测被测人员的人体热舒适信息。

Description

构建人体热舒适预测模型的方法、预测方法及系统

技术领域

本发明涉及热环境技术领域，更具体地，涉及一种构建人体热舒适预测模型的方法、人体热舒适预测方法及系统。

背景技术

人体热舒适指的是人对周围热环境的满意度评价，其作为衡量室内热环境的指标，对于室内热环境的营造与控制有着重要影响。通过预测人体热舒适，并且根据预测结果来营造与控制室内热环境，不仅能够提高室内环境品质，而且还能降低建筑运行能耗。

现有的人体热舒适预测技术主要利用到基于PMV/PPD评价指标的热舒适模型，其需要采集被测人员的生理数据以及周围环境数据，如环境温湿度、被测人员的皮肤温度、心跳速率和呼吸率等。然而，现有的人体热舒适预测技术通常存在以下问题：

(1)普遍使用侵入式设备(例如，贴片式设备、穿戴式设备等)来采集被测人员的生理数据，从而影响被测人员的实际感知，并且会对被测人员的肢体活动或姿势有所限制，进而影响其实际行为特征，导致人体热舒适预测结果不够准确；(2)间歇性地测量生理数据以及周围环境数据，无法实时调节室内热环境，从而难以营造高品质的室内环境并且有效降低建筑运行能耗。

发明内容

为克服上述现有技术中存在的问题，根据本发明的一个实施例，提供一种构建人体热舒适预测模型的方法，包括：采集人员的生理参数、所处环境的环境参数以及该人员对所述所处环境的热舒适反馈作为一组数据，重复采集过程得到多组数据；将所述多组数据划分为训练数据集、测试数据集和验证数据集；使用所述训练数据集分别训练多个分类器，其中每个分类器的输入为人员的生理参数和环境参数，输出为人体热舒适信息；以及使用所述验证数据集和所述测试数据集从所述多个分类器中选择最优分类器，作为所述人体热舒适预测模型。

上述构建人体热舒适预测模型的方法中，所述人员的生理参数包括人体的一个或多个部位的温度信息。其中，采集人员的生理参数包括：获取所述人员的红外图像和可见光图像；确定所述人体的一个或多个部位在所述可见光图像中对应的像素，根据所述红外图像的像素与所述可见光图像的像素之间的对应关系，从所述红外图像中获取所述人体的一个或多个部位的温度信息。

上述构建人体热舒适预测模型的方法中，所述红外图像的像素与所述可见光图像的像素之间的对应关系是通过对采集所述红外图像的红外热像仪以及采集所述可见光图像的可见光传感器进行几何校准得到的。

根据本发明的一个实施例，还提供一种人体热舒适预测方法，包括：获取被测人员的生理参数，并且获取所述被测人员所处环境的环境参数；以及，将所获取的所述被测人员的生理参数以及所述环境参数输入采用上述构建人体热舒适预测模型的方法构建的人体热舒适预测模型，得到输出的人体热舒适信息作为所述被测人员的人体热舒适预测结果。

上述人体热舒适预测方法中，获取被测人员的生理参数包括：获取所述被测人员的红外图像和可见光图像；确定人体的一个或多个部位在所述可见光图像中对应的像素，根据所述红外图像的像素与所述可见光图像的像素之间的对应关系，从所述红外图像中获取所述人体的一个或多个部位的温度信息。

上述人体热舒适预测方法还可以包括：获取所述被测人员的热舒适反馈；使用所获取的所述被测人员的热舒适反馈、所获取的所述被测人员的生理参数以及所述环境参数，对所述人体热舒适预测模型进行重新训练或者增量训练。

上述人体热舒适预测方法还可以包括：获取所述被测人员的热舒适反馈；将所述被测人员的热舒适反馈与所述人体热舒适预测结果进行对比，若差值在预定的阈值范围之外，则将所获取的所述被测人员的热舒适反馈、所获取的所述被测人员的生理参数以及所述环境参数计入新增数据集；当所述新增数据集的数据量达到预定阈值时，使用所述新增数据集中的数据对所述人体热舒适预测模型进行重新训练或者增量训练。

上述人体热舒适预测方法还可以包括：对所述可见光图像进行人脸识别；响应于识别出所述被测人员，查找所述被测人员对与所获取的所述环境参数相对应的环境的热舒适反馈和对应的生理参数，若找到则对比所述被测人员的生理参数与找到的生理参数，若差值在预定的阈值范围内则将找到的热舒适反馈作为所述被测人员的人体热舒适预测结果。

上述人体热舒适预测方法中，所述热舒适反馈包括热舒适投票和/或热感觉投票。上述人体热舒适预测方法还可以包括：将所述被测人员的所有热舒适投票中，数值最高的热舒适投票所对应的环境信息作为所述被测人员的偏好信息；或者将所述被测人员的所有热感觉投票中，数值为0或最接近0的热感觉投票所对应的环境信息作为所述被测人员的偏好信息。

上述人体热舒适预测方法还可以包括输出下列中的至少一个：所述被测人员的人体热舒适预测结果、所述被测人员的偏好信息、所述红外图像、所述可见光图像、所述红外图像和所述可见光图像的叠加图像、所述环境参数、所述人体的一个或多个部位的温度信息、被测人员的热舒适预测结果随时间的变化曲线图像。

根据本发明的一个实施例，还提供一种电子设备，包括处理器和存储有计算机程序的存储器，当所述计算机程序被所述处理器执行时实现上述构建人体热舒适预测模型的方法或人体热舒适预测方法。

根据本发明的一个实施例，还提供一种人体热舒适预测系统，包括：红外热像仪，用于实时地采集被测人员的红外图像；可见光传感器，用于实时地采集所述被测人员的可见光图像；环境传感器，用于实时地采集环境参数；处理器，与所述红外热像仪、所述可见光传感器以及所述环境传感器连接。所述处理器被配置为：获取被测人员的生理参数，并且获取所述被测人员所处环境的环境参数，以及将所获取的所述被测人员的生理参数以及所述环境参数输入采用上述构建人体热舒适预测模型的方法构建的人体热舒适预测模型，得到输出的人体热舒适信息作为所述被测人员的人体热舒适预测结果。

上述人体热舒适预测系统还可以包括：人机交互设备，与所述处理器连接；以及存储设备，与所述处理器连接，所述存储设备用于存储所述处理器输出的数据。所述人机交互设备包括：显示屏，用于显示所述处理器输出的数据；以及一个或多个按钮，用于接收输入数据并传输至所述处理器。

上述人体热舒适预测系统还可以包括：物联网设备，与所述处理器连接，所述物联网设备用于根据所述被测人员的人体热舒适预测结果，制定用于控制环境的策略。

本发明实施例提供如下的有益效果：

本发明实施例通过采集被测人员的红外图像和可见光图像来获取该被测人员的生理参数，从而以非侵入的方式、远程地预测被测人员的人体热舒适信息，避免影响被测人员的感知或限制被测人员的活动，提高了人体热舒适预测的准确性；并且，能够实时地进行人体热舒适预测，从而可以快速响应于预测结果在需要的时间和地点进行环境调节，在营造高品质室内环境的同时还有效降低了建筑运行能耗。本发明实施例还能够对训练好的人体热舒适预测模型进行动态更新，进一步提高了人体热舒适预测的准确性。此外，通过构建特定于人员的热偏好模型，能够在识别出被测人员之后基于该被测人员的热偏好模型快速得到预测结果，提高了预测效率。

附图说明

将通过参考附图对示例性实施例进行详细描述，附图意在描绘示例性实施例而不应被解释为对权利要求的预期范围加以限制。除非明确指出，否则附图不被认为依比例绘制。

图1示出了根据本发明一个实施例的用于构建人体热舒适预测模型的方法的流程图；

图2示出了根据本发明一个实施例的人体热舒适预测阶段的流程图；

图3示出了根据本发明一个实施例的针孔相机模型的示意图；

图4示出了根据本发明一个实施例的人体的一个或多个特定部位的示意图；

图5示出了根据本发明另一个实施例的人体热舒适预测阶段的流程图；

图6示出了根据本发明一个实施例的人体热舒适预测系统的框图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明的一个实施例，提供一种人体热舒适预测方法，该方法包括两个阶段：初始模型构建阶段，用于构建人体热舒适预测模型；以及，利用所构建的人体热舒适预测模型进行人体热舒适预测的阶段，或称人体热舒适预测阶段，下文分别对这两个阶段展开描述。应注意，这两个阶段是可以分开实施的，训练好的模型可以用在多个预测的场合，而且在预测时并不必然进行训练，即模型训练不是预测方法必然执行的一个步骤。

初始模型构建阶段

在初始模型构建阶段，一方面，基于数据驱动的监督学习来构建人体热舒适预测模型，以用于在人体热舒适预测阶段预测人体热舒适信息。训练好的人体热舒适预测模型的输入为人体特定部位的温度信息(生理参数)和环境参数，输出为人体热舒适预测结果。另一方面，在初始模型构建阶段还构建用于在可见光图像中检测人体的一个或多个特定部位的分类器，该分类器用于在人体热舒适预测阶段从所采集的可见光图像中检测人体的一个或多个特定部位(例如，人员脸部的额头、眼睛、鼻子、嘴等部位)。

图1示意性地示出了根据本发明一个实施例的用于构建人体热舒适预测模型的方法的流程图，包括步骤S11-S13，以下将参照图1描述构建人体热舒适预测模型的具体流程。

步骤S11.获取训练数据集、测试数据集和验证数据集，包括如下的子步骤：

子步骤S111.将多个人员置于不同环境中，其中当人员处于某一环境中时，采集该人员的生理参数以及所处环境的环境参数，并且获取该人员对所处环境的热舒适反馈。

以温度为例，假设冷(例如18℃以下)、中等(例如18℃-30℃)、热(例如30℃以上)分别代表三种不同环境，将多个人员(其中，按性别、年龄、体重、身高等分类各选择至少1人)分别置于温度为18℃以下、18℃-30℃和30℃以上的三个环境中，采集每个人员在不同环境中的生理参数以及所处环境的环境参数。其中，生理参数包括人体的一个或多个特定部位(例如，人员脸部的额头、眼睛、鼻子、嘴等部位)的温度信息，该生理参数可以用温度计测得，或者采用下文所述的方式从红外热像仪和RGB相机采集的图像中获得；环境参数包括环境温度，该环境温度可以用温度传感器测得。

热舒适反馈可以包括人员对所处环境的热舒适投票(TCV)和/或热感觉投票(TSV)，分别表示该人员对所处热环境的满意度评价以及冷热度评价。其中，如表1所示，热舒适投票(TCV)按程度可以划分为很不舒适(例如，以数值-3表示)、不舒适(以数值-2表示)、稍不舒适(以数值-1表示)、舒适(以数值0表示)以及很舒适(以数值1表示)这五类；热感觉投票(TSV)按程度可以划分为很冷(例如，以数值-3表示)、冷(以数值-2表示)、凉(以数值-1表示)、中等(以数值0表示)、暖(以数值1表示)、热(以数值2表示)以及很热(以数值3表示)这七类。

表1

热舒适投票(TCV)	标度
		-3	很不舒适
-2	不舒适
		-1	稍不舒适
0	舒适
		1	很舒适
热感觉投票(TSV)	标度
		-3	很冷
-2	冷
		-1	凉
0	中等
		1	暖
2	热
		3	很热

本领域技术人员应理解，除了环境温度之外，环境参数还可以是环境湿度、空气速度等其他参数，或者可以是这些参数中的两个或更多个的组合。举例来说，可以将多个人员分别置于温度为18℃以下且湿度为60％RH以下、温度为18℃-30℃且湿度为60％RH以下、温度为30℃以上且湿度为60％RH以下、温度为18℃以下且湿度为60％RH以上、温度为18℃-30℃且湿度为60％RH以上以及温度为30℃以上且湿度为60％RH以上的环境中，采集每个人员在不同环境中的生理参数以及所处环境的环境参数。

子步骤S112.对于每个人员，将该人员在某一环境中的生理参数、该环境的环境参数以及该人员对该环境的热舒适反馈作为一组数据，从而得到多个人员在不同环境中的多组数据。将多组数据划分为三个子集，分别作为训练数据集、测试数据集以及验证数据集，举例而言，这三个数据集的比例可以是8:1:1。

步骤S12.使用训练数据集分别训练多种分类器。例如，分别训练支持向量机(SVM)、深度神经网络(DNN)、BP神经网络以及随机森林(RF)模型。

步骤S13.使用验证数据集和测试数据集从训练好的多种分类器中选择最优分类器作为人体热舒适预测模型。如上文所述，该人体热舒适预测模型的输入为人体的一个或多个特定部位的温度信息和环境参数，输出为人体热舒适预测结果。与热舒适反馈类似，人体热舒适预测结果(或称人体热舒适信息)可以包括热舒适的值(与TCV类似，例如数值范围为-3～1，表示很不舒适～很舒适)，和/或热感觉的值(与TSV类似，例如数值范围为-3～3，表示很冷～很热)。

具体地，验证数据集用于评估各个训练好的分类器，以找到其最佳超参数(例如，网络层数、网络节点数、迭代次数等等)；在找到最佳超参数之后，在测试数据集上计算各个训练好的分类器的误差，选择误差最小的分类器作为人体热舒适预测模型。

除了人体热舒适预测模型之外，在初始模型构建阶段，还构建用于在可见光图像中检测人体的一个或多个特定部位的分类器。本领域技术人员应理解，可以训练OpenCV中的Haar分类器、深度神经网络分类器或者Dlib分类器，作为用于在可见光图像中检测人体的一个或多个特定部位的分类器。

人体热舒适预测阶段

在人体热舒适预测阶段，以非侵入的方式实时地获取被测人员的生理参数(人体的一个或多个特定部位的温度信息)以及采集环境参数，将生理参数和环境参数输入训练好的人体热舒适预测模型，输出人体热舒适预测结果。除此之外，在人体热舒适预测阶段，还可以获取被测人员对所处环境的热舒适反馈，用以更新人体热舒适预测模型。

图2示意性示出了根据本发明一个实施例的人体热舒适预测阶段的流程图，包括步骤S21-S28，下面结合图2对人体热舒适预测阶段中的流程进行详细描述。

步骤S21.设置红外热像仪和RGB相机以分别实时采集被测人员的红外图像和可见光图像，并且设置环境传感器以实时采集环境参数。

具体地，设置红外热像仪实时地采集被测人员的红外图像，并且设置RGB相机实时地采集该被测人员的可见光图像(本实施例中为RGB图像)。红外热像仪可与RGB相机部署在同一立面上并且彼此相邻，例如，红外热像仪可与RGB相机一起部署在被测人员所处房间的天花板下方。

如上文所述，环境参数可以包括环境温度、环境湿度、空气速度中的一个或多个。为了采集环境温度、环境湿度以及空气速度，可以在被测人员所处环境中(例如，在被测人员所处房间内)部署温湿度传感器以及空气速度传感器，用于实时地采集环境温湿度以及空气速度。

步骤S22.确定红外热像仪所采集的红外图像的像素与RGB相机所采集的可见光图像的像素之间的对应关系。

红外热像仪和RGB相机通常可能具有不同的视场角(例如，由于不同的部署位置导致视场角不同)和不同的分辨率，这使得两者采集的图像存在空间上的偏差以及精细程度的差异，其中RGB相机的分辨率通常要高于红外热像仪的分辨率，因此RGB相机采集的可见光图像中的多个像素可能会对应到红外热像仪采集的红外图像中的一个像素。本领域技术人员应理解，红外热像仪采集的红外图像中的每个像素对应的是温度信息，而RGB相机采集的可见光图像中的每个像素对应的是RGB信息。在步骤S22中确定了红外图像的像素与可见光图像的像素之间的对应关系之后，利用该对应关系可以找到可见光图像中人体的一个或多个特定部位的温度信息(将在后面的步骤中描述)。本领域技术人员应理解，步骤S22中确定的红外图像的像素与可见光图像的像素之间的对应关系，实际上是红外图像与可见光图像的视场重叠部分的像素之间的对应关系。

根据本发明的一个实施例，为了确定红外热像仪所采集的红外图像的像素与RGB相机所采集的可见光图像的像素之间的对应关系，可以事先根据针孔相机模型分别对红外热像仪和RGB相机进行几何校准(例如，可以在初始模型构建阶段对红外热像仪和RGB相机进行几何校准)，其中，通过计算红外热像仪和RGB相机各自的内部参数和外部参数，从而得到红外热像仪和RGB相机各自的世界坐标系与图像像素坐标系的转换关系。对于本领域技术人员而言，在已知红外热像仪的图像像素坐标点与世界坐标点的转换关系，以及RGB相机的图像像素坐标点与世界坐标点的转换关系之后，即可以经由世界坐标点得到红外热像仪的红外图像的像素与RGB相机的可见光图像的像素之间的对应关系。

具体地，参见图3所示的针孔相机模型，相机(在本发明中为红外热像仪或者RGB相机)的世界坐标系与图像像素坐标系之间的转换关系可以表示如下：

公式(1)可以被简化为下式：

sm＝K[R|T]M (2)

其中，M和m分别表示世界坐标点和图像像素坐标点；K表示相机的内部参数，该内部参数包括相机的焦距和原点；[R|T]表示相机的外部参数，该外部参数包括径向和切向变形。

为了计算红外热像仪和RGB相机各自的内部参数和外部参数，根据本发明的一个实施例，可以事先分别将红外热像仪和RGB相机以不同的角度和距离各采集30张棋盘格图像(例如，黑白棋盘格图像)，以输入到MATLAB或OpenCV中的立体相机标定模块中进行几何校准，从而得到红外热像仪和RGB相机各自的内部参数和外部参数。需要注意的是，由于红外热像仪无法检测到常规的棋盘格图像，因此，需要在棋盘格图像的基础上，改变其中各区域的材料的发射率，以使得红外热像仪可检测。

步骤S23.获取由所设置的红外热像仪实时采集的被测人员的红外图像，以及由所设置的RGB相机实时采集的被测人员的可见光图像，并且获取由所设置的环境传感器实时采集的环境参数。

步骤S24.在所采集的可见光图像中检测人体的一个或多个特定部位(例如，人员脸部的额头、眼睛、鼻子、嘴等部位)，确定人体的一个或多个特定部位在该可见光图像中对应的像素。

具体地，利用在初始模型构建阶段中训练好的OpenCV中的Haar分类器、深度神经网络分类器或者Dlib分类器来检测可见光图像中的人体一个或多个特定部位，或者也可以利用现有技术中的OpenCV中的Haar分类器、深度神经网络分类器或者Dlib分类器来检测可见光图像中的人体一个或多个特定部位，如图4所示，从而获得人体的一个或多个特定部位在可见光图像中对应的像素。在一个实施例中，可以用位置矩阵的形式来表示人体的一个或多个特定部位在可见光图像中对应的像素。

本领域技术人员应理解，从可见光图像中而不是从红外图像中检测人体特定部位的优势在于，可见光图像的分辨率通常高于红外图像，更适于执行检测。

步骤S25.根据所确定的红外图像的像素与可见光图像的像素之间的对应关系，在红外图像中获取人体的一个或多个特定部位的温度信息，即得到被测人员的生理参数。在一个实施例中，可以用温度矩阵的形式来表示该生理参数。

步骤S26.将被测人员的生理参数、所获取的环境参数输入训练好的人体热舒适预测模型，得到人体热舒适预测结果。如上文所述，人体热舒适预测结果可以包括热舒适的值和/或热感觉的值。

步骤S27.输出人体热舒适预测结果。

在一个实施例中，可以将人体热舒适预测结果输出至显示屏进行显示。除了输出至显示屏之外，还可以将该人体热舒适预测结果发送到存储器进行存储，或者发送到物联网(IoT)装置以进行存储、分享或进一步处理，例如，由物联网装置根据人体热舒适预测结果来制定HVAC系统的控制策略，以对环境温湿度、风速等进行实时控制。

除了人体热舒适预测结果之外，还可以输出红外图像、可见光图像、红外图像和可见光图像的叠加图像(或称融合图像)、环境参数、生理参数、被测人员的热舒适预测结果随时间的变化曲线图像等，以进行显示、存储或进一步处理。其中，可以基于所确定的像素之间的对应关系来叠加红外图像和可见光图像。此外，还可以将训练好的人体热舒适预测模型发送至物联网平台。

步骤S28.响应于获取被测人员对所处环境的热舒适反馈(举例而言，可以在得到人体热舒适预测结果之后，由被测人员对所处环境进行热舒适反馈)，将该热舒适反馈、所获取的被测人员的生理参数以及所获取的环境参数作为一组新的数据，用于与训练时使用的多组数据一起重新训练或者增量训练人体热舒适预测模型，以对该人体热舒适预测模型进行更新。

上述实施例中，通过采集被测人员的红外图像和可见光图像来获取该被测人员的生理参数，从而以非侵入的方式、远程地预测被测人员的人体热舒适信息，避免影响被测人员的感知或限制被测人员的活动，提高了人体热舒适预测的准确性；并且，能够实时地进行人体热舒适预测，从而可以快速响应于预测结果在需要的时间和地点进行环境调节(例如，制定HVAC系统的控制策略以基于预测结果进行调节)，在营造高品质室内环境的同时还有效降低了建筑运行能耗。此外，还能够对训练好的人体热舒适预测模型进行动态更新，进一步提高了人体热舒适预测的准确性。

根据本发明的一个实施例，还提供一种人体热舒适预测方法，其中针对不同的人员维护相应的热偏好模型，该热偏好模型可用于相应人员的人体热舒适预测。方法包括两个阶段：初始模型构建阶段和人体热舒适预测阶段，下文分别对这两个阶段展开描述。

初始模型构建阶段

在初始模型构建阶段，构建人体热舒适预测模型、用于在可见光图像中检测人体的一个或多个特定部位的分类器、人脸识别分类器以及特定于人员的热偏好模型。

概括而言，构建人脸识别分类器包括：采集人脸图像数据，基于Eigenfaces，Fisherfaces或者局部二值模式直方图(LBPH)算法来训练人脸识别分类器。在其他实施例中，也可以采用SVM、深度神经网络等训练人脸识别分类器。

在一个实施例中，构建特定于人员的热偏好模型包括：记录特定人员对所处环境的热舒适反馈，以及对应的该人员的生理参数，以备人体热舒适预测阶段使用；以及，从中得到该人员对一种或多种环境的热舒适投票和/或热感觉投票，将该人员的所有热舒适投票中数值最高的(即，对所处热环境的满意度最高)热舒适投票所对应的环境信息作为该人员的偏好信息，或者将该人员的所有热感觉投票中数值为0或者最接近0的(即，冷热度为中等)热感觉投票所对应的环境信息作为该人员的偏好信息，同时记录与该偏好信息对应的该人员的生理参数。例如，假设某人员在温度为18℃-30℃且湿度为60％RH以下的环境中，其热舒适反馈为1(对应于很舒适)；在温度为30℃以上且湿度为60％RH以上的环境中，其热舒适反馈为-2(对应于不舒适)；则通过比较可以将温度为18℃-30℃且湿度为60％以下作为该人员的偏好信息(前者数值较高)。

另外，如上文所述，还可以在初始模型构建阶段对红外热像仪和RGB相机进行几何校准。

人体热舒适预测阶段

在人体热舒适预测阶段，以非侵入的方式实时地采集被测人员的红外图像和可见光图像以及环境参数；对可见光图像利用训练好的人脸识别分类器进行人脸识别，若识别出被测人员，则从特定于该被测人员的热偏好模型中查找该被测人员对当前所处环境的热舒适反馈，若找到则作为人体热舒适预测结果；若未识别出人员，或者没有找到相应的热舒适反馈，则使用训练好的人体热舒适预测模型来得到人体热舒适预测结果。除此之外，在人体热舒适预测阶段，还可以获取被测人员对所处环境的热舒适反馈，用以更新人体热舒适预测模型以及更新特定于该被测人员的热偏好模型。

图5示意性示出了根据本发明一个实施例的人体热舒适预测阶段的流程图，包括步骤S51-S61，下面结合图5对人体热舒适预测阶段中的流程进行详细描述。

步骤S51.设置红外热像仪和RGB相机以分别实时采集被测人员的红外图像和可见光图像，并且设置环境传感器以实时采集环境参数。

步骤S52.确定红外热像仪所采集的红外图像的像素与RGB相机所采集的可见光图像的像素之间的对应关系。

步骤S53.获取由所设置的红外热像仪实时采集的被测人员的红外图像，以及由所设置的RGB相机实时采集的被测人员的可见光图像，并且获取由所设置的环境传感器实时采集的环境参数。

步骤S54.在所采集的可见光图像中检测人体的一个或多个特定部位(例如，人员脸部的额头、眼睛、鼻子、嘴等部位)，确定人体的一个或多个特定部位在该可见光图像中对应的像素。

步骤S55.根据所确定的红外图像的像素与可见光图像的像素之间的对应关系，在红外图像中获取人体的一个或多个特定部位的温度信息，即得到被测人员的生理参数。

步骤S56.使用训练好的人脸识别分类器对所获取的可见光图像进行人脸识别，若识别出被测人员，则执行步骤S57，否则执行步骤S59。

概括而言，训练好的人脸识别分类器通常执行如下操作：对所获取的可见光图像进行人脸检测和关键点检测，并且进行人脸规整，随后提取特征以与事先存储的图像进行比对识别。

本领域技术人员应理解，从可见光图像中而不是从红外图像中识别人脸的优势在于，可见光图像的分辨率通常高于红外图像，更适于执行人脸识别。

步骤S57.根据所获取的环境参数确定被测人员当前所处的环境，并且在特定于该被测人员的热偏好模型中查找该被测人员对当前所处环境的热舒适反馈和对应的生理参数，若找到则对比被测人员的生理参数(即，在步骤S55中得到的被测人员的生理参数)与在热偏好模型中找到的生理参数，若基本一致(例如，差值在预定的阈值范围内)则执行步骤S58，否则(例如，差值在预定的阈值范围外)执行步骤S59；若没有找到也执行步骤S59。

步骤S58.将找到的热舒适反馈作为该被测人员的人体热舒适预测结果，进入步骤S60。

步骤S59.将被测人员的生理参数、所获取的环境参数输入训练好的人体热舒适预测模型，得到人体热舒适预测结果。

步骤S60.输出人体热舒适预测结果。

根据本发明的一个实施例，除了输出人体热舒适预测结果之外，还可以从特定于被测人员的热偏好模型中获得该被测人员的偏好信息，并且输出该被测人员的偏好信息。物联网装置在接收到人体热舒适预测结果和被测人员的偏好信息后，可以结合人体热舒适预测结果和被测人员的偏好信息来制定HVAC系统的控制策略，从而可以更个性化地对环境温湿度、风速等进行实时控制。

应理解，还可以输出红外图像、可见光图像、红外图像和可见光图像的叠加图像(或称融合图像)、环境参数、生理参数、被测人员的热舒适预测结果随时间的变化曲线图像等，以进行显示、存储和进一步处理。

步骤S61.响应于获取被测人员对所处环境的热舒适反馈，将该热舒适反馈、所获取的被测人员的生理参数以及所获取的环境参数作为一组新的数据，用于与训练时使用的多组数据一起重新训练或者增量训练人体热舒适预测模型，以对该人体热舒适预测模型进行更新。另外，根据被测人员对所处环境的热舒适反馈，更新特定于被测人员的热偏好模型。

其中，更新特定于被测人员的热偏好模型包括：记录所获取的被测人员对所处环境的热舒适反馈；从该热舒适反馈中得到热舒适投票和/或热感觉投票，将该被测人员的所有热舒适投票中数值最高的(对所处热环境的满意度最高)热舒适投票所对应的环境信息作为该被测人员的偏好信息，或者将该被测人员的所有热感觉投票中数值为0或者最接近0的(冷热度为中等)热感觉投票所对应的环境信息作为该被测人员的偏好信息。

上述实施例中，通过构建特定于人员的热偏好模型，能够在识别出被测人员之后基于该被测人员的热偏好模型快速得到预测结果，这进一步提高了预测效率。此外，特定于人员的热偏好模型还可以提供人员的偏好信息，输出该偏好信息到物联网设备的HVAC系统，有助于HVAC系统制定控制策略，以对环境温湿度、风速等更好地进行实时控制。

在上述的实施例中，响应于获取被测人员对所处环境的热舒适反馈，将该热舒适反馈、所获取的被测人员的生理参数以及所获取的环境参数作为一组新的数据，用于与训练时使用的多组数据一起重新训练或者增量训练人体热舒适预测模型(参见步骤S28和S61)。在另一个优选的实施例中，可以将被测人员的热舒适反馈与人体热舒适预测结果进行对比，若基本一致(例如，差值在预定的阈值范围内)，则不将该热舒适反馈及相应的生理参数、环境参数用于重新训练或者增量训练；若差值较大(例如，差值在预定的阈值范围外)，则将该热舒适反馈、所获取的被测人员的生理参数以及所获取的环境参数作为一组新的数据，用于与训练时使用的多组数据一起重新训练或者增量训练人体热舒适预测模型。具体而言，若差值较大(在预定的阈值范围外)，则将该热舒适反馈、所获取的被测人员的生理参数以及所获取的环境参数作为一组新的数据，计入新增数据集；当新增数据集中的数据量达到预定阈值时，使用该新增数据集中的数据并且结合训练时使用的多组数据，对人体热舒适预测模型进行重新训练或者增量训练。这样，在提高人体热舒适预测的准确性的同时，能够降低资源消耗、提高处理效率。

在上述的多个实施例中，以RGB相机为例进行可见光图像的采集，而在其他实施例中，该RGB相机也可以替换为采集灰度图像的灰度相机，或者其他的可见光传感器。在上述实施例中，热舒适反馈可以包括人员对所在环境的热舒适投票和/或热感觉投票，而在其他的实施例中，热舒适反馈可以仅包括热舒适投票和热感觉投票之一，并且人体热舒适预测结果也可以仅包括热舒适的值和热感觉的值之一。

根据本发明的一个实施例，还提供一种人体热舒适预测系统，图6示意性示出了该人体热舒适预测系统的框图。如图6所示，系统包括红外热像仪、RGB相机、环境传感器(包括温湿度传感器和空气速度传感器)、处理器、人机交互设备、存储设备以及物联网设备，下文将分别介绍系统的各个部分。

红外热像仪可以是FLIR Lepton 3.5红外热像测温传感器，其灵敏度为50mK、分辨率为160*120并且最大帧率为9Hz。红外热像仪与相应的开发板(其中，开发板可以用于读取图像、设置相机参数等)接合后，可通过串行外设接口(SPI)或者USB接口连接至处理器。红外热像仪用于实时地采集被测人员的红外图像(例如，可以是彩色红外图像或者灰度红外图像)，并且通过串行外设接口(SPI)或者USB接口将红外图像传输至处理器。

RGB相机可以是树莓派彩色相机模块V2系列的相机，其静态图像的分辨率为3280*2464并且最大帧率为30Hz。RGB相机通过I2C接口或者USB接口连接至处理器。RGB相机用于实时地采集被测人员的可见光图像，并且通过I2C接口或者USB接口将可见光图像传输至处理器。如上文所述，RGB相机与红外热像仪可以部署在同一立面并且彼此相邻。

环境传感器包括温湿度传感器和空气速度传感器，温湿度传感器例如是SHT31空气温湿度传感器，其温度精度为0.3℃、相对湿度精度为2％并且最高采集频率为30Hz，温湿度传感器和空气速度传感器通过I2C接口连接至处理器。环境传感器实时地采集被测人员所处环境的环境参数，即环境温度、环境湿度和空气速度，并且将环境参数通过I2C接口传输至处理器。在实践中，可以利用传感器自带协议与Python编程来实现将环境参数传输至处理器。

处理器可以是诸如树莓派3B+之类的微处理器，其能够执行数据运算处理以及控制功能。处理器用于构建人体热舒适预测模型和用于在可见光图像中检测人体的一个或多个特定部位的分类器。处理器可以通过上述的接口获取被测人员的红外图像和可见光图像，以及获取环境参数。处理器可以利用训练好的用于在可见光图像中检测人体的一个或多个特定部位的分类器，确定人体的一个或多个部位在可见光图像中对应的像素，并且根据红外图像的像素与可见光图像的像素之间的对应关系(根据本发明的一个实施例，可以由处理器对采集红外图像的红外热像仪以及采集可见光图像的可见光传感器进行几何校准，以得到该对应关系)，从红外图像中获取人体的一个或多个部位的温度信息。处理器可以计算与所获取的人体的一个或多个部位的温度信息(即生理参数)以及环境参数相对应的人体热舒适信息，作为被测人员的人体热舒适预测结果。具体地，由处理器将所获取的人体的一个或多个部位的温度信息以及环境参数输入训练好的人体热舒适预测模型，得到输出的人体热舒适信息。此外，处理器可以将人体热舒适预测结果、红外图像、可见光图像、红外图像和可见光图像的叠加图像、环境参数、生理参数、被测人员的热舒适预测结果随时间的变化曲线图像中的至少一个输出到人机交互设备、存储设备以及物联网设备中的至少一个。处理器还可以接收来自人机交互设备的热舒适反馈，以对训练好的人体热舒适预测模型进行重新训练或者增量训练。

在进一步的实施例中，处理器还用于构建人脸识别分类器和特定于人员的热偏好模型。处理器在获取被测人员的可见光图像之后，可以利用训练好的人脸识别分类器来对可见光图像进行人脸识别；并且响应于识别出被测人员，从特定于被测人员的热偏好模型中查找该被测人员对与环境参数相对应的环境(当前所处环境)的热舒适反馈及对应的生理参数，若找到，则进一步对比被测人员的生理参数与找到的生理参数，若基本一致则将找到的热舒适反馈作为该被测人员的人体热舒适预测结果，否则，使用训练好的人体热舒适预测模型来计算人体热舒适预测结果。此外，处理器还可以从特定于被测人员的热偏好模型中获取并输出被测人员的偏好信息。

人机交互设备包括显示屏以及一个或多个按钮，其中，显示屏可以是TFT-LCD显示屏，用于显示处理器输出的数据；一个或多个按钮可以包括视频/图像切换按钮、开关机按钮、拍照/录像按钮、热舒适投票和热感觉投票按钮，这些按钮用于接收用户的输入并且传输到处理器。

物联网(IoT)设备可以存储、分享、在线处理处理器输出的数据。物联网设备可以根据人体热舒适预测结果(以及进一步地，根据人体热舒适预测结果和人员的偏好信息)来制定HVAC系统的控制策略，从而实现HVAC系统对环境温湿度、风速等的实时控制。

存储设备可以是处理器的内置存储卡或者是位于处理器外部的存储卡，用于对处理器输出的数据实现数据离线存储。

在上述的实施例中，以RGB相机为例进行可见光图像的采集，而在其他实施例中，该RGB相机也可以替换为采集灰度图像的灰度相机，或者其他的可见光传感器。在进一步的实施例中，可以由物联网(IoT)设备来分担处理器的部分运算任务，以降低处理器的运算负荷。举例来说，处理器可以将训练好的人体热舒适预测模型上传至物联网设备，由物联网设备对该人体热舒适预测模型进行更新。

应注意到一些示例性方法被描绘为流程图。虽然流程图将操作表述为顺序执行，但可以理解的是，许多操作可以并行、同时或同步地执行。另外，可以重新排列操作的顺序。处理可以在操作完成时终止，但是也可以具有并未包括在图中或实施例中的另外的步骤。

上述方法可以通过硬件、软件、固件、中间件、伪代码、硬件描述语言或者它们的任意组合来实现。当以软件、固件、中间件或伪代码实施时，用来执行任务的程序代码或代码分段可以被存储在计算机可读介质中，诸如存储介质，处理器可以执行该任务。

应理解，软件实现的示例性实施例通常在一些形式的程序存储介质上进行编码或者在一些类型的传输介质上实现。程序存储介质可以是任意的非瞬态存储介质，诸如磁盘(例如，软盘或硬盘)或光盘(例如，紧凑盘只读存储器或“CD ROM”)，并且可以是只读的或者随机访问的。类似地，传输介质可以是双绞线、同轴线缆、光纤，或者本领域已知的一些其它适用的传输介质。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (15)

1.一种构建人体热舒适预测模型的方法，其特征在于，包括：

采集人员的生理参数、所处环境的环境参数以及该人员对所述所处环境的热舒适反馈作为一组数据，重复采集过程得到多组数据；

将所述多组数据划分为训练数据集、测试数据集和验证数据集；

使用所述训练数据集分别训练多个分类器，其中每个分类器的输入为人员的生理参数和环境参数，输出为人体热舒适信息；以及

使用所述验证数据集和所述测试数据集从所述多个分类器中选择最优分类器，作为所述人体热舒适预测模型。

2.根据权利要求1所述的方法，其特征在于，所述人员的生理参数包括人体的一个或多个部位的温度信息。

3.根据权利要求2所述的方法，其特征在于，采集人员的生理参数包括：

获取所述人员的红外图像和可见光图像；

确定所述人体的一个或多个部位在所述可见光图像中对应的像素，根据所述红外图像的像素与所述可见光图像的像素之间的对应关系，从所述红外图像中获取所述人体的一个或多个部位的温度信息。

4.根据权利要求3所述的方法，其特征在于，所述红外图像的像素与所述可见光图像的像素之间的对应关系是通过对采集所述红外图像的红外热像仪以及采集所述可见光图像的可见光传感器进行几何校准得到的。

5.一种人体热舒适预测方法，其特征在于，所述方法包括：

获取被测人员的生理参数，并且获取所述被测人员所处环境的环境参数；以及

将所获取的所述被测人员的生理参数以及所述环境参数输入采用如权利要求1-4中任一项所述的方法构建的人体热舒适预测模型，得到输出的人体热舒适信息作为所述被测人员的人体热舒适预测结果。

6.根据权利要求5所述的方法，其特征在于，获取被测人员的生理参数包括：

获取所述被测人员的红外图像和可见光图像；

确定人体的一个或多个部位在所述可见光图像中对应的像素，根据所述红外图像的像素与所述可见光图像的像素之间的对应关系，从所述红外图像中获取所述人体的一个或多个部位的温度信息。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

获取所述被测人员的热舒适反馈；

使用所获取的所述被测人员的热舒适反馈、所获取的所述被测人员的生理参数以及所述环境参数，对所述人体热舒适预测模型进行重新训练或者增量训练。

8.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

获取所述被测人员的热舒适反馈；

将所述被测人员的热舒适反馈与所述人体热舒适预测结果进行对比，若差值在预定的阈值范围之外，则将所获取的所述被测人员的热舒适反馈、所获取的所述被测人员的生理参数以及所述环境参数计入新增数据集；

当所述新增数据集的数据量达到预定阈值时，使用所述新增数据集中的数据对所述人体热舒适预测模型进行重新训练或者增量训练。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

对所述可见光图像进行人脸识别；

响应于识别出所述被测人员，查找所述被测人员对与所获取的所述环境参数相对应的环境的热舒适反馈和对应的生理参数，若找到则对比所述被测人员的生理参数与找到的生理参数，若差值在预定的阈值范围内则将找到的热舒适反馈作为所述被测人员的人体热舒适预测结果。

10.根据权利要求9所述的方法，其特征在于，所述热舒适反馈包括热舒适投票和/或热感觉投票；以及，所述方法还包括：

将所述被测人员的所有热舒适投票中，数值最高的热舒适投票所对应的环境信息作为所述被测人员的偏好信息；或者将所述被测人员的所有热感觉投票中，数值为0或最接近0的热感觉投票所对应的环境信息作为所述被测人员的偏好信息。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括输出下列中的至少一个：

所述被测人员的人体热舒适预测结果、所述被测人员的偏好信息、所述红外图像、所述可见光图像、所述红外图像和所述可见光图像的叠加图像、所述环境参数、所述人体的一个或多个部位的温度信息、被测人员的热舒适预测结果随时间的变化曲线图像。

12.一种电子设备，包括处理器和存储有计算机程序的存储器，当所述计算机程序被所述处理器执行时实现上述如权利要求1-4和5-11中任一项所述的方法。

13.一种人体热舒适预测系统，其特征在于，所述系统包括：

红外热像仪，用于实时地采集被测人员的红外图像；

可见光传感器，用于实时地采集所述被测人员的可见光图像；

环境传感器，用于实时地采集环境参数；

处理器，与所述红外热像仪、所述可见光传感器以及所述环境传感器连接，所述处理器被配置为：

获取被测人员的生理参数，并且获取所述被测人员所处环境的环境参数，以及

将所获取的所述被测人员的生理参数以及所述环境参数输入采用如权利要求1-4中任一项所述的方法构建的人体热舒适预测模型，得到输出的人体热舒适信息作为所述被测人员的人体热舒适预测结果。

14.根据权利要求13所述的系统，其特征在于，所述系统还包括：

人机交互设备，与所述处理器连接，所述人机交互设备包括：

显示屏，用于显示所述处理器输出的数据，

一个或多个按钮，用于接收输入数据并传输至所述处理器；以及

存储设备，与所述处理器连接，所述存储设备用于存储所述处理器输出的数据。

15.根据权利要求13或14所述的系统，其特征在于，所述系统还包括：

物联网设备，与所述处理器连接，所述物联网设备用于根据所述被测人员的人体热舒适预测结果，制定用于控制环境的策略。

Images