CN114627539A - 一种热舒适度预测方法、系统及空调调节方法、装置 - Google Patents
一种热舒适度预测方法、系统及空调调节方法、装置 Download PDFInfo
- Publication number
- CN114627539A CN114627539A CN202210291027.5A CN202210291027A CN114627539A CN 114627539 A CN114627539 A CN 114627539A CN 202210291027 A CN202210291027 A CN 202210291027A CN 114627539 A CN114627539 A CN 114627539A
- Authority
- CN
- China
- Prior art keywords
- thermal imaging
- infrared thermal
- image
- imaging image
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001931 thermography Methods 0.000 claims abstract description 184
- 238000012549 training Methods 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 30
- 238000004378 air conditioning Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000003750 conditioning effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000037323 metabolic rate Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Landscapes
- Radiation Pyrometers (AREA)
Abstract
本发明涉及一种热舒适度预测方法、系统及空调调节方法、装置，属于人体热舒适度预测技术领域。本发明所提供的热舒适度预测方法及系统，先获取红外热成像图像，然后以红外热成像图像作为输入，利用人脸识别模型判断红外热成像图像中是否存在人脸，并在红外热成像图像中存在人脸时，以红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度，能够快速、准确的感知人体的热舒适状态，且无需部署过多的高精度传感器，也无需佩戴任何可穿戴设备，非常适合推广应用。本发明还提供一种空调调节方法及系统，在得到热舒适度后，进一步根据热舒适度调节空调温度，从而能够使人体始终处于最佳的热舒适状态下。
Description
技术领域
本发明涉及人体热舒适度预测技术领域，特别是涉及一种基于深度学习的热舒适度预测方法、系统及空调调节方法、装置。
背景技术
近十多年来，研究学者提出了许多不同的热舒适度预测方法，其大致可以包括以下三种：第一种是基于丹麦教授Fanger在1972年所提出的预测平均评价(PMV)模型，通过采集空气温度、相对湿度、平均辐射温度、相对空气流速以及衣物热阻(CLO)和人体新陈代谢率(MET)，以预测当前的人体热舒适度。第二种是基于自适应热舒适模型，其更多的考虑不同个体之间的差异，如年龄、性别和情绪等，通过可穿戴设备，如智能腕表，皮肤温度和心率传感器等获取对应的人体生理指标，从而通过传统的机器学习方法对人体的热舒适度进行预测。第三种是通过实时获取人体的特征参数，如当前局部皮肤温度、心率、血压和产热量，再结合天气预报以及地理位置信息，预测人体衣着服装热阻，再利用以上特征参数预估用户的热舒适状态。但是上述的三种方法均存在着局限性，第一种方法需要部署较多的高精度传感器，并且若采集的相关参数存在偏差，将导致预测精确度大大降低。第二种方法需要额外穿戴相关设备，不便于普及推广。第三种方法由于年龄、性别等个体差异，仅根据天气预报和地理位置信息对衣着服装热阻进行预测，容易产生偏差，从而影响热舒适状态的预测结果，且要求用户配戴相关的人体参数监测设备，不便于各类用户的普及推广。基于此，上述三种方法均在实际应用中受限。
因此，亟需设计一种热舒适度预测方法及系统，以快速、准确的感知人体的热舒适状态。
发明内容
本发明的目的是提供一种热舒适度预测方法、系统及空调调节方法、装置，以快速、准确的感知人体的热舒适状态，且无需部署过多的高精度传感器，也无需佩戴任何可穿戴设备。
为实现上述目的，本发明提供了如下方案：
一种热舒适度预测方法，所述预测方法包括如下步骤：
获取红外热成像图像；
以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
一种热舒适度预测系统，所述预测系统包括：
获取模块，用于获取红外热成像图像；
人脸识别模块，用于以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
热舒适度预测模块，用于若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
一种空调调节方法，所述调节方法包括如下步骤：
获取红外热成像图像；
以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度；
根据所述热舒适度调节空调温度。
一种空调调节装置，所述调节装置包括多个调节部件；所述调节部件分别安装在汽车内不同座位所对应区域内，所述调节部件与所述区域一一对应；每一所述调节部件均包括红外热成像模组以及处理单元；所述处理单元分别与所述红外热成像模组和所述调节部件所对应区域内的空调通信连接；
所述红外热成像模组用于采集红外热成像图像，并将所述红外热成像图像传输至所述处理单元；
所述处理单元用于执行上述的调节方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明用于提供一种热舒适度预测方法及系统，先获取红外热成像图像，然后以红外热成像图像作为输入，利用人脸识别模型判断红外热成像图像中是否存在人脸，并在红外热成像图像中存在人脸时，以红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度，从而基于采集得到的包含人脸的红外热成像图像和预先建立的热舒适度预测模型即可对热舒适度进行预测，能够快速、准确的感知人体的热舒适状态，且无需部署过多的高精度传感器，也无需佩戴任何可穿戴设备，非常适合推广应用。本发明还提供一种空调调节方法及系统，在得到热舒适度后，进一步根据热舒适度调节空调温度，从而能够使人体始终处于最佳的热舒适状态下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的预测方法的方法流程图；
图2为本发明实施例2所提供的预测系统的系统框图；
图3为本发明实施例3所提供的调节方法的方法流程图；
图4为本发明实施例4所提供的调节装置的结构示意图。
符号说明：
100-副驾驶座左右调节杆，101-副驾驶座智能I/O板，102-第一USB数据线，103-副驾驶座ARM处理器，104-主驾驶座ARM处理器，105-第二USB数据线，106-主驾驶座智能I/O板，107-主驾驶座左右调节杆，108-车载音响，109-主驾驶座左侧空调出风口，110-主驾驶座红外热成像模组，111-主驾驶座右侧空调出风口，112-副驾驶座左侧空调出风口，113-副驾驶座红外热成像模组，114-副驾驶座右侧空调出风口，115-第三USB数据线，116-第四USB数据线，117-第一USB接口，118-第二USB接口，119-总控制器，120-第三USB接口，121-第四USB接口，122-后座左侧空调出风口，123-第五USB数据线，124-后座左智能I/O板，125-后座左左右调节杆，126-后座左红外热成像模组，127-后座左ARM处理器，128-第六USB数据线，129-后座右ARM处理器，130-后座右红外热成像模组，131-后座右左右调节杆，132-第七USB数据线，133-第八USB数据线，134-后座右侧空调出风口。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种热舒适度预测方法、系统及空调调节方法、装置，以快速、准确的感知人体的热舒适状态，且无需部署过多的高精度传感器，也无需佩戴任何可穿戴设备。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例用于提供一种热舒适度预测方法，如图1所示，所述预测方法包括如下步骤：
S1：获取红外热成像图像；
具体的，可通过红外热成像模组拍摄得到红外热成像图像。通过红外热成像模组采集图像，其原理是接收被测目标的红外辐射能量分布成像，因此对于光照环境没有特别的要求，受环境影响较小。
S2：以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
具体的，在S2之前，本实施例的预测方法还包括训练得到人脸识别模型，该步骤可以包括：
(1)获取第一训练数据集；所述第一训练数据集包括多张训练用第一红外热成像图像以及每一训练用第一红外热成像图像对应的第一标签；所述第一标签用于指示训练用第一红外热成像图像中是否存在人脸；
具体的，本实施例中的第一训练数据集为部分包含人脸的红外热成像图像数据集，即第一训练数据集中有一部分训练用第一红外热成像图像为包含人脸的红外热成像图像，剩余训练用第一红外热成像图像为不包含人脸的红外热成像图像。生成第一训练数据集的方法可为：通过红外热成像模组定时采集包含人脸的红外热成像图像和不包含人脸的红外热成像图像，并同时记录采集红外热成像图像时，该红外热成像图像中是否存在人脸，将是否存在人脸的结果作为该红外热成像图像对应的第一标签，并根据红外热成像图像和第一标签之间的对应关系整理生成第一训练数据集。举例而言，该第一训练数据集包含两个类别，第一个类别是包含人脸的红外热成像图像，该类别图像共500张；第二个类别是不包含人脸的红外热成像图像，该类别图像共500张。第一训练数据集用于训练得到用于预测采集的红外热成像图像中是否包含人脸的深度残差网络模型，即训练得到人脸识别模型。
(2)构建基于深度残差网络的初始人脸识别模型；
具体的，根据残差网络结构，利用深度学习框架Pytorch，构建深度残差网络模型，并以该深度残差网络模型作为初始人脸识别模型。更为具体的，构建的深度残差网络模型采用34层的ResNet网络结构，图像数据先经过一个卷积核为7×7的卷积层(Conv)和3×3的最大池化层(Max pool)。随后分为两路输入，一部分经过一系列由两个3×3的卷积层(Conv)，中间用ReLU激活层组成的卷积块，另一部分利用shortcut方法，直接同该卷积块的输出相加。最后，经过一个平均池化层(average pool)，再用Softmax层输出不同类别的预测概率。
(3)以第一训练数据集作为输入，对初始人脸识别模型进行训练，得到人脸识别模型。
具体的，设置批处理数量以及初始学习率，将第一训练数据集按照预设比例划分为训练集和验证集，具体可按照7：3的比例将第一训练数据集划分为训练集和验证集，且训练集和验证集中所包含的各类第一标签的图像的比例也是7：3，以保证数据的均匀性。先使用训练集对初始人脸识别模型进行训练，得到训练后的深度残差网络模型，再通过验证集对训练后的深度残差网络模型进行验证，完成一轮训练。通过一定轮数的训练，保存在验证集上预测准确度最高的深度残差网络模型作为人脸识别模型。更为具体的，设置批处理数量Batch_size为32，初始学习率Learning_rate为0.0001，训练总轮数Epoch为40，在一轮训练中，先利用训练集对深度残差网络模型进行训练，并通过验证集对训练后的深度残差网络模型进行验证，每训练完一轮，将当前的验证集准确度同历史最高验证集准确度对比，若高于历史最高验证集准确度，则保存当前的深度残差网络模型参数作为最好的深度残差网络模型参数，到达训练总轮数后，以最好的深度残差网络模型参数作为人脸识别模型。
S3：若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
在S3之前，本实施例的预测方法还包括训练得到热舒适度预测模型，该步骤可以包括：
(1)获取第二训练数据集；所述第二训练数据集包括多张包含人脸的训练用第二红外热成像图像以及每一训练用第二红外热成像图像对应的第二标签；所述第二标签为训练用第二红外热成像图像对应的热舒适度；
具体的，第二训练数据集是包含不同热舒适度下的人脸的红外热成像图像数据集，其用于训练得到用于预测不同热舒适度的深度残差网络模型，即训练得到热舒适度预测模型。本实施例的热舒适度可包括冷、热、舒适，则第二训练数据集用于训练预测冷、舒适、热三类不同热舒适度的深度残差网络模型。生成第二训练数据集的方法可为：通过红外热成像模组定时采集包含人脸的红外热成像图像，并同时记录采集红外热成像图像时，人的主观热舒适度反馈，将热舒适度作为该红外热成像图像对应热舒适度的类别标签，即作为该红外热成像图像对应的第二标签，根据红外热成像图像和第二标签之间的对应关系整理生成第二训练数据集。举例而言，第二训练数据集中的红外热成像图像均包含人脸，共有三个类别，第一个类别是标签为“冷”的红外热成像图像，该类别共600张；第二个类别是标签为“舒适”的红外热成像图像，该类别共600张；第三个类别是标签为“热”的红外热成像图像，该类别共600张。
(2)构建基于深度残差网络的初始热舒适度预测模型；
该初始热舒适度预测模型可与初始人脸识别模型的结构相同。
(3)以第二训练数据集作为输入，对初始热舒适度预测模型进行训练，得到热舒适度预测模型。
具体的，设置批处理数量以及初始学习率，将第二训练数据集按照预设比例划分为训练集和验证集，具体可按照7：3的比例将第二训练数据集划分为训练集和验证集，且训练集和验证集中所包含的各类第二标签的图像的比例也是7：3，以保证数据的均匀性。在训练时，先使用训练集对初始人脸识别模型进行训练，训练完成后，得到训练后的深度残差网络模型，再通过验证集对训练后的深度残差网络模型进行验证，完成一轮训练。通过一定轮数的训练，保存在验证集上预测准确度最高的深度残差网络模型作为热舒适度预测模型。更为具体的，设置批处理数量Batch_size为32，初始学习率Learning_rate为0.0001，训练总轮数Epoch为40，在一轮训练中，先利用训练集对深度残差网络模型进行训练，并通过验证集对训练后的深度残差网络模型进行验证，每训练完一轮，将当前的验证集准确度同历史最高验证集准确度对比，若高于历史最高验证集准确度，则保存当前的深度残差网络模型参数作为最好的深度残差网络模型参数，达到训练总轮数后，以最好的深度残差网络模型参数作为热舒适度预测模型。
本实施例所提供的人体热舒适度预测方法，先利用红外热成像模组采集得到红外热成像图像，红外热成像图像先进入预测采集的图像中是否包含人脸的人脸识别模型，若预测结果是红外热成像图像中包含人脸，则红外热成像图像进入预测冷、舒适、热三类不同热舒适度的热舒适度预测模型，输出热舒适度的预测结果。本实施例仅通过红外热成像模组获取红外热成像图像，将红外热成像图像输入人脸识别模型和热舒适度预测模型就可以完成对当前人体热舒适度的快速、准确预测，既达到了保护用户的肖像隐私的目的，又达到了非侵入式人体热舒适度预测的目的。
红外热成像模组所采集到的红外热成像图像为RGB伪彩色图像，其分辨率大小可固定为160×120。由于红外热成像图像为伪彩色三通道图像，而所建立的人脸识别模型和热舒适度预测模型为深度残差网络模型，其预测所针对的图像一般是具有三通道的灰度图像，因此，在S2之前，本实施例的预测方法还包括：将红外热成像图像转换为三通道灰度图像，并以三通道灰度图像作为新的红外热成像图像，执行S2。具体的，将获取的伪彩色图像转化为便于深度残差网络预测的三通道灰度图像可以包括：将采集的红外热成像伪彩色图像先转换为单通道的红外热成像灰度图像，再进一步转换为三通道的红外热成像灰度图像。通过红外热成像模组所采集的人脸图像是伪彩色图，其不同颜色即固定的RGB值与实际温度值一一对应，直观上温度从高到低由红色、黄色、蓝色渐变表示，伪彩色图所对应的灰度图像的实际温度值也直接映射到0-255的灰度范围，最后将三通道的灰度图像输入深度残差网络模型。
其中，RGB图转灰度图的公式为：
Gray＝0.2989*R+0.5870*G+0.1140*B。
更为具体的，转换方式为：先使用OpenCV库中的COLOR_BGR2GRAY函数将红外热成像伪彩色三通道图像转换为灰度单通道图像，随后再使用COLOR_GRAY2BGR函数，将灰度单通道图像再次转换为灰度三通道图像。
本实施例公开了一种基于深度学习的热舒适度预测方法，采集两类训练数据集，第一类是部分包含人脸的红外热成像图像，第二类是包含不同热舒适度下的人脸的红外热成像图像。构建深度残差网络，将两类数据集输入网络，训练得到对应的深度残差网络模型，通过红外热成像模组实时采集红外热成像图，即可利用训练后的深度残差网络模型对人体的热舒适状态进行预测。
实施例2：
本实施例用于提供一种热舒适度预测系统，如图2所示，所述预测系统包括：
获取模块M1，用于获取红外热成像图像；
人脸识别模块M2，用于以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
热舒适度预测模块M3，用于若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
实施例3：
本实施例用于提供一种空调调节方法，如图3所示，所述调节方法包括如下步骤：
T1：获取红外热成像图像；
本实施例的T1与实施例1中的S1步骤相同，在此不再赘述。
T2：以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
本实施例的T2与实施例1中的S2步骤相同，在此不再赘述。
T3：若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度；
本实施例的T3与实施例1中的S3步骤相同，在此不再赘述。
T4：根据所述热舒适度调节空调温度。
具体的，本实施例的热舒适度可包括冷、热以及舒适，那么，此时T4可以包括：判断热舒适度是否为冷，得到第一判断结果；若第一判断结果为是，则将空调温度自动调高预设温度；若第一判断结果为否，则判断热舒适度是否为热；若是，则将空调温度自动调低预设温度；若否，则令空调温度保持不变。更为具体的，预设温度可为2度，则T4可以包括：当对当前图像预测结果为冷时，空调温度自动调高2℃，且若设定温度已达最高，则空调温度保持不变；当对当前图像预测结果为舒适时，空调温度保持不变；当对当前图像预测结果为热时，空调温度自动调低2℃，且若设定温度已达最低，则空调温度保持不变。
本实施例所提供的调节方法，在预测得到人体热舒适度后，可以根据热舒适度来自动调节空调温度，以达到使人体处于最舒适温度的调控目的。
实施例4：
现如今，汽车在满足基本的交通功能之外，车内空调热泵温度的调节还能够给人体创造一个热舒适环境，传统依据司机和乘客主观的热感知进行手动空调温度调节的方式，已经不能够满足个性化和智能化的时代发展需求。基于此，对车内热环境进行有效地控制和调节，从而给驾乘人员创造出一种健康舒适的车内环境以及降低汽车能源消耗，有着极为重要的现实意义。
基于此，本实施例用于提供一种空调调节装置，如图4所示，所述调节装置包括多个调节部件，调节部件分别安装在汽车内不同座位所对应的区域内，且调节部件与区域一一对应。每一调节部件均包括红外热成像模组以及处理单元，处理单元分别与红外热成像模组和调节部件所对应区域内的空调通信连接。红外热成像模组用于采集红外热成像图像，并将红外热成像图像传输至处理单元，处理单元用于执行实施例1所述的调节方法。
本实施例所提供的调节装置定时采集对应座位人脸的红外热成像图像，输入到训练好的深度残差网络中，能够对人体的热舒适度进行快速、准确地预测，并根据对应座位人员的热舒适度预测结果对汽车内不同分区的空调热泵设定温度进行独立的自动调节，最大限度上保证各分区温度的独立性，从而使得司机与乘客均达到最舒服的热舒适状态。
作为一种可选的实施方式，每一调节部件均还包括左右调节杆，红外热成像模组安装于左右调节杆上，且红外热成像模组安置于对应座位的人脸前正上方处。红外热成像模组还用于实时采集红外热成像图像，并传输至处理单元，处理单元还用于检测定位红外热成像图像中的人脸位置，并根据人脸位置控制左右调节杆运动，在水平方向上左右自动调节红外热成像模组的位置，直至人脸位于红外热成像图像的中间位置，使其能够采集到最优的红外热成像图像。具体的，处理单元实时获取当前图像的视频流，检测定位人脸在当前图像内的位置，若定位的人脸位置偏左，则处理单元发出向左移动指令，红外热成像模组由左右调节杆带动自动向左水平移动，直至人脸区域处于当前图像的中间位置；若定位人脸位置偏右，处理单元发出向右移动指令，红外热成像模组由左右调节杆带动自动向右水平移动，直至人脸区域处于当前图像的中间位置。本实施例利用目标检测技术，可以实时定位当前人脸所在位置，根据人脸位置信息，自动调整红外热成像模组的位置，使其能够采集到人脸尽可能处于中心的图像，减小因人脸位置偏移所导致热舒适度预测结果的偏差。
本实施例是定时采集红外热成像图像以进行热舒适度检测，实时采集红外热成像图像以进行红外热成像模组的位置调节，使其能够采集到人脸尽可能处于中心的图像，减小因人脸位置偏移所导致热舒适度预测结果的偏差。
参见图4，本实施例可将汽车按照不同座位的位置划分为主驾驶座所处区域、副驾驶座所处区域、后座左所处区域和后座右所处区域，每一区域内均设置有一调节部件。具体的，对应于主驾驶座的调节部件包括主驾驶座ARM处理器104，第二USB数据线105，主驾驶座智能I/O板106，主驾驶座左右调节杆107，主驾驶座左侧空调出风口109，主驾驶座红外热成像模组110，主驾驶座右侧空调出风口111，第三USB数据线115和第一USB接口117。主驾驶座红外热成像模组110安装于主驾驶座左右调节杆107上，主驾驶座红外热成像模组110和主驾驶座左右调节杆107均通过主驾驶座智能I/O板106以及第二USB数据线105连接主驾驶座ARM处理器104，主驾驶座ARM处理器104通过第三USB数据线115和第一USB接口117连接总控制器119。对应于副驾驶座的调节部件包括副驾驶座左右调节杆100，副驾驶座智能I/O板101，第一USB数据线102，副驾驶座ARM处理器103，第四USB数据线116，第二USB接口118，副驾驶座红外热成像模组113，副驾驶座左侧空调出风口112以及副驾驶座右侧空调出风口114。副驾驶座红外热成像模组113安装于副驾驶座左右调节杆100上，副驾驶座红外热成像模组113和副驾驶座左右调节杆100均通过副驾驶座智能I/O板101以及第一USB数据线102连接副驾驶座ARM处理器103，副驾驶座ARM处理器103通过第四USB数据线116和第二USB接口118连接总控制器119。对应于后座左的调节部件包括第四USB接口121，后座左侧空调出风口122，第五USB数据线123，后座左智能I/O板124，后座左左右调节杆125，后座左红外热成像模组126，后座左ARM处理器127和第六USB数据线128。后座左红外热成像模组126安装于后座左左右调节杆125上，后座左红外热成像模组126和后座左左右调节杆125均通过后座左智能I/O板124以及第五USB数据线123连接后座左ARM处理器127，后座左ARM处理器127通过第六USB数据线128和第四USB接口121连接总控制器119。对应于后座右的调节部件包括第三USB接口120，后座右ARM处理器129，后座右红外热成像模组130，后座右左右调节杆131，第七USB数据线132，第八USB数据线133和后座右侧空调出风口134。后座右红外热成像模组130安装于后座右左右调节杆131上，后座右红外热成像模组130和后座右左右调节杆131均通过第七USB数据线132连接后座右ARM处理器129，后座右ARM处理器129通过第八USB数据线133和第三USB接口120连接总控制器119。
四个区域的调节部件的布局基本一致，因此本实施例以主驾驶座为例，介绍调节部件的功能：
主驾驶座红外热成像模组110安置于人脸前正上方处，实时获取当前图像的视频流，检测定位人脸在当前图像内的位置，若定位的人脸位置偏左，主驾驶座ARM处理器104发出向左移动指令，主驾驶座红外热成像模组110由主驾驶座左右调节杆107自动向左水平移动，直至人脸区域处于图像中间位置；若定位人脸位置偏右，主驾驶座ARM处理器104发出向右移动指令，主驾驶座红外热成像模组110由主驾驶座左右调节杆107自动向右水平移动，直至人脸区域处于图像中间位置。设定每隔10分钟主驾驶座ARM处理器104发出指令，让主驾驶座红外热成像模组110进行一次采样操作，将所采集的红外热成像伪彩色三通道图像，存储至主驾驶座ARM处理器104中，使用OpenCV库中的COLOR_BGR2GRAY函数，先将采集的红外热成像伪彩色三通道图像转换为灰度单通道图像，再使用COLOR_GRAY2BGR函数，将其再次转换为灰度三通道图像。将灰度三通道图像输入到深度残差网络中，图像数据先经过第一个用于判断当前图像中是否有人脸的深度残差网络模型，若图像中预测不存在人脸，则删除当前图像，主驾驶座红外热成像模组110再次进行采样，并通过以上操作再次判断图像中是否存在人脸，若图像中预测存在人脸，则将图像直接输入到第二个用于预测人体热舒适度的深度残差网络模型中，模型输出对包含人脸的红外热成像图像的热舒适度预测结果，具体的预测结果分为三类：冷、舒适、热。当对当前图像预测结果为冷时，总控制器119发出控制指令，对应分区的空调温度自动调高2℃，且若设定温度已达最高，则空调温度保持不变；当对当前图像预测结果为舒适时，对应分区的空调温度保持不变；当对当前图像预测结果为热时，总控制器119发出控制指令，对应分区的空调温度自动调低2℃，且若设定温度已达最低，则空调温度保持不变。本实施例可以准确地判断当前是否有人在空调环境中，避免不必要的空调热能消耗。且通过对人体热舒适度的预测，可以实现等时间间隔自动调节空调热泵温度，最终达到人体最舒适的温度调控的目的，并且独立地调节各个座位分区的空调温度，结合汽车热管理系统最大程度减少空调能耗。
作为一种可选的实施方式，本实施例的调节装置还包括安装于主驾驶座所对应区域的疲劳驾驶检测组件和车载音响108，疲劳驾驶检测组件与安装于主驾驶座所对应区域的调节部件的处理单元通信连接。疲劳驾驶检测组件用于判断驾驶员是否处于疲劳驾驶状态，并在驾驶员处于疲劳驾驶状态时，向处理单元发出预警信息；处理单元用于在接收到预警信息后，控制车载音响108进行语音播报提醒，并自动调低空调温度。更为具体的，针对主驾驶座疲劳驾驶检测，通过目标检测定位驾驶员的眼部区域，系统检测到眼睑开度最大值到眼睑开度最小值所用时间大于0.6秒时判定为一次疲劳眨眼，当累计10秒内的疲劳眨眼次数大于5次，则判定为疲劳驾驶状态。总控制器119发送指令至车载音响108，进行车内系统语音播报提醒；并在当前该分区最舒适的环境温度基础上，总控制器119发出控制指令，自动调低该分区空调热泵的设定温度，以及提高该座位区域的氧气循环量，以降低该区域二氧化碳浓度，一定程度上降低驾驶员的困意，从而提高驾驶专注力。
本实施例针对主驾驶座额外增加了防止疲劳驾驶的控温策略，目标检测技术定位人眼区域，当检测到人眼区域一定时间内疲劳眨眼次数高于设定的频率，则判定为疲劳驾驶状态，当检测到驾驶员当前为疲劳驾驶状态时，进行车内系统语音播报提醒，并在当前该分区到达其最舒适的环境温度基础上，适当降低该分区空调热泵的设定温度，以及提高该座位区域的氧气循环量，从而提高驾驶员的驾驶专注力，能够让司机更为专注地驾驶，并在保证司机与乘客的热舒适度的同时，通过汽车热管理系统最大程度减少空调能耗。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种热舒适度预测方法，其特征在于，所述预测方法包括如下步骤：
获取红外热成像图像；
以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
2.根据权利要求1所述的预测方法，其特征在于，在以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸之前，所述预测方法还包括训练得到人脸识别模型，具体包括：
获取第一训练数据集；所述第一训练数据集包括多张训练用第一红外热成像图像以及每一所述训练用第一红外热成像图像对应的第一标签；所述第一标签用于指示所述训练用第一红外热成像图像中是否存在人脸；
构建基于深度残差网络的初始人脸识别模型；
以所述第一训练数据集作为输入，对所述初始人脸识别模型进行训练，得到人脸识别模型。
3.根据权利要求1所述的预测方法，其特征在于，在以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度之前，所述预测方法还包括训练得到热舒适度预测模型，具体包括：
获取第二训练数据集；所述第二训练数据集包括多张包含人脸的训练用第二红外热成像图像以及每一所述训练用第二红外热成像图像对应的第二标签；所述第二标签为所述训练用第二红外热成像图像对应的热舒适度；
构建基于深度残差网络的初始热舒适度预测模型；
以所述第二训练数据集作为输入，对所述初始热舒适度预测模型进行训练，得到热舒适度预测模型。
4.根据权利要求2所述的预测方法，其特征在于，在以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸之前，所述预测方法还包括：将所述红外热成像图像转换为三通道灰度图像，并以所述三通道灰度图像作为新的红外热成像图像。
5.一种热舒适度预测系统，其特征在于，所述预测系统包括：
获取模块，用于获取红外热成像图像；
人脸识别模块，用于以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
热舒适度预测模块，用于若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度。
6.一种空调调节方法，其特征在于，所述调节方法包括如下步骤：
获取红外热成像图像；
以所述红外热成像图像作为输入，利用人脸识别模型判断所述红外热成像图像中是否存在人脸；
若所述红外热成像图像中存在人脸，则以所述红外热成像图像作为输入，利用热舒适度预测模型预测得到热舒适度；
根据所述热舒适度调节空调温度。
7.根据权利要求6所述的调节方法，其特征在于，所述热舒适度包括冷、热以及舒适；所述根据所述热舒适度调节空调温度具体包括：
判断所述热舒适度是否为冷，得到第一判断结果；
若所述第一判断结果为是，则将空调温度自动调高预设温度；
若所述第一判断结果为否，则判断所述热舒适度是否为热；
若是，则将所述空调温度自动调低预设温度；
若否，则令所述空调温度保持不变。
8.一种空调调节装置，其特征在于，所述调节装置包括多个调节部件；所述调节部件分别安装在汽车内不同座位所对应区域内，所述调节部件与所述区域一一对应；每一所述调节部件均包括红外热成像模组以及处理单元；所述处理单元分别与所述红外热成像模组和所述调节部件所对应区域内的空调通信连接；
所述红外热成像模组用于采集红外热成像图像，并将所述红外热成像图像传输至所述处理单元；
所述处理单元用于执行权利要求6或7所述的调节方法。
9.根据权利要求8所述的调节装置，其特征在于，所述调节部件还包括左右调节杆，所述红外热成像模组安装于所述左右调节杆上；
所述红外热成像模组还用于实时采集红外热成像图像，并传输至所述处理单元；所述处理单元还用于检测定位所述红外热成像图像中的人脸位置，并根据所述人脸位置控制所述左右调节杆运动，以调节所述红外热成像模组的位置，直至人脸位于所述红外热成像图像的中间位置。
10.根据权利要求8所述的调节装置，其特征在于，所述调节装置还包括安装于主驾驶座所对应区域的疲劳驾驶检测组件和车载音响；所述疲劳驾驶检测组件与安装于主驾驶座所对应区域的所述调节部件的处理单元通信连接；所述疲劳驾驶检测组件用于判断驾驶员是否处于疲劳驾驶状态，并在所述驾驶员处于疲劳驾驶状态时，向所述处理单元发出预警信息；所述处理单元用于在接收到所述预警信息后，控制所述车载音响进行语音播报提醒，并自动调低空调温度。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135730 | 2022-02-15 | ||
| CN2022101357307 | 2022-02-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627539A true CN114627539A (zh) | 2022-06-14 |
Family
ID=81903878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210291027.5A Pending CN114627539A (zh) | 2022-02-15 | 2022-03-23 | 一种热舒适度预测方法、系统及空调调节方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627539A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115930384A (zh) * | 2023-03-13 | 2023-04-07 | 中国海洋大学 | 利用强化学习和热成像的智能空调控制设备和控制方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844784A (zh) * | 2017-12-08 | 2018-03-27 | 广东美的智能机器人有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
| CN108482057A (zh) * | 2018-02-13 | 2018-09-04 | 天津大学 | 一种动态追踪用户的车载空调系统 |
| CN110110629A (zh) * | 2019-04-25 | 2019-08-09 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
| CN110377084A (zh) * | 2019-07-30 | 2019-10-25 | 天津大学 | 一种基于智慧控制策略的建筑室内环境调控方法 |
| CN112734003A (zh) * | 2020-12-30 | 2021-04-30 | 南京邮电大学 | 一种基于深层卷积网络的人体皮肤温度检测方法 |
| CN112907554A (zh) * | 2021-03-10 | 2021-06-04 | 珠海格力电器股份有限公司 | 基于热红外图像识别的空调自动调节方法和设备 |
| CN113627448A (zh) * | 2020-05-07 | 2021-11-09 | 香港大学浙江科学技术研究院 | 构建人体热舒适预测模型的方法、预测方法及系统 |
| CN113858915A (zh) * | 2021-10-18 | 2021-12-31 | 浙江吉利控股集团有限公司 | 一种车辆座舱空调的控制方法、系统、设备及存储介质 |
-
2022
- 2022-03-23 CN CN202210291027.5A patent/CN114627539A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844784A (zh) * | 2017-12-08 | 2018-03-27 | 广东美的智能机器人有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
| CN108482057A (zh) * | 2018-02-13 | 2018-09-04 | 天津大学 | 一种动态追踪用户的车载空调系统 |
| CN110110629A (zh) * | 2019-04-25 | 2019-08-09 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
| CN110377084A (zh) * | 2019-07-30 | 2019-10-25 | 天津大学 | 一种基于智慧控制策略的建筑室内环境调控方法 |
| CN113627448A (zh) * | 2020-05-07 | 2021-11-09 | 香港大学浙江科学技术研究院 | 构建人体热舒适预测模型的方法、预测方法及系统 |
| CN112734003A (zh) * | 2020-12-30 | 2021-04-30 | 南京邮电大学 | 一种基于深层卷积网络的人体皮肤温度检测方法 |
| CN112907554A (zh) * | 2021-03-10 | 2021-06-04 | 珠海格力电器股份有限公司 | 基于热红外图像识别的空调自动调节方法和设备 |
| CN113858915A (zh) * | 2021-10-18 | 2021-12-31 | 浙江吉利控股集团有限公司 | 一种车辆座舱空调的控制方法、系统、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115930384A (zh) * | 2023-03-13 | 2023-04-07 | 中国海洋大学 | 利用强化学习和热成像的智能空调控制设备和控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10850693B1 (en) | Determining comfort settings in vehicles using computer vision | |
| US11891002B1 (en) | Determining comfort settings in vehicles using computer vision | |
| US20210078382A1 (en) | Apparatus and method for controlling air conditioning of vehicle | |
| JP2008302924A (ja) | 自動車の空調設備のための、生理学的データのセンサを備える制御システム | |
| CN110774996B (zh) | 车内环境的调节方法、装置和系统 | |
| US20210260958A1 (en) | System and method for estimating climate needs | |
| CN113858915A (zh) | 一种车辆座舱空调的控制方法、系统、设备及存储介质 | |
| US11260879B2 (en) | Vehicle and method for controlling the same | |
| CN114627539A (zh) | 一种热舒适度预测方法、系统及空调调节方法、装置 | |
| US11279204B2 (en) | Vehicle and method for controlling the same | |
| US20240227492A1 (en) | Air volume control method and apparatus for working machine cockpit | |
| CN111674225A (zh) | 热舒适性可视化及调整方法、系统 | |
| CN116442722A (zh) | 一种车辆环境温度调控方法、装置、系统及车辆 | |
| CN110406347A (zh) | 一种车载空调的控制方法及系统 | |
| JP2002022238A (ja) | 快適感評価装置及び空調制御装置 | |
| Chen et al. | State-of-the-art thermal comfort models for car cabin Environment | |
| CN113246684A (zh) | 道路车辆的乘客厢中的空调系统的控制方法 | |
| CN108068573A (zh) | 应用于大巴车的空调系统控制方法及装置 | |
| CN116580661A (zh) | 车辆内的终端颜色调整方法、系统、电子设备和存储介质 | |
| CN111726271A (zh) | 起夜情况下的电器配置方法和智能家居系统 | |
| JP2020045015A (ja) | 覚醒維持装置、覚醒維持方法、及び制御プログラム | |
| CN114964506A (zh) | 基于红外热成像的室内人体热舒适智能调控方法和系统 | |
| CN113085490A (zh) | 一种智能出风系统、方法及车辆 | |
| CN114916936A (zh) | 一种基于多模态技术的驾驶状态检测预警系统及方法 | |
| KR20230015539A (ko) | 맞춤형 차량 공조 제어 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |