CN112631135B - 基于计算机视觉监测的个体热舒适控制系统及控制方法 - Google Patents

基于计算机视觉监测的个体热舒适控制系统及控制方法 Download PDF

Info

Publication number
CN112631135B
CN112631135B CN202011380653.9A CN202011380653A CN112631135B CN 112631135 B CN112631135 B CN 112631135B CN 202011380653 A CN202011380653 A CN 202011380653A CN 112631135 B CN112631135 B CN 112631135B
Authority
CN
China
Prior art keywords
module
human body
thermal sensation
temperature
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011380653.9A
Other languages
English (en)
Other versions
CN112631135A (zh
Inventor
杨斌
姚黄成
郭钰耀
金大程
成孝刚
陈梦伟
李安桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202011380653.9A priority Critical patent/CN112631135B/zh
Publication of CN112631135A publication Critical patent/CN112631135A/zh
Priority to US17/487,653 priority patent/US11614723B2/en
Application granted granted Critical
Publication of CN112631135B publication Critical patent/CN112631135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Air Conditioning Control Device (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及暖通技术领域，具体公开了一种基于计算机视觉监测的个体热舒适控制系统及控制方法，该控制系统包括数据采集系统、信息处理系统、智能语音询问模块、末端控制系统和生物实时系统；数据采集系统包括半接触式测量单元和非接触式测量单元，非接触式测量单元包括红外传感器和摄像头，摄像头中内置有骨骼节点识别模块和欧拉视频放大模块；信息处理系统包括存储模块、人体热感觉预估模块和比较模块；人体热感觉预估模块用于得到预测热感觉值；比较模块与智能语音询问模块连接；末端控制系统包括末端控制器，末端控制器与外部设备连接；数据采集系统、人体热感觉预估模块与生物实时系统连接，解决了现有技术无法满足热舒适的问题。

Description

基于计算机视觉监测的个体热舒适控制系统及控制方法
技术领域
本发明涉及暖通技术领域，特别涉及一种基于计算机视觉监测的个体热舒适控制系统及控制方法。
背景技术
舒适的办公室工作环境是高效办公的前提，目前办公建筑中广泛使用的暖通空调系统能耗大，但并没有达到人员所要求的热舒适水平。目前普遍使用的暖通空调系统中，如分体机空调系统无法精确测量实时的人体温度与热舒适信息，且通常只有在人体出现不舒适状态时才进行调控。因此在此系统中调节存在偏差和滞后的问题，并且居住者根据自己感知调整的设定点，无法满足高效的人体热舒适也不利于节能。再如“一拖多”式中央空调系统，温湿度调节装置被集成在一个控制器上，往往按照规范设定温湿度参数，这使暖通空调系统不能满足有不同热偏好的人群的热需求。
目前最新研究的结合半接触测量技术的暖通空调系统，虽然可以跟踪测量人体生理参数来监测人员热舒适，但测量设备影响人员活动给佩戴者带来不便或不适，没有考虑个体性的差异且实时性有所欠缺。
目前广泛使用的暖通空调的控制系统存在诸多局限性，例如：
1.在传统空调送风系统中，办公室内工作人员处于相对被动的状态，受到工作人员工作情况的影响，不能有效且迅速的做出相应反馈与调控。即使工作人员主动调节送风状态也无法做出准确的判断。
2.目前使用最广泛的中央空调系统，根据群体热舒适设定的温湿度设定参数，由于总体环境下每个个体的热偏好有所不同，因此该系统不能满足被调控环境中每个个体的热需求。同时温湿度、CO2等传感器的位置不能准确反映人员工位附近的情况，存在不能使工作人员周围有较高的空气品质的问题。
3.半接触式设备对人体舒适度及热舒适性存在一定影响，也存在接触不良佩戴不正确导致测量数据准确性较差。大多数接触式测量与半接触式测量装置有一定延迟性。测量与采集处理数据花费时间长时效性差，且无法精确追踪人体该时刻的冷热状态。
4.单独通过非接触测量设备监测人员的视频信息采集人员体温信息，会有诸多不利情况使鲁棒性减弱。
发明内容
本发明的目的在于提供一种基于计算机视觉监测的个体热舒适控制系统及控制方法，解决了现有技术无法满足热舒适的问题。
本发明是通过以下技术方案来实现：
一种基于计算机视觉监测的个体热舒适控制系统，包括数据采集系统、信息处理系统、智能语音询问模块、末端控制系统和生物实时系统；
数据采集系统包括半接触式测量单元和非接触式测量单元，半接触式测量单元设置在人体上，非接触式测量单元包括红外传感器和摄像头，摄像头中内置有骨骼节点识别模块和欧拉视频放大模块；摄像头用于采集视频信息，红外传感器用于采集体温信息；
信息处理系统包括存储模块、人体热感觉预估模块和比较模块；人体热感觉预估模块用于对所采集到的皮肤温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；存储模块用于存储预设的热感觉阈值；比较模块用于对预测热感觉值与热感觉阈值进行对比；
比较模块与智能语音询问模块连接，用于询问是否需要进行参数调控，若调控，调控后的末端设备参数存储在存储模块中；
末端控制系统包括末端控制器，末端控制器与外部设备连接，用于给外部设备输出指令；
数据采集系统、人体热感觉预估模块与生物实时系统连接，数据采集系统采集到的皮肤温度、信息处理系统处理后的预测热感觉值及调控后的末端设备参数发送至生物实时系统进行机器学习，用于记忆人体热偏好。
进一步，信息处理系统还包括优化检测模块，优化检测模块与数据采集系统连接，用于对数据采集系统发送的数据进行优化。
进一步，半接触式测量单元包括测温眼镜、测温腕带或测温手表。
进一步，骨骼节点识别模块采用OpenPose算法，用于获取人体姿态数字图像的矩阵特征。
进一步，欧拉视频放大模块采用欧拉视频放大算法，用于获取人体面部温度。
进一步，末端设备参数包括外部设备的风温、风量和风速。
本发明还公开了所述的基于计算机视觉监测的个体热舒适控制系统的控制方法，包括以下步骤：
S1、摄像头采集人体实时的姿态信息，通过骨骼节点识别模块判断出人体姿态，并通过欧拉视频放大模块得到人体面部皮肤温度；同时半接触式测量单元测量人体皮肤温度，红外传感器采集人体面部皮肤温度，最终得到人体面部温度；
S2、人体热感觉预估模块对所采集到的人体面部温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；
S3、比较模块对预测热感觉值与热感觉阈值进行对比；若预测热感觉值小于热感觉阈值，则需要调小外部设备的输出冷量或调大输出热量；若预测热感觉值大于热感觉阈值，则需要调大外部设备的输出冷量或调小输出热量；
S4、智能语音控制模块根据对比值询问待测人员是否需要改变改变温度，若需要改变，末端控制器启动，给外部设备输出控制指令；
若不需要改变，存储模块存储预测热感觉值和步骤S1得到的人体面部温度，当之后再次测得此人体面部温度时，不再进行步骤S2～S4。
进一步，摄像头内置有骨骼节点识别模块，骨骼节点识别模块采用OpenP ose算法获取人体关节关键点，具体包括以下步骤：
(1)神经网络预测
将采集到的视频进行特征提取，然后通过两分支的多阶段卷积神经网络，第一分支用来预测置信图像标准差，第二分支用来预测PAFs Lt；在每个阶段之后，来自两个分支的预测以及图像特征被连接用于下一阶段；
原始图像以四个固定的scale缩放后进入神经网络，将四个预测值求平均，获得关节的heatmap；
(2)寻找关节，获得关节关键点信息；
利用非最大抑制算法获得heatmap中的峰值，所求得的峰值的值为置信度；
(3)肢体连接点的寻找
用关节关键点信息和paf来获得肢体连接，Open pose数据库内置人体模型包含19个肢体，确定每一肢体所对应的两个part和paf，将两个part之间的paf信息进行积分所得结果作为该肢体的置信度；
在获得所有的连接信息后，每一个连接都看作为一个肢体，获得所有肢体信息；
(4)拼接肢体构成人
然后将拥有相同关节的肢体看作为同一个人的肢体。
进一步，摄像头内置有视频放大模块，视频放大模块采用欧拉视频放大算法，欧拉视频放大算法进行傅里叶变换得到肤色饱和度，根据肤色饱和度与皮肤温度的线性关系，得到人体皮肤温度。
进一步，步骤S2中，皮肤温度与人体热感觉之间的数学模型采用如下公式：
TSV＝a+a1×T1+a2×T2+a3×T3+a4×T4
其中，TSV为皮肤温度的线性函数；
T1为欧拉视频放大技术测得的人员面部温度；
T2为红外传感器测得的人员面部温度；
T3为半接触测量装置测温眼镜测得的人员面部温度；
T4为半接触测量装置测温腕带测得的人员面部温度；
a1、a2、a3、a4—拟合模型的线性参数；
a—截距。
与现有技术相比，本发明具有以下有益的技术效果：
本发明公开了一种基于计算机视觉监测的个体热舒适控制系统及控制方法，该控制系统包括数据采集系统、信息处理系统、智能语音询问模块、末端控制系统和生物实时系统，数据采集系统包括半接触式测量单元和非接触式测量单元，用非接触测量和半接触测量相互验证以防误判提高系统控制精度和鲁棒性，半接触式测量单元设置在人体上，通过半接触式测量设备上集成的温度传感器测量人体皮肤温度；非接触式测量可实时连续收集人体生理数据且所得数据相对稳定，非接触式测量单元包括红外传感器和摄像头，摄像头内置有骨骼节点识别模块和欧拉视频放大模块，骨骼节点识别模块通过OpenPose算法来获取人体姿态，对人体热舒适做初步判断；欧拉视频放大模块通过欧拉视频放大算法进行傅里叶变换得到肤色饱和度，且肤色饱和度与皮肤温度存在线性关系以此得到人体面部皮肤温度；由于欧拉视频放大可能会引入一定的误差且完全非侵入是测量设备可能会受到头发、帽子等的遮挡，因此为了避免摄像头误判，获得准确的办公人员的面部温度，加设了红外传感器来再次测量人员面部温度，在避免误判的同时提高了测量的准确性。红外传感器可采集工作人员面部皮肤温度，与以上所有采集到的数据进行比对，以此进一步提高所采集信息的准确性。智能语音询问模块与信息处理系统中的比较模块连接，通过人体热感觉预估模块进行热舒适性评估，在对比模块得到对比结果后进行语音询问是否进行参数调控，若需要调控相关参数，控制外部设备执行命令。生物实时系统与人体热感觉预估模块相连接，将所采集的皮肤温度、预测热感觉值与调控后的末端设备参数的可接受程度发送至生物实时系统，在反复的参数调控的同时生物实时系统进行机器学习，记忆人体热偏好，以便再次调控，从而减少调控过程的冗杂性。追踪测量人员个体体温、姿态与热舒适度变化控制外部设备，从而满足最佳人体热舒适度，这不仅仅在很大程度上提高了人员热舒适性，而且满足了人员的生理与心理需求，还能降低运行能耗、控制灵活多变。
进一步，信息处理系统还包括优化检测模块，优化检测模块与数据采集系统连接，用于对数据采集系统发送的数据进行优化。采集的信息量较大时需要优化检测结果，提高所采集信息的准确性，避免所采集的数据过于冗杂。
附图说明
图1是本发明的一种基于计算机视觉监测的个体热舒适控制系统结构示意图；
图2是本发明的一种基于计算机视觉监测的个体热舒适控制系统的工作流程图；
图3是本发明结合暖通空调末端装置(以对流换热器为例)控制逻辑图；
图4是本发明控制系统控制台扇末端的结构示意图；
其中，1为测温眼镜，2为测温腕带，3为台扇，4为摄像头，5为红外传感器，6为末端控制器。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图1所示，本发明公开了一种基于计算机视觉监测的个体热舒适控制系统，包括数据采集系统、信息处理系统、生物实时系统、智能语音询问模块、信息处理系统和末端控制系统；数据采集系统包括半接触式测量单元和非接触式测量单元，半接触式测量单元设置在人体上，非接触式测量单元包括红外传感器5和带测温功能的摄像头4；摄像头4用于采集视频信息，红外传感器5用于采集体温信息；信息处理系统包括存储模块、人体热感觉预估模块和比较模块；人体热感觉预估模块用于对所采集到的皮肤温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；存储模块用于存储预设的热感觉阈值；比较模块用于对预测热感觉值与热感觉阈值进行对比；比较模块与智能语音询问模块连接，用于询问是否需要进行参数调控，若调控，调控后的参数存储在存储模块中；数据采集系统、人体热感觉预估模块与生物实时系统连接，信息处理系统将调控的参数发送至生物实时系统进行机器学习，用于记忆人体热偏好；末端控制系统包括末端控制器6，末端控制器6与外部设备连接，用于给外部设备输出指令。
半接触式测量单元主要为人体配饰，如佩戴测温眼镜1、测温腕带2或测温手表。测温眼镜1上集成有皮肤温度传感器，如在眼镜托、眼镜镜框和眼镜腿处。通过无线皮肤温度传感器测量面部皮肤温度来监测个体体温调节性能和舒适度。测温眼镜1适用于大部分佩戴框架眼镜的人员，在已有的配饰基础上集成传感器不会对人体舒适度及热舒适性有太大影响，且提高了可操作性。但不适用于不佩戴框架眼镜的人员，此情况将眼镜换为腕带。测温腕带2上集成有皮肤温度传感器与心率传感器，通过皮肤温度传感器测量手腕皮肤温度，以此监测个体体温调节性能和舒适度。测温腕带2适用于不佩戴框架眼镜的且佩戴腕带不会有不适或不便的人员。但无论佩戴框架眼镜还是腕带，都可能会存在接触不良佩戴不正确的问题，导致无法采集准确信息，使测量数据准确性较差。
末端设备的设定参数，如风扇的转速、空调室内机的设定温度、风速、出风量等，加热装置的设定温度。
非接触式测量主要依靠摄像头4支持的骨骼节点识别技术和欧拉视频放大技术，以及红外传感器5。
骨骼节点识别技术利用OpenPose算法获取人体关键点算法主要包含以下四个步骤：①神经网络预测；②关节的寻找；③肢体连接点的寻找；④拼接肢体构成人。
①神经网络预测
将采集到的视频通过vgg-19进行特征提取，然后通过两分支的多阶段卷积神经网络CNN，第一分支用来预测置信图像标准差，第二分支用来预测PAFsLt。在每个阶段之后，来自两个分支的预测以及图像特征被连接用于下一阶段。
为了既增加感受野，同时局部不能模糊，原始图像以四个固定的scale缩放后进入神经网络，将四个预测值求平均。于是输入的是image∈Rw×h×3，输出为heatmap_avg∈Rw×h×19与paf_avg∈Rw×h×38。
②寻找关节，获得关节关键点信息；
通过第①步，即可获得了关节的heatmap。接下来我们要从heatmap提取关节的具体位置。利用非最大抑制(NMS)算法来获得heatmap中的峰值，所求得的置信度作为此part的score。输出为：
all_peaks＝＝[(h0,w0,s0,0),(h1,w1,s1,1),...]\第一个part的所有值
[(hi,wi,si,i),(hi+1,wi+1,si+1,i+1),...]\第二个part的所有值......
其中，h为高度；
w为重量；
s为此部分的分数；
③肢体连接点的寻找
通过第②步，获得了关键点的信息(位置、分数)，用关节信息和paf来获得肢体连接。模型包含19个肢体，确定每一肢体所对应的两个part和paf，将两个part之间的paf信息进行积分所得结果作为该肢体的置信度。
在获得所有的连接信息后，每一个连接都可以看作为一个肢体。
④拼接肢体构成人
通过第③步，即可获得所有肢体信息，然后将拥有相同关节的肢体看作为同一个人的肢体。
用摄像头4识别到的人体姿态与OpenPose数据库中已有姿态进行比对，如设定擦汗姿态为特征，当摄像机识别到擦汗的姿态，骨骼节点识别模块向下一个流程发出指令，最终识别的是人体姿态数字图像的矩阵特征。
欧拉视频放大算法进行傅里叶变换可得到肤色饱和度，根据肤色饱和度与皮肤温度的线性关系，从而得到人体皮肤温度来预测热舒适。末端控制器6根据姿态或皮肤温度，发出相应指令控制空调的温度，使人体处于高热舒适状态。
欧拉视频放大技术运用线性欧拉视频放大算法求面部温度，参考《Phase-BasedVideo Motion Processing》一文第三部分。该方法依赖于复值可操作金字塔，因为它们使我们能够测量和修改局部运动。使用傅立叶级数分解，我们可以将位移的图像轮廓f(x+δ(t))写为复值正弦波之和：
式中：f(x+δ(t))-位移图像轮廓；
Aω-振幅；
δ(t)-位移函数；
ω-每个频段对应一个频率；
式(1-1)中，频率ω的频带是复正弦波：
Sω(x,t)＝Aωeiω(x+δ(t))
式中：Sω(x,t)-正弦曲线，它包含相位ω(x+δ(t))的运动信息。
由于Sω是正弦曲线，因此其相位ω(x+δ(t))包含运动信息。像傅立叶频移定理一样，我们可以通过修改相位来操纵运动。为了隔离特定时间频率的运动，我们用直流平衡滤波器对相位ω(x+δ(t))进行时间滤波。为了简化推导，我们假设时间滤波器除了去除直流分量ωx以外没有其他影响。结果是：
Bω(x,t)＝ωδ(t)
式中：Bω(x,t)-带通相位；
然后，将带通相位Bω(x,t)乘以α，再与子带Sω(x,t)的相位相加，以获得运动放大后的子带结果：
式中：Sω(x,t)-复正弦曲线；
α-放大系数；
结果Sω(x,t)是一个复杂的正弦曲线，其运动正好是输入的1+α倍。在此分析中，我们将通过求和所有子带来获得运动放大序列f(x+(1+α)δ(t))。
为了避免误判(采集的视频图像中，人员的面部往往会有头发、帽子、饰品等的遮挡)及获得准确的办公人员的面部温度，再次采用红外传感器5测量办公人员面部温度。由于欧拉视频放大可能会引入一定的误差且完全非侵入是测量设备可能会受到头发、帽子等的遮挡，因此采用三种方式综合测量，在避免误判的同时提高了测量的准确性。红外传感器5可采集工作人员面部皮肤温度，与以上所有采集到的数据进行比对。以此进一步提高所采集信息的准确性。
欧拉视频放大技术是捕捉人员面部细微的变化，并记录变化幅度与频率，可以捕捉到人员面部毛细血管和鼻子呼吸时收缩的变化，这些特征与人员面部温度是函数关系。这个技术准确获取面部温度的前提是面部裸露不遮挡，无无效光源干扰。若有这些不利情况，则会出现误差，所以本发明引入多种测量温度的方式进行交叉验证以防误判。
信息处理系统接收到此前经过整合优化后的数据信息后，通过智能语音询问模块询问所在工位是否需要进行参数调控，如风温、风量和风速或风扇转速。再进一步提高了数据的准确性从而避免误判，实现精准控制。
更优地，信息处理系统还包括优化检测模块，优化检测模块与数据采集系统连接，用于对数据采集系统发送的数据进行优化。采集的信息量较大时需要优化检测结果，提高所采集信息的准确性，避免所采集的数据过于冗杂。收集所有所采集到的信息，优化信息得到准确的数据参数，将确定的信息发送至人体热感觉预估模块。人体热感觉预估模块对所采集到的皮肤温度与人体热感觉之间的数学模型进行修正，进而得到预测热感觉。使用如下公式：
TSV＝a+a1×T1+a2×T2+a3×T3+a4×T4
其中，T1为欧拉视频放大技术测得的人员面部温度；
T2为红外传感器5测得的人员面部温度；
T3为半接触测量装置测温眼镜1测得的人员面部温度；
T4为半接触测量装置测温腕带2测得的人员面部温度；
a1、a2、a3、a4—拟合模型的线性参数；
a—截距；
其中由于个体性差异，如不便佩戴眼镜和腕带，此时不采集T3和T4。
热感觉投票值(Thermal Sensation Vote，简称TSV，代表了人员在某一时刻的主观热感觉值)，皮肤温度与人体热感觉直接的数学模型是参照用简单的机器学习方法，或者说统计学方法，线性拟合方法即可，得出关于这几种测量方法测得的皮肤温度值与人体热舒适的线性函数关系。
比较模块对预测热感觉值与热感觉阈值进行对比：若预测热感觉值小于热感觉阈值，则需要调小外部设备的输出冷量或调大输出热量；若预测热感觉值大于热感觉阈值，则需要调大外部设备的输出冷量或调小输出热量。
但是，预测热感觉值终究是通过拟合的经验函数得到的预测值，预测值通常会存在误差，为了防止系统做出错误响应。最终外接末端设备的热量或冷量改变须以预测热感觉值为基准通过智能语音控制模块询问人员是否需要改变末端设备的设定参数，最后人员回复为标准更改。
如果智能语音控制模块收集到的反馈是，人员确定需要调小外部设备的输出冷量或调大输出热量，则智能语音控制模块记录该组皮肤温度下，该人员热偏好为偏冷，并由存储模块储存记录。反之，则记录该组皮肤温度下，该人员热偏好为偏热，由存储模块储存记录。
数据采集系统，采集了四种方式测量得到皮肤温度，(当然，四个皮肤温度值是可以缺少某一个的，比如一个人不带眼镜，则T3舍去)；以及智能语音控制模块记录的该组皮肤温度下，人员的热偏好，如上文所述。(预测热感觉值TSV是不用收集，这是通过TSV＝a+a1×T1+a2×T2+a3×T3+a4×T4这个拟合公式算的，这只是个控制基准值，不用收集，也不用记录，如上文所述)
存储模块储存四个皮肤温度值与热偏好值，交由生物实时系统机器学习记录。这个生物实时系统只是记录作用，记录该组T1、T2、T3、T4的皮肤温度下对应的热偏好值，这样做的目的在于，在本次流程之后，如果再次遇到同样的皮肤温度值，跳过智能语音控制模块询问人员这一步，直接以生物实时系统记录的该组皮肤温度值对应的人员热偏好值修改末端设备的设定参数，增加冷量(减小热量)或者减小冷量(增加热量)。
对工作人员进行测试，初始值可进行设置。通过人体热感觉预估模型处理所采集到的信息可以对任意热舒适进行预测，将预测结果反馈给语音询问。
更优地，将反复调控的参数发送至生物实时系统进行机器学习。由于以上所有数据采集装置采集的信息会存在无法避免和修正的误差或无法采集到有用信息，因此步骤十分有必要。一方面，提高采集信息的准确性，真正的提高人体热舒适和节能。另一方面，将反复调控的参数发送至生物实时系统可记忆人体热偏好，此后可减少采集数据的复杂性。若半接触式佩戴设备、红外摄像头4、红外传感器5和语音询问结果有较大偏差，则以语音询问结果为准修正优化其他设备测量结果，做到精准确定各控制参数的设定值。
生物实时系统根据采集到的皮肤温度和预测的热感觉与风扇速度或风口的风温、风量和风速的可接受程度的数据来训练。在反复的参数调控的同时生物实时系统进行机器学习，记忆所在工位工作人员热偏好以便再次调控，减少调控的复杂程度。
末端控制系统包括末端控制器6，末端控制器6与外部设备连接，用于给外部设备输出指令。其中外部设备包括微型风扇、分体机空调、暖风机、坐垫、脚垫、局部加热装置或个性化送风口。末端控制系统通过对信息处理系统所获得的信息，输出指令至执行器进行控制，以此达到较高的热舒适性与节能性。
安装时，需要配套地在末端设备上设置末端传感器，末端传感器用于监控外部设备的风温、风量和风速，以判断在系统发出指令后末端是否执行指令。当系统发出改变末端风速的指令时，末端装置改变一个挡位，直至人员感到热舒适。
如图2所示，本发明的基于计算机视觉监测的个体热舒适控制系统的控制方法，包括以下步骤：
S1、摄像头4采集人体实时的姿态信息，通过骨骼节点识别模块判断出人体姿态，并通过欧拉视频放大模块得到人体面部皮肤温度；同时半接触式测量单元测量人体皮肤温度，红外传感器5采集人体面部皮肤温度，最终得到人体面部温度；
S2、人体热感觉预估模块对所采集到的人体面部温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；
S3、比较模块对预测热感觉值与热感觉阈值进行对比；若预测热感觉值小于热感觉阈值，则需要调小外部设备的输出冷量或调大输出热量；若预测热感觉值大于热感觉阈值，则需要调大外部设备的输出冷量或调小输出热量；
S4、智能语音控制模块根据对比值询问待测人员是否需要改变改变温度，若需要改变，末端控制器6启动，给外部设备输出控制指令；若不需要改变，存储模块存储预测热感觉值；存储步骤S1测得温度值和步骤S4得到该预测热感觉值对应的人员热需求，若后续系统测得该人员相同的温度值，末端控制器6不经过步骤S4直接给出对应指令。
如图3所示，末端控制原理框图，起初给定系统末端相关参数，通过数据采集系统采集的数据与语音询问结果在信息处理系统的优化检测模块进行优化得出优化设定值，若系统需进行调控，则末端控制器6来控制末端执行器执行指令，使被控对象的被控变量达到优化设定值。如系统需增大风量，则末端风扇增大风速，满足人体需求。
如图4所示，以台扇3作为外部设备为例进行说明，环境为办公环境，通过安装在工作人员面前的摄像头4拍摄与人体热调节机构有关的人体姿态图像，利用OpenPose算法得到人体关节点信息，从而得到人体姿态，在此定义姿态：擦汗、用手扇风、抖T恤、卷袖子；搓手、呼气暖手、双手怀抱。通过人体姿态实时识别人体不舒适状态。骨骼节点识别是控制系统开始调节动作的指令发出端。但是由于OpenPose算法可能存在对人体动作的误判，因此采用欧拉放大算法求得办公人员面部温度，综合判断当前热舒适情况。
下一步，欧拉视频放大算法立即进行傅里叶变换可得到肤色饱和度，根据肤色饱和度与皮肤温度的线性关系，从而得到人体体温来预测热舒适。系统根据姿态或皮肤温度，发出相应指令控制风扇的温度，使人体处于高热舒适状态。实现以上技术的设备为摄像头4，安装在工作人员所在办公桌上面向工作人员。可以实时监测人体姿态具有较好的跟随性。但会存在误判的问题，如当人摸额头会被误认为擦汗、双手交叉思考会被误判为双手怀抱，当人胡须比较浓厚时会影响采集人体面部肤色等。因此还通过红外传感器5进行进一步的验证。
红外传感器5可采集工作人员面部皮肤温度，与以上所有采集到的数据进行比对。以此进一步提高所采集信息的准确性。红外传感器5安装在摄像头4旁，主要用于将此处才采集的数据与以上步骤所采集到的信息进行比对，确保数据的准确性，进一步避免误判。
但是目前市场上红外传感器5的测量精度并不是很高，所以需要辅以半接触测量设备保证系统的控制精度。
若半接触佩戴设备、红外摄像头4、红外传感器5和语音询问结果有较大偏差，则以语音询问结果为准修正优化其他设备测量结果，做到精准确定各控制参数的设定值。
以上五种数据采集方式极大地提高本发明控制系统的控制精度，避免系统出现误判、延迟判断等情况。此外，信息采集系统收集到的人员的热舒适信息可以传输到公司的员工信息系统记录并储存，并与员工人像信息对应匹配，从而实现如果人员换工位办公，本发明的控制系统依然可以根据人像识别查询该人员热舒适信息进而控制暖通空调系统末端达到该人员的热舒适。
具体实施中不利情况的解决办法：
若信息采集系统采集到工位上人员多于1人时，预先设定非接触测量收集的视频信息选择工位前座椅为参考物，以坐姿范围区域为识别区，控制系统只采集工位座椅上的人员的温度信息以调节暖通空调系统末端的设定参数；
若信息采集系统采集到工位上人员信息不是本公司员工信息时，首先判别工位上的人员，在公司数据库中调取该人员的热舒适信息，然后进行后续程序；
若信息采集系统没有采集到人员信息时，则暖通空调系统设定参数为最小设定值；
若智能语音系统收集的反馈信息与TSV算法结果不一致时，以智能语音系统收集的反馈信息为指令调节暖通空调系统。

Claims (8)

1.一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，包括数据采集系统、信息处理系统、智能语音询问模块、末端控制系统和生物实时系统；
数据采集系统包括半接触式测量单元和非接触式测量单元，半接触式测量单元设置在人体上，非接触式测量单元包括红外传感器(5)和摄像头(4)，摄像头(4)中内置有骨骼节点识别模块和欧拉视频放大模块；
信息处理系统包括存储模块、人体热感觉预估模块和比较模块；人体热感觉预估模块用于对所采集到的皮肤温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；存储模块用于存储预设的热感觉阈值；比较模块用于对预测热感觉值与热感觉阈值进行对比；
比较模块与智能语音询问模块连接，用于询问是否需要进行参数调控，若调控，调控后的末端设备参数存储在存储模块中；
末端控制系统包括末端控制器(6)，末端控制器(6)与外部设备连接，用于给外部设备输出指令；
数据采集系统、人体热感觉预估模块与生物实时系统连接，数据采集系统采集到的皮肤温度、信息处理系统处理后的预测热感觉值及调控后的末端设备参数发送至生物实时系统进行机器学习，用于记忆人体热偏好；
步骤S2中，皮肤温度与人体热感觉之间的数学模型采用如下公式：
TSV＝a+a1×T1+a2×T2+a3×T3+a4×T4
其中，TSV为皮肤温度的线性函数；
T1为欧拉视频放大技术测得的人员面部温度；
T2为红外传感器(5)测得的人员面部温度；
T3为半接触测量装置测温眼镜(1)测得的人员面部温度；
T4为半接触测量装置测温腕带(2)测得的人员面部温度；
a1、a2、a3、a4—拟合模型的线性参数；
a—截距；
骨骼节点识别模块采用OpenPose算法获取人体关节关键点，具体包括以下步骤：
(1)神经网络预测
将采集到的视频进行特征提取，然后通过两分支的多阶段卷积神经网络，第一分支用来预测置信图像标准差，第二分支用来预测PAFs Lt；在每个阶段之后，来自两个分支的预测以及图像特征被连接用于下一阶段；
原始图像以四个固定的scale缩放后进入神经网络，将四个预测值求平均，获得关节的heatmap；
(2)寻找关节，获得关节关键点信息；
利用非最大抑制算法获得heatmap中的峰值，所求得的峰值的值为置信度；
(3)肢体连接点的寻找
用关节关键点信息和paf来获得肢体连接，Open pose数据库内置人体模型包含19个肢体，确定每一肢体所对应的两个part和paf，将两个part之间的paf信息进行积分所得结果作为该肢体的置信度；
在获得所有的连接信息后，每一个连接都看作为一个肢体，获得所有肢体信息；
(4)拼接肢体构成人
然后将拥有相同关节的肢体看作为同一个人的肢体。
2.根据权利要求1所述的一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，信息处理系统还包括优化检测模块，优化检测模块与数据采集系统连接，用于对数据采集系统发送的数据进行优化。
3.根据权利要求1所述的一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，半接触式测量单元包括测温眼镜(1)、测温腕带(2)或测温手表。
4.根据权利要求1所述的一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，骨骼节点识别模块采用OpenPose算法，用于获取人体姿态数字图像的矩阵特征。
5.根据权利要求1所述的一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，欧拉视频放大模块采用欧拉视频放大算法，用于获取人体面部温度。
6.根据权利要求1所述的一种基于计算机视觉监测的个体热舒适控制系统，其特征在于，末端设备参数包括外部设备的风温、风量和风速。
7.权利要求1～6任意一项所述的一种基于计算机视觉监测的个体热舒适控制系统的控制方法，其特征在于，包括以下步骤：
S1、摄像头(4)采集人体实时的姿态信息，通过骨骼节点识别模块判断出人体姿态，并通过欧拉视频放大模块得到人体面部皮肤温度；同时半接触式测量单元测量人体皮肤温度，红外传感器(5)采集人体面部皮肤温度，最终得到人体面部温度；
S2、人体热感觉预估模块对所采集到的人体面部温度与人体热感觉之间的数学模型进行修正，得到预测热感觉值；
S3、比较模块对预测热感觉值与热感觉阈值进行对比；若预测热感觉值小于热感觉阈值，则需要调小外部设备的输出冷量或调大输出热量；若预测热感觉值大于热感觉阈值，则需要调大外部设备的输出冷量或调小输出热量；
S4、智能语音控制模块根据对比值询问待测人员是否需要改变改变温度，若需要改变，末端控制器(6)启动，给外部设备输出控制指令；
若不需要改变，存储模块存储预测热感觉值和步骤S1得到的人体面部温度，当之后再次测得此人体面部温度时，不再进行步骤S2～S4。
8.根据权利要求7所述的控制方法，其特征在于，摄像头(4)内置有视频放大模块，视频放大模块采用欧拉视频放大算法，欧拉视频放大算法进行傅里叶变换得到肤色饱和度，根据肤色饱和度与皮肤温度的线性关系，得到人体皮肤温度。
CN202011380653.9A 2020-11-30 2020-11-30 基于计算机视觉监测的个体热舒适控制系统及控制方法 Active CN112631135B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011380653.9A CN112631135B (zh) 2020-11-30 2020-11-30 基于计算机视觉监测的个体热舒适控制系统及控制方法
US17/487,653 US11614723B2 (en) 2020-11-30 2021-09-28 Control system and control method for individual thermal comfort based on computer visual monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380653.9A CN112631135B (zh) 2020-11-30 2020-11-30 基于计算机视觉监测的个体热舒适控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN112631135A CN112631135A (zh) 2021-04-09
CN112631135B true CN112631135B (zh) 2023-08-29

Family

ID=75307090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380653.9A Active CN112631135B (zh) 2020-11-30 2020-11-30 基于计算机视觉监测的个体热舒适控制系统及控制方法

Country Status (2)

Country Link
US (1) US11614723B2 (zh)
CN (1) CN112631135B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113924039B (zh) * 2019-05-15 2023-10-27 大金工业株式会社 用于估计温热舒适性的系统
CN113191228A (zh) * 2021-04-20 2021-07-30 上海东普信息科技有限公司 快件抛投的识别方法、装置、设备和存储介质
CN113242408B (zh) * 2021-04-26 2023-04-07 西安建筑科技大学 一种基于计算机视觉技术的工地安全监测系统
CN113432720A (zh) * 2021-06-25 2021-09-24 深圳市迈斯泰克电子有限公司 基于人体识别的温度检测方法、装置以及温度检测仪器
CN113419440A (zh) * 2021-07-16 2021-09-21 武汉施尔诺新能源科技有限公司 一种基于智能家居环境下使用的智能控制系统
CN113719975B (zh) * 2021-08-03 2023-04-07 南京邮电大学 人体热舒适实时感知和室内环境智能调控方法及系统
CN113776165B (zh) * 2021-09-10 2023-03-21 西安建筑科技大学 基于YOLOv5l算法的多区域的人造雾管网智能控制方法及系统
CN113867165A (zh) * 2021-10-13 2021-12-31 达闼科技（北京）有限公司 机器人优化智能设备服务的方法、装置及电子设备
CN114364104A (zh) * 2022-01-04 2022-04-15 西安建筑科技大学 一种夜间照明控制及危险监测报警系统及方法
CN115357073B (zh) * 2022-08-15 2023-03-21 哈尔滨工业大学 一种基于老年人微表情及行为的智能健康环境调控系统
CN116538654A (zh) * 2023-07-06 2023-08-04 中国航空工业集团公司金城南京机电液压工程研究中心 一种自适应空间热环境智能控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151732A1 (zh) * 2019-01-23 2020-07-30 南京邮电大学 一种非侵入式人体热舒适的ai感知方法
WO2020177498A1 (zh) * 2019-03-04 2020-09-10 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849379B2 (en) * 2002-04-22 2014-09-30 Geelux Holdings, Ltd. Apparatus and method for measuring biologic parameters
CN106264449B (zh) * 2015-06-29 2022-01-28 松下知识产权经营株式会社 人状态推定方法和人状态推定系统
WO2017173222A1 (en) * 2016-04-01 2017-10-05 Gentherm Inc. Occupant thermal state detection and comfort adjustment system and method
JP7272962B2 (ja) * 2017-05-15 2023-05-12 スミス アンド ネフュー ピーエルシー 創傷分析装置
US11480359B2 (en) * 2017-10-30 2022-10-25 Daikin Industries, Ltd. Air-conditioning control device
FR3088256A1 (fr) * 2018-11-09 2020-05-15 Valeo Systemes Thermiques Systeme de gestion thermique pour un habitacle de vehicule automobile
CN110650368B (zh) * 2019-09-25 2022-04-26 新东方教育科技集团有限公司 视频处理方法、装置和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151732A1 (zh) * 2019-01-23 2020-07-30 南京邮电大学 一种非侵入式人体热舒适的ai感知方法
WO2020177498A1 (zh) * 2019-03-04 2020-09-10 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于动态模糊推理的舒适温度在线预测;白燕;冯壮壮;张玮;;计算机测量与控制(第07期);全文 *

Also Published As

Publication number Publication date
US11614723B2 (en) 2023-03-28
US20220171356A1 (en) 2022-06-02
CN112631135A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112631135B (zh) 基于计算机视觉监测的个体热舒适控制系统及控制方法
Aryal et al. A comparative study of predicting individual thermal sensation and satisfaction using wrist-worn temperature sensor, thermal camera and ambient temperature sensor
CN108870679A (zh) 一种空调的控制方法、装置、存储介质及空调
US11248820B2 (en) Air conditioning control device to control air conditioner based on comfortable skin temperature range
US20170123442A1 (en) System and Method of Smart and Energy-Saving Environmental Control
CN109948472A (zh) 一种基于姿态估计的非侵入式人体热舒适检测方法及系统
US20180125418A1 (en) Device and method for monitoring a physiological state of a subject
CN110822616A (zh) 空调自动调节方法及装置
CN111609537B (zh) 空调及其控制方法、装置以及空调系统
CN103629784A (zh) 一种基于生物信号的空调控制器、控制系统及控制方法
CN110207338A (zh) 一种空调控制方法、装置、存储介质及空调
US20220401691A1 (en) Temperature-controlled mattress control system and method based on sleep posture detection
CN113339952A (zh) 空调系统
Wu et al. Comparison among different modeling approaches for personalized thermal comfort prediction when using personal comfort systems
JPH06159763A (ja) 空気調和機用制御装置
CN113598789A (zh) 一种基于脑电信号的跨个体热舒适判别方法
CN110659594B (zh) 一种基于AlphaPose的热舒适姿态估计方法
CN111124007A (zh) 一种特种个体防护服自适应液温调节装置
CN114964506A (zh) 基于红外热成像的室内人体热舒适智能调控方法和系统
CN106595002B (zh) 空调器控制方法和装置
Gialelis et al. Determining occupant's Thermal Comfort and Well-Being towards facilitating energy demand management utilizing a low-cost wearable device
WO2024004465A1 (ja) 環境制御システム、環境調整システム、環境制御方法、及びプログラム
JPH0979642A (ja) 空気調和装置
US20230226308A1 (en) Personal Thermal Stability Control
JPH11190545A (ja) 冷暖房機の温度制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant