CN110110629B - 面向室内环境控制的人员信息检测方法与系统 - Google Patents
面向室内环境控制的人员信息检测方法与系统 Download PDFInfo
- Publication number
- CN110110629B CN110110629B CN201910336741.XA CN201910336741A CN110110629B CN 110110629 B CN110110629 B CN 110110629B CN 201910336741 A CN201910336741 A CN 201910336741A CN 110110629 B CN110110629 B CN 110110629B
- Authority
- CN
- China
- Prior art keywords
- visible light
- image
- registered
- infrared thermal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 29
- 210000000746 body region Anatomy 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 10
- 108091008695 photoreceptors Proteins 0.000 claims description 10
- 238000001931 thermography Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了面向室内环境控制的人员信息检测方法与系统，系统包括图像读取装置模块、图像配准模块、配准后红外热图像读取模块、配准后可见光图像读取模块、人员信息检测模块、人员区域信息映射模块、人员体表温度计算模块和信息融合模块。通过对分辨率、视场角以及拍摄角度不同的可见光图像和红外热图像配准处理，使得配准后可见光图像和红外热图像的像素点对应。然后检测配准后可见光图像中人员区域信息、性别和年龄信息，并将配准后可见光图像中人员区域信息映射到配准后红外热图像中，精确获取配准后红外热图像中人员区域信息，计算出人员体表温度，从而完成与室内环境控制相关的人员性别、年龄以及人员体表温度信息检测。
Description
技术领域
本发明属于目标识别技术及智慧建筑技术领域，具体涉及一种面向室内环境控制的人员信息检测方法与系统。
背景技术
近年来，随着信息技术的发展与人民生活水平的提升，人们对生活环境提出了更高的要求，智慧建筑正被重视并发展。智慧建筑通过物联网、云计算等现代信息技术，整合建筑内各项数据并对其进行分析，提供环境舒适、节能环保的建筑。其中，室内环境舒适度控制系统是控制建筑内各项设备的中心系统，也是智慧建筑的核心。室内环境舒适度控制系统可以在商场、车站以及办公室等室内环境中应用，用于提升人员对室内环境的舒适感，能够心情愉悦地进行工作或学习等活动。室内环境舒适度控制系统依靠相关传感器采集环境信息，并综合考虑设备的运行效率以及安全状态，控制设备处于最高效最节能的运行状态，从而调节室内环境以满足大多数人们对环境的要求。文献[1]表明，环境的温度、湿度会影响室内人员的工作状态，一个舒适的环境不仅可以在一定程度上减缓室内人员的负面消极情绪，还可以提升将近10％的工作效率，因此控制室内温湿度等环境参数处于舒适范围具有很大的现实意义。目前，室内环境控制系统主要由环境感知系统、个体信息检测系统以及室内设备控制系统组成。其中，环境感知系统采集室内各项环境信息并上传至服务器中，个体信息检测系统采集室内人员的性别、体表温度等个体信息并上传至服务器中，室内设备控制系统通过服务器中的环境信息以及人员个体信息控制室内设备的工作运行策略。针对于此，国内外学者展开大量研究，其中文献[2-3]中构建的环境控制系统依赖相关传感器在室内指定位置采集获取温度、湿度、空气流速等室内环境信息，构建的室内设备控制系统根据热舒适度方程[4-5]建立数学模型，并将室内环境信息输入至该数学模型得到空调设备的控制策略[2,3,6]，以达到调整室内环境获得较理想舒适度的目的；文献[7-10]将性别、年龄和体表温度信息作为影响因素与传统的热舒适方程[4-5]结合，对不同性别不同年龄不同体表温度的热舒适度以及实际感受进行研究。结果表明，相较于传统的热舒适度计算方式，将性别、年龄和体表温度信息结合计算得到的热舒适度更符合人员的实际感受。由此可见，性别、年龄和体表温度信息不同的人对舒适环境的要求也不同，为了进一步的考虑个体差异对环境舒适的不同需求，采集人员的年龄、性别和体表温度信息是必不可少的，但目前人的年龄、性别和体表温度信息的采集大多依赖人工记录及测量，不仅耗费大量的人力成本，还存在较大的测量误差，因此，如何自动准确地采集上述人员个体信息是构建室内环境控制系统的一个关键问题。
目前，室内人员的体表温度、性别和年龄等信息主要通过对采集的可见光图像(RGB)或红外热图像应用图像处理算法来获取。在基于可见光图像的研究中，人员的性别信息借由人脸检测结果通常可以达到较好的识别精度，例如Ahonen等人[11]表明局部二值模式(LBP)特征非常适合于面部图像的分类，于是一些研究学者将LBP特征与支持向量机(SVM)[12-13]监督学习算法组合用于性别判断；受深度神经网络的启发，Levi等人[14]和Minchul等人[15]使用深度神经网络对人员面部区域图像进行性别判断；但由于可见光图像无法通过颜色、纹理信息反映温度信息，从而无法得到人员的温度信息。在基于红外热图像的研究中，可以及时连续进行测量，并且可以高精度地检测局部温度变化。人员的温度信息借由红外热图像中的颜色信息通常可以达到较好的检测精度，例如Tanda[16]和Quesada等人[17]使用红外热成像仪拍摄人体，从而获取得到包含人体的红外热图像，并通过其获取人员体表温度。部分研究学者利用红外热图像中的边缘信息检测图像中的人员[18-19]，但由于红外热图像缺乏细节纹理信息，导致人员的性别和年龄信息难以被识别。此外，一篇名称为热成像体温监控装置、系统及方法发明文献(申请号：CN201010273249.1)提供一种热成像体温监控装置和应用系统，能够对公共流动场所的人体的体温进行监控，并且实现了非接触、快速且不限制受检人员流动。但是该发明通过红外成像仪所采集的视频来分析监测区域内是否存在人员移动情况以定位流动人员的位置，导致处于静止状态的人无法被检测；由于红外热图像缺少人员的外观纹理细节信息，仅基于红外热图像进行人员检测，会造成人员无法被准确识别，影响后期体温计算结果的检测精度；上述发明提供的系统及方法仅限用于人员流动频繁的场景，无法应用于室内等场景，并且不能识别人的性别和年龄信息。
发明内容
本发明要解决的技术问题为：单独使用红外热图像或可见光图像融合方式无法同时获取人员的年龄、性别以及体表温度信息；由于采集场景图像所使用的可见光摄像装置和红外摄像装置的视场角，分辨率以及拍摄时位置角度不同，导致获得的可见光图像和红外热图像的像素点不对应，不存在映射关系，影响图像融合处理效果，降低人员信息检测精度。
针对以上技术问题，本发明采用的技术方案为面向室内环境控制的人员信息检测系统，该系统通过对分辨率、视场角以及拍摄角度不同的可见光图像和红外热图像配准处理，使得配准后可见光图像和红外热图像的像素点对应。然后检测配准后可见光图像中人员区域信息、性别和年龄信息，并将配准后可见光图像中人员区域信息映射到配准后红外热图像中，精确获取配准后红外热图像中人员区域信息，计算出人员体表温度，从而完成与室内环境控制相关的人员性别、年龄以及人员体表温度信息检测。
本发明代表图如附图1所示，系统包括：图像读取装置模块10、图像配准模块20、配准后红外热图像读取模块30、配准后可见光图像读取模块40、人员信息检测模块50、人员区域信息映射模块60、人员体表温度计算模块70和信息融合模块80。
上述各模块之间的连接关系如下：所述图像读取装置模块10将红外热图像和可见光图像输出到所述图像配准模块20，所述图像配准模块20将配准后红外热图像和配准后可见光图像分别输出到所述配准后红外热图像读取模块30和所述配准后可见光图像读取模块40，所述配准后红外热图像读取模块30将配准后红外热图像输出到所述人员区域信息映射模块60，所述配准后可见光图像读取模块40将配准后可见光图像输出到所述人员信息检测模块50，所述人员信息检测模块50将配准后可见光图像以及配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息输出到所述人员区域信息映射模块60，所述人员区域信息映射模块60将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息及配准后红外热图像与配准后红外热图像中人员头部或人员全身区域信息输出到所述人员体表温度计算模块70，所述人员体表温度计算模块70将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息输出到所述信息融合模块80，所述信息融合模块80融合配准后可见光图像中人员头部或人员全身区域、性别和年龄信息与配准后红外热图像中人员体表温度信息并可视化显示在可见光图像或红外热图像中，实现与室内环境控制相关的人员性别、年龄以及体表温度信息检测。其中所述各模块的功能：
图像读取装置模块10：图像读取装置模块10由红外摄像装置和可见光摄像装置构成，所述图像读取装置模块10能够同时拍摄并获取红外热图像和可见光图像，并将所述红外热图像和可见光图像输出到图像配准模块20。
图像配准模块20：从所述图像读取装置模块10读取红外热图像和可见光图像。通常可见光摄像装置视场角大于红外摄像装置，导致可见光图像的成像范围大于红外热图像，所以将红外热图像作为基准图像，可见光图像作为待配准图像，利用立体视觉成像原理以及红外摄像装置和可见光摄像装置的视场角、分辨率与成像尺寸之间的关系，实现可见光图像与红外热图像精确配准。配准后可见光图像与配准后红外热图像的图像尺寸一致并且像素点相对应。将所述配准后红外热图像和配准后可见光图像分别输出到配准后红外热图像读取模块30和配准后可见光图像读取模块40。
配准后红外热图像读取模块30：用于读取所述图像配准模块20配准的红外热图像，并将配准后红外热图像输出到人员区域信息映射模块60。
配准后可见光图像读取模块40：用于读取所述图像配准模块20配准的可见光图像，并将配准后可见光图像输出到人员信息检测模块50。
人员信息检测模块50：从所述配准后可见光图像读取模块40读取配准后可见光图像。将配准后可见光图像输入到深度学习模型比如SSD、Faster R-CNN、YOLO或SPP-net等，以获得可见光图像中人员头部或人员全身区域信息，然后将获取的人员头部或人员全身区域输入到用于检测人员性别和年龄的深度学习网络模型中，识别出配准后可见光图像中人员性别与年龄信息。其中人员性别和年龄检测可以使用CNN卷积神经网络模型、VGG卷积神经网络模型或mini-Xception小型全卷积神经网络模型等多种神经网络模型。将配准后可见光图像以及配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息输出到人员区域信息映射模块60。
人员区域信息映射模块60：从所述人员信息检测模块50读取配准后可见光图像和配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及从配准后红外热图像数据读取模块30读取配准后红外热图像。由于配准后红外热图像与配准后可见光图像的像素点形成对应关系并且两张图像尺寸一致，所以将配准后可见光图像中人员区域信息直接映射到配准后红外热图像中，即可准确获得配准后红外热图像中人员区域信息。将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息及配准后红外热图像与配准后红外热图像中人员头部或人员全身区域信息输出到人员体表温度计算模块70。
人员体表温度计算模块70：从所述人员区域信息映射模块60读取配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息、配准后红外热图像以及配准后红外热图像中人员头部或人员全身区域。读取配准后红外热图像中每个像素点的温度值，并计算出配准后红外热图像中人员头部或人员全身区域内所有像素点的温度值，选取人员头部或人员全身区域内像素点温度最大值或平均值作为此人体表温度。将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息输出到信息融合模块80。
信息融合模块80：从所述人员体表温度计算模块70读取配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息。融合配准后可见光图像中人员头部或人员全身区域、性别和年龄信息与配准后红外热图像中人员体表温度信息并可视化显示在可见光图像或红外热图像中，实现与室内环境控制相关的人员性别、年龄以及体表温度信息检测。
本发明原理：
首先融合可见光图像与红外热图像，根据可见光图像检测场景中人员所在区域、性别及年龄，以及根据红外热图像获取温度信息，实现同时检测场景中所有人员性别、年龄和温度信息的功能。
其次利用立体视觉成像原理计算红外摄像装置与可见光摄像装置产生的视差以及利用红外摄像装置与可见光摄像装置的视场角、分辨率与成像尺寸之间的关系，实现可见光图像与红外热图像精确配准。
然后利用配准后的可见光图像与红外热图像像素点对应的关系，将可见光图像中人员区域信息映射到配准后红外热图像，精确获取配准后红外热图像中人员区域信息，进而检测出红外热图像中人员体表温度。
与现有技术相比，本发明提出的人员信息检测方法可用于多种环境场景(如会议室，商场，安检口等)检测人员位置、性别、年龄和温度信息，不再需要人工测量采集场景中人员信息，节约了大量的人力成本。并且本发明对分辨率、视场角以及拍摄角度不同的可见光图像和红外热图像进行配准处理，使配准后可见光图与红外热图像像素点相对应，从而有效地融合了可见光图像的色彩、纹理信息和红外热图像的温度信息，准确地检测场景中出现的所有人员性别、年龄和温度信息，具有实时性好，检测精度高等特点。
附图说明
图1本发明提供的一种面向室内环境控制的人员信息检测方法与系统的代表图。
图2本发明实施例提供的一种面向室内环境控制的人员信息检测方法的流程图。
图3本发明实施例提供的一种读取红外热成像与可见光成像数据流程图。
图4本发明实施例提供的一种可见光图像与红外热图像配准处理的流程图。
图5本发明实施例提供的一种立体视觉成像原理图。
图6本发明实施例提供的一种图像中人员区域信息检测的流程图。
图7本发明实施例提供的一种人员性别年龄检测的流程图。
图8本发明实施例提供的一种人员区域信息映射的流程图。
图9本发明实施例提供的一种人员体表温度计算的流程图。
具体实施方式
为了能够更加清楚的说明本发明的方法流程，下面结合具体实施例进行进一步描述，所说明的实施例仅用于说明本发明的技术方案，实施例设置的参数数值并非限定本发明。
本发明实施方式的流程图如图2所示，包括以下步骤：
步骤S10：读取红外热成像数据与可见光成像数据；
步骤S20：可见光图像与红外热图像配准处理；
步骤S30：读取配准后红外热图像；
步骤S40：读取配准后可见光图像；
步骤S50：图像中人员区域信息检测；
步骤S60：人员性别年龄检测；
步骤S70：人员区域信息映射；
步骤S80：人员体表温度计算；
步骤S90：信息融合。
在本实施方式中红外热图像记为IMGIFR，可见光图像记为IMGRGB，配准后红外热图像记为IMG'IFR，配准后可见光图像记为IMG'RGB。
实施方式的读取红外热成像与可见光成像数据步骤S10还包括以下步骤，实施步骤如图3所示：
步骤S100：从红外摄像装置和可见光摄像装置分别读取红外热成像数据与可见光成像数据。
步骤S110：判断读取的红外热成像数据与可见光成像数据为视频类型还是图像类型。若待检测数据是视频类型，则进行步骤S120；若待检测数据是图像类型，则进行步骤S130。
步骤S120：对视频数据进行分帧处理，将视频数据转换为图像数据。
步骤S130：将红外热图像IMGIFR与可见光图像IMGRGB出到步骤S20。
实施方式的可见光图像与红外热图像配准处理步骤S20还包括以下步骤，实施步骤如图4所示：
红外摄像装置与可见光摄像装置的位置一般是垂直配置或水平配置。本实施例中的红外摄像装置与可见光摄像装的位置为垂直配置。
步骤S200：从所述读取红外热成像数据与可见光成像数据步骤S10读取上述可见光图像IMGRGB和上述红外热图像IMGIFR。
步骤S210：利用立体视觉成像原理计算红外摄像装置与可见光摄像装置产生的视差d，用于定位红外热图像中心点对应在可见光图像的位置坐标。在实际应用中，红外摄像装置和可见光摄像装置紧密相邻，因而视差d受拍摄距离的影响很小。计算视差d的方法依据立体视觉成像原理，如图5所示，首先根据实际应用场景，确定摄像装置到场景的距离l；然后在距离摄像装置l处放置一个实际物体观测点p，使得p点在红外摄像装置的光轴线上，且p点经过红外摄像装置的光心O1成像在红外摄像装置感光器成像面的中心点x1，然后将p点经过可见光摄像装置的光心O2成像在可见光摄像装置感光器成像面的位置记为p2，点p2到可见光摄像装置感光器成像面中心点x2的距离即为视差d；根据ΔPO1O2与ΔO2x2p2三角形相似原理，即可计算视差d：d＝f2B/l，其中f2为可见光摄像装置的焦距，B为红外摄像装置光心O1与可见光摄像装置光心O2之间的距离。通常可见光摄像装置视场角大于红外摄像装置，导致可见光图像的成像范围大于红外热图像，所以将红外热图像IMGIFR作为基准图像，可见光图像IMGRGB作为待配准图像，根据红外摄像装置与可见光摄像装置的视差d，即可定位红外热图像IMGIFR中心点对应在可见光图像IMGRGB的位置坐标(a,b)，其中a＝m/2，b＝n/2±d/μh，m*n为可见光摄像装置分辨率，μh为可见光摄像装置感光器中每个像元的高度。同理，当红外摄像装置与可见光摄像装置的位置为水平配置时，定位红外热图像中心点对应在可见光图像的位置坐标(a,b)，其中a＝m/2±d/μw，b＝n/2，μw为可见光摄像装置感光器中每个像元的宽度。
步骤S220：以IMGRGB的坐标(a,b)为中心提取尺寸大小为X*Y像素的区域，其中X*Y根据红外摄像装置与可见光摄像装置的视场角计算所得，计算方法如公式(1)和(2)所示，式中m*n为可见光摄像装置的分辨率，α1、β1分别为红外摄像装置的水平视场角和垂直视场角，α2、β2分别为可见光摄像装置的水平视场角和垂直视场角，f1、f2分别为红外摄像装置和可见光摄像装置的焦距。
步骤S230：将步骤S210提取的X*Y区域分辨率调整至与红外热图像相同的分辨率，所得配准后可见光图像IMG'RGB与配准后红外热图像IMG'IFR精准匹配，实现配准后可见光图像IMG'RGB与配准后红外热图像IMG'IFR的尺寸一致并且像素点相对应。
步骤S240：将上述配准后红外热图像IMG'IFR和上述配准后可见光图像IMG'RGB分别输出到读取配准后红外热图像步骤S30和读取配准后可见光图像步骤S40。
本实施方式的读取配准后红外热图像步骤S30：从所述可见光图像与红外热图像配准处理步骤S20读取配准后红外热图像IMG'IFR，将配准后红外热图像IMG'IFR输出到人员区域信息映射步骤S70。
本实施方式的读取配准后可见光图像步骤S40：从所述可见光图像与红外热图像配准处理步骤S20读取上述配准后可见光图像IMG'RGB，将配准后可见光图像IMG'RGB输出到图像中人员区域信息检测步骤S50。
本实施方式的图像中人员区域信息检测步骤S50能够通过深度学习模型比如SSD,Faster R-CNN,YOLO,SPP-net等检测上述配准后可见光图像IMG'RGB中人员头部或人员全身区域，本实施方式使用Faster R-CNN深度学习网络模型检测上述配准后可见光图像IMG'RGB中人员头部区域，包括以下步骤，实施步骤如图6所示：
步骤S500：调整Faster R-CNN网络模型，在原始Faster R-CNN目标检测模型的基础上，采用ResNet-50深层网络代替VGG-16网络作为骨架网络提取更深层特征。
步骤S510：在Hollywood Heads大型人头数据集上微调训练Faster R-CNN头部检测器，提高检测结果准确率。
步骤S520：根据采集的数据集以及头部特点，自适应的调整区域提议网络(RPN)算法中Anchors先验框的尺寸，训练Faster R-CNN的区域提议网络模型。调整Anchors先验框的尺度为128和256，比例为1:1，1:2和2:1，共6种不同anchors尺寸，以适应所采集图像中的头部检测，减少冗余计算。
步骤S530：从所述读取配准后可见光图像步骤S40读取上述配准后可见光图像IMG'RGB并将其输入到已训练的Faster R-CNN头部检测器中，以获取上述配准后可见光图像IMG'RGB中人员的头部区域信息{(xn,yn,hn,wn)|n＝1,2…N},其中N为检测的人员数量，上述配准后可见光图像IMG'RGB的图像坐标系以图像左上角为原点，(xn,yn)为第n个人员头部区域在上述配准后可见光图像IMG'RGB图像坐标系的起始点坐标，hn和wn为此区域的高度和宽度，(xn,yn,hn,wn)表示仅包含第n个人员头部的矩形区域。
步骤S540：将上述配准后可见光图像IMG'RGB以及上述配准后可见光图像IMG'RGB中人员头部区域信息{(xn,yn,hn,wn)|n＝1,2…N}输出到人员性别年龄检测步骤S60。
本实施方式的人员性别年龄检测步骤S60使用CNN卷积神经网络模型，VGG卷积神经网络模型，mini-Xception小型全卷积神经网络模型等多种神经网络模型对人员性别和年龄进行检测，本实施方式具体地使用mini-Xception小型全卷积神经网络模型检测人员性别和年龄信息，包括以下步骤，实施步骤如图7所示：
步骤S600：使用IMBD-WIKI人员性别和年龄数据集训练mini-Xception小型全卷积神经网络模型。
步骤S610：使用Adience数据集对预训练的mini-Xception小型全卷积神经网络模型进行验证。
步骤S620：从所述图像中人员区域信息检测步骤S50读取上述配准后可见光图像IMG'RGB以及上述配准后可见光图像IMG'RGB中人员头部区域信息{(xn,yn,hn,wn)|n＝1,2…N}，并对人员头部区域进行标准图像预处理，把人员头部区域内像素值归一化到0到1之间，然后将人员头部区域的尺寸统一缩放，本实施例缩放为48x48。
步骤S630：将步骤S620的结果输入到预训练的人员性别年龄分类模型，在最后一层应用全局平均池化层和softmax激活函数输出预测每个人员的性别和年龄。将上述配准后可见光图像IMG'RGB及上述配准后可见光图像IMG'RGB中人员头部区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息输出到人员区域信息映射步骤S70。
实施方式的人员区域信息映射步骤S70还包括以下步骤，实施步骤如图8所示：
步骤S700：从所述步骤S30读取上述配准后红外热图像IMG'IFR及从所述步骤S60读取上述配准后可见光图像IMG'RGB与上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息。
步骤S710：由于上述配准后红外热图像IMG'IFR与上述配准后可见光图像IMG'RGB的像素点形成对应关系并且两张图像尺寸一致，所以将上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}映射到上述配准后红外热图像IMG'IFR中，即可获取上述配准后红外热图像IMG'IFR中人员区域信息{(x′n,y′n,h′n,w′n)|n＝1,2…N}，其中(x′n,y′n)为第n个人员头部区域在上述配准后红外热图像IMG'IFR图像坐标系的起始点坐标，h′n和w′n为此区域的高度和宽度，(x′n,y′n,h′n,w′n)表示仅包含第n个人员头部的矩形区域。由于上述配准后红外热图像IMG'IFR与上述配准后可见光图像IMG'RGB的像素点形成对应关系且两张图像尺寸一致，并且两张图像坐标系均以图像左上角为原点，所以{(x′n,y′n,h′n,w′n)|n＝1,2…N}与{(xn,yn,hn,wn)|n＝1,2…N}相等。
步骤S720：将上述配准后红外热图像IMG'IFR、上述配准后红外热图像IMG'IFR中人员区域信息{(x′n,y′n,h′n,w′n)|n＝1,2…N}及上述配准后可见光图像IMG'RGB与上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息输出到人员体表温度计算步骤S80。
实施方式的计算人员体表温度步骤S80还包括以下步骤，实施步骤如图9所示：
步骤S800：从所述人员区域信息映射步骤S70读取上述配准后红外热图像IMG'IFR、上述配准后红外热图像IMG'IFR中人员区域信息{(x′n,y′n,h′n,w′n)|n＝1,2…N}及上述配准后可见光图像IMG'RGB与上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息。
步骤S810：如果红外摄像装置具备直接输出红外热图像中每个像素点温度值的功能则执行步骤S820，如果红外摄像装置不具备输出红外热图像中每个像素点温度值的功能则执行步骤S830。
步骤S820：读取像素温度值并计算人员体表温度。从红外摄像装置接读取上述配准后红外热图像IMG'IFR中每个像素点的温度值，并计算出上述配准后红外热图像IMG'IFR中人员头部区域内所有像素点的温度值，选取人员头部或人员全身区域内像素点温度最大值或平均值作为此人体表温度，本实施例选取人员头部区域内的温度最大值作为人员的体表温度。计算出人员体表温度后执行步骤S850。
步骤S830：识别温度标尺信息。识别上述配准后红外热图像IMG'IFR温度标尺的方法有Tesseract OCR，KNN文本识别等多种文本识别算法，本实施例使用KNN文本识别算法识别上述配准后红外热图像IMG'IFR的温度标尺上下限值。首先截取配准后红外热图像IMG'IFR温度标尺上下限对应的感兴趣区域，进行灰度二值化处理，设置图像二值化像素阈值，将分割感兴趣区域中的每一位数字，然后分别提取数字0-9和小数点‘.’的图像特征，制作训练数据集。当有新的实例输入时，分别计算待识别图像特征与数据集中所有样本特征之间的欧氏距离，如公式(3)所示，
代表待识别图像特征，
表示数据集中第j个样本特征，其中j＝1,2,…,Q，Q为数据集样本总数，L(xi,yj)表示待识别图像特征xi与样本特征yj之间的欧氏距离。最后对距离L(xi,yj)进行递增次序排序，选取距离最小的k个样本并统计k个样本中每个类别出现的频率，将频率最高的类别作为预测分类结果。
步骤S840：计算人员体表温度。在灰度红外热图像中，每个灰度值对应不同的温度信息，它们之间存在一种线性关系，灰度值为0像素点的温度值对应温度标尺下限，灰度值为255像素点的温度值对应温度标尺上限。利用温标尺度信息与灰度值的对应关系，计算出红外热图像中任一像素点温度的方法，如公式(4)所示。Tmax为温度标尺上限即场景最高温度，Tmin为温度标尺下限即场景最低温度，G(i,j)为像素点(i,j)的灰度值，T(i,j)为该像素点的实际温度值。依据温度标尺上下限值，并利用温度计算公式(4)计算得到上述配准后红外热图像IMG'IFR中人员头部区域内所有像素点的实际温度值，选取该区域内的最大值作为目标的体表温度。
T(i,j)＝Tmin+(Tmax-Tmin)×(G(i,j)/255) (4)
步骤S850：将上述配准后红外热图像IMG'IFR中人员区域信息{(x′n,y′n,h′n,w′n)|n＝1,2…N}、人员体表温度及上述配准后可见光图像IMG'RGB与上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息输出到信息融合步骤S90。
实施方式的信息融合步骤S90：从所述人员体表温度计算步骤S80读取上述配准后红外热图像IMG'IFR中人员区域信息{(x′n,y′n,h′n,w′n)|n＝1,2…N}、人员体表温度及上述配准后可见光图像IMG'RGB与上述配准后可见光图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息。融合上述配准后红外热图像IMG'RGB中人员区域信息{(xn,yn,hn,wn)|n＝1,2…N}、性别和年龄信息与上述配准后红外热图像IMG'IFR中人员体表温度信息并可视化显示在上述配准后可见光图像IMG'RGB中，实现与室内环境控制相关的人员性别、年龄以及体表温度信息检测。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在发明的保护范围之内。
参考文献
[1]Vimalanathan K,Babu T R.The effect of indoor office environment onthe work performance,health and well-being of office workers[J].Journal ofEnvironmental Health Science and Engineering,2014,12(1):113.
[2]Cheng Z,Shein W W,Tan Y,et al.Energy efficient thermal comfortcontrol for cyber-physical home system[C]//IEEE International Conference onSmart Grid Communications.IEEE,2013.
[3]Ray,Pratim P.An Internet of Things based approach to thermalcomfort measurement and monitoring[C]//3rd International Conference onAdvanced Computing and Communication Systems(ICACCS).2016:1-7.
[4]ANSI/ASHRAE(2017)Standard 55:2017,Thermal Environmental Conditionsfor Human Occupancy.ASHRAE,Atlanta.
[5]Moderate thermal environments-Determination of the PMV and PPDindices and specification ofthe conditions for thermal confort[J].Iso,1994.
[6]Orosa J.A new modelling methodology to control HVAC systems[J].Expert Systems with Applications,2011,38(4):4505-4513.
[7]Maula H,Hongisto V,Ostman,L,et al.The effect of slightly warmtemperature on work performance and comfort in open-plan offices-a laboratorystudy[J].Indoor Air,2016,26(2):286-297.
[8]A review ofhuman thermal comfort in the built environment[J].Energy and Buildings,2015,105:S0378778815301638.
[9]Lan,Li,et al."Investigation of gender difference in thermalcomfort for Chinese people."European Journal of Applied Physiology 102.4(2008):471-480.
[10]Chow,T.T.,et al."Thermal sensation of Hong Kong people withincreased air speed,temperature and humidity in air-conditioned environment."Building and Environment 45.10(2010):2177-2183.
[11]T.Ahonen,A.Hadid and M.Pietikainen,"Face Description with LocalBinary Patterns:Application to Face Recognition,"in IEEE Transactions onPattern Analysis&Machine Intelligence,vol.28,no.12,pp.2037-2041,2007.
[12]Hadid A,Pietikainen M.Combining appearance and motion for faceand gender recognition from videos[J].Pattern Recognition,2009,42(11):2818-2827.
[13]Shan C.Learning local binary patterns for gender classificationon real-world face images[M].Elsevier Science Inc.2012.
[14]Levi G,Hassncer T.Age and gender classification usingconvolutional neural networks[C]//2015 IEEE Conference on Computer Vision andPattern Recognition Workshops(CVPRW).IEEE Computer Society,2015:34-42.
[15]Shin M,Seo J H,Kwon D S.Face image-based age and genderestimation with consideration of ethnic difference[C]//IEEE InternationalSymposium on Robot&Human Interactive Communication.IEEE,2017.
[16]Tanda,Giovanni.Skin temperature measurements by infraredthermography during running exercise[J].Experimental Thermal and FluidScience,2016,71:103-113.
[17]Effect of perspiration on skin temperature measurements byinfrared thermography and contact thermometry during aerobic cycling[J].Infrared Physics&Technology,2015,72:68-76.
[18]Biswas S K,Milanfar P.Linear support tensor machine with LSKchannels:Pedestrian detection in thermal infrared images[J].IEEE transactionson image processing,2017,26(9):4229-4242.
[19]Lin C F,Chen C S,Hwang W J,et al.Novel outline features forpedestrian detection system with thermal images[J].Pattern Recognition,2015,48(11):3440-3450.
Claims (10)
1.面向室内环境控制的人员信息检测系统，其特征在于：该系统包括：图像读取装置模块(10)、图像配准模块(20)、配准后红外热图像读取模块(30)、配准后可见光图像读取模块(40)、人员信息检测模块(50)、人员区域信息映射模块(60)、人员体表温度计算模块(70)和信息融合模块(80)；
所述图像读取装置模块(10)将红外热图像和可见光图像输出到所述图像配准模块(20)，所述图像配准模块(20)将配准后红外热图像和配准后可见光图像分别输出到所述配准后红外热图像读取模块(30)和所述配准后可见光图像读取模块(40)，所述配准后红外热图像读取模块(30)将配准后红外热图像输出到所述人员区域信息映射模块(60)，所述配准后可见光图像读取模块(40)将配准后可见光图像输出到所述人员信息检测模块(50)，所述人员信息检测模块(50)将配准后可见光图像以及配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息输出到所述人员区域信息映射模块(60)，所述人员区域信息映射模块(60)将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息及配准后红外热图像与配准后红外热图像中人员头部或人员全身区域信息输出到所述人员体表温度计算模块(70)，所述人员体表温度计算模块(70)将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息输出到所述信息融合模块(80)，所述信息融合模块(80)融合配准后可见光图像中人员头部或人员全身区域、性别和年龄信息与配准后红外热图像中人员体表温度信息并可视化显示在可见光图像或红外热图像中，实现与室内环境控制相关的人员性别、年龄以及体表温度信息检测；利用立体视觉成像原理计算红外摄像装置与可见光摄像装置产生的视差d，用于定位红外热图像中心点对应在可见光图像的位置坐标；
红外摄像装置和可见光摄像装置紧密相邻，计算视差d的方法依据立体视觉成像原理，首先根据实际应用场景，确定摄像装置到场景的距离l；然后在距离摄像装置l处放置一个实际物体观测点p，使得p点在红外摄像装置的光轴线上，且p点经过红外摄像装置的光心O1成像在红外摄像装置感光器成像面的中心点x1，然后将p点经过可见光摄像装置的光心O2成像在可见光摄像装置感光器成像面的位置记为p2，点p2到可见光摄像装置感光器成像面中心点x2的距离即为视差d；根据ΔPO1O2与ΔO2x2p2三角形相似原理，即可计算视差d：d＝f2B/l，其中f2为可见光摄像装置的焦距，B为红外摄像装置光心O1与可见光摄像装置光心O2之间的距离；可见光摄像装置视场角大于红外摄像装置，导致可见光图像的成像范围大于红外热图像，所以将红外热图像IMGIFR作为基准图像，可见光图像IMGRGB作为待配准图像，根据红外摄像装置与可见光摄像装置的视差d，即可定位红外热图像IMGIFR中心点对应在可见光图像IMGRGB的位置坐标(a,b)，其中a＝m/2，b＝n/2±d/μh，m*n为可见光摄像装置分辨率，μh为可见光摄像装置感光器中每个像元的高度；当红外摄像装置与可见光摄像装置的位置为水平配置时，定位红外热图像中心点对应在可见光图像的位置坐标(a,b)，其中a＝m/2±d/μw，b＝n/2，μw为可见光摄像装置感光器中每个像元的宽度；
以IMGRGB的坐标(a,b)为中心提取尺寸大小为X*Y像素的区域，其中X*Y根据红外摄像装置与可见光摄像装置的视场角计算所得，计算方法如公式(1)和(2)所示，式中m*n为可见光摄像装置的分辨率，α1、β1分别为红外摄像装置的水平视场角和垂直视场角，α2、β2分别为可见光摄像装置的水平视场角和垂直视场角，f1、f2分别为红外摄像装置和可见光摄像装置的焦距；
将提取的X*Y区域分辨率调整至与红外热图像相同的分辨率，所得配准后可见光图像IMG'RGB与配准后红外热图像IMG'IFR精准匹配，实现配准后可见光图像IMG'RGB与配准后红外热图像IMG'IFR的尺寸一致并且像素点相对应；
将配准后红外热图像IMG'IFR和上述配准后可见光图像IMG'RGB分别输出到读取配准后红外热图像和读取配准后可见光图像。
2.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：图像读取装置模块(10)：图像读取装置模块(10)由红外摄像装置和可见光摄像装置构成，所述图像读取装置模块(10)能够同时拍摄并获取红外热图像和可见光图像，并将所述红外热图像和可见光图像输出到图像配准模块(20)。
3.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：图像配准模块(20)：从所述图像读取装置模块(10)读取红外热图像和可见光图像；可见光摄像装置视场角大于红外摄像装置，导致可见光图像的成像范围大于红外热图像，所以将红外热图像作为基准图像，可见光图像作为待配准图像，利用立体视觉成像原理以及红外摄像装置和可见光摄像装置的视场角、分辨率与成像尺寸之间的关系，实现可见光图像与红外热图像精确配准；配准后可见光图像与配准后红外热图像的图像尺寸一致并且像素点相对应；将所述配准后红外热图像和配准后可见光图像分别输出到配准后红外热图像读取模块(30)和配准后可见光图像读取模块(40)。
4.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：配准后红外热图像读取模块(30)：用于读取所述图像配准模块(20)配准的红外热图像，并将配准后红外热图像输出到人员区域信息映射模块(60)。
5.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：配准后可见光图像读取模块(40)：用于读取所述图像配准模块(20)配准的可见光图像，并将配准后可见光图像输出到人员信息检测模块(50)。
6.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：人员信息检测模块(50)：从所述配准后可见光图像读取模块(40)读取配准后可见光图像；将配准后可见光图像输入到深度学习模型，以获得可见光图像中人员头部或人员全身区域信息，然后将获取的人员头部或人员全身区域输入到用于检测人员性别和年龄的深度学习网络模型中，识别出配准后可见光图像中人员性别与年龄信息；其中人员性别和年龄检测使用CNN卷积神经网络模型、VGG卷积神经网络模型或mini-Xception小型全卷积神经网络模型；将配准后可见光图像以及配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息输出到人员区域信息映射模块(60)。
7.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：人员区域信息映射模块(60)：从所述人员信息检测模块(50)读取配准后可见光图像和配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及从配准后红外热图像数据读取模块30读取配准后红外热图像；由于配准后红外热图像与配准后可见光图像的像素点形成对应关系并且两张图像尺寸一致，所以将配准后可见光图像中人员区域信息直接映射到配准后红外热图像中，即可准确获得配准后红外热图像中人员区域信息；将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息及配准后红外热图像与配准后红外热图像中人员头部或人员全身区域信息输出到人员体表温度计算模块(70)。
8.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：人员体表温度计算模块(70)：从所述人员区域信息映射模块(60)读取配准后可见光图像、配准后可见光图像中人员头部或人员全身区域信息、性别和年龄信息、配准后红外热图像以及配准后红外热图像中人员头部或人员全身区域；读取配准后红外热图像中每个像素点的温度值，并计算出配准后红外热图像中人员头部或人员全身区域内所有像素点的温度值，选取人员头部或人员全身区域内像素点温度最大值或平均值作为此人体表温度；将配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息输出到信息融合模块(80)。
9.根据权利要求1所述的面向室内环境控制的人员信息检测系统，其特征在于：信息融合模块(80)：从所述人员体表温度计算模块(70)读取配准后可见光图像、配准后可见光图像中人员头部或人员全身区域、性别和年龄信息以及配准后红外热图像中人员体表温度信息；融合配准后可见光图像中人员头部或人员全身区域、性别和年龄信息与配准后红外热图像中人员体表温度信息并可视化显示在可见光图像或红外热图像中，实现与室内环境控制相关的人员性别、年龄以及体表温度信息检测。
10.利用权利要求1所述系统进行的面向室内环境控制的人员信息检测方法，其特征在于：该方法包括以下步骤，
步骤S10：读取红外热成像数据与可见光成像数据；
步骤S20：可见光图像与红外热图像配准处理；
步骤S30：读取配准后红外热图像；
步骤S40：读取配准后可见光图像；
步骤S50：图像中人员区域信息检测；
步骤S60：人员性别年龄检测；
步骤S70：人员区域信息映射；
步骤S80：人员体表温度计算；
步骤S90：信息融合。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910336741.XA CN110110629B (zh) | 2019-04-25 | 2019-04-25 | 面向室内环境控制的人员信息检测方法与系统 |
| PCT/CN2020/080990 WO2020215961A1 (zh) | 2019-04-25 | 2020-03-25 | 面向室内环境控制的人员信息检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910336741.XA CN110110629B (zh) | 2019-04-25 | 2019-04-25 | 面向室内环境控制的人员信息检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110629A CN110110629A (zh) | 2019-08-09 |
| CN110110629B true CN110110629B (zh) | 2021-05-28 |
Family
ID=67486592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910336741.XA Active CN110110629B (zh) | 2019-04-25 | 2019-04-25 | 面向室内环境控制的人员信息检测方法与系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110110629B (zh) |
| WO (1) | WO2020215961A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110629B (zh) * | 2019-04-25 | 2021-05-28 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
| US11875544B2 (en) | 2020-04-30 | 2024-01-16 | Teledyne Flir Commercial Systems, Inc. | Annotation of infrared images for machine learning using beamsplitter-based camera system and methods |
| WO2021226554A1 (en) * | 2020-05-08 | 2021-11-11 | Flir Systems Ab | Dual-band temperature detection systems and methods |
| CN111739069B (zh) * | 2020-05-22 | 2024-04-26 | 北京百度网讯科技有限公司 | 图像配准方法、装置、电子设备及可读存储介质 |
| US11715326B2 (en) * | 2020-06-17 | 2023-08-01 | Microsoft Technology Licensing, Llc | Skin tone correction for body temperature estimation |
| CN113834571A (zh) * | 2020-06-24 | 2021-12-24 | 杭州海康威视数字技术股份有限公司 | 一种目标测温方法、装置及测温系统 |
| CN111780877A (zh) * | 2020-07-06 | 2020-10-16 | 广东智芯光电科技有限公司 | 一种基于摄像头测物体温度的方法和系统 |
| CN112085771B (zh) * | 2020-08-06 | 2023-12-05 | 深圳市优必选科技股份有限公司 | 图像配准方法、装置、终端设备及计算机可读存储介质 |
| CN113139413A (zh) * | 2020-08-07 | 2021-07-20 | 西安天和防务技术股份有限公司 | 人员管理方法、装置及电子设备 |
| CN112874463A (zh) * | 2021-03-01 | 2021-06-01 | 长安大学 | 一种儿童被困高温车内的保护与报警系统及方法 |
| EP4305393A1 (en) * | 2021-03-09 | 2024-01-17 | C2RO Cloud Robotics Inc. | System and method for thermal screening |
| CN113536885A (zh) * | 2021-04-02 | 2021-10-22 | 西安建筑科技大学 | 一种基于YOLOv3-SPP的人体行为识别方法及系统 |
| CN113237556A (zh) * | 2021-05-18 | 2021-08-10 | 深圳市沃特沃德信息有限公司 | 测温方法、装置和计算机设备 |
| CN113792592B (zh) * | 2021-08-09 | 2024-05-07 | 深圳光启空间技术有限公司 | 图像采集处理方法和图像采集处理装置 |
| CN113370745A (zh) * | 2021-06-23 | 2021-09-10 | 曼德电子电器有限公司 | 空调控制方法、装置、存储介质及电子设备 |
| CN114627539A (zh) * | 2022-02-15 | 2022-06-14 | 华侨大学 | 一种热舒适度预测方法、系统及空调调节方法、装置 |
| CN114564058B (zh) * | 2022-02-24 | 2023-05-26 | 上海莘阳新能源科技股份有限公司 | 一种基于物联网的房屋室内环境监测智能调控管理系统 |
| CN116563283B (zh) * | 2023-07-10 | 2023-09-08 | 山东联兴能源集团有限公司 | 基于图像处理的蒸汽锅炉气体泄露检测方法及检测装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881239A (zh) * | 2011-07-15 | 2013-01-16 | 鼎亿数码科技(上海)有限公司 | 基于图像识别的广告投播系统及方法 |
| US9852324B2 (en) * | 2015-12-08 | 2017-12-26 | Intel Corporation | Infrared image based facial analysis |
| CN107560123B (zh) * | 2017-10-17 | 2020-04-03 | 黄晶 | 一种室内健康监测及小气候控制方法及系统 |
| CN108921100B (zh) * | 2018-07-04 | 2020-12-01 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 |
| CN109410252A (zh) * | 2018-12-20 | 2019-03-01 | 合肥英睿系统技术有限公司 | 一种热像设备 |
| CN110110629B (zh) * | 2019-04-25 | 2021-05-28 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
-
2019
- 2019-04-25 CN CN201910336741.XA patent/CN110110629B/zh active Active
-
2020
- 2020-03-25 WO PCT/CN2020/080990 patent/WO2020215961A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020215961A1 (zh) | 2020-10-29 |
| CN110110629A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110629B (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| CN107256377B (zh) | 用于检测视频中的对象的方法、设备和系统 | |
| CN107766819B (zh) | 一种视频监控系统及其实时步态识别方法 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN109598242B (zh) | 一种活体检测方法 | |
| JP4167390B2 (ja) | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| Aryal et al. | Skin temperature extraction using facial landmark detection and thermal imaging for comfort assessment | |
| CN104036236B (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| CN110032992A (zh) | 一种基于姿态的考试作弊检测方法 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN109214373A (zh) | 一种用于考勤的人脸识别系统及方法 | |
| JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| WO2017206914A1 (zh) | 指纹识别方法、指纹识别系统、及电子设备 | |
| CN106778489A (zh) | 人脸3d特征身份信息库的建立方法及设备 | |
| CN113008380B (zh) | 一种智慧ai体温预警方法、系统及存储介质 | |
| CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| CN105956512A (zh) | 一种基于机器视觉的空调温度自动调节系统及方法 | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| CN112633217A (zh) | 基于三维眼球模型计算视线方向的人脸识别活体检测方法 | |
| CN111652018B (zh) | 一种人脸注册方法和认证方法 | |
| CN118397692A (zh) | 一种基于深度学习的人体动作识别系统及其方法 | |
| CN111814659B (zh) | 一种活体检测方法、和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |