CN112434598A - 一种非接触式体温测量方法和系统 - Google Patents

一种非接触式体温测量方法和系统 Download PDF

Info

Publication number
CN112434598A
CN112434598A CN202011319749.4A CN202011319749A CN112434598A CN 112434598 A CN112434598 A CN 112434598A CN 202011319749 A CN202011319749 A CN 202011319749A CN 112434598 A CN112434598 A CN 112434598A
Authority
CN
China
Prior art keywords
temperature
face
camera
visible light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011319749.4A
Other languages
English (en)
Inventor
王云龙
邹捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Leopard Intelligent Technology Co ltd
Original Assignee
Jiangsu Leopard Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Leopard Intelligent Technology Co ltd filed Critical Jiangsu Leopard Intelligent Technology Co ltd
Priority to CN202011319749.4A priority Critical patent/CN112434598A/zh
Priority to PCT/CN2020/130987 priority patent/WO2022104817A1/zh
Publication of CN112434598A publication Critical patent/CN112434598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开一种非接触式体温测量方法和系统，属于温度测量技术领域。针对现有技术中存在的红外测温对测量位置限制较大，测量准确度不高等问题，本发明提供一种非接触式体温测量方法和系统，同时使用可见光相机和热敏相机进行数据采集，通过人脸检测算法检测相机采集的图像数据，再对可见光相机采集人脸数据和热敏相机采集人脸数据进行人脸匹配，结合额头的范围读取额头部分温度集合，将额头温度数据进行处理，得到最终测量温度，测量结果还可以通过人机交互设备显示或报警，本发明可以实现远距离非接触式体温测量，且测量准确度高，可靠性强，尤其适合车站、机场等公共场所的安检使用。

Description

一种非接触式体温测量方法和系统
技术领域
本发明涉及温度测量技术领域，更具体地说，涉及一种非接触式体温测量方法和系统。
背景技术
冠状病毒在1956年已被发现，但人们目前对冠状病毒的认识相当有限。目前已知人体在感染冠状病毒后，会出现发热等呼吸道症状。部分冠状病毒传染性极强，具有人传人的特性，只需短短几个月，便会大肆传播，造成大量的人员感染。对于很多冠状病毒目前尚没有有效的治疗方法，也没有研发出相关的疫苗，一旦产生大规模感染，将会造成大量人员死亡，同时也会给经济造成不可估量的损失。
发热是冠状病毒的主要症状之一，基于大多数病毒具有非常强的传染性，通过测量体温可以有效地筛选出潜在的感染人员。然而接触式测量需由测量人员逐人测量，测量效率低，且如果近距离接触无症状感染者会添加感染风险，因此接触式测温方法在机场、车站、商场等人流密集的公共场合并不适合。
现有技术中在人流密集的公共场所，主要采用红外相机进行测温，其测量原理是通过红外相机拍摄人体的形状，然后检测人体位置，利用红外技术进行温度测量。在测温过程中需被测人员站在指定的位置，被测人员和红外相机之间的距离一般不得超过1米，测温效率相对较低，且集中测量时容易产生人员聚集情况，增加感染风险。同时，现有技术的红外测量由于环境等因素的影响，测量精确度不高，应用在对冠状病毒感染人员的排查中，可靠性不够，实用性不强。
发明内容
1.要解决的技术问题
针对现有技术中存在的红外测温对测量位置限制较大，测量准确度不高等问题，本发明提供一种非接触式体温测量方法和系统，它可以实现远距离非接触式体温测量，且测量准确度高，尤其适合车站、机场等公共场所的安检使用。
2.技术方案
本发明的目的通过以下技术方案实现。
一种非接触式体温测量方法，使用可见光相机采集可见光图像，使用热敏相机采集热敏图像和温度，对采集的可见光图像和热敏图像分别进行人脸检测，对人脸检测后得到的可见光人脸图像和热敏人脸图像进行人脸配对，对配对成功的人脸图像匹配热敏相机采集的温度，获取人脸图像的额头温度并进行处理，得到体温数据。本发明将可见光相机采集图像与热敏相机采集图像匹配，基于可见光相机采集图像读取热敏相机采集温度，实现非接触测量。本发明对测量环境或测量距离没有要求，可实现移动式非接触测量，且测量精度高可靠性强。
更进一步的，人脸检测时使用的人脸检测模型采用深度卷积神经网络检测算法构建。
更进一步的，输入采集到的可见光人脸图像给可见光人脸检测模型用于检测可见光图像中人脸的位置，以及判断该人脸是否佩戴口罩；输入采集到的热敏人脸图像给热敏人脸检测模型用于检测热敏图像中人脸的位置。本发明的人脸检测模型包括可见光人脸检测模型和热敏人脸检测模型，人脸检测时会根据采集到的数据重新训练人脸检测模型，已获得更准确的人脸检测结果。
更进一步的，人脸配对时使用对极几何算法，根据可见光人脸图像的人脸中心以及对应热敏人脸图像的极线，对热敏人脸图像与可见光人脸图像进行匹配。人脸配对时，从可见光图像中检测到的人脸中心计算热敏相机中的极线，如果在热敏图像中的极线附近也有检测到的人脸，那么离极线最近的人脸就是对应的人脸，从而完成可见光图像和热敏图像中检测到的人脸配对。一般来说，在分辨率为320*240的图像中，极线附近指的是与极线间隔0-40个像素的距离。
更进一步的，人脸配对时使用立体视觉算法重构的可见光相机和热敏相机的空间对应关系来计算极线，该对应关系通过基础矩阵表示，所述基础矩阵采用棋盘格标定方法计算，棋盘格标定时对热敏相机使用太阳光照射棋盘格形成温差。基于黑色吸收温度高，白色反射温度高的特性，当使用太阳光长时间照射棋盘格，就会出现明显的温差，明显的温差使热敏相机采集到不同的显示画面，利用棋盘格标定的算法，计算出基础矩阵。
更进一步的，根据可见光人脸图像中额头上边界线和下边界线在人脸的矩形框比例，读取热敏人脸图像对应比例区域内温度，即人脸图像的额头温度。先通过可见光相机采集大量的数据，统计出人脸额头的上边界线和下边界线在检测到的人脸矩形框比例。结合热敏图像检测到人脸图像，根据统计的额头上边界和下边界在矩形框中的比例估算额头位置，读取额头位置的温度。
更进一步的，对人脸图像的额头位置温度进行数据处理，将获取到的额头位置所有像素点温度按降序排序，选择序列前X1个温度值进行校准，再将校准后温度按降序排序，选择序列前X2个温度值取平均数，该平均数即为体温值，X1，X2均为正整数，且X1≥X2。
更进一步的，温度测量结果通过人机交互设备显示或报警。被测人员温度，是否佩戴口罩以及根据可见光相机采集数据结合算法获取到的其他信息，通过人机交互设备进行显示，针对公共场合没有按规定配带口罩或体温异常，或根据大数据表现旅居史异常人员实时报警。本发明使用可见光相机和热敏相机同时采集数据，将可见光相机和热敏相机采集数据进行人脸检测和匹配，获取被测者额头温度作为测量温度，测量方式简便且不需要近距离接触。使用本发明测量方法在0.5米至5米范围内测量，检测到的温度和标注温度的差的绝对值为0.208，检测到的温度和标注温度的差的绝对值小于0.3所占比例是73.5％，检测到的温度和标注温度的差的绝对值小于0.5所占比例是89％，检测到的温度和标注温度的差的平均值-0.0054，标准差为0.258。
一种非接触式体温测量系统，使用所述的一种非接触式体温测量方法，测量系统包括可见光相机、热敏相机、嵌入式处理器和人机交互设备，可见光相机和热敏相机通过连接器接入嵌入式处理器，可见光相机和热敏相机均将采集信息发送至嵌入式处理器，嵌入式处理器将处理后数据发送至人机交互设备。
更进一步的，可见光相机和热敏相机的相对位置固定。可见光相机与热敏相机位置相对固定。本发明测量系统在人脸匹配计算时不用考虑相机之间的距离，计算速度快，匹配效率高，系统的可靠性也更强。
本发明测量系统结构简单，使用高性能嵌入式处理器进行数据处理，测量速度快，测量精度高，后期维护简单，不仅能实现非接触式移动测温，还对热敏相机测量温度实时校准，测量准确性高，适合在车站、机场、学校等公共场所应用。
3.有益效果
相比于现有技术，本发明的优点在于：
本发明体温测量系统实现非接触式测量，与传统红外相机不同，不需要人站在固定的位置，只要人脸出现在摄像头的成像中，就可以测量温度。本发明可以实现同时测量多个人脸，理论上，热敏图像的视野范围之内的人脸，都是可以测量体温的。本发明测量速度快，尤其适合公共场所的体温测量，可以极大的提高测量体温的效率。本发明对测量的距离要求不高，在0.5米到5米之间均可实现准备测量，有效的拉开测量时人与人之间的距离，实现移动体温测量，避免温度测量时的近距离接触，也避免病毒的传播。
本发明测量方法具有非常强的鲁棒性，对于常见的红外体温计，如果头发遮住了额头，需要用手将头发拨开，否则会影响测量结果。而本发明体温测量系统使用热敏测温，只要额头部分不是被完全的遮挡，就可以精确的找到间隙部分，测量出体温。大部分情况下，只需被测者在测量系统的摄像头前面暴露一下，就可以实现测量，测量十分方便。
本发明采用深度学习的方法，无论是可见光图像还是热敏图像，都可以在各种复杂的情况下，精确的找到人脸的位置。与现有技术需在0.5米至1米的范围内近距离测温不同，本发明可实现0.5米到5米的测温，经过有限次的测试实验，检测到的温度和标注温度的差的绝对值为0.208摄氏度，检测到的温度和标注温度的差的绝对值小于0.3摄氏度所占比例是73.5％，检测到的温度和标注温度的差的绝对值小于0.5摄氏度所占比例是89％，检测到的温度和标注温度的差的平均值为-0.0054，标准差为0.258，测量准确度高，可靠性强。
附图说明
图1为本发明体温测量系统框图；
图2为本发明人脸配对时对极几何算法示意图。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
实施例1
一种非接触式体温测量系统如图1所示，测量系统包括可见光相机、热敏相机、嵌入式处理器和人机交互设备，还包括其他辅助设备；嵌入式处理器与可见光相机、热敏相机和人机交互设备均连接，可见光相机和热敏相机通过FAKRA连接器接入嵌入式处理器；可见光相机用于采集可见光图像信息，热敏相机用于采集热敏图像信息和温度信息，嵌入式处理器使用人脸检测算法、人脸配对算法和额头测温算法对相机采集数据进行处理，人机交互设备对处理后数据进行显示和报警。
嵌入式处理器使用高性能深度卷积神经网络算法用于检测可见光相机和热敏相机采集的人脸信息，并检测出可见光相机采集人脸数据中的人脸是否佩戴口罩。可见光相机采集图像和热敏相机采集图像中对应的人脸通过立体视觉(stereo vision)算法和对极几何(Epipolar Geometry)算法配对。在热敏相机采集图像中，按照人脸比例估算额头位置并采集温度，将可见光相机采集图像、是否佩戴口罩、额头温度及根据人脸信息通过大数据算法获取的其他相关信息输出到人机交互设备上，实现信息显示或报警。
实施例2
本实施例基于实施例1所述一种非接触式体温测量系统，具体描述该系统的测量方法。
所述系统在测量体温时，先分别通过可见光相机和热敏相机采集数据，对采集到的数据进行人脸检测。可见光相机采集到的为RGB图像，即可见光图像，热敏相机采集到的为热敏图像。通过深度人脸检测算法，在可见光图像和热敏图像中检测到人脸。本系统在人脸检测时系统采用英伟达Jetson-TX2嵌入式处理器，对分辨率为480x640的可见光图像检测人脸耗时约75毫秒，对分辨率为320x240的热敏图像检测人脸耗时约45ms，与现有技术人脸检测耗时约100毫秒相比，本测量系统检测时间更短，效率越高。
具体的，本实施例采用深度卷积神经网络的物体检测算法，具体方法为将图片传输给网络，先通过backbone网络框架(mobilenet_v2)提取图片的通用特征，然后通过特征金字塔提取出通用特征中的C3，C4，C5 layer，将C3，C4，C5 layer通过特征融合的方式，自上而下的将上层信息传递给底部，最后衔接头部layer用于输出物体的分类和物体的定位信息。人脸检测模型在训练的时候，采用多任务损失，主要包括样本分类损失和样本定位损失，具体公式为：L＝a1*Lcls+a2*Lbox，其中L表示损失和，a1和a2分别表示样本分类损失系数和样本定位损失系数，Lcls是样本分类损失，Lbox是样本定位损失，本实施例所用人脸检测算法可以快速可靠地在可见光相机采集图像和热敏相机采集图像中检测到人脸。
根据热敏相机采集人脸的数据，标注热敏相机采集数据中人脸的位置，由标注好的热敏相机采集数据集训练基于深度卷积神经网络的热敏人脸检测模型，不断优化热敏人脸检测模型，该模型用于检测热敏图像中人脸的位置。
根据可见光相机采集的人脸数据，标注可见光相机采集数据人脸的位置以及是否佩戴口罩，由标注好的可将光相机采集数据集训练基于深度卷积神经网络的可见光人脸检测模型，优化可见光人脸检测模型。可见光人脸检测模型用于检测可见光图像中人脸的位置，以及判断该人脸是否佩戴口罩。经过可见光人脸检测模型检测出的人脸信息发送至人机交互设备显示，对于在公共场所没有按照要求佩戴口罩以及体温异常者，人机交互设备会发出警报。
对人脸检测后的可见光相机采集的人脸图像和热敏相机采集的人脸图像进行人脸配对，将热敏相机采集的温度数据与人脸图像数据匹配，获得每张人脸对应的温度数据。
人脸配对时，先找到可见光人脸图像的人脸中心XL，如图2所示对极几何理论示意图，该人脸中心XL必定对应热敏人脸图像上的一条极线，该极线即图2热敏图像上XR和eR形成的直线。如果在热敏图像中的极线附近也有检测到的人脸，那么离极线最近的人脸就是该可见光人脸图像对应的热敏人脸图像，从而完成可见光图像和热敏图像中检测到的人脸配对。一般来说，在分辨率为320*240的图像中，极线附近指的是与极线间隔0-40个像素的距离。
可见光图像与热敏图像的对应关系可以用立体视觉中的基础矩阵表示，基础矩阵描述两个相机中例如焦距等内部参数和两个相机的空间对应关系。由于可见光相机和热敏相机位置相对固定，该基础矩阵可以通过立体相机标定的方法事先计算出来。
本实施例采用传统的棋盘格方法对可见光相机和热敏相机进行立体相机标定(Stereo Camera Calibration)。立体相机标定就是根据两个相机拍摄的棋盘格中点的对应关系，计算出基础矩阵。也就是在两个相机的视野内，拍摄大量的不同姿势，不同距离的棋盘格，拍摄多张照片，然后通过相机标定的算法，计算出相机的内参和外参，然后根据相机的内参和外参组合基础矩阵。
由于热敏相机是根据温度成像的，因此在立体相机标定时需要对棋盘格做加热处理。因为热敏相机只有当温度差比较大的时候，才可以呈现出明显的画面，对棋盘格做特殊的加热处理，使得白格子和黑格子产生明显的温度差。此时依据的是黑色吸收温度高，白色反射温度高的特性，当使用太阳光长时间照射棋盘格，就会出现明显的温差，通过温差带来热敏相机不同的显示画面，利用棋盘格标定的算法，计算出基础矩阵。
立体视觉算法具体计算公式为Z＝P*X，其中Z表示图像坐标系中物体成像的坐标，X表示世界坐标系中物体的坐标，P表示投影矩阵，当已知世界坐标系中物体的坐标X和图像坐标系中物体成像的坐标Z时，可以求出投影矩阵P。投影矩阵P包括旋转矩阵R，平行矩阵T和相机参数K。E表示本质矩阵，F表示基础矩阵，本质矩阵E的表达公式为：
E＝T^R或
Figure BDA0002792493830000061
根据投影矩阵P中的旋转矩阵R和平行矩阵T，可以求出本质矩阵E，进而得到基础矩阵F。对于立体像对中的一对同名点，他们的齐次化图像坐标分别为P和P1，公式表达为P1 TFP＝0，因此当已知基础矩阵F和其中一个齐次化坐标，可以得出在另一个图像坐标系中过该点的直线，该直线即对极几何算法中的极线。
嵌入式处理器根据基础矩阵，计算出可见光相机检测到的人脸的中心点在热敏相机中的对应极线，并在该极线附近寻找距离最近的热敏相机检测到的人脸图像，实现人脸匹配。人脸配对时要求测量的可见光相机和热敏相机的摄像头的相对位置固定，也就是说当两个相机经过相机标定计算出基础矩阵之后，相对位置不可以发生大的变动，实际上在出厂时，测量系统中的两个相机已通过外壳固定位置，因此原则上使用中并不会发生位置上的移动。
可见光图像与热敏图像进行人脸配对后，使用额头测温算法获取人脸图像中的额头温度数据，作为体温数据进行记录。额头测温算法中先通过可见光相机采集大量的数据，统计出人脸额头的上边界线和下边界线在检测到的人脸矩形框比例。结合热敏图像检测到人脸图像，根据由可见光人脸图像统计的额头上边界和下边界在矩形框中的比例估算热敏人脸图像的额头位置，读取热敏人脸图像额头位置的温度。由于额头位置采集的像素点非常的多，再加上每个人的发型不同，头发的覆盖也会对热敏相机采集的温度信息带来偏移，导致采集到的温度范围会比较大。
对额头温度数据数值范围较大的图像进行处理，首先根据热敏相机采集图像坐标读取单个像素点的温度，然后将所有的像素点温度降序排序，选择前面1％-10％区间的温度值，然后再将读取的温度进行补偿校准；再通过降序的方法，选取前1％-50％的数据，将选取的数据取平均值作为最后的温度。根据有限次的实验所得，使用本实施例非接触测量方法检测到的温度和标注温度的差的绝对值0.208摄氏度，检测到的温度和标注温度的差的绝对值小于0.3摄氏度所占比例是73.5％，检测到的温度和标注温度的差的绝对值小于0.5摄氏度所占比例是89％，检测到的温度和标注温度的差的平均值为-0.0054，标准差为0.258。
本实施例可用于非接触式的移动测温，被测人员无需站在固定的位置即可实现体温测量，测量适用距离为0.5米到5米，由于人脸离摄像头的距离不同，导致辐射的衰减不同，还有环境温度湿度等因素导致从热敏图像中获取的原始温度波动较大。
对热敏相机的测量温度实时进行补偿，将热敏相机前与温度传感器连接，根据热敏相机测量温度以及温度传感器的实际温度对热敏相机的偏移进行校准；通过在热敏相机前设置黑体构建温度补偿函数，对热敏相机的不均匀性、温度传感器折射率、环境温度和测量距离产生的测量误差进行校准，大大降低非接触测量的误差，精确度更高。
热敏相机的温度补偿校准包括以下步骤。
步骤一、对热敏相机本身的漂移进行校准：
热敏相机与温度传感器连接，温度传感器设置在热敏相机的前方，所述温度传感器涂覆黑体漆，热敏相机利用温度传感器对相机自身的漂移进行校准。
热敏相机本身的漂移在±2摄氏度至±5摄氏度之间，由于相机自身的漂移是整个图像的漂移，不会出现图像中某一部分或一个点的测量温度有误差而其他地方测量正常，因此，如果已知图像中部分区域的准确温度，即可对整个画面的温度进行补偿。
使用热敏相机在不同时间不同温度下针对温度传感器的某一部分或一个点进行多次测量，得到i个热敏相机测量温度Tx1i，i为大于1的自然数。获取热敏相机测量温度时对应温度传感器实际温度Ty1i。对于离散的数据Tx1i和Ty1i，使用线性拟合得到热敏相机测量温度与温度传感器实际温度之间的函数f1，f1的表达式为Ty1i＝n1*Tx1i，n1为热敏相机漂移补偿系数，使用函数f1校准相机本身漂移导致误差。
现有技术大多通过额外设置一个黑体对热敏相机进行校准，然而黑体价格昂贵且对环境温度要求高。本实施例综合考虑经济性问题将热敏相机与高精度温度传感器连接，在该温度传感器涂覆高反射率黑体漆，通过多种校准算法实验，涂覆黑体漆的温度传感器等价于黑体，可达到与黑体相近的效果，在保证精度的情况下大大降低成本。
高反射率黑体漆采用的是油性95黑体漆，反射率为0.95±0.02，热敏相机通过I2C总线读取该高精度温度传感器的温度，同时热敏相机也对该温度传感器进行测温，根据温度传感器的实际温度和热敏相机测量温度实时更新线性拟合后函数f1的参数n1，通过该参数n1对热敏相机的测量温度实时校准，高精度温度传感器位于热敏相机的左上方，距离热敏相机大约20cm，使用时温度传感器不需与热敏相机保持固定的位置，即使在使用过程中温度传感器位置发生偏移，只要修正温度传感器对于热敏相机的参考区域，就不会影响温度的测量和数据的获取。
步骤二、对热敏相机不均匀性进行校准：
由于热敏相机由热成像点阵组成，同样温度的物体在不同的画面位置得到的数值会不一致。热敏相机的不均匀性指的就是同样温度的物体在不同的画面位置得到的数值不一致。步骤二通过在热敏相机前固定位置设置热均匀的黑体，该黑体覆盖热敏相机整个画面，即热敏相机拍摄的整个画面都是黑体的反射面。设置不同的黑体温度，保存热敏相机对应数据图像，针对每一个像素在数据图像的位置的坐标(x，y)，得到热敏相机测量温度和黑体温度之间的函数f2，通过函数f2校准相机不均匀性导致误差。
校准时黑体与热敏相机距离间隔约10cm，整个黑体画面温度的波动在0.3℃之内，设置黑体温度为T1时保存一幅热敏相机的数据图像Img T1；再设置黑体温度为T2时保存一幅热敏相机的数据图像Img T2。
先设置低温度区间温度T1，低温度区间温度范围为26至30℃，等待温度稳定，也就是黑体的反射面温度波动小于0.3℃时，采集若干张图片，针对图像中所有像素点取温度平均值获得数据图像Img T1。然后设置黑体温度到高温度区间温度T2，高温度区间温度范围为40至42℃，等待温度稳定，即黑体的反射面温度波动小于0.3℃时，采集若干张图片，针对图像中所有像素点取温度平均值获得数据图像Img T2。通过两次测量图像数据平均值，计算热敏相机温度不均匀性补偿函数的斜率gain和偏移offset，得到补偿后的温度。gain和offset的计算公式如下：
Figure BDA0002792493830000081
offset[x,y]＝T1-gain[x,y]*ImgT1[x,y](2)
上述公式中，Img T1[x，y]表示数据图像Img T1在(x,y)坐标点像素的温度，Img T2[x，y]表示数据图像Img T2在(x,y)坐标点像素的温度，gain[x，y]表示(x,y)坐标点像素的斜率gain，offset[x，y]表示(x,y)坐标点像素的偏移offset。通过gain和offset构建函数f2，即T[x,y]＝gain[x,y]*Img[x,y]+offset[x,y]，其中Img[x,y]为热敏相机测量的(x,y)像素点的温度，T[x,y]为不均匀性校准后的温度。使用函数f2对原始测量温度进行线性修正，从而得到每一个坐标点校准之后的温度，即得到不均匀性校准后的热敏相机测量值。
步骤三、针对温度传感器反射率的校准：
步骤一和步骤二校准的是热敏相机本身的温度，步骤一通过读取图像中高精度温度传感器位置的温度，和高精度温度传感器的实际温度做差运算进行校准。步骤二中不均匀性校准尚未考虑到温度传感器的反射率和黑体反射率不同，而温度传感器在热敏相机的热成像系统中非常关键，由于高精度温度传感器仍然是有一定误差的，经过步骤一的相机漂移校准和步骤二的不均匀性校准之后，在步骤三中使用黑体温度扫面校准来进一步校准温度传感器的反射率。
所述黑体温度扫描校准流程简单来说就是拟合前两步校准之后的热敏相机读取的某一点温度和该点的实际温度之间的关系，该点的实际温度通过读取黑体温度得到。由于温度具有波动性，是一个区间，因此通过动态的设置黑体的温度来计算校准之后的热敏相机读取的某一点的温度与黑体实际温度的关系。
校准时把黑体放在热敏相机前，将黑体与TX2 box的串口连接，TX2 box为NVIDIA的嵌入式小型电脑，其串口为普通的USB接口，两者相连后TX2 box可以读取黑体的温度。设置黑体反射面的温度，所述黑体反射面即热敏相机读取的温度的平面。与TX2 box直连后，通过鼠标点击黑体中心，选择黑体温度扫描范围，扫描范围从低温度区间温度到高温度区间温度开始，这里所说的低温度区间温度一般为26至30℃，高温度区间温度一般为40至42℃。
在每一个测温点稳定之后，热敏相机读取选取区域的温度，选择多张图片读取的温度，取温度平均值，该平均值即热敏相机最终的读数。此时函数f3的自变量是经过步骤二均匀性校准和步骤一高精度传感器校准之后热敏相机的读数；函数f3的应变量是黑体的温度，也就是我们的目标温度。将自变量热敏相机测量温度和应变量黑体实际温度线性拟合，得到函数f3。
具体的，在热敏相机前设置黑体，在黑体反射面设置不同温度Ty3i，读取热敏相机经过步骤一和步骤二校准后的测量温度Tx3i，得到热敏相机测量温度与黑体反射面温度之间的函数f3，函数f3的公式为Ty3i＝n3*Tx3i，其中n3为温度传感器反射率补偿系数；Tx3i与热敏相机测量值Tx3i0的关系为Tx3i＝(gain×Tx3i0+offset)*n1，Tx3i[x，y]表示(x，y)坐标点像素的经过步骤一和步骤二校准后的测量温度，通过函数f3校准因温度传感器反射率导致误差。
热敏相机实际使用中并不与黑体连接，此处黑体的使用只为计算拟合函数f3。用户读取经过对相机本身漂移和不均匀性校准之后的温度，再通过温度传感器校准的线性变换函数f3进一步修正，使热敏相机读取的温度更加的准确。
步骤四、针对环境温度的校准：
不同的环境温度会对热敏相机的测量造成影响，由于热辐射会到达镜头对镜头加热，同时相机本身也发热，容易导致镜头辐射热量到热敏成像芯片，影响温度度数。虽然热敏相机本身也有环境温度校准，但经过实际测量，热敏相机自身的环境温度校准标准较低。而且本实施例热敏成像系统要读取高精度的温度传感器来校准相机漂移，使得系统需做到更精确的环境温度校准。
环境温度校准时先设置不同的环境温度，如设置环境温度为T3和T4，读取步骤三校准后的相机读数V1和V2，画出读数V1和V2以及环境温度T3和T4的相关性曲线，计算线性环境温度校准系数n4，n4＝(V2–V1)/(T3–T4)。
环境温度校准过程需要一个温度可控，或者是温度缓慢上升或者缓慢下降的测试环境。校准时先把黑体放在热敏相机前，设置黑体温度。然后运行软件，设置相关的参数，鼠标点击黑体中心并采集数据。此时函数f4中自变量是环境温度，应变量是读取的黑体的温度。观察环境温度对最终读数的影响，拟合计算出两者的函数关系，得到热敏相机测量温度与环境温度之间的函数f4，即Ty4i＝Tx4i*n4，Tx4i是当前不同环境温度中经过步骤三校准后热敏相机测量温度，Ty4i表示对环境温度校准后的温度补偿数值，通过函数f4对热敏相机环境温度补偿。
步骤五、针对测试距离的校准：
热敏相机是通过读取远红外波长的能量来测量温度的。红外光的能量在传输过程中，会被空气吸收而有衰减，所以距离越远，测量出来的温度越低。步骤五在不同的距离上测量同一个黑体的温度，计算出距离系数，通过距离系数n5对热敏相机进行测试距离的校准。
针对测试距离的校准流程如下，先把黑体放在热敏相机前，设置黑体温度。然后通过移动黑体的距离，读取对应距离的黑体的温度。此时函数f5中自变量是黑体与摄像机的距离，应变量是摄像机读取的黑体的温度。通过拟合数据，得到自变量和应变量之间的关系即函数f5。函数f5为多项式公式，具体计算公式为Ty5i＝n51*Tx5i m-1+n52*Tx5i m-2+…+n5(m-1)*Tx5i 1+n5m，距离系数n5＝[n51,n52,…，n5(m-1),n5m]，其中m为大于1的整数，Tx5i为经过热敏相机经过步骤四校准的测量温度，Ty5i表示对距离校准后的温度补偿值。当已知物体距离摄像机的距离时，可以通过距离补偿系数n5以及多项式次数m，得出校准之后的温度，本实施例中多项式次数m＝7。
现有技术中热敏相机读取的温度波动大约为2-5摄氏度。根据有限次的实验数据，使用本发明校准后的热敏相机在0.5米到5米采集的数据集上，读取的单个点的温度与黑体的实际温度的差值的绝对值是0.133摄氏度，误差的平均值为0.0026，误差的标准差(std)为0.1718，误差绝对值小于0.3℃的像素点比例约92％，误差绝对值小于0.5摄氏度的像素点比例可达99.44％，准确率和精度均大幅提升。
本发明人机交互设备将可见光相机采集到的人脸数据，体温情况，以及是否佩戴口罩等相关信息，上传到云端及显示和报警设备上实现无接触式较远距离人体测温。在采集人体体温时，本发明在0.5米至5米的区域内都能实现非接触式体温测量，应用范围十分广泛。测量时热敏相机还通过温度补偿方法对读取数据进行校准，获得更高的准确性和精确度。本发明测量系统应用在公共场所的人流量很大的安检中，能够实现准确测量体温，对于没有佩戴口罩或体温异常者及时报警提示，准确率高可靠性强，具有很好的实用性。
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种非接触式体温测量方法，其特征在于，使用可见光相机采集可见光图像，使用热敏相机采集热敏图像和温度，对采集的可见光图像和热敏图像分别进行人脸检测，对人脸检测后得到的可见光人脸图像和热敏人脸图像进行人脸配对，对配对成功的人脸图像匹配热敏相机采集的温度，获取人脸图像的额头温度并进行处理，得到体温数据。
2.根据权利要求1所述的一种非接触式体温测量方法，其特征在于，人脸检测时使用的人脸检测模型采用深度卷积神经网络检测算法构建。
3.根据权利要求2所述的一种非接触式体温测量方法，其特征在于，输入采集到的可见光人脸图像给可见光人脸检测模型用于检测可见光图像中人脸的位置，以及判断该人脸是否佩戴口罩；输入采集到的热敏人脸图像给热敏人脸检测模型用于检测热敏图像中人脸的位置。
4.根据权利要求1所述的一种非接触式体温测量方法，其特征在于，人脸配对时使用对极几何算法，根据可见光人脸图像的人脸中心以及对应热敏人脸图像的极线，对热敏人脸图像与可见光人脸图像进行匹配。
5.根据权利要求4所述的一种非接触式体温测量方法，其特征在于，人脸配对时使用立体视觉算法重构的可见光相机和热敏相机的空间对应关系来计算极线，该对应关系通过基础矩阵表示，所述基础矩阵采用棋盘格标定方法计算，棋盘格标定时对热敏相机使用太阳光照射棋盘格形成温差。
6.根据权利要求1所述的一种非接触式体温测量方法，其特征在于，根据可见光人脸图像中额头上边界线和下边界线在人脸的矩形框比例，读取热敏人脸图像对应比例区域内温度，即人脸图像的额头温度。
7.根据权利要求6所述的一种非接触式体温测量方法，其特征在于，对人脸图像的额头位置温度进行数据处理，将获取到的额头位置所有像素点温度按降序排序，选择序列前X1个温度值进行校准，再将校准后温度按降序排序，选择序列前X2个温度值取平均数，该平均数即为体温值，X1，X2均为正整数，且X1≥X2。
8.根据权利要求1所述的一种非接触式体温测量方法，其特征在于，温度测量结果通过人机交互设备显示或报警。
9.一种非接触式体温测量系统，其特征在于，使用如权利要求1-8任意一项所述的一种非接触式体温测量方法，测量系统包括可见光相机、热敏相机、嵌入式处理器和人机交互设备，可见光相机和热敏相机通过连接器接入嵌入式处理器，可见光相机和热敏相机均将采集信息发送至嵌入式处理器，嵌入式处理器将处理后数据发送至人机交互设备。
10.根据权利要求9所述的一种非接触式体温测量系统，其特征在于，可见光相机和热敏相机的相对位置固定。
CN202011319749.4A 2020-11-23 2020-11-23 一种非接触式体温测量方法和系统 Pending CN112434598A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011319749.4A CN112434598A (zh) 2020-11-23 2020-11-23 一种非接触式体温测量方法和系统
PCT/CN2020/130987 WO2022104817A1 (zh) 2020-11-23 2020-11-24 一种非接触式体温测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011319749.4A CN112434598A (zh) 2020-11-23 2020-11-23 一种非接触式体温测量方法和系统

Publications (1)

Publication Number Publication Date
CN112434598A true CN112434598A (zh) 2021-03-02

Family

ID=74693596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011319749.4A Pending CN112434598A (zh) 2020-11-23 2020-11-23 一种非接触式体温测量方法和系统

Country Status (2)

Country Link
CN (1) CN112434598A (zh)
WO (1) WO2022104817A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113175996A (zh) * 2021-05-19 2021-07-27 云从科技集团股份有限公司 温度监测方法、装置、计算机可读存储介质及计算机设备
CN113340438A (zh) * 2021-07-08 2021-09-03 电子科技大学 一种航空发动机热端部件非接触温度场距离误差校准方法
WO2022104816A1 (zh) * 2020-11-23 2022-05-27 江苏镭博智能科技有限公司 一种热敏相机温度补偿方法和系统
CN115993192A (zh) * 2023-03-21 2023-04-21 成都华安视讯科技有限公司 一种基于人脸追踪的无感测温方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373073A (zh) * 2022-06-30 2024-01-09 千里眼(广州)人工智能科技有限公司 基于机器人的测控方法、系统、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595453A (zh) * 2020-05-27 2020-08-28 成都电科崇实科技有限公司 一种基于人脸识别的红外测温系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10821805B2 (en) * 2016-04-01 2020-11-03 Gentherm Incorporated Occupant thermal state detection and comfort adjustment system and method
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN109389630B (zh) * 2018-09-30 2020-10-23 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置
CN110332995A (zh) * 2019-06-13 2019-10-15 深圳市中科鸿智科技有限公司 非接触式人体测温方法、装置、系统及存储介质
CN111358443A (zh) * 2020-03-06 2020-07-03 深圳市爱深盈通信息技术有限公司 体温监测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595453A (zh) * 2020-05-27 2020-08-28 成都电科崇实科技有限公司 一种基于人脸识别的红外测温系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022104816A1 (zh) * 2020-11-23 2022-05-27 江苏镭博智能科技有限公司 一种热敏相机温度补偿方法和系统
CN113175996A (zh) * 2021-05-19 2021-07-27 云从科技集团股份有限公司 温度监测方法、装置、计算机可读存储介质及计算机设备
CN113340438A (zh) * 2021-07-08 2021-09-03 电子科技大学 一种航空发动机热端部件非接触温度场距离误差校准方法
CN113340438B (zh) * 2021-07-08 2022-05-03 电子科技大学 一种航空发动机热端部件非接触温度场距离误差校准方法
CN115993192A (zh) * 2023-03-21 2023-04-21 成都华安视讯科技有限公司 一种基于人脸追踪的无感测温方法及系统

Also Published As

Publication number Publication date
WO2022104817A1 (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN112434598A (zh) 一种非接触式体温测量方法和系统
CN107588854B (zh) 基于内置参考体的高精度测温方法
CN100464167C (zh) 一种红外测温实时校准的方法及装置
CN111579083B (zh) 基于红外图像人脸检测的体温测量的方法和装置
CN110987189B (zh) 对目标对象进行温度检测的方法、系统以及装置
Budzan et al. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes
CN107907222B (zh) 一种热红外成像电力设施故障检测仪和检测方法
CN113358231B (zh) 红外测温方法、装置及设备
CN112033545A (zh) 人体温度红外测量方法、装置及计算机设备
CN111609939B (zh) 一种个体体温异常筛查方法、装置、设备
CN111920391B (zh) 一种测温方法及设备
CN117268559B (zh) 多模态婴幼儿异常体温检测方法、装置、设备及介质
CN112418251A (zh) 红外体温检测方法及系统
CN112504463A (zh) 一种测温系统及其测温方法
CN106979822A (zh) 一种红外成像过耗故障探测仪
CN115797998A (zh) 一种基于图像融合的双波段智能测温装置和智能测温方法
CN111964790A (zh) 一种温度校准方法及红外测温装置
CN111486961A (zh) 基于宽光谱人体额头成像与距离感知的高效额温估计方法
CN112097915B (zh) 一种人脸识别测温方法及装置
CN114235157A (zh) 一种带有tof传感器的红外热像仪
CN112687009B (zh) 一种三维人脸表示方法及其参数测量装置及方法
CN115855274A (zh) 一种基于人脸识别的红外测温校正方法及装置
CN112232208A (zh) 红外人脸测温系统及其方法
Negirla et al. Sensor fusion for accurate human body temperature measurement at a distance
JP2022065425A (ja) 非接触体温測定装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination