CN111323125B - 一种测温方法、装置及计算机存储介质、电子设备 - Google Patents

一种测温方法、装置及计算机存储介质、电子设备 Download PDF

Info

Publication number
CN111323125B
CN111323125B CN202010130286.0A CN202010130286A CN111323125B CN 111323125 B CN111323125 B CN 111323125B CN 202010130286 A CN202010130286 A CN 202010130286A CN 111323125 B CN111323125 B CN 111323125B
Authority
CN
China
Prior art keywords
thermal infrared
temperature
infrared camera
coordinate system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010130286.0A
Other languages
English (en)
Other versions
CN111323125A (zh
Inventor
王雨濛
冯子勇
张明
闫梓祯
张德兵
周瑞
李兴华
郭达
邓亚峰
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepglint Information Technology Co ltd
Original Assignee
Beijing Deepglint Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepglint Information Technology Co ltd filed Critical Beijing Deepglint Information Technology Co ltd
Priority to CN202010130286.0A priority Critical patent/CN111323125B/zh
Publication of CN111323125A publication Critical patent/CN111323125A/zh
Application granted granted Critical
Publication of CN111323125B publication Critical patent/CN111323125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种测温方法、装置及计算机存储介质、电子设备，包括：利用RGB相机获取监控场景内的视频帧；根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置；根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。采用本申请中的方案，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，获得目标在热红外相机下的准确位置，进而获得目标更精确的温度。

Description

一种测温方法、装置及计算机存储介质、电子设备
技术领域
本申请涉及温度测量技术，具体地，涉及一种测温方法、装置及计算机存储介质、电子设备。
背景技术
目前温度测量通常是基于热成像相机进行的测温，基于热成像相机的测温可以直接输出全场景的温度信息，让用户人工进行结果处理，或者，先通过对全图进行分割、运动区域估计等处理得到特定区域的温度。
现有技术中存在的问题：
基于热成像相机的测温只支持单目标的测量或依赖于事先拟定好的关键区域，每次只能对目标区域中特定目标进行测温，效率较低；且热成像相机进行目标检测时检测或分割效果不理想，容易导致非目标的误报。
发明内容
本申请实施例中提供了一种测温方法、装置及计算机存储介质、电子设备，以解决上述技术问题。
根据本申请实施例的第一个方面，提供了一种测温方法，包括如下步骤：
利用RGB相机获取监控场景内的视频帧；
根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置；
根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
根据本申请实施例的第二个方面，提供了一种测温装置，包括：
获取模块，用于利用RGB相机获取监控场景内的视频帧；
第一定位模块，用于根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
第二定位模块，用于根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置；
测温模块，用于根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
根据本申请实施例的第三个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述测温方法的步骤。
根据本申请实施例的第四个方面，提供了一种电子设备，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如上所述的测温方法。
采用本申请实施例中提供的测温方法、装置及计算机存储介质、电子设备，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，根据目标在RGB相机下的位置确定热红外相机下的位置，使得目标尺寸和坐标等参数更加准确，进而获得所述目标更精确的温度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例一中测温方法实施的流程示意图；
图2示出了本申请实施例二中测温装置的结构示意图；
图3示出了本申请实施例四中电子设备的结构示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
图1示出了本申请实施例一中测温方法实施的流程示意图。
如图所示，所述测温方法包括：
步骤101、利用RGB相机获取监控场景内的视频帧；
步骤102、根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
步骤103、根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置；
步骤104、根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
具体实施时，所述利用RGB相机获取监控场景内的视频帧可以为一张或多张图像，也可以为一段视频中的某一帧或多帧。所述多张图像或多帧视频可以为连续的，也可以为间隔开、不连续的。
具体实施时，所述根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置，可以采用预先训练得到的目标检测模型，基于比较标准的卷积神经网络的检测模型训练方式可以训练得到精确的RGB场景下目标检测模型。
在一种实施方式中，所述目标可以为人的整体、人脸、口罩等。
采用本申请实施例中提供的测温方法、装置及计算机存储介质、电子设备，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，根据目标在RGB相机下的位置确定热红外相机下的位置，使得目标尺寸和坐标等参数更加准确，进而获得所述目标更精确的温度。
在一种实施方式中，所述根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置为根据所述视频帧确定监控场景内一个或多个目标的面部在RGB相机坐标系下的位置；所述将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置为将所述一个或多个目标的面部在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标的面部在热红外相机坐标系下的位置；所述根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度为根据所述一个或多个目标的面部在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的面部温度。
本申请实施例提出了在所述目标为人时，可以依据人脸来测温。具体的，首先获取监控场景内人脸在RGB相机下的位置，再转换至热红外相机下获得热红外相机下人脸的位置，进而确定人脸的温度。
考虑到热红外相机的感知波段是远红外光谱、仅对温度敏感，而计算机视觉系统中常用的棋盘格标定板通常是印刷或屏幕显示，这些标定板无法在热红外相机下成像；而且，热红外相机和彩色相机是独立成像，受硬件设计和数据传输的影响，两个相机输出成像的时间不同步。因此，本申请提出采用如下方式实施。
在一种实施方式中，所述RGB相机与热红外相机之间的几何关系的标定过程，包括：
根据热红外相机的金属钟摆的角度计算热红外相机与RGB相机之间的时间偏差，进行热红外相机与RGB相机之间的时间校准；以及，
将所述热红外相机和RGB相机置于暗室内，通过标定板对所述热红外相机和RGB相机的内外参数进行标定；其中，所述标定板为金属板，所述金属板上分布有多个圆孔，所述金属板后置有显示屏，所述显示屏以预设亮度全屏显示白色。
具体实施时，彩色相机(RGB相机)的同步可以使用画面中的时钟来进行同步，为了解决普通时钟在热红外相机下不成像的问题，本申请提出采用金属钟摆来进行时间同步。
在一种实施方式中，为了避免镜面效果，所述金属钟摆表面喷砂粗糙处理，通过钟摆的角度计算时间偏差，进行RGB相机和热红外相机之间的时间校准。
在一种实施方式中，本申请实施例中标定板由4mm平整铝板制成，重量轻且易于操作，此外，在铝板表面进行喷砂粗糙处理，避免镜面效果(镜面反光)。
在一种实施方式中，所述铝板上均匀分布3*11的圆孔，每个圆孔直径为51mm左右。
在一种实施方式中，每个圆孔由同心的沉孔和通孔构成，若所述铝板厚度为d，那么沉孔在所述铝板的背面下沉大于d与预设厚度阈值的差值(例如：预设厚度阈值为2mm，d大于2mm，铝板的背面下沉大于d-2)；若通孔半径为phi，沉孔下沉s，则沉孔半径大于phi+s。铝板的厚度用于保证铝板的刚性，沉孔保证通孔的厚度在2mm以下，减少斜方向成像时的侧面干扰。
本申请实施例在标定板后面放置一台显示屏，所述显示屏以最大亮度全屏显示白色。在暗室内进行拍摄和标定，热红外相机下标定板(金属材质，如铝板)本身漫反射相机背后的冷场景，图像为暗色，孔内为显示屏发热，形成亮色圆形或椭圆图像；在彩色相机下，金属板表面没有照明，为暗色，孔内为显示屏发亮，形成圆形或椭圆形图案；然后利用标准相机标定方式进行两个相机的内外参标定。
标定后得到RGB相机的内参、热红外相机的内参、热红外相机相对于RGB相机的外参(包括旋转和平移矩阵)。
具体将RGB的面部检测结果对应至热红外相机的步骤如下：
1、通过面部检测框的大小估算目标距离RGB相机的位置，基于RGB相机的内参得到目标在三维空间的坐标；
2、基于标定后的热红外相机相对于RGB相机的旋转和平移矩阵、目标在三维空间的坐标位置、以及热红外相机的内参，得到目标在热红外相机下的坐标位置；
3、考虑到每个目标的面部大小不一，因此本申请实施例还可以对目标在热红外相机下的坐标位置进行修正，具体的，将面部检测框外扩K倍，抠出对应图像块进行面部位置的精细估计和面部关键点的计算，得到图像中面部的精细位置和m个关键点的坐标位置。
在一种实施方式中，所述确定一个或多个目标的面部温度，包括：
根据每个目标的面部信息以及面部各关键点的温度信息，确定每帧每个目标的面部的温度；
利用多帧中每个目标的面部至热红外相机的距离以及每个面部的温度进行处理，得到每个目标的最佳温度。
本申请实施例确定最适合进行测温的面部区域进行测温，具体的，以关键点为中心或初始点，把温度差值在预设第一阈值(例如0.3℃)以内的像素点聚类在一起形成多个区域，如果区域之间的温差大于预设第二阈值(例如1℃)则说明皮肤被遮挡(例如口罩、眼镜等)，此时，本申请实施例采用最高温度的区域的统计量来确定面部温度。
如果区域之间的温差都比较接近，说明面部都能够连通，没有明显遮挡，则使用整个面部的区域来确定面部温度。
在确定区域后，把这个区域中的温度值进行从大到小排序，然后选择95％分位的温度值，作为该目标的面部的温度，避免个别像素上温度值噪声的影响。
考虑到热红外相机随着距离增加检测的温度会有所降低，本申请实施例提出了计算温度的距离增益函数进行温度补偿的方式，利用每个目标的面部至热红外相机的距离对得到的每个面部的温度进行处理，从而使得温差会随着距离的增加而逐渐增加。
此外，本申请实施例还针对同一个目标在多帧画面出现的情况，提出对多帧画面跟踪的方式，跟踪后会得到每个目标的多个温度，基于这些温度进行加权处理，具体权重设置时，越靠近热红外相机最优工作范围的权重越高。
在一种实施方式中，所述方法进一步包括：
根据预设时间范围内所有目标的最佳温度，确定每个目标的最终的温度。
本申请实施例考虑到人的实际温度有一个客观的真实分布，基于热红外相机的大数据统计得到一个测量分布，由于热红外相机的噪声和测量误差，真实分布和测量分布并不是完全一样的，因此，本申请实施例根据预设时间范围内所有目标的最佳温度，将温度从测量分布矫正到真实的客观分布上。
在一种实施方式中，所述确定最终的温度具体为利用预先确定的面部标准温度的高斯正态分布的映射逻辑来确定最终的温度。
具体的，为了校准在不同场景下热红外相机的测量误差，本申请实施例按照下述步骤讲实测温度校正到人体真实温度：
1、计算当前实测温度相对之前预设时间内的实测温度历史记录的排名占比；
2、使用高斯分布拟合面部真实温度；
3、基于实测的排名，将测量得到的温度映射到真实温度的高斯分布中，得到校正后的温度。
具体的，所述计算当前实测温度相对之前预设时间内的实测温度历史记录的排名占比，包括：
使用循环温度历史数组保存记录测量得到的目标温度，当收到新的实测温度时，将其放入数组末尾；如果存储的温度个数超过预设的循环数组大小，则将数组第一个温度删除；
对所述温度历史数组按照温度由低到高的顺序排序，设当前数组中温度个数为s；
查找当前实测温度在温度历史数组中的排名r1，令p1＝r1/s。
具体的，所述使用高斯分布拟合目标面部真实温度分布，包括：
设置目标面部真实温度统计均值Tm、上下偏差Δ，设Tl＝Tm-Δ，Th＝Tm+Δ；
在定义域[Tl，Th]范围内，均匀采样n个点，并按照设定的参数σ、μ，计算高斯概率密度函数的值，形成采样点与函数值的对应表；
对采样点与函数值的对应表进行换算得到采样点与高斯累积分布函数值的对应表；
反向建立从高斯累积分布函数的积分占比表与n个采样点一一对应。
具体的，所述基于实测的排名，将测量得到的温度映射到真实温度的高斯分布中，得到校正后的温度，包括：
在高斯概率分布函数的积分占比表中从前往后查找到第一个大于等于p1的积分占比，其对应的采样点代表的温度即为校正温度。
在一种实施方式中，所述利用多帧中每个面部至热红外相机的距离以及每个面部的温度进行处理，得到每个目标的最佳温度，包括：
根据每个关键点到热红外相机的距离按照下式对每个面部的温度进行校正，得到每个目标的最佳温度：
Figure BDA0002395600880000081
其中，T为热红外相机测量得到的每个面部的温度，Tr为修正后的温度，Δd为每个关键点到热红外相机的距离与预设距离阈值之差。
具体实施时，利用上述温度的距离增益函数进行温度补偿。
距离增益换算表是通过在多个不同场景、对多个不同目标和多个不同距离进行实测，并对实测相间进行统计得到。
实测方法为在某个场景下，被测目标分别站立于热红外相机前2米、3米、4米、5米处，并用激光测距仪精确测量目标额头至热红外相机的精确距离，并根据热红外相机的数据得到被测目标在该距离的温度。
在得到大量的距离差Δd(目标距离超出2米的部分)和温度差Δt(目标实际温度-目标测量温度)之后，拟合得到与距离平方相关的函数(能量辐射是与距离平方相关的)：
Δt＝Tr-T＝a*T*Δd2+b
其中，T是测量的温度，Tr是真实温度，a、b为热红外相机的参数值。
由于T满足平方反比，即
Figure BDA0002395600880000091
因此，
Figure BDA0002395600880000092
距离修正方法为，根据算得到行人距离，通过计算温度的距离增益函数，得到该距离下的温度增益，把修正温度修正为测量温度加距离增益，即Tr＝T+Δt。
在一种实施方式中，所述每个面部至热红外相机的距离，通过下述步骤计算得到：
根据每个目标在热红外相机坐标系下的位置获取所述目标在热红外相机坐标系下的第一关键点坐标，以及根据所述目标在RGB相机坐标系下的位置获取所述目标在RGB相机坐标系下的第二关键点坐标；
根据所述第一关键点坐标和第二关键点坐标，计算得到每个面部到热红外相机的距离；
根据所述每个关键点到热红外相机的距离对热红外相机测得的温度值进行校正，得到一个或多个目标的温度。
具体实施时，本申请实施例通过RGB相机下的检测结果估计出目标在RGB相机下的面积或区域，然后利用面积与深度(距离)成线性反比的关系，估算出目标至RGB相机的距离，进而得到目标在RGB相机坐标系下的三维位置。
进一步的，利用标定好的相机之间的几何关系，把目标投影至热红外相机下，得到热红外相机下的大致位置。利用这种对应关系，RGB相机下的目标检测和跟踪结果，可以自动对应到热红外相机下。
所述关键点可以为预先设置的，所述关键点可以为1个、2个、...5个、...更多个。
具体的，可以选取面部具有一定数量的、具有语义信息的稳定关键点(如眼镜、鼻子、嘴角等)。
在热红外相机和RGB相机都得到关键点位置的情况下，可以通过三角测量计算得到每个关键点到热红外相机深度。这些关键点的深度平均值可以作为目标面部距离热红外相机的距离的修正，这种方式比基于检测框大小的距离估计更准确。
本申请实施例可以依据目标的特征点得到更精确的测距，从而得到更精确的测温结果。
在一种实施方式中，所述方法进一步包括：
对所述一个或多个目标进行跟踪，根据多个视频帧得到每个目标的多个温度值；
对所述多个温度值中的部分异常值进行剔除；
对剔除异常值后的多个温度值计算平均值得到每个目标的最终温度。
具体的，在每个目标的跟踪序列中，去除因为测量误差导致的偏小和偏大的离群点后，再进行温度的加权计算。
本申请实施例考虑到一个人的温度短时间不会明显变化，基于人脸跟踪得到多帧的温度测量结果，通过分析测量结果的分布，在去掉分布以外的少量异常值(如刚摘掉帽子会导致额头偏热等)后，通过多帧的温度均值作为其最终的温度，使得目标温度更加精确。
本申请实施例基于人脸温度变化不大的特点，根据时间窗口内的温度统计来做环境相关温度的参数矫正。
在一种实施方式中，进一步包括：
在热红外相机获取到场景内目标的视频帧之后，根据预先建立的活体识别模型或者根据热红外相机下目标面部温度的分布情况识别所述目标是否为活体；
其中，所述活体识别模型为根据无人场景下采集的非活体样本利用卷积深度神经网络进行训练得到的。
具体实施时，当用户使用非活体来干扰系统时(比如使用屏幕、打印的人脸纸张、面具等)，系统可以自动进行活体识别。虽然在RGB相机下干扰人脸与真实人脸非常接近，比较难区分，但因为屏幕、纸张或面具的温度分布与正常人脸差异很大，在热红外相机下具有明显的可区分特征。本申请实施例在多个无人场景下进行了攻击样本的采集，并配合大量真实过人场景，采用卷积深度神经网络，训练得到了高精度的活体识别模型，有效避免了各类攻击方式。
这一步骤可以在确定目标的温度之后进行，也可以在确定目标温度之前进行，本申请对此不做限制。
实施例二
基于同一发明构思，本申请实施例提供了一种测温装置，该测温装置解决技术问题的原理与一种测温方法相似，重复之处不再赘述。
图2示出了本申请实施例二中测温装置的结构示意图。
如图所示，所述测温装置包括：
获取模块201，用于利用RGB相机获取监控场景内的视频帧；
第一定位模块202，用于根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
第二定位模块203，用于根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置；
测温模块204，用于根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
采用本申请实施例中提供的测温装置，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，根据目标在RGB相机下的位置确定热红外相机下的位置，使得目标尺寸和坐标等参数更加准确，进而获得所述目标更精确的温度。
在一种实施方式中，所述第一定位模块用于根据所述视频帧确定监控场景内一个或多个目标的面部在RGB相机坐标系下的位置；所述第二定位模块用于将所述一个或多个目标的面部在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标的面部在热红外相机坐标系下的位置；所述测温模块用于根据所述一个或多个目标的面部在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的面部温度。
在一种实施方式中，所述RGB相机与热红外相机之间的几何关系的标定过程，包括：
根据热红外相机的金属钟摆的角度计算热红外相机与RGB相机之间的时间偏差，进行热红外相机与RGB相机之间的时间校准；以及，
将所述热红外相机和RGB相机置于暗室内，通过标定板对所述热红外相机和RGB相机的内外参数进行标定；其中，所述标定板为金属板，所述金属板上分布有多个圆孔，所述金属板后置有显示屏，所述显示屏以预设亮度全屏显示白色。
在一种实施方式中，所述测温模块，包括：
第一温度确定单元，用于根据每个目标的面部信息以及面部各关键点的温度信息，确定每帧每个目标的面部的温度；
第二温度确定单元，用于利用多帧中每个目标的面部至热红外相机的距离以及每个面部的温度进行处理，得到每个目标的最佳温度。
在一种实施方式中，所述测温模块，进一步包括：
第三温度确定单元，用于根据预设时间范围内所有目标的最佳温度，确定最终的温度。
在一种实施方式中，所述确定最终的温度具体为利用面部标准温度的高斯正态分布的映射逻辑来确定最终的温度。
在一种实施方式中，所述利用多帧中每个面部至热红外相机的距离以及每个面部的温度进行处理，得到每个目标的最佳温度，包括：
根据每个关键点到热红外相机的距离按照下式对每个面部的温度进行校正，得到每个目标的最佳温度：
Δt＝Tr-T＝a*T*Δd2+b
其中，T为热红外相机测量得到的每个面部的温度，Tr为修正后的温度，Δd为每个关键点到热红外相机的距离与预设距离阈值之差，a、b为热红外相机的参数值。
在一种实施方式中，所述每个面部至热红外相机的距离，通过下述步骤计算得到：
根据每个目标在热红外相机坐标系下的位置获取所述目标在热红外相机坐标系下的第一关键点坐标，以及根据所述目标在RGB相机坐标系下的位置获取所述目标在RGB相机坐标系下的第二关键点坐标；
根据所述第一关键点坐标和第二关键点坐标，计算得到每个面部到热红外相机的距离。
在一种实施方式中，所述装置进一步包括：
修正模块，用于对所述一个或多个目标进行跟踪，根据多个视频帧得到每个目标的多个温度值；对所述多个温度值中的部分异常值进行剔除；对剔除异常值后的多个温度值计算平均值得到每个目标的最终温度。
在一种实施方式中，所述装置进一步包括：
活体检测模块，用于在热红外相机获取到场景内目标的视频帧之后，根据预先建立的活体识别模型或者根据热红外相机下目标面部温度的分布情况识别所述目标是否为活体；
其中，所述活体识别模型为根据无人场景下采集的非活体样本利用卷积深度神经网络进行训练得到。
实施例三
基于同一发明构思，本申请实施例还提供一种计算机存储介质，下面进行说明。
所述计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述测温方法的步骤。
采用本申请实施例中提供的计算机存储介质，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，根据目标在RGB相机下的位置确定热红外相机下的位置，使得目标尺寸和坐标等参数更加准确，进而获得所述目标更精确的温度。
实施例四
基于同一发明构思，本申请实施例还提供一种电子设备，下面进行说明。
图3示出了本申请实施例四中电子设备的结构示意图。
如图所示，所述电子设备包括存储器301、以及一个或多个处理器302，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如实施例一所述的测温方法。
采用本申请实施例中提供的电子设备，基于标定后的可见光和热成像传感器相机，通过RGB相机和热红外相机之间的几何关系，根据目标在RGB相机下的位置确定热红外相机下的位置，使得目标尺寸和坐标等参数更加准确，进而获得所述目标更精确的温度。
本申请实施例利用了特殊金属材质(金属钟摆、铝板等)进行了热红外相机和RGB相机的精确标定，从而在两个相机间建立了目标对应关系，可以把基于RGB相机下的目标检测和跟踪结果转移到热红外相机下，并且基于目标深度，目标统计规律和目标跟踪信息进行温度修正。对于规则物体，比如人脸，还可以基于关键点信息和三角测距法进行更精确的深度估计，从而进行更好的温度修正。本申请实施例支持多个目标的同时精确温度测量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种测温方法，其特征在于，包括：
利用RGB相机获取监控场景内的视频帧；
根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置，所述几何关系的标定过程包括：根据热红外相机的金属钟摆的角度计算热红外相机与RGB相机之间的时间偏差，进行热红外相机与RGB相机之间的时间校准；并利用标定板对所述RGB相机和热红外相机的内外参数进行标定，所述标定板为金属板，所述金属板上分布有多个圆孔，所述金属板后置有显示屏；
根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置为根据所述视频帧确定监控场景内一个或多个目标的面部在RGB相机坐标系下的位置；所述将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置为将所述一个或多个目标的面部在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标的面部在热红外相机坐标系下的位置；所述根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度为根据所述一个或多个目标的面部在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的面部温度。
3.根据权利要求2所述的方法，其特征在于，所述确定一个或多个目标的面部温度，包括：
根据每个目标的面部信息以及面部各关键点的温度信息，确定每帧每个目标的面部的温度；
利用多帧中每个目标的面部至热红外相机的距离以及每个目标的面部的温度进行处理，得到每个目标的面部的最佳温度。
4.根据权利要求3所述的方法，其特征在于，所述确定一个或多个目标的面部温度，进一步包括：
根据预设时间范围内所有目标的面部的最佳温度，确定每个目标的最终的面部温度。
5.根据权利要求4所述的方法，其特征在于，所述确定最终的面部温度具体为利用预先确定的面部标准温度的高斯正态分布的映射逻辑确定最终的面部温度。
6.根据权利要求3所述的方法，其特征在于，所述利用多帧中每个面部至热红外相机的距离以及每个目标的面部的温度进行处理，得到每个目标的面部的最佳温度，包括：
根据每个面部关键点到热红外相机的距离按照下式对每个目标的面部的温度进行校正，得到每个目标的面部的最佳温度：
Figure 442791DEST_PATH_IMAGE001
其中，
Figure 687828DEST_PATH_IMAGE002
为热红外相机测量得到的每个面部的温度，
Figure 733144DEST_PATH_IMAGE003
为修正后的温度，
Figure 987408DEST_PATH_IMAGE004
为每个面部关键点到热红外相机的距离与预设距离阈值之差，
Figure 67359DEST_PATH_IMAGE005
、
Figure 217718DEST_PATH_IMAGE006
为热红外相机的参数值。
7.根据权利要求3所述的方法，其特征在于，所述每个面部至热红外相机的距离，通过下述步骤计算得到：
根据每个目标在热红外相机坐标系下的位置获取所述目标在热红外相机坐标系下的第一关键点坐标，以及根据所述目标在RGB相机坐标系下的位置获取所述目标在RGB相机坐标系下的第二关键点坐标；
根据所述第一关键点坐标和第二关键点坐标，计算得到每个面部到热红外相机的距离。
8.根据权利要求3所述的方法，其特征在于，进一步包括：
对所述一个或多个目标进行跟踪，根据多个视频帧得到每个目标的多个温度值；
对所述多个温度值中的部分异常值进行剔除；
对剔除异常值后的多个温度值计算平均值得到每个目标的最终温度。
9.根据权利要求2所述的方法，其特征在于，所述利用标定板对所述RGB相机和热红外相机的内外参数进行标定，包括：
将所述热红外相机和RGB相机置于暗室内，通过标定板对所述热红外相机和RGB相机的内外参数进行标定；其中，所述标定板为金属板，所述金属板上分布有多个圆孔，所述金属板后置有显示屏，所述显示屏以预设亮度全屏显示白色。
10.根据权利要求2所述的方法，其特征在于，进一步包括：
在热红外相机获取到场景内目标的视频帧之后，根据预先建立的活体识别模型或者根据热红外相机下目标面部温度的分布情况识别所述目标是否为活体；
其中，所述活体识别模型为根据无人场景下采集的非活体样本利用卷积深度神经网络进行训练得到。
11.一种测温装置，其特征在于，包括：
获取模块，用于利用RGB相机获取监控场景内的视频帧；
第一定位模块，用于根据所述视频帧确定监控场景内一个或多个目标在RGB相机坐标系下的位置；
第二定位模块，用于根据预先标定好的RGB相机与热红外相机之间的几何关系，将所述一个或多个目标在RGB相机坐标系下的位置投影至热红外相机坐标系得到所述一个或多个目标在热红外相机坐标系下的位置，所述几何关系的标定过程包括：根据热红外相机的金属钟摆的角度计算热红外相机与RGB相机之间的时间偏差，进行热红外相机与RGB相机之间的时间校准；并利用标定板对所述RGB相机和热红外相机的内外参数进行标定，所述标定板为金属板，所述金属板上分布有多个圆孔，所述金属板后置有显示屏；
测温模块，用于根据所述一个或多个目标在热红外相机坐标系下的位置以及热红外相机测得的温度值确定所述一个或多个目标的温度。
12.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一所述方法的步骤。
13.一种电子设备，其特征在于，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至10任一所述的方法。
CN202010130286.0A 2020-02-28 2020-02-28 一种测温方法、装置及计算机存储介质、电子设备 Active CN111323125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130286.0A CN111323125B (zh) 2020-02-28 2020-02-28 一种测温方法、装置及计算机存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130286.0A CN111323125B (zh) 2020-02-28 2020-02-28 一种测温方法、装置及计算机存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN111323125A CN111323125A (zh) 2020-06-23
CN111323125B true CN111323125B (zh) 2021-10-22

Family

ID=71163545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130286.0A Active CN111323125B (zh) 2020-02-28 2020-02-28 一种测温方法、装置及计算机存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN111323125B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN111814659B (zh) * 2020-07-07 2024-03-29 杭州海康威视数字技术股份有限公司 一种活体检测方法、和系统
CN111982304A (zh) * 2020-08-25 2020-11-24 南方电网调峰调频发电有限公司 一种红外测温补偿方法和视频测温复合传感器
CN111915686B (zh) * 2020-09-18 2022-07-26 深圳市商汤科技有限公司 标定方法及装置、测温人脸识别装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306191A (ja) * 1999-04-16 2000-11-02 Matsushita Electric Ind Co Ltd 領域分割および対象物抽出装置
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置
CN100350419C (zh) * 1999-12-01 2007-11-21 西尔弗布鲁克研究有限公司 具有解码传感器的音频播放器
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN109846463A (zh) * 2019-03-04 2019-06-07 武汉迅检科技有限公司 红外人脸测温方法、系统、设备及存储介质
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532765B2 (ja) * 2001-03-13 2010-08-25 キヤノン株式会社 画像処理装置及び画像処理プログラム
CN101650225B (zh) * 2009-09-16 2011-08-17 中国科学院安徽光学精密机械研究所 一种利用宽可调谐激光的绝对光谱辐亮度响应度定标系统的装置
CN101832820B (zh) * 2010-04-19 2011-08-17 北京康拓红外技术有限公司 采用垂直之形板对轴温探测系统红外探头进行标定的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306191A (ja) * 1999-04-16 2000-11-02 Matsushita Electric Ind Co Ltd 領域分割および対象物抽出装置
CN100350419C (zh) * 1999-12-01 2007-11-21 西尔弗布鲁克研究有限公司 具有解码传感器的音频播放器
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN109846463A (zh) * 2019-03-04 2019-06-07 武汉迅检科技有限公司 红外人脸测温方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于红外热像的行人面部温度高精度检测技术;袁浩期 等;《红外技术》;20191231;全文 *

Also Published As

Publication number Publication date
CN111323125A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111323125B (zh) 一种测温方法、装置及计算机存储介质、电子设备
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN106683070B (zh) 基于深度相机的身高测量方法及装置
US8306323B2 (en) Method and apparatus for correcting depth image
CN111339951A (zh) 体温测量方法、装置及系统
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN111337142A (zh) 体温修正方法、装置及电子设备
CN111426393B (zh) 温度修正方法、装置及系统
CN109657607B (zh) 一种基于人脸识别的人脸目标测距方法、装置及存储介质
US20210227144A1 (en) Target tracking method and device, movable platform, and storage medium
CN104173054A (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN113358231B (zh) 红外测温方法、装置及设备
WO2018223267A1 (en) Method and system for hyperspectral light field imaging
CN109146906A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
WO2021259365A1 (zh) 一种目标测温方法、装置及测温系统
CN111442845A (zh) 基于距离补偿的红外测温方法、装置及计算机存储介质
CN106153579A (zh) 测量装置、测量方法和程序
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
TWI468658B (zh) 鏡頭檢測裝置及方法
CN115523847A (zh) 单目相机测距的方法和系统
Chen et al. 3D reconstruction from IR thermal images and reprojective evaluations
CN112146763A (zh) 基于自动识别的测温方法及系统
CN112200002A (zh) 一种体温测量方法、装置、终端设备及存储介质
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant