CN113834571A - 一种目标测温方法、装置及测温系统 - Google Patents
一种目标测温方法、装置及测温系统 Download PDFInfo
- Publication number
- CN113834571A CN113834571A CN202010590792.8A CN202010590792A CN113834571A CN 113834571 A CN113834571 A CN 113834571A CN 202010590792 A CN202010590792 A CN 202010590792A CN 113834571 A CN113834571 A CN 113834571A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- visible light
- thermal imaging
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 57
- 238000001931 thermography Methods 0.000 claims abstract description 224
- 238000001514 detection method Methods 0.000 claims description 27
- 238000003702 image correction Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004861 thermometry Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012774 insulation material Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
Abstract
本申请实施例提供了一种目标测温方法、装置及测温系统，通过获取双目相机采集的可见光图像和热成像图像，确定指定目标在可见光图像中的第一目标区域以及指定目标在热成像图像中的第二目标区域，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差，根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。目标距离并不受姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，计算出的指定目标的温度更为准确，提高了目标测温的精度。
Description
技术领域
本申请涉及安防技术领域，特别是涉及一种目标测温方法、装置及测温系统。
背景技术
随着热成像技术的不断发展，利用热成像相机对目标进行测温，在公共卫生安全和异常目标布控等领域的应用越来越广泛。传统的测温方法中，采用热成像相机对进入监控范围内的目标进行图像采集，通过检测采集到的热成像图像中区域灰度值变化，确定待测温目标，根据待测温目标在热成像图像中的成像大小以及热成像目标距离和成像大小的换算关系，计算目标温度。可见，目标距离是计算目标温度的重要参数，直接影响着测温精度，然而，目标的成像大小容易受到监控场景的实际环境等因素影响，导致估计出的目标距离与实际的目标距离具有较大的误差，由此引起测温的误差较大。
为了解决上述问题，当前的测温方法中，采用双目相机对目标进行测温，双目相机包括可见光相机和热成像相机，可见光相机和热成像相机分别对进入监控范围内的目标进行图像采集，利用可见光测距技术，根据可见光相机采集到的可见光图像中的目标尺寸、以及预先设置的该目标的目标尺寸与目标距离的对应关系，换算出目标距离，将可见光图像中的该目标映射到热成像图像中对应的位置处，得到该目标在热成像图像中所处区域的灰度值，根据目标距离和该目标所处区域的灰度值，计算目标温度。
然而，在实际的应用场景下，目标在可见光图像中的目标尺寸受该目标的实际姿态特征变化的影响较大，而预先设置的该目标的目标尺寸与目标距离的对应关系很难做到完全覆盖该目标的各种姿态特征变化，当姿态特征变化时，会使得换算出的目标距离误差较大，导致测温的误差仍然较大。
发明内容
本申请实施例的目的在于提供一种目标测温方法、装置及测温系统，以提高目标测温的精度。具体技术方案如下：
第一方面，本申请实施例提供了一种目标测温方法，该方法包括：
获取双目相机采集的可见光图像和热成像图像，其中，双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机；
确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域；
根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差；
根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离；
根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
可选的，在确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤之前，该方法还包括：
根据预先标定的双目相机的标定参数，对可见光图像及热成像图像进行图像矫正；
确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤，包括：
确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。
可选的，标定参数包括可见光相机的内外参、热成像相机的内外参，以及可见光相机与热成像相机之间的相对位置关系；
根据预先标定的双目相机的标定参数，对可见光图像及热成像图像进行图像矫正的步骤，包括：
根据可见光相机的内外参，对可见光图像进行图像矫正，得到可见光矫正图像；
根据热成像相机的内外参，对热成像图像进行图像矫正，得到热成像矫正图像；
根据相对位置关系，将可见光矫正图像及热成像矫正图像矫正至同一极平面。
可选的，双目相机的标定方式，包括：
利用预先调整好的温度交替标定板，采用张正友标定法，对双目相机进行标定，其中，温度交替标定板包括黑色块和白色底板，温度交替标定板为：通过温度控制器对黑色块和白色底板的温差进行调整，以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。
可选的，确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤，包括：
对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；
根据第一目标区域的位置，确定热成像图像中的目标匹配区域；
基于第一目标区域，在目标匹配区域中进行目标匹配，得到指定目标在热成像图像中的第二目标区域。
可选的，确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤，包括：
对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；
对热成像图像进行目标检测，确定热成像图像中各个目标的待匹配区域；
将第一目标区域分别与各待匹配区域进行目标匹配，确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。
可选的，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度的步骤，包括：
根据指定目标的目标类型，确定第二目标区域内的感兴趣测温点；
从热成像图像中，读取感兴趣测温点的灰度值；
根据目标距离及感兴趣测温点的灰度值，计算指定目标的温度。
可选的，在根据目标距离及第二目标区域内的灰度值，计算指定目标的温度的步骤之后，该方法还包括：
将温度叠加到可见光图像中进行显示。
第二方面，本申请实施例提供了一种目标测温装置，该装置包括：
获取模块，用于获取双目相机采集的可见光图像和热成像图像，其中，双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机；
目标区域确定模块，用于确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域；
视差计算模块，用于根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差；
距离计算模块，用于根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离；
温度计算模块，用于根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
可选的，该装置还包括：
图像矫正模块，用于根据预先标定的双目相机的标定参数，对可见光图像及热成像图像进行图像矫正；
目标区域确定模块，具体用于确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。
可选的，标定参数包括可见光相机的内外参、热成像相机的内外参，以及可见光相机与热成像相机之间的相对位置关系；
图像矫正模块，具体用于根据可见光相机的内外参，对可见光图像进行图像矫正，得到可见光矫正图像；根据热成像相机的内外参，对热成像图像进行图像矫正，得到热成像矫正图像；根据相对位置关系，将可见光矫正图像及热成像矫正图像矫正至同一极平面。
可选的，该装置还包括：
标定模块，用于利用预先调整好的温度交替标定板，采用张正友标定法，对双目相机进行标定，其中，温度交替标定板包括黑色块和白色底板，温度交替标定板为：通过温度控制器对黑色块和白色底板的温差进行调整，以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。
可选的，目标区域确定模块，具体用于对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；根据第一目标区域的位置，确定热成像图像中的目标匹配区域；基于第一目标区域，在目标匹配区域中进行目标匹配，得到指定目标在热成像图像中的第二目标区域。
可选的，目标区域确定模块，具体用于对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；对热成像图像进行目标检测，确定热成像图像中各个目标的待匹配区域；将第一目标区域分别与各待匹配区域进行目标匹配，确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。
可选的，温度计算模块，具体用于根据指定目标的目标类型，确定第二目标区域内的感兴趣测温点；从热成像图像中，读取感兴趣测温点的灰度值；根据目标距离及感兴趣测温点的灰度值，计算指定目标的温度。
可选的，该装置还包括：
显示模块，用于将温度叠加到可见光图像中进行显示。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，其中，存储器存储有能够被处理器执行的机器可执行指令，机器可执行指令由处理器加载并执行，以实现本申请实施例第一方面所提供的方法。
第四方面，本申请实施例提供了一种机器可读存储介质，机器可读存储介质内存储有机器可执行指令，机器可执行指令在被处理器加载并执行时，实现本申请实施例第一方面所提供的方法。
第五方面，本申请实施例提供了一种测温系统，该测温系统包括双目相机及处理器；双目相机包括可见光相机及热成像相机；
可见光相机，用于采集可见光图像；
热成像相机，用于采集热成像图像；
处理器，用于获取双目相机采集的可见光图像和热成像图像；确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域；根据第一目标区域的位置及第二目标区域的位置，利用预设的位置差计算方法，计算指定目标的目标视差；根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离；根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
本申请实施例提供的一种目标测温方法、装置及测温系统，通过获取双目相机采集的可见光图像和热成像图像，确定指定目标在可见光图像中的第一目标区域以及指定目标在热成像图像中的第二目标区域，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差，根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的目标测温方法的一种流程示意图；
图2为本申请实施例提供的可见光图像与热成像图像叠在一起后的图像示例；
图3为本申请实施例提供的目标测温方法的另一种流程示意图；
图4为本申请实施例提供的温度交替标定板示意图；
图5为本申请实施例提供的目标测温装置的一种结构示意图；
图6为本申请实施例提供的目标测温装置的另一种结构示意图；
图7为本申请实施例提供的可见光图像上目标框与热成像图像匹配的示例；
图8为本申请实施例提供的电子设备的结构示意图；
图9为本申请实施例的测温系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高目标测温的精度，本申请实施例提供了一种目标测温方法、装置及测温系统。下面，首先对本申请实施例所提供的目标测温方法进行介绍。该方法应用于具有图像处理能力的电子设备，例如，可以为与双目相机远程连接的计算机，也可以为配备有处理器的双目相机(具体的目标测温方法由双目相机中的处理器执行)等。本申请实施例所提供的目标测温方法可以被设置于电子设备中的软件、硬件电路和逻辑电路中的至少一种实现。
如图1所示，本申请实施例所提供的目标测温方法的一种流程，可以包括如下步骤。
S101，获取双目相机采集的可见光图像和热成像图像，其中，双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机。
S102，确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域。
S103，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差。
S104，根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离。
S105，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
应用本申请实施例，在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
本申请实施例中，利用双目相机进行目标测温，双目相机包括可见光相机和热成像相机。可见光相机为日常生活中最常见的一种相机，采集到的图像为彩色图像，在本申请实施例中，将可见光相机采集到的彩色图像称为可见光图像。热成像相机为采用热成像技术的一种相机，其工作原理为：人体等自然界目标都会有红外辐射，这是物体内部分子热运动的结果，其辐射能量与自身温度的四次方成正比，辐射出的波长与其温度成反比，热成像技术就是根据探测到的物体的辐射能量的高低，经系统处理转变为目标物体的热图像，以灰度值或伪彩色显示出来，不同距离下探测到的目标辐射强度不同，展现的灰度值也不同，通过不同距离下目标灰度值的高低可以计算出目标的温度。在本申请实施例中，将热成像相机采集到的灰度图像/伪彩色图像称为热成像图像。
相机中的摄像头由于受光学透镜的特性影响，使得成像往往存在径向畸变，因此，一般需要对相机进行标定，得到相机的标定参数，基于标定参数，对采集到的图像进行图像矫正。相机标定分为单目相机标定和双目相机标定两类：单目相机标定主要是计算相机的内参(包括相机焦距、成像原点坐标、5个畸变参数)和外参(标定物的世界坐标)；双目相机标定除了要得出每个相机的内外参以外，还需要通过标定来测量两个相机之间的相对位置关系(即一个相机相对于另一个相机的旋转矩阵和平移向量)。由于本申请实施例利用的是双目相机，因此，标定时除了要计算出可见光相机和热成像相机的内外参，还需要测量可见光相机和热成像相机之间的相对位置关系。
在本申请实施例中，电子设备所获取到的可见光图像和热成像图像，可以是已经进行过图像矫正的图像，也可以是可见光相机和热成像相机采集的原始的可见光图像和热成像图像。电子设备中还可以记录有图像变换关系，在获取到可见光图像和热成像图像后，利用所记录的图像变换关系，对可见光图像和热成像图像进行变换，以消除畸变。
针对获取到的可见光图像和热成像图像，电子设备可以采用基于深度学习技术的目标检测方法、基于深度学习的目标识别方法、传统的特征匹配方法等，从可见光图像中确定出指定目标的第一目标区域、从热成像图像中确定出指定目标的第二目标区域。其中，指定目标是指某一个特定的目标，例如人、动物、物品等。在本申请实施例的一种实现方式中，可以采用目标检测技术融合目标匹配技术的方式，对指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域进行确定。具体的，是对可见光图像和热成像图像中的至少一张图像进行目标检测，如果只选择对其中一张图像进行目标检测，则需要在另一张图像的目标匹配区域(根据检测到的指定目标所处目标区域的位置确定)内匹配出指定目标的目标区域；如果对两张图像都进行目标检测，则可以对两张图像检测到的目标进行匹配。
在本申请实施例的一种实现方式中，S102具体可以通过如下步骤实现：
第一步，对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域。
第二步，根据第一目标区域的位置，确定热成像图像中的目标匹配区域。
第三步，基于第一目标区域，在目标匹配区域中进行目标匹配，得到指定目标在热成像图像中的第二目标区域。
由于可见光图像是彩色图像，从可见光图像中可以准确地获知目标特征，因此，采用基于深度学习技术的目标检测方法或者传统的特征匹配方法等，可以从可见光图像中检测出指定目标，并且得到指定目标在可见光图像中的第一目标区域。
可见光相机和热成像相机布局在一起，对相同的监控范围进行图像采集，因此，可见光图像和热成像图像之间具有一定的对应关系，按照这种对应关系，根据第一目标区域的位置，就可以大致确定出指定目标在热成像图像中的区域范围(即热成像图像中的目标匹配区域)，而由于热成像图像是灰度图或者伪彩色图，没有明显的目标特征，且实际场景中往往存在多个目标同时出现的情况，可以根据灰度变化判断出目标的轮廓，但是第一目标区域与指定目标的轮廓大体上是吻合的。
因此，可以用第一目标区域，通过目标轮廓边界灰度值变化、目标尺寸大小、位置等信息，到目标匹配区域中进行匹配，如果目标匹配区域中某一个目标的目标区域与第一目标区域匹配上，则可以确定该目标区域为指定目标在热成像图像中的第二目标区域。采用本实施例，可以解决热成像图像和可见光图像中目标相似特征较少、匹配较难的问题。
在本申请实施例的另一种实现方式中，S102具体可以通过如下步骤实现：
第一步，对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域，并对热成像图像进行目标检测，确定热成像图像中各个目标的待匹配区域。
第二步，将第一目标区域分别与各待匹配区域进行目标匹配，确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。
如上述，采用基于深度学习技术的目标检测方法或者传统的特征匹配方法等，可以从可见光图像中检测出指定目标，并且得到指定目标在可见光图像中的第一目标区域。针对热成像图像，可以采用基于深度学习技术的目标分割方法等，确定出热成像图像中各个目标的待匹配区域，由于热成像图像是灰度图或者伪彩色图，没有明显的目标特征，且实际场景中往往存在多个目标同时出现的情况，则在对热成像图像进行目标检测时，只能够根据灰度变化判断出目标的大致轮廓(即各个目标的待匹配区域)。
在得到第一目标区域和各待匹配区域后，可以将第一目标区域分别与各待匹配区域进行目标匹配，目标匹配的方式可以采用基于目标轮廓边界灰度值变化、目标尺寸大小等信息训练得到的神经网络模型进行匹配，最终确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。
在确定第一目标区域和第二目标区域后，由于受指定目标与双目相机间的目标距离影响，在将第一目标区域与第二目标区域放到同一坐标系下的时候，两者之间的位置往往具有一定的差距，这种位置差称为目标视差，因此，为了计算目标距离，可以根据第一目标区域在可见光图像中的位置和第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算出指定目标的目标视差。
其中，预设的位置差计算方法可以是根据第一目标区域在可见光图像中的位置和第二目标区域在热成像图像中的位置，将第一目标区域和第二目标区域映射到同一坐标系下，在该坐标系下计算两个目标区域表征同一点的坐标之差。由于可见光相机和热成像相机是对相同的监控范围进行图像采集，所采集到的图像大小一致，由于视角不同，两个图像有重合的部分，因此，也可以将可见光图像和热成像图像的重合部分叠在一起，在叠后的图像中，就可以直观地观察到第一目标区域和第二目标区域的位置差，从而基于叠后的图像，就可以获得指定目标的目标视差，如图2所示。
在得到指定目标的目标视差后，根据目标视差，利用预设的双目视差测距方法，即可计算出指定目标的目标距离。双目视差测距方法中可以限定目标视差与目标距离之间的关系，一般情况下，目标视差与目标距离之间呈反比关系，也就是说，目标离双目相机越近，则目标视差越大。目标距离除了受目标距离影响以外，还与双目相机的镜头焦距、可见光相机和热成像相机之间的基线距等参数相关，因此，双目视差测距方法具体可以为双目视差测距公式，具体如公式(1)所示。
D＝f*B/XL (1)
其中，D为目标距离、f为双目相机的镜头焦距、B为可见光相机和热成像相机之间的基线距、XL为目标视差。
本申请实施例中，采用可见光图像融合热成像图像的双目测温技术，与可见光单目相机通过目标成像大小和目标距离的对应关系预估目标距离的方式不同，是通过目标视差计算出目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离更加精准，并且由于目标距离不受姿态特征变化的影响，本申请实施例的场景适应性更好，测温结果也更为准确、稳定，目标测温方法的鲁棒性更强。本申请实施例中也无需记载目标成像大小和目标距离的对应关系，节省了电子设备的存储空间，能够实现多种类目标的测距测温。
在计算出目标距离后，可以利用传统的计算目标温度的方式，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。其中，计算目标温度可以采用如下公式：
T＝a*T1+b*T2+c*T3 (2)
其中，T为目标温度；a、b、c为预设比重，可由黑体测温实验模拟获得；T1为基于第二目标区域内的灰度值计算出的温度值，T1＝f(K)，K为第二目标区域内的灰度值；T2为环境温度值，可直接获得；T3为基于目标距离补偿的温度值，T3＝g(x)，x为目标距离。
在本申请实施例的一种实现方式中，S105具体可以通过如下步骤实现：
第一步，根据指定目标的目标类型，确定第二目标区域内的感兴趣测温点。
第二步，从热成像图像中，读取感兴趣测温点的灰度值。
第三步，根据目标距离及感兴趣测温点的灰度值，计算指定目标的温度。
在对目标进行测温时，由于目标种类的不同，所关注的测温点也会不相同，例如对人进行测温时，更关注额头的温度，而对物体进行测温时，更关注物体底部的温度，因此，可以根据指定目标的目标类型(可以是在进行目标检测时得到的，也可以是预先输入的)，确定第二目标区域内的感兴趣测温点，则第二目标区域内的灰度值具体指的就是感兴趣测温点的灰度值，则在进行温度计算时，具体是根据目标距离和感兴趣测温点的灰度值进行计算。
在本申请实施例的一种实现方式中，在S105之后，该方法还可以包括：将温度叠加到可见光图像中进行显示。
如上述，可见光图像是彩色图像，具有完整的目标特征，便于用户查看，因此，一般是将可见光相机采集的实时的可见光图像进行显示，以便用户查看实时的监控内容，在测出指定目标的温度后，可以将该温度叠加到可见光图像中，这样，用户可以实时地看到指定目标的温度，及时获知哪些目标的温度异常，具体的，可见光图像中显示温度的方式可以是：在指定目标的周围显示温度，或者，单独地开辟一个温度显示区域，该区域中显示指定目标的目标属性和温度。
基于图1所示实施例，本申请实施例所提供的目标测温方法的另一种流程，如图3所示，可以包括如下步骤。
S301，获取双目相机采集的可见光图像和热成像图像，其中，双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机。
S302，根据预先标定的双目相机的标定参数，对可见光图像及热成像图像进行图像矫正。
S303，确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。
S304，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差。
S305，根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离。
S306，根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
在本申请实施例的一种实现方式中，电子设备所获取到的可见光图像和热成像图像是原始的可见光图像和热成像图像，需要对可见光图像和热成像图像进行图像矫正。图像矫正是指：根据双目相机标定后获得的标定参数，分别对可见光图像和热成像图像消除畸变和行对准，使得可见光图像及所述热成像图像的成像原点坐标一致、两相机光轴平行、两相机的成像平面共面、极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点必然具有相同的行号，在该行进行一维搜索即可匹配到对应点。
在本申请实施例的一种实现方式中，标定参数包括可见光相机的内外参、热成像相机的内外参，以及可见光相机与热成像相机之间的相对位置关系。相应的，S302具体可以为：根据可见光相机的内外参，对可见光图像进行图像矫正，得到可见光矫正图像；根据热成像相机的内外参，对热成像图像进行图像矫正，得到热成像矫正图像；根据相对位置关系，将可见光矫正图像及热成像矫正图像矫正至同一极平面。
通过上述的图像矫正过程，矫正后的可见光图像和热成像图像在同一极平面上，即目标的极平面对应的图像行数一致。
在本申请实施例的一种实现方式中，双目相机的标定方式，具体可以为：利用预先调整好的温度交替标定板，采用张正友标定法，对双目相机进行标定，其中，温度交替标定板包括黑色块和白色底板，温度交替标定板为：通过温度控制器对黑色块和白色底板的温差进行调整，以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。
在本申请实施例中，双目相机的标定主要采用张正友标定法，由于热成像图像无法区分图像色彩，采用传统的黑白星盘标定板无法实现热成像相机的标定，因此，在本申请实施例中，改善原有的黑白星盘标定板，将温度信息与黑白色相结合，热成像图像中，颜色较深(灰度较大)的为温度较低的目标，颜色较浅(灰度较小)的为温度较高的目标，因此设计了如图4所示的温度交替标定板。其中，温度控制器用于调节温度交替标定板中黑色块和白色底板的温差，黑色块采用隔温材料制作，与白色底板之间采用隔温材料隔离。在利用温度交替标定板进行标定时，预先在一定距离上，通过温度控制器对黑色块和白色底板的温差进行调整，使得热成像相机采集温度交替标定板的图像满足预设星盘状效果，其中，预设星盘状效果为可见亮暗交替、轮廓清晰的星盘状成像效果。在预先调整好温度交替标定板后，利用该温度交替标定板，采用传统的张正友标定法，即可标定可见光相机和热成像相机的内外参，再通过该温度交替标定板在热成像图像和可见光图像上的对应位置关系，计算出可见光相机和热成像相机之间的相对位置关系。
本申请实施例中，确定第一目标区域、第二目标区域，计算指定目标的目标视差，计算指定目标的目标距离，计算指定目标的温度，这些步骤的具体执行可以采用上述实施例中的方式，这里不再赘述。
本申请实施例中，利用温度交替标定板可以快速完成双目相机的自动标定，节省了标定时间。
基于上述方法实施例，本申请实施例提供了一种目标测温装置，如图5所示，该装置可以包括：
获取模块510，用于获取双目相机采集的可见光图像和热成像图像，其中，双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机；
目标区域确定模块520，用于确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域；
视差计算模块530，用于根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，利用预设的位置差计算方法，计算指定目标的目标视差；
距离计算模块540，用于根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离；
温度计算模块550，用于根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
可选的，该装置还可以包括：图像矫正模块，用于根据预先标定的双目相机的标定参数，对可见光图像及热成像图像进行图像矫正；
目标区域确定模块520，具体可以用于确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。
可选的，标定参数包括可见光相机的内外参、热成像相机的内外参，以及可见光相机与热成像相机之间的相对位置关系；
图像矫正模块，具体可以用于根据可见光相机的内外参，对可见光图像进行图像矫正，得到可见光矫正图像；根据热成像相机的内外参，对热成像图像进行图像矫正，得到热成像矫正图像；根据相对位置关系，将可见光矫正图像及热成像矫正图像矫正至同一极平面。
可选的，该装置还可以包括：标定模块，用于利用预先调整好的温度交替标定板，采用张正友标定法，对双目相机进行标定，其中，温度交替标定板包括黑色块和白色底板，温度交替标定板为：通过温度控制器对黑色块和白色底板的温差进行调整，以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。
可选的，目标区域确定模块520，具体可以用于对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；根据第一目标区域的位置，确定热成像图像中的目标匹配区域；基于第一目标区域，在目标匹配区域中进行目标匹配，得到指定目标在热成像图像中的第二目标区域。
可选的，目标区域确定模块520，具体可以用于对可见光图像进行目标检测，确定指定目标在可见光图像中的第一目标区域；对热成像图像进行目标检测，确定热成像图像中各个目标的待匹配区域；将第一目标区域分别与各待匹配区域进行目标匹配，确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。
可选的，温度计算模块550，具体可以用于根据指定目标的目标类型，确定第二目标区域内的感兴趣测温点；从热成像图像中，读取感兴趣测温点的灰度值；根据目标距离及感兴趣测温点的灰度值，计算指定目标的温度。
可选的，该装置还可以包括：显示模块，用于将温度叠加到可见光图像中进行显示。
应用本申请实施例，在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
为了便于理解，下面结合具体的应用场景，对本申请实施例所提供的目标测温方法和目标测温装置进行介绍。
本申请实施例的目标测温方法应用于疫情防控、异常体温目标检测和抓拍场景。在疫情防控期间，地铁、酒店、商场、车站等场景中有大量的人员流动，需要对进出人群进行体温监测，当发现体温异常目标之后，抓拍目标图像并报警，禁止异常目标人员进入场所。
因此在地铁安检口、酒店或商场入口处，架设一台包括可见光相机和热成像相机的双目相机，并在监控人员处设置一台具有显示屏的电子设备。电子设备中包括处理器，处理器主要包括如下7个模块(如图6所示)：双目相机标定模块601、图像矫正模块602、目标检测模块603、目标匹配模块604、目标测距模块605、目标测温位置选取模块606和目标测温模块607。
其中，双目相机标定模块601用于对双目相机进行标定，具体可以采用如图2所示实施例中的方式对双目相机进行标定，这里不再赘述。
图像矫正模块602用于对获取的可见光图像和热成像图像进行图像校正。双目相机标定模块601对双目相机标定后的标定参数存储在图像矫正模块602中，图像矫正模块602可以根据可见光相机和热成像相机的内外参，对可见光图像和热成像图像进行图像校正，同时根据可见光相机和热成像相机之间的相对位置关系，将可见光图像和热成像图像矫正到同一个极平面上，即目标的极平面对应的图像行数一致，如图7所示。
目标检测模块603用于在可见光图像上对需要测温的人员进行检测，具体可采用深度学习检测网络等多种算法，获取人员的目标框(tx,ty,w,h)，其中tx、ty为目标框左上角坐标，w、h为目标框的宽和高，如图7所示。
目标匹配模块604用于对热成像图像进行目标匹配。以可见光tx、ty坐标为起始点，在热成像图像上找到目标的同一极平面，并在热成像图像上选取W*h的一段矩形区域，其中W标识原图的宽、h标识目标框的高；将可见光图像中的目标框、热成像图像中的矩形区域，通过目标轮廓边界灰度值变化等信息进行目标匹配，完成目标匹配后，输出热成像图像上的目标框(Rx,Ry,Rw,Rh)。
目标测距模块605用于基于可见光图像上的目标框和热成像图像上的目标框的视差来计算目标距离，具体的，将可见光图像和热成像图像叠到一起，计算目标的相对位置差XL，该位置差即为目标视差，计算出目标视差XL后，使用双目视差测距公式(公式(1))计算目标距离。
目标测温位置选取模块606用于从热成像图像上的目标框(Rx,Ry,Rw,Rh)内寻找出感兴趣测温点。对于人员来讲，假设感兴趣测温点为目标框(Rx,Ry,Rw,Rh)内灰度值最低的点，读取该感兴趣测温点的灰度值。
目标测温模块607用于根据目标距离和该感兴趣测温点的灰度值，计算目标温度。
当监测到人员目标温度异常时，触发抓拍机制，抓拍温度异常的人员目标并在显示屏显示的可见光图像中显示出该人员目标的温度，进行报警。
本申请实施例还提供了一种电子设备，如图8所示，包括处理器801和存储器802，其中，存储器802存储有能够被处理器801执行的机器可执行指令，机器可执行指令由处理器801加载并执行，以实现本申请实施例提供的目标测温方法。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器802与处理器801之间可以通过有线连接或者无线连接的方式进行数据传输，并且电子设备与其他设备之间可以通过有线通信接口或者无线通信接口进行通信。图8所示的仅为通过总线进行数据传输的示例，不作为具体连接方式的限定。
本申请实施例中，处理器通过读取存储器中存储的机器可执行指令，并通过加载和执行机器可执行指令，能够实现：在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
另外，本申请实施例提供了一种机器可读存储介质，机器可读存储介质内存储有机器可执行指令，机器可执行指令在被处理器加载并执行时，实现本申请实施例提供的目标测温方法。
本申请实施例中，机器可读存储介质存储有在运行时执行本申请实施例所提供的目标测温方法的机器可执行指令，因此能够实现：在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一目标测温方法。
本申请实施例提供了一种测温系统，如图9所示，该测温系统包括双目相机910及处理器920；双目相机910包括可见光相机911及热成像相机912；
可见光相机911，用于采集可见光图像；
热成像相机912，用于采集热成像图像；
处理器920，用于获取双目相机910采集的可见光图像和热成像图像；确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域；根据第一目标区域的位置及第二目标区域的位置，利用预设的位置差计算方法，计算指定目标的目标视差；根据目标视差，利用预设的双目视差测距方法，计算指定目标的目标距离；根据目标距离及第二目标区域内的灰度值，计算指定目标的温度。
本申请实施例所提供的测温系统可以为分布式系统，即双目相机和处理器为两个独立分布的设备；本申请实施例所提供的测温系统也可以为一个设备，即双目相机和处理器集成在一个硬件设备中。
应用本申请实施例，处理器在获取到可见光图像和热成像图像后，确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域，不论指定目标为何种姿态特征，指定目标在可见光图像和热成像图像中的目标区域大小相同或相近，根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置，所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差，而该目标视差实际是由指定目标与双目相机间的目标距离所决定的，因此利用双目视差测量方法可以计算出指定目标的目标距离，目标距离并不会受到姿态特征变化的影响，因此，计算得到的目标距离保证与实际的目标距离更为接近，从而根据目标距离及第二目标区域内的灰度值，计算出的指定目标的温度更为准确，提高了目标测温的精度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于目标测温装置、电子设备、机器可读存储介质、计算机程序产品和测温系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (10)
1.一种目标测温方法，其特征在于，所述方法包括：
获取双目相机采集的可见光图像和热成像图像，其中，所述双目相机包括用于采集所述可见光图像的可见光相机、以及用于采集所述热成像图像的热成像相机；
确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域；
根据所述第一目标区域在所述可见光图像中的位置及所述第二目标区域在所述热成像图像中的位置，利用预设的位置差计算方法，计算所述指定目标的目标视差；
根据所述目标视差，利用预设的双目视差测距方法，计算所述指定目标的目标距离；
根据所述目标距离及所述第二目标区域内的灰度值，计算所述指定目标的温度。
2.根据权利要求1所述的方法，其特征在于，在所述确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域之前，所述方法还包括：
根据预先标定的所述双目相机的标定参数，对所述可见光图像及所述热成像图像进行图像矫正；
所述确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域，包括：
确定指定目标在矫正后的所述可见光图像中的第一目标区域、以及所述指定目标在矫正后的所述热成像图像中的第二目标区域。
3.根据权利要求2所述的方法，其特征在于，所述标定参数包括所述可见光相机的内外参、所述热成像相机的内外参，以及所述可见光相机与所述热成像相机之间的相对位置关系；
所述根据预先标定的所述双目相机的标定参数，对所述可见光图像及所述热成像图像进行图像矫正，包括：
根据所述可见光相机的内外参，对所述可见光图像进行图像矫正，得到可见光矫正图像；
根据所述热成像相机的内外参，对所述热成像图像进行图像矫正，得到热成像矫正图像；
根据所述相对位置关系，将所述可见光矫正图像及所述热成像矫正图像矫正至同一极平面。
4.根据权利要求2所述的方法，其特征在于，所述双目相机的标定方式，包括：
利用预先调整好的温度交替标定板，采用张正友标定法，对所述双目相机进行标定，其中，所述温度交替标定板包括黑色块和白色底板，所述温度交替标定板为：通过温度控制器对所述黑色块和所述白色底板的温差进行调整，以使所述热成像相机采集所述温度交替标定板的图像满足预设星盘状效果后得到。
5.根据权利要求1或2所述的方法，其特征在于，所述确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域，包括：
对所述可见光图像进行目标检测，确定指定目标在所述可见光图像中的第一目标区域；
根据所述第一目标区域的位置，确定所述热成像图像中的目标匹配区域；
基于所述第一目标区域，在所述目标匹配区域中进行目标匹配，得到所述指定目标在所述热成像图像中的第二目标区域。
6.根据权利要求1或2所述的方法，其特征在于，所述确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域，包括：
对所述可见光图像进行目标检测，确定指定目标在所述可见光图像中的第一目标区域；
对所述热成像图像进行目标检测，确定所述热成像图像中各个目标的待匹配区域；
将所述第一目标区域分别与各待匹配区域进行目标匹配，确定与所述第一目标区域相匹配的待匹配区域为所述指定目标在所述热成像图像中的第二目标区域。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标距离及所述第二目标区域内的灰度值，计算所述指定目标的温度，包括：
根据所述指定目标的目标类型，确定所述第二目标区域内的感兴趣测温点；
从所述热成像图像中，读取所述感兴趣测温点的灰度值；
根据所述目标距离及所述感兴趣测温点的灰度值，计算所述指定目标的温度。
8.根据权利要求1所述的方法，其特征在于，在所述根据所述目标距离及所述第二目标区域内的灰度值，计算所述指定目标的温度之后，所述方法还包括：
将所述温度叠加到所述可见光图像中进行显示。
9.一种目标测温装置，其特征在于，所述装置包括：
获取模块，用于获取双目相机采集的可见光图像和热成像图像，其中，所述双目相机包括用于采集所述可见光图像的可见光相机、以及用于采集所述热成像图像的热成像相机；
目标区域确定模块，用于确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域；
视差计算模块，用于根据所述第一目标区域在所述可见光图像中的位置及所述第二目标区域在所述热成像图像中的位置，利用预设的位置差计算方法，计算所述指定目标的目标视差；
距离计算模块，用于根据所述目标视差，利用预设的双目视差测距方法，计算所述指定目标的目标距离；
温度计算模块，用于根据所述目标距离及所述第二目标区域内的灰度值，计算所述指定目标的温度。
10.一种测温系统，其特征在于，所述测温系统包括双目相机及处理器；所述双目相机包括可见光相机及热成像相机；
所述可见光相机，用于采集可见光图像；
所述热成像相机，用于采集热成像图像；
所述处理器，用于获取所述双目相机采集的可见光图像和热成像图像；确定指定目标在所述可见光图像中的第一目标区域、以及所述指定目标在所述热成像图像中的第二目标区域；根据所述第一目标区域的位置及所述第二目标区域的位置，利用预设的位置差计算方法，计算所述指定目标的目标视差；根据所述目标视差，利用预设的双目视差测距方法，计算所述指定目标的目标距离；根据所述目标距离及所述第二目标区域内的灰度值，计算所述指定目标的温度。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590792.8A CN113834571A (zh) | 2020-06-24 | 2020-06-24 | 一种目标测温方法、装置及测温系统 |
| PCT/CN2021/102141 WO2021259365A1 (zh) | 2020-06-24 | 2021-06-24 | 一种目标测温方法、装置及测温系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590792.8A CN113834571A (zh) | 2020-06-24 | 2020-06-24 | 一种目标测温方法、装置及测温系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113834571A true CN113834571A (zh) | 2021-12-24 |
Family
ID=78964761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010590792.8A Pending CN113834571A (zh) | 2020-06-24 | 2020-06-24 | 一种目标测温方法、装置及测温系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113834571A (zh) |
| WO (1) | WO2021259365A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419076B (zh) * | 2022-03-28 | 2022-08-05 | 杭州微影软件有限公司 | 一种数据处理方法及装置 |
| CN115597551B (zh) * | 2022-12-14 | 2023-04-07 | 成都量芯集成科技有限公司 | 一种手持激光辅助双目扫描装置及方法 |
| CN116754077A (zh) * | 2023-08-14 | 2023-09-15 | 川开电气有限公司 | 一种配电柜视频监控测温系统及方法 |
| CN118013448B (zh) * | 2024-04-10 | 2024-06-21 | 湖南共农生物科技有限公司 | 基于物联网的数字化农业饲养数据采集方法及系统 |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067710A (zh) * | 2006-01-20 | 2007-11-07 | 红外线解决方案公司 | 具有可见光与红外图像混合的相机 |
| WO2009057288A1 (ja) * | 2007-11-02 | 2009-05-07 | Panasonic Corporation | 撮像装置 |
| US20120218418A1 (en) * | 2009-11-23 | 2012-08-30 | Flir Systems Ab | Camera with two visual imaging subsystems for determining parallax and for focusing an infrared imaging subsystem |
| CN103245322A (zh) * | 2013-04-10 | 2013-08-14 | 南京航空航天大学 | 一种基于双目立体视觉的测距方法及系统 |
| CN204496642U (zh) * | 2015-04-08 | 2015-07-22 | 天津艾思科尔科技有限公司 | 一种双波段图像型火灾探测装置 |
| CN105261029A (zh) * | 2015-11-20 | 2016-01-20 | 中国安全生产科学研究院 | 基于双目视觉进行火源定位和灭火的方法及其机器人 |
| CN105354851A (zh) * | 2015-11-20 | 2016-02-24 | 中国安全生产科学研究院 | 对距离自适应的红外与可见光视频融合方法及融合系统 |
| CN205793054U (zh) * | 2015-11-20 | 2016-12-07 | 中国安全生产科学研究院 | 对距离自适应的红外与可见光视频融合系统 |
| CN106989824A (zh) * | 2017-04-26 | 2017-07-28 | 华中科技大学 | 一种红外测温成像装置及检测方法 |
| CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
| CN107169405A (zh) * | 2017-03-17 | 2017-09-15 | 上海云从企业发展有限公司 | 基于双目摄像机活体识别的方法及装置 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN207366082U (zh) * | 2017-10-31 | 2018-05-15 | 深圳领标科技开发有限公司 | 一种热成像监控测温预警系统 |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN108254738A (zh) * | 2018-01-31 | 2018-07-06 | 沈阳上博智像科技有限公司 | 避障告警方法、装置及存储介质 |
| CN207798262U (zh) * | 2017-12-06 | 2018-08-31 | 杭州柯林电气股份有限公司 | 基于红外可见光的变压器温度在线监测系统 |
| CN108688565A (zh) * | 2018-06-06 | 2018-10-23 | 钧捷科技（北京）有限公司 | 一种高动态双目cmos摄像系统及使用方法 |
| CN109059868A (zh) * | 2018-06-29 | 2018-12-21 | 电子科技大学 | 一种基于自适应匹配窗口的双目测距方法 |
| CN109101935A (zh) * | 2018-08-20 | 2018-12-28 | 深圳市中视典数字科技有限公司 | 基于热成像相机的人物动作捕捉系统和方法 |
| CN109472826A (zh) * | 2018-10-26 | 2019-03-15 | 国网四川省电力公司电力科学研究院 | 基于双目视觉的定位方法及装置 |
| CN109798981A (zh) * | 2019-02-18 | 2019-05-24 | 浙江大华技术股份有限公司 | 温度确定方法、测温设备、存储介质 |
| CN110110629A (zh) * | 2019-04-25 | 2019-08-09 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
| WO2019182355A1 (ko) * | 2018-03-20 | 2019-09-26 | 주식회사 엠테이크 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
| CN110361092A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像配准方法、装置及热成像摄像机 |
| CN111220277A (zh) * | 2020-02-27 | 2020-06-02 | 北京遥感设备研究所 | 一种智能红外体温筛查系统 |
| CN111310692A (zh) * | 2020-02-25 | 2020-06-19 | 云从科技集团股份有限公司 | 一种检测对象管理方法、系统、机器可读介质及设备 |
| CN111327788A (zh) * | 2020-02-28 | 2020-06-23 | 北京迈格威科技有限公司 | 相机组的同步方法、测温方法、装置及电子系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101012691B1 (ko) * | 2010-07-05 | 2011-02-09 | 주훈 | 3차원 입체 열상 카메라 시스템 |
| EP2530442A1 (en) * | 2011-05-30 | 2012-12-05 | Axis AB | Methods and apparatus for thermographic measurements. |
| CN104374547B (zh) * | 2014-11-17 | 2023-12-19 | 国家电网公司 | 可见光相机与红外热像仪相机参数联合标定的方法及装置 |
| CN111062990B (zh) * | 2019-12-13 | 2023-06-02 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
| CN111127445A (zh) * | 2019-12-26 | 2020-05-08 | 智洋创新科技股份有限公司 | 基于深度学习的配网线路高温区域检测方法与系统 |
| CN111202504A (zh) * | 2020-02-12 | 2020-05-29 | 上海云从汇临人工智能科技有限公司 | 一种异常对象管理方法、系统、机器可读介质及设备 |
| CN111323125B (zh) * | 2020-02-28 | 2021-10-22 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
| CN111795744A (zh) * | 2020-05-25 | 2020-10-20 | 无锡海鸿信息技术有限公司 | 基于双目摄像头测距的红外测温补偿方法 |
-
2020
- 2020-06-24 CN CN202010590792.8A patent/CN113834571A/zh active Pending
-
2021
- 2021-06-24 WO PCT/CN2021/102141 patent/WO2021259365A1/zh active Application Filing
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067710A (zh) * | 2006-01-20 | 2007-11-07 | 红外线解决方案公司 | 具有可见光与红外图像混合的相机 |
| WO2009057288A1 (ja) * | 2007-11-02 | 2009-05-07 | Panasonic Corporation | 撮像装置 |
| US20120218418A1 (en) * | 2009-11-23 | 2012-08-30 | Flir Systems Ab | Camera with two visual imaging subsystems for determining parallax and for focusing an infrared imaging subsystem |
| CN103245322A (zh) * | 2013-04-10 | 2013-08-14 | 南京航空航天大学 | 一种基于双目立体视觉的测距方法及系统 |
| CN204496642U (zh) * | 2015-04-08 | 2015-07-22 | 天津艾思科尔科技有限公司 | 一种双波段图像型火灾探测装置 |
| CN105261029A (zh) * | 2015-11-20 | 2016-01-20 | 中国安全生产科学研究院 | 基于双目视觉进行火源定位和灭火的方法及其机器人 |
| CN105354851A (zh) * | 2015-11-20 | 2016-02-24 | 中国安全生产科学研究院 | 对距离自适应的红外与可见光视频融合方法及融合系统 |
| CN205793054U (zh) * | 2015-11-20 | 2016-12-07 | 中国安全生产科学研究院 | 对距离自适应的红外与可见光视频融合系统 |
| CN107169405A (zh) * | 2017-03-17 | 2017-09-15 | 上海云从企业发展有限公司 | 基于双目摄像机活体识别的方法及装置 |
| CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
| CN106989824A (zh) * | 2017-04-26 | 2017-07-28 | 华中科技大学 | 一种红外测温成像装置及检测方法 |
| CN207366082U (zh) * | 2017-10-31 | 2018-05-15 | 深圳领标科技开发有限公司 | 一种热成像监控测温预警系统 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN207798262U (zh) * | 2017-12-06 | 2018-08-31 | 杭州柯林电气股份有限公司 | 基于红外可见光的变压器温度在线监测系统 |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN108254738A (zh) * | 2018-01-31 | 2018-07-06 | 沈阳上博智像科技有限公司 | 避障告警方法、装置及存储介质 |
| WO2019182355A1 (ko) * | 2018-03-20 | 2019-09-26 | 주식회사 엠테이크 | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 |
| CN110361092A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像配准方法、装置及热成像摄像机 |
| CN108688565A (zh) * | 2018-06-06 | 2018-10-23 | 钧捷科技（北京）有限公司 | 一种高动态双目cmos摄像系统及使用方法 |
| CN109059868A (zh) * | 2018-06-29 | 2018-12-21 | 电子科技大学 | 一种基于自适应匹配窗口的双目测距方法 |
| CN109101935A (zh) * | 2018-08-20 | 2018-12-28 | 深圳市中视典数字科技有限公司 | 基于热成像相机的人物动作捕捉系统和方法 |
| CN109472826A (zh) * | 2018-10-26 | 2019-03-15 | 国网四川省电力公司电力科学研究院 | 基于双目视觉的定位方法及装置 |
| CN109798981A (zh) * | 2019-02-18 | 2019-05-24 | 浙江大华技术股份有限公司 | 温度确定方法、测温设备、存储介质 |
| CN110110629A (zh) * | 2019-04-25 | 2019-08-09 | 北京工业大学 | 面向室内环境控制的人员信息检测方法与系统 |
| CN111310692A (zh) * | 2020-02-25 | 2020-06-19 | 云从科技集团股份有限公司 | 一种检测对象管理方法、系统、机器可读介质及设备 |
| CN111220277A (zh) * | 2020-02-27 | 2020-06-02 | 北京遥感设备研究所 | 一种智能红外体温筛查系统 |
| CN111327788A (zh) * | 2020-02-28 | 2020-06-23 | 北京迈格威科技有限公司 | 相机组的同步方法、测温方法、装置及电子系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021259365A1 (zh) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113834571A (zh) | 一种目标测温方法、装置及测温系统 | |
| US10129490B2 (en) | Systems and approaches for thermal image corrections | |
| US10504244B2 (en) | Systems and methods to improve camera intrinsic parameter calibration | |
| CN111339951A (zh) | 体温测量方法、装置及系统 | |
| US7332716B2 (en) | IR camera | |
| EP3033875B1 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
| TWI528019B (zh) | 用於物件包裝之物件三維尺寸估測系統及方法 | |
| EP2194725B1 (en) | Method and apparatus for correcting a depth image | |
| EP4273794A1 (en) | Image fusion method and apparatus, image processing device, and binocular system | |
| US20150049783A1 (en) | Apparatus and method to calculate energy dissipated from an object | |
| CN111323125B (zh) | 一种测温方法、装置及计算机存储介质、电子设备 | |
| KR20200018553A (ko) | 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법 | |
| CN113358231B (zh) | 红外测温方法、装置及设备 | |
| Chen et al. | 3D reconstruction from IR thermal images and reprojective evaluations | |
| CN111442845A (zh) | 基于距离补偿的红外测温方法、装置及计算机存储介质 | |
| CN115797998A (zh) | 一种基于图像融合的双波段智能测温装置和智能测温方法 | |
| TWI468658B (zh) | 鏡頭檢測裝置及方法 | |
| CN116630444A (zh) | 一种相机与激光雷达融合校准的优化方法 | |
| CN116563391B (zh) | 一种基于机器视觉的激光结构自动标定方法 | |
| CN111721201A (zh) | 温度检测方法 | |
| CN111414967A (zh) | 提高测温系统鲁棒性的方法及监测系统 | |
| CN113405664B (zh) | 一种测温方法、测温设备及机器可读存储介质 | |
| CN114415129A (zh) | 基于多项式模型的视觉与毫米波雷达联合标定方法及装置 | |
| KR102039902B1 (ko) | 원격 기자재 정도 검사 시스템 및 방법 | |
| EP2874117A1 (en) | Method and apparatus for determining position related properties of a motion video camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |