CN113358231A - 红外测温方法、装置及设备 - Google Patents
红外测温方法、装置及设备 Download PDFInfo
- Publication number
- CN113358231A CN113358231A CN202010153100.3A CN202010153100A CN113358231A CN 113358231 A CN113358231 A CN 113358231A CN 202010153100 A CN202010153100 A CN 202010153100A CN 113358231 A CN113358231 A CN 113358231A
- Authority
- CN
- China
- Prior art keywords
- distance
- temperature
- target
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005259 measurement Methods 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims description 50
- 238000004861 thermometry Methods 0.000 claims description 40
- 238000013507 mapping Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000004927 fusion Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/70—Passive compensation of pyrometer measurements, e.g. using ambient temperature sensing or sensing of temperature within housing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种红外测温方法、装置、设备及存储介质,属于图像处理领域。所述方法包括:基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度。基于目标图像,确定所述目标的关键点坐标。基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,所述第一距离是指所述目标与所述红外测温设备的距离。基于所述第一测量温度和所述第一距离,确定所述目标的实际温度。如此,可以将目标图像测距与灰度图像测温结合起来,不仅减小了距离对测量温度的影响,还避免了在距离不满足要求时得到的测量温度不准确的问题,提高了测温精度和测温效率。
Description
技术领域
本申请涉及图像处理领域,特别涉及一种红外测温方法、装置及设备。
背景技术
在测量温度时,通常需要用到温度计,传统的水银温度计需要一段时间才能测出温度,测温效率较低,因此,目前市面上出现了基于红外光的红外测温设备,测温比较快,且在各种通道口岸都可以使用。但由于目标与红外测温设备之间的距离会影响红外测温设备测量的温度,在目标与红外测温设备之间的距离发生变化的情况下,基于红外测温设备测量的温度也会发生变化,且在不同距离下测量的温度可能不同,因此无法准确确定目标的温度。
相关技术中,可以在红外测温设备中集成电容式距离传感器,用于确定目标与红外测温设备之间的距离,以便在目标处于合适的距离的情况下,可以得到更加准确的温度。但这种方法需要不断调整红外测温设备与目标之间的距离,若该距离不满足要求,得到的温度可能不准确,从而影响测温精度和测温效率。
发明内容
本申请提供了一种红外测温方法、装置及设备,可以解决相关技术在距离不满足要求的情况下无法测量温度,从而影响测温效率的问题。所述技术方案如下:
一方面,提供了一种红外测温方法,所述方法包括:
基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度;
基于目标图像,确定所述目标的关键点坐标;
基于所述关键点坐标和红外测温设备的配置信息,确定第一距离,所述第一距离是指所述目标与所述红外测温设备的距离;
基于所述第一测量温度和所述第一距离,确定所述目标的实际温度。
在本申请一种可能的实现方式中,
所述目标图像包括所述灰度图像;或者,
所述目标图像包括可见光图像;或者,
所述目标图像包括基于所述灰度图像和所述可见光图像确定的融合图像。
在本申请一种可能的实现方式中,所述目标的关键点坐标包括第一关键点的坐标和第二关键点的坐标,所述第一关键点和所述第二关键点为所述目标的关键点中实际距离为已知的任意两个关键点,所述配置信息包括焦距和像素尺寸;
所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,包括:
基于所述第一关键点的坐标和所述第二关键点的坐标,确定所述第一关键点与所述第二关键点在所述目标图像中的水平距离、以及确定所述第一关键点与所述第二关键点在所述目标图像中的垂直距离,得到第一水平距离和第一垂直距离;
根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,所述第二距离为在所述目标图像中所述第一关键点和所述第二关键点之间的距离;
根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,所述第一实际距离是指所述第一关键点与所述第二关键点的实际距离。
在本申请一种可能的实现方式中,所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,所述根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离之前,还包括:
若基于所述可见光图像确定所述目标的面部区域不是正面图像,确定所述目标的偏转角和俯仰角;
基于所述偏转角对所述第一水平距离进行校正,以及基于所述俯仰角对所述第一垂直距离进行校正,得到第二水平距离和第二垂直距离;
所述根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,包括:
根据所述第二水平距离、所述第二垂直距离和所述像素尺寸,确定所述第二距离。
在本申请一种可能的实现方式中,所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离之前,还包括:
若基于所述可见光图像确定所述目标的面部区域不是正面图像,基于所述关键点坐标,对所述面部区域进行校正;
确定所述校正后的面部区域的关键点坐标;
所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,包括:
基于所述校正后的面部区域的关键点坐标和所述配置信息,确定所述第一距离。
在本申请一种可能的实现方式中,所述根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,包括:
将所述第一实际距离与所述焦距相乘,得到第一数值;
用所述第一数值与所述第二距离相除,得到第二数值;
将所述第二数值确定为所述第一距离。
在本申请一种可能的实现方式中,所述基于所述第一测量温度和所述第一距离,确定所述目标的实际温度,包括:
基于所述第一测量温度和所述第一距离,从第一映射关系中确定对应的温度,所述第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系;
将所确定的温度确定为所述目标的实际温度。
在本申请一种可能的实现方式中,所述基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度,包括:
确定所述灰度图像中所述目标的面部区域;
获取环境温度;
基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,所述指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
在本申请一种可能的实现方式中,所述目标图像包括可见光图像,所述确定所述灰度图像中所述目标的面部区域,包括:
确定所述可见光图像中所述目标的第一面部区域坐标,所述第一面部区域坐标用于指示所述可见光图像中所述目标的面部区域;
基于所述第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,所述第二映射关系用于指示所述灰度图像中像素点的坐标与所述可见光图像中像素点的坐标的对应关系;
基于所述第二面部区域坐标,确定所述灰度图像中所述目标的面部区域。
在本申请一种可能的实现方式中,所述面部区域内的像素点的数量为多个,基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,包括:
基于所述环境温度、多个像素点中每个像素点的灰度值、以及所述指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度;
基于所述多个像素点中每个像素点的第二测量温度,确定所述第一测量温度。
另一方面,提供了一种红外测温装置,所述红外测温装置包括测温模块、图像检测模块、测距模块和温度补偿模块;
所述测温模块,用于基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度;
所述图像检测模块,用于基于目标图像,确定所述目标的关键点坐标;
所述测距模块,用于基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,所述第一距离是指所述目标与所述红外测温设备的距离;
所述温度补偿模块,用于基于所述第一测量温度和所述第一距离,确定所述目标的实际温度。
在本申请一种可能的实现方式中,
所述目标图像包括所述灰度图像;或者,
所述目标图像包括可见光图像;或者,
所述目标图像包括基于所述灰度图像和所述可见光图像确定的融合图像。
在本申请一种可能的实现方式中,所述测距模块用于:
所述目标的关键点坐标包括第一关键点的坐标和第二关键点的坐标,所述第一关键点和所述第二关键点为所述目标的关键点中实际距离为已知的任意两个关键点,所述配置信息包括焦距和像素尺寸;
基于所述第一关键点的坐标和所述第二关键点的坐标,确定所述第一关键点与所述第二关键点在所述目标图像中的水平距离、以及确定所述第一关键点与所述第二关键点在所述目标图像中的垂直距离,得到第一水平距离和第一垂直距离;
根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,所述第二距离为在所述目标图像中所述第一关键点和所述第二关键点之间的距离;
根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,所述第一实际距离是指所述第一关键点与所述第二关键点的实际距离。
在本申请一种可能的实现方式中,所述测距模块还用于:
所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,若基于所述可见光图像确定所述目标的面部区域不是正面图像,确定所述目标的偏转角和俯仰角;
基于所述偏转角对所述第一水平距离进行校正,以及基于所述俯仰角对所述第一垂直距离进行校正,得到第二水平距离和第二垂直距离;
根据所述第二水平距离、所述第二垂直距离和所述像素尺寸,确定所述第二距离。
在本申请一种可能的实现方式中,所述测距模块还用于:
所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,若基于所述可见光图像确定所述目标的面部区域不是正面图像,基于所述关键点坐标,对所述面部区域进行校正;
确定所述校正后的面部区域的关键点坐标;
基于所述校正后的面部区域的关键点坐标和所述配置信息,确定所述第一距离。
在本申请一种可能的实现方式中,所述测距模块用于:
将所述第一实际距离与所述焦距相乘,得到第一数值;
用所述第一数值与所述第二距离相除,得到第二数值;
将所述第二数值确定为所述第一距离。
在本申请一种可能的实现方式中,所述温度补偿模块用于:
基于所述第一测量温度和所述第一距离,从第一映射关系中确定对应的温度,所述第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系;
将所确定的温度确定为所述目标的实际温度。
在本申请一种可能的实现方式中,所述测温模块用于:
确定所述灰度图像中所述目标的面部区域;
获取环境温度;
基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,所述指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
在本申请一种可能的实现方式中,所述测温模块用于:
所述目标图像包括可见光图像,确定所述可见光图像中所述目标的第一面部区域坐标,所述第一面部区域坐标用于指示所述可见光图像中所述目标的面部区域;
基于所述第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,所述第二映射关系用于指示所述灰度图像中像素点的坐标与所述可见光图像中像素点的坐标的对应关系;
基于所述第二面部区域坐标,确定所述灰度图像中所述目标的面部区域。
在本申请一种可能的实现方式中,所述测温模块用于:
所述面部区域内的像素点的数量为多个,基于所述环境温度、多个像素点中每个像素点的灰度值、以及所述指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度;
基于所述多个像素点中每个像素点的第二测量温度,确定所述第一测量温度。
另一方面,提供了一种红外测温设备,所述红外测温设备包括图像传感器和处理器;
所述图像传感器用于采集灰度图像;
所述处理器用于对所述灰度图像进行处理,确定待检测目标的第一测量温度,并基于目标图像、所述红外测温设备的配置信息和所述第一测量温度,实现上述所述的红外测温方法的步骤。
在本申请一种可能的实现方式中,所述红外测温设备还包括温度传感器,所述温度传感器用于获取环境温度,所述环境温度用于所述处理器确定所述第一测量温度。
在本申请一种可能的实现方式中,在所述目标图像包括可见光图像的情况下,所述图像传感器包括双目摄像装置,所述双目摄像装置用于采集所述灰度图像和所述可见光图像。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的红外测温方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的红外测温方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果:
基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度。由于待检测的目标与红外测温设备的距离会影响该第一测量温度,因此可以基于目标图像确定目标的关键点坐标,然后基于该关键点坐标和红外测温设备的配置信息,确定目标与红外测温设备的第一距离,再基于第一测量温度和第一距离,确定目标的实际温度。如此,不需要控制目标与红外测温设备的距离,基于目标图像就可以确定第一距离,并可以基于该第一距离对第一测量温度进行补偿,得到目标的实际温度,将目标图像测距与灰度图像测温结合起来,不仅减小了距离对测量温度的影响,还避免了在距离不满足要求时得到的测量温度不准确的问题,提高了测温精度和测温效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种红外测温设备的结构示意图;
图2是根据一示例性实施例示出的一种红外测温方法的流程图;
图3是根据一示例性实施例示出的一种测距的示意图;
图4是根据另一示例性实施例示出的一种红外测温方法的流程图;
图5是根据另一示例性实施例示出的一种红外测温方法的流程图;
图6是根据另一示例性实施例示出的一种红外测温方法的流程图;
图7是根据一示例性实施例示出的一种红外测温装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的红外测温方法进行详细的解释说明之前,先对本申请实施例提供的红外测温方法的执行主体进行介绍。
请参考图1,图1是根据一示例性实施例示出的一种红外测温设备的结构示意图。本申请实施例提供的红外测温方法的执行主体为红外测温设备100,该红外测温设备100可以包括图像传感器101和处理器102。
其中,该图像传感器101用于采集灰度图像。
在实施中,图像传感器101采集到灰度图像后,可以将该灰度图像发送至处理器。
其中,该处理器102用于对灰度图像进行处理,确定待检测的目标的第一测量温度,并基于目标图像、红外测温设备100的配置信息和第一测量温度,确定目标的实际温度。
作为一种示例,红外测温设备100还可以包括温度传感器103,该温度传感器103用于获取环境温度,该环境温度用于处理器102确定第一测量温度。
在实施中,温度传感器获取到环境温度后,会将环境温度发送至处理器。
在一种可能的实现方式中,在目标图像包括可见光图像的情况下,红外测温设备100还可以包括双目摄像装置,该双目摄像装置用于通过图像传感器101 采集灰度图像和可见光图像。
在实施中,该双目摄像装置可以包括两路摄像头,一路用于采集可见光图像,另一路用于采集灰度图像。
进一步地,在目标图像包括融合图像的情况下,处理器102可以用于将灰度图像和可见光图像进行图像融合,得到融合图像,将融合图像确定为目标图像,然后基于目标图像、红外测温设备的配置信息和第一测量温度,确定目标的实际温度。
也就是说,双目摄像装置通过图像传感器采集到的可见光图像和灰度图像后,可以将可见光图像和灰度图像发送至处理器进行图像融合处理。
在另一种可能的实现方式中,红外测温设备100可以包括单目摄像装置,该单目摄像装置用于通过图像传感器101采集灰度图像,并将该灰度图像发送至处理器,以便于处理器对该灰度图像进行处理,实现本申请实施例提供的红外测温方法。
本领域技术人员应能理解上述红外测温设备仅为举例,其他现有的或今后可能出现的红外测温设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
介绍完本申请实施例提供的红外测温方法的执行主体后,接下来对本申请实施例提供的红外测温方法进行详细的解释说明。
图2是根据一示例性实施例示出的一种红外测温方法的流程图,该方法应用于图1所示的红外测温设备中。请参考图2,该方法可以包括如下步骤:
步骤201:基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度。
其中,灰度图像是基于红外光通过图像传感器得到的图像,是没有色彩信息的。
在一种可能的实现方式中,本步骤的具体实现可以包括:确定灰度图像中目标的面部区域。获取环境温度,基于环境温度、面部区域内的像素点的灰度值、以及指定函数关系,确定第一测量温度,指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
作为一种示例,红外测温设备还可以包括温度传感器,通过该温度传感器可以获取环境温度。
由于环境温度、灰度值与测量温度三者之间的函数关系可以预先确定并存储在红外测温设备中,且基于该三者之间的指定函数关系,在已知其中两个参数的情况下可以确定另一个参数。因此,为了确定测量温度,可以先确定环境温度和灰度值,然后基于环境温度、灰度值和指定函数关系,可以确定测量温度。在本申请实施例中,可以直接获取环境温度,然后在灰度图像中确定目标的面部区域,基于该指定函数关系,在已知环境温度和面部区域内的像素点的灰度值的情况下,可以确定第一测量温度。
在实施中,确定灰度图像中目标的面部区域可以包括如下两种实现方式:
第一种实现方式:若红外测温设备包括可见光图像采集单元,则可以采集到可见光图像。如此,可以确定可见光图像中目标的第一面部区域坐标,第一面部区域坐标用于指示可见光图像中目标的面部区域。基于第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,第二映射关系用于指示灰度图像中像素点的坐标与可见光图像中像素点的坐标的对应关系。基于第二面部区域坐标,确定灰度图像中目标的面部区域。
其中,可见光图像和灰度图像可以是红外测温设备同时采集的。作为一种示例,红外测温设备的可见光图像采集单元接收到可见光信号,可以将可见光信号转换为对应的电信号,然后对该电信号进行图像信号处理,得到数字化的可见光图像。红外测温设备的灰度图像采集单元接收到物体发出的红外光信号,可以将红外光信号转换为对应的电信号,然后对该电信号进行图像信号处理,得到数字化的灰度图像。
也就是说,可以先确定可见光图像中目标的面部区域对应的第一面部区域坐标,然后基于该第一面部区域坐标,以及灰度图像中像素点的坐标与可见光图像中像素点的坐标的对应关系,确定灰度图像中目标的第二面部区域坐标,进而确定灰度图像中目标的面部区域。
在实施中,可以通过采用CNN的面部检测模型确定可见光图像中目标的第一面部区域坐标。示例性地,需要先对CNN模型进行训练,得到面部检测模型,然后将可见光图像输入该面部检测模型中,该面部检测模型可以输出第一面部区域坐标。
作为一种示例,可以采集多个图像样本,并标定出每个图像样本中目标的第一面部区域坐标,得到多个第一面部区域坐标,将一个图像样本和该图像样本中标定的目标的第一面部区域坐标作为一组训练数据,进而确定多组训练数据。然后将多组训练数据输入CNN模型中进行模型训练,输出图像样本的预测的第一面部区域坐标,确定该预测的第一面部区域坐标与标定的第一面部区域坐标之间的差值,基于该差值对CNN模型的模型参数进行调整,直到预测的第一面部区域坐标与标定的第一面部区域坐标之间的差值小于差值阈值,可以认为该CNN模型的精度已经达到要求,确定CNN模型的训练已经完成,可以将当前的CNN模型确定为面部检测模型,将当前的模型参数确定为该面部检测模型的模型参数。
在实施中,得到面部检测模型后,可以将可见光图像直接输入该面部检测模型中,通过输入层、卷积层、池化层和全连接层对可见光图像进行处理后,可以从该面部检测模型的输出层输出关键点坐标。
需要说明的是,上述仅是以该面部检测模型包括输入层、卷积层、池化层、全连接层和输出层为例进行说明。在其他实施例中,面部检测模型还可以包括上采样层等其他结构,本申请实施例对此不作限定。
需要说明的是,上述仅是以通过面部检测模型确定可见光图像中目标的第一面部区域坐标为例进行说明。在其他实施例中,还可以通过其他方法确定可见光图像中目标的第一面部区域坐标,本申请实施例对此不作限定。
在实施中,第二映射关系可以预先确定并存储在红外测温设备中。作为一种示例,第二映射关系可以通过如下方式确定:同时采集某运动物体的多帧可见光图像和多帧灰度图像,并分别对多帧可见光图像和多帧灰度图像进行图像检测,确定该物体在每帧可见光图像中的第一坐标和该物体在每帧灰度图像中的第二坐标,然后根据多个第一坐标和多个第二坐标,确定灰度图像中像素点的坐标与可见光图像中像素点的坐标的对应关系,将该对应关系称为第二映射关系。
作为一种示例,确定第二映射关系和第一面部区域坐标后,可以直接从该第二映射关系中确定与该第一面部区域坐标对应的第二面部区域坐标。
作为一种示例,可见光图像中目标的面部区域可以用外接该面部区域的第一矩形框表示,相应地,第一面部区域坐标可以包括该第一矩形框的四个顶点的坐标。同理,第二面部区域坐标可以包括灰度图像中目标的面部区域对应的第二矩形框的四个顶点的坐标。因此,可以直接将第二面部区域坐标对应的区域确定为灰度图像中目标的面部区域。
第二种实现方式:若红外测温设备包括灰度图像采集单元,不包括可见光图像采集单元,可以通过对灰度图像进行图像检测,确定灰度图像中目标的面部区域。
也就是说,在该种实现方式中,不需要先确定可见光图像中目标的面部区域坐标,再根据可见光图像中目标的面部区域确定灰度图像中目标的面部区域,而是直接对灰度图像进行图像检测,确定灰度图像中目标所在的区域,然后在目标所在的区域中确定目标的面部所在的区域,将确定的目标的面部所在的区域确定灰度图像中目标的面部区域。
在实施中,面部区域内的像素点的数量为多个,基于环境温度、面部区域内的像素点的灰度值、以及指定函数关系,确定第一测量温度的具体实现可以包括:基于环境温度、多个像素点中每个像素点的灰度值、以及指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度。基于多个像素点中每个像素点的第二测量温度,确定第一测量温度。
也就是说,由于面部区域的像素点的数量为多个,因此,可以先基于环境温度、每个像素点的灰度值和指定函数关系,分别确定每个像素点的第二测量温度,然后根据多个像素点的第二测量温度,确定第一测量温度。
作为一种示例,指定函数关系可以通过如下方式确定:在一定环境温度下,分别采集不同测量温度对应的灰度值,可以得到在该环境温度下的一组测量温度与灰度值的第一函数关系,然后在不同的环境温度下均进行上述操作,可以得到多组测量温度与灰度值的第一函数关系,每组测量温度与灰度值的第一函数关系与一个环境温度对应。在多组第一函数关系中随机选择一组第一函数关系,将该组第一函数关系称为基准响应拟合函数关系,然后以该基准响应拟合函数关系为基础,分别确定其他第一函数关系与该第一函数关系的转换关系,得到多个转换关系,由于转换关系与环境温度对应,因此可以将转换关系拟合为与环境温度相关的第二函数关系,然后对该第二函数关系和选择的一组第一函数关系进行拟合,可以得到拟合好的环境温度、灰度值与测量温度之间的函数关系,将该函数关系确定为指定函数关系。
示例性地,确定基准拟合响应函数关系的过程可以称为基准响应拟合。
也就是,可以进行基准响应拟合,选定某环境温度作为基准温度,然后拟合在该温度下灰度值与测量温度间的函数关系,将该函数关系称为基准拟合响应函数关系。然后以基准响应拟合函数作为基础,计算其它环境温度下响应函数关系与基准拟合响应函数关系的转换关系,并将转换关系拟合为与环境温度相关的函数关系,将该函数关系确定为指定函数关系。
在实施中,对于多个像素点中的任一像素点,可以将该任一像素点的灰度值和环境温度代入指定函数关系中,可以确定该任一像素点的第二测量温度。对于多个像素点中的每个像素点都进行上述操作后,可以确定每个像素点的第二测量温度。
作为一种示例,确定多个像素点的第二测量温度后,可以将该多个像素点的第二测量温度相加求平均值,将该平均值确定为第一测量温度。示例性地,可以确定面部区域中额头所在的区域,将额头所在的区域内的像素点的第二测量温度相加求平均值,将该平均值确定为第一测量温度。
在另一种可能的实现方式中,本步骤的具体实现可以包括:获取环境温度,基于环境温度、灰度图像中所有像素点的灰度值、以及指定函数关系,确定灰度图像中所有像素点的测量温度,然后确定灰度图像中目标的面部区域,进而确定面部区域内的多个像素点的测量温度,再基于面部区域内的多个像素点的测量温度确定第一测量温度。
也就是说,在该种实现方式中,可以先不确定目标的面部区域,而是直接确定灰度图像中每个像素点的测量温度,然后再确定灰度图像中目标的面部区域,再确定该面部区域内的像素点的测量温度,进而基于面部区域内的像素点的测量温度确定第一测量温度。
需要说明的是,该种实现方式中确定像素点的测量温度、以及确定灰度图像中目标的面部区域的过程与上一种实现方式雷同,具体可参见上述实现方式的相关描述,该种实现方式在此不再赘述。
步骤202:基于目标图像,确定目标的关键点坐标。
其中,目标图像可以包括灰度图像,或者,目标图像可以包括可见光图像,或者,目标图像可以包括可见光图像和灰度图像融合确定的融合图像。在实施中,目标图像不限于上述三种图像,还可以为其他图像。
其中,关键点坐标为目标的所有点中具有代表性的点的坐标。例如,假设目标为人,关键点坐标可以为人的眼睛的坐标。
在实施中,可以通过对灰度图像进行图像检测来确定目标的关键点坐标。或者,可以通过对可见光图像进行图像检测来确定目标的关键点坐标。或者,可以通过对融合图像进行图像检测来确定目标的关键点坐标。
由于可见光图像是彩色的,可以真实地反映外界环境的情况,将目标清楚地展示出来,因此对可见光图像进行图像检测的效果会比较好,因此,可以通过对可见光图像进行图像检测来确定可见光图像中目标的关键点坐标。
接下来以目标图像为可见光图像为例对本步骤的具体实现进行说明。
在实施中,可以通过采用CNN(Convolutional Neural Networks,卷积神经网络)的图像关键点检测模型确定可见光图像中目标的关键点坐标。
作为一种示例,该CNN模型可以为VGG-Net(Visual Geometry Group)模型、ResNets模型等。示例性地,该CNN模型可以包括输入层、卷积层、池化层、全连接层和输出层。
在实施中,首先需要对CNN模型进行训练,得到图像关键点检测模型。
作为一种示例,可以采集多个图像样本,并标定出每个图像样本中目标的关键点坐标,得到多个关键点坐标,将一个图像样本和该图像样本中标定的目标的关键点坐标作为一组训练数据,进而确定多组训练数据。然后将多组训练数据输入CNN模型中进行模型训练,输出图像样本的预测的关键点坐标,确定该预测的关键点坐标与标定的关键点坐标之间的差值,基于该差值对CNN模型的模型参数进行调整,直到预测的关键点坐标与标定的关键点坐标之间的差值小于差值阈值,可以认为该CNN模型的精度已经达到要求,确定CNN模型的训练已经完成,可以将当前的CNN模型确定为图像关键点检测模型,将当前的模型参数确定为该图像关键点检测模型的模型参数。
需要说明的是,差值阈值可以由用户根据实际需求进行设置,也可以由红外测温设备默认设置,本申请实施例对此不做限定。
在实施中,得到图像关键点检测模型后,可以将可见光图像直接输入该图像关键点检测模型中,通过输入层、卷积层、池化层和全连接层对可见光图像进行处理后,可以从该图像关键点检测模型的输出层输出关键点坐标。
需要说明的是,上述仅是以该图像关键点检测模型包括输入层、卷积层、池化层、全连接层和输出层为例进行说明。在其他实施例中,图像关键点检测模型还可以包括上采样层等其他结构,本申请实施例对此不作限定。
需要说明的是,上述仅是以通过图像关键点检测模型确定可见光图像中目标的关键点坐标为例进行说明。在其他实施例中,还可以通过其他方法确定可见光图像中目标的关键点坐标,本申请实施例对此不作限定。
示例性地,可以通过其他图像检测方法对可见光图像进行检测,确定待检测的目标所在的区域,然后识别待检测的目标中的关键点,根据关键点在该可见光图像中的位置确定关键点坐标。例如,假设待检测的目标是人,可以先确定人在可见光图像中的区域,然后在该区域中识别人的双眼,确定双眼的坐标,将双眼的坐标确定为关键点坐标。
需要说明的是,上述仅是以目标图像为可见光图像为例进行说明。在实施中,还可以通过灰度图像或融合图像等其他图像来确定目标的关键点坐标。
步骤203:基于关键点坐标和红外测温设备的配置信息,确定第一距离,第一距离是指目标与红外测温设备的距离。
其中,目标的关键点坐标可以包括第一关键点的坐标和第二关键点的坐标,第一关键点和第二关键点为目标的关键点中实际距离为已知的任意两个关键点。例如,该第一关键点为面部左眼对应的点,该第二关键点为面部右眼对应的点。
其中,红外测温设备的配置信息可以包括焦距和像素尺寸。其中,该像素尺寸可以为图像中两个像素点之间的距离。
在实施中,本步骤的具体实现可以包括:基于第一关键点的坐标和第二关键点的坐标,确定第一关键点与第二关键点在目标图像中的水平距离、以及确定第一关键点与第二关键点在目标图像中的垂直距离,得到第一水平距离和第一垂直距离。根据第一水平距离、第一垂直距离和像素尺寸,确定第二距离,第二距离为在目标图像中第一关键点和第二关键点之间的距离。根据第一实际距离、焦距和第二距离,确定第一距离,第一实际距离是指第一关键点与第二关键点的实际距离。
也就是说,可以基于第一关键点的坐标和第二关键点的坐标,分别确定第一关键点和第二关键点在目标图像中的第一水平距离和第一垂直距离,然后根据第一水平距离、第一垂直距离和像素尺寸,确定第一关键点和第二关键点在目标图像中的第二距离。再根据第二距离、焦距、以及第一关键点和第二关键点的第一实际距离,确定第一距离。
作为一种示例,根据第一水平距离、第一垂直距离和像素尺寸,可以通过如下公式(1)确定第二距离:
其中,L为第二距离,S为像素尺寸,(x1-x1)2为第一水平距离的平方,(y1-y1)2为第一垂直距离的平方。
在实施中,确定第二距离后,可以根据第一实际距离、焦距和第二距离,确定第一距离。具体可以包括:将第一实际距离与焦距相乘,得到第一数值,用第一数值与第二距离相除,得到第二数值,将第二数值确定为第一距离。
作为一种示例,上述步骤可以用公式(2)来表示:
其中,D为第一距离,LR为第一实际距离,Df为焦距,L为第二距离。
示例性地,参见图3,假设图3中P1为第一关键点,P2为第二关键点,第一实际距离LR为6.5cm,焦距Df为50mm,第二距离L为10mm,可以将第一实际距离与焦距相乘,得到第一数值为32.5cm2,将第一数值与第二距离相除,可以得到第二数值为325cm,可以确定第一距离为3.25m,即目标与红外测温设备的距离为3.25米。
进一步地,由于采集到的图像中目标不一定是正面朝向镜头,在这种情况下,按照上述步骤确定的第二距离可能不准确,因此在根据第一水平距离、第一垂直距离和像素尺寸,确定第二距离之前,可以先判断目标是否是正面朝向镜头。由于可见光图像可以清晰地反映外界情况,因此可以基于可见光图像确定目标是否正面朝向镜头。
在实施中,目标图像可以包括可见光图像,关键点坐标可以为面部关键点坐标。若基于可见光图像确定目标的面部区域不是正面图像,确定目标的偏转角和俯仰角。基于偏转角对第一水平距离进行校正,以及基于俯仰角对第一垂直距离进行校正,得到第二水平距离和第二垂直距离。根据第二水平距离、第二垂直距离和像素尺寸,确定第二距离。
也就是说,若关键点坐标为面部关键点坐标,在基于对可见光图像的图像检测确定目标的面部区域不是正面图像的情况下,可以基于图像检测确定目标在水平方向的偏转角和在垂直方向的俯仰角。然后基于偏转角和第一水平距离确定校正得到的第二水平距离,基于俯仰角和第一垂直距离确定校正得到的第二垂直距离,再根据第二水平距离、第二垂直距离和像素尺寸,确定第二距离。
作为一种示例,可以用第一水平距离除以偏转角的余弦值,得到第二水平距离,用第一垂直距离除以俯仰角的余弦值,得到第二垂直距离。然后将第二水平距离和第二垂直距离代入上述公式(1),可以得到第二距离。
进一步地,目标图像可以包括可见光图像,关键点坐标可以为面部关键点坐标,基于关键点坐标和红外测温设备的配置信息,确定第一距离之前,还包括:若基于可见光图像确定目标的面部区域不是正面图像,基于关键点坐标,对面部区域进行校正。确定校正后的面部区域的关键点坐标。基于校正后的面部区域的关键点坐标和配置信息,确定第一距离。
也就是说,在执行本步骤之前,可以先确定图像中目标是否正面朝向镜头,在基于对可见光图像的图像检测确定目标的面部区域不是正面图像的情况下,可以基于关键点坐标,通过三维面部姿态校正算法对目标的面部区域进行校正,得到正面的面部区域图像。再通过上述实施例中确定目标的关键点坐标的方法,确定校正后的面部区域的关键点坐标,基于校正后的面部区域的关键点坐标和配置信息,确定第一距离。
需要说明的是,基于校正后的面部区域的关键点坐标和配置信息,确定第一距离的具体实现与本步骤的实现过程雷同,具体可参见本步骤的相关描述,在此不在赘述。
需要说明的是,上述仅是以基于可见光图像确定目标是否正面朝向镜头为例,在其他实施例中,还可以基于融合图像或其他图像来确定目标是否为正面朝向镜头。
步骤204:基于第一测量温度和第一距离,确定目标的实际温度。
由于在第一距离不同的情况下,红外测温设备接收的红外光能量不同,导致确定的测量温度不同。因此,可以基于第一距离对第一测量温度进行补偿,以确定目标的实际温度。
在实施中,本步骤的具体实现可以包括:基于第一测量温度和第一距离,从第一映射关系中确定对应的温度,第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系,将所确定的温度确定为目标的实际温度。
由于温度、目标与红外测温设备的距离、测量温度三者之间的对应关系可以预先确定并存储在红外测温设备中,且基于该三者之间的第一映射关系,在已知其中两个参数的情况下可以确定另一个参数。因此,为了确定温度,可以先确定第一测量温度和第一距离,然后基于第一测量温度、第一距离和第一映射关系,可以确定目标的温度。
作为一种示例,第一映射关系可以通过如下方式确定:在一定温度下,分别记录不同的目标与红外测温设备的距离对应的测量温度,可以得到在该温度下的一组目标与红外测温设备的距离和测量温度的对应关系,然后在不同的温度下均进行上述操作,可以得到多组目标与红外测温设备的距离和测量温度的对应关系,然后基于上述多组对应关系,确定目标与红外测温设备的距离、温度和测量温度之间的对应关系,得到第一映射关系。
需要说明的是,由于黑体是热辐射研究的标准物体,它能够吸收外来的全部电磁辐射,不会有任何的反射和透射,且测温领域常利用黑体对辐射温度计进行校准、标定。因此,在本申请实施例中,确定第一映射关系和指定函数关系的过程中,均可以使用黑体作为目标,使得得到的第一映射关系和指定函数关系更加准确。
在实施中,在确定第一测量温度和第一距离的情况下,可以直接从第一映射关系中确定对应的温度,并将该对应的温度确定为目标的实际温度。如此,将基于目标图像测距和基于灰度图像测温结合起来,并根据第一距离对第一测量温度进行温度补偿,可以降低距离对温度的影响,提高了红外测温设备测温的准确性。
在本申请实施例中,基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度。由于待检测的目标与红外测温设备的距离会影响该第一测量温度,因此可以基于目标图像确定目标的关键点坐标,然后基于该关键点坐标和红外测温设备的配置信息,确定目标与红外测温设备的第一距离,再基于第一测量温度和第一距离,确定目标的实际温度。如此,不需要控制目标与红外测温设备的距离,基于目标图像就可以确定第一距离,并可以基于该第一距离对第一测量温度进行补偿,得到目标的实际温度,将目标图像测距与灰度图像测温结合起来,不仅减小了距离对测量温度的影响,还避免了在距离不满足要求时得到的测量温度不准确的问题,提高了测温精度和测温效率。
为了便于理解,接下来结合图4、图5和图6对本申请实施例提出的红外测温方法进行解释说明。
作为一种示例,参见图4,红外测温设备可以包括图像采集模块、测温模块、图像检测模块、测温模块和温度补偿模块。其中,图像采集模块可以包括可见光图像采集单元和灰度图像采集单元。
可见光图像采集单元用于采集可见光图像,并将可见光图像发送至图像检测模块,图像检测模块用于对可见光图像进行图像检测,确定可见光图像中目标的面部区域,将确定的面部区域的坐标发送至测温模块,以及确定目标的关键点坐标,见确定的关键点坐标发送至测距模块。灰度图像采集单元用于采集灰度图像,并将灰度图像发送至测温模块。测温模块根据接收到的灰度图像和目标的面部区域的坐标,确定目标的第一测量温度,并将该第一测量温度发送至温度补偿模块。测距模块接收到目标的关键点坐标后,确定目标与红外测温设备的第一距离,并将该第一距离发送至温度补偿模块。温度补偿模块基于接收到的第一距离和第一测量温度,确定目标的实际温度。
作为另一种示例,参见图5,红外测温设备可以包括图像采集模块、测温模块、图像检测模块、测温模块和温度补偿模块。其中,图像采集模块可以包括灰度图像采集单元。
灰度图像采集单元用于采集灰度图像,并将灰度图像发送至测温模块和图像检测模块。图像检测模块用于对灰度图像进行检测,确定灰度图像中目标的关键点坐标以及目标的面部区域的坐标,并将该关键点坐标发送至测距模块,将该目标的面部区域的坐标发送至测温模块。测距模块接收到关键点坐标后,根据关键点坐标确定目标与红外测温设备的第一距离,并将第一距离发送至温度补偿模块。测温模块用于基于灰度图像和目标的面部区域的坐标确定第一测量温度,并将第一测量温度发送至温度补偿模块。温度补偿模块用于基于第一测量温度和第一距离确定目标的实际温度。
作为又一种示例,参见图6,红外测温设备可以包括图像采集模块、测温模块、图像检测模块、测温模块、温度补偿模块和图像融合模块。其中,图像采集模块可以包括灰度图像采集单元和可见光图像采集单元。
可见光图像采集单元用于采集可见光图像,并将可见光图像发送至图像融合模块。灰度图像采集单元用于采集灰度图像,并将灰度图像发送至图像融合模块和测温模块。图像融合模块用于将可见光图像和灰度图像进行图像融合,得到融合图像,并将该融合图像发送至图像检测模块。图像检测模块用于对融合图像进行图像检测,确定目标的关键点坐标以及目标的面部区域的坐标,并将确定的关键点坐标发送至测距模块,将该目标的面部区域的坐标发送至测温模块。测温模块用于基于灰度图像确定目标的第一测量温度,并将该第一测量温度发送至温度补偿模块。测距模块接收到目标的关键点坐标后,确定目标与红外测温设备的第一距离,并将该第一距离发送至温度补偿模块。温度补偿模块基于接收到的第一距离和第一测量温度,确定目标的实际温度。
图7是根据一示例性实施例示出的一种红外测温装置的结构示意图,该红外测温装置可以由软件、硬件或者两者的结合实现成为红外测温设备的部分或者全部,红外测温设备可以为图1所示的设备。该红外测温装置包括:测温模块701、图像检测模块702、测距模块703和温度补偿模块704。
测温模块701,用于基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度;
图像检测模块702,用于基于目标图像,确定目标的关键点坐标;
测距模块703,用于基于关键点坐标和红外测温设备的配置信息,确定第一距离,第一距离是指目标与红外测温设备的距离;
温度补偿模块704,用于基于第一测量温度和第一距离,确定目标的实际温度。
作为一种示例,该红外测温装置还可以包括图像采集模块,该图像采集模块用于采集灰度图像。
在本申请一种可能的实现方式中,
目标图像包括灰度图像;或者,
目标图像包括可见光图像;或者,
目标图像包括基于灰度图像和可见光图像确定的融合图像。
在本申请一种可能的实现方式中,测距模块703用于:
目标的关键点坐标包括第一关键点的坐标和第二关键点的坐标,第一关键点和第二关键点为目标的关键点中实际距离为已知的任意两个关键点,配置信息包括焦距和像素尺寸;
基于第一关键点的坐标和第二关键点的坐标,确定第一关键点与第二关键点在目标图像中的水平距离、以及确定第一关键点与第二关键点在目标图像中的垂直距离,得到第一水平距离和第一垂直距离;
根据第一水平距离、第一垂直距离和像素尺寸,确定第二距离,第二距离为在目标图像中第一关键点和第二关键点之间的距离;
根据第一实际距离、焦距和第二距离,确定第一距离,第一实际距离是指第一关键点与第二关键点的实际距离。
在本申请一种可能的实现方式中,测距模块703还用于:
目标图像包括可见光图像,关键点坐标为面部关键点坐标,若基于可见光图像确定目标的面部区域不是正面图像,确定目标的偏转角和俯仰角;
基于偏转角对第一水平距离进行校正,以及基于俯仰角对第一垂直距离进行校正,得到第二水平距离和第二垂直距离;
根据第二水平距离、第二垂直距离和像素尺寸,确定第二距离。
在本申请一种可能的实现方式中,测距模块703还用于:
目标图像包括可见光图像,关键点坐标为面部关键点坐标,若基于可见光图像确定目标的面部区域不是正面图像,基于关键点坐标,对面部区域进行校正;
确定校正后的面部区域的关键点坐标;
基于校正后的面部区域的关键点坐标和配置信息,确定第一距离。
在本申请一种可能的实现方式中,测距模块703用于:
将第一实际距离与焦距相乘,得到第一数值;
用第一数值与第二距离相除,得到第二数值;
将第二数值确定为第一距离。
在本申请一种可能的实现方式中,温度补偿模块704用于:
基于第一测量温度和第一距离,从第一映射关系中确定对应的温度,第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系;
将所确定的温度确定为目标的实际温度。
在本申请一种可能的实现方式中,测温模块701用于:
确定灰度图像中目标的面部区域;
获取环境温度;
基于环境温度、面部区域内的像素点的灰度值、以及指定函数关系,确定第一测量温度,指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
在本申请一种可能的实现方式中,测温模块701用于:
目标图像包括可见光图像,确定可见光图像中目标的第一面部区域坐标,第一面部区域坐标用于指示可见光图像中目标的面部区域;
基于第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,第二映射关系用于指示灰度图像中像素点的坐标与可见光图像中像素点的坐标的对应关系;
基于第二面部区域坐标,确定灰度图像中目标的面部区域。
在本申请一种可能的实现方式中,测温模块701用于:
面部区域内的像素点的数量为多个,基于环境温度、多个像素点中每个像素点的灰度值、以及指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度;
基于多个像素点中每个像素点的第二测量温度,确定第一测量温度。
在本申请实施例中,基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度。由于待检测的目标与红外测温设备的距离会影响该第一测量温度,因此可以基于目标图像确定目标的关键点坐标,然后基于该关键点坐标和红外测温设备的配置信息,确定目标与红外测温设备的第一距离,再基于第一测量温度和第一距离,确定目标的实际温度。如此,不需要控制目标与红外测温设备的距离,基于目标图像就可以确定第一距离,并可以基于该第一距离对第一测量温度进行补偿,得到目标的实际温度,将目标图像测距与灰度图像测温结合起来,不仅减小了距离对测量温度的影响,还避免了在距离不满足要求时得到的测量温度不准确的问题,提高了测温精度和测温效率。
需要说明的是:上述实施例提供的红外测温装置在测量温度时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的红外测温装置与红外测温方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中红外测温方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的红外测温方法的步骤。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (23)
1.一种红外测温方法,其特征在于,所述方法包括:
基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度;
基于目标图像,确定所述目标的关键点坐标;
基于所述关键点坐标和红外测温设备的配置信息,确定第一距离,所述第一距离是指所述目标与所述红外测温设备的距离;
基于所述第一测量温度和所述第一距离,确定所述目标的实际温度。
2.如权利要求1所述的方法,其特征在于,
所述目标图像包括所述灰度图像;或者,
所述目标图像包括可见光图像;或者,
所述目标图像包括基于所述灰度图像和所述可见光图像确定的融合图像。
3.如权利要求1或2所述的方法,其特征在于,所述目标的关键点坐标包括第一关键点的坐标和第二关键点的坐标,所述第一关键点和所述第二关键点为所述目标的关键点中实际距离为已知的任意两个关键点,所述配置信息包括焦距和像素尺寸;
所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,包括:
基于所述第一关键点的坐标和所述第二关键点的坐标,确定所述第一关键点与所述第二关键点在所述目标图像中的水平距离、以及确定所述第一关键点与所述第二关键点在所述目标图像中的垂直距离,得到第一水平距离和第一垂直距离;
根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,所述第二距离为在所述目标图像中所述第一关键点和所述第二关键点之间的距离;
根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,所述第一实际距离是指所述第一关键点与所述第二关键点的实际距离。
4.如权利要求3所述的方法,其特征在于,所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,所述根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离之前,还包括:
若基于所述可见光图像确定所述目标的面部区域不是正面图像,确定所述目标的偏转角和俯仰角;
基于所述偏转角对所述第一水平距离进行校正,以及基于所述俯仰角对所述第一垂直距离进行校正,得到第二水平距离和第二垂直距离;
所述根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,包括:
根据所述第二水平距离、所述第二垂直距离和所述像素尺寸,确定所述第二距离。
5.如权利要求1所述的方法,其特征在于,所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离之前,还包括:
若基于所述可见光图像确定所述目标的面部区域不是正面图像,基于所述关键点坐标,对所述面部区域进行校正;
确定所述校正后的面部区域的关键点坐标;
所述基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,包括:
基于所述校正后的面部区域的关键点坐标和所述配置信息,确定所述第一距离。
6.如权利要求3所述的方法,其特征在于,所述根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,包括:
将所述第一实际距离与所述焦距相乘,得到第一数值;
用所述第一数值与所述第二距离相除,得到第二数值;
将所述第二数值确定为所述第一距离。
7.如权利要求1所述的方法,其特征在于,所述基于所述第一测量温度和所述第一距离,确定所述目标的实际温度,包括:
基于所述第一测量温度和所述第一距离,从第一映射关系中确定对应的温度,所述第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系;
将所确定的温度确定为所述目标的实际温度。
8.如权利要求1所述的方法,其特征在于,所述基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度,包括:
确定所述灰度图像中所述目标的面部区域;
获取环境温度;
基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,所述指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
9.如权利要求8所述的方法,其特征在于,所述目标图像包括可见光图像,所述确定所述灰度图像中所述目标的面部区域,包括:
确定所述可见光图像中所述目标的第一面部区域坐标,所述第一面部区域坐标用于指示所述可见光图像中所述目标的面部区域;
基于所述第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,所述第二映射关系用于指示所述灰度图像中像素点的坐标与所述可见光图像中像素点的坐标的对应关系;
基于所述第二面部区域坐标,确定所述灰度图像中所述目标的面部区域。
10.如权利要求8所述的方法,其特征在于,所述面部区域内的像素点的数量为多个,基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,包括:
基于所述环境温度、多个像素点中每个像素点的灰度值、以及所述指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度;
基于所述多个像素点中每个像素点的第二测量温度,确定所述第一测量温度。
11.一种红外测温装置,其特征在于,所述红外测温装置包括测温模块、图像检测模块、测距模块和温度补偿模块;
所述测温模块,用于基于所采集的灰度图像确定待检测的目标的测量温度,得到第一测量温度;
所述图像检测模块,用于基于目标图像,确定所述目标的关键点坐标;
所述测距模块,用于基于所述关键点坐标和所述红外测温设备的配置信息,确定第一距离,所述第一距离是指所述目标与所述红外测温设备的距离;
所述温度补偿模块,用于基于所述第一测量温度和所述第一距离,确定所述目标的实际温度。
12.如权利要求11所述的红外测温装置,其特征在于,
所述目标图像包括所述灰度图像;或者,
所述目标图像包括可见光图像;或者,
所述目标图像包括基于所述灰度图像和所述可见光图像确定的融合图像。
13.如权利要求11或12所述的红外测温装置,其特征在于,所述测距模块用于:
所述目标的关键点坐标包括第一关键点的坐标和第二关键点的坐标,所述第一关键点和所述第二关键点为所述目标的关键点中实际距离为已知的任意两个关键点,所述配置信息包括焦距和像素尺寸;
基于所述第一关键点的坐标和所述第二关键点的坐标,确定所述第一关键点与所述第二关键点在所述目标图像中的水平距离、以及确定所述第一关键点与所述第二关键点在所述目标图像中的垂直距离,得到第一水平距离和第一垂直距离;
根据所述第一水平距离、所述第一垂直距离和所述像素尺寸,确定第二距离,所述第二距离为在所述目标图像中所述第一关键点和所述第二关键点之间的距离;
根据第一实际距离、所述焦距和所述第二距离,确定所述第一距离,所述第一实际距离是指所述第一关键点与所述第二关键点的实际距离。
14.如权利要求13所述的红外测温装置,其特征在于,所述测距模块还用于:
所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,若基于所述可见光图像确定所述目标的面部区域不是正面图像,确定所述目标的偏转角和俯仰角;
基于所述偏转角对所述第一水平距离进行校正,以及基于所述俯仰角对所述第一垂直距离进行校正,得到第二水平距离和第二垂直距离;
根据所述第二水平距离、所述第二垂直距离和所述像素尺寸,确定所述第二距离。
15.如权利要求11所述的红外测温装置,其特征在于,所述测距模块还用于:
所述目标图像包括可见光图像,所述关键点坐标为面部关键点坐标,若基于所述可见光图像确定所述目标的面部区域不是正面图像,基于所述关键点坐标,对所述面部区域进行校正;
确定所述校正后的面部区域的关键点坐标;
基于所述校正后的面部区域的关键点坐标和所述配置信息,确定所述第一距离。
16.如权利要求13所述的红外测温装置,其特征在于,所述测距模块用于:
将所述第一实际距离与所述焦距相乘,得到第一数值;
用所述第一数值与所述第二距离相除,得到第二数值;
将所述第二数值确定为所述第一距离。
17.如权利要求11所述的红外测温装置,其特征在于,所述温度补偿模块用于:
基于所述第一测量温度和所述第一距离,从第一映射关系中确定对应的温度,所述第一映射关系用于指示测量温度、目标与红外测温设备的距离、温度三者之间的对应关系;
将所确定的温度确定为所述目标的实际温度。
18.如权利要求11所述的红外测温装置,其特征在于,所述测温模块用于:
确定所述灰度图像中所述目标的面部区域;
获取环境温度;
基于所述环境温度、所述面部区域内的像素点的灰度值、以及指定函数关系,确定所述第一测量温度,所述指定函数关系用于指示环境温度、灰度值与测量温度三者之间的函数关系。
19.如权利要求18所述的红外测温装置,其特征在于,所述测温模块用于:
所述目标图像包括可见光图像,确定所述可见光图像中所述目标的第一面部区域坐标,所述第一面部区域坐标用于指示所述可见光图像中所述目标的面部区域;
基于所述第一面部区域坐标,从第二映射关系中确定对应的第二面部区域坐标,所述第二映射关系用于指示所述灰度图像中像素点的坐标与所述可见光图像中像素点的坐标的对应关系;
基于所述第二面部区域坐标,确定所述灰度图像中所述目标的面部区域。
20.如权利要求18所述的红外测温装置,其特征在于,所述测温模块用于:
所述面部区域内的像素点的数量为多个,基于所述环境温度、多个像素点中每个像素点的灰度值、以及所述指定函数关系,确定每个像素点对应的测量温度,得到每个像素点的第二测量温度;
基于所述多个像素点中每个像素点的第二测量温度,确定所述第一测量温度。
21.一种红外测温设备,其特征在于,所述红外测温设备包括图像传感器和处理器;
所述图像传感器用于采集灰度图像;
所述处理器用于对所述灰度图像进行处理,确定待检测目标的第一测量温度,并基于目标图像、所述红外测温设备的配置信息和所述第一测量温度,实现权利要求1-10任一所述方法的步骤。
22.如权利要求21所述的红外测温设备,其特征在于,所述红外测温设备还包括温度传感器,所述温度传感器用于获取环境温度,所述环境温度用于所述处理器确定所述第一测量温度。
23.如权利要求21所述的红外测温设备,其特征在于,在所述目标图像包括可见光图像的情况下,所述红外测温设备包括双目摄像装置,所述双目摄像装置用于通过所述图像传感器采集所述灰度图像和所述可见光图像。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010153100.3A CN113358231B (zh) | 2020-03-06 | 2020-03-06 | 红外测温方法、装置及设备 |
EP21764753.6A EP4116683A4 (en) | 2020-03-06 | 2021-03-04 | METHOD, APPARATUS AND DEVICE FOR INFRARED TEMPERATURE MEASUREMENT AND STORAGE MEDIA |
PCT/CN2021/079011 WO2021175281A1 (zh) | 2020-03-06 | 2021-03-04 | 红外测温方法、装置、设备及存储介质 |
US17/905,687 US20230105139A1 (en) | 2020-03-06 | 2021-03-04 | Infrared temperature measurement method, apparatus, and device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010153100.3A CN113358231B (zh) | 2020-03-06 | 2020-03-06 | 红外测温方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113358231A true CN113358231A (zh) | 2021-09-07 |
CN113358231B CN113358231B (zh) | 2023-09-01 |
Family
ID=77524204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010153100.3A Active CN113358231B (zh) | 2020-03-06 | 2020-03-06 | 红外测温方法、装置及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230105139A1 (zh) |
EP (1) | EP4116683A4 (zh) |
CN (1) | CN113358231B (zh) |
WO (1) | WO2021175281A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759355A (zh) * | 2021-09-09 | 2021-12-07 | 四川虹美智能科技有限公司 | 基于红外数据的测距方法和装置 |
CN114061761A (zh) * | 2021-11-17 | 2022-02-18 | 重庆大学 | 基于单目红外立体视觉矫正的远距离目标温度精确测量方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943774B (zh) * | 2022-04-08 | 2023-06-09 | 杭州键嘉医疗科技股份有限公司 | 一种红外双目相机温度补偿计算方法 |
CN117036313B (zh) * | 2023-08-18 | 2024-04-30 | 华大天元(北京)科技股份有限公司 | 基于计算机视觉的电力设备红外智能检测方法和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104076925A (zh) * | 2014-06-30 | 2014-10-01 | 天马微电子股份有限公司 | 一种用于提醒用户眼睛与屏幕距离的方法 |
US20150025832A1 (en) * | 2013-07-17 | 2015-01-22 | Advanced Micro-Fabrication Equipment Inc., Shanghai | Method for measuring temperature of film in reaction chamber |
CN105874473A (zh) * | 2014-01-02 | 2016-08-17 | 虹膜技术公司 | 利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法 |
CN110160670A (zh) * | 2019-05-05 | 2019-08-23 | 深圳中集智能科技有限公司 | 人体体温检测装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106124062A (zh) * | 2016-06-16 | 2016-11-16 | 哈尔滨工程大学 | 一种基于历史数据的红外测温自动补偿方法 |
DE102016218291A1 (de) * | 2016-09-23 | 2018-03-29 | Robert Bosch Gmbh | Verfahren zur kontaktfreien Ermittlung einer zweidimensionalen Temperaturin-formation sowie Infrarot-Messsystem |
-
2020
- 2020-03-06 CN CN202010153100.3A patent/CN113358231B/zh active Active
-
2021
- 2021-03-04 WO PCT/CN2021/079011 patent/WO2021175281A1/zh unknown
- 2021-03-04 EP EP21764753.6A patent/EP4116683A4/en active Pending
- 2021-03-04 US US17/905,687 patent/US20230105139A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150025832A1 (en) * | 2013-07-17 | 2015-01-22 | Advanced Micro-Fabrication Equipment Inc., Shanghai | Method for measuring temperature of film in reaction chamber |
CN105874473A (zh) * | 2014-01-02 | 2016-08-17 | 虹膜技术公司 | 利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法 |
CN104076925A (zh) * | 2014-06-30 | 2014-10-01 | 天马微电子股份有限公司 | 一种用于提醒用户眼睛与屏幕距离的方法 |
CN110160670A (zh) * | 2019-05-05 | 2019-08-23 | 深圳中集智能科技有限公司 | 人体体温检测装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759355A (zh) * | 2021-09-09 | 2021-12-07 | 四川虹美智能科技有限公司 | 基于红外数据的测距方法和装置 |
CN113759355B (zh) * | 2021-09-09 | 2023-04-28 | 四川虹美智能科技有限公司 | 基于红外数据的测距方法和装置 |
CN114061761A (zh) * | 2021-11-17 | 2022-02-18 | 重庆大学 | 基于单目红外立体视觉矫正的远距离目标温度精确测量方法 |
CN114061761B (zh) * | 2021-11-17 | 2023-12-08 | 重庆大学 | 基于单目红外立体视觉矫正的远距离目标温度精确测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113358231B (zh) | 2023-09-01 |
WO2021175281A1 (zh) | 2021-09-10 |
EP4116683A4 (en) | 2023-07-26 |
EP4116683A1 (en) | 2023-01-11 |
US20230105139A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113358231B (zh) | 红外测温方法、装置及设备 | |
CN109035309B (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
CN110363158B (zh) | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 | |
CN111339951A (zh) | 体温测量方法、装置及系统 | |
CN110889829B (zh) | 一种基于鱼眼镜头的单目测距方法 | |
CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
RU2626051C2 (ru) | Способ определения дальностей до объектов по изображениям с цифровых видеокамер | |
CN112525352A (zh) | 一种基于人脸识别的红外测温补偿方法及终端 | |
CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
CN113643436B (zh) | 一种深度数据拼接融合方法及装置 | |
CN107991665A (zh) | 一种基于定焦相机的对标靶三维坐标连续测量方法 | |
CN112434598A (zh) | 一种非接触式体温测量方法和系统 | |
Mi et al. | A vision-based displacement measurement system for foundation pit | |
CN113340405B (zh) | 桥梁振型的测量方法、装置及系统 | |
CN109270546A (zh) | 一种基于结构光和双图像传感器的测距装置及其测距方法 | |
CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 | |
CN112308776A (zh) | 解决遮挡与错误映射的影像序列与点云数据融合的方法 | |
CN111928949A (zh) | 热像测温方法、装置、计算机设备、存储介质 | |
CN111256651B (zh) | 一种基于单目车载摄像头的周车测距方法和装置 | |
CN102542563A (zh) | 一种移动机器人前向单目视觉的建模方法 | |
WO2011047508A1 (en) | Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens | |
CN115082555A (zh) | 一种rgbd单目相机的高精度位移实时测量系统及方法 | |
CN114140659A (zh) | 一种基于无人机视角下人体检测的社交距离监控方法 | |
CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |