CN113361337A - 一种人脸测温补偿方法、装置及电子设备 - Google Patents
一种人脸测温补偿方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113361337A CN113361337A CN202110547830.6A CN202110547830A CN113361337A CN 113361337 A CN113361337 A CN 113361337A CN 202110547830 A CN202110547830 A CN 202110547830A CN 113361337 A CN113361337 A CN 113361337A
- Authority
- CN
- China
- Prior art keywords
- face
- temperature
- thermal
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 47
- 238000012937 correction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004861 thermometry Methods 0.000 claims description 2
- 230000036760 body temperature Effects 0.000 description 20
- 238000013507 mapping Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及本发明涉及无接触测温技术领域，提供一种人脸测温补偿方法、装置及电子设备，所述方法包括获取目标用户的彩色图像和热感图像；根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度；根据所述彩色图像和所述热感图像计算人脸距离；根据所述人脸距离，对所述基准温度进行修正。本发明提供的方法中，通过获取目标用户的彩色图像和热感图像计算人脸的基准温度，还能根据彩色图像和热感图像计算人脸距离，并基于人脸距离和环境温度对计算出的人脸的基准温度进行温度修正。本方案通过采用非接触式测温传感器测量人脸温度，同时根据人脸距离及环境温度对人脸温度数值进行修正和补偿，能够得到更准确的人脸测温结果。
Description
技术领域
本发明涉及无接触测温技术领域，特别涉及一种人脸测温补偿方法、装置及电子设备。
背景技术
新型冠状病毒的主要症状是发热，根据这一特点，全国目前采用的方法以人工测温枪测温和热成像摄像机测温为主，但是介于新型冠状病毒传染性极大，利用人工的方式无疑会增加工作人员的感染风险，威胁工作人员的安全和健康，而目前采用的非接触式红外测温传感器精度受到测量距离的影响很大。
发明内容
本发明实施例旨在提供一种人脸测温补偿方法、装置及电子设备，可以主要解决目前的无接触式测温方法受到测量距离的影响较大的问题。
本发明实施例解决其技术问题采用以下技术方案：
一种人脸测温补偿方法，包括：
获取目标用户的彩色图像和热感图像；
根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度；
根据所述彩色图像和所述热感图像计算人脸距离；
根据所述人脸距离，对所述基准温度进行修正。
可选的，所述根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度包括：
对所述彩色图像进行人脸检测，确定人脸位置；
根据所述人脸位置在所述热感图像中确定对应的热感值矩阵；
根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度。
可选的，所述方法还包括对所述热感值矩阵中的热感值进行滤波处理；
所述根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤，进一步包括：
根据所述人脸位置，并且结合经过滤波处理后的所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤。
可选的，所述根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度包括：
将所述彩色图像与热感值矩阵对应起来；
在所述热感值矩阵中计算得到人脸的基准温度。
可选的，所述根据所述彩色图像和热感图像计算人脸距离包括：
对所述彩色图像进行人脸检测，获取人脸面积x；
根据所述人脸面积x，并且基于标定的距离函数计算得到人脸距离Y，其中，所述距离函数模型为：Y＝a*(x^b)。
可选的，所述根据所述人脸距离，对所述基准温度进行修正包括：基于环境温度和人脸距离对所述基准温度进行温度补偿。
本发明实施例解决其技术问题还采用以下技术方案：
一种人脸测温补偿装置，包括：
图像获取模块，用于获取目标用户的彩色图像和热感图像；
人脸测温模块，用于根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度；
距离计算模块，用于根据所述彩色图像和所述热感图像计算人脸距离；
温度修正模块，用于根据所述人脸距离，对所述基准温度进行修正。
可选的，所述人脸测温模块包括：
位置检测单元，用于对所述彩色图像进行人脸检测，确定人脸位置；
热感检测单元，用于根据所述人脸位置在所述热感图像中确定对应的热感值矩阵；
温度获取单元，用于根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度。
可选的，所述距离计算模块包括：
人脸面积获取单元，用于对所述彩色图像进行人脸检测，获取人脸面积x；
人脸距离计算单元，用于根据所述人脸面积x，并且基于标定的距离函数计算得到人脸距离Y，其中，所述距离函数模型为：Y＝a*(x^b)。
本发明实施例解决其技术问题采用以下技术方案：
一种电子设备，包括：
至少一个处理器；
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的人脸测温补偿方法。
与现有技术相比较，在本实施例的人脸测温补偿方法中，通过获取目标用户的彩色图像和热感图像计算人脸的基准温度，还能根据彩色图像和热感图像计算人脸距离，并基于人脸距离和环境温度对计算出的人脸的基准温度进行温度修正。本方案通过采用非接触式测温传感器测量人脸温度，同时根据人脸距离及环境温度对人脸温度数值进行修正和补偿，能够得到更准确的人脸测温结果。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例中人脸测温补偿方法的流程示意图；
图2是图1中S12的流程示意图；
图3为本发明实施例中彩色图像的示意图；
图4为本发明实施例中热感图像的示意图；
图5为本发明实施例中人脸测温补偿装置的示意图；
图6为本发明实施例中电子设备的结构框图；
图7为本发明实施例中温度补偿表的示例图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不能用于限制本发明，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本实施例提供一种人脸测温补偿方法，请参阅图1，该方法包括：
S11、获取目标用户的彩色图像和热感图像。可以通过摄像头等设备获取目标用户的至少一组彩色图像和热感图像，所述彩色图像可以通过常见的监控摄像头获取，包括通过RGB摄像头或YUV摄像头获取目标用户的数字图像/视频数据，再从这些数字图像/视频数据中选取合适的彩色图像；所述热感图像可以通过探测温度的热感摄像头获取，包括通过热感摄像头实时记录目标用户的热感数据，在从这些热感数据中选取与彩色图像对应时刻的热感图像。以某个公共场所的一个出入口为例，在出入口处同时设置RGB摄像头和热感摄像头，目标用户进入该出入口的检测范围时，RGB摄像头拍下目标用户的至少一张彩色图像，热感摄像头获取同时刻该目标用户的热感图像，将目标用户的彩色图像和热感图像按照时间顺序对应起来，并保证人脸能同时出现在彩色图像和热感图像的有效区域内。
S12、根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度。结合该目标用户的热感图像和彩色图像，计算出该目标用户的人脸温度，这里的人脸温度可以主要指目标用户额头处的温度。
请参阅图2，所述根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度具体包括以下步骤：
S121、对所述彩色图像进行人脸检测，确定人脸位置。请参阅图3，图3是彩色图像去色后的示例，实际获得的彩色图像是彩色的。目前已经有很多种对彩色图像进行人脸检测的方法，包括早期使用模板匹配技术，对图像中某个区域进行人脸-非人脸二分类判别的方法，虽然有不错的精度，但是由于分类器的设计相对复杂而且采用的是密集滑动窗口进行采样分类，导致该方法检测速度太慢，适用范围不广。还有基于AdaBoost框架的一些人脸检测方法，包括使用DPM模型(Deformable Part Model可变形的组件模型)的基于组件的人脸检测方法，一般采用的是AdaBoost框架的算法，但由于基于经典的人工设计特征本身稳定性并不稳定，容易受外界环境(光照、角度、遮挡等)的影响，所以在复杂场景下的人脸检测性能很难的到保证，因此在工程中很少使用；还有使用DenseBox的目标检测算法的人脸检测方法，适合人脸这类小目标的检测，这种方法使用全卷积网络，在同一个网络中直接预测目标矩形框和目标类别置信度，通过在检测的同时进行关键点定位，能进一步提高检测精度。
此外，使用卷积神经网络进行人脸检测的方法在精度远大于上述利用AdaBoost框架的检测方法，包括使用以卷积网络作为每一级的分类器的Cascade CNN(ConvolutionalNeural Network，卷积神经网络)算法的人脸检测方法，通过级联多个检测网络达到不断优化预测结果的目的，一定程度上能解决传统方法在开放场景中对光照、角度等敏感的问题，但是该方法框架的第一级是基于密集滑动窗口的方式进行窗口过滤，在高分辨率存在大量小人脸(tiny face)的图片上限制了算法的性能上限。
优选的方案中，所述人脸检测可以选择MTCNN(Multi-task CascadedConvolutional Neural Networks多任务卷积神经网络)算法，相较于其他基于卷积神经网络的算法，基于深度学习的人脸检测和人脸对齐的MTCNN检测速度更快，适用范围也更广。它将人脸区域检测和人脸关键点检测放在了一起，和Cascade CNN一样也是基于cascade的框架，但是整体思路更加巧妙合理。人脸检测过程中首先会对彩色图片进行缩放，将原始彩色图像缩放成不同尺度，生成图像金字塔；然后对多尺度图像进行初步检测，得到一组不同尺度的可能包含人脸的候选框，将所有重叠的候选框进行合并后做进一步的判断，判断是否存在人脸，并精细调节候选框的位置以更精准地包含人脸；最后对精选的候选框进行处理最终得到人脸范围的坐标，在彩色图像中确定人脸位置。
S122、根据所述人脸位置在所述热感图像中确定对应的热感值矩阵。请参阅图4，图4是热感图像去色后的示例，实际获得的热感图像是彩色的，温度越高的地方越偏红色，温度越低的地方越偏黑色。选择某一组合适的彩色图像和对应的热感图像，对热感图像中的人脸范围进行标注，得到热感图像中的人脸位置，标注人脸范围时可以是人工标注也可以是由机器自动标注，例如人工编程一段标注算法的代码写进机器，机器根据所述标注算法进行人脸范围标注。上述步骤S121中得到彩色图像中的人脸位置假设为R1(x1,y1,x2,y2)，相应的，热感图像中对应的人脸位置R2(x3,y3,x4,y4)，在R1与R2之间建立映射关系，根据所述映射关系，可以通过彩色图像中的人脸位置，在热感图像中找到人脸位置的相应区域，进而得到人脸位置对应的热感值矩阵。在彩色图像和热感图像的图像大小相同的情况下，图3和图4的图形比例为1：2，以图3和图4中的图形比例和人脸范围比例为例，R1与R2映射关系为：
①x1’＝x1-width*0.5，x2’＝x2-width*0.5
②y1’＝y1-height*0.5，y2’＝y2-height*0.5
③x3＝k0*x1’+b0，x4＝k0*x2’+b0
④y3＝k1*y1’+b1，y4＝k1*y2’+b1
其中，width为图像宽度，height为图像高度，均可直接根据图像信息获取，根据已知的R1(x1,y1,x2,y2)和R2(x3,y3,x4,y4)，能够解得坐标映射关系系数(k0,b0,k1,b1)。确定映射关系后，后续确定热感值矩阵时就可以直接根据确定的映射关系进行计算。
需要说明的是，建立映射关系时不是一定要通过人脸位置来确定映射关系系数，也可以通过其他图像元素的位置来计算映射关系系数，只是通常情况下，人脸能出现在同一组彩色图像和热感图像的有效区域内，同时人脸位置的热感值与周围环境的热感值相差较大，方便标注位置，所以通常选择根据人脸位置来确定映射关系系数。在有其他图像元素的位置适合计算系数或者标注位置的情况下，可以选择其他图像元素的位置来计算映射关系系数，例如图3和图4中可以选择发热的灯管。
S123、根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度，具体包括：
将所述彩色图像与热感值矩阵对应起来，热感摄像头中通常设有测温仪器，例如红外测温仪，红外测温仪是一个固定长宽的矩形，矩阵组成一个X,Y轴的平面，平面与热感图像对应，平面上每一个热感值都包括一个点的位置坐标和温度值，温度值的高低反映在热感图像上就是图像的颜色，参阅图4中去色图像的亮度，物体的温度越高，对应热感图像位置的颜色越偏亮色，物体的温度越低，对应热感图位置的颜色越偏黑色。根据上述映射关系进行计算，假设某热感图像中的人脸位置的区域坐标范围为R3(x5,y5,x6,y6)，该区域中一共有(x6-x5)*(y6-y5)个热感值，这些热感值基于坐标排列对应形成热感值矩阵。
在所述热感值矩阵中计算得到人脸的基准温度。由于热感值矩阵中储存的温度值信息均为人脸位置的范围内的温度值，对热感值矩阵中的热感值按照温度进行排序，序列的中值既可作为人脸的基准温度。
可选的，所述方法还包括对所述热感值矩阵中的热感值进行滤波处理。热感值矩阵中的这组热感值，大部分属于人脸，小部分属于背景，如果直接取均值作为人脸温度值，那么背景部分的热感值会对这个温度产生干扰，导致计算得到的人脸温度会随着背景温度的变化而产生一定幅度的变化，此时需要对这组热感值进行滤波处理。
由于人体温度高于环境温度，人脸位置对应区域的温度值会接近体温，并且很容易和环境温度区分开，我们获取这一段的温度值基本能代表人体温度。基于大部分热感值都属于人脸的前提，对热感值进行排序，可以推测，属于人脸的热感值会处于排序后的热感值序列的中间区域，而少部分的背景热感值会被推移到序列的头尾，此时基于人体温度剔除多余的温度值噪点，包括剔除高于人体温度的环境温度噪点和低于人体温度的环境温度噪点，剩余这些热感值对应在热感图像上刚好对应人脸位置，即为滤波后的热感值矩阵。
所述根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤，进一步包括：根据所述人脸位置，并且结合经过滤波处理后的所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤。上述步骤能得到滤波后的热感值矩阵，将热感值矩阵中的热感值按温度值进行排序，序列的中值即可作为人脸的基准温度。
S13、根据所述彩色图像和所述热感图像计算人脸距离。根据彩色图像中的人脸面积，代入到预先拟合标定的距离函数，计算得到人脸的距离。具体的，本方法中，设计的距离函数形式为：
Y＝a*(x^b)
其中，a和b是待拟合的参数，x是彩色图像中的人脸面积，Y是目标用户距离测温设备的距离。可选的，所述根据所述彩色图像和热感图像计算人脸距离包括：
对所述彩色图像进行人脸检测，获取人脸面积x。在测温设备的设计阶段，通过多次实验进行拟合，得到参数a和b的值，确定距离函数。实际测试时在摄像头的视野内不同距离处进行拍照，使用人脸识别算法获取彩色图像中的人脸位置，不同距离下拍摄的彩色照片中，人脸面积在彩色照片面积的所占比例不相同，计算人脸面积x＝w*h，w是彩色图像中人脸的宽度，h是彩色图像中人脸的高度。通过实际测试获取多个标记点的x和Y的数值代入到公式，拟合得到参数a和b，确定函数式后储存在测温设备中，测温设备后续计算人脸距离时可直接根据拟合的距离函数，计算出人脸距离Y。
根据彩色图像获取所述人脸面积x，并且基于标定的距离函数Y＝a*(x^b)计算得到人脸距离Y。
S14、根据所述人脸距离，对所述基准温度进行修正。经过实际测试发现，用户在离测温设备的距离长短会直接影响测温过程中反馈的人脸温度，距离越远，温度越低；距离越近，温度越接近体温。由此可见，在实际距离超过一定范围时，为了避免测温数据偏差过大，需要对测得的人脸温度进行温度补偿，其中，人脸距离可以根据步骤S13中获得，距离越远，补偿值越大。
可选的，所述根据所述人脸距离，对所述基准温度进行修正具体包括：基于环境温度和人脸距离对所述基准温度进行温度补偿。通过大量实际实验过程得知，环境温度越接近体温，测得的人脸温度越接近实际体温。由此可见，在环境温度与体温的差距过大时，需要根据环境温度对测得的人脸温度进行补偿，环境温度越低，补偿值越小，其中环境温度可以从热感摄像头的串口数据中得到。
实际进行温度补偿时，由于每个区域的环境情况不同，这里的温度补偿可以通过专门的激光测距补偿探头来进行计算，也可以通过大数据实验来进行计算等。其中，激光测距补偿探头利用激光测距的技术获取被测温人员距离非接触式测温设备的距离，并发送给处理芯片，处理芯片根据不同的距离以及不同的环境温度，自动进行调节。
若是通过大数据实验来进行计算，则可以采用以下方法：选定一米作为是否需要进行温度补偿的判定距离，获取标准测量位置在一米以内的测量间距L0和测量间距下测得的温度T0，再获取多个测量位置在一米以外的其他不同测量间距Ln和该测量间距下测得的温度Tn，其中n＝1，2，3……，依据T0、Tn、L0、Ln数据进行最小二乘法拟合，得到温度误差校正函数f(L)，并且使用温度误差校正函数f(L)计算校正后的温度Tture＝Tn+f(Ln)，从而得到补偿后的人脸温度值。
在其他一些实施例中，温度补偿还可以通过适合某具体环境的温度补偿表来进行计算，例如某具体环境实例中的温度补偿表(部分)如图7所示，其中体温枪数据为参考温度，在测温设备的设计阶段用于对比设备是否测温准确；实际距离为实验时的人脸距离数据；环境温度为当前测试环境的环境温度；计算人体温度为当前距离和环境温度下进行过温度补偿后的人脸温度，通过大量实验数据计算得到。在实际进行测温时，距离通常不会刚好是表格中的整数距离，此时则可以通过表格中的数据计算具体人脸距离下的温度补偿值。下面以示例来说明怎样通过温度补偿表来计算具体人脸距离下的温度补偿值：
假设当前环境温度为18.30，用户进入到探测视野内，测温设备测量得到其人脸距离为25cm，计算得到的人脸基准温度为a，要对温度a进行补偿。
根据图7中的温度补偿表，环境温度18.30在[18,19]之间，距离25在[20,30]之间时，取得表中测试环境18°～19°，实际距离为20cm和30cm的体温枪数据(36.1)，和人体温度数据[36.16,36.19][36.27,36.43]，则温度a的实际补偿值分为两部分：
环境温度补偿：Offset1＝(18.3-18)*[(36.16-36.1)-(36.27-36.1)]＝-0.033
Offset2＝(18.3-18)*[(36.19-36.1)-(36.43-36.1)]＝-0.24
距离温度补偿：Offset3＝-0.033+(25-20)/(30-20)*(-0.24+0.033)＝-0.1356
因此，最终得到的用户人脸温度a＝a-0.1356。
以上过程即完成了基于温度补偿表的温度补偿方法。
需要说明的是，关于对人脸温度进行温度补偿方法包括但不限于上述几种方法，也可以是其他的根据距离或者环境温度进行温度补偿的方法。
请参阅图5，图5是本发明实施例提供的一种人脸测温补偿装置的结构示意图，该装置200可应用于电子设备，该装置200包括：图像获取模块21、人脸测温模块22、距离计算模块23和温度修正模块24。
其中，所述图像获取模块21用于获取目标用户的彩色图像和热感图像。可以通过摄像头等设备获取目标用户的至少一组彩色图像和热感图像，包括RGB摄像头拍下目标用户的至少一张彩色图像，热感摄像头获取同时刻该目标用户的热感图像，将目标用户的彩色图像和热感图像按照时间顺序对应起来，并保证人脸能同时出现在彩色图像和热感图像的有效区域内。
所述人脸测温模块22用于根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度。结合该目标用户的热感图像和彩色图像，计算出该目标用户的人脸温度，这里的人脸温度可以主要指目标用户额头处的温度。可选的，所述人脸测温模块22包括：位置检测单元221、热感检测单元222和温度获取单元223。
其中，所述位置检测单元221用于对所述彩色图像进行人脸检测，确定人脸位置。选择MTCNN算法对彩色图像进行人脸检测，得到人脸范围的坐标，在彩色图像中确定人脸位置。
所述热感检测单元222用于根据所述人脸位置在所述热感图像中确定对应的热感值矩阵。将所述彩色图像与热感值矩阵对应起来，需要用到彩色图像中的人脸位置R1和热感图像中对应的人脸位置R2间的映射关系，根据所述映射关系，通过彩色图像中的人脸位置，在热感图像中找到人脸位置的相应区域，进而得到人脸位置对应的热感值矩阵。具体建立映射关系的步骤请参阅方法实施例，此处不再进行说明。
所述温度获取单元223用于根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度。将所述彩色图像与热感值矩阵对应起来，根据上述映射关系得出人脸位置的区域坐标范围内的热感值矩阵，由于热感值矩阵中储存的温度值信息均为人脸位置的范围内的温度值，对热感值矩阵中的热感值按照温度进行排序，序列的中值既可作为人脸的基准温度。
可选的，所述温度获取单元223还可以用于对所述热感值矩阵中的热感值进行滤波处理。对热感值矩阵中的热感值按照温度进行排序，基于人体温度剔除多余的温度值噪点，包括剔除高于人体温度的环境温度噪点和低于人体温度的环境温度噪点，剩余这些热感值对应在热感图像上刚好对应人脸位置，即为滤波后的热感值矩阵，将滤波后的热感值矩阵中的热感值按温度值进行排序，序列的中值即可作为人脸的基准温度。
所述距离计算模块23用于根据所述彩色图像和所述热感图像计算人脸距离。根据彩色图像中的人脸面积，代入到预先拟合标定的距离函数，计算得到人脸的距离。具体的，本方案中设计的距离函数形式为：
Y＝a*(x^b)
其中，a和b是待拟合的参数，x是彩色图像中的人脸面积，Y是目标用户距离测温设备的距离。
可选的，所述距离计算模块23包括：人脸面积获取单元231和人脸距离计算单元232。
其中，所述人脸面积获取单元231用于对所述彩色图像进行人脸检测，获取人脸面积x，所述人脸距离计算单元232用于根据所述人脸面积x，并且基于标定的距离函数计算得到人脸距离Y，其中，所述距离函数模型为：Y＝a*(x^b)。在测温设备的设计阶段，通过多次实验进行拟合，得到参数a和b的值，确定距离函数。在摄像头的视野内不同距离处进行拍照，使用人脸识别算法获取彩色图像中的人脸位置，计算人脸面积x＝w*h，w是彩色图像中人脸的宽度，h是彩色图像中人脸的高度。通过实际测试获取多个标记点的x和Y的数值代入到公式，拟合得到参数a和b，确定函数式后储存在测温设备中，测温设备后续计算人脸距离时可直接根据拟合的距离函数，计算出人脸距离Y。
所述温度修正模块24用于根据所述人脸距离，对所述基准温度进行修正。可选的，所述温度修正模块24具体用于基于环境温度和人脸距离对所述基准温度进行温度补偿。通过大量实际实验过程得知，环境温度越接近体温，测得的人脸温度越接近实际体温。由此可见，在环境温度与体温的差距过大时，需要根据环境温度对测得的人脸温度进行补偿，环境温度越低，补偿值越小，其中环境温度可以从热感摄像头的串口数据中得到。
实际进行温度补偿时，由于每个区域的环境情况不同，这里的温度补偿可以通过专门的激光测距补偿探头来进行计算，也可以通过大数据实验来进行计算等。其中，激光测距补偿探头利用激光测距的技术获取被测温人员距离非接触式测温设备的距离，并发送给处理芯片，处理芯片根据不同的距离以及不同的环境温度，自动进行调节。另外一些进行温度补偿的方法详见上述方法实施例，此处不做详细说明。
请参阅图6，图6是本发明实施例提供的一种电子设备300的结构框图，所述电子设备300包括至少一个处理器31，图6中以一个处理器31为例；以及，与所述至少一个处理器31通信连接的存储器32；
其中，所述存储器32存储有可被所述至少一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器31能够执行上述所述的人脸测温补偿方法。
其中，所述存储器32存储有可被所述至少一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器31能够执行上述实施例中所述的任一人脸测温补偿方法。
处理器31和存储器32可以通过总线或其他方式连接，图6中以通过总线连接为例，存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的人脸测温补偿装置200对应的程序指令/模块(例如图5中的模块和单元)。处理器31通过运行存储在存储器32中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述方法实施例中的人脸测温补偿方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据人脸测温补偿装置200的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器32。这些远程存储器可以通过网络连接至电子设备300。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意实施例中的人脸测温补偿方法，例如，执行图1和图2中的方法步骤。
上述产品可执行本发明实施例所提供的人脸测温补偿方法，具备执行所述人脸测温补偿方法相应的功能模块。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的人脸测温补偿方法。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种人脸测温补偿方法，其特征在于，包括：
获取目标用户的彩色图像和热感图像；
根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度；
根据所述彩色图像和所述热感图像计算人脸距离；
根据所述人脸距离，对所述基准温度进行修正。
2.根据权利要求1所述的人脸测温补偿方法，其特征在于，所述根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度包括：
对所述彩色图像进行人脸检测，确定人脸位置；
根据所述人脸位置在所述热感图像中确定对应的热感值矩阵；
根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度。
3.根据权利要求2所述的人脸测温补偿方法，其特征在于，所述方法还包括对所述热感值矩阵中的热感值进行滤波处理；
所述根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤，进一步包括：
根据所述人脸位置，并且结合经过滤波处理后的所述热感值矩阵，获取所述目标用户的人脸的基准温度的步骤。
4.根据权利要求2或3所述的人脸测温补偿方法，其特征在于，所述根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度包括：
将所述彩色图像与热感值矩阵对应起来；
在所述热感值矩阵中计算得到人脸的基准温度。
5.根据权利要求1所述的人脸测温补偿方法，其特征在于，所述根据所述彩色图像和热感图像计算人脸距离包括：
对所述彩色图像进行人脸检测，获取人脸面积x；
根据所述人脸面积x，并且基于标定的距离函数计算得到人脸距离Y，其中，所述距离函数模型为：Y＝a*(x^b)。
6.根据权利要求1所述的人脸测温补偿方法，其特征在于，所述根据所述人脸距离，对所述基准温度进行修正包括：基于环境温度和人脸距离对所述基准温度进行温度补偿。
7.一种人脸测温补偿装置，其特征在于，包括：
图像获取模块，用于获取目标用户的彩色图像和热感图像；
人脸测温模块，用于根据所述彩色图像和所述热感图像获取所述目标用户的人脸的基准温度；
距离计算模块，用于根据所述彩色图像和所述热感图像计算人脸距离；
温度修正模块，用于根据所述人脸距离，对所述基准温度进行修正。
8.根据权利要求7所述的人脸测温补偿装置，其特征在于，所述人脸测温模块包括：
位置检测单元，用于对所述彩色图像进行人脸检测，确定人脸位置；
热感检测单元，用于根据所述人脸位置在所述热感图像中确定对应的热感值矩阵；
温度获取单元，用于根据所述人脸位置，并且结合所述热感值矩阵，获取所述目标用户的人脸的基准温度。
9.根据权利要求7所述的人脸测温补偿装置，其特征在于，所述距离计算模块包括：
人脸面积获取单元，用于对所述彩色图像进行人脸检测，获取人脸面积x；
人脸距离计算单元，用于根据所述人脸面积x，并且基于标定的距离函数计算得到人脸距离Y，其中，所述距离函数模型为：Y＝a*(x^b)。
10.一种电子设备，其特征在于，包括：
至少一个处理器；
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547830.6A CN113361337A (zh) | 2021-05-19 | 2021-05-19 | 一种人脸测温补偿方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547830.6A CN113361337A (zh) | 2021-05-19 | 2021-05-19 | 一种人脸测温补偿方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361337A true CN113361337A (zh) | 2021-09-07 |
Family
ID=77526988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110547830.6A Pending CN113361337A (zh) | 2021-05-19 | 2021-05-19 | 一种人脸测温补偿方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361337A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507306A (zh) * | 2020-04-30 | 2020-08-07 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种基于ai人脸距离检测的温度误差补偿方法 |
| CN114441048A (zh) * | 2022-02-09 | 2022-05-06 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657607A (zh) * | 2018-12-17 | 2019-04-19 | 中新智擎科技有限公司 | 一种基于人脸识别的人脸目标测距方法、装置及存储介质 |
| CN111223225A (zh) * | 2020-02-11 | 2020-06-02 | 厦门瑞为信息技术有限公司 | 一套集成测温和人脸识别闸机伴侣的检测通行系统 |
| CN111339854A (zh) * | 2020-02-14 | 2020-06-26 | 北京猎户星空科技有限公司 | 一种测温方法、测温装置、机器人以及计算机存储介质 |
| CN111507306A (zh) * | 2020-04-30 | 2020-08-07 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种基于ai人脸距离检测的温度误差补偿方法 |
| KR102148638B1 (ko) * | 2020-04-24 | 2020-08-27 | 주식회사 웹게이트 | 외부 환경의 변화에 따른 발열 감지 장치 |
| CN111693147A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 温度补偿的方法、装置、电子设备及计算机可读存储介质 |
| CN111735544A (zh) * | 2020-07-30 | 2020-10-02 | 武汉安可威视科技有限公司 | 一种基于多维补偿的红外人体测温方法 |
| CN111964789A (zh) * | 2020-08-14 | 2020-11-20 | 深圳市视美泰技术股份有限公司 | 温度测量方法、装置、计算机设备和存储介质 |
| CN112146761A (zh) * | 2020-08-14 | 2020-12-29 | 上海数川数据科技有限公司 | 一种基于机器学习的人体测温补偿方法 |
| CN112819754A (zh) * | 2021-01-13 | 2021-05-18 | 浙江大华技术股份有限公司 | 一种人体测温方法、终端设备以及计算机可读存储介质 |
-
2021
- 2021-05-19 CN CN202110547830.6A patent/CN113361337A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657607A (zh) * | 2018-12-17 | 2019-04-19 | 中新智擎科技有限公司 | 一种基于人脸识别的人脸目标测距方法、装置及存储介质 |
| CN111223225A (zh) * | 2020-02-11 | 2020-06-02 | 厦门瑞为信息技术有限公司 | 一套集成测温和人脸识别闸机伴侣的检测通行系统 |
| CN111339854A (zh) * | 2020-02-14 | 2020-06-26 | 北京猎户星空科技有限公司 | 一种测温方法、测温装置、机器人以及计算机存储介质 |
| KR102148638B1 (ko) * | 2020-04-24 | 2020-08-27 | 주식회사 웹게이트 | 외부 환경의 변화에 따른 발열 감지 장치 |
| CN111507306A (zh) * | 2020-04-30 | 2020-08-07 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种基于ai人脸距离检测的温度误差补偿方法 |
| CN111693147A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 温度补偿的方法、装置、电子设备及计算机可读存储介质 |
| CN111735544A (zh) * | 2020-07-30 | 2020-10-02 | 武汉安可威视科技有限公司 | 一种基于多维补偿的红外人体测温方法 |
| CN111964789A (zh) * | 2020-08-14 | 2020-11-20 | 深圳市视美泰技术股份有限公司 | 温度测量方法、装置、计算机设备和存储介质 |
| CN112146761A (zh) * | 2020-08-14 | 2020-12-29 | 上海数川数据科技有限公司 | 一种基于机器学习的人体测温补偿方法 |
| CN112819754A (zh) * | 2021-01-13 | 2021-05-18 | 浙江大华技术股份有限公司 | 一种人体测温方法、终端设备以及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JIA-WEI LIN 等: "A Thermal Camera Based Continuous Body Temperature Measurement System", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》, 5 March 2020 (2020-03-05), pages 1681 - 1687 * |
| 张洁茹 等: "双光谱智能体温检测与健康大数据管理系统", 《北京航空航天大学学报》, no. 09, 6 May 2020 (2020-05-06), pages 1739 - 1746 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507306A (zh) * | 2020-04-30 | 2020-08-07 | 多维协同人工智能技术研究院(重庆)有限公司 | 一种基于ai人脸距离检测的温度误差补偿方法 |
| CN114441048A (zh) * | 2022-02-09 | 2022-05-06 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
| CN114441048B (zh) * | 2022-02-09 | 2024-05-24 | 深兰自动驾驶研究院(山东)有限公司 | 生理热图获取装置、方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A detection and recognition system of pointer meters in substations based on computer vision | |
| CN111339951A (zh) | 体温测量方法、装置及系统 | |
| US7227973B2 (en) | Device, method and record medium for image comparison | |
| CN111579083B (zh) | 基于红外图像人脸检测的体温测量的方法和装置 | |
| CN111626125B (zh) | 人脸温度检测的方法、系统、装置和计算机设备 | |
| CN113361337A (zh) | 一种人脸测温补偿方法、装置及电子设备 | |
| CN107025635A (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
| CN111323125B (zh) | 一种测温方法、装置及计算机存储介质、电子设备 | |
| CN113034624B (zh) | 基于感温变色胶贴的温度预警图像识别方法、系统、设备及存储介质 | |
| CN111751002A (zh) | 一种基于红外热成像的带电设备故障智能诊断方法 | |
| CN113358231B (zh) | 红外测温方法、装置及设备 | |
| CN111476785B (zh) | 基于位置记录的夜间红外反光水尺检测方法 | |
| CN111920391B (zh) | 一种测温方法及设备 | |
| CN113688817A (zh) | 一种自动巡检的仪表识别方法及识别系统 | |
| CN113834571A (zh) | 一种目标测温方法、装置及测温系统 | |
| CN112434598A (zh) | 一种非接触式体温测量方法和系统 | |
| Fang et al. | A mask RCNN based automatic reading method for pointer meter | |
| CN112525355A (zh) | 图像处理方法、装置及设备 | |
| CN116310678A (zh) | 固态激光雷达与热成像视觉融合的火源识别及定位方法 | |
| CN109308714A (zh) | 基于分类惩罚的摄像头和激光雷达信息配准方法 | |
| JP2002132341A (ja) | 現場点検装置 | |
| CN110910379A (zh) | 一种残缺检测方法及装置 | |
| CN113778091A (zh) | 一种风电场升压站设备巡检方法 | |
| CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
| CN109190530A (zh) | 一种基于人脸识别大数据算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |