CN111967428B - 人脸测温方法、装置及存储介质 - Google Patents

人脸测温方法、装置及存储介质 Download PDF

Info

Publication number
CN111967428B
CN111967428B CN202010882798.2A CN202010882798A CN111967428B CN 111967428 B CN111967428 B CN 111967428B CN 202010882798 A CN202010882798 A CN 202010882798A CN 111967428 B CN111967428 B CN 111967428B
Authority
CN
China
Prior art keywords
temperature
face
image
current frame
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010882798.2A
Other languages
English (en)
Other versions
CN111967428A (zh
Inventor
肖传宝
张兆生
陈白洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202010882798.2A priority Critical patent/CN111967428B/zh
Publication of CN111967428A publication Critical patent/CN111967428A/zh
Application granted granted Critical
Publication of CN111967428B publication Critical patent/CN111967428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本申请公开了一种人脸测温方法、装置及存储介质。该人脸测温方法包括：获取当前帧待检测人脸图像；接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度。本申请解决了由于无法定位额头位置造成的人脸温度测量不够精确的技术问题。

Description

人脸测温方法、装置及存储介质
技术领域
本申请涉及测温领域，具体而言，涉及一种人脸测温方法、装置及存储介质。
背景技术
在疫情防控一线，科技始终是极为重要的支撑力量，而人脸识别体温检测这种“非接触式”检测能够很大程度上降低接触性传染的概率，因此，人脸识别体温检测在医疗领域，特别是对疾病的分析诊断具有重要的意义。人脸识别测温，是指识别出人脸图像并获取该人的体温。
发明人发现，当前的测温方法无法定位额头位置，导致最终获取的人脸温度不够精确。
针对相关技术中无法定位额头位置造成的人脸温度测量不够精确的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种人脸测温方法、装置及存储介质，以解决无法定位额头位置造成的人脸温度测量不够精确的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种人脸测温方法。
根据本申请的人脸测温方法包括：获取当前帧待检测人脸图像；接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度。
进一步的，获取当前帧待检测人脸图像包括：检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出当前帧待检测人脸图像。
进一步的，获取当前帧待检测人脸图像包括：检测出RGB图像中人脸及关键点，并裁剪出第一人脸图像，同时检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出第二人脸图像；对齐第一人脸图像和第二人脸图像；融合对齐后的第一人脸图像和第二人脸图像。
进一步的，将所述当前帧待检测人脸图像输入第一预设检测模型进行检测之后还包括：去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度。
进一步的，根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度之后还包括：将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
进一步的，接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像包括：通过远红外测温模组测得所述当前帧待检测人脸图像所对应的第一温度图像；接收所述第一温度图像。
为了实现上述目的，根据本申请的另一方面，提供了一种人脸测温装置。
根据本申请的人脸测温装置包括：获取模块，用于获取当前帧待检测人脸图像；接收模块，用于接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；检测模块，用于将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；确定模块，用于根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度。
进一步的，还包括：去除模块，用于去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；提取模块，用于将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；执行模块，用于对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度。
进一步的，还包括：校正模块，用于将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
为了实现上述目的，根据本申请的另一方面，提供了一种存储介质。
根据本申请的存储介质包括：用于存储所述的人脸测温方法。
在本申请实施例中，采用额头定位的方式，通过获取当前帧待检测人脸图像；接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度；达到了定位额头的目的，从而实现了提升了人脸温度测量精确度的技术效果，进而解决了由于无法定位额头位置造成的人脸温度测量不够精确的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的人脸测温方法的流程示意图；
图2是根据本申请实施例的人脸测温装置的结构示意图；
图3是根据本申请实施例的第一人脸图像和第二人脸图像的融合示意图；
图4是根据本申请一优选实施例的人脸测温方法的流程示意图；
图5是根据本申请另一优选实施例的人脸测温方法的流程示意图；
图6是根据本申请再一优选实施例的人脸测温方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例，提供了一种人脸测温方法，如图1所示，该方法包括以下步骤：
步骤S101、获取当前帧待检测人脸图像；
根据本发明实施例，优选的，获取当前帧待检测人脸图像包括：
检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出当前帧待检测人脸图像。
具体的，采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。
本实施例中，需要对Gray图像和温度图像进行相应的处理，以期得到一个更为精确的人脸温度。
需要了解的是，检测人脸温度就必须定位出图像中的人脸部分和关键点，本实施例中采用人脸检测算法检测出Gray图像的人脸部分及关键点，再通过裁剪将Gray图像中的人脸部分裁剪出来，得到Gray人脸图像，作为待输入的当前帧待检测人脸图像。
根据本发明实施例，优选的，获取当前帧待检测人脸图像包括：
检测出RGB图像中人脸及关键点，并裁剪出第一人脸图像，同时检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出第二人脸图像；
对齐第一人脸图像和第二人脸图像；
融合对齐后的第一人脸图像和第二人脸图像。
具体的，采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。
另外，在本实施例中，还采用摄像装置在获取Gray图像、温度图像的同时，还拍摄得到RGB图像。
本实施例中，优选的，需要对RGB图像、Gray图像和温度图像进行相应的处理，以期得到一个更为精确的人脸温度。
需要了解的是，检测人脸温度就必须定位出图像中的人脸部分和关键点。
如图3、4所示，本实施例中采用人脸检测算法检测出RGB图像的人脸部分及关键点，再通过裁剪将RGB图像中的人脸部分裁剪出来，得到RGB人脸图像，作为第一人脸图像；再采用人脸检测算法检测出Gray图像的人脸部分及关键点，再通过裁剪将Gray图像中的人脸部分裁剪出来，得到Gray人脸图像，作为第二人脸图像。
为了准确定位人脸图像位置、获取丰富的人脸图像信息，首先将裁剪得到的第一人脸图像和第二人脸图像对齐，对齐后的图像中眼睛在一条水平线上，通过对齐可以为下一步的融合提供保障；然后对对齐后的第一人脸图像和第二人脸图像进行数据预处理(融合)。处理后尺寸一致，转换成数据矩阵，维度分别为[height,width,3]和[height,width,1](width*height为图片的像素，3和1分别为图片的channel维度数量)，在3个channel对RGB人脸图像和Gray人脸图像进行数据融合，得到融合人脸图像(当前帧待检测人脸图像)，即拼接后的数据维度为[height,weight,3]。如此，可以达到获取更为丰富的人脸图像信息，而且能够为准确定位人脸图像位置提供支持。
步骤S102、接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；
根据本发明实施例，优选的，接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像包括：
通过远红外测温模组测得所述当前帧待检测人脸图像所对应的第一温度图像；
接收所述第一温度图像。
采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。该温度图像即为当前帧待检测人脸图像所对应的第一温度图像，将该第一温度图像发送至处理器进行处理，为确定人脸温度提供保障。
步骤S103、将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；
如图4所示，融合后得到的当前帧待检测人脸图像输入第一预设检测模型；本实施例中，第一预设检测模型是基于调整后的mobilenet-v2网络进行训练的；通过将当前帧待检测人脸图像输入第一预设检测模型，该模型能够得到一检测结果，该检测结果为第一额头框和第一人脸框。为后续的人脸温度确定提供保障。
步骤S104、根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度。
人脸区域的温度最能反映体温和具有较高检测准确性的是额头，因此，通过第一预设检测模型定位出第一人脸框的同时，还定位第一额头框；再将第一额头框结合第一温度图像能够得出额头处的温度数据，将该温度数据确定为第一人脸温度。能够准确定位额头位置，采用了额头温度代表人脸温度，提高了人脸温度的精确性。
本实施例中，第一温度图像为人体各部位和环境的温度分布图像，不同区域的温度不一样。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用额头定位的方式，通过获取当前帧待检测人脸图像；接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度；达到了定位额头的目的，从而实现了提升了人脸温度测量精确度的技术效果，进而解决了由于无法定位额头位置造成的人脸温度测量不够精确的技术问题。
根据本发明实施例，优选的，将所述当前帧待检测人脸图像输入第一预设检测模型进行检测之后还包括：
去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；
将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；
对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度。
无论是定位额头或者定位人脸最终计算出的人脸温度，都不能排除环境因素对测量结果的影响。
如图5所示，本实施例中，根据第一人脸框可以将第一温度图像中与第一人脸框对应的人脸框温度图像确定出来，然后采用去除算法去除这部分的温度图像，剩余的温度图像全部认为是环境温度图像；将除去人脸框温度图像后的温度图像(环境温度图像)输入第一预设特征提取模型，通过该模型能够得到当前帧环境温度的平均值(第一特征提取结果)，再结合上一帧测得的环境温度进行加权，得到当前帧环境温度(ɑ*前一帧环境温度+(1-ɑ)*当前帧环境温度的平均值＝当前帧环境温度)；通过该当前帧环境温度能够校正额头温度(第一人脸温度)，消除环境温度对测量结果的影响，得到更为精确的人脸温度。
本实施例中，第一预设特征提取模型为卷积网络模型，是基于调整后的mobilenet-v2网络进行训练的。
本实施例中，上一帧测得的环境温度和当前帧测得的环境温度的确定步骤一致；第一帧的图像采用预设的环境温度直接作为前一帧的环境温度。
根据本发明实施例，优选的，根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度之后还包括：
将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
如图6所示，得到第一人脸温度(额头温度)之后，该第一人脸温度显然并未考虑环境温度的影响，因此，引入温度校正表并结合当前帧环境温度对额头温度进行校正，能够最终确定一个校正人脸温度，这个温度消除了环境温度的影响，提高人脸温度精确性。
本实施例中，为使算法模型的精度达到要求，需要将大量的图像数据输入模型进行训练。这里的图像数据指的是从彩色摄像头和远红外测温模组摄像头拍摄的图像。获取到图像数据后，进行数据清洗、数据预处理，将同个人同时刻的RGB图像和Gray图像进行拼接，将数据集分为训练集和测试集。同时前一帧的环境温度和温度校正表是已知的。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种用于实施上述人脸测温方法的装置，如图2所示，该装置包括：
获取模块10，用于获取当前帧待检测人脸图像；
根据本发明实施例，优选的，获取当前帧待检测人脸图像包括：
检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出当前帧待检测人脸图像。
具体的，采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。
本实施例中，需要对Gray图像和温度图像进行相应的处理，以期得到一个更为精确的人脸温度。
需要了解的是，检测人脸温度就必须定位出图像中的人脸部分和关键点，本实施例中采用人脸检测算法检测出Gray图像的人脸部分及关键点，再通过裁剪将Gray图像中的人脸部分裁剪出来，得到Gray人脸图像，作为待输入的当前帧待检测人脸图像。
根据本发明实施例，优选的，获取当前帧待检测人脸图像包括：
检测出RGB图像中人脸及关键点，并裁剪出第一人脸图像，同时检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出第二人脸图像；
对齐第一人脸图像和第二人脸图像；
融合对齐后的第一人脸图像和第二人脸图像。
具体的，采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。
另外，在本实施例中，还采用摄像装置在获取Gray图像、温度图像的同时，还拍摄得到RGB图像。
本实施例中，优选的，需要对RGB图像、Gray图像和温度图像进行相应的处理，以期得到一个更为精确的人脸温度。
需要了解的是，检测人脸温度就必须定位出图像中的人脸部分和关键点。
如图3、4所示，本实施例中采用人脸检测算法检测出RGB图像的人脸部分及关键点，再通过裁剪将RGB图像中的人脸部分裁剪出来，得到RGB人脸图像，作为第一人脸图像；再采用人脸检测算法检测出Gray图像的人脸部分及关键点，再通过裁剪将Gray图像中的人脸部分裁剪出来，得到Gray人脸图像，作为第二人脸图像。
为了准确定位人脸图像位置、获取丰富的人脸图像信息，首先将裁剪得到的第一人脸图像和第二人脸图像对齐，对齐后的图像中眼睛在一条水平线上，通过对齐可以为下一步的融合提供保障；然后对对齐后的第一人脸图像和第二人脸图像进行数据预处理(融合)。处理后尺寸一致，转换成数据矩阵，维度分别为[height,width,3]和[height,width,1](width*height为图片的像素，3和1分别为图片的channel维度数量)，在3个channel对RGB人脸图像和Gray人脸图像进行数据融合，得到融合人脸图像(当前帧待检测人脸图像)，即拼接后的数据维度为[height,weight,3]。如此，可以达到获取更为丰富的人脸图像信息，而且能够为准确定位人脸图像位置提供支持。
接收模块20，用于接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；
根据本发明实施例，优选的，接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像包括：
通过远红外测温模组测得所述当前帧待检测人脸图像所对应的第一温度图像；
接收所述第一温度图像。
采用远红外测温模组进行人脸温度测量；远红外测温模组为非接触式测温设备；本领域技术人员应当了解，通过非接触式测温设备能够测得人员的Gray图像以及反应人员温度分布的温度图像。该温度图像即为当前帧待检测人脸图像所对应的第一温度图像，将该第一温度图像发送至处理器进行处理，为确定人脸温度提供保障。
检测模块30，用于将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；
如图4所示，融合后得到的当前帧待检测人脸图像输入第一预设检测模型；本实施例中，第一预设检测模型是基于调整后的mobilenet-v2网络进行训练的；通过将当前帧待检测人脸图像输入第一预设检测模型，该模型能够得到一检测结果，该检测结果为第一额头框和第一人脸框。为后续的人脸温度确定提供保障。
确定模块40，用于根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度。
人脸区域的温度最能反映体温和具有较高检测准确性的是额头，因此，通过第一预设检测模型定位出第一人脸框的同时，还定位第一额头框；再将第一额头框结合第一温度图像能够得出额头处的温度数据，将该温度数据确定为第一人脸温度。能够准确定位额头位置，采用了额头温度代表人脸温度，提高了人脸温度的精确性。
本实施例中，第一温度图像为人体各部位和环境的温度分布图像，不同区域的温度不一样。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用额头定位的方式，通过获取当前帧待检测人脸图像；接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度；达到了定位额头的目的，从而实现了提升了人脸温度测量精确度的技术效果，进而解决了由于无法定位额头位置造成的人脸温度测量不够精确的技术问题。
根据本发明实施例，优选的，还包括：
去除模块，用于去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；
提取模块，用于将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；
执行模块，用于对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度。
如图5所示，本实施例中，根据第一人脸框可以将第一温度图像中与第一人脸框对应的人脸框温度图像确定出来，然后采用去除算法去除这部分的温度图像，剩余的温度图像全部认为是环境温度图像；将除去人脸框温度图像后的温度图像(环境温度图像)输入第一预设特征提取模型，通过该模型能够得到当前帧环境温度的平均值(第一特征提取结果)，再结合上一帧测得的环境温度进行加权，得到当前帧环境温度(ɑ*前一帧环境温度+(1-ɑ)*当前帧环境温度的平均值＝当前帧环境温度)；通过该当前帧环境温度能够校正额头温度(第一人脸温度)，消除环境温度对测量结果的影响，得到更为精确的人脸温度。
本实施例中，第一预设特征提取模型为卷积网络模型，是基于调整后的mobilenet-v2网络进行训练的。
本实施例中，上一帧测得的环境温度和当前帧测得的环境温度的确定步骤一致；第一帧的图像采用预设的环境温度直接作为前一帧的环境温度。
根据本发明实施例，优选的，还包括：
校正模块，用于将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
如图6所示，得到第一人脸温度(额头温度)之后，该第一人脸温度显然并未考虑环境温度的影响，因此，引入温度校正表并结合当前帧环境温度对额头温度进行校正，能够最终确定一个校正人脸温度，这个温度消除了环境温度的影响，提高人脸温度精确性。
本实施例中，为使算法模型的精度达到要求，需要将大量的图像数据输入模型进行训练。这里的图像数据指的是从彩色摄像头和远红外测温模组摄像头拍摄的图像。获取到图像数据后，进行数据清洗、数据预处理，将同个人同时刻的RGB图像和Gray图像进行拼接，将数据集分为训练集和测试集。同时前一帧的环境温度和温度校正表是已知的。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种人脸测温方法，其特征在于，包括：
获取当前帧待检测人脸图像；
接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；
将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；
去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；
将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；第一预设特征提取模型为卷积网络模型，是基于调整后的mobilenet-v2网络进行训练的；
对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度；
根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度；
将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
2.根据权利要求1所述的人脸测温方法，其特征在于，获取当前帧待检测人脸图像包括：
检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出当前帧待检测人脸图像。
3.根据权利要求1所述的人脸测温方法，其特征在于，获取当前帧待检测人脸图像包括：
检测出RGB图像中人脸及关键点，并裁剪出第一人脸图像，同时检测出远红外测温模组中获取的Gray图像的人脸及关键点，并裁剪出第二人脸图像；
对齐第一人脸图像和第二人脸图像；
融合对齐后的第一人脸图像和第二人脸图像。
4.根据权利要求1所述的人脸测温方法，其特征在于，接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像包括：
通过远红外测温模组测得所述当前帧待检测人脸图像所对应的第一温度图像；
接收所述第一温度图像。
5.一种人脸测温装置，其特征在于，包括：
获取模块，用于获取当前帧待检测人脸图像；
接收模块，用于接收检测得到的所述当前帧待检测人脸图像所对应的第一温度图像；
检测模块，用于将所述当前帧待检测人脸图像输入第一预设检测模型进行检测；
去除模块，用于去除所述第一温度图像中与检测结果中的第一人脸框对应的部分；
提取模块，用于将去除后的第一温度图像输入第一预设特征提取模型，得到第一特征提取结果；第一预设特征提取模型为卷积网络模型，是基于调整后的mobilenet-v2网络进行训练的；
执行模块，用于对第一特征提取结果和上一帧环境温度执行预设操作，得到当前帧环境温度；
确定模块，用于根据检测结果中的第一额头框和所述第一温度图像确定第一人脸温度；
校正模块，用于将第一人脸温度和当前帧环境温度输入温度校正表，得到校正的人脸温度。
6.一种存储介质，其特征在于，用于存储权利要求1至4中任一项所述的人脸测温方法。
CN202010882798.2A 2020-08-27 2020-08-27 人脸测温方法、装置及存储介质 Active CN111967428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010882798.2A CN111967428B (zh) 2020-08-27 2020-08-27 人脸测温方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010882798.2A CN111967428B (zh) 2020-08-27 2020-08-27 人脸测温方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111967428A CN111967428A (zh) 2020-11-20
CN111967428B true CN111967428B (zh) 2021-09-14

Family

ID=73400471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010882798.2A Active CN111967428B (zh) 2020-08-27 2020-08-27 人脸测温方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111967428B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816074A (zh) * 2021-03-26 2021-05-18 深圳证面智联科技有限公司 户外适用的人脸识别测温系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN111339854A (zh) * 2020-02-14 2020-06-26 北京猎户星空科技有限公司 一种测温方法、测温装置、机器人以及计算机存储介质
CN111401349A (zh) * 2020-06-08 2020-07-10 广州图普网络科技有限公司 一种人脸测温方法、装置、电子设备及存储介质
CN111432052A (zh) * 2020-04-13 2020-07-17 北京年管家信息科技有限公司 一种带有温度测量和夜视仪功能的智能手机、测量方法及计算机可读存储介质
CN111426388A (zh) * 2020-03-31 2020-07-17 高新兴科技集团股份有限公司 人员体温测量方法、系统、计算机存储介质及电子设备
CN111579083A (zh) * 2020-05-13 2020-08-25 芋头科技（杭州）有限公司 基于红外图像人脸检测的体温测量的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN111339854A (zh) * 2020-02-14 2020-06-26 北京猎户星空科技有限公司 一种测温方法、测温装置、机器人以及计算机存储介质
CN111426388A (zh) * 2020-03-31 2020-07-17 高新兴科技集团股份有限公司 人员体温测量方法、系统、计算机存储介质及电子设备
CN111432052A (zh) * 2020-04-13 2020-07-17 北京年管家信息科技有限公司 一种带有温度测量和夜视仪功能的智能手机、测量方法及计算机可读存储介质
CN111579083A (zh) * 2020-05-13 2020-08-25 芋头科技（杭州）有限公司 基于红外图像人脸检测的体温测量的方法和装置
CN111401349A (zh) * 2020-06-08 2020-07-10 广州图普网络科技有限公司 一种人脸测温方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111967428A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
US7848547B2 (en) Apparatus for detecting feature point and method of detecting feature point
CN109766007B (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
EP4137038A1 (en) Reliability of gaze tracking data for left and right eye
CN106778597B (zh) 基于图像分析的智能视力检测仪
CN109785396B (zh) 基于双目相机的写字姿态监测方法、系统、装置
CN103955272A (zh) 一种终端设备用户姿态检测系统
CN110766656B (zh) 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN112101124B (zh) 一种坐姿检测方法及装置
US11328439B2 (en) Information processing device, object measurement system, object measurement method, and program storage medium
CN103927250A (zh) 一种终端设备用户姿态检测方法
CN111543934A (zh) 一种视力检测方法、装置、电子产品及存储介质
US20200065990A1 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
US10249039B2 (en) Skin condition detection method, eletronic apparatus, and skin condition detection system
US20200394402A1 (en) Object identification device, object identification system, object identification method, and program recording medium
CN112434715B (zh) 基于人工智能的目标识别方法、装置及存储介质
CN111967428B (zh) 人脸测温方法、装置及存储介质
CN103852034A (zh) 一种电梯导轨垂直度检测方法
CN111488775A (zh) 注视度判断装置及方法
CN110020628A (zh) 基于面部检测的坐姿检测方法、系统、设备及存储介质
CN114121232A (zh) 分类模型训练方法、装置、电子设备及存储介质
CN109241892A (zh) 一种仪表盘读取方法、仪表盘读取装置及电子设备
WO2015079054A1 (en) Estimating gaze from un-calibrated eye measurement points
CN112051920A (zh) 视线落点确定方法和装置
US20180199810A1 (en) Systems and methods for pupillary distance estimation from digital facial images
CN115115711A (zh) 鼻咽拭子采样中的视觉标定方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant