CN111461092B - 一种刷脸测温及核身的方法、装置和设备 - Google Patents
一种刷脸测温及核身的方法、装置和设备 Download PDFInfo
- Publication number
- CN111461092B CN111461092B CN202010563900.2A CN202010563900A CN111461092B CN 111461092 B CN111461092 B CN 111461092B CN 202010563900 A CN202010563900 A CN 202010563900A CN 111461092 B CN111461092 B CN 111461092B
- Authority
- CN
- China
- Prior art keywords
- face
- detected
- image
- determining
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000001680 brushing effect Effects 0.000 title claims abstract description 34
- 210000001061 forehead Anatomy 0.000 claims abstract description 99
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 77
- 238000001931 thermography Methods 0.000 claims abstract description 74
- 238000009434 installation Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000004861 thermometry Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000036757 core body temperature Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Abstract
本说明书实施例公开了一种刷脸测温及核身的方法、装置和设备，所述方法在检测到待测人脸时，获取包含待测人脸的二维图像、深度图像和热图像，二维图像和深度图像由安装在核身设备中的核身摄像头采集得到，热图像由安装在测温设备中的热成像摄像头采集得到，这两个设备相互独立且安装位置相对固定；基于二维图像和深度图像，确定待测人脸的深度信息；基于核身摄像头和热成像摄像头的相对位置参数以及所述深度信息，确定待测人脸在热图像中的位置信息；基于待测人脸在热图像中的位置信息，确定待测人脸的额头在热图像中的位置信息并确定待测人脸的额温；基于二维图像、深度图像以及核身设备对应的用户人脸图像库，对待测人脸对应的用户进行核身。
Description
技术领域
本文件涉及计算机技术领域，尤其涉及一种刷脸测温及核身的方法、装置和设备。
背景技术
在一些情况下，各大楼、小区、超市、企业或机构的办公区和医院等人流密集场所，需要对进出人员进行身份核实和体温测量。目前，这些场所大多通过两种方式进行身份核实和体温测量，一种是，需要出入指定场所的人员提前携带有效证件办理出入证，在进出指定场所时向相关人员出示出入证实现身份核实，并由相关人员手动对出入人员进行体温测量；另一种是，在指定场所的出入口处设置刷脸测温及核身的一体化装置，自动完成人脸识别和体温测量。
但是，这两种方案都存在不足之处，需要改进。
发明内容
本说明书实施例提供了一种刷脸测温及核身的方法、装置和设备，以提供一种更好的测温及核身方案。
为解决上述技术问题，本说明书实施例是这样实现的：
第一方面，提出了一种刷脸测温及核身的方法，包括：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
第二方面，提出了一种刷脸测温及核身的装置，包括：
图像数据获取模块，在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
深度信息确定模块，基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
人脸位置确定模块，基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
额温确定模块，基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
核身模块，基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
第三方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
由以上本说明书实施例提供的至少一个技术方案，可以取得下述技术效果中的一种或多种：（1）由于是在核身设备的基础上，再增加一个与核身设备的安装位置相对固定的测温设备，并通过二者的相对位置参数和待测人脸的深度信息，便能完成核身设备中的核身摄像头与测温设备中的热成像摄像头的对齐，从而确定出待测人脸的额温，无需提供核身+测温的一体化机具，因此可以降低机具成本（核身+测温一体化机具的成本一般相对更高），增加测温的灵活性；（2）由于可以自动确定出待测人脸在热成像图像（热图像）中的位置，从而准确确定出待测人脸的额温，对用户与核身设备以及测温设备的配合交互的依赖程度较低，不需要用户刻意将额头中心正对规定的交互点来提高测温精度，对用户来说更为友好、方便、快捷；（3）由于核身设备已有自己的用户人脸图像库，因此，在核身过程中，不需要提前采集人脸图像录入人脸图像库，也不需要用户刷身份证，进一步提升了用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本说明书的一个实施例提供的一种刷脸测温及核身的系统的示意图。
图2是本说明书的一个实施例提供的一种刷脸测温及核身的系统的结构示意图。
图3是本说明书的一个实施例提供的一种刷脸测温及核身的方法的流程示意图。
图4是本说明书的一个实施例提供的一种确定额温的方法的原理示意图。
图5是本说明书的另一个实施例提供的一种刷脸测温及核身的方法的流程示意图。
图6是本说明书实施例提供的一种电子设备的结构示意图。
图7是本说明书的一个实施例提供的一种刷脸测温及核身的装置的结构示意图。
图8是本说明书的另一个实施例提供的一种刷脸测温及核身的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。
为了适应某些场所已有核身功能但还缺乏测温功能的情况，或者，为了适应某些场所既无核身功能又缺乏测温功能，但都想以更少的成本对用户进行核身和体温测量，本说明书实施例提供了一种更好的测温核身方案，具体提供了一种刷脸测温及核身的方法和装置，下面进行说明。
上述场所包括但不限于各大楼、小区、超市、企业或机构的办公区和医院等人流密集场所。
下面先结合图1对本说明书的一个实施例提供的一种刷脸测温及核身方案的系统架构进行说明，如图1所示，该系统可包括核身设备1和测温设备2，其中，核身设备1和测温设备2是两个相互独立的设备，二者通过预设方式连接以进行通信和数据交互，预设方式包括USB和蓝牙等。
核身设备1可以是上述场所已有的核身设备，如超市出口设置的刷脸自助结算设备，写字楼入口设置的刷脸核身设备等；核身设备1也可以是因某些需要而临时安装至上述场所的核身设备。
测温设备2可以是因某些需要，在上述场所出口或入口处增设的具有热成像摄像头的测温配件。
进一步地，图2示出了本说明书的一个实施例提供的刷脸测温及核身的系统的结构示意图。如图2所示，核身设备1中安装有核身摄像头11并具有显示屏14，核身摄像头11是一个二目摄像头，既可以采集二维图像，又可以采集深度（三维）图像；测温设备2中安装有热成像摄像头21，热成像摄像头21可以采集物体（如人体及周围环境）的热图像；核身摄像头11采集的二维图像12和热成像摄像头21采集的热图像13可以分别显示在核身设备的显示屏14中。
如图2所示，核身设备1和测温设备2的安装位置可以相对固定，并且可以根据二者的安装位置，估计出热成像摄像头21和核身摄像头11在x、y和z（笛卡尔坐标系中的坐标轴）三个方向上的相对距离，以用于对热成像摄像头21和核身摄像头11采集的图像进行对齐。可选地，为了进一步方便对热成像摄像头21和核身摄像头11采集的图像进行对齐，安装时，可以使热成像摄像头21的光心和核身摄像头11光心对准，并将热成像摄像头21安装在核身摄像头11的正上方。
本说明书实施例提供的刷脸测温及核身的方案，通过非一体化的核身设备和测温设备相互配合实现对用户的体温测量和身份核实。可选地，下文所述的实施例提供的刷脸测温及核身的方法和装置，可以由核身设备执行，具体可以由安装在核身设备中的软件执行，该软件可以通过测温设备与核身设备之间的连接，获取测温设备中的热成像摄像头采集的热图像。
此外，本说明书实施例提供的非一体化的核身设备和测温设备，其中安装的核身摄像头和热成像摄像头不需要事先进行严格标定和时序对齐，而是在核身设备和测温设备之间的相对位置固定的情况下，根据核身设备和测温设备之间的相对位置参数以及核身摄像头采集的待测人脸的深度信息，实现核身摄像头和热成像摄像头实时、动态标定和对齐，从而准确地确定出待测人脸的额温，详见下文中的步骤306至步骤312。也就是说，本说明书实施例提供的非一体化的核身设备和测温设备，在事先不对核身摄像头和热成像摄像头进行标定和对齐的情况下，也能实现用户额温的准确测定，安装简单，使用方便。
下面对本说明书实施例提供的一种刷脸测温及核身的方法进行说明。
图3示出了本说明书的一个实施例提供的一种刷脸测温及核身的方法的流程示意图，如图3所示，该方法可以包括如下步骤：
步骤302、开始。
步骤304、确定是否检测到待测人脸，若检测到，执行步骤306；否则，结束本流程，或者返回步骤302。
具体实现时，可以通过核身设备中的核身摄像头进行人脸检测或追踪，以确定是否检测到待测人脸，当核身摄像头检测到人体肤色区域，并在人体肤色区域中检测到特定的人脸特征（如眉毛、眼睛、鼻子、嘴巴等）时，则确定检测到了待测人脸，否则确定未检测到待测人脸，这种检测方法对戴口罩等遮挡物的情况也具有良好的检测效果。
步骤306、获取包含待测人脸的二维图像、深度图像和热图像。
如前文所述，待测人脸的二维图像和深度图像可以由安装在核身设备中的核身摄像头采集得到，待测人脸的热图像可以由安装在测温设备中的热成像摄像头采集得到，核身设备和测温设备为两个独立的设备，且核身设备和测温设备的安装位置相对固定。可以理解，由于核身摄像头一般是固定安装在核身设备中的，热成像摄像头是固定安装在测温设备中的，因此，上述的核身设备和测温设备的安装位置相对固定，也可以理解为是核身摄像头和热成像摄像头的安装位置相对固定。
步骤308、基于所述二维图像和所述深度图像，确定待测人脸的深度信息。
由于通过人脸检测可以在二维图像中标记出待测人脸所在的位置，因此，将二维图像与深度图像对齐之后，可以确定出待测人脸的深度信息（或称距离信息），具体可以是待测人脸的各个位置的三维坐标。具体来说，可以先在所述二维图像中进行人脸搜索，得到待测人脸在所述二维图像中的位置信息；然后基于待测人脸在所述二维图像中的位置信息，确定待测人脸在所述深度图像中的位置信息；基于待测人脸在所述深度图像中的位置信息，确定待测人脸的深度信息。
步骤310、基于核身摄像头和热成像摄像头的相对位置参数以及所述深度信息，确定待测人脸在所述热图像中的位置信息。
具体的，可以先基于所述核身摄像头和所述热成像摄像头的相对位置参数和所述深度信息，确定所述待测人脸在所述热成像摄像头中的位置信息；然后基于所述待测人脸在所述热成像摄像头中的位置信息，确定所述待测人脸在所述热图像中的位置信息。
核身摄像头和热成像摄像头的相对位置参数可以是二者之间的坐标差，例如，假设核身摄像头的坐标为（x1,y1,z1），热成像摄像头的坐标为（x2,y2,z2）,那么，核身摄像头和热成像摄像头的相对位置参数可以表示为：x1-x2=Δx，y1-y2=Δy，z1-z2=Δz。
如步骤308所述，待测人脸的深度信息具体可以是待测人脸的各个位置的三维坐标，那么假设待测人脸的某一位置的三维坐标为（x3,y3,z3），则待测人脸在热成像摄像头中的位置可以表示为（x3-Δx,y3-Δy,z3-Δz），可以理解，在确定出待测人脸在热成像摄像头中的位置信息以后，便可以确定出待测人脸在热成像摄像头采集得到的热图像中的位置信息。
更为具体的，作为一个例子，上述基于待测人脸在热成像摄像头中的位置信息，确定待测人脸在所述热图像中的位置信息，可包括如下步骤：
步骤1、基于待测人脸在热成像摄像头中的位置信息，在热图像中标出待测人脸的初始人脸框，人脸框可以理解为是能够包围用户人脸的封闭曲线。
步骤2、对初始人脸框向外扩展预设距离之后，得到待测人脸在热图像中的扩大人脸框；其中，预设距离可以根据经验灵活设定，如1倍、1.5倍、2倍，等等。
步骤3、对热图像中所述扩大人脸框包围的区域进行二值化处理，即将热图像中所述扩大人脸框包围的区域转换成由0和1表示的两种像素，其中0可以代表背景图像像素，表示待测人脸周围的环境，其中1可以代表人脸图像像素（也称前景图像像素），表示待测人脸。
步骤4、在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定待测人脸在所述热图像中的最终人脸框，其中，最终人脸框包围的像素为人脸图像像素，最终人脸框外的像素为背景图像像素。
步骤5、将最终人脸框包围的区域对应的像素位置信息，确定为待测人脸在所述热图像中的位置信息。
通过此种二值化搜索人脸的方式，可以更准确地确定出人脸在热图像中的位置。当然除了此种二值化搜索方式，还可以通过其他头形或人脸检测方式在热图像中标出待测人脸所在的位置信息。
可选地，为了进一步地提升在热图像中确定出待测人脸所在位置的准确性，在上述步骤4之后，在上述步骤5之前，还可以对最终人脸框进行平移或微调，以使最终人脸框包围的区域中不含背景图像像素。
步骤312、基于待测人脸在所述热图像中的位置信息，确定待测人脸的额头在所述热图像中的位置信息并确定待测人脸的额温。
当步骤310中通过二值化搜索方式确定出最终人脸框，并将最终人脸框包围的区域对应的像素位置信息，确定为待测人脸在所述热图像中的位置信息时，作为一个例子，步骤312具体可以包括：基于最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定待测人脸的额头在所述热图像中的位置信息；基于待测人脸的额头在所述热图像中位置信息及第二预设规则，确定待测人脸的额温。
作为一种可能的实施方式，上述基于最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定待测人脸的额头在所述热图像中的位置信息，可包括：将最终人脸框包围的区域按预设比例分成上下两部分，并将上部分确定为待测人脸的额头在所述热图像中的位置。其中，预设比例比如可以是1:1、1:2，等等。
作为另一种可能的实施方式，上述基于最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定待测人脸的额头在所述热图像中的位置信息，可包括：将最终人脸框包围的区域以用户的眼睛或眉毛为分界线分成上下两部分，并将上部分确定为待测人脸的额头在所述热图像中的位置。
作为一种可能的实施方式，上述基于所述待测人脸的额头在所述热图像中位置信息及第二预设规则，确定所述待测人脸的额温，可包括：基于待测人脸的额头在所述热图像中的位置信息，确定所述待测人脸的额头的最高温度点；重复执行预设次数的指定步骤，得到预设数量个平均温度；确定该预设数量个平均温度的平均值，并将该平均值确定为待测人脸的额温。
上述指定步骤包括：在包含上述最高温度点的预设区域中选取多个温度点，并计算这多个温度点的平均温度，预设区域位于待测人脸的额头在所述热图像中的区域内。其中，预设区域可以是以上述最高温度点为中心的N*N个相邻小区域构成的区域，N为大于等于2的整数，如图4所示，假设方框41包围的区域代表待测人脸的额头，黑色圆点42所在的位置代表最高温度点，则可以将以黑色圆点42为中心的3*3个相邻的方形区域构成的区域确定为预设区域；或者，预设区域可以是以上述最高温度点为中心向外扩展预设距离的圆形区域，等等。本文对预设区域的确定方式不做限定，总之是在待测人脸的额头所在区域中选择多个位置，并将这多个位置的温度的平均值，作为一次测量结果，并重复进行多次测量，得到多个测量结果（预设数量个），然后将这多次测量结果的平均值作为待测人脸的额温。
上述预设数量也可以灵活设定，例如设为5。
可选地，在确定上述预设数量个平均温度的平均值时，为了使求出的额温更为客观准确（如抹去额头不同部位因刘海或帽檐等遮挡带来的温度不均匀等），可以去掉其中的最高温度和最低温度，得到剩余的多个平均温度，然后将剩余的多个平均温度的平均值确定为待测人脸的额温。
可以理解，上述在一次测量过程选多个点进行测量，并进行多次测量然后求取平均温度作为待测人脸额温的方式，即通过空域和时域双重平均的方式，可以更为准确客观地反映用户的额温（体温的一种），并且对用户快速移动、具有异常刘海等异常情况下的额温测量足够鲁棒。
步骤314、基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对待测人脸对应的用户进行核身。
具体的，通过将所述二维图像和所述深度图像分别与用户人脸图像库中存储的用户的人脸二维图像和深度图像进行比对，然后给出核身结果。
可以理解，上述基于“二维图像+深度图像”进行核身的方案是一种多模态人脸识别方案，相比于单纯基于二维图像进行核身，能提高核身的准确性。
步骤316、结束。
本说明书实施例提供的一种刷脸测温及核身的方法，可以取得下述技术效果中的一种或多种：（1）由于是在核身设备的基础上，再增加一个与核身设备的安装位置相对固定的测温设备，并通过二者的相对位置参数和检测到的待测人脸的深度信息，便能完成核身设备中的核身摄像头与测温设备中的热成像摄像头的对齐，从而确定出待测人脸的额温，无需提供核身+测温的一体化机具，因此可以降低机具成本（核身+测温一体化机具的成本一般相对更高），增加测温的灵活性；（2）由于可以自动确定出待测人脸在热成像图像（热图像）中的位置，从而准确确定出待测人脸的额温，对用户与核身设备以及测温设备的配合交互的依赖程度较低，不需要用户刻意将额头中心正对规定的交互点来提高测温精度，对用户来说更为友好、方便、快捷；（3）由于核身设备一般已经具有自己的用户人脸图像库，因此，在核身过程中，不需要提前采集人脸图像录入人脸图像库，也不需要用户刷身份证，进一步提升了用户体验。
在图3所示的刷脸测温及核身的系统的上，如图5所示，本说明书的另一实施例提供了的一种刷脸测温及核身的方法，在上述步骤314之后，在上述步骤316之前，还可以包括：
步骤318、当待测人脸的额温不超过预设温度，且对待测人脸对应的用户核身通过时，放行待测人脸对应的用户。
上述预设温度可以界定人体是否发热或发烧的温度，如37.5。
可选地，当待测人脸的额温超过预设温度，和/或，对待测人脸对应的用户核身未通过时，不对待测人脸对应的用户进行放行，并进行告警以提醒相关人员询问该用户的移动轨迹，等等。
可选地，当上述方法应用在需要支付结算的场景时，对待测人脸对应的用户核身通过时，可以完成收款或结算操作。
本说明书实施例提供的一种刷脸测温及核身的方法，可以进一步依据测温结果和合身结果对待测人脸对应的用户采取相应的处理措施，提升了相应的处理效率。
以上是对本说明书提供的方法实施例的说明，下面对本说明书提供的电子设备进行介绍。
图6是本说明书的一个实施例提供的电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成刷脸测温及核身的装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
上述如本说明书图3或图5所示实施例揭示的刷脸测温及核身的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3或图5所示的实施例提供的刷脸测温及核身的方法，本说明书在此不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3或图5所示实施例的方法，并具体用于执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
下面对本说明书提供的装置进行说明。
如图7所示，本说明书的一个实施例提供了一种刷脸测温及核身的装置700，在一种软件实施方式中，装置700可包括：人脸检测模块701、图像数据获取模块702、深度信息确定模块703、人脸位置确定模块704、额温确定模块705和核身模块706。
人脸检测模块701，确定是否检测到待测人脸，若检测到，图像数据获取模块702。
图像数据获取模块702，获取包含所述待测人脸的二维图像、深度图像和热图像。
其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定。
深度信息确定模块703，基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
人脸位置确定模块704，基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息。
作为一个例子，人脸位置确定模块704，具体可以基于待测人脸在热成像摄像头中的位置信息，在热图像中标出待测人脸的初始人脸框，人脸框可以理解为是能够包围用户人脸的封闭曲线；对初始人脸框向外扩展预设距离之后，得到待测人脸在热图像中的扩大人脸框；其中，预设距离可以根据经验灵活设定，如1倍、1.5倍、2倍，等等；对热图像中所述扩大人脸框包围的区域进行二值化处理，即将热图像中所述扩大人脸框包围的区域转换成由0和1表示的两种像素，其中0可以代表背景图像像素，表示待测人脸周围的环境，其中1可以代表人脸图像像素（也称前景图像像素），表示待测人脸；在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定待测人脸在所述热图像中的最终人脸框，其中，最终人脸框包围的像素为人脸图像像素，最终人脸框外的像素为背景图像像素；将最终人脸框包围的区域对应的像素位置信息，确定为待测人脸在所述热图像中的位置信息。
可选地，为了进一步地提升在热图像中确定出待测人脸所在位置的准确性，人脸位置确定模块704，还可以在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定待测人脸在所述热图像中的最终人脸框之后，对最终人脸框进行平移或微调，以使最终人脸框包围的区域中不含背景图像像素。
额温确定模块705，基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温。
作为一个例子，额温确定模块705，具体可以基于最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定待测人脸的额头在所述热图像中的位置信息；基于待测人脸的额头在所述热图像中位置信息及第二预设规则，确定待测人脸的额温。
作为一种可能的实施方式，额温确定模块705，具体可以将最终人脸框包围的区域按预设比例分成上下两部分，并将上部分确定为待测人脸的额头在所述热图像中的位置。其中，预设比例比如可以是1:1、1:2，等等。
作为另一种可能的实施方式，额温确定模块705，具体可以将最终人脸框包围的区域以用户的眼睛或眉毛为分界线分成上下两部分，并将上部分确定为待测人脸的额头在所述热图像中的位置。
作为一种可能的实施方式，额温确定模块705，具体可以基于待测人脸的额头在所述热图像中的位置信息，确定所述待测人脸的额头的最高温度点；重复执行预设次数的指定步骤，得到预设数量个平均温度；确定该预设数量个平均温度的平均值，并将该平均值确定为待测人脸的额温。
作为另一种可能的实施方式，额温确定模块705，具体可以基于待测人脸的额头在所述热图像中的位置信息，确定所述待测人脸的额头的最高温度点；重复执行预设次数的指定步骤，得到预设数量个平均温度；确定该预设数量个平均温度的平均值，并将该平均值确定为待测人脸的额温。
上述指定步骤包括：在包含上述最高温度点的预设区域中选取多个温度点，并计算这多个温度点的平均温度，预设区域位于待测人脸的额头在所述热图像中的区域内。
可选地，额温确定模块705在确定上述预设数量个平均温度的平均值时，为了使求出的额温更为客观准确（如抹去额头不同部位因刘海或帽檐等遮挡带来的温度不均匀等），可以去掉其中的最高温度和最低温度，得到剩余的多个平均温度，然后将剩余的多个平均温度的平均值确定为待测人脸的额温。
核身模块706，基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身。
需要说明的是，本说明书实施例提供的刷脸测温及核身的装置700能够实现图3的方法，并能取得相同的技术效果，详细内容可参考图3所示的方法，不再赘述。
如图8所示，本说明书的另一实施例提供的一种刷脸测温及核身的装置700，在一种软件实施方式中，装置700除了可以包括人脸检测模块701、图像数据获取模块702、深度信息确定模块703、人脸位置确定模块704、额温确定模块705和核身模块706，还可以包括处理模块707。
处理模块707，可以在待测人脸的额温不超过预设温度，且对待测人脸对应的用户核身通过时，放行待测人脸对应的用户。
或者，处理模块707，可以在待测人脸的额温超过预设温度，和/或，对待测人脸对应的用户核身未通过时，不对待测人脸对应的用户进行放行，并进行告警以提醒相关人员询问该用户的移动轨迹，等等。
可选地，当上述装置应用在需要支付结算的场景时，对待测人脸对应的用户核身通过时，处理模块707可以完成收款或结算操作。
需要说明的是，本说明书实施例提供的刷脸测温及核身的装置700能够实现图5的方法，并能取得相同的技术效果，详细内容可参考图5所示的方法，不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (13)
1.一种刷脸测温及核身的方法，包括：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定，所述核身设备是目标场所已有的核身设备，所述测温设备是在所述目标场所出口或入口处增设的测温配件；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，其中，所述相对位置参数为所述核身摄像头和所述热成像摄像头之间的坐标差；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身；
其中，所述基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，包括：基于所述核身摄像头和所述热成像摄像头的相对位置参数和所述深度信息，确定所述待测人脸在所述热成像摄像头中的位置信息；基于所述待测人脸在所述热成像摄像头中的位置信息，在所述热图像中标出所述待测人脸的初始人脸框；对所述初始人脸框向外扩展预设距离之后，得到所述待测人脸在所述热图像中的扩大人脸框；对所述热图像中所述扩大人脸框包围的区域进行二值化处理；在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定所述待测人脸在所述热图像中的最终人脸框，其中，所述最终人脸框包围的像素为人脸图像像素，所述最终人脸框外的像素为背景图像像素；将所述最终人脸框包围的区域对应的像素位置信息，确定为所述待测人脸在所述热图像中的位置信息。
2.根据权利要求1所述的方法，还包括：
当所述待测人脸的额温不超过预设温度，且对所述待测人脸对应的用户核身通过时，放行所述待测人脸对应的用户。
3.根据权利要求1所述的方法，其中，所述基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息，包括：
在所述二维图像中进行人脸搜索，得到所述待测人脸在所述二维图像中的位置信息；
基于所述待测人脸在所述二维图像中的位置信息，确定所述待测人脸在所述深度图像中的位置信息；
基于所述待测人脸在所述深度图像中的位置信息，确定所述待测人脸的深度信息。
4.根据权利要求1所述的方法，在将所述最终人脸框包围的区域对应的像素位置信息，确定为所述待测人脸在所述热图像中的位置信息之前，还包括：
对所述最终人脸框进行平移，以使所述最终人脸框包围的区域中不含背景图像像素。
5.根据权利要求4所述的方法，其中，所述基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温，包括：
基于所述最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定所述待测人脸的额头在所述热图像中的位置信息；
基于所述待测人脸的额头在所述热图像中位置信息及第二预设规则，确定所述待测人脸的额温。
6.根据权利要求5所述的方法，其中，所述基于所述最终人脸框包围的区域在所述热图像中的位置信息和第一预设规则，确定所述待测人脸的额头在所述热图像中的位置信息，包括：
将所述最终人脸框包围的区域按预设比例分成上下两部分，并将上部分确定为所述待测人脸的额头在所述热图像中的位置。
7.根据权利要求5所述的方法，其中，所述基于所述待测人脸的额头在所述热图像中位置信息及第二预设规则，确定所述待测人脸的额温，包括：
基于所述待测人脸的额头在所述热图像中的位置信息，确定所述待测人脸的额头的最高温度点；
重复执行预设次数的指定步骤，得到预设数量个平均温度，其中，所述指定步骤包括：在包含所述最高温度点的预设区域中选取多个温度点，并计算所述多个温度点的平均温度，所述预设区域位于所述待测人脸的额头在所述热图像中的区域内；
确定所述预设数量个平均温度的平均值，并将所述平均值确定为所述待测人脸的额温。
8.根据权利要求7所述的方法，
所述预设区域为以所述最高温度点为中心的N*N个相邻小区域构成的区域，其中，N为大于等于2的整数。
9.根据权利要求7所述的方法，其中，所述确定所述预设数量个平均温度的平均值包括：
去掉所述预设数量个平均温度中的最高温度和最低温度，得到剩余的多个平均温度；
确定所述剩余的多个平均温度的平均值。
10.根据权利要求1-9任一项所述的方法，所述方法由所述核身设备执行，所述测温设备和所述核身设备通过USB连接。
11.一种刷脸测温及核身的装置，包括：
图像数据获取模块，在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定，所述核身设备是目标场所已有的核身设备，所述测温设备是在所述目标场所出口或入口处增设的测温配件；
深度信息确定模块，基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
人脸位置确定模块，基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，其中，所述相对位置参数为所述核身摄像头和所述热成像摄像头之间的坐标差；
额温确定模块，基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
核身模块，基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身；
其中，所述人脸位置确定模块，基于所述核身摄像头和所述热成像摄像头的相对位置参数和所述深度信息，确定所述待测人脸在所述热成像摄像头中的位置信息；基于所述待测人脸在所述热成像摄像头中的位置信息，在所述热图像中标出所述待测人脸的初始人脸框；对所述初始人脸框向外扩展预设距离之后，得到所述待测人脸在所述热图像中的扩大人脸框；对所述热图像中所述扩大人脸框包围的区域进行二值化处理；在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定所述待测人脸在所述热图像中的最终人脸框，其中，所述最终人脸框包围的像素为人脸图像像素，所述最终人脸框外的像素为背景图像像素；将所述最终人脸框包围的区域对应的像素位置信息，确定为所述待测人脸在所述热图像中的位置信息。
12. 一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定，所述核身设备是目标场所已有的核身设备，所述测温设备是在所述目标场所出口或入口处增设的测温配件；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，其中，所述相对位置参数为所述核身摄像头和所述热成像摄像头之间的坐标差；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身；
其中，所述基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，包括：基于所述核身摄像头和所述热成像摄像头的相对位置参数和所述深度信息，确定所述待测人脸在所述热成像摄像头中的位置信息；基于所述待测人脸在所述热成像摄像头中的位置信息，在所述热图像中标出所述待测人脸的初始人脸框；对所述初始人脸框向外扩展预设距离之后，得到所述待测人脸在所述热图像中的扩大人脸框；对所述热图像中所述扩大人脸框包围的区域进行二值化处理；在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定所述待测人脸在所述热图像中的最终人脸框，其中，所述最终人脸框包围的像素为人脸图像像素，所述最终人脸框外的像素为背景图像像素；将所述最终人脸框包围的区域对应的像素位置信息，确定为所述待测人脸在所述热图像中的位置信息。
13.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
在检测到待测人脸时，获取包含所述待测人脸的二维图像、深度图像和热图像，其中，所述二维图像和所述深度图像由安装在核身设备中的核身摄像头采集得到，所述热图像由安装在测温设备中的热成像摄像头采集得到，所述核身设备和所述测温设备为两个独立的设备，且所述核身设备和所述测温设备的安装位置相对固定，所述核身设备是目标场所已有的核身设备，所述测温设备是在所述目标场所出口或入口处增设的测温配件；
基于所述二维图像和所述深度图像，确定所述待测人脸的深度信息；
基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，其中，所述相对位置参数为所述核身摄像头和所述热成像摄像头之间的坐标差；
基于所述待测人脸在所述热图像中的位置信息，确定所述待测人脸的额头在所述热图像中的位置信息并确定所述待测人脸的额温；
基于所述二维图像、所述深度图像以及所述核身设备对应的用户人脸图像库，对所述待测人脸对应的用户进行核身；
其中，所述基于所述核身摄像头和所述热成像摄像头的相对位置参数以及所述深度信息，确定所述待测人脸在所述热图像中的位置信息，包括：基于所述核身摄像头和所述热成像摄像头的相对位置参数和所述深度信息，确定所述待测人脸在所述热成像摄像头中的位置信息；基于所述待测人脸在所述热成像摄像头中的位置信息，在所述热图像中标出所述待测人脸的初始人脸框；对所述初始人脸框向外扩展预设距离之后，得到所述待测人脸在所述热图像中的扩大人脸框；对所述热图像中所述扩大人脸框包围的区域进行二值化处理；在二值化的所述扩大人脸框包围的区域中进行人脸搜索，确定所述待测人脸在所述热图像中的最终人脸框，其中，所述最终人脸框包围的像素为人脸图像像素，所述最终人脸框外的像素为背景图像像素；将所述最终人脸框包围的区域对应的像素位置信息，确定为所述待测人脸在所述热图像中的位置信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011074330.7A CN112200073B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
| CN202010563900.2A CN111461092B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010563900.2A CN111461092B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011074330.7A Division CN112200073B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461092A CN111461092A (zh) | 2020-07-28 |
| CN111461092B true CN111461092B (zh) | 2020-10-02 |
Family
ID=71682069
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010563900.2A Active CN111461092B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
| CN202011074330.7A Active CN112200073B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011074330.7A Active CN112200073B (zh) | 2020-06-19 | 2020-06-19 | 一种刷脸测温及核身的方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111461092B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111879774B (zh) * | 2020-08-03 | 2023-07-21 | 广州星际悦动股份有限公司 | 刷头磨圆率测试方法、装置和电子设备 |
| CN112329577A (zh) * | 2020-10-27 | 2021-02-05 | 青岛珞宾智能信息技术有限公司 | 一种基于刷脸设备的自动化测温方法 |
| CN112102207A (zh) * | 2020-10-29 | 2020-12-18 | 北京澎思科技有限公司 | 一种确定温度的方法、装置、电子设备及可读存储介质 |
| CN112862492A (zh) * | 2021-01-19 | 2021-05-28 | 中国建设银行股份有限公司 | 结合测温的支付验证方法、装置、设备及存储介质 |
| CN113435361B (zh) * | 2021-07-01 | 2023-08-01 | 南开大学 | 一种基于深度相机的口罩识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830892A (zh) * | 2018-06-13 | 2018-11-16 | 北京微播视界科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种脸部活体检测、身份认证方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832677A (zh) * | 2017-10-19 | 2018-03-23 | 深圳奥比中光科技有限公司 | 基于活体检测的人脸识别方法及系统 |
| US10657363B2 (en) * | 2017-10-26 | 2020-05-19 | Motorola Mobility Llc | Method and devices for authenticating a user by image, depth, and thermal detection |
| CN108427911B (zh) * | 2018-01-30 | 2020-06-23 | 阿里巴巴集团控股有限公司 | 一种身份验证方法、系统、装置及设备 |
| CN110458025B (zh) * | 2019-07-11 | 2022-10-14 | 南京邮电大学 | 一种基于双目摄像头的目标识别与定位方法 |
| CN111191644B (zh) * | 2020-04-10 | 2020-10-20 | 支付宝(杭州)信息技术有限公司 | 身份识别方法、系统及装置 |
-
2020
- 2020-06-19 CN CN202010563900.2A patent/CN111461092B/zh active Active
- 2020-06-19 CN CN202011074330.7A patent/CN112200073B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830892A (zh) * | 2018-06-13 | 2018-11-16 | 北京微播视界科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种脸部活体检测、身份认证方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200073A (zh) | 2021-01-08 |
| CN111461092A (zh) | 2020-07-28 |
| CN112200073B (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461092B (zh) | 一种刷脸测温及核身的方法、装置和设备 | |
| TWI716008B (zh) | 人臉識別方法及裝置 | |
| JP2021157179A (ja) | レンズの１つ以上の光学パラメータを決定するための機器、システム、および方法 | |
| JP2021165739A (ja) | 固定具なしのレンズメータ及びその操作方法 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| TWI681364B (zh) | 可視化對象的產生方法、裝置和設備 | |
| CN112001886A (zh) | 一种温度检测方法、装置、终端及可读存储介质 | |
| TW202006630A (zh) | 支付方法、裝置及系統 | |
| CN112614085A (zh) | 一种物体检测方法、装置及终端设备 | |
| CN107911680A (zh) | 投影设备校正方法、装置及投影设备 | |
| CN110826610A (zh) | 一种用于智能检测人员着装是否规范的方法与系统 | |
| CN109745014B (zh) | 温度测量方法及相关产品 | |
| US11036967B2 (en) | Method and device for face selection, recognition and comparison | |
| CN109102324B (zh) | 模型训练方法、基于模型的红包物料铺设预测方法及装置 | |
| Zhao et al. | Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement | |
| CN106610270A (zh) | 一种测量方法、装置及移动终端 | |
| CN111274602B (zh) | 一种图像特征信息替换方法、装置、设备及介质 | |
| CN109785439A (zh) | 人脸素描图像生成方法及相关产品 | |
| CN108427110A (zh) | 测距方法、装置及电子设备 | |
| KR102161488B1 (ko) | 3차원 제품 디스플레이 장치 및 방법 | |
| EP4054187A1 (en) | Calibration method of a portable electronic device | |
| US9842402B1 (en) | Detecting foreground regions in panoramic video frames | |
| US9824455B1 (en) | Detecting foreground regions in video frames | |
| CN110196422B (zh) | 激光测距的测试方法、测试装置及移动终端 | |
| CN114719759B (zh) | 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40034565 Country of ref document: HK |