CN110383289A - 人脸识别的装置、方法和电子设备 - Google Patents

人脸识别的装置、方法和电子设备 Download PDF

Info

Publication number
CN110383289A
CN110383289A CN201980000872.9A CN201980000872A CN110383289A CN 110383289 A CN110383289 A CN 110383289A CN 201980000872 A CN201980000872 A CN 201980000872A CN 110383289 A CN110383289 A CN 110383289A
Authority
CN
China
Prior art keywords
image
face
recognition
identification
identification target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980000872.9A
Other languages
English (en)
Inventor
曾伟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Huiding Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiding Technology Co Ltd filed Critical Shenzhen Huiding Technology Co Ltd
Publication of CN110383289A publication Critical patent/CN110383289A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • G06V40/53Measures to keep reference information secret, e.g. cancellable biometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种人脸识别装置、方法和电子设备,能够提升人脸识别的安全性以及用户体验。该人脸识别装置包括:图像采集模块,用于获取识别目标的图像;处理器,用于对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。

Description

人脸识别的装置、方法和电子设备
技术领域
本申请涉及生物特征识别技术领域,并且更具体地,涉及一种人脸识别装置、方法和电子设备。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术,通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展,人脸识别技术已广泛地应用于智能门禁、智能门锁、移动终端、公共安全、娱乐、军事等诸多行业及领域。
目前市场上的人脸识别装置,需要采用一颗可见光摄像头和一颗近红外摄像头,其中红外摄像头用于拍摄二维近红外图像,用于进行图像模板的录入以及用户人脸的识别。而可见光摄像头仅作为“镜子”,用于显示用户人脸可见光图像,指示用户人脸处于合适的位置使红外摄像头便于进行人脸识别的拍摄,因此,增加了人脸识别装置的成本。此外,可见光摄像头拍摄的可见光图像容易泄露用户的隐私,存在安全问题,且在环境光过强或过暗时,可见光摄像头拍摄的图像质量差,也会影响用户体验。
发明内容
本申请实施例提供了一种人脸识别装置、方法和电子设备,能够降低成本、提升人脸识别的安全性以及用户体验。
第一方面,提供了一种人脸识别装置,包括:
图像采集模块,用于获取识别目标的图像;
处理器,用于对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。
通过本申请实施例的方案,处理器对图像采集模块获取的图像进行虚拟化处理后在显示屏上显示给用户,并且对同一个图像采集模块获取的图像进行人脸识别,能够降低在人脸识别过程中,额外增加其它图像采集装置,例如摄像头用于显示图像给用户的成本,且采用虚拟图像显示,能够避免泄露用户的人脸图像隐私,提升用户体验。
在一种可能的实现方式中,所述识别目标为用户人脸,所述虚拟图像用于提示用户调整人脸位置。
在一种可能的实现方式中,所述处理器用于:对所述识别目标的图像进行人脸信息提取得到特征人脸图像,并根据所述特征人脸图像处理得到所述虚拟图像。
在一种可能的实现方式中,所述处理器用于:将所述特征人脸图像与多个虚拟图像模板进行匹配得到所述虚拟图像。
在一种可能的实现方式中,所述虚拟图像大小与所述特征人脸图像的大小相同,和/或所述虚拟图像的轮廓与所述特征人脸图像的轮廓相同,和/或所述虚拟图像在所述显示屏中的位置与所述特征人脸图像在所述二维红外图像中的位置相同。
在一种可能的实现方式中,所述识别目标的图像包括二维红外图像,所述处理器用于:对所述二维红外图像进行处理形成二维虚拟图像,并根据所述二维红外图像进行人脸识别。
在一种可能的实现方式中,所述装置还包括:红外发光模块,用于发射红外光至所述识别目标;
其中,所述图像采集模块还用于接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维红外图像。
在一种可能的实现方式中,所述处理器具体用于:将所述二维红外图像与多个红外图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
在一种可能的实现方式中,所述识别目标的图像包括三维点云图像,所述处理器用于:对所述三维点云图像进行处理形成虚拟三维图像,并根据所述三维点云图像进行人脸识别。
在一种可能的实现方式中,所述处理器具体用于:将所述三维点云图像与多个三维点云图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
在一种可能的实现方式中,所述识别目标的图像包括二维红外图像,所述处理器用于:对所述二维红外图像进行处理形成虚拟二维图像,并根据所述二维红外图像和三维点云图像进行人脸识别。
在一种可能的实现方式中,所述处理器具体用于:根据所述二维红外图像进行二维人脸识别,当二维人脸识别失败时,确定人脸识别失败;
当二维人脸识别成功时,根据所述三维点云图像进行三维人脸识别,当三维人脸识别成功时,确定人脸识别成功,当三维人脸识别失败时,确定人脸识别失败。
在一种可能的实现方式中,所述装置还包括:结构光投射模块,用于投射结构光至所述识别目标;
其中,所述图像采集模块还用于接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述三维点云图像。
在一种可能的实现方式中,所述结构光为点阵光或者随机散斑,所述结构光投射模块为点阵光投射器,或者散斑结构光投射器。
在一种可能的实现方式中,所述装置还包括:距离探测模块,用于探测所述识别目标至所述人脸识别装置的距离。
在一种可能的实现方式中,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述处理器具体用于控制所述结构光投射模块投射结构光至所述识别目标。
在一种可能的实现方式中,所述装置还包括:输出模块;
所述处理器还用于:接收所述识别目标至所述人脸识别装置的距离,并控制所述输出模块是否输出所述识别目标至所述人脸识别装置的距离信息。
在一种可能的实现方式中,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述处理器具体用于控制所述输出模块不输出所述识别目标至所述人脸识别装置的距离信息;
当所述识别目标至所述人脸识别装置的距离处于所述第一距离范围区间外时,所述处理器具体用于控制所述输出模块输出所述识别目标至所述人脸识别装置的距离信息。
在一种可能的实现方式中,所述图像采集模块为红外摄像头,包括滤波片和红外光检测阵列。
在一种可能的实现方式中,所述装置还包括:显示屏,用于显示所述虚拟图像。
第二方面,提供了一种人脸识别的方法,包括:
获取识别目标的图像;
对所述识别目标的图像进行处理形成虚拟图像,并根据所述图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。
在一种可能的实现方式中,所述识别目标为用户人脸,所述虚拟图像用于提示用户调整人脸位置。
在一种可能的实现方式中,所述对所述识别目标的图像进行处理形成虚拟图像包括:
对所述识别目标的图像进行人脸信息提取得到特征人脸图像,并根据所述特征人脸图像处理得到所述虚拟图像。
在一种可能的实现方式中,所述根据所述特征人脸图像处理得到所述虚拟图像包括:
将所述特征人脸图像与多个虚拟图像模板进行匹配得到所述虚拟图像。
在一种可能的实现方式中,所述虚拟图像大小与所述特征人脸图像的大小相同,和/或所述虚拟图像的轮廓与所述特征人脸图像的轮廓相同,和/或所述虚拟图像在所述显示屏中的位置与所述特征人脸图像在所述二维红外图像中的位置相同。
在一种可能的实现方式中,所述识别目标的图像包括二维红外图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述二维红外图像进行处理形成二维虚拟图像,并根据所述二维红外图像进行人脸识别。
在一种可能的实现方式中,所述方法还包括:发射红外光至所述识别目标;
接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维红外图像。
在一种可能的实现方式中,所述根据所述二维红外图像进行人脸识别包括:将所述二维红外图像与多个红外图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,人脸识别失败。
在一种可能的实现方式中,所述识别目标的图像包括三维点云图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述三维点云图像进行处理形成虚拟三维图像,并根据所述三维点云图像进行人脸识别。
在一种可能的实现方式中,所述根据所述三维点云图像进行人脸识别包括:
将所述三维点云图像与多个三维点云图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
在一种可能的实现方式中,所述识别目标的图像包括二维红外图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述二维红外图像进行处理形成虚拟二维图像,并根据所述二维红外图像和三维点云图像进行人脸识别。
在一种可能的实现方式中,所述根据所述二维红外图像和三维点云图像进行人脸识别包括:
根据所述二维红外图像进行二维人脸识别,当二维人脸识别失败时,确定人脸识别失败;
当二维人脸识别成功时,根据所述三维点云图像进行三维人脸识别,当三维人脸识别成功时,确定人脸识别成功,当三维人脸识别失败时,确定人脸识别失败。
在一种可能的实现方式中,所述方法还包括:投射结构光至所述识别目标;
接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述三维点云图像。
在一种可能的实现方式中,所述结构光为点阵光或者随机散斑。
在一种可能的实现方式中,所述人脸识别的方法应用于人脸识别装置,所述方法还包括:
探测所述识别目标至所述人脸识别装置的距离。
在一种可能的实现方式中,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,投射所述结构光至所述识别目标。
在一种可能的实现方式中,所述方法还包括:
接收所述识别目标至所述人脸识别装置的距离,并判断是否输出所述识别目标至所述人脸识别装置的距离信息。
在一种可能的实现方式中,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括:
不输出所述识别目标至所述人脸识别的装置的距离信息;
当所述识别目标至所述人脸识别装置的距离处于所述第一距离范围区间外时,所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括:
输出所述识别目标至所述人脸识别的装置的距离信息。
在一种可能的实现方式中,所述方法还包括:
显示所述虚拟图像。
第三方面,提供了一种电子设备,包括:
包括如第一方面或第一方面的任一可能的实现方式中的人脸识别装置。
在一种可能的实现方式中,所述电子设备还包括:显示屏,用于显示所述虚拟图像。
在一种可能的实现方式中,所述电子设备还包括:无线网络接入模块,用于传输人脸识别的数据至无线局域网络。
在一种可能的实现方式中,所述电子设备还包括:电机控制模块,用于根据人脸识别的结果进行控制机械装置。
第四方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第二方面或第二方面的任一可能的实现方式中的方法。
第五方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第二方面或第二方面的任一可能的实现方式中的指令。
第六方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第二方面或第二方面的任一可能的实现方式中的人脸识别的方法。
具体地,该计算机程序产品可以运行于上述第三方面的电子设备上。
附图说明
图1是本申请实施例所适用的电子设备的结构示意图。
图2是根据本申请实施例的一种人脸识别装置的示意性图。
图3是根据本申请实施例的另一种人脸识别装置的示意性图。
图4是根据本申请实施例的另一种人脸识别装置的示意性图。
图5是根据本申请实施例的另一种人脸识别装置的示意性图。
图6是根据本申请实施例的另一种人脸识别装置的示意性图。
图7是根据本申请实施例的一种人脸识别流程的示意性流程图。
图8是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图9是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图10是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图11是根据本申请实施例的另一种人脸识别流程的示意性流程图。
图12是根据本申请实施例的电子设备的示意性框图。
图13是根据本申请实施例的另一电子设备的示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
本申请实施例可适用于光学人脸识别装置,包括但不限于基于光学人脸成像的产品。该光学人脸识别装置可以应用于具有图像采集装置(如摄像头)的各种电子设备,该电子设备可以为手机,平板电脑,智能可穿戴装置、智能门锁等,本公开的实施例对此不做限定。
应理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例,而非限制本申请实施例的范围。
还应理解,本申请实施例中的公式只是一种示例,而非限制本申请实施例的范围,各公式可以进行变形,这些变形也应属于本申请保护的范围。
还应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本申请实施例对此并不限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
如图1所示为本申请实施例可以适用的电子设备1的结构示意图,所述电子设备1包括红外摄像头110,可见光摄像头120,显示屏130,以及处理器140。所述红外摄像头110包括红外图像传感器,该红外图像传感器用于接收红外光信号,并将接收的红外光信号转换为对应的电信号,从而生成红外图像。类似地,所述可见光摄像头120包括可见光图像传感器,用于接收环境中的可见光信号,并将接收的可见光信号转换为对应的电信号,从而生成可见光图像,当可见光图像实时动态显示在显示屏130上时,形成实时动态的彩色可见光视频。所述处理器140可以为一种微处理器(Microprocessor Unit,MPU)或者其它具有处理控制功能的装置,可以控制电子设备中各装置组件,也可以对装置组件产生的数据进行计算处理。
具体地,在2D人脸识别的过程中,识别目标处于电子设备10前方,例如,如图1所示,识别目标为人脸103时,环境中的可见光经过人脸103反射后,形成携带有人脸形态信息的反射可见光信号102,该反射可见光信号102被可见光摄像头120接收后,形成对应于人脸103的可见光彩色人脸图像。处理器140控制可见光摄像头120采集多张人脸103的可见光彩色人脸图像,并将该多张彩色人脸图像发送给显示屏130,显示屏130动态实时的显示多张彩色人脸图像以形成人脸的动态彩色视频。用户根据显示屏130上的实时显示的人脸视频来调整人脸的位置以及角度,使人脸完全处于显示屏中,并位于合适的角度和位置。
与此同时,红外光经过人脸103反射后,形成携带有人脸形态信息的反射红外光信号101,该反射红外光信号101被红外摄像头110接收后,形成对应于人脸103的红外光灰度人脸图像。处理器140控制红外摄像头120采集一张或多张人脸的灰度红外图像。然后,红外摄像头110将采集到的一张或多张人脸的灰度红外图像发送给处理器140,处理器140对该人脸红外图像进行二维(Two Dimensional,2D)人脸识别。
可选地,所述处理器140中含有存储单元,该存储单元中存储有用户人脸的红外图像模板库,其中包含有多个不同人脸角度的用户人脸红外图像模板。该多个用户人脸红外图像模板也是对红外摄像头110拍摄得到的多个人脸角度的红外图像处理得到的模板数据向量。处理器140将当前采集到的对应于人脸103的红外人脸图像经过处理后得到的数据向量与红外图像模板库中的多个红外图像的模板数据向量进行匹配,若匹配成功,则2D人脸识别成功,若匹配失败,则2D人脸识别失败。为了便于描述,在下文中,对图像模板处理得到的数据向量也简称为图像模板;匹配过程中对图像处理得到的数据向量也简称为图像。
例如,在一种可能的实施方式中,所述处理器通过卷积神经网络(ConvolutionalNeural Networks,CNN)对采集的人脸图像进行人脸分类识别,具体地,首先通过多个样本训练一个判断是否为用户人脸的人脸识别卷积神经网络,得到该卷积神经网络的相关参数,其中,该人脸识别卷积神经网络按照模板库中的多个红外图像模板分类。人脸识别时,将采集到的2D红外图像的数据输入至人脸识别卷积神经网络中,通过卷积层(convolutional layer)、激励层(activation layer),池化层(pooling layer)、以及全连接层(fully-connected layer)等计算处理,将2D红外图像的数据的特征提取后,进行分类判别,判断该2D红外图像是否与模板库中多个红外图像模板匹配,从而得到2D识别的结果。
在本申请实施例中,电子设备1通过可见光摄像头120对用户人脸进行实时拍摄,使用户能够在显示屏130上能够观察到自身的人脸图像,让用户人脸处于合适的位置,从而方便红外摄像头110拍摄红外图像并发送给处理器,使得处理器140易于进行人脸识别。在此过程中,可见光摄像头120仅充当“镜子”的作用,增加了电子设备中用于人脸识别的成本。此外,可见光摄像头120拍摄的彩色用户人脸图像容易泄露,泄露的彩色用户人脸图像同样符合用户人脸的二维特征,因此,处理器140对彩色用户人脸图像也能够二维识别成功,使电子设备存在安全问题。并且,在环境光过强或过暗时,可见光摄像头120拍摄的图像对比度小,质量差,因此,显示屏130上显示的低质量的人脸动态视频也会影响用户体验。
为解决上述问题,本申请提供一种仅采用图像采集模块进行图像采集,通过处理器对采集的图像进行人脸识别以及虚拟化处理进行显示的方案,从而节约了使用可见光摄像头的成本,且虚拟化的图像不会泄露用户信息,也不会因为环境光变化影响图像质量,可以提升安全性以及用户体验。
下面,结合图2至图6,对本申请实施例提供的人脸识别装置进行详细介绍。
图2为本申请实施例提供的一种人脸识别的装置200,包括:
图像采集模块210,用于获取识别目标的图像;
处理器220,用于对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。
应理解,所述识别目标包括但不限于人脸、照片、视频、三维模型等任意物体。例如,所述识别目标可以为用户人脸、其他人的人脸、用户照片、贴有照片的曲面模型等等。
可选地,在本申请实施例中,所述图像采集模块210可以为任意采集图像的装置,例如摄像头、相机等等。可选地,所述图像采集模块为红外光图像采集模块,感应红外光信号以形成图像信号。可选地,所述图像采集模块还可以感应其它非红外波长的光信号以形成图像信号,本申请实施例对此不做限定。
例如,所述图像采集模块210可以为红外摄像头,包括滤波片211和红外光图像传感器212,所述滤波片211用于透过目标波长的光信号,滤除非目标波长的光信号,所述红外光传感器212基于所述目标波长进行光检测,并将检测到的光信号转换为电信号。可选地,所述红外光图像传感器为电荷耦合器件(Charge-coupled Device,CCD)图像传感器,或者为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)图像传感器。可选地,该红外光图像传感器212包括多个像素单元,一个像素单元用于转换光信号形成一个识别目标图像中的一个像素值。可选地,所述像素单元可以采用光电二极管(photodiode)、金属氧化物半导体场效应管(Metal Oxide Semiconductor Field EffectTransistor,MOSFET)等器件。可选地,所述像素单元对于目标波长光具有较高的光灵敏度和较高的量子效率,以便于检测相应波长的光信号。
具体地,在本申请实施例中,所述目标波长属于红外光波段,例如,目标波长为940nm的近红外光,则滤波片211用于透过940nm的红外光信号,阻挡非940nm波长的可见光以及其他红外光通过,红外光图像传感器212对940nm的红外光进行检测并形成对应于识别目标的2D红外图像。
可选地,所述处理器220可以为所述人脸识别装置200的处理器,也可以为包括人脸识别装置200的电子设备的处理器,本申请实施例不做限定。
可选地,在一种可能的实施方式中,处理器220用于对2D红外图像进行处理形成2D虚拟图像,所述2D虚拟图像用于显示在电子设备的显示屏上。
可选地,在另一种可能的实施方式中,所述图像采集装置210还可以采集所述识别目标的三维(Three Dimensional,3D)图像,处理器220还可以用于对该3D图像进行处理形成3D虚拟图像,所述3D虚拟图像用于显示在电子设备的显示屏上。
可选地,所述处理器中220包括存储单元221,存储有虚拟图像模板库,包括多个虚拟图像模板,该虚拟图像模板可以为2D虚拟图像模板或者为3D虚拟图像模板。该多个虚拟图像模板可以包括不同角度的全部或部分人脸的虚拟图像或者还包括其它物体的虚拟图像。
所述处理器220对所述识别目标的2D或3D图像进行处理,提取出图像中的人脸信息,包括但不限于人脸五官的轮廓,大小,位置、以及人脸皮肤纹理信息等,形成特征人脸图像。该特征人脸图像可以为在图像中裁剪截取的仅包括人脸图像的区域。所述处理器220将处理得到带有人脸信息的特征人脸图像与多个虚拟图像模板进行匹配,将最佳的匹配结果显示在显示屏上,显示屏上的虚拟图像与实际采集到的2D或3D图像相对应,换言之,所述虚拟图像替换采集的图像显示在显示屏上,用户根据虚拟图像调整人脸的位置和方向,也就是用户可以根据显示屏上的图像指示来对应的移动自己的位置,使完整的人脸虚拟图像显示在显示屏中,并处于合适的角度和位置。其中,所述虚拟图像可以为2D虚拟图像或者3D虚拟图像。
可选地,所述虚拟图像大小可以与所述特征人脸图像的大小相同或相近,所述虚拟图像可以更直观的体现用户人脸与识别装置的距离远近。
可选地,所述虚拟图像的轮廓可以与所述特征人脸图像的轮廓相同。例如,虚拟图像也表现为人脸图案,进一步的,该人脸图案上显示有五官,可以对应于特征人脸图像上的五官,提高用户体验。
可选地,所述虚拟图像在所述显示屏中的位置与所述特征人脸图像在所述二维红外图像中的位置相同,所述虚拟图像可以更直观的体现用户人脸与图像采集装置之间的位置。
例如,若图像采集模块210采集到的红外图像为半侧正面人脸,则显示屏上的虚拟人脸图像也对应只呈现半侧正面人脸。用户根据呈现的半侧人脸,移动人脸的位置,使得图像采集模块210能够采集到完整的正面人脸的红外图像,处理器220将完整的正面人脸的红外图像处理为完整的正面人脸的虚拟图像,进而呈现在显示屏上。
可选地,所述虚拟图像模板库可以存储在处理器220中的存储单元221中,还可以存储在所述人脸识别的装置200所在的电子设备中的存储器中,本申请实施例对此不做限定。
应理解,在本申请实施例中,所述图像采集模块210可以为图1中的红外摄像头110。所述处理器220可以为图1中的处理器140。所述图像采集模块210获取红外图像的过程可以和图1中红外摄像头120采集用户人脸的红外图像的过程相同。所述处理器220对红外图像进行人脸识别的过程可以和图1中处理器140进行2D人脸识别的过程相同。
还应理解,在本申请实施例中,还可以采用除卷积神经网络以外其他的深度学习网络对2D红外图像进行人脸识别匹配,本申请实施例对此不做限定。
通过本申请实施例的方案,图像采集模块210对识别目标进行图像采集,处理器220对采集的图像进行虚拟化处理后显示给用户,并且针对该图像进行人脸识别,能够降低额外增加摄像头用于图像显示的成本,且采用虚拟图像显示,能够避免泄露用户的人脸图像隐私,提升用户体验。
可选地,如图3所示,在一种可能的实施方式中,所述人脸识别的装置200还可以包括红外发光模块230,用于发射红外光201到识别目标表面,经过识别目标反射后,反射的红外光202被图像采集模块210接收,形成所述识别目标的2D红外图像。在人脸识别装置200中增加红外发光模块230,可以增加红外光的光强,使经过识别目标反射后的红外光信号光强变大,提高所述识别目标的2D红外图像的质量。
可选地,所述红外发光模块230可以任意发射红外光信号的发光装置,包括但不限于红外光发光二极管(Light Emitting Diode,LED)、垂直腔面发射激光器(VerticalCavity Surface Emitting Laser,VCSEL)、法布里-泊罗(Fabry Perot,FP)激光器(Laserdiode,LD)、分布式反馈(Distribute Feedback,DFB)激光器以及电吸收调制激光器(Electro-absorption Modulated Laser,EML),本申请实施例对此不做限定。
可选地,所述处理器220可以控制所述红外发光模块230向识别目标发射红外光信号。在所述红外发光模块230发射红外光信号的同时,所述图像采集模块210进行2D红外图像的采集。
可选地,在本申请实施例中,所述图像采集模块210获取识别目标的2D红外图像后,将该2D红外图像发送给处理器220,所述处理器220对所述2D红外图像处理得到虚拟2D图像用于显示给用户,并且根据所述2D红外图像进行2D人脸识别。
具体地,所述处理器220中的存储单元221存储有2D红外图像模板库,包括多个2D红外图像模板,该多个2D红外图像模板可以为多个不同角度的用户人脸的2D红外图像。处理器220将该2D红外图像与2D红外图像模板库中的多个2D红外图像模板进行匹配,若匹配成功,则2D人脸识别成功,若匹配失败,则2D人脸识别失败。
应理解,所述2D红外图像模板库可以存储在处理器220中的存储单元221中,还可以存储在所述人脸识别的装置200所在的电子设备中的存储器中,本申请实施例对此不做限定。
可选地,如图4所示,在另一种可能的实施方式中,所述人脸识别的装置200可以还包括结构光投射模块240,用于向识别目标投射结构光301。图像采集模块210具体用于接收所述结构光经所述识别目标反射后的反射结构光信号302,并将所述反射结构光信号302转换得到3D数据。其中,三维数据包含了识别目标的深度信息,能够表示识别目标的表面形状。且所述三维数据可以表示为深度图(Depth Image)、3D点云(Point Cloud)、几何模型等不同形式,其中,所述3D点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,得到的是点的集合,称之为“点云”,其优点为获取便捷,易于存储,具有离散和稀疏特性,且方便扩展为高维的特征信息。在本申请实施例中,3D点云数据也称为3D点云图像。
具体地,所述结构光是具有特定模式的光,其具有例如点、线、面等模式图案,具体可以为具有特定模式图案的红外光信号。基于结构光获取3D点云数据的原理是:将结构光投射至目标物体,经目标物体表面反射后,捕获相应的带有结构光的图像。由于结构光的模式图案会因为目标物体的表面形状发生变形,因此通过结构光中的模式图案在捕捉得到的图像中的位置以及形变程度利用三角原理计算即可得到目标物体中各采样点的空间坐标,从而形成表示目标物体三维空间结构的3D点云数据。
可选地,在本申请实施例中,所述结构光属于红外波段的光信号,例如,所述结构光为波长为940nm的带有图案模式的光信号。可选地,图像采集模块210中的红外图像传感器接收经所述识别目标反射后的反射结构光信号处理得到3D点云数据。
可选地,所述结构光包括但不限于散斑图像,点阵光等带有结构图案的光信号。所述结构光投射模块240可以为任意投射结构光的装置结构,包括但不限于:采用VCSEL光源的点阵光投射器,散斑结构光投射器等发光装置。
可选地,在不包括结构光透射模块240的情况下,所述人脸识别的装置200还可以包括飞行时间(Time of Flight,TOF)光模块,用于对识别目标发射连续的近红外脉冲,图像采集模块210接收由目标物体反射回的光脉冲,通过比较发射光脉冲与经过物体反射的光脉冲的相位差,可以推算得到光脉冲之间的传输延迟进而得到目标物体相对于发射器的距离,最终得到识别目标的3D点云数据。
应理解,所述人脸识别的装置200还可以包括采用其他能够获取识别目标的3D点云数据的模块装置,本申请实施例对此不做限定。
还应理解,有规则及必要信息的3D点云数据可以反算为深度图像数据,深度图像经过坐标转换也可以计算为识别目标的3D点云数据。
可选地,在本申请实施例中,所述图像采集模块210获取识别目标的3D点云数据后,将该3D点云数据发送给处理器220,所述处理器220对所述3D点云数据进行3D人脸识别。
具体地,所述处理器220中的存储单元221中存储有3D点云数据模板库,其中包含有多个不同人脸角度的用户人脸3D点云数据。该多个用户人脸3D点云数据也是通过发射结构光或者红外脉冲至不同角度的用户人脸上,图像采集模块210通过接收反射的结构光或者红外脉冲得到的。处理器220将本次采集到的3D点云数据与3D点云数据模板库中的多个用户人脸3D点云数据进行匹配,若匹配成功,则3D人脸识别成功,若匹配失败,则3D人脸识别失败。
可选地,在本申请实施例中,也可以采用深度学习网络对3D点云数据进行人脸识别匹配。例如,在一种可能的实施方式中,所述处理器220通过点云处理网络(point net)对采集的3D点云数据进行人脸分类识别,具体地,该point net包括特征提取层,特征映射层,特征图压缩层,以及全连接层等,网络中包括多个训练参数。首先通过多个样本对pointnet进行训练,得到优化的训练参数,使point net对人脸识别的结果更准确,多个样本中包括多个用户人脸的3D点云数据,也包括有其它非用户人脸的3D点云数据,例如,其它人脸的3D点云数据或者三维模型,二维照片等物体的点云数据。然后,在3D人脸识别过程中,将采集到的识别目标的3D点云数据输入至该点云处理网络中,经过网络中各层的特征提取,处理以及分类,判断该3D点云数据是否与3D点云数据模板库中多个用户人脸3D点云数据匹配。
应理解,所述3D点云数据模板库可以存储在处理器220中的存储单元221中,还可以存储在所述人脸识别的装置200所在的电子设备中的存储器中,本申请实施例对此不做限定。
由于2D人脸识别仅仅依据2D红外图像上的二维特征进行人脸识别,无法识别采集的2D红外图像是否来源自活人人脸或者其他照片、视频等其他非活人人脸物体,换言之,2D人脸识别不具有防伪功能,可以通过盗取带有用户人脸的照片、视频等信息,通过2D人脸识别,因此仅仅依靠2D人脸识别对电子设备及其应用程序进行解锁,人脸识别装置及电子设备的安全性能受到了极大的影响。
在本申请实施例中,基于3D点云数据进行人脸识别的判断,由于3D点云数据中携带人脸3D信息,可以用于判断识别目标是否为活体人脸,进而可以防止通过用户照片或者照片覆盖于三维曲面的假3D模型对电子设备解锁。进一步,提高3D人脸识别中3D点云数据的精度,可以用于判断识别目标是否为用户的活体人脸,进一步增强人脸识别装置及电子设备的安全性能,使识别结果更为可靠。
优选地,如图5所示,在本申请实施例中,所述人脸识别的装置200可以同时包括红外发光模块230以及结构光投射模块240。
在本申请实施例中,所述处理器220控制所述红外发光模块230向识别目标发射红外光201,所述图像采集模块210基于反射的红外光202生成2D红外图像,然后将该2D红外图像发送处理器220。所述处理器220基于2D红外图像进行2D人脸识别,当识别失败时,则人脸识别失败。当识别成功时,所述处理器220控制所述结构光投射模块240向识别目标投射结构光301,所述图像采集模块210基于反射的结构光302生成3D点云数据,然后将3D点云数据发送给处理器220,所述处理器220基于所述3D点云数据进行3D人脸识别,当3D人脸识别成功时,人脸识别成功,当3D人脸识别失败时,人脸识别失败。
因此,基于上述处理器220的控制处理方法,当2D人脸识别成功时,不代表人脸识别成功,还需要进一步进行3D人脸识别,只有当2D人脸识别以及3D人脸识别均成功时,才代表人脸识别成功,能够进行下一步操作。而当2D人脸识别失败时,则直接人脸识别失败,避免进行3D识别浪费处理器的运算资源。因此,处理器220结合所述2D红外图像和所述3D点云图像进行人脸识别,可以快速识别出非用户人脸,提高识别效率,且加强安全性。
可选地,如图6所示,在一种可能的实施方式中,所述人脸识别的装置200还可以包括距离探测模块250,用于探测识别目标至所述人脸识别装置200的距离。
可选地,所述距离探测模块250可以利用电磁波、超声波等信号进行距离的检测,其原理为:距离探测模块250向识别目标发射超声波或者电磁波,通过识别目标的反射、回波接收后的时差或相位差来测量识别目标至所述人脸识别装置200的距离。其中,距离探测模块250发射的超声波为一种频率高于20000赫兹的声波,它的方向性好,穿透能力强,易于获得较集中的声能。距离探测模块250发射的电磁波为光脉冲或者用高频电流调制的光波或者微波,其响应迅速,且测量精度高。
因此,在本申请实施例中,所述距离探测模块250可以为超声波探测器,电磁波探测器等探测距离的装置。
可选地,如图6所示,所述人脸识别的装置200还可以包括输出模块260,用于向用户提示距离信息。可选地,所述输出模块260包括但不限于显示模块、声音模块、光模块、振动模块等可以将距离信息直接或间接的呈献给用户的功能模块。
可选地,在一种可能的实施方式中,所述处理器220用于:接收所述识别目标至所述人脸识别装置200的距离,并将该距离信息发送给所述输出模块260,所述输出模块260将距离信息实时呈现给用户。例如,输出模块260可以为显示屏,将距离信息显示为数值呈现在屏幕上,并给出是否处于合适距离的指示。又例如,输出模块260为声音模块,当距离在合适的范围,例如确定的第一距离范围区间之内,发出第一提示音,当距离在第一距离范围区间之外,发出第二提示音。此时,用户根据屏幕上的指示或者不同的提示音,移动人脸,使其处于合适的位置。
优选地,在另一种可能的实施方式中,所述处理器220用于:接收所述识别目标至所述人脸识别装置200的距离,并控制所述输出模块260是否输出所述识别目标至所述人脸识别装置的距离信息。具体地,所述处理器220判断距离是否在合适的范围之内,例如确定的第一距离范围之内,当距离在第一距离范围内,则控制所述输出模块不动作,例如,不发出提示音等。当距离在第一距离范围之外时,则控制所述输出模块260动作,例如发出提示音等。
进一步地,所述处理器220还根据不同的距离信息,控制所述输出模块260进行不同的动作。例如:当距离数据处于第一距离范围区间时,所述处理器220控制输出模块260不动作;当距离数据小于第一距离范围区间时,所述处理器220控制输出模块260发出第一提示音,当距离数据大于第一距离范围区间时,所述处理器220控制输出模块260发出第二提示音。此时,用户根据不同的提示音移动人脸,直至无提示音出现,则说明此时人脸处于合适的位置。
可选地,在处理器220接收并判断所述识别目标至所述人脸识别装置的距离在合适的距离范围,例如在第一距离范围区间时,所述处理器220控制所述结构光透射模块250向识别目标投射结构光,或者控制TOF光模块向所述识别目标发射连续的近红外脉冲,从而使红外图像采集模块210采集到3D点云数据图像。
应理解,所述输出模块260还可以用于输出除距离信息以外的其它信息。例如,在用户进行模板录入、人脸识别时,发出录入成功或失败,识别成功或失败的提示音。
在本申请实施例中,通过距离探测模块250进行距离探测,以及输出模块260输出距离信息,使用户人脸更加方便的移动于人脸识别的合适区域。且在移动至合适的距离后向用户人脸发送结构光,可以防止结构光伤害人眼,提高用户体验。
可选地,如图6所示,所述人脸识别装置200还可以包括显示屏270,所述显示屏270用于显示虚拟图像。用户根据显示屏270上虚拟图像的动态显示调整人脸位置。
可选地,所述显示屏270还包括触摸层271,该触摸层271可以感应手指在显示屏270上的触摸位置并转换为电信号给处理器220。用户可以通过触摸层271控制处理器220执行相关动作。
上文结合图2至图6,详细描述了本申请的人脸识别装置实施例,下文结合图7至图11,详细描述本申请的人脸识别方法实施例,应理解,方法实施例与装置实施例相互对应,类似的描述可以参照装置实施例。
图7是根据本申请实施例的人脸识别方法20的示意性流程图,包括:
S240:获取识别目标的图像;
S250:对所述识别目标的图像进行处理形成虚拟图像,其中,所述虚拟图像用于显示在显示屏上;
S260:根据所述识别目标的图像进行人脸识别。
可选地,本申请实施例中的人脸识别方法20可以应用在上述人脸识别装置200中,其中,上述处理器220控制红外图像采集模块210获取识别目标的图像,图像采集模块210将所述图像发送给处理器220后,所述处理器220对所述图像进行处理形成虚拟图像,并且根据所述图像进行人脸识别。
可选地,如图8所示,一种人脸识别方法20还包括:
S230:发射红外光至所述识别目标;
具体地,所述处理器220控制所述红外发光模块230发射红外光至所述识别目标。
可选地,步骤S240包括:
S241:获取识别目标的2D红外图像。
步骤S250包括:
S251:对所述2D红外图像进行处理形成2D虚拟图像,其中,所述2D虚拟图像用于显示在显示屏上。
步骤S260包括:
S261:根据所述2D红外图像进行2D人脸识别。
可选地,经过S220的人脸检测后,所述识别目标为包括人脸,所述图像采集模块210获取人脸的2D红外图像后,将该2D红外图像发送给处理器220,所述处理器220对所述2D红外图像进行处理形成虚拟2D图形,且进行2D人脸识别。
可选地,处理器220将该2D红外图像与2D红外图像模板库中的多个2D红外图像模板进行匹配,若匹配成功,则S271:人脸识别成功,若匹配失败,则S272:人脸识别失败。
可选地,如图9所示,另一种人脸识别方法20还包括:
当检测到人脸时,进入步骤S232:发射结构光至所述识别目标。
可选地,所述处理器220控制所述结构光透射模块240发射结构光至所述识别目标。
步骤S240包括:
S242:获取识别目标的3D点云数据。具体地,图像采集模块210根据经过识别目标表面反射的结构光信号获取识别目标的3D点云数据。
步骤S250包括:
S252:对所述3D点云数据进行处理形成虚拟图像,其中,所述虚拟图像用于显示在显示屏上。
步骤S260包括:
S262:根据所述3D点云数据进行3D人脸识别。
可选地,经过S220的人脸检测后,所述识别目标为包括人脸,所述图像采集模块210获取人脸的3D点云数据后,将该3D点云数据发送给处理器220,所述处理器220对所述3D点云数据进行处理形成虚拟2D或3D图形,且进行3D人脸识别。
可选地,处理器220将该3D点云数据与3D点云数据模板库中的多个3D点云数据模板进行匹配,若匹配成功,则人脸识别成功,若匹配失败,则人脸识别失败。
优选地,如图10所示,另一种人脸识别方法20还包括:
S231:发射红外光至所述识别目标;
S241:获取识别目标的2D红外图像。
S251:所述2D红外图像进行处理形成虚拟图像,其中,所述虚拟图像用于显示在显示屏上。
S261:根据2D红外图像进行2D人脸识别。
当2D人脸识别成功时,进入S232:发射结构光至所述识别目标;
当2D人脸识别失败时,进入S272:人脸识别失败,流程方法结束。
S242:获取识别目标的3D点云数据。
S262:根据3D点云数据进行3D人脸识别。
当3D人脸识别成功时,进入S271:人脸识别成功。
当3D人脸识别失败时,进入S272,人脸识别失败。
因此,基于上述流程方法,当2D人脸识别成功时,不代表人脸识别成功,还需要进一步进行3D人脸识别,只有当2D人脸识别以及3D人脸识别均成功时,才代表人脸识别成功,能够进行下一步操作。而当2D人脸识别失败时,则直接人脸识别失败,避免进行3D识别浪费处理器的运算资源。因此,采用2D人脸识别与3D人脸识别结合的方法,可以快速识别出非用户人脸,且在2D识别成功的基础上,再次进行3D识别检测,可以对人脸进行3D防伪,加强了识别流程的安全性。
可选地,如图11所示,在步骤S261:根据2D红外图像进行2D人脸识别,且2D人脸识别成功后,所述人脸识别方法20还包括:
S280:检测识别目标至识别装置的距离是否在第一阈值区间内。
具体地,处理器220检测识别目标至识别装置的距离是否在第一阈值区间内,当识别目标至识别装置的距离在第一阈值区间内时,进入步骤S232:发射结构光至所述识别目标。可选地,处理器220控制结构光投射模块240向识别目标投射结构光,或者控制TOF光模块向所述识别目标发射连续的近红外脉冲。
当识别目标至识别装置的距离不在第一阈值区间内时,进入步骤S281:输出距离信息。可选地,处理器220控制输出模块260针对不同的距离输出不同的提示信息。此时,用户根据不同的提示信息移动人脸,使得人脸处于合适的位置。
如图12所示,本申请实施例还提供了一种电子设备2,该电子设备2可以包括上述申请实施例的人脸识别装置200。
所述电子设备2包括但不限于智能门锁、手机、电脑、门禁系统等等需要应用人脸识别的设备。
可选地,在上述人脸识别装置200不包括处理器220、输出模块260和显示屏270的情况下,如图13所示,所述电子设备2可以包括处理器300、输出模块400和显示屏500。
可选地,所述输出模块400可以与图6中的输出模块260相同,所述显示屏500可以与图6中的显示屏270相同。
可选地,所述显示屏500用于显示虚拟图像,方便用户观察并移动人脸位置,使其处于合适的人脸识别位置。
可选地,所述显示屏500还可以显示输出模块260的距离信息,以及其它识别成功或失败,模板录入或失败等人脸识别相关的提示信息等。
应理解,所述输出模块400还可以用于发出除与人脸识别相关动作以外的提示音或者振动模式。例如,电子设备的开机、关机提示音等等,本申请实施例对此不做限定。
还应理解,所述处理器300为电子设备2的处理器,所述显示屏500为电子设备2的显示屏,主要用于控制电子设备2中的各部分组件以及显示电子设备的主要界面,换言之,人脸识别装置200仅为电子设备2中的一个功能部件,其需要执行的动作仅为处理器300控制的一部分,其需要显示的虚拟图像仅为显示屏500显示内容中的一部分。
可选地,如图13所示,所述电子设备2还可以包括存储器600、电机控制模块700和无线网络接入模块800。
可选地,所述虚拟图像模板库和/或所述红外图像模板库和/或3D点云数据模板库还可以存储在所述存储器600中。
可选地,当电子设备为门禁系统或者智能门锁时,当人脸识别装置200人脸识别成功时,所述处理器300可以控制电机控制模块700对锁具进行开锁动作。
可选地,所述无线网络接入模块800用于接入无线局域网络(Wireless LocalArea Networks,WLAN),实现处理器300以及存储器600中的数据进行网络传输。
应理解,本申请实施例的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例的人脸识别装置还可以包括存储器,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图7-图11所示实施例的方法。
本申请实施例还提出了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行图7-图11所示实施例的方法。
本申请实施例还提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行图7-图11所示实施例的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (43)

1.一种人脸识别的装置,其特征在于,包括:
图像采集模块,用于获取识别目标的图像;
处理器,用于对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。
2.根据权利要求1所述的装置,其特征在于,所述识别目标为用户人脸,所述虚拟图像用于提示用户调整人脸位置。
3.根据权利要求1或2所述的装置,其特征在于,所述处理器用于:对所述识别目标的图像进行人脸信息提取得到特征人脸图像,并根据所述特征人脸图像处理得到所述虚拟图像。
4.根据权利要求3所述的装置,其特征在于,所述处理器用于:将所述特征人脸图像与多个虚拟图像模板进行匹配得到所述虚拟图像。
5.根据权利要求3或4所述的装置,其特征在于,所述虚拟图像大小与所述特征人脸图像的大小相同,和/或所述虚拟图像的轮廓与所述特征人脸图像的轮廓相同,和/或所述虚拟图像在所述显示屏中的位置与所述特征人脸图像在所述二维红外图像中的位置相同。
6.根据权利要求1-5中任一项所述的装置,其特征在于,所述识别目标的图像包括二维红外图像,所述处理器用于:对所述二维红外图像进行处理形成二维虚拟图像,并根据所述二维红外图像进行人脸识别。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:红外发光模块,用于发射红外光至所述识别目标;
其中,所述图像采集模块还用于接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维红外图像。
8.根据权利要求6或7所述的装置,其特征在于,所述处理器具体用于:将所述二维红外图像与多个红外图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
9.根据权利要求1-5中任一项所述的装置,其特征在于,所述识别目标的图像包括三维点云图像,所述处理器用于:对所述三维点云图像进行处理形成虚拟三维图像,并根据所述三维点云图像进行人脸识别。
10.根据权利要求9所述的装置,其特征在于,所述处理器具体用于:将所述三维点云图像与多个三维点云图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
11.根据权利要求1-5中任一项所述的装置,其特征在于,所述识别目标的图像包括二维红外图像,所述处理器用于:对所述二维红外图像进行处理形成虚拟二维图像,并根据所述二维红外图像和所述三维点云图像进行人脸识别。
12.根据权利要求11所述的装置,其特征在于,所述处理器具体用于:根据所述二维红外图像进行二维人脸识别,当二维人脸识别失败时,确定人脸识别失败;
当二维人脸识别成功时,根据所述三维点云图像进行三维人脸识别,当三维人脸识别成功时,确定人脸识别成功,当三维人脸识别失败时,确定人脸识别失败。
13.根据权利要求9-12中任一项所述的装置,其特征在于,所述装置还包括:结构光投射模块,用于投射结构光至所述识别目标;
其中,所述图像采集模块还用于接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述三维点云图像。
14.根据权利要求13所述的装置,其特征在于,所述结构光为点阵光或者随机散斑,所述结构光投射模块为点阵光投射器,或者散斑结构光投射器。
15.根据权利要求13或14所述的装置,其特征在于,所述装置还包括:距离探测模块,用于探测所述识别目标至所述人脸识别装置的距离。
16.根据权利要求15所述的装置,其特征在于,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述处理器具体用于控制所述结构光投射模块投射结构光至所述识别目标。
17.根据权利要求15或16所述的装置,其特征在于,所述装置还包括:输出模块;
所述处理器还用于:接收所述识别目标至所述人脸识别装置的距离,并控制所述输出模块是否输出所述识别目标至所述人脸识别装置的距离信息。
18.根据权利要求17所述的装置,其特征在于,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述处理器具体用于控制所述输出模块不输出所述识别目标至所述人脸识别装置的距离信息;
当所述识别目标至所述人脸识别装置的距离处于所述第一距离范围区间外时,所述处理器具体用于控制所述输出模块输出所述识别目标至所述人脸识别装置的距离信息。
19.根据权利要求1-18中任一项所述的装置,其特征在于,所述图像采集模块为红外摄像头,包括滤波片和红外光检测阵列。
20.根据权利要求1-19中任一项所述的装置,其特征在于,所述装置还包括:显示屏,用于显示所述虚拟图像。
21.一种人脸识别的方法,其特征在于,包括:
获取识别目标的图像;
对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别,其中,所述虚拟图像用于显示在显示屏上。
22.根据权利要求21所述的方法,其特征在于,所述识别目标为用户人脸,所述虚拟图像用于提示用户调整人脸位置。
23.根据权利要求21或22所述的方法,其特征在于,所述对所述识别目标的图像进行处理形成虚拟图像包括:
对所述识别目标的图像进行人脸信息提取得到特征人脸图像,并根据所述特征人脸图像处理得到所述虚拟图像。
24.根据权利要求23所述的方法,其特征在于,所述根据所述特征人脸图像处理得到所述虚拟图像包括:
将所述特征人脸图像与多个虚拟图像模板进行匹配得到所述虚拟图像。
25.根据权利要求23或24所述的方法,其特征在于,所述虚拟图像大小与所述特征人脸图像的大小相同,和/或所述虚拟图像的轮廓与所述特征人脸图像的轮廓相同,和/或所述虚拟图像在所述显示屏中的位置与所述特征人脸图像在所述二维红外图像中的位置相同。
26.根据权利要求21-25中任一项所述的方法,其特征在于,所述识别目标的图像包括二维红外图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述二维红外图像进行处理形成二维虚拟图像,并根据所述二维红外图像进行人脸识别。
27.根据权利要求26所述的方法,其特征在于,所述方法还包括:发射红外光至所述识别目标;
接收所述红外光经所述识别目标反射后的反射红外光信号,并将所述反射红外光信号转换得到所述二维红外图像。
28.根据权利要求26或27所述的方法,其特征在于,所述根据所述二维红外图像进行人脸识别包括:将所述二维红外图像与多个红外图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,人脸识别失败。
29.根据权利要求21-25中任一项所述的方法,其特征在于,所述识别目标的图像包括三维点云图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述三维点云图像进行处理形成虚拟三维图像,并根据所述三维点云图像进行人脸识别。
30.根据权利要求29所述的方法,其特征在于,所述根据所述三维点云图像进行人脸识别包括:
将所述三维点云图像与多个三维点云图像模板进行匹配,当匹配成功时,确定人脸识别成功,或者,当匹配失败时,确定人脸识别失败。
31.根据权利要求21-25中任一项所述的方法,其特征在于,所述识别目标的图像包括二维红外图像,所述对所述识别目标的图像进行处理形成虚拟图像,并根据所述识别目标的图像进行人脸识别包括:
对所述二维红外图像进行处理形成虚拟二维图像,并根据所述二维红外图像和三维点云图像进行人脸识别。
32.根据权利要求31所述的方法,其特征在于,所述根据所述二维红外图像和三维点云图像进行人脸识别包括:
根据所述二维红外图像进行二维人脸识别,当二维人脸识别失败时,确定人脸识别失败;
当二维人脸识别成功时,根据所述三维点云图像进行三维人脸识别,当三维人脸识别成功时,确定人脸识别成功,当三维人脸识别失败时,确定人脸识别失败。
33.根据权利要求29-32中任一项所述的方法,其特征在于,所述方法还包括:投射结构光至所述识别目标;
接收所述结构光经所述识别目标反射后的反射结构光信号,并将所述反射结构光信号转换得到所述三维点云图像。
34.根据权利要求33所述的方法,其特征在于,所述结构光为点阵光或者随机散斑。
35.根据权利要求33或34所述的方法,其特征在于,所述人脸识别的方法应用于人脸识别装置,所述方法还包括:
探测所述识别目标至所述人脸识别装置的距离。
36.根据权利要求35所述的方法,其特征在于,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,投射所述结构光至所述识别目标。
37.根据权利要求35或36所述的方法,其特征在于,所述方法还包括:
接收所述识别目标至所述人脸识别装置的距离,并判断是否输出所述识别目标至所述人脸识别装置的距离信息。
38.根据权利要求37所述的方法,其特征在于,当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时,所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括:
不输出所述识别目标至所述人脸识别的装置的距离信息;
当所述识别目标至所述人脸识别装置的距离处于所述第一距离范围区间外时,所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括:
输出所述识别目标至所述人脸识别的装置的距离信息。
39.根据权利要求21-38中任一项所述的方法,其特征在于,所述方法还包括:
显示所述虚拟图像。
40.一种电子设备,其特征在于,包括:
如权利要求1至19所述的人脸识别的装置。
41.根据权利要求40所述的电子设备,其特征在于,所述电子设备还包括:显示屏,用于显示所述虚拟图像。
42.根据权利要求40或41所述的电子设备,其特征在于,所述电子设备还包括:无线网络接入模块,用于传输人脸识别的数据至无线局域网络。
43.根据权利要求40-42中任一项所述的电子设备,其特征在于,所述电子设备还包括:电机控制模块,用于根据人脸识别的结果控制机械装置。
CN201980000872.9A 2019-06-06 2019-06-06 人脸识别的装置、方法和电子设备 Pending CN110383289A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/090425 WO2020243969A1 (zh) 2019-06-06 2019-06-06 人脸识别的装置、方法和电子设备

Publications (1)

Publication Number Publication Date
CN110383289A true CN110383289A (zh) 2019-10-25

Family

ID=68261542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000872.9A Pending CN110383289A (zh) 2019-06-06 2019-06-06 人脸识别的装置、方法和电子设备

Country Status (2)

Country Link
CN (1) CN110383289A (zh)
WO (1) WO2020243969A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710852A (zh) * 2019-10-30 2020-01-21 广州铁路职业技术学院(广州铁路机械学校) 基于送餐机器人的送餐方法、系统、介质及智能设备
CN110956134A (zh) * 2019-11-29 2020-04-03 华人运通(上海)云计算科技有限公司 人脸识别方法、装置、设备以及计算机可读存储介质
CN113642481A (zh) * 2021-08-17 2021-11-12 百度在线网络技术(北京)有限公司 识别方法、训练方法、装置、电子设备以及存储介质
CN113657227A (zh) * 2021-08-06 2021-11-16 姜政毫 人脸识别方法及基于深度学习算法的人脸识别系统
CN113965695A (zh) * 2021-09-07 2022-01-21 福建库克智能科技有限公司 一种图像显示的方法、系统、装置、显示单元和介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493595B (zh) * 2019-09-30 2022-12-06 腾讯科技(深圳)有限公司 摄像头的检测方法和装置、存储介质及电子装置
CN113409056B (zh) * 2021-06-30 2022-11-08 深圳市商汤科技有限公司 支付方法、装置、本地识别设备、人脸支付系统及设备
CN113961133A (zh) * 2021-10-27 2022-01-21 深圳市商汤科技有限公司 电子设备的显示控制方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142154A (zh) * 2011-05-10 2011-08-03 中国科学院半导体研究所 生成脸部虚拟图像的方法与装置
CN105139450A (zh) * 2015-09-11 2015-12-09 重庆邮电大学 一种基于人脸模拟的三维虚拟人物构建方法及系统
CN106295504A (zh) * 2016-07-26 2017-01-04 车广为 人脸识别基础上的增强显示方法
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN108573201A (zh) * 2017-03-13 2018-09-25 金德奎 一种基于人脸识别技术的用户身份识别匹配方法
KR101891597B1 (ko) * 2017-05-04 2018-10-04 (주)필링크 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치
CN109173263A (zh) * 2018-08-31 2019-01-11 腾讯科技(深圳)有限公司 一种图像数据处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6686496B2 (ja) * 2015-09-25 2020-04-22 富士電機株式会社 コントローラシステム、その支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142154A (zh) * 2011-05-10 2011-08-03 中国科学院半导体研究所 生成脸部虚拟图像的方法与装置
CN105139450A (zh) * 2015-09-11 2015-12-09 重庆邮电大学 一种基于人脸模拟的三维虚拟人物构建方法及系统
CN106295504A (zh) * 2016-07-26 2017-01-04 车广为 人脸识别基础上的增强显示方法
CN108573201A (zh) * 2017-03-13 2018-09-25 金德奎 一种基于人脸识别技术的用户身份识别匹配方法
KR101891597B1 (ko) * 2017-05-04 2018-10-04 (주)필링크 얼굴 인식 기반의 가상객체 합성 방법 및 이를 위한 장치
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN109173263A (zh) * 2018-08-31 2019-01-11 腾讯科技(深圳)有限公司 一种图像数据处理方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710852A (zh) * 2019-10-30 2020-01-21 广州铁路职业技术学院(广州铁路机械学校) 基于送餐机器人的送餐方法、系统、介质及智能设备
CN110956134A (zh) * 2019-11-29 2020-04-03 华人运通(上海)云计算科技有限公司 人脸识别方法、装置、设备以及计算机可读存储介质
CN110956134B (zh) * 2019-11-29 2023-08-25 华人运通(上海)云计算科技有限公司 人脸识别方法、装置、设备以及计算机可读存储介质
CN113657227A (zh) * 2021-08-06 2021-11-16 姜政毫 人脸识别方法及基于深度学习算法的人脸识别系统
CN113642481A (zh) * 2021-08-17 2021-11-12 百度在线网络技术(北京)有限公司 识别方法、训练方法、装置、电子设备以及存储介质
CN113965695A (zh) * 2021-09-07 2022-01-21 福建库克智能科技有限公司 一种图像显示的方法、系统、装置、显示单元和介质
CN113965695B (zh) * 2021-09-07 2024-06-21 福建库克智能科技有限公司 一种图像显示的方法、系统、装置、显示单元和介质

Also Published As

Publication number Publication date
WO2020243969A1 (zh) 2020-12-10

Similar Documents

Publication Publication Date Title
CN110383289A (zh) 人脸识别的装置、方法和电子设备
US11238270B2 (en) 3D face identity authentication method and apparatus
US10922395B2 (en) Facial authentication systems and methods utilizing time of flight sensing
WO2020243968A1 (zh) 人脸识别的装置、方法和电子设备
CN107466411B (zh) 二维红外深度感测
CN107169483A (zh) 基于人脸识别的任务执行
CN102622588B (zh) 双验证人脸防伪方法及装置
CN107341481A (zh) 利用结构光图像进行识别
CN103383723B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
WO2019080580A1 (zh) 3d人脸身份认证方法与装置
WO2019080579A1 (zh) 3d人脸身份认证方法与装置
US8406484B2 (en) Facial recognition apparatus, method and computer-readable medium
CN110383288A (zh) 人脸识别的方法、装置和电子设备
CN110462633A (zh) 一种人脸识别的方法、装置和电子设备
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
CN108647504B (zh) 实现信息安全显示的方法及系统
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN108629278B (zh) 基于深度相机实现信息安全显示的系统及方法
CN110337656A (zh) 用于人脸识别的光学传感器、装置、方法和电子设备
CN210166794U (zh) 人脸识别的装置和电子设备
WO2013075497A1 (zh) 信息采集装置和方法以及身份识别系统和方法
CN108629298A (zh) 人脸识别方法、电子装置和非易失性计算机可读存储介质
CN109977929A (zh) 一种基于tof的人脸识别系统和方法
CN107229925A (zh) 利用人耳识别进行通话

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination