CN113111762A - 一种人脸识别方法、检测方法、介质及电子设备 - Google Patents

一种人脸识别方法、检测方法、介质及电子设备 Download PDF

Info

Publication number
CN113111762A
CN113111762A CN202110372506.5A CN202110372506A CN113111762A CN 113111762 A CN113111762 A CN 113111762A CN 202110372506 A CN202110372506 A CN 202110372506A CN 113111762 A CN113111762 A CN 113111762A
Authority
CN
China
Prior art keywords
area
acquiring
face recognition
direct
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110372506.5A
Other languages
English (en)
Other versions
CN113111762B (zh
Inventor
张善旭
李耀磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110372506.5A priority Critical patent/CN113111762B/zh
Publication of CN113111762A publication Critical patent/CN113111762A/zh
Application granted granted Critical
Publication of CN113111762B publication Critical patent/CN113111762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸识别方法、检测方法、介质及电子设备。所述人脸识别方法包括:获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域;获取所述投射器对应于所述目标图像在人脸距离下的直射区域作为第一区域;获取所述目标图像中的人眼区域作为第二区域;当所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时,开启所述投射器并利用所述人脸识别设备对所述目标对象进行人脸识别。所述人脸识别方法能够保证人脸识别过程中的人眼安全。

Description

一种人脸识别方法、检测方法、介质及电子设备
技术领域
本发明涉及一种识别方法,特别是涉及一种人脸识别方法、检测方法、介质及电子设备。
背景技术
近年来,人脸识别技术在许多领域都得到了广泛应用。人脸识别技术可以采用人脸的二维图像或三维图像作为输入源对用户的人脸进行检测和识别,其中,三维图像包含人脸图像的深度数据,因而可以采用更加复杂的人脸检测和识别算法进行处理,相对于二维图像具有更高的安全性。
在相关技术中,主要通过结构光或TOF(Time of flight,飞行时间)等方式来获取人脸图像的深度数据。在此过程中,人脸识别设备需要利用投射器向用户的面部投射光线,例如,在一些结构光或TOF方案中需要利用激光器向用户的面部投射红外光。发明人在实际应用中发现,尽管人脸识别设备在出厂前都需要进行人脸安全认证,然而,当人脸识别设备中能够分散光线能量的光学器件出现老化、损坏或脱落等故障时,例如,当结构光模组中的DOE(Diffractive Optical Elements,衍射光学元件)脱落时,投射器投射的光线可能会直射用户的眼部,此时,投射器会对用户的眼睛造成伤害。
发明内容
鉴于以上所述相关技术的缺点,本发明的目的在于提供一种人脸识别方法、检测方法、介质及电子设备,用于解决相关的人脸识别技术可能会对用户的眼睛造成伤害的问题。
为实现上述目的及其他相关目的,本发明的第一方面提供一种人脸识别方法,应用于人脸识别设备,所述人脸识别设备包括深度摄像头模组,所述深度摄像头模组包括投射器,所述人脸识别方法包括:获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域;获取所述投射器对应于所述目标图像在人脸距离下的直射区域作为第一区域;获取所述目标图像中的人眼区域作为第二区域;当所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时,开启所述投射器并利用所述人脸识别设备对所述目标对象进行人脸识别。
于所述第一方面的一实施例中,获取所述第一区域的一种实现方法包括:获取所述目标对象与所述深度摄像头模组之间的距离;根据所述深度摄像头模组的设计标准参数和设计标准基线、以及所述目标对象与所述深度摄像头模组之间的距离,获取所述投射器的标准直射区域;根据所述投射器的标准直射区域获取所述第一区域。
于所述第一方面的一实施例中,获取所述第一区域的一种实现方法包括:获取所述目标对象与所述深度摄像头模组之间的距离;获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域;根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域,其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域;根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域,获取所述第一区域。
于所述第一方面的一实施例中,所述深度摄像头模组为结构光模组,获取所述第一直射区域的实现方法包括:获取所述投射器的红外标定图;获取所述投射器在所述红外标定图上的直射区域作为所述第一直射区域。
于所述第一方面的一实施例中,获取所述投射器在所述红外标定图上的直射区域作为所述第一直射区域的实现方法包括:根据所述投射器的零级直射区域中心的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的中心点;根据所述投射器的零级直射区域顶点的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的顶点;根据所述第一直射区域的中心点和顶点获取所述第一直射区域。
于所述第一方面的一实施例中,所述深度摄像头模组为结构光模组,获取所述第一区域的实现方法包括:获取所述结构光模组的内参矩阵和外参矩阵,其中,所述内参矩阵包括红外内参矩阵和彩色内参矩阵,所述外参矩阵包括旋转矩阵和平移矩阵;根据所述目标对象与所述结构光模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域的定位参数,获取所述第一区域的定位参数;其中,所述定位参数包括顶点坐标和中心点坐标;根据所述第一区域的定位参数获取所述第一区域。
于所述第一方面的一实施例中,所述人脸识别方法还包括:根据所述目标图像中的人脸状况生成用户提示信息;和/或根据人脸识别的结果判断所述深度摄像头模组是否存在故障。
本发明的第二方面提供一种检测方法,用于检测深度摄像头模组中投射器的直射区域,所述检测方法包括:获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域;获取所述目标对象与所述深度摄像头模组之间的距离;获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域;根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域,其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域;根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域,获取所述投射器对应于所述目标图像在所述目标对象与所述深度摄像头模组之间的距离下的直射区域。
本发明的第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明第一方面任一项所述的人脸识别方法,和/或实现本发明第二方面所述的检测方法。
本发明的第四方面提供一种电子设备,所述电子设备包括:存储器,存储有一计算机程序;处理器,与所述存储器通信相连,调用所述计算机程序时执行本发明第一方面任一项所述的人脸识别方法,和/或本发明第二方面所述的检测方法;显示器,与所述处理器和所述存储器通信相连,用于显示所述人脸识别方法和/或所述检测方法的相关GUI交互界面。
如上所述,本发明所述人脸识别方法、检测方法、介质及电子设备的一个技术方案具有以下有益效果:
所述人脸识别方法能够获取所述投射器对应于所述目标图像的直射区域作为第一区域,并获取所述目标图像中的人眼区域作为第二区域,并且只有在所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时才开启所述投射器。因此,本发明所述人脸识别方法能够避免人脸识别设备中的投射器直射用户的眼部,基于所述人脸识别方法,即便所述人脸识别设备中能够分散光线能量的器件出现老化、损坏或者脱落等故障,所述投射器也不会对用户的眼睛造成伤害,有利于提升人脸识别过程中的人眼安全。
附图说明
图1显示为相关技术中激光器的投射区域示意图。
图2显示为本发明所述人脸识别方法于一具体实施例中的流程图。
图3显示为本发明所述人脸识别方法于一具体实施例中获取第一区域的流程图。
图4A显示为本发明所述人脸识别方法于一具体实施例中获取第一区域的流程图。
图4B显示为本发明所述人脸识别方法于一具体实施例中步骤S42的流程图。
图4C显示为本发明所述人脸识别方法于一具体实施例中步骤S422的流程图。
图4D显示为本发明所述人脸识别方法于一具体实施例中步骤S43的流程图。
图5显示为本发明所述人脸识别方法于一具体实施例中获取目标对象与摄像头模组之间距离的流程图。
图6显示为本发明所述人脸识别方法于一具体实施例中的流程图。
图7显示为本发明所述检测方法于一具体实施例中的流程图。
图8显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
1 投射区域
O 零级直射区域
800 电子设备
810 存储器
820 处理器
830 显示器
S21~S24 步骤
S31~S33 步骤
S41~S44 步骤
S421~S422 步骤
S4221~S4223 步骤
S431~S433 步骤
S51~S52 步骤
S61~S63 步骤
S71~S75 步骤
S81~S85 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。此外,在本文中,诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
相关技术中,在获取人脸图像的深度数据时,人脸识别设备需要利用投射器发出光线,这些光线在经过某些光学器件之后会发生分散并最终照射到用户的面部。尽管人脸识别设备在出厂前都需要进行人脸安全认证,以保证到达用户眼部的光线能量不会对用户的眼睛造成伤害,然而,当这些能够分散光线能量的器件出现老化、损坏或脱落等故障时,投射器发出的光线可能会直射用户的眼部,此时会对用户的眼睛造成伤害。
例如,在采用结构光模组的人脸识别设备中,结构光模组主要包括激光器、准直器和DOE。在具体应用时,激光器发出红外光线,该红外光线经过准直器后到达DOE。DOE会对红外光线进行散射和衍射,以使红外光线的光斑进行奇数×奇数倍的复制,如图1所示,红外光线的光斑经过7×7倍复制后会得到一个远大于激光器的零级直射区域O的投射区域1。在经过散射和衍射以后,红外光线的能量会产生分散,因而DOE即为一种能够分散光线能量的器件,此时,所述投射区域1内任一点的能量均不超过安全范围,因而不会对用户的眼睛造成伤害。其中,所述激光器的零级直射区域O是指所述激光器的直接照射区域,当所述激光器发出的红外光线照射于不同位置的平面时,其零级直射区域的范围也不相同。然而,当DOE出现损坏或脱落时,红外光线的能量会集中在零级直射区域O内,此时,如果红外光线照射到用户的眼部则会对用户的眼睛带来很大的伤害。
类似地,在采用TOF的人脸识别设备中,其内部的diffuser(扩散器)即为另一种能够分散光线能量的器件,当人脸识别设备中的diffuser出现脱落或损坏时,红外光线的能量也会集中在零级直射区域O内,此时,如果红外光线照射到用户的眼部会对用户的眼睛带来很大的伤害。
针对上述问题,本发明提供一种人脸识别方法。所述人脸识别方法能够获取所述投射器对应于所述目标图像的直射区域作为第一区域,并获取所述目标图像中的人眼区域作为第二区域,并且只有在所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时才开启所述投射器。因此,本发明所述人脸识别方法能够避免人脸识别设备中的投射器直射用户的眼部,基于所述人脸识别方法,即便所述人脸识别设备中能够分散光线能量的器件出现老化、损坏、脱落等故障,所述投射器也不会对用户的眼睛造成伤害,有利于提升人脸识别过程中的人眼安全。
请参阅图2,于本发明的一实施例中,所述人脸识别方法包括:
S21,获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域。优选地,所述目标图像为一彩色图像,例如RGB图像。所述目标图像可以由摄像头对处于拍摄位置的所述目标对象进行拍摄得到,所述摄像头例如为所述人脸识别设备内的RGB摄像头。
S22,获取所述投射器对应于所述目标图像在人脸距离下的直射区域作为第一区域。具体地,当所述目标对象处于拍摄位置时,如果不采用光学器件来分散所述投射器发出的光线而利用所述投射器直接照射用户、或者照射用户及其周围环境,所述投射器在人脸距离处的直接照射区域在所述目标图像中的区域即为所述第一区域。例如,对于结构光模组来说,不采用DOE时激光器在人脸距离处直接照射区域在RGB图中的对应区域即为所述第一区域。
S23,获取所述目标图像中的人眼区域作为第二区域,其中,所述第二区域可以采用图像分割或图像识别等技术实现。
S24,当所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时,开启所述投射器并利用所述人脸识别设备对所述目标对象进行人脸识别;否则,保持所述投射器关闭。所述特定阈值例如为0,此时,只有当所述第一区域与所述第二区域完全不重叠时才会开启投射器,因而能够彻底避免投射器直射眼部的问题,从而更好的保护用户的眼睛。
根据以上描述可知,本实施例所述人脸识别方法只有在所述第一区域与所述第二区域的重叠范围足够小时,也即用户的眼部基本不会被投射器直射时,才会开启投射器,此时,投射器不会对用户的眼睛造成伤害。当所述第一区域与所述第二区域的重叠范围较大时,也即用户的眼部会被投射器直射时,保持所述投射器关闭,此时,投射器也不会对用户的眼睛造成伤害。
鉴于投射器的直射会对用户的眼睛造成伤害,因此,步骤S22中不可能通过直射人眼的方式获取所述第一区域。针对这一问题,请参阅图3,于本发明的一实施例中,获取所述第一区域的一种实现方法包括:
S31,获取所述目标对象与所述深度摄像头模组之间的距离。其中,所述目标对象与所述深度摄像头模组之间的距离可以根据采集的RGB图像进行人脸识别和测距得到,通过此种方式得到的距离完全能够满足本实施例对测距精度的要求。
S32,根据所述深度摄像头模组的设计标准参数和设计标准基线、以及所述目标对象与所述深度摄像头模组之间的距离,获取所述投射器的标准直射区域。所述深度摄像头模组的设计标准参数包括所述投射器的发光区域大小、准直镜焦距、IR摄像头和RGB摄像头的内外参数等。所述深度摄像头模组的设计标准基线为所述投射器的光心与IR摄像头光心之间的设计距离。所述投射器的标准直射区域为在上述设计标准参数、以及所述目标对象与所述深度摄像头模组之间的距离下,所述投射器的直接照射区域在RGB图像中的对应区域。
S33,根据所述投射器的标准直射区域获取所述第一区域。例如,可以将所述投射器的标准直射区域直接作为所述第一区域;也可以将所述投射器的标准直射区域扩大一定范围后作为所述第一区域,此时,所述第一区域能够兼顾不同模组个体之间的差异,也能够兼顾目标对象与所述深度摄像头模组之间的距离误差的影响,因而适用于相同型号的深度摄像头模组,具有良好的兼容性。
根据以上描述可知,本实施例提供了一种无需投射器直接照射用户即可获取所述第一区域的方式,该方式不会对用户的眼睛造成任何伤害。此外,通过本实施例获取的第一区域具有良好的兼容性和普适性。
请参阅图4A,于本实施例中,获取所述第一区域的另一种实现方法包括:
S41,获取所述目标对象与所述深度摄像头模组之间的距离。
S42,获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域。
S43,根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域。其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域,具体来说,在所述人脸识别设备对所述目标对象进行人脸识别时,所述投射器的直接照射区域在所述目标对象与所述深度摄像头模组之间的距离下所呈现在红外图中的范围即为所述第二直射区域。
如前所述,所述第一直射区域对应于标定阶段,所述第二直射区域对应于人脸识别阶段。标定阶段所采用的标定物体的位置与人脸识别阶段中所述目标对象的位置并不一定相同。在已知所述标定阶段时处于直射区域的标定物体与所述深度摄像头模组之间的距离、所述目标对象与所述深度摄像头模组之间的距离、所述投射器的光心与IR摄像头光心之间的距离以及红外摄像头的内参的前提下,利用相似图像的计算方法即可根据所述第一直射区域获取所述第二直射区域。
S44,根据所述目标对象与所述深度摄像头模组之间的距离、红外摄像头与目标图像摄像头的内外参以及所述第二直射区域,获取所述第一区域。其中,所述目标图像摄像头是指用于拍摄所述目标图像的摄像头。
可选地,所述深度摄像头模组为结构光模组,请参阅图4B,获取所述第一直射区域的实现方法包括:
S421,获取所述投射器的红外标定图。其中,所述红外标定图是指对所述人脸识别设备中的红外投射器进行标定时的图像,其包括多个随机分布的红外散斑,具体应用中可以利用所述红外投射器在一个已知距离对一个平面进行拍摄得到。
S422,获取所述投射器在所述红外标定图中的直射区域作为所述第一直射区域。其中,所述投射器的零级直射区域是指所述投射器的直接照射区域。
对于结构光模组来说,所述投射器的零级直射区域包括多个随机分布的红外散斑,这些红外散斑会在所述红外标定图上产生相应的投影。基于此,请参阅图4C,本实施例中获取所述第一直射区域的一种实现方法包括:
S4221,根据所述投射器的零级直射区域中心的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的中心点。其中,步骤S4221所述红外标定图中的对应点,是指所述投射器的零级直射区域中心周围一小块面积的散斑在所述红外标定图中的投影内的任一点(例如中心点)。如前所述,所述零级直射区域内的红外散斑分布各不相同,因此,根据所述投射器的零级直射区域中心的散斑分布进行形态匹配即可从所述红外标定图中获取其投影,从该投影内任取一点即为所述第一直射区域的中心点。
S4222,根据所述投射器的零级直射区域顶点的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的顶点。其中,步骤S4222所述红外标定图中的对应点,是指所述投射器的零级直射区域的每一顶点附近一小块面积的散斑在所述红外标定图中的投影内的任一点(例如中心点)。如前所述,所述零级直射区域内的红外散斑分布各不相同,因此,对于位于任一顶点A处的散斑分布,根据其分布形态进行形态匹配即可从所述红外标定图中获取其投影,从该投影内任取一点即为所述第一直射区域与A对应的顶点。通过此种方式能够获取所述第一直射区域的所有顶点。
S4223,根据所述第一直射区域的中心点和顶点获取所述第一直射区域。所述第一直射区域为一多边形,因此,根据其中心点和顶点即可直接获取所述第一直射区域。
可选地,请参阅图4D,本实施例中获取所述第一区域的实现方法包括:
S431,获取所述结构光模组的内参矩阵和外参矩阵,其中,所述内参矩阵包括红外内参矩阵K IR和彩色内参矩阵K RGB,所述彩色内参矩阵例如为RGB内参矩阵;所述外参矩阵--
包括旋转矩阵R和平移矩阵T。所述内参矩阵和所述外参矩阵可以在对所述结构光模组进行标定时获得,具体方式此处不作赘述。
S432,根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域的定位参数,获取所述第一区域的定位参数;其中,所述定位参数包括顶点坐标和中心点坐标。
接下来将以中心点为例对步骤S432进行详细介绍。具体地,所述第一区域中心点的齐次坐标Z-RGB×p-RGB为:Z-RGB×p-RGB=K-RGB×(R×invK-IR×Z×p-IR+T),其中,p-IR为所述第二直射区域的中心点的齐次坐标,invK-IR为所述红外内参矩阵的逆矩阵,K_RGB为彩色内参矩阵,IR到RGB的旋转和平移矩阵分别为R和T,Z为所述目标对象与所述深度摄像头模组之间的距离。根据所述第一区域中心点的齐次坐标即可获取所述第一区域中心点的坐标。其中,齐次坐标与实际坐标之间的转换可以采用现有技术实现,此处不作赘述。采用上述类似的方式即可获取所述第一区域的所有顶点坐标。
S433,根据所述第一区域的定位参数获取所述第一区域。
根据以上描述可知,本实施例提供了另一种获取所述第一区域的方式,该方式基于投射器在标定阶段的直射区域、所述投射器的光心与IR摄像头光心之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述目标对象与所述深度摄像头模组之间的距离来获取所述第一区域,因而能够获取更加准确的第一区域范围。
请参阅图5,于本发明的一实施例中,获取所述目标对象与所述深度摄像头模组之间的距离的实现方法包括:
S51,获取所述目标图像中的人脸区域,其中,该人脸区域可以采用图像分割或图像识别方法获得。
S52,根据所述目标图像中的人脸区域的尺寸,获取所述目标对象与所述深度摄像头模组之间的距离。具体地,根据相似图形的性质可知,目标对象越靠近所述深度摄像头模组,则所述目标图像中的人脸区域越大;所述目标对象越远离所述深度摄像头模组,则所述目标图像中的人脸区域越小。因此,步骤S52可以根据所述目标图像中的人脸区域的尺寸来获取所述目标对象与所述深度摄像头模组之间的距离。
由于所述人脸识别设备本身具有摄像头,因此,本实施例无需增加额外的硬件设备(例如距离传感器)即可获取所述目标对象与所述深度摄像头模组之间的距离,有利于减少所述人脸识别设备中的组件数量,便于设备的配置和部署。并且,通过此种方式获取的距离完全能够满足本实施例对测距精度的要求。
于本发明的一实施例中,所述人脸识别方法还包括:根据所述目标图像中的人脸状况生成用户提示信息。
可选地,所述目标图像中的人脸状况包括所述目标图像中人脸区域的尺寸。如前所述,根据所述目标图像中的人脸区域的尺寸即可获取所述目标对象与所述深度摄像头模组之间的距离,进而可以判断所述目标对象是否位于所述深度摄像头模组的工作距离范围之内。当所述目标对象位于所述深度摄像头模组的工作距离范围内时,所述深度摄像头模组能够正常工作,此时,所述人脸识别设备无需生成用户提示信息;当所述目标对象位于所述深度摄像头模组的工作范围之外时,所述深度摄像头模组无法正常工作,此时,所述人脸识别设备可以通过语音或在屏幕上呈现文字、图案等方式来提示所述目标对象调整位置,直到所述目标对象位于所述深度摄像头的工作范围之内。
可选地,所述目标图像中的人脸状况还包括所述目标图像中是否包含完整的人脸区域。当所述目标图像中包含完整的人脸区域时,所述人脸识别设备无需生成用户提示信息;当所述目标图像中包含的人脸区域不完整、或者所述目标图像中不包含人脸区域时,所述人脸识别设备可以通过语音或在屏幕上呈现文字、图案等方式来引导所述目标对象调整位置或检查是否有物体遮挡摄像头,直到所述目标图像中包含完整的人脸区域。
可选地,所述目标图像中的人脸状况还包括所述目标对象的眼部是否位于所述第一区域内。当所述目标对象的眼部位于所述第一区域内时,所述人脸识别设备可以通过语音或在屏幕上呈现文字、图案等方式来引导所述目标对象调整位置,直到所述目标对象的眼部区域与所述第一区域的重叠范围小于所述特定阈值。
于本发明的一实施例中,所述人脸识别方法还包括:根据人脸识别的结果判断所述深度摄像头模组是否存在故障。具体地,所述人脸识别的结果包括所述目标对象的人脸区域深度图;在所述目标图像中包含完整的人脸区域的前提下,如果所述人脸识别设备获取的多张人脸区域图像的完整度均较差时,可以认为所述深度摄像头模组存在故障,此时停止使用所述投射器,并发出故障提醒信息。
本实施例提供了一种根据人脸识别结果来判断深度摄像头模组是否存在故障的方法,该方法完全基于软件实现,因而无需对所述人脸识别设备的硬件结构进行改进,因此,该方法能够比较容易地应用于现有的人脸识别设备,且不会增加所述人脸识别设备的硬件成本。
于本发明的一实施例中,所述人脸识别方法应用于人脸识别设备,所述人脸识别设备包括人脸支付设备。本实施例中,所述人脸识别方法包括检测子方法和识别子方法。
请参阅图6,本实施例中所述检测子方法包括:
S61,人脸识别设备进行人脸检测。当所述人脸识别设备检测到目标对象的人脸时,获取所述目标对象的一张图像作为目标图像,并执行步骤S62;否则,持续进行人脸检测,直到所述人脸识别设备检测到目标对象的人脸。优选地,当所述人脸识别设备未检测到人脸时,通过语音、或者屏幕上的文字或图像等形式提示所述目标对象将人脸移动至摄像头的工作距离范围之内。
S62,人脸识别设备获取设备和人脸的距离。具体地,所述人脸识别设备可以根据所述目标图像获取所述设备和人脸之间的距离,也可以采用距离传感器等获取所述设备和人脸之间的距离。
S63,判断设备和人脸的距离是否满足距离阈值,也即判断所述目标对象是否位于所述摄像头的工作距离范围之内。如果满足,则执行识别子方法。否则,通过语音、屏幕上的文字或图形等方式提示人员将人脸移到摄像头范围内,并执行步骤S61。
本实施例中所述识别子方法包括:
S71,人脸识别设备进行人眼检测,以获取目标对象的人眼区域。
S72,判断所述目标对象的人眼是否位于投射器的可能直射区域范围内:如果是,则执行步骤S73,否则,执行步骤S74。
S73,引导目标对象调整人脸位置,并执行步骤S71。引导方式可以为语音、在屏幕上显示文字或者图像等方式。步骤S73的引导过程可以持续进行,直到步骤S72判断出所述目标对象的人眼位于所述投射器的可能直射区域范围之外。
S74,打开投射器,并利用所述人脸识别设备获取所述目标对象的一张深度图,且基于所述深度图进行人脸识别。
可选地,所述识别子方法还可以包括:S75,检查所述深度图中人脸区域的完整度,以判断所述人脸识别设备是否存在故障。具体地,如果所述深度图中人脸区域的完整度较差,则认为所述人脸识别设备的DOE或者diffuser存在故障。该步骤S75可以在每次进行人脸识别时都执行,也可以每间隔一定时间执行一次。
本发明还提供一种检测方法,用于检测深度摄像头模组中投射器的直射区域。所述检测方法可应用于本发明所述的人脸识别方法中。具体地,请参阅图7,所述检测方法包括:
S81,获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域。
S82,获取所述目标对象与所述深度摄像头模组之间的距离。
S83,获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域。
S84,根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域,其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域。
S85,根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域,获取所述投射器对应于所述目标图像在所述目标对象与所述深度摄像头模组之间的距离下的直射区域。
上述步骤S82~S85与图4A所示步骤S41~S44类似,为节约说明书篇幅,在此不做过多赘述。
可选地,本实施例所述检测方法可以采用图4B所示方法来获取所述第一直射区域、利用图4D所示方法来获取所述第二直射区域、和/或利用图5所示方法来获取所述目标对象与所述深度摄像头模组之间的距离。
基于以上对所述人脸识别方法和所述检测方法的描述,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现图2或图6所示的人脸识别方法,和/或实现图7所示的检测方法。
基于以上对所述人脸识别方法和所述检测方法的描述,本发明还提供一种电子设备,所述电子设备包括但不限于人脸识别设备、人脸支付设备、摄像头或摄像头模组。请参阅图8,于本发明的一实施例中,所述电子设备800包括存储器810、处理器820和显示器830。
所述存储器810存储有一计算机程序。所述处理器820与所述存储器810通信相连,调用所述计算机程序时实现图2或图6所示的人脸识别方法,或者实现图7所示的检测方法。所述显示器830与所述处理器810和所述存储器820通信相连,用于显示所述人脸识别方法或所述检测方法的相关GUI交互界面。
本发明所述的人脸识别方法和所述检测方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明所述人脸识别方法可以被配置为仅在检测到人脸的情况下、且目标对象位于摄像头模组的工作距离范围之内时才打开投射器。此外,所述人脸识别方法通过检测人眼是否在投射器可能直射区域范围内来决定是否打开投射器并获取深度图。因此,基于本发明所述人脸识别方法,即便人脸识别设备中能够分散光线能量的器件出现老化、损坏或脱落等故障,所述投射器也不会对用户的眼睛造成伤害,有利于提升人脸识别过程中的人眼安全。
此外,本发明所述人脸识别方法可以根据摄像头模组的标定结果来精确地获取投射器的可能直射区域范围。
进一步地,本发明所述人脸识别方法和所述检测方法完全通过软件方式实现,在实现过程中无需对人脸识别设备及摄像头模组的硬件结构进行改进,容易实现且能直接应用于已有的设备中。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸识别方法,其特征在于,应用于人脸识别设备,所述人脸识别设备包括深度摄像头模组,所述深度摄像头模组包括投射器,所述人脸识别方法包括:
获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域;
获取所述投射器对应于所述目标图像在人脸距离下的直射区域作为第一区域;
获取所述目标图像中的人眼区域作为第二区域;
当所述第一区域与所述第二区域之间的重叠范围小于等于一特定阈值时,开启所述投射器并利用所述人脸识别设备对所述目标对象进行人脸识别。
2.根据权利要求1所述的人脸识别方法,其特征在于,获取所述第一区域的一种实现方法包括:
获取所述目标对象与所述深度摄像头模组之间的距离;
根据所述深度摄像头模组的设计标准参数和设计标准基线、以及所述目标对象与所述深度摄像头模组之间的距离,获取所述投射器的标准直射区域;
根据所述投射器的标准直射区域获取所述第一区域。
3.根据权利要求1所述的人脸识别方法,其特征在于,获取所述第一区域的一种实现方法包括:
获取所述目标对象与所述深度摄像头模组之间的距离;
获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域;
根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域,其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域;
根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域,获取所述第一区域。
4.根据权利要求1-3任一项所述的人脸识别方法,其特征在于,所述深度摄像头模组为结构光模组,获取所述第一直射区域的实现方法包括:
获取所述投射器的红外标定图;
获取所述投射器在所述红外标定图上的直射区域作为所述第一直射区域。
5.根据权利要求4所述的人脸识别方法,其特征在于,获取所述投射器在所述红外标定图上的直射区域作为所述第一直射区域的实现方法包括:
根据所述投射器的零级直射区域中心的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的中心点;
根据所述投射器的零级直射区域顶点的散斑分布形态,获取所述红外标定图中的对应点作为所述第一直射区域的顶点;
根据所述第一直射区域的中心点和顶点获取所述第一直射区域。
6.根据权利要求3所述的人脸识别方法,其特征在于,所述深度摄像头模组为结构光模组,获取所述第一区域的实现方法包括:
获取所述结构光模组的内参矩阵和外参矩阵,其中,所述内参矩阵包括红外内参矩阵和彩色内参矩阵,所述外参矩阵包括旋转矩阵和平移矩阵;
根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域的定位参数,获取所述第一区域的定位参数;其中,所述定位参数包括顶点坐标和中心点坐标;
根据所述第一区域的定位参数获取所述第一区域。
7.根据权利要求1-6任一项所述的人脸识别方法,其特征在于,所述人脸识别方法还包括:
根据所述目标图像中的人脸状况生成用户提示信息;和/或
根据人脸识别的结果判断所述深度摄像头模组是否存在故障。
8.一种检测方法,其特征在于,用于检测深度摄像头模组中投射器的直射区域,所述检测方法包括:
获取一目标图像,其中,所述目标图像包括一目标对象的人脸区域;
获取所述目标对象与所述深度摄像头模组之间的距离;
获取第一直射区域,其中,所述第一直射区域是指所述投射器处于标定阶段时在红外图上的直射区域;
根据所述目标对象与所述深度摄像头模组之间的距离以及所述第一直射区域,获取第二直射区域,其中,所述第二直射区域是指所述投射器处于人脸识别阶段时在所述目标对象与所述深度摄像头模组之间的距离下红外图上的直射区域;
根据所述目标对象与所述深度摄像头模组之间的距离、所述结构光模组的内参矩阵和外参矩阵以及所述第二直射区域,获取所述投射器对应于所述目标图像在所述目标对象与所述深度摄像头模组之间的距离下的直射区域。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该计算机程序被处理器执行时实现权利要求1-7任一项所述的人脸识别方法,和/或权利要求8所述的检测方法。
10.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有一计算机程序;
处理器,与所述存储器通信相连,调用所述计算机程序时执行权利要求1-7任一项所述的人脸识别方法,和/或权利要求8所述的检测方法;
显示器,与所述处理器和所述存储器通信相连,用于显示所述人脸识别方法和/或所述检测方法的相关GUI交互界面。
CN202110372506.5A 2021-04-07 2021-04-07 一种人脸识别方法、检测方法、介质及电子设备 Active CN113111762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110372506.5A CN113111762B (zh) 2021-04-07 2021-04-07 一种人脸识别方法、检测方法、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110372506.5A CN113111762B (zh) 2021-04-07 2021-04-07 一种人脸识别方法、检测方法、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113111762A true CN113111762A (zh) 2021-07-13
CN113111762B CN113111762B (zh) 2024-04-05

Family

ID=76714316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110372506.5A Active CN113111762B (zh) 2021-04-07 2021-04-07 一种人脸识别方法、检测方法、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113111762B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198405A1 (en) * 2005-03-04 2006-09-07 Guenter James K Method for performing eye safety measurements on laser emitter devices
CN102681312A (zh) * 2011-03-16 2012-09-19 宏瞻科技股份有限公司 激光投影系统的人眼安全保护系统
CN103158505A (zh) * 2011-12-12 2013-06-19 现代自动车株式会社 检测驾驶者眩光的装置和方法及阻挡眩光的系统和方法
CN108509867A (zh) * 2018-03-12 2018-09-07 广东欧珀移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108767653A (zh) * 2018-05-30 2018-11-06 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN109325460A (zh) * 2018-09-30 2019-02-12 华为技术有限公司 一种人脸识别方法、光心标定方法和终端
CN109635682A (zh) * 2018-11-26 2019-04-16 上海集成电路研发中心有限公司 一种人脸识别装置和方法
US20190182474A1 (en) * 2017-12-08 2019-06-13 Interface Technology (Chengdu) Co., Ltd 3d camera device, 3d imaging method, and human face recognition method
WO2020237658A1 (zh) * 2019-05-31 2020-12-03 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198405A1 (en) * 2005-03-04 2006-09-07 Guenter James K Method for performing eye safety measurements on laser emitter devices
CN102681312A (zh) * 2011-03-16 2012-09-19 宏瞻科技股份有限公司 激光投影系统的人眼安全保护系统
CN103158505A (zh) * 2011-12-12 2013-06-19 现代自动车株式会社 检测驾驶者眩光的装置和方法及阻挡眩光的系统和方法
US20190182474A1 (en) * 2017-12-08 2019-06-13 Interface Technology (Chengdu) Co., Ltd 3d camera device, 3d imaging method, and human face recognition method
CN108509867A (zh) * 2018-03-12 2018-09-07 广东欧珀移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108767653A (zh) * 2018-05-30 2018-11-06 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
CN109325460A (zh) * 2018-09-30 2019-02-12 华为技术有限公司 一种人脸识别方法、光心标定方法和终端
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN109635682A (zh) * 2018-11-26 2019-04-16 上海集成电路研发中心有限公司 一种人脸识别装置和方法
WO2020237658A1 (zh) * 2019-05-31 2020-12-03 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN113111762B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US10250856B2 (en) Systems, devices, and methods for laser projectors
US10841565B2 (en) 3D camera device, 3D imaging method, and human face recognition method
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
CN114466173A (zh) 投影设备及自动投入幕布区域的投影显示控制方法
JP2017532580A5 (zh)
CN109872382B (zh) 图像处理系统及图像处理方法
WO2013127974A1 (en) Spatially coded structured light generator
TW201235140A (en) Adjustment apparatus, laser machining apparatus, and adjustment method
US20100157256A1 (en) Image projection device and rear projection type display device
US20160291200A1 (en) Structured light projection using a compound patterned mask
JP6123221B2 (ja) 皮膚外用剤の塗布支援システム、塗布支援方法、及びプログラム
US20210192243A1 (en) Method, system, and computer-readable medium for generating spoofed structured light illuminated face
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
CN113111762B (zh) 一种人脸识别方法、检测方法、介质及电子设备
US9268204B2 (en) Verification of laser projector safety system operation
CN113840125A (zh) 投影仪的控制方法、装置、投影仪、存储介质
US10971900B2 (en) Vertical-cavity surface-emitting laser, structured light module and method for light projection and terminal
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
TWI696121B (zh) 光學投射系統
US10657665B2 (en) Apparatus and method for generating three-dimensional information
TWI719387B (zh) 投影機、具有投影機的電子裝置、以及用來取得影像資料之深度資訊的方法
JP6214721B1 (ja) カメラモジュール
TWI719383B (zh) 多影像投影機以及具有多影像投影機之電子裝置
CN113168019B (zh) 用于大场成像的衍射光学元件
WO2022138780A1 (ja) 照合装置、照合プログラム、記録媒体、及び照合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant