CN111837133A - 数据采集装置、人脸识别装置、设备、方法及存储介质 - Google Patents

数据采集装置、人脸识别装置、设备、方法及存储介质 Download PDF

Info

Publication number
CN111837133A
CN111837133A CN202080001586.7A CN202080001586A CN111837133A CN 111837133 A CN111837133 A CN 111837133A CN 202080001586 A CN202080001586 A CN 202080001586A CN 111837133 A CN111837133 A CN 111837133A
Authority
CN
China
Prior art keywords
data
data acquisition
face
dimensional
dimensional face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080001586.7A
Other languages
English (en)
Inventor
吕萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN111837133A publication Critical patent/CN111837133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/40Transceivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种数据采集装置、人脸识别装置、设备、方法及存储介质,其中,数据采集装置包括两对数据采集组件,该两对数据采集组件可以通过包括的光发射器和光接收器在预设的采集时间段内的相同时刻和/或不同时刻分别采集目标物的两帧目标三维数据;人脸识别装置包括数据采集装置和处理器,处理器能够对上述数据采集装置采集到的至少两帧三维人脸数据进行融合,进而利用融合后的三维人脸数据进行人脸识别,无需使用价格昂贵的专用三维数据采集组件,也可以采集到质量较好的三维人脸数据,提高了三维人脸识别的性能。

Description

数据采集装置、人脸识别装置、设备、方法及存储介质
技术领域
本申请涉及信息安全技术领域,尤其涉及一种数据采集装置、人脸识别装置、设备、方法及存储介质。
背景技术
人脸识别技术成为一种应用广泛的智能生物识别技术。现阶段,基于图像的二维人脸识别技术日益成熟,在一定约束条件下已经取得了较好的识别结果,但是,二维人脸识别技术受到拍摄光照、姿态、表情、年龄等因素的影响,容易被外界(例如,照片或视频)攻击,导致二维人脸识别的安全性低。
现有技术中,针对二维人脸识别的安全性低的问题,发展出了三维人脸识别方法,主要利用专用的三维数据采集组件采集三维人脸数据,再利用采集到的三维人脸识别数据执行三维人脸识别。其中,专用的三维数据采集组件是采用高成本的传感器材料,基于较高的制造工艺或者结合稳定性较高的器件(例如,滤光片、驱动电路,激光器)等制成的,通常价格比较昂贵。
然而,消费级的终端设备受限于其成本、体积和用户体验等因素的限制,其上设置的用于采集三维人脸数据的组件使用的传感器材料、制造工艺和使用的其他器件都精度较低,导致实际采集到的三维人脸数据质量较差,存在人脸识别性能低的问题。
发明内容
本申请提供一种数据采集装置、人脸识别装置、设备、方法及存储介质,用于解决由于现有数据采集装置采集的数据质量差导致人脸识别性能低的问题。
第一方面,本申请提供一种数据采集装置,包括:第一对数据采集组件和第二对数据采集组件,每对数据采集组件包括:光发射器和光接收器,每个光发射器和每个光接收器均连接到控制组件,所述控制组件用于通过发射控制信号来控制每对数据采集组件的光发射器、光接收器同步工作;
所述第一对数据采集组件用于在第一时刻采集目标物的一帧目标三维数据,所述第二对数据采集组件用于在第二时刻采集所述目标物的一帧目标三维数据,以使得所述数据采集装置获得所述目标物在所述第一时刻和所述第二时刻的两帧目标三维数据,所述两帧目标三维数据用于融合以得到一帧融合数据,所述第一时刻和所述第二时刻的时间差小于预设差值。
在本实施例中,利用两对数据采集组件分别在时间差小于预设差值的第一时刻和第二时刻采集目标物的一帧目标三维数据,使得数据采集装置最终能够采集到目标物在第一时刻和第二时刻的两帧目标三维数据,为后续融合得到质量较好的三维数据提供了实现可能。
在第一方面的一种可能设计中,在每对数据采集组件中,所述光发射器用于发射近红外光,所述光接收器用于接收经过所述目标物反射的近红外光,输出目标三维数据。在第一方面的另一种可能设计中,所述第一对数据采集组件用于使用第一光波长的近红外光在所述第一时刻采集所述目标物的一帧目标三维数据,所述第二对数据采集组件用于使用第二光波长的近红外光在所述第二时刻采集所述目标物的一帧目标三维数据,所述第一光波长与所述第二光波长不同。
在本实施例中,利用两个光波长的近红外光分别分别采集目标物的目标三维数据,可以得到更多的目标物的信息,为后续进行融合得到高质量的三维数据奠定了基础。在第一方面的再一种可能设计中,每对数据采集组件还包括:设置在光接收器表面的滤光组件,所述表面是用于接收近红外光的表面。
通过在光接收器表面设置滤光组件,能够防止不同光发射器发出的至少两种光波长的光互相串扰,而且将滤光组件设置在用于接收近红外光的表面,能够提高特定光波长的近红外光的透光性,最大限度的避免其他波长光的串扰。
在第一方面的又一种可能设计中,所述装置还包括:用于固定所述第一对数据采集组件和所述第二对数据采集组件的底座。
在本实施例中,利用该底座承载并固定上述第一对数据采集组件和第二对数据采集组件,使得数据采集装置可以作为一个整体独立于设备存在,因而,该数据采集装置能够灵活的连接到所有具有数据采集需求的设备上,该设备可以是不同的种类和类型,提高了数据采集装置的应用范围,实用性高。
在第一方面的又一种可能设计中,所述控制组件包含在所述数据采集装置中。这样,数据采集装置具有了控制能够,能够灵活的应用到多个场景,而不用局限于具有控制组件的场景,实用性更高。
在第一方面的又一种可能设计中,所述目标物为人脸,所述目标三维数据为三维人脸数据。
第二方面,本申请提供一种人脸识别装置,包括:相互连接的数据采集装置和处理器,所述数据采集装置包括至少一对数据采集组件,所述至少一对数据采集组件用于在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,以使得所述数据采集装置获得所述目标人脸在所述采集时间段内的至少两帧目标三维数据,所述采集时间段的时长小于预设时长;
所述处理器用于对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据,并根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
在本实施例中,通过将数据采集装置所采集到的至少两帧三维人脸数据融合成一帧质量较好的三维人脸数据,减小了单帧三维人脸数据的人脸深度误差,提高了三维人脸识别的效果。
在第二方面的一种可能设计中,所述处理器还用于执行:
在对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合之前,对所述至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
在根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,对所述三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据;
所述第一预处理和所述第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
在本实施例中,通过对融合前的三维人脸数据进行第一预处理,对融合得到的三维人脸融合数据进行第二预处理,可以降低由于环境干扰或人为因素造成的采集或传输的三维人脸数据出现毛刺、存在空洞或叠加噪声等问题,在一定程度上恢复了数据的客观真实性,提高了人脸识别结果的准确性。
在第二方面的另一种可能设计中,所述数据采集装置包括至少两对数据采集组件,所述至少两对数据采集组件用于在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。
在本实施例中,该数据采集装置包括至少两对数据采集组件,这样能够在同一时刻采集至少两帧目标三维数据,从而增加了在同一时刻针对目标物获取到的目标三维数据的数量,为后续进行融合得到质量较高的三维数据奠定了基础。
可选的,每对数据采集组件,用于在所述采集时间段内的至少两个时刻采集所述目标人脸的至少两帧三维人脸数据。
在本实施例中,在较小的采集时间段内的至少两个时刻采集至少两帧目标三维数据,目标物的姿态变化很小,使得采集到的至少两帧目标三维数据能够很容易通过预设算法,矫正并融合成一帧质量更好的三维数据,为后续数据融合的实现提供了基础。
在第二方面的再一种可能设计中,所述至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件;
所述第一对数据采集组件用于使用第一光波长的近红外光采集所述目标人脸的至少一帧三维人脸数据,所述第二对数据采集组件用于使用第二光波长的近红外光采集所述目标人脸的至少一帧三维人脸数据,所述第一光波长与所述第二光波长不同。
在第二方面的上述可能设计中,所述处理器用于对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合,具体为:
所述处理器,具体用于对所述第一对数据采集组件采集到的至少两帧三维人脸数据和所述第二对数据采集组件采集到的至少两帧三维人脸数据进行数据融合。
在第二方面的又一种可能设计中,所述数据采集装置包括一对数据采集组件,所述数据采集组件用于在所述采集时间段内的至少两个时刻采集所述目标人脸的至少两帧三维人脸数据。
在本实施例中,该数据采集装置包括至少一对数据采集组件,但是可以在采集时间段内的不同时刻采集至少两帧目标三维数据,从而可以提高采集时间段内的目标三维数据的数量,为后续得到质量较高的三维数据奠定了基础。
在第二方面的又一种可能设计中,所述处理器,具体用于采用迭代最近点算法对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合。
第三方面,本申请提供一种终端设备,包括:第二方面以及第二方面各可能设计所述的人脸识别装置。
第四方面,本申请提供一种人脸识别方法,应用于第三方面的终端设备,所述方法包括:
通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据每个采集时间段的时长小于预设时长;
对所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据;
根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
在第四方面的一种可能设计中,在所述对所述至少两帧三维人脸数据进行数据融合之前,所述方法还包括:
对所述至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
和/或
在所述根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,所述方法还包括:
对所述三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据;
其中,所述第一预处理和/或所述第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
在第四方面的另一种可能设计中,所述通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
利用所述数据采集装置包括的至少两对数据采集组件在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。
可选的,所述至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件;
所述利用所述数据采集装置包括的至少两对数据采集组件在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
控制所述第一对数据采集组件使用第一光波长的近红外光在所述采集时间段内的至少一个第一时刻采集所述目标人脸的至少一帧三维人脸数据;
控制所述第二对数据采集组件使用第二光波长的近红外光在所述采集时间段内的至少一个第二时刻采集所述目标人脸的至少一帧三维人脸数据;
其中,所述第一光波长与所述第二光波长不同,所述第一时刻和所述第二时刻相同或不同。
在第四方面的再一种可能设计中,所述通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
利用所述数据采集装置包括的一对数据采集组件在所述采集时间段内的不同时刻采集目标人脸的至少两帧三维人脸数据。
关于第四方面提供的方法,可应用于第三方面提供的终端设备,第三方面提供的终端设备包括第二方面的人脸识别装置,其实现原理和技术效果类似,在此不再赘述。
第五方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如第四方面以及第四方面各可能设计所述的方法。
第六方面,本申请实施例提供一种程序,当该程序被处理器执行时,用于执行如第四方面以及各可能设计提供的方法。
第七方面,本申请实施例提供一种计算机程序产品,包括程序指令,程序指令用于实现如第四方面以及各可能设计提供的方法。
第八方面,本申请实施例提供了一种芯片,包括:处理模块与通信接口,该处理模块能执行第四方面以及各可能设计提供的方法。
进一步地,该芯片还包括存储模块(如,存储器),存储模块用于存储指令,处理模块用于执行存储模块存储的指令,并且对存储模块中存储的指令的执行使得处理模块执行第四方面以及各可能设计提供的方法。
本申请实施例提供的数据采集装置、人脸识别装置、设备、方法及存储介质,其中,数据采集装置包括第一对数据采集组件和第二对数据采集组件,第一对数据采集组件用于在第一时刻采集目标物的一帧目标三维数据,第二对数据采集组件用于在第二时刻采集目标物的一帧目标三维数据,以使得数据采集装置获得目标物在所述第一时刻和第二时刻的两帧目标三维数据,第一时刻和第二时刻的时间差小于预设差值;人脸识别装置包括数据采集装置和处理器,处理器能够对上述数据采集装置采集到的至少两帧三维人脸数据进行融合,进而根据融合后的三维人脸数据进行人脸识别,无需使用价格昂贵的专用三维数据采集组件,也可以采集到质量较好的三维人脸数据,提高了三维人脸识别的性能。
附图说明
图1为本申请提供的数据采集装置实施例一的结构示意图;
图2为本申请提供的数据采集装置实施例二的结构示意图;
图3A为本申请提供的人脸识别装置实施例一的结构示意图;
图3B为图3A所示人脸识别装置的一种可能设计的结构示意图;
图3C为图3A所示人脸识别装置的另一种可能设计的结构示意图;
图4为本申请提供的一种实施方式的人脸识别方法中两帧三维人脸数据进行融合的示意图;
图5为本申请实施例提供的人脸识别方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面在介绍本申请的技术方案之前,首先对本申请涉及的术语进行解释说明:
三维数据:
三维数据是指能够描述目标对象在三维空间里形状和空间位置的数据。三维数据包括但不限于三维点云(Point Cloud)、深度图(Depth Image,Range Image)或者三维网格(Mesh)。
TOF传感器
飞行时间(time of flight,TOF)传感器:工作原理是激光器发出的经调制的近红外光,遇到目标对象后发生反射,TOF传感器接收反射后的近红外光,并通过计算光线发射和反射时间差或相位差,来换算目标对象的距离,以产生深度信息。
专用的三维数据采集组件
专用的三维数据采集组件可以是专业的3D光扫描设备,通常由光射器、光接收器、时间计数器、马达控制可旋转的滤光镜、控制电路板、微电脑、CCD机以及软件等组成,能够通过扫描物体表面获取物体的三维点云数据,具有高效率、高精度的特点,采集的三维点云数据质量较高。一般来说,专用的三维数据采集组件通常应用在商业领域或军事领域。
消费级终端设备
消费级的终端设备是日常生活中使用的终端,例如,手机、平板电脑、门锁、支付终端等设备,特点是终端设备的价格符合普通消费者的消费水平,设备内的空间小等,因而,具有三维数据采集或三维人脸识别的消费级终端设备上设置的三维数据采集组件使用的传感器材料、制造工艺和使用的其他器件精度较低。
本申请实施例针对消费级的终端设备采集到的三维人脸数据质量差,人脸识别性能低的问题,提出了一种数据采集装置、人脸识别装置、设备、方法及存储介质,其中,数据采集装置包括两对数据采集组件,两对数据采集组件可以通过包括的光发射器和光接收器在预设的采集时间段内的相同时刻和/或不同时刻采集目标物的至少两帧目标三维数据;人脸识别装置包括数据采集装置和处理器,处理器能够对数据采集装置采集到的至少两帧三维人脸数据进行融合,进而利用融合得到的三维人脸融合数据进行人脸识别,无需使用价格昂贵的专用三维数据采集组件,也可以采集到质量较好的三维人脸数据,提高了三维人脸识别的性能。
可以理解的是,本申请实施例提供的数据采集装置既可以用于采集三维人脸数据,也可以采集其他的三维数据,例如,身体其他部位的三维数据。本申请下述实施例主要以采集目标人脸的三维人脸数据进行说明。关于其他三维数据的应用可以根据实际场景确定,此处不再赘述。
下面,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请提供的数据采集装置实施例一的结构示意图。如图1所示,该数据采集装置10可以包括:至少两对数据采集组件102,分别为第一对数据采集组件1021和第二对数据采集组件1022,每对数据采集组件包括:光发射器(图示中简称“发”)和光接收器(图示中简称“收”),每个光发射器和每个光接收器均连接到控制组件101,该控制组件101用于通过发射控制信号来控制每对数据采集组件102的光发射器、光接收器同步工作。
在本申请的实施例中,上述至少两对数据采集组件102用于通过包括的光发射器和光接收器在预设的采集时间段内的相同时刻和/或不同时刻采集目标物的至少两帧目标三维数据。
例如,第一对数据采集组件1021用于在第一时刻采集目标物的一帧目标三维数据,第二对数据采集组件1022用于在第二时刻采集目标物的一帧目标三维数据,以使得该数据采集装置10获得目标物在第一时刻和第二时刻的两帧目标三维数据,该两帧目标三维数据用于融合以得到一帧融合数据。
在本申请的实施例中,第一时刻和第二时刻的时间差小于预设差值,即第一时刻和第二时刻可以为同一时刻,也可以是相差很小的不同时刻,当第一时刻和第二时刻的时间差为0时,第一时刻和第二时刻为同一时刻。
可选的,本实施例以图1所示的数据采集装置包括两对数据采集组件进行举例说明,在实际应用中,数据采集装置还可以包括其他数量的数据采集组件,关于具体的数量可以根据实际情况设定,本实施例不其进行赘述。
在实际应用中,光发射器用于发射近红外光,光接收器用于接收经目标物反射后的近红外光,并输出目标三维数据。
示例性的,在本申请的实施例中,该目标物为人脸,该目标三维数据为三维人脸数据。
在本实施例中,若想使得每对数据采集组件102能够采集目标物的目标三维数据,需要保证光发射器和光接收器始终同步工作,因而,本实施例中的每对数据采集组件100包括的光发射器和光接收器均与控制组件101连接,利用控制组件101发出的控制信号控制每对数据采集组件102中光发射器和光接收器的工作时间段(包括启动时刻和关闭时刻),从而实现了精确的同步。
示例性的,在本实施例中,光发射器可以是激光器或发光二极管(LED),例如,半导体激光器(如垂直腔面发射激光器,VCSEL),光接收器可以是TOF传感器。可选的,每个光发射器能够发射一种指定光波长的近红外光,使得该光发射器所在的数据采集组件能够使用该指定光波长采集至少一帧目标三维数据。
可以理解的是,本申请实施例并不限制光发射器和光接收器的具体实现,在实际应用中,可以根据实际情况确定,此处不再赘述。
可选的,本申请的技术方案不限定光发射器和光接收器的具体位置关系,也不限定任意两个光接收器之间的基线距离,支持从不同的视角采集不同的目标三维数据,为后续得到质量较高的目标三维数据提供了实现可能。
本申请实施例提供的数据采集装置,通过两对数据采集组件实现,每对数据采集组件包括光发射器和光接收器,每个光发射器和每个光接收器均连接到控制组件,这样控制组件可以通过发射控制信号来控制每对数据采集组件的光发射器、光接收器同步工作,进而使得两对数据采集组件可以分别在第一时刻和第二时刻采集目标物的一帧目标三维数据,使得数据采集装置获得目标物在的两帧目标三维数据,该两帧目标三维数据用于融合以得到一帧融合数据。该技术方案中,基于两对数据采集组件在采集时间段内的相同时刻和/或不同时刻采集目标物的至少两帧目标三维数据,为后续融合得到质量较好的三维数据提供了实现基础。进一步的,在图1所示的数据采集装置中,第一对数据采集组件1021用于使用第一光波长的近红外光在第一时刻采集目标物的一帧目标三维数据,第二对数据采集组件1022用于使用第二光波长的近红外光在第二时刻采集目标物的一帧目标三维数据,该第一光波长与第二光波长不同。
示例性的,第一对数据采集组件1021包括:第一光发射器和第一光接收器,第一光发射器用于发射第一光波长的第一近红外光,第一光接收器用于接收经目标物反射后的第一近红外光,则该第一光接收器表面设置的滤光组件为只允许第一光波长的近红外光通过的滤光片或镀膜。因而,第一光接收器可以采集到目标物在第一光波长下的深度信息。
同理,第二对数据采集组件1022包括:第二光发射器和第二光接收器,第二光发射器用于发射第二光波长的第二近红外光,第二光接收器用于接收经目标物反射后的第二近红外光,则该第二光接收器表面设置的滤光组件为只允许第二光波长的近红外光通过的滤光片或镀膜,因而,第二光接收器可以采集到目标物在第二光波长下的深度信息。
基于此,第一对数据采集组件和第二对数据采集组件针对同一个目标物(例如,人脸)所采集到的目标三维数据(例如,三维人脸数据)不同。
示例性的,在本实施例中,第一光波长可以为850nm,第二光波长可以为940nm,因而,第一光发射器可以为用于发出850nm光波长的近红外光的半导体激光器,第二光发射器可以为用于发出940nm光波长的近红外光的半导体激光器,第一光接收器和第二光接收器均可以为TOF传感器,但设置在第一光接收器表面的第一滤光组件为允许850nm光通过的滤光片或者镀膜,设置在第二光接收器表面的第二滤光组件为允许940nm光通过的滤光片或者镀膜。
值得说明的是,本申请实施例并不限定第一光波长和第二光波长的具体取值,其可以根据实际应用中使用的光波长的取值确定,此处不赘述。
在实际应用中,人体皮肤和其他面具材质在不同近红外波长下的照片具有不同的特征,即,每对数据采集组件利用不同近红外波长针对真实人体皮肤采集到的至少两帧目标三维数据是不同的,而假的人脸模型或者人脸面具在不同近红外波长下的照片具有相同的特征,因而,当数据采集装置包括至少两对数据采集组件时,通过设置每对数据采集组件采用不同的光波长采集目标物的目标三维数据,可以对假的人脸模型或者人脸面具,具有一定的活体防伪功能。
示例性的,在本申请实施例中,在每对数据采集组件中,光接收器用于在采集时间段内的至少两个时刻采集目标物的至少两帧目标三维数据,采集时间段的时长小于预设时长。
可选的,该预设时长为1s。
一般来说,由于一帧图像的采集时间很短,因而,一帧目标三维数据只包含目标物在采集时刻的状态信息。虽然预设的采集时间段的时长足够短,例如,1s、1ms的短时间段,但是只要同一个数据采集组件采集目标三维数据的时刻之间的时间间隔足够短,仍然可以在每个采集时间段内采集至少两帧目标三维数据,这时,即使在每个较短的采集时间段内,目标物(例如,人脸)会有轻微的晃动,但鉴于至少两帧目标三维数据的采集时间间隔很短,故该至少两帧目标三维数据对应的目标物姿态变化也很小,故,该至少两帧目标三维数据很容易通过预设算法,矫正并融合成一帧质量更好的目标三维数据。
进一步的,参照图1所示,在本申请的实施例中,每对数据采集组件102还包括:设置在光接收器表面的滤光组件,该表面是用于接收近红外光的表面。
在本实施例中,为了防止不同光发射器发出的至少两种光波长的光互相串扰,可以在每个光接收器的表面设置一个滤光组件,利用不同滤光组件的滤光特性,每个滤光组件只允许一种光波长的近红外光通过,使得每个光接收器只接收到期望光波长的近红外光。
可以理解的是,为了提高特定光波长的近红外光的透光性,每个滤光组件设置在用于接收近红外光的表面,从而能够最大限度的避免光的串扰。
示例性的,图2为本申请提供的数据采集装置实施例二的结构示意图。如图2所示,本申请实施例提供的数据采集装置还可以包括:用于固定第一对数据采集组件1021和第二对数据采集组件1022的底座。
在本实施例中,数据采集装置还可以包括底座,利用该底座承载并固定上述第一对数据采集组件1021和第二对数据采集组件1022,这样使得数据采集装置可以作为一个整体独立于设备存在,因而,该数据采集装置能够方便灵活的连接到所有具有数据采集需求的设备上,该设备可以是不同的种类和类型,提高了数据采集装置的应用范围,实用性高。
图2所示的底座与第一对数据采集组件1021和第二对数据采集组件1022的位置关系只是一种示意,在实际应用中还可以有其他的位置关系,本实施例中不对其进行限定。
示例性的,在本申请实施例的一种可能设计中,上述控制组件101包含在数据采集装置10中。此时,数据采集装置10基于自身的功能便可以实现目标三维数据的采集,进一步提高了数据采集装置的应用范围,实用性更高。
进一步的,本申请实施例还提供一种人脸识别装置,包括处理器和数据采集装置。实现方案为:该人脸识别装置通过处理器对数据采集装置采集到的至少两帧三维人脸数据进行融合处理,以及对融合后的三维人脸数据进行人脸识别,判断采集的目标人脸是否为实体人脸。具体实现方案参照下述图3所示的实施例。
图3A为本申请提供的人脸识别装置实施例一的结构示意图。参照图3A所示,在本实施例中,该人脸识别装置100可以包括:相互连接的数据采集装置10和处理器11,该数据采集装置10包括至少一对数据采集组件102,至少一对数据采集组件102用于在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,以使得数据采集装置10获得目标人脸在采集时间段内的至少两帧目标三维数据,该采集时间段的时长小于预设时长。
其中,该处理器11用于对数据采集装置10所采集的至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据,并根据该三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
可以理解的是,在本实施例中,该处理器11实际上可通过一个处理芯片实现,即该处理芯片可以执行上述处理器11的操作内容。
示例性的,在本申请的实施例中,上述至少一对数据采集组件102用于通过包括的光发射器和光接收器在预设的采集时间段内的相同时刻和/或不同时刻采集目标物的至少两帧目标三维数据。具体的,在实际应用中,根据数据采集装置10包括的数据采集组件102的具体对数,图3A所示实施例提供的人脸识别装置可以通过图3B和图3C实施例所示的结构示意图进行解释说明。
其中,图3B为图3A所示人脸识别装置的一种可能设计的结构示意图。图3C为图3A所示人脸识别装置的另一种可能设计的结构示意图。图3B和图3C的区别在于,图3B以数据采集装置10包括至一对数据采集组件102进行说明,图3C以数据采集装置10包括两对数据采集组件102进行说明。
具体的,在本申请实施例的第一种可能实现方案中,参照图3B所示,数据采集装置10包括一对数据采集组件102,该数据采集组件102用于通过包括的光发射器和每个光接收器在采集时间段内的至少两个时刻采集目标人脸的至少两帧三维三维数据。
在本申请实施例的第二种可能实现方案中,该数据采集装置10包括至少两对数据采集组件102,这时至少两对数据采集组件用于通过包括的光发射器和每个光接收器在采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。示例性的,在图3C所示的人脸识别装置中,数据采集装置10包括两对数据采集组件102,分别为第一对数据采集组件1021和第二对数据采集组件1022。
具体的,至少两对数据采集组件102可以通过包括的光发射器和每个光接收器在采集时间段内的相同时刻采集目标人脸的至少两帧三维人脸数据,也可以通过包括的光发射器和每个光接收器在采集时间段内的不同时刻采集目标人脸的至少两帧三维人脸数据,还可以通过包括的光发射器和每个光接收器在采集时间段内的相同时刻和不同时刻分别采集目标人脸的至少两帧三维人脸数据。
可选的,在该种可能实现方案中,在每对数据采集组件102中,光发射器用于在采集时间段内发射近红外光,光接收器用于在该采集时间段内的至少两个时刻采集目标人脸的至少两帧三维人脸数据。
在本申请的实施例中,由于消费级终端设备内的空间限制,数据采集装置10包括的至少两对数据采集组件在设备内的安装位置不会相距太远,因而,针对同一目标人脸的采集角度相差不大,上述至少两对采集组件在同一时刻针对同一目标人脸采集的至少两帧三维人脸数据的差异能够满足预设的误差阈值。由于每个采集时间段的时长小于预设时长,故上述至少两对采集组件在采集时间段的不同时刻针对同一目标人脸采集的至少两帧三维人脸数据的差异也能够满足预设的误差阈值。
本申请的上述实现方案均能够在预设的采集时间段内得到目标人脸的至少两帧三维人脸数据,因而能够进行数据融合,为后续得到质量较高的三维数据提供了实现可能。
在本申请的上述各可能设计中,数据采集装置10包括的至少一对数据采集组件102连接到控制组件101,这样,每对数据采集组件102可以在控制组件101的作用下在采集时间段内的相同时刻或不同时刻采集至少一帧三维人脸数据,因而,该数据采集装置10能够采集到目标人脸的至少两帧三维人脸数据。
可选的,在本实施例中,控制组件101可以同时启动所有的数据采集组件102,以使得每对数据采集组件在同一时刻采集目标人脸的三维人脸数据,这样虽然所有的数据采集组件102的采集角度不同,也能够保证所采集的目标人脸的姿态变化较小,为后续在融合过程中通过预设算法进行矫正提供了实现可能。
可选的,在本实施例中,控制组件101还可以控制不同的数据采集组件102在采集时间段的不同时刻启动,但不同时刻的时间间隔足够短,这样每对数据采集组件的采集角度不同且采集时刻不同,但均能够满足预设的误差阈值,可以在后续通过预设算法进行矫正,所以,在本实施例中,可以得到不同质量的三维人脸数据,为后续进行数据融合,得到高质量的三维人脸融合数据奠定了基础。
进一步的,在本实施例中,控制组件101还可以控制每对数据采集组件102在采集时间段内启动多次,但相邻两次启动的时间间隔足够短,这样每对数据采集组件可以在相同的采集角度采集多次三维人脸数据,从而能够得到不同质量的三维人脸数据,为后续进行数据融合,得到高质量的三维人脸融合数据奠定了基础。
可以理解的是,上述控制组件101可以通过本申请实施例的处理器11实现,也可以是数据采集装置10的组成部分,还可以是独立于处理器11和数据采集装置10存在的其他控制器,本申请实施例并不对控制组件的具体实现形式进行限定,其可以根据实际需要设定。
示例性的,在数据采集装置10采集到目标人脸的至少两帧三维人脸数据后,处理器11可以基于预设算法将上述至少两帧三维人脸数据融合成一帧三维人脸融合数据。由于上述至少两对数据采集组件102在设备内的安装位置不同,因而相对于目标人脸的视角不同,或者,每对数据采集组件基于不同的光波长和/或在不同时刻采集三维人脸数据,所以,基于上述至少两对数据采集组件102在同一时刻和/或不同时刻采集到的至少两帧三维人脸数据不同,使得融合后三维人脸数据的质量得到了显著的提高,进而使得具有该人脸识别装置的终端设备的三维人脸识别性能得到提升。
进一步的,由于人体皮肤和其他面具材质在不同近红外波长下的照片具有不同的特征,即,每对数据采集组件利用不同近红外波长针对真实人脸采集到的至少两帧三维人脸数据是不同的,但假的人脸模型或者人脸面具在不同近红外波长下的照片具有相同的特征,因而,本申请实施例提供的人脸识别装置对假的人脸模型或者人脸面具,具有一定的活体防伪功能,提高了人脸识别装置所在设备的人脸识别性能。
处理器11执行人脸识别的具体实现原理如下:首先在人脸识别装置100的处理器11中预先储存已知的三维人脸模板数据,然后通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,再通过预设的融合算法将至少两帧三维人脸数据融合成一帧三维人脸融合数据,最后通过预设的人脸识别算法,将融合得到的三维人脸融合数据和已存储的三维人脸模板数据进行对比,判断该目标人脸和已存储的三维人脸模板数据对应的目标人脸是否来自同一个人。
示例性的,在本实施例中,预设的人脸识别算法可以为如下识别算法中的任意一种:尺度不变特征变换(scale-invariant feature transform,SIFT)算法、向量场直方图(vector field histogram,VFH)算法、支持向量机(support vector machines,SVM)。
其中,SIFT算法主要是在融合后的三维人脸数据对应的人脸图像和已存储的三维人脸数据对应的图像中分别检测出三维人脸关键点,基于两个图像中的三维人脸关键点的位置、尺度、旋转不变量等属性,判断该目标人脸和已存储的三维人脸数据对应的目标人脸是否来自同一个人。
VFH算法是首先确定融合后的三维人脸数据对应的人脸点云特征和已存储的三维人脸数据对应的人脸点云特征,再根据不同三维人脸数据的人脸点云特征的聚类情况,判断该目标人脸和已存储的三维人脸模板数据对应的目标人脸是否来自同一个人。
SVM算法主要首先从融合后的三维人脸数据和已存储的三维人脸模板数据(比如用户注册的三维人脸模板)中提取出特征向量,再结合分类算法(例如,决策树、K最近邻分类算法),判断该目标人脸和已存储的三维人脸模板数据对应的目标人脸是否来自同一个人。
可以理解的是,本申请实施例并不限定人脸识别算法的具体实现,还可以结合其他的算法,例如,深度学习方法(如卷积神经网络)等。关于人脸识别过程中具体选择的人脸识别算法可以根据实际情况确定,此处不再赘述。
本申请实施例提供的人脸识别装置,通过数据采集装置包括的通过至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,再利用处理器对上述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据,进而根据该三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。该技术方案,通过将基于不同数据采集组件在相同时刻或不同时刻采集到的至少两帧三维人脸数据或同一数据采集组件在不同时刻采集到的至少两帧三维人脸数据融合成一帧质量较好的三维人脸数据,减小了单帧三维人脸数据的人脸深度误差,提高了三维人脸识别的效果。
示例性的,在本申请的一种可能设计方式中,处理器11还用于执行如下操作:
在对上述数据采集装置所采集至少两帧三维人脸数据进行数据融合之前,对至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
在根据三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,对上述三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据;
该第一预处理和第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
在数据的采集和传输过程中,由于环境干扰或人为因素有可能造成采集到的或传输的三维人脸数据出现毛刺、存在空洞或叠加噪声等,为了恢复数据的客观真实性以便得到准确的识别结果,首先需要对每对数据采集组件采集到的每帧三维人脸数据进行预处理,此处,称为第一预处理,在对获取到的至少两帧三维人脸数据融合之后,且执行人脸识别之前,还可以执行对得到的三维人脸融合数据进行预处理,此处,称为第二预处理。
可以理解的是,该第一预处理和第二预处理包括的操作可以相同,也可以不同,其可以根据实际情况确定。通常情况下,第一预处理和第二预处理可以包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
在实际应用的操作过程中,处理器11获取的数据都不可避免的叠加上“噪声”干扰(反映在曲线图形上为一些毛刺和尖峰),为了提高数据的质量,需要对数据进行毛刺数据处理和/或平滑滤波处理,以去除噪声的干扰。可选的,在本申请的实施例中,毛刺数据处理可以是三维人脸数据中的毛刺点去除,还可以是毛刺点的平滑处理等,此处不对毛刺数据处理的具体实现方式进行限定,其可以根据实际情况确定。
可选的,处理器还可以采用插值的方法填补三维人脸数据中出现的空洞,以提高数据的实用性。关于毛刺数据处理、填补空洞、平滑滤波等操作的具体实现原理可以根据具体应用场景选择,此处不再赘述。
示例性的,下面分别针对数据采集装置10包括的数据采集组件数量对上述至少两帧三维人脸数据的采集过程进行简单说明:
在本申请的一种可能设计中,数据采集装置10包括至少两对数据采集组件,这至少两对数据采集组件用于在采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,每个采集时间段的时长小于预设时长。
可选的,在该可能设计中,每对数据采集组件用于在每个采集时间段内的不同时刻采集所述目标人脸的至少两帧三维人脸数据。
示例性的,至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件。
其中,第一对数据采集组件用于使用第一光波长的近红外光采集目标人脸的至少一帧三维人脸数据,第二对数据采集组件用于使用第二光波长的近红外光采集所述目标人脸的至少一帧三维人脸数据,该第一光波长与第二光波长不同。
相应的,在本申请的实施例中,处理器11用于对至少两帧三维人脸数据进行数据融合,具体为:
处理器11,具体用于对第一对数据采集组件采集到的至少两帧三维人脸数据和第二对数据采集组件采集到的至少两帧三维人脸数据进行数据融合。
在本实施例中,当数据采集装置包括两对数据采集组件时,每对数据采集组件均可以在小于预设时长的采集时间段内采集两帧或者两帧以上的三维人脸数据时,处理器11可以获取上述两对数据采集组件分别采集到的至少两帧三维人脸数据,并利用预设的数据融合算法将所有的多帧三维人脸数据进行融合得到单帧质量更好的三维人脸数据,提高了用于三维人脸识别的三维人脸数据的质量,从而提高三维人脸识别的性能。
在本申请的另一种可能设计中,数据采集装置10包括一对数据采集组件,该数据采集组件用于在采集时间段内的不同时刻采集目标人脸的至少两帧三维人脸数据。
示例性的,每个采集时间段的时长等于1s。
关于上述各可能设计的具体实现可以参见上述数据采集装置实施例中的记载,此处不再赘述
示例性的,处理器11,具体用于采用迭代最近点算法对上述数据采集装置所采集的至少两帧三维人脸数据进行数据融合。
迭代最近点(iterative closest point,ICP)算法是一种点集(点云)对点集(点云)的配准方法,采用迭代优化的思想以空间距离作为匹配点的选择依据,通过不断调整点云的位姿使得匹配点之间距离累计最小。因而,在本实施例中,处理器11根据每帧三维人脸数据对应的点云,通过计算出最优的旋转矩阵和平移向量,将至少一帧三维人脸数据对应的点云进行变换,使得变换后的点云能够与指定的三维人脸数据的点云达到最精确的匹配,从而实现三维人脸数据的融合。
可以理解的是,本实施例中的数据融合算法可以是ICP算法,也可以是ICP的各种变种算法,还可以是其他的融合算法,本申请实施例并不对数据融合算法的具体形式进行限定,其可以根据实际需求进行确定。
示例性的,图4为本申请提供的一种实施方式的人脸识别方法中两帧三维人脸数据进行融合的示意图。如图4所示,假设上述数据采集组件的个数为2对,每对数据采集组件采集一帧三维人脸数据,例如,图(a)为第一对数据采集组件采集的第一帧三维人脸数据,图(b)为第二对数据采集组件采集的第二帧三维人脸数据,处理器采用预设的数据融合算法对第一帧三维人脸数据和第二帧三维人脸数据进行数据融合,可以得到融合得到的三维人脸融合数据,如图(c)所示。
根据图4所示的融合过程可知,通过将所有数据采集组件采集到的所有三维人脸数据进行融合,可以得到一帧更好质量的三维人脸数据,从而提高了用于人脸识别的三维人脸数据的质量,有效的提高了三维人脸的识别性能。
进一步的,本申请的实施例还提供一种终端设备,该终端设备可以包括:上述图3所示实施例的人脸识别装置。
通常情况下,该终端设备可以是带有摄像功能和处理功能的设备,通常是与三维人脸识别相关的消费级三维终端设备,例如,智能家居设备、支付设备、安防设备等需要人脸身份验证的场景和设备,智能家居设备可以是门锁、门禁设备等,支付设备可以包括:POS机、支付通等。本申请实施例并不对该终端设备的具体实现形式进行限定。
本申请实施例提供的终端设备,其具有较好的三维人脸识别性能,不需要用户主动配合,也能够实现人脸识别功能,用户体验好,实现简单,计算量小,兼具一定活体防伪功能。
进一步的,本申请的实施例还提供一种人脸识别方法,该人脸识别方法可以应用于包括人脸识别装置的终端设备,该人脸识别装置为上述图3所示的人脸识别装置。下述以该终端设备为执行主体简要介绍人脸识别的过程。
示例性的,图5为本申请实施例提供的人脸识别方法的流程示意图。如图5所示,该人脸识别方法可以包括如下步骤:
S501、通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。
其中,采集时间段的时长小于预设时长。
在本实施例中,参照上述图3A至图3C所示的实施例可知,终端设备的人脸识别装置可以包括数据采集装置和处理器,而且数据采集装置可以包括至少一对数据采集组件,因而,可以通过至少两对数据采集组件在预设的采集时间段内的相同时刻或不同时刻采集至少两帧三维人脸数据,或者,通过每对数据采集组件在预设的采集时间段内的不同时刻采集至少两帧三维人脸数据,因而,通过人脸识别装置包括的数据采集装置可以采集目标人脸的至少两帧三维人脸数据。
关于该步骤的具体实现方式可以参见上述图3A至图3C所示实施例中关于数据采集装置的记载,此处不再赘述。
S502、对上述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据。
在本实施例中,数据采集装置通过至少两对数据采集组件在较短的预设时长(例如,小于1s)内的相同时刻或不同时刻采集至少两帧三维人脸数据时,由于终端设备内的空间较小,不同数据采集组件的安装位置虽然不同,但可以满足预设的位置差异,所以,至少两对数据采集组件相对于目标人脸的视角不同,或者,每对数据采集组件基于不同的光波长和/或在不同时刻采集三维人脸数据;或者,利用每对数据采集组件在采集时间段内启动多次,但相邻两次启动的时间间隔足够短,这样每对数据采集组件可以在相同的采集角度采集多次三维人脸数据;上述方法均可以得到不同质量的三维人脸数据,进而提升了融合得到的三维人脸融合数据的质量。
由于人在较短的采集时间段内的姿态变化减小,因而,人脸识别装置包括的处理器获取到上述至少两帧三维人脸数据后,可以采用预设的数据融合算法对获取到的所有帧三维人脸数据进行融合,得到单帧的三维人脸融合数据。
S503、根据上述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
在本实施例中,上述三维人脸融合数据是由至少两帧三维人脸数据融合得到的,可以降低单帧三维人脸数据中存在的明显误差,提升了融合后得到的三维人脸融合数据的质量。
示例性的,终端设备可以利用预设的人脸识别方法,根据三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别,判断目标人脸和预先存储的三维人脸模板数据对应的目标人脸是否来自同一个人,得到识别结果。
本申请实施例提供的人脸识别方法,利用数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集至少两帧三维人脸数据,并对其进行数据融合,利用融合得到的三维人脸融合数据进行人脸识别,不使用价格昂贵的专用三维人脸数据采集组件,也可以采集到质量较好的三维人脸数据,提高了三维人脸识别的性能。
示例性的,在本申请的一种实施例中,在对至少两帧三维人脸数据进行数据融合之前,该方法可以包括如下步骤:
对至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
和/或
在根据三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,该方法可以包括如下步骤:
对三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据。
其中,第一预处理和/或第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
可选的,终端设备通过对融合前的三维人脸数据进行第一预处理,和/或,对融合得到的三维人脸融合数据进行第二预处理,可以降低由于环境干扰或人为因素造成的采集或传输的三维人脸数据出现毛刺、存在空洞或叠加噪声等问题,在一定程度上恢复了数据的客观真实性,提高了人脸识别结果的准确性。
在本申请的另一种实施例中,上述S501可以通过如下方式实现:
利用数据采集装置包括的至少两对数据采集组件在采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,每个采集时间段的时长小于预设时长。
示例性的,至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件;
这时,利用数据采集装置包括的至少两对数据采集组件在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,具体通过如下步骤实现:
控制第一对数据采集组件使用第一光波长的近红外光在所述采集时间段内的至少一个第一时刻采集所述目标人脸的至少一帧三维人脸数据;
控制第二对数据采集组件使用第二光波长的近红外光在所述采集时间段内的至少一个第二时刻采集所述目标人脸的至少一帧三维人脸数据;
其中,第一光波长与第二光波长不同,第一时刻和第二时刻相同或不同。
在本实施例中,利用两个光波长的近红外光分别采集目标人脸的三维人脸数据,可以改善单波长光源采集的人脸信息不充分,导致三维人脸数据质量较差的问题,而且由于人体皮肤和其他面具材质在不同近红外波长下的照片具有不同的特征,而假的人脸模型或者人脸面具在不同近红外波长下的照片具有相同的特征,因而,采用不同光波长的光采集三维人脸数据,还可以识别出假的人脸模型或者人脸面具,具有一定的活体防伪功能,提高了终端设备的人脸识别安全性。
示例性的,第一对数据采集组件使用第一光波长的近红外光在每个采集时间段内采集目标人脸的至少两帧三维人脸数据;第二对数据采集组件使用第二光波长的近红外光在每个采集时间段内采集目标人脸的至少两帧三维人脸数据,每个采集时间段的时长小于预设时长。
在本申请的实施例中,基于不同光波长的近红外光在小于预设时长的采集时间段内分别采集两帧或两帧以上的三维人脸数据,使得参与人脸数据融合的帧数增多,进一步提高了融合后三维人脸数据的质量。
在本申请的再一种实施例中,上述S501可以通过如下方式实现:
利用数据采集装置包括的一对数据采集组件在采集时间段内的不同时刻采集目标人脸的至少两帧三维人脸数据。
本申请实施例提供的人脸识别方法,应用于包括人脸识别装置的终端设备中,关于本实施例中未详尽的内容可以参见上述图1至图3所示装置中的介绍,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行上述图5所示实施例的人脸识别方法。
本申请实施例还提供一种程序,当该程序被处理器执行时,用于执行上述图5所示实施例的人脸识别方法。
本申请实施例还提供一种计算机程序产品,包括程序指令,程序指令用于实现上述图5所示实施例的人脸识别方法。
本申请实施例还提供了一种芯片,包括:处理模块与通信接口,该处理模块能执行上述图5所示实施例的人脸识别方法。
进一步地,该芯片还包括存储模块(如,存储器),存储模块用于存储指令,处理模块用于执行存储模块存储的指令,并且对存储模块中存储的指令的执行使得处理模块执行上述图5所示实施例的人脸识别方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,多个组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (23)

1.一种数据采集装置,其特征在于,包括:第一对数据采集组件和第二对数据采集组件,每对数据采集组件包括:光发射器和光接收器,每个光发射器和每个光接收器均连接到控制组件,所述控制组件用于通过发射控制信号来控制每对数据采集组件的光发射器、光接收器同步工作;
所述第一对数据采集组件用于在第一时刻采集目标物的一帧目标三维数据,所述第二对数据采集组件用于在第二时刻采集所述目标物的一帧目标三维数据,以使得所述数据采集装置获得所述目标物在所述第一时刻和所述第二时刻的两帧目标三维数据,所述两帧目标三维数据用于融合以得到一帧融合数据,所述第一时刻和所述第二时刻的时间差小于预设差值。
2.根据权利要求1所述的装置,其特征在于,在每对数据采集组件中,所述光发射器用于在发射近红外光,所述光接收器用于接收经过所述目标物反射的近红外光,输出目标三维数据。
3.根据权利要求1或2所述的装置,其特征在于,所述第一对数据采集组件用于使用第一光波长的近红外光在所述第一时刻采集所述目标物的一帧目标三维数据,所述第二对数据采集组件用于使用第二光波长的近红外光在所述第二时刻采集所述目标物的一帧目标三维数据,所述第一光波长与所述第二光波长不同。
4.根据权利要求1-3任一项所述的装置,其特征在于,每对数据采集组件还包括:设置在光接收器表面的滤光组件,所述表面是用于接收近红外光的表面。
5.根据权利要求1-4任一项所述的装置,其特征在于,所述装置还包括:用于固定所述第一对数据采集组件和所述第二对数据采集组件的底座。
6.根据权利要求1-5任一项所述的装置,其特征在于,所述控制组件包含在所述数据采集装置中。
7.根据权利要求1-6任一项所述的装置,其特征在于,所述目标物为人脸,所述目标三维数据为三维人脸数据。
8.一种人脸识别装置,其特征在于,包括:相互连接的数据采集装置和处理器,所述数据采集装置包括至少一对数据采集组件,所述至少一对数据采集组件用于在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,以使得所述数据采集装置获得所述目标人脸在所述采集时间段内的至少两帧目标三维数据,所述采集时间段的时长小于预设时长;
所述处理器用于对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据,并根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
9.根据权利要求8所述的装置,其特征在于,所述数据采集装置包括至少两对数据采集组件,所述至少两对数据采集组件用于在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。
10.根据权利要求9所述的装置,其特征在于,每对数据采集组件,用于在所述采集时间段内的至少两个时刻采集所述目标人脸的至少两帧三维人脸数据。
11.根据权利要求9或10所述的装置,其特征在于,所述至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件;
所述第一对数据采集组件用于使用第一光波长的近红外光采集所述目标人脸的至少一帧三维人脸数据,所述第二对数据采集组件用于使用第二光波长的近红外光采集所述目标人脸的至少一帧三维人脸数据,所述第一光波长与所述第二光波长不同。
12.根据权利要求11所述的装置,其特征在于,所述处理器用于对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合,具体为:
所述处理器,具体用于对所述第一对数据采集组件采集到的至少两帧三维人脸数据和所述第二对数据采集组件采集到的至少两帧三维人脸数据进行数据融合。
13.根据权利要求8所述的装置,其特征在于,所述数据采集装置包括一对数据采集组件,所述数据采集组件用于在所述采集时间段内的至少两个时刻采集所述目标人脸的至少两帧三维人脸数据。
14.根据权利要求8-13任一项所述的装置,其特征在于,所述处理器还用于执行:
在对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合之前,对所述至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
在根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,对所述三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据;
所述第一预处理和所述第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
15.根据权利要求8-14任一项所述的装置,其特征在于,所述处理器,具体用于采用迭代最近点算法对所述数据采集装置所采集的所述至少两帧三维人脸数据进行数据融合。
16.一种终端设备,其特征在于,包括:权利要求8-15任一项所述的人脸识别装置。
17.一种人脸识别方法,其特征在于,应用于权利要求16所示的终端设备,所述方法包括:
通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,所述采集时间段的时长小于预设时长;
对所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据;
根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别。
18.根据权利要求17所述的方法,其特征在于,所述通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
利用所述数据采集装置包括的至少两对数据采集组件在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据。
19.根据权利要求18所述的方法,其特征在于,所述至少两对数据采集组件包括第一对数据采集组件和第二对数据采集组件;
所述利用所述数据采集装置包括的至少两对数据采集组件在所述采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
控制所述第一对数据采集组件使用第一光波长的近红外光在所述采集时间段内的至少一个第一时刻采集所述目标人脸的至少一帧三维人脸数据;
控制所述第二对数据采集组件使用第二光波长的近红外光在所述采集时间段内的至少一个第二时刻采集所述目标人脸的至少一帧三维人脸数据;
其中,所述第一光波长与所述第二光波长不同,所述第一时刻和所述第二时刻相同或不同。
20.根据权利要求18所述的方法,其特征在于,所述通过数据采集装置包括的至少一对数据采集组件在预设的采集时间段内的相同时刻和/或不同时刻采集目标人脸的至少两帧三维人脸数据,包括:
利用所述数据采集装置包括的一对数据采集组件在所述采集时间段内的不同时刻采集目标人脸的至少两帧三维人脸数据。
21.根据权利要求17-20任一项所述的方法,其特征在于,在所述对所述至少两帧三维人脸数据进行数据融合之前,所述方法还包括:
对所述至少两帧三维人脸数据中的每帧三维人脸数据进行第一预处理,得到处理后的至少两帧三维人脸数据;
和/或
在所述根据所述三维人脸融合数据和预先存储的三维人脸模板数据进行人脸识别之前,所述方法还包括:
对所述三维人脸融合数据进行第二预处理,得到处理后的三维人脸融合数据;
其中,所述第一预处理和/或所述第二预处理包括如下操作中的任意一种或多种的组合:毛刺数据处理、填补空洞、平滑滤波。
22.根据权利要求17-21任一项所述的方法,其特征在于,所述对所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据,包括:
采用迭代最近点算法对所述至少两帧三维人脸数据进行数据融合,得到一帧三维人脸融合数据。
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求17-22任一项所述的方法。
CN202080001586.7A 2020-03-25 2020-03-25 数据采集装置、人脸识别装置、设备、方法及存储介质 Pending CN111837133A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/081146 WO2021189303A1 (zh) 2020-03-25 2020-03-25 数据采集装置、人脸识别装置、设备、方法及存储介质

Publications (1)

Publication Number Publication Date
CN111837133A true CN111837133A (zh) 2020-10-27

Family

ID=72918757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080001586.7A Pending CN111837133A (zh) 2020-03-25 2020-03-25 数据采集装置、人脸识别装置、设备、方法及存储介质

Country Status (2)

Country Link
CN (1) CN111837133A (zh)
WO (1) WO2021189303A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN110199296A (zh) * 2019-04-25 2019-09-03 深圳市汇顶科技股份有限公司 人脸识别方法、处理芯片以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110268419A (zh) * 2019-05-08 2019-09-20 深圳市汇顶科技股份有限公司 一种人脸识别方法、人脸识别装置和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN110199296A (zh) * 2019-04-25 2019-09-03 深圳市汇顶科技股份有限公司 人脸识别方法、处理芯片以及电子设备

Also Published As

Publication number Publication date
WO2021189303A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
US11830141B2 (en) Systems and methods for 3D facial modeling
CN106255978B (zh) 面部表情跟踪
Li et al. Using kinect for face recognition under varying poses, expressions, illumination and disguise
CN103383723B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN106127172B (zh) 一种非接触3d指纹采集的装置及方法
CN107479801B (zh) 基于用户表情的终端显示方法、装置及终端
CN112232109B (zh) 一种活体人脸检测方法及系统
US20050111705A1 (en) Passive stereo sensing for 3D facial shape biometrics
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
WO2020243968A1 (zh) 人脸识别的装置、方法和电子设备
CN110383289A (zh) 人脸识别的装置、方法和电子设备
CN109800699A (zh) 图像识别方法、系统及装置
US20210217145A1 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
CN109977929A (zh) 一种基于tof的人脸识别系统和方法
Ratyal et al. Pose and expression invariant alignment based multi-view 3D face recognition
CN210166794U (zh) 人脸识别的装置和电子设备
CN110555348A (zh) 一种指纹识别方法、设备及计算机可读存储介质
CN111837133A (zh) 数据采集装置、人脸识别装置、设备、方法及存储介质
CN109389632A (zh) 深度计算系统与方法
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN106446977B (zh) 物料标识码的扫描方法、装置及系统
Sagawa et al. Learning-based feature extraction for active 3d scan with reducing color crosstalk of multiple pattern projections
US20180047206A1 (en) Virtual mapping of fingerprints from 3d to 2d
Verlekar et al. Gait recognition using normalized shadows
US11688086B2 (en) Three-dimensional modeling using hemispherical or spherical visible light-depth images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination