CN108875544A - 人脸识别方法、装置、系统和存储介质 - Google Patents

人脸识别方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN108875544A
CN108875544A CN201810322256.2A CN201810322256A CN108875544A CN 108875544 A CN108875544 A CN 108875544A CN 201810322256 A CN201810322256 A CN 201810322256A CN 108875544 A CN108875544 A CN 108875544A
Authority
CN
China
Prior art keywords
image
frequency domain
face
face identification
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810322256.2A
Other languages
English (en)
Other versions
CN108875544B (zh
Inventor
赵致辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810322256.2A priority Critical patent/CN108875544B/zh
Publication of CN108875544A publication Critical patent/CN108875544A/zh
Application granted granted Critical
Publication of CN108875544B publication Critical patent/CN108875544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种人脸识别方法、装置、系统和存储介质,所述人脸识别方法包括:获取初始人脸图像;将所述初始人脸图像变换为频域图像;对所述频域图像进行修正,并输出修正后的频域图像;将所述修正后的频域图像进行反变换,输出待识别人脸图像;对所述待识别人脸图像进行人脸识别。根据本发明实施例的人脸识别方法、装置、系统和存储介质可以自动地去除噪声干扰对人脸识别所产生的不利影响,提升对于具有噪声干扰的人脸图像的识别性能。

Description

人脸识别方法、装置、系统和存储介质
技术领域
本发明涉及图像识别技术领域,更具体地涉及一种人脸识别方法、装置、系统和存储介质。
背景技术
基于人脸识别的应用越来越多地出现在人们的生活中。人脸识别的基本流程就是首先进行人脸图像的采集,然后基于识别算法在人脸数据库中进行相似度计算,从而获得一个识别的结果。
在需要夜间识别时,普通的可见光图像无法成像,需要红外摄像头来进行成像。红外摄像头往往带有结构光的光源补光以获取三维信息,这部分补光对于活体等身份认证是很有帮助的,然而由于结构光会在图像中产生光斑,这些光斑会对人脸识别产生干扰。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
为了解决上述以少一个问题而提出了本发明。根据本发明一方面,提供了一种人脸识别方法,所述人脸识别方法包括:
获取初始人脸图像;
将所述初始人脸图像变换为频域图像;
对所述频域图像进行修正,并输出修正后的频域图像;
将所述修正后的频域图像进行反变换,输出待识别人脸图像;
对所述待识别人脸图像进行人脸识别。
在本发明的一个实施例中,所述对所述频域图像进行修正,并输出修正后的频域图像,包括:利用训练好的频域抑制网络对所述频域图像进行处理,输出修正后的频域图像。
在本发明的一个实施例中,所述初始人脸图像为具有结构光光斑的图像。
在本发明的一个实施例中,所述具有结构光光斑的人脸图像为红外结构光照射下的人脸图像。
在本发明的一个实施例中,所述对所述频域图像进行修正,包括:利用训练好的频域抑制网络去除所述频域图像中由结构光光斑形成的频谱。
在本发明的一个实施例中,所述频域抑制网络包括至少一个卷积层,训练所述频域抑制网络的方法包括:通过对所述频域抑制网络进行端到端的训练,使不包括结构光光斑的图像的频谱和所述频率抑制网络所输出的所述修正后的频域图像的频谱之间的欧氏距离收敛。
在本发明的一个实施例中,所述频域抑制网络的损失函数与进行所述人脸识别的神经网络的损失函数是一起训练的。
在本发明的一个实施例中,所述频域抑制网络对所述频域图像中每个频率的分量进行调整,以去除所述频域图像中由结构光光斑形成的频谱。
在本发明的一个实施例中,通过快速傅里叶变换将所述人脸图像变换为所述频域图像,通过快速傅里叶逆变换将所述修正后的频域图像反变换为所述待识别的人脸图像。
根据本发明另一方面,提供了一种人脸识别装置,所述人脸识别装置包括:
获取模块,用于获取初始人脸图像;
频域抑制模块,用于将所述初始人脸图像变换为频域图像,对所述频域图像进行修正,并输出修正后的频域图像,以及将所述修正后的频域图像进行反变换,输出待识别人脸图像;
人脸识别模块,用于对所述待识别人脸图像进行人脸识别。
根据本发明又一方面,提供了一种人脸识别系统,所述人脸识别系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的人脸识别方法。
根据本发明再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的人脸识别方法。
根据本发明实施例的人脸识别方法、装置、系统和存储介质可以自动地去除噪声干扰对人脸识别所产生的不利影响,提升对于具有噪声干扰的人脸图像的识别性能。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的人脸识别方法、装置、系统和存储介质的示例电子设备的示意性框图;
图2示出根据本发明实施例的人脸识别方法的示意性流程图;
图3示出根据本发明另一实施例的人脸识别方法的示意性流程图;
图4示出根据本发明实施例的人脸识别装置的示意性框图;以及
图5示出根据本发明实施例的人脸识别系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的人脸识别方法、装置、系统和存储介质的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以采集用户期望的图像(例如照片、视频等),并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头。应当理解,图像采集装置110仅是示例,电子设备100可以不包括图像采集装置110。在这种情况下,可以利用具有图像采集能力的部件采集待处理图像,并将采集的待处理图像发送给电子设备100。
示例性地,用于实现根据本发明实施例的人脸识别方法和装置的示例电子设备可以被实现诸如智能手机、平板电脑等等移动终端。
当注意,图1所示的电子设备10的组件和结构只是示例性的,尽管图1示出的电子设备10包括多个不同的装置,但是根据需要,其中的一些装置可以不是必须的,其中的一些装置的数量可以更多等等,本发明对此不限定。
在使用结构光方法进行三维扫描时,可以构建物体的三维图像。以三维重建人脸为例,可以使用结构光方法构建人脸的三维图像。其中,可以由投影仪发出结构光,并由图像采集装置采集在结构光照射下的人脸的二维图像,然后由处理器等基于该二维图像合成人脸的三维图像。
投影仪可以是具有投影功能的装置,也可以为集成在其他装置中的具有投影功能的组件,示例性地,投影仪可以是数字光处理(Digital Light Processing,DLP)投影仪。
投影仪开启之后,图像采集装置可以采集带有结构光图案的图像(即,二维图像)。示例性地,图像采集装置可以是照相机或摄像机等。在图像采集装置采集到带有结构光图案的图像后,可以在这些图像的基础上构建脸部的三维图像。
下面,将参考图2描述根据本发明实施例的人脸识别方法200。如图2所示,人脸识别方法200可以包括如下步骤:
在步骤S210,获取初始人脸图像;
在步骤S220,将所述初始人脸图像变换为频域图像;
在步骤S230,对所述频域图像进行修正,并输出修正后的频域图像;
在步骤S240,将所述修正后的频域图像进行反变换,输出待识别人脸图像;
在步骤S250,对所述待识别人脸图像进行人脸识别。
其中,所述初始人脸图像为具有噪声干扰的人脸图像。在下文中,以所述初始人脸图像为具有结构光光斑的人脸图像为例进行描述,然而,应了解,在其他实施例中,所述初始人脸图像也可以为具有其他噪声干扰的人脸图像,例如,所述人脸图像上可以具有低频干扰、高频干扰、图像噪声、图像模糊等噪声干扰。根据本发明实施例的人脸识别方法在人脸识别时可以自动地去除噪声干扰对人脸识别所产生的不利影响,提升对于具有噪声干扰的人脸图像的识别性能。
下面,将参考图3描述根据本发明一实施例的、用于对具有结构光光斑的人脸图像进行人脸识别的人脸识别方法300。如图3所示,人脸识别方法300可以包括如下步骤:
在步骤S310,获取具有结构光光斑的人脸图像。
在一个实施例中,所述具有结构光光斑的人脸图像为包含结构光光斑的红外图像,结构光用于补光以获取人脸的三维信息。在结构光下,结构光光斑信息覆盖在人脸原始图像上,大大弱化了人脸上一些关键区域的特征,因此,需要消除这些结构光光斑产生的影响。
为了获取到目标对象的特征信息,首先确定待获取的目标图像所处的目标区域,对目标区域投射结构光图案。其中,该结构光图案为分散的光斑图案,光斑的间隔或者粒度具有一定的规律性。该结构光可以为可见光或红外光,或二者的结合。
该结构光的光斑图案可通过多种方式来投射。示例性地,可通过衍射光学元件进行投射的方式形成光斑图案,具体地,由单个激光光源准直后通过单个或多个衍射光学元件,在目标区域内形成分散的光斑图案。还可以直接由不规则分布的激光阵列通过衍射光学元件在目标区域中形成与激光阵列一致的分散光斑图案。
在向目标对象投射结构光图案后,进一步通过图像采集装置获取该目标区域内的对象的结构光红外图像。其中,该结构光红外图像中包含目标对象的二维信息以及结构光信息。本实施例中,图像采集装置采集到的人脸图像可以为一个,也可以为多个。
示例性地,图像采集装置可以为图1中所示的图像传感器110;示例性地,图像采集装置为红外相机。
示例性地,可以通过运行人脸识别器,从而检测到所获得的图像中的人脸区域。例如,人脸识别器可以为预先训练好的卷积神经网络(Convolutional Neural Network,CNN)人脸识别器。
在步骤S320,将所述具有结构光光斑的人脸图像变换为频域图像。
具体地,通过傅里叶变换将人脸图像从空间域(空域)变换到频率域(频域),其物理意义是将图像的灰度分布函数变换为图像的频率分布函数。由于空域中人脸图像上分布有结构光光斑,变换到频域图像以后,其频域图像也与一般图像的频域不同:具有结构光光斑的人脸图像的频域图像水平方向的直流分量更弱,但在竖直方向上出现了多出来的线条,这其实是结构光光斑的频域表现。
在本发明的实施例中,采用快速傅里叶变换图像将所述人脸图像变换为频域图像。图像在计算机中的存储是三维的数组,分别为通道、高度、宽度;其中RGB格式的图像具有单个通道,分别对应的是Red、Green、Blue,针对每个通道都进行快速傅里叶变换,即FFT变换。其中所述FFT变换是本领域公知的技术,在此不再赘述。
在步骤S330,对所述频域图像进行修正,以去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像。
在本发明的实施例中,通过训练好的频域抑制网络来对所述频域图像进行修正,以去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像。该频率抑制网络会进行像素级的操作,对频域中每个频率的分量进行调整,之后再变换回到空域进行人脸识别,在这个过程中不需要额外的监督去使得频率抑制网络去除频域图像中由结构光光斑形成的频谱。
该频率抑制网络包括一个以上的卷积层,其输入和输出大小相等,输入为有结构光的图像的频谱,而输出为修正后的图像的频谱。在训练时,通过端到端地训练该频域抑制网络的损失函数(loss function),使不包括结构光光斑的图像的频谱和该频率抑制网络所输出修正后的频域图像的频谱之间的欧氏距离收敛。在本发明的实施例中,在训练时,该频率抑制网络的损失函数与后续进行人脸识别的神经网络的损失函数一起训练。通过端到端的训练,频域抑制网络可以自然地去除干扰人脸识别的结构光光斑信息。
在步骤S340,将所述修正后的频域图像进行反变换,并输出待识别人脸图像。
具体地,对所述修正后的频域图像进行傅里叶逆变换,将图像从频域反变换回空域,以得到待识别人脸图像,所述待识别人脸图像即不包括结构光光斑的人脸图像。在本发明实施例中,对所述频域图像执行IFFT变换以完成该变换,其中IFFT为数字信号处理中的快速傅里叶逆变换,在此不再赘述。
在步骤S350,对所述待识别人脸图像进行人脸识别。
由于已在频域上去除了结构光光斑信息,变换回空域以后,结构光下的人脸识别可以得到和正常光线下的人脸识别相当的性能。具体地,通过训练好的深度学习神经网络进行人脸识别。神经网络对待识别的人脸图像与底库中的人脸图像提取特征向量,并计算所得的特征向量的相似度,如果相似度大于某个阈值,则认为属于同一个人,否则则认为不属于同一个人。底库人脸的特征向量可以是预先存储的。例如,在构建底库时,在存储介质(如图1所示的存储装置104)中存储底库人脸的特征向量。
在本发明的实施例中,在训练神经网络时,上述频域抑制网络的损失函数与进行人脸识别的神经网络的损失函数一起训练。
在本发明的实施例中,步骤S350所述的人脸识别可以采用已知的人脸识别的方法。然而,应了解,本发明不受人脸识别的方法的限制,无论是现有的人脸识别的方法还是将来开发的人脸识别的方法,都可以应用于根据本发明实施例的人脸识别方法300中,并且也应包括在本发明的保护范围内。
基于上面的描述,根据本发明实施例的人脸识别方法在人脸识别时可以自动地去除结构光光斑对人脸识别所产生的不利影响,提升对于具有结构光光斑的人脸图像的识别性能。
以上示例性地描述了根据本发明实施例的人脸识别方法。示例性地,根据本发明实施例的人脸识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外,根据本发明实施例的人脸识别方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地,根据本发明实施例的人脸识别方法还可以部署在服务器端(或云端)。替代地,根据本发明实施例的人脸识别方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图4描述本发明另一方面提供的人脸识别装置。图4示出了根据本发明实施例的人脸识别装置400的示意性框图。
如图4所示,根据本发明实施例的人脸识别装置400包括获取模块410、频域抑制模块420和人脸识别模块430。所述各个模块可分别执行上文中结合图2描述的人脸识别方法的各个步骤/功能。以下仅对人脸识别装置400的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
获取模块410用于获取初始人脸图像;频域抑制模块420用于将所述初始人脸图像变换为频域图像,对所述频域图像进行修正,并输出修正后的频域图像,以及将所述修正后的频域图像进行反变换,输出待识别人脸图像;人脸识别模块430用于对所述待识别人脸图像进行人脸识别。获取模块410、频域抑制模块420和人脸识别模块430均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
获取模块410用于获取初始人脸图像。
在一个实施例中,所述初始人脸图像为具有结构光光斑的人脸图像。作为示例,所述具有结构光光斑的人脸图像为包含结构光光斑的红外图像,结构光用于补光以获取人脸的三维信息。在结构光下,结构光光斑信息覆盖在人脸原始图像上,大大弱化了人脸上一些关键区域的特征,因此,需要消除这些结构光光斑产生的影响。
为了获取到目标对象的特征信息,首先确定待获取的目标图像所处的目标区域,对目标区域投射结构光图案。其中,该结构光图案为分散的光斑图案,光斑的间隔或者粒度具有一定的规律性。该结构光可以为可见光或红外光,或二者的结合。
该结构光的光斑图案可通过多种方式来投射。示例性地,可通过衍射光学元件进行投射的方式形成光斑图案,具体地,由单个激光光源准直后通过单个或多个衍射光学元件,在目标区域内形成分散的光斑图案。还可以直接由不规则分布的激光阵列通过衍射光学元件在目标区域中形成与激光阵列一致的分散光斑图案。
在向目标对象投射结构光图案后,进一步通过图像采集装置获取该目标区域内的对象的结构光红外图像。其中,该结构光红外图像中包含目标对象的二维信息以及结构光信息。本实施例中,图像采集装置采集到的人脸图像可以为一个,也可以为多个。
示例性地,图像采集装置可以为图1中所示的图像传感器110;示例性地,图像采集装置为红外相机。
示例性地,可以通过运行人脸识别器,从而检测到所获得的图像中的人脸区域。例如,人脸识别器可以为预先训练好的卷积神经网络(Convolutional Neural Network,CNN)人脸识别器。
频域抑制模块420用于将所述初始人脸图像变换为频域图像,对所述频域图像进行修正,并输出修正后的频域图像,以及将所述修正后的频域图像进行反变换,输出待识别人脸图像。
当所述初始人脸图像为具有结构光光斑的人脸图像时,频域抑制模块420用于将所述初始人脸图像变换为频域图像,去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像,以及将所述修正后的频域图像反变换为待识别人脸图像。
具体地,频域抑制模块420通过傅里叶变换将人脸图像从空间域(空域)变换到频率域(频域),其物理意义是将图像的灰度分布函数变换为图像的频率分布函数。由于空域中人脸图像上分布有结构光光斑,变换到频域图像以后,其频域图像也与一般图像的频域不同:具有结构光光斑的人脸图像的频域图像水平方向的直流分量更弱,但在竖直方向上出现了多出来的线条,这其实是结构光光斑的频域表现。
在本发明的实施例中,频域抑制模块420采用快速傅里叶变换图像将所述人脸图像变换为频域图像。图像在计算机中的存储是三维的数组,分别为通道、高度、宽度;其中RGB格式的图像具有单个通道,分别对应的是Red、Green、Blue,针对每个通道都进行快速傅里叶变换,即FFT变换。其中所述FFT变换是本领域公知的技术,在此不再赘述。
在本发明的实施例中,频域抑制模块420通过训练好的频域抑制网络来去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像。该频率抑制网络会进行像素级的操作,对频域中每个频率的分量进行调整,之后再变换回到空域进行人脸识别,在这个过程中不需要额外的监督去使得频率抑制网络去除频域图像中由结构光光斑形成的频谱。
该频率抑制网络包括至少一个卷积层,其输入和输出大小相等,输入为有结构光的图像的频谱,而输出为修正后的图像的频谱。在训练时,通过端到端地训练该频域抑制网络的损失函数(loss function),使不包括结构光光斑的图像的频谱和该频率抑制网络所输出的修正后的频域图像的频谱之间的欧氏距离收敛。在本发明的实施例中,在训练时,该频率抑制网络的损失函数与后续进行人脸识别的神经网络的损失函数一起训练。通过端到端的训练,频域抑制网络可以自然地去除干扰人脸识别的结构光光斑信息。
在去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像之后,频域抑制模块420将所述修正后的频域图像反变换为待识别人脸图像。
具体地,对所述修正后的频域图像进行傅里叶逆变换,将图像从频域反变换回空域,以得到待识别人脸图像,所述待识别人脸图像即不包括结构光光斑的人脸图像。在本发明实施例中,频域抑制模块420对所述频域图像执行IFFT变换以完成该反变换,其中IFFT为数字信号处理中的快速傅里叶逆变换,在此不再赘述。
人脸识别模块430用于对所述待识别人脸图像进行人脸识别。
由于已在频域上去除了结构光光斑信息,反变换回空域以后,结构光下的人脸识别可以得到和正常光线下的人脸识别相当的性能。具体地,人脸识别模块430通过训练好的深度学习神经网络进行人脸识别。神经网络对待识别的人脸图像与底库中的人脸图像提取特征向量,并计算所得的特征向量的相似度,如果相似度大于某个阈值,则认为属于同一个人,否则则认为不属于同一个人。底库人脸的特征向量可以是预先存储的。例如,在构建底库时,在存储介质(如图1所示的存储装置104)中存储底库人脸的特征向量。
在本发明的实施例中,在训练神经网络时,上述频域抑制网络的损失函数与进行人脸识别的神经网络的损失函数一起训练。
在本发明的实施例中,所述的人脸识别可以采用已知的人脸识别的方法。然而,应了解,本发明不受人脸识别的方法的限制,无论是现有的人脸识别的方法还是将来开发的人脸识别的方法,都可以应用于根据本发明实施例的人脸识别装置中,并且也应包括在本发明的保护范围内。
基于上面的描述,根据本发明实施例的人脸识别装置可以自动地去除噪声干扰对人脸识别所产生的不利影响,提升对于具有噪声干扰的人脸图像的识别性能。
图5示出了根据本发明实施例的人脸识别系统500的示意性框图。人脸识别系统500包括存储装置510以及处理器520。
其中,存储装置510存储用于实现根据本发明实施例的人脸识别方法中的相应步骤的程序代码。处理器520用于运行存储装置510中存储的程序代码,以执行根据本发明实施例的人脸识别方法的相应步骤,并且用于实现根据本发明实施例的人脸识别装置中的相应模块。此外,人脸识别系统500还可以包括图像采集装置(未在图5中示出),其可以用于采集待处理图像。当然,图像采集装置不是必需的,可直接接收来自其他源的待处理图像的输入。
在一个实施例中,在所述程序代码被处理器520运行时使得人脸识别系统500执行以下步骤:获取初始人脸图像;将所述初始人脸图像变换为频域图像;对所述频域图像进行修正,并输出修正后的频域图像;将所述修正后的频域图像进行反变换,输出待识别人脸图像;对所述待识别人脸图像进行人脸识别。
在一个实施例中,所述对所述频域图像进行修正,并输出修正后的频域图像,包括:利用训练好的频域抑制网络对所述频域图像进行处理,输出修正后的频域图像。
在一个实施例中,所述初始人脸图像为具有结构光光斑的图像。
在一个实施例中,所述具有结构光光斑的人脸图像为红外结构光照射下的人脸图像。
在一个实施例中,所述对所述频域图像进行修正,包括:利用训练好的频域抑制网络去除所述频域图像中由结构光光斑形成的频谱。
在一个实施例中,所述频域抑制网络包括至少一个卷积层,训练所述频域抑制网络的方法包括:通过对所述频域抑制网络进行端到端的训练,使不包括结构光光斑的图像的频谱和所述频率抑制网络所输出的所述修正后的频域图像的频谱之间的欧氏距离收敛。
在一个实施例中,所述频域抑制网络的损失函数与进行所述人脸识别的神经网络的损失函数是一起训练的。
在一个实施例中,所述频域抑制网络对所述频域图像中每个频率的分量进行调整,以去除所述频域图像中由结构光光斑形成的频谱。
在一个实施例中,通过快速傅里叶变换将所述人脸图像变换为频域图像,通过快速傅里叶逆变换将所述修正后的频域图像反变换为所述待识别人脸图像。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸识别方法的相应步骤,并且用于实现根据本发明实施例的人脸识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合,例如一个计算机可读存储介质包含获取待处理图像的计算机可读的程序代码,另一个计算机可读存储介质包含利用训练好的频率抑制网络去除所述频域图像中由结构光光斑形成的频谱,并输出修正后的频域图像的计算机可读的程序代码,另一个计算机可读存储介质包含利用训练好的神经网络对待识别人脸图像进行人脸识别的计算机可读的程序代码。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸识别装置的各个功能模块,并且/或者可以执行根据本发明实施例的人脸识别方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取初始人脸图像;将所述初始人脸图像变换为频域图像;对所述频域图像进行修正,并输出修正后的频域图像;将所述修正后的频域图像进行反变换,输出待识别人脸图像;对所述待识别人脸图像进行人脸识别。
在一个实施例中,所述对所述频域图像进行修正,并输出修正后的频域图像,包括:利用训练好的频域抑制网络对所述频域图像进行处理,输出修正后的频域图像。
在一个实施例中,所述初始人脸图像为具有结构光光斑的图像。
在一个实施例中,所述具有结构光光斑的人脸图像为红外结构光照射下的人脸图像。
在一个实施例中,所述对所述频域图像进行修正,包括:利用训练好的频域抑制网络去除所述频域图像中由结构光光斑形成的频谱。
在一个实施例中,所述频域抑制网络包括至少一个卷积层,训练所述频域抑制网络的方法包括:通过对所述频域抑制网络进行端到端的训练,使不包括结构光光斑的图像的频谱和所述频率抑制网络所输出的所述修正后的频域图像的频谱之间的欧氏距离收敛。
在一个实施例中,所述频域抑制网络的损失函数与进行所述人脸识别的神经网络的损失函数是一起训练的。
在一个实施例中,所述频域抑制网络对所述频域图像中每个频率的分量进行调整,以去除所述频域图像中由结构光光斑形成的频谱。
在一个实施例中,通过快速傅里叶变换将所述人脸图像变换为所述频域图像,通过快速傅里叶逆变换将所述修正后的频域图像反变换为所述待识别人脸图像。
根据本发明实施例的人脸识别装置中的各模块可以通过根据本发明实施例的人脸识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的人脸识别方法、装置、系统以及存储介质可以自动地去除噪声干扰对人脸识别所产生的不利影响,提升对于具有噪声干扰的人脸图像的识别性能。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种人脸识别方法,其特征在于,所述人脸识别方法包括:
获取初始人脸图像;
将所述初始人脸图像变换为频域图像;
对所述频域图像进行修正,并输出修正后的频域图像;
将所述修正后的频域图像进行反变换,输出待识别人脸图像;
对所述待识别人脸图像进行人脸识别。
2.根据权利要求1所述的人脸识别方法,其特征在于,所述对所述频域图像进行修正,并输出修正后的频域图像,包括:利用训练好的频域抑制网络对所述频域图像进行处理,输出修正后的频域图像。
3.根据权利要求1所述的人脸识别方法,其特征在于,所述初始人脸图像为具有结构光光斑的图像。
4.根据权利要求3所述的人脸识别方法,其特征在于,所述具有结构光光斑的人脸图像为红外结构光照射下的人脸图像。
5.根据权利要求3所述的人脸识别方法,其特征在于,所述对所述频域图像进行修正,包括:利用训练好的频域抑制网络去除所述频域图像中由结构光光斑形成的频谱。
6.根据权利要求5所述的人脸识别方法,其特征在于,所述频域抑制网络包括至少一个卷积层,训练所述频域抑制网络的方法包括:通过对所述频域抑制网络进行端到端的训练,使不包括结构光光斑图像的频谱和所述频率抑制网络所输出的所述修正后的频域图像的频谱之间的欧氏距离收敛。
7.根据权利要求5所述的人脸识别方法,其特征在于,所述频域抑制网络的损失函数与进行所述人脸识别的神经网络的损失函数是一起训练的。
8.根据权利要求5所述的人脸识别方法,其特征在于,所述频域抑制网络对所述频域图像中每个频率的分量进行调整,以去除所述频域图像中由结构光光斑形成的频谱。
9.根据权利要求1所述的人脸识别方法,其特征在于,通过快速傅里叶变换将所述人脸图像变换为频域图像,通过快速傅里叶逆变换将所述修正后的频域图像反变换为所述待识别人脸图像。
10.一种人脸识别装置,其特征在于,所述人脸识别装置包括:
获取模块,用于获取初始人脸图像;
频域抑制模块,用于将所述初始人脸图像变换为频域图像,对所述频域图像进行修正,并输出修正后的频域图像,以及将所述修正后的频域图像进行反变换,输出待识别人脸图像;
人脸识别模块,用于对所述待识别人脸图像进行人脸识别。
11.一种人脸识别系统,其特征在于,所述人脸识别系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-9中的任一项所述的人脸识别方法。
12.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-9中的任一项所述的人脸识别方法。
CN201810322256.2A 2018-04-11 2018-04-11 人脸识别方法、装置、系统和存储介质 Active CN108875544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810322256.2A CN108875544B (zh) 2018-04-11 2018-04-11 人脸识别方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810322256.2A CN108875544B (zh) 2018-04-11 2018-04-11 人脸识别方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN108875544A true CN108875544A (zh) 2018-11-23
CN108875544B CN108875544B (zh) 2021-11-19

Family

ID=64326369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810322256.2A Active CN108875544B (zh) 2018-04-11 2018-04-11 人脸识别方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN108875544B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059546A (zh) * 2019-03-08 2019-07-26 深圳神目信息技术有限公司 基于频谱分析的活体识别方法、装置、终端及可读介质
CN110738117A (zh) * 2019-09-16 2020-01-31 深圳市创捷科技有限公司 一种从视频中提取人脸的方法和装置
CN111222472A (zh) * 2020-01-09 2020-06-02 西安知象光电科技有限公司 一种基于结构光频域特征的人脸识别方法
CN111242089A (zh) * 2019-09-23 2020-06-05 神盾股份有限公司 基于空间频率移除背景噪声的电子装置及图像信号处理方法
CN115690327A (zh) * 2022-11-16 2023-02-03 广州大学 一种空频解耦的弱监督三维人脸重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731312A (zh) * 2013-12-19 2015-06-24 天津职业技术师范大学 一种新型的计算机输入设备
CN105872447A (zh) * 2016-05-26 2016-08-17 努比亚技术有限公司 一种视频图像处理装置和方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731312A (zh) * 2013-12-19 2015-06-24 天津职业技术师范大学 一种新型的计算机输入设备
CN105872447A (zh) * 2016-05-26 2016-08-17 努比亚技术有限公司 一种视频图像处理装置和方法
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JING WANG ET AL.: "Video Image Preprocessing Based on Neural Network", 《 2012 8TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059546A (zh) * 2019-03-08 2019-07-26 深圳神目信息技术有限公司 基于频谱分析的活体识别方法、装置、终端及可读介质
CN110738117A (zh) * 2019-09-16 2020-01-31 深圳市创捷科技有限公司 一种从视频中提取人脸的方法和装置
CN110738117B (zh) * 2019-09-16 2020-07-31 深圳市创捷科技有限公司 一种从视频中提取人脸的方法和装置
CN111242089A (zh) * 2019-09-23 2020-06-05 神盾股份有限公司 基于空间频率移除背景噪声的电子装置及图像信号处理方法
WO2021056944A1 (zh) * 2019-09-23 2021-04-01 神盾股份有限公司 基于空间频率移除背景噪声的电子装置及图像信号处理方法
US20220292644A1 (en) * 2019-09-23 2022-09-15 Yu-Kuo Cheng Electronic device and image signal processing method of removing background noise based on spatial frequency
CN111222472A (zh) * 2020-01-09 2020-06-02 西安知象光电科技有限公司 一种基于结构光频域特征的人脸识别方法
CN111222472B (zh) * 2020-01-09 2023-12-15 西安知象光电科技有限公司 一种基于结构光频域特征的人脸识别方法
CN115690327A (zh) * 2022-11-16 2023-02-03 广州大学 一种空频解耦的弱监督三维人脸重建方法

Also Published As

Publication number Publication date
CN108875544B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108875544A (zh) 人脸识别方法、装置、系统和存储介质
US11417130B2 (en) System and method for facilitating graphic-recognition training of a recognition model
CN107958235B (zh) 一种人脸图像检测方法、装置、介质和电子设备
Raghavendra et al. Robust scheme for iris presentation attack detection using multiscale binarized statistical image features
CN106033601B (zh) 检测异常情形的方法和装置
Singh et al. Video frame and region duplication forgery detection based on correlation coefficient and coefficient of variation
US20190156200A1 (en) System and method for anomaly detection via a multi-prediction-model architecture
CN106407914A (zh) 用于检测人脸的方法、装置和远程柜员机系统
CN108875932A (zh) 图像识别方法、装置和系统及存储介质
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
CN108509915A (zh) 人脸识别模型的生成方法和装置
CN106575450A (zh) 通过反照率模型、系统和方法的增强现实内容渲染
Raghavendra et al. Exploring the usefulness of light field cameras for biometrics: An empirical study on face and iris recognition
CN108875521A (zh) 人脸检测方法、装置、系统和存储介质
EP3699817A2 (en) Liveness testing methods and apparatuses and image processing methods and apparatuses
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
CN104823201B (zh) 光照敏感面部识别
CN105447483B (zh) 活体检测方法及装置
US20130202162A1 (en) Method of reconstructing three-dimensional facial shape
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN108875476A (zh) 自动近红外人脸注册与识别方法、装置和系统及存储介质
CN108881707A (zh) 图像生成方法、装置、系统和存储介质
CN110263680A (zh) 图像处理方法、装置和系统及存储介质
CN114638767A (zh) 基于生成对抗网络的腹腔镜影像除烟方法
CN108389053B (zh) 支付方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant