CN107403166A - 一种提取人脸图像毛孔特征的方法与装置 - Google Patents

一种提取人脸图像毛孔特征的方法与装置 Download PDF

Info

Publication number
CN107403166A
CN107403166A CN201710651809.4A CN201710651809A CN107403166A CN 107403166 A CN107403166 A CN 107403166A CN 201710651809 A CN201710651809 A CN 201710651809A CN 107403166 A CN107403166 A CN 107403166A
Authority
CN
China
Prior art keywords
neural networks
convolutional neural
image
feature
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710651809.4A
Other languages
English (en)
Other versions
CN107403166B (zh
Inventor
王晓东
梁煜伟
李东
章云
刘治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710651809.4A priority Critical patent/CN107403166B/zh
Publication of CN107403166A publication Critical patent/CN107403166A/zh
Application granted granted Critical
Publication of CN107403166B publication Critical patent/CN107403166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种提取人脸图像毛孔特征的方法与装置,对获取的人脸图像进行预处理,可以得到第一像素训练图像;通过第一像素训练图像来实现对特征提取卷积神经网络参数的优化,从而得到优化后的特征提取卷积神经网络;依据从人脸图像截取得到的第二像素训练图像,来实现对特征检测卷积神经网络参数的优化,从而得到优化后的特征检测卷积神经网络;利用优化后的特征提取卷积神经网络以及优化后的特征检测卷积神经网络,实现对人脸图像毛孔特征的提取,即获取到毛孔特征向量。由于训练图像来自于待处理的人脸图像,因此,优化后的神经网络能够更加准确的提取出该人脸图像中的毛孔特征。

Description

一种提取人脸图像毛孔特征的方法与装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种提取人脸图像毛孔特征的方法与装置。
背景技术
随着监控摄像头的广泛应用,人脸识别系统的市场需求也在逐渐扩大。然而,在这些应用中被监控人群大多处于非约束状态,当前的人脸识别产品和人脸识别系统都需要对检测到的人脸具有一定的限定或要求。这些限定条件已成为人脸识别技术推广和应用的主要障碍。存在这些限定条件是因为:在非可控条件下,复杂干扰因素将导致人脸识别精度急剧下降,不能满足应用需求。
在非可控条件下,不仅可能存在强光变化、大范围的姿态变化、夸张的表情变化、有意或无意的遮挡、图像分辨率偏低等严重的干扰因素,而且这些因素可能随机组合地出现在视频人脸图像中。这些复杂干扰将导致同一个人的人脸面像呈现巨大差异。这导致在非可控条件下准确地识别人脸非常困难。因此,非限定人脸识别依然是一个非常困难的问题;其识别精度也远不能满足实际应用需求。
近年来,国内外学者开始把深度学习方法应用在图像识别问题上,并取得了优异的效果。不同人的毛孔分布是不一样的,如果能够通过局部的毛孔特征来对人脸识别,将能达到很好的效果。
可见,如何从人脸图像中准确的提取毛孔特征,是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种提取人脸图像毛孔特征的方法与装置,可以从人脸图像中准确的提取毛孔特征,从而提高人脸识别的精度。
为解决上述技术问题,本发明实施例提供一种提取人脸图像毛孔特征的方法,包括:
对获取的人脸图像进行预处理,得到第一像素训练图像;
利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量;
依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络;
利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值;所述第二像素训练图像为从所述人脸图像截取得到的训练图像;
依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络;
利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
可选的,所述依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络包括:
调整所述特征提取卷积神经网络的参数,直至所述特征向量满足预设条件,从而得到优化后的特征提取卷积神经网络。
可选的,所述利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值包括:
利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像;
利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像;
利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像;
依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。可选的,所述依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络包括:
依据所述坐标值,构建第一阶段损失函数,其公式如下,
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络;
调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
可选的,所述利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量包括:
将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像;
对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合;
以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像;其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同;
将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
本发明实施例还提供了一种提取人脸图像毛孔特征的装置,包括预处理单元、获取单元、第一优化单元、计算单元、第二优化单元和提取单元,
所述预处理单元,用于对获取的人脸图像进行预处理,得到第一像素训练图像;
所述获取单元,用于利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量;
所述第一优化单元,用于依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络;
所述计算单元,用于利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值;所述第二像素训练图像为从所述人脸图像截取得到的训练图像;
所述第二优化单元,用于依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络;
所述提取单元,用于利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
可选的,所述第一优化单元具体用于调整所述特征提取卷积神经网络的参数,直至所述特征向量满足预设条件,从而得到优化后的特征提取卷积神经网络。
可选的,所述计算单元包括卷积处理子单元、压缩处理子单元和确定子单元,
所述卷积处理子单元,用于利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像;
所述卷积处理子单元还用于利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像;
所述压缩处理子单元,用于利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像;
所述确定子单元,用于依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。可选的,所述第二优化单元包括构建子单元和优化子单元,
所述构建子单元,用于依据所述坐标值,构建第一阶段损失函数,其公式如下,
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络;
所述优化子单元,用于调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
可选的,所述提取单元包括输入子单元、抑制子单元、截取子单元和提取子单元,
所述输入子单元,用于将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像;
所述抑制子单元,用于对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合;
所述截取子单元,用于以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像;其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同;
所述提取子单元,用于将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
由上述技术方案可以看出,对获取的人脸图像进行预处理,可以得到第一像素训练图像;通过第一像素训练图像来实现对特征提取卷积神经网络参数的优化,从而得到优化后的特征提取卷积神经网络;依据从人脸图像截取得到的第二像素训练图像,来实现对特征检测卷积神经网络参数的优化,从而得到优化后的特征检测卷积神经网络;利用优化后的特征提取卷积神经网络以及优化后的特征检测卷积神经网络,实现对所述人脸图像毛孔特征的提取,即获取到毛孔特征向量。通过获取的训练图像来实现对神经网络参数的调整,完成神经网络的优化,由于训练图像来自于待处理的人脸图像,因此,优化后的神经网络能够更加准确的提取出该人脸图像中的毛孔特征。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种提取人脸图像毛孔特征的方法的流程图;
图2为本发明实施例提供的一种利用优化后的神经网络提取人脸图像毛孔特征的方法的流程图;
图3为本发明实施例提供的一种提取人脸图像毛孔特征的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来,详细介绍本发明实施例所提供的一种提取人脸图像毛孔特征的方法。图1为本发明实施例提供的一种提取人脸图像毛孔特征的方法的流程图,该方法包括:
S101:对获取的人脸图像进行预处理,得到第一像素训练图像。
当需要提取一幅人脸图像的毛孔特征时,可以将该幅人脸图像当做是待处理的人脸图像。在具体实现中,可以利用特征检测卷积神经网络和特征提取卷积神经网络,来提取人脸图像的毛孔特征。为了后续介绍方便,可以将特征检测卷积神经网络和特征提取卷积神经网络统称为卷积神经网络。
为了提升毛孔特征提取的准确性,可以先对卷积神经网络进行优化处理。通过依据训练图像来调整卷积神经网络的参数,从而实现卷积神经网络的优化。在本发明实施例中,可以从待处理的人脸图像中提取训练图像。
第一像素训练图像可以是对特征提取卷积神经网络进行优化的训练图像。从一幅人脸图像中提取出多个第一像素训练图像。
其中,该第一像素训练图像的像素可以是64*64。在后续内容中均以第一像素训练图像的像素是64*64为例进行介绍。
预处理可以是指从人脸图像中得到第一像素训练图像的操作过程。
例如,用户可以选取人脸图像中的某一个点,将该点标注为中心点,从该人脸图像截取到128*128的局部图像,系统依据该中心点,可以从128*128的局部图像中截取64*64的局部图像作为第一像素训练图像。
S102:利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量。
特征提取卷积神经网络中包括有卷积层、下采样层和归一化层,在本发明实施例中,可以利用卷积层、下采样层和归一化层的协调作用获取到第一像素训练图像的特征向量。下面将以一个第一像素训练图像为例,对其具体过程展开介绍。
步骤S1.1:将经预处理的64*64像素第一像素训练图像输入到特征提取卷积神经网络中的C1卷积层,通过32个7×7的滤波器,使用1个像素的步长,使用tanh激活函数,对第一像素训练图像进行卷积操作,输出32×58×58的C1卷积层特征图像。
步骤S1.2:将步骤S1.1中得到的每幅58×58的C1卷积层特征图像输入到特征提取卷积神经网络中的S1下采样层,将C1卷积层特征图像切分为29×29个子区域,取每个区域的矩阵2范数,进行lp2pooling,输出32×29×29的S1下采样层特征图像。
步骤S1.3:将步骤S1.2中得到的每幅29×29的S1下采样层特征图像输入到特征提取卷积神经网络中的N1归一化层,将S1下采样层特征图像切分为6×6个子区域,每个子区域内进行归一化,输出32×29×29的N1归一化特征图像。
步骤S1.4:将步骤S1.3中得到的每幅29×29的N1归一化特征图像输入到特征提取卷积神经网络中的C2卷积层,通过64个6×6的滤波器,使用1个像素的步长,使用tanh激活函数,对N1归一化特征图像进行卷积操作,输出64×24×24的C2卷积层特征图像。
步骤S1.5:将步骤S1.4中得到的每幅24×24的C2卷积层特征图像输入到特征提取卷积神经网络中的S2下采样层,将C2卷积层特征图像切分为8×8个子区域,取每个区域的矩阵2范数,进行lp2pooling,输出64×8×8的S2下采样层特征图像。
步骤S1.6:将步骤S1.5中得到的每幅8×8的S2下采样层特征图像输入到特征提取卷积神经网络中的N2归一化层,将S2下采样层特征图像切分为2×2个子区域,每个子区域内进行归一化,输出64×8×8的N2归一化特征图像。
步骤S1.7:将步骤S1.6中得到的每幅8×8的N2归一化特征图像输入到特征提取卷积神经网络中的C3卷积层,通过128个5×5的滤波器,使用1个像素的步长,使用tanh激活函数,对N2归一化特征图像进行卷积操作,输出128×4×4的C3卷积层特征图像。
步骤S1.8:将步骤S1.7中得到的每幅4×4的C3卷积层特征图像输入到特征提取卷积神经网络中的S3下采样层,将C2卷积层特征图像切分为1×1个子区域,取每个区域的矩阵2范数,进行lp2pooling,输出128×1×1的S3下采样层特征图像。
步骤S1.9:将步骤S1.8中得到的128×1×1的S3下采样层特征图像压缩成一维,得到训练图像的128位浮点数特征向量。
例如,一个第一像素训练图像用符号X表示,该第一像素训练图像X对应的特征向量可以用(x1,x2,…,xm)表示,同理,一个第一像素训练图像Y,该第一像素训练图像Y对应的特征向量可以用(y1,y2,…,ym)表示,其中,m的取值为128。
S103:依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络。
调整所述特征提取卷积神经网络的参数,则相应的特征向量会发生变化,可以通过检测变化后的特征向量是否满足预设条件,来判定特征提取卷积神经网络的参数是够已经调整到了最优状态。
在具体实现中,可以通过构建损失函数的方式,依据损失函数取值的变化,从而将特征提取卷积神经网络的参数调整到最优状态,也即实现对特征提取卷积神经网络的优化。
具体的,可以依据所述特征向量,构建损失函数,其公式如下,
其中,C表示阈值,X表示训练图像X的特征向量,X=(x1,x2,...,xm),Y表示训练图像Y的特征向量,Y=(y1,y2,...,ym);所述训练图像X和所述训练图像Y为所述第一像素训练图像中的任意两个训练图像;for positive pairs表示所述训练图像X和所述训练图像Y为相似图像;for negative pairs表示所述训练图像X和所述训练图像Y为不相似图像。
在本发明实施例中,可以根据如下公式,来判断图像X和图像Y的相似度,
S(X,Y)的取值越小,则说明图像X和图像Y越相似。
在具体实现中,可以设置相应的阈值,当两幅图像的S(X,Y)取值低于该阈值,则说明这两幅图像为相似图像;否则,这两幅图像为不相似图像,例如,可以将阈值C设置为4。
从损失函数的公式可以看出,该损失函数的取值受特征向量的影响,当所述损失函数不再变小或者是趋于稳定,则说明特征向量已经满足预设条件,相应的,特征提取卷积神经网络的参数已经调整到了最优状态,依据调整后的参数便可以得到优化后的特征提取卷积神经网络。
S104:利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值。
所述第二像素训练图像为从所述人脸图像截取得到的训练图像。
第二像素训练图像可以是对特征检测卷积神经网络进行优化的训练图像。从一幅人脸图像中截取出多个第二像素训练图像。
其中,该第二像素训练图像的像素可以是128*128。在后续内容中均以第二像素训练图像的像素是128*128为例进行介绍。
特征检测卷积神经网络中包括有卷积层、高斯卷积层和下采样层,在本发明实施例中,可以利用卷积层、高斯卷积层和下采样层的协调作用获取到第二像素训练图像中心点的坐标值。下面将以一个第二像素训练图像为例,对其具体过程展开介绍,
步骤2.1:利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像。
在具体实现中,可以将将截取的128*128像素的第二像素训练图像输入到特征检测卷积神经网络中的CC1卷积层,通过16个25×25的滤波器,使用1个像素的步长,对第二像素训练图像进行卷积操作,输出16×104×104的CC1卷积层特征图像。
步骤2.2:利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像。
结合步骤2.1中得到的CC1卷积层特征图像输入到特征检测卷积神经网络中的NN1高斯卷积层,对特征图像进行卷积操作,输出NN1高斯模糊特征图像。
步骤2.3:利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像。
结合步骤S2.2中得到的NN1高斯模糊特征图像输入到特征检测卷积神经网络中的G1下采样层,将NN1高斯模糊特征图像按深度平均分为4个子区域,把每个子区域压缩成深度为1,压缩过程对应点取最大值;接着将4个子区域压缩成1个子区域,压缩过程对应点累加,输出G1下采样层特征图像。
步骤2.4:依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。
在具体实现中,可以根据如下公式,确定出所述下采样层图像中心点的坐标值,
其中,S表示所述下采样层图像,x表示所述中心点的坐标值,y表示所述下采样层图像中各像素点对应的坐标值,β为相关系数。
该下采样层图像是第二像素训练图像经过特征检测卷积神经网络处理后得到的图像,所以该下采样层图像的中心点也即是第二像素训练图像的中心点。
S105:依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络。
在本发明实施例中,可以通过构建损失函数的方式,依据损失函数取值的变化,从而将特征检测卷积神经网络的参数调整到最优状态,也即实现对特征检测卷积神经网络的优化。
具体的,可以按照如下方式进行优化,
步骤3.1:依据所述坐标值,构建第一阶段损失函数,其公式如下,
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络。
步骤3.2:调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
调整所述特征检测卷积神经网络的参数,则相应的中心点会发生变化,也即该中心点的坐标值会发生变化,从第一阶段损失函数的公式可以看出,该损失函数的取值受坐标值的影响。
第一预设条件可以是对第一阶段损失函数取值的一个判定条件,第一阶段损失函数满足第一预设条件,也即当所述第一阶段损失函数不再变小或者是趋于稳定,此时可以说明特征检测卷积神经网络的参数已经调整到了第一阶段损失函数对应下的优化状态。
S106:利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
特征检测卷积神经网络,可以用于获取人脸图像的极值点;特征提取卷积神经网络,可以依据极值点进行人脸图像毛孔特征的提取,下面将对提取毛孔特征的具体过程展开介绍,其步骤如图2所示,
S201:将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像。
S202:对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合。
在提取人脸图像的毛孔特征时,可以先将人脸图像输入到优化后的特征检测卷积神经网络,以便于获取到人脸图像对应的各个极值点。每个极值点都有其对应的一个坐标值。
S203:以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像。
其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同。
在上述介绍中,第一像素训练图像像素为64*64,相应的,可以从下采样层特征图像中截取64*64像素的毛孔局部图像。
S204:将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
每个毛孔局部图像都有其对应的一个毛孔特征向量,所有毛孔局部图像对应的毛孔特征向量的集合即为人脸图像对应的毛孔特征向量。
由上述技术方案可以看出,对获取的人脸图像进行预处理,可以得到第一像素训练图像;通过第一像素训练图像来实现对特征提取卷积神经网络参数的优化,从而得到优化后的特征提取卷积神经网络;依据从人脸图像截取得到的第二像素训练图像,来实现对特征检测卷积神经网络参数的优化,从而得到优化后的特征检测卷积神经网络;利用优化后的特征提取卷积神经网络以及优化后的特征检测卷积神经网络,实现对所述人脸图像毛孔特征的提取,即获取到毛孔特征向量。通过获取的训练图像来实现对神经网络参数的调整,完成神经网络的优化,由于训练图像来自于待处理的人脸图像,因此,优化后的神经网络能够更加准确的提取出该人脸图像中的毛孔特征。
图3为本发明实施例提供的一种提取人脸图像毛孔特征的装置的结构示意图,包括预处理单元31、获取单元32、第一优化单元33、计算单元34、第二优化单元35和提取单元36,
所述预处理单元31,用于对获取的人脸图像进行预处理,得到第一像素训练图像;
所述获取单元32,用于利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量;
所述第一优化单元33,用于依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络;
所述计算单元34,用于利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值;所述第二像素训练图像为从所述人脸图像截取得到的训练图像;
所述第二优化单元35,用于依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络;
所述提取单元36,用于利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
可选的,所述第一优化单元具体用于调整所述特征提取卷积神经网络的参数,直至所述特征向量满足预设条件,从而得到优化后的特征提取卷积神经网络。可选的,所述计算单元包括卷积处理子单元、压缩处理子单元和确定子单元,
所述卷积处理子单元,用于利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像;
所述卷积处理子单元还用于利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像;
所述压缩处理子单元,用于利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像;
所述确定子单元,用于依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。可选的,所述第二优化单元包括构建子单元和优化子单元,
所述构建子单元,用于依据所述坐标值,构建第一阶段损失函数,其公式如下,
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络;
所述优化子单元,用于调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
可选的,所述提取单元包括输入子单元、抑制子单元、截取子单元和提取子单元,
所述输入子单元,用于将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像;
所述抑制子单元,用于对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合;
所述截取子单元,用于以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像;其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同;
所述提取子单元,用于将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
图3所对应实施例中特征的说明可以参见图1和图2所对应实施例的相关说明,这里不再一一赘述。
由上述技术方案可以看出,对获取的人脸图像进行预处理,可以得到第一像素训练图像;通过第一像素训练图像来实现对特征提取卷积神经网络参数的优化,从而得到优化后的特征提取卷积神经网络;依据从人脸图像截取得到的第二像素训练图像,来实现对特征检测卷积神经网络参数的优化,从而得到优化后的特征检测卷积神经网络;利用优化后的特征提取卷积神经网络以及优化后的特征检测卷积神经网络,实现对所述人脸图像毛孔特征的提取,即获取到毛孔特征向量。通过获取的训练图像来实现对神经网络参数的调整,完成神经网络的优化,由于训练图像来自于待处理的人脸图像,因此,优化后的神经网络能够更加准确的提取出该人脸图像中的毛孔特征。
以上对本发明实施例所提供的一种提取人脸图像毛孔特征的方法与装置进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种提取人脸图像毛孔特征的方法,其特征在于,包括:
对获取的人脸图像进行预处理,得到第一像素训练图像;
利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量;
依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络;
利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值;所述第二像素训练图像为从所述人脸图像截取得到的训练图像;
依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络;
利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
2.根据权利要求1所述的方法,其特征在于,所述依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络包括:
调整所述特征提取卷积神经网络的参数,直至所述特征向量满足预设条件,从而得到优化后的特征提取卷积神经网络。
3.根据权利要求2所述的方法,其特征在于,所述利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值包括:
利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像;
利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像;
利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像;
依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。
4.根据权利要求3所述的方法,其特征在于,所述依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络包括:
依据所述坐标值,构建第一阶段损失函数,其公式如下,
<mrow> <msub> <mover> <mi>L</mi> <mo>~</mo> </mover> <mi>det</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mn>1</mn> </msup> <mo>,</mo> <msup> <mi>P</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mover> <mi>L</mi> <mo>~</mo> </mover> <mrow> <mi>p</mi> <mi>a</mi> <mi>i</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mn>1</mn> </msup> <mo>,</mo> <msup> <mi>P</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络;
调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量包括:
将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像;
对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合;
以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像;其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同;
将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
6.一种提取人脸图像毛孔特征的装置,其特征在于,包括预处理单元、获取单元、第一优化单元、计算单元、第二优化单元和提取单元,
所述预处理单元,用于对获取的人脸图像进行预处理,得到第一像素训练图像;
所述获取单元,用于利用特征提取卷积神经网络,获取所述第一像素训练图像对应的特征向量;
所述第一优化单元,用于依据所述特征向量,对所述特征提取卷积神经网络的参数进行优化处理,得到优化后的特征提取卷积神经网络;
所述计算单元,用于利用特征检测卷积神经网络,计算出第二像素训练图像中心点的坐标值;所述第二像素训练图像为从所述人脸图像截取得到的训练图像;
所述第二优化单元,用于依据所述坐标值,对所述特征检测卷积神经网络的参数进行优化处理,得到优化后的特征检测卷积神经网络;
所述提取单元,用于利用优化后的所述特征提取卷积神经网络以及优化后的所述特征检测卷积神经网络,对所述人脸图像进行毛孔特征的提取,获取到毛孔特征向量。
7.根据权利要求6所述的装置,其特征在于,所述第一优化单元具体用于调整所述特征提取卷积神经网络的参数,直至所述特征向量满足预设条件,从而得到优化后的特征提取卷积神经网络。
8.根据权利要求7所述的装置,其特征在于,所述计算单元包括卷积处理子单元、压缩处理子单元和确定子单元,
所述卷积处理子单元,用于利用特征检测卷积神经网络的卷积层,对所述第二像素训练图像进行卷积处理,得到卷积层特征图像;
所述卷积处理子单元还用于利用特征检测卷积神经网络的高斯卷积层,对所述卷积层特征图像进行卷积处理,得到高斯模糊特征图像;
所述压缩处理子单元,用于利用特征检测卷积神经网络的下采样层,对所述高斯模糊特征图像进行压缩处理,得到下采样层图像;
所述确定子单元,用于依据所述下采样层图像中各像素点的坐标值,确定出所述下采样层图像中心点的坐标值。
9.根据权利要求8所述的装置,其特征在于,所述第二优化单元包括构建子单元和优化子单元,
所述构建子单元,用于依据所述坐标值,构建第一阶段损失函数,其公式如下,
<mrow> <msub> <mover> <mi>L</mi> <mo>~</mo> </mover> <mi>det</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mn>1</mn> </msup> <mo>,</mo> <msup> <mi>P</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mover> <mi>L</mi> <mo>~</mo> </mover> <mrow> <mi>p</mi> <mi>a</mi> <mi>i</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mn>1</mn> </msup> <mo>,</mo> <msup> <mi>P</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow> 2
xj=softargmax(fμ(Pj))(j=1或2);
其中,P1与P2是相似图像,fμ表示特征检测卷积神经网络;
所述优化子单元,用于调整所述特征检测卷积神经网络的参数,直至所述第一阶段损失函数满足第一预设条件,从而得到优化后的特征检测卷积神经网络。
10.根据权利要求6-9任意一项所述的装置,其特征在于,所述提取单元包括输入子单元、抑制子单元、截取子单元和提取子单元,
所述输入子单元,用于将所述人脸图像输入到优化后的所述特征检测卷积神经网络,得到下采样层特征图像;
所述抑制子单元,用于对所述下采样层特征图像进行非极大值抑制,得到所述下采样层特征图像的极大值点集合以及对应的坐标值集合;
所述截取子单元,用于以第一坐标值为中心,在所述下采样层特征图像中截取毛孔局部图像;其中,所述第一坐标值为所述坐标值集合中的任意一个坐标值;所述毛孔局部图像的像素与所述第一像素训练图像像素相同;
所述提取子单元,用于将各个所述毛孔局部图像输入到优化后的所述特征提取卷积神经网络,得到所述人脸图像的毛孔特征向量。
CN201710651809.4A 2017-08-02 2017-08-02 一种提取人脸图像毛孔特征的方法与装置 Active CN107403166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710651809.4A CN107403166B (zh) 2017-08-02 2017-08-02 一种提取人脸图像毛孔特征的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710651809.4A CN107403166B (zh) 2017-08-02 2017-08-02 一种提取人脸图像毛孔特征的方法与装置

Publications (2)

Publication Number Publication Date
CN107403166A true CN107403166A (zh) 2017-11-28
CN107403166B CN107403166B (zh) 2021-01-26

Family

ID=60401368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710651809.4A Active CN107403166B (zh) 2017-08-02 2017-08-02 一种提取人脸图像毛孔特征的方法与装置

Country Status (1)

Country Link
CN (1) CN107403166B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921181A (zh) * 2018-08-02 2018-11-30 广东工业大学 一种局部图像特征提取方法、装置、系统及可读存储介质
CN109544516A (zh) * 2018-11-05 2019-03-29 深圳和而泰数据资源与云技术有限公司 图像检测方法及装置
CN109903350A (zh) * 2017-12-07 2019-06-18 上海寒武纪信息科技有限公司 图像压缩方法及相关装置
CN110059666A (zh) * 2019-04-29 2019-07-26 北京市商汤科技开发有限公司 一种注意力检测方法及装置
CN110263806A (zh) * 2019-05-09 2019-09-20 广东工业大学 一种基于深度学习的皮肤图像实际面积估算方法
CN110570479A (zh) * 2019-09-03 2019-12-13 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
CN110738230A (zh) * 2019-04-15 2020-01-31 中国石油大学(华东) 一种基于f-cdssd的衣物识别与分类方法
EP4030343A4 (en) * 2019-10-22 2022-10-26 Huawei Technologies Co., Ltd. FACIAL SKIN DETECTION METHOD AND APPARATUS

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025568A1 (en) * 2006-07-20 2008-01-31 Feng Han System and method for detecting still objects in images
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
CN105069818A (zh) * 2015-09-02 2015-11-18 泰山学院 一种基于图像分析的皮肤毛孔识别方法
CN106599872A (zh) * 2016-12-23 2017-04-26 北京旷视科技有限公司 用于验证活体人脸图像的方法和设备
CN106650657A (zh) * 2016-12-16 2017-05-10 广东工业大学 一种基于全脸二进制匹配的身份验证方法及装置
CN106778613A (zh) * 2016-12-16 2017-05-31 广东工业大学 一种基于人脸分割区域匹配的身份验证方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025568A1 (en) * 2006-07-20 2008-01-31 Feng Han System and method for detecting still objects in images
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
CN105069818A (zh) * 2015-09-02 2015-11-18 泰山学院 一种基于图像分析的皮肤毛孔识别方法
CN106650657A (zh) * 2016-12-16 2017-05-10 广东工业大学 一种基于全脸二进制匹配的身份验证方法及装置
CN106778613A (zh) * 2016-12-16 2017-05-31 广东工业大学 一种基于人脸分割区域匹配的身份验证方法及装置
CN106599872A (zh) * 2016-12-23 2017-04-26 北京旷视科技有限公司 用于验证活体人脸图像的方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG-REN SU ET AL: "A deep learning approach towards pore extraction for high-resolution fingerprint recognition", 《2017 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
卢宏涛 等: "深度卷积神经网络在计算机视觉中的应用研究综述", 《数据采集与处理》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903350A (zh) * 2017-12-07 2019-06-18 上海寒武纪信息科技有限公司 图像压缩方法及相关装置
CN108921181A (zh) * 2018-08-02 2018-11-30 广东工业大学 一种局部图像特征提取方法、装置、系统及可读存储介质
CN109544516A (zh) * 2018-11-05 2019-03-29 深圳和而泰数据资源与云技术有限公司 图像检测方法及装置
CN109544516B (zh) * 2018-11-05 2020-11-13 深圳和而泰数据资源与云技术有限公司 图像检测方法及装置
CN110738230A (zh) * 2019-04-15 2020-01-31 中国石油大学(华东) 一种基于f-cdssd的衣物识别与分类方法
CN110059666A (zh) * 2019-04-29 2019-07-26 北京市商汤科技开发有限公司 一种注意力检测方法及装置
CN110059666B (zh) * 2019-04-29 2022-04-01 北京市商汤科技开发有限公司 一种注意力检测方法及装置
CN110263806A (zh) * 2019-05-09 2019-09-20 广东工业大学 一种基于深度学习的皮肤图像实际面积估算方法
CN110570479A (zh) * 2019-09-03 2019-12-13 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
CN110570479B (zh) * 2019-09-03 2022-03-18 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
EP4030343A4 (en) * 2019-10-22 2022-10-26 Huawei Technologies Co., Ltd. FACIAL SKIN DETECTION METHOD AND APPARATUS

Also Published As

Publication number Publication date
CN107403166B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN107403166A (zh) 一种提取人脸图像毛孔特征的方法与装置
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN110120020A (zh) 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN101950365B (zh) 基于ksvd字典学习的多任务超分辨率图像重构方法
CN106599878A (zh) 一种基于深度学习的人脸重建矫正方法及装置
CN106204468A (zh) 一种基于ReLU卷积神经网络的图像去噪方法
CN107492070A (zh) 一种双通道卷积神经网络的单图像超分辨率计算方法
CN106204447A (zh) 基于总变差分和卷积神经网络的超分辨率重建方法
CN110211035A (zh) 融合互信息的深度神经网络的图像超分辨率方法
CN102567973B (zh) 基于改进的形状自适应窗口的图像去噪方法
CN105657402A (zh) 一种深度图恢复方法
CN106991368A (zh) 一种基于深度卷积神经网络的指静脉验证身份识别方法
CN108629753A (zh) 一种基于循环神经网络的人脸图像恢复方法及装置
CN106067161A (zh) 一种对图像进行超分辨的方法
CN103208097B (zh) 图像多方向形态结构分组的主分量分析协同滤波方法
CN109902715A (zh) 一种基于上下文聚合网络的红外弱小目标检测方法
CN106682649A (zh) 一种基于深度学习的车型识别方法
CN106204502B (zh) 基于混合阶l0正则化模糊核估计方法
CN107392865A (zh) 一种人脸图像的复原方法
CN108830225A (zh) 太赫兹图像中目标物体的检测方法、装置、设备及介质
CN107886488A (zh) 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN103745453B (zh) 基于Google Earth遥感影像的城镇信息提取方法
CN109426773A (zh) 一种道路识别方法和装置
CN114897694A (zh) 基于混合注意力和双层监督的图像超分辨率重建方法
CN103679710B (zh) 基于多层神经元群放电信息的图像弱边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant