CN109800657A - 一种针对模糊人脸图像的卷积神经网络人脸识别方法 - Google Patents
一种针对模糊人脸图像的卷积神经网络人脸识别方法 Download PDFInfo
- Publication number
- CN109800657A CN109800657A CN201811595094.6A CN201811595094A CN109800657A CN 109800657 A CN109800657 A CN 109800657A CN 201811595094 A CN201811595094 A CN 201811595094A CN 109800657 A CN109800657 A CN 109800657A
- Authority
- CN
- China
- Prior art keywords
- ltp
- lpq
- histogram
- neural networks
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种针对模糊人脸图像的卷积神经网络人脸识别方法，在对模糊人脸图片预处理之后，利用LTP算法计算LTP特征值，得到LTP直方图；利用LPQ算法处理提取LPQ特征值，得到LPQ直方图；将LTP直方图与LPQ直方图联合，形成LTP_LPQ联合直方图，输入到卷积神经网络中进行训练；对测试图像处理，得到LTP_LPQ联合直方图输入到训练好的卷积神经网络中，对直方图进行特征向量提取，采用欧式距离来计算相似性，最后通过SoftMax分类器得出识别结果。本发明可以得到较好的识别结果。
Description
技术领域
本发明涉及图像识别技术领域，特别是涉及一种针对模糊人脸图像的卷积神经网络人脸识别方法。
背景技术
人脸识别是当前模式识别和计算机视觉领域的研究热点。目前人脸识别的方法主要有基于局部特征、基于全局特征、基于混合特征的识别方法。利用LBP算法(局部二值模式的纹理提取方法)进行人脸识别时有计算过程简单、计算量小、分类速度高，但识别时容易受到光照和图像旋转等因素的影响。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种针对模糊人脸图像的卷积神经网络人脸识别方法。
为实现本发明的目的所采用的技术方案是：
一种针对模糊人脸图像的卷积神经网络人脸识别方法，在对模糊人脸图片预处理之后，包括以下步骤：
利用LTP算法计算LTP特征值，得到LTP直方图；
利用LPQ算法处理提取LPQ特征值，得到LPQ直方图；
将LTP直方图与LPQ直方图联合，形成LTP_LPQ联合直方图，输入到卷积神经网络中进行训练；
在卷积神经网络中，经过五层卷积层和五层池化层获得图像的深度特征，通过全连接层将所有神经元数据输出，得到完整的特征图像；
将特征图像与库中图像进行比对，计算类别概率，采用SoftMax分类器进行分类，从而得到概率满足要求阈值的图像类别；
对测试图像处理，得到LTP_LPQ联合直方图输入到训练好的卷积神经网络中，对直方图进行特征向量提取，采用欧式距离来计算相似性，最后通过SoftMax分类器得出识别结果。
所述计算LTP特征值及LPQ特征值前，先将模糊人脸图像分为S0,S1,S2,…,Sm-1共m块区域，然而再对分块后的图像进行LTP和LPQ特征值的提取。
所述LTP_LPQ联合直方图是通过统计LTP直方图与LPQ直方图对应位置的灰度对出现次数所形成的二维矩阵LTP_LPQ(a,b),表示LTP直方图中的灰度值a与LPQ直方图中具有灰度值b的相关点的个数。
所述卷积神经网络的每一层卷积层后有一层池化层，所述全连接层为两层。
所述卷积神经网络中，除第一层卷积层采用3*3的过滤器，其他层都采用5*5的过滤器。
与现有技术相比，本发明的有益效果是：
本发明采用LTP算法和LPQ算法联合提取图像信息，通过卷积神经网络来进行人脸识别，应用于模糊人脸图像的识别，可以得到较好的识别结果。
附图说明
图1所示为针对模糊人脸图像的卷积神经网络人脸识别方法的流程图；
图2为本发明的卷积神经网络的结构图；
图3是基于LTP和LPQ算法联合的卷积神经网络人脸识别结构图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的针对模糊人脸图像的卷积神经网络人脸识别方法包括以下的步骤：
(1)计算原始人脸图像(image)的LTP和LPQ特征值矩阵
首先,将原始人脸图像分为S0,S1,S2,…,Sm-1共m块区域，对分块后的图像进行LTP和LPQ算法的计算。LTP算法公式如下。
该算法首先对每个像素ic的八个邻域进行采样，每个采样点为iP(P＝0,1,…,7),t为算法阈值。
LPQ算法首先对图像的一个像素点进行傅里叶变换，每个像素点用一个向量来表示，然后进行量化，通过公式求出LPQ特征值。公式如下:
F(x)＝[F(u1,x),F(u2,x),F(u3,x),F(u4,x)] (4)
由此得到两个算法的图像直方图，通过统计两幅图像对应位置的灰度对出现次数，对两个直方图进行联合(combination)得出联合直方图。LTP_LPQ联合直方图是二维矩阵LTP_LPQ(a,b),表示了LTP直方图中的灰度值a，LPQ直方图中具有灰度值b的相关点的个数。
(2)卷积神经网络CNN构建
卷积神经网络中的卷积层和池化层能够响应输入特征的平移不变性，即能够识别位于空间不同位置的相近特征。平移不变特征在卷积神经网络内部的传递具有一般性的规律。在图像处理问题中，卷积神经网络前部的特征图通常会提取图像中显著的高频和低频特征；随后经过池化的特征图会显示出输入图像的边缘特征；当信号进入更深的隐含层后，其更一般、更完整的特征会被提取。
该方法的卷积神经网络结构图如图1所示，最低层输入(input)来自LTP_LPQ联合直方图。该网络共包含五层卷积层、五层池化层(一层卷积层后加一层池化层)、两层全连接层和最后的输出层。通过全连接层输出完整的特征图像，来进行比对和概率计算。最后通过SoftMax分类来进行分类，经过分类得到的最大概率对应的图像类别即为识别结果(output)。
(3)将联合直方图作为卷积神经网络最低层输入进行人脸识别
将训练集的LTP_LPQ联合直方图输入到卷积神经网络中进行训练，得到训练好的卷积神经网络。对测试图像进行步骤(1)中处理，得到LTP_LPQ联合直方图，输入到训练好的卷积神经网络中，对直方图进行特征向量提取，采用欧式距离来计算相似性，最后通过SoftMax分类器来得出识别结果。
局部三值模式的纹理提取方法(LTP)是对LBP的一种改进，这种算法具有更好的识别能力，而且对于统一区域的噪声更不敏感，对于图像旋转和光照变化具有良好的鲁棒性。
LTP算法是对图像局部特征的描述，在人脸图像模糊时，单纯的局部特征匹配无法取得较好的结果。LPQ算法则是对整个图像轮廓的描述，通过对图像的频域进行分析，提取频域图像上的纹理特征。可以对图像的整体轮廓进行很好的描述，在模糊的人脸中可以取得较好的效果，可以很好地应用于模糊人脸图像的特征提取。
而卷积神经网络CNN是神经网络的一种，包括激活层、卷积层、池化层和全连接层。测试图像经过处理后作为神经网络最低层的输入，不同卷积层中不同过滤器来对图像特征进行卷积操作来提取显著特征，最后在输出层以概率形式输出测试图像所属身份。目前，应用卷积神经网络的人脸识别已经取得了不错的成绩。
测试：FDDB一共包含了2845张图片，包含彩色以及灰度图，其中的人脸总数达到5171个。这些人脸所呈现的状态多样，包括遮挡、罕见姿态、低分辨率以及失焦的情况，适合作为此次模糊人脸识别方法的测试集。卷积神经网络选择谷歌开源的Tensorflow来进行搭建。根据经验，选取RELU函数为激活函数。除第一层卷积层采用3*3的过滤器外，其他层都采用5*5的过滤器。由于处理的数据量较大，卷积神经网络采用Mini-batch方法进行训练得到较好的结果。在神经网络的训练阶段，选用数据量较大的PubFig人脸图像数据集来对神经网络进行训练，得到训练好的神经网络。
本发明根据LBP算法改进的LTP算法来对图片局部特征进行描述，具有更好的识别能力，克服LBP对外界噪声比较敏感的缺点。通过LPQ算法提取图像整体轮廓特征，对模糊的人脸图像进行整体轮廓的特征提取，联合LTP的局部特征，可以更好的表现模糊的人脸图像的特征值。最后通过卷积神经网络训练识别模型来进行模糊人脸识别，提取更加深度的特征信息，在训练集足够的情况下，能够提高识别的准确率。通过整体特征和局部特征相结合，应用于模糊人脸图像的识别，可以得到较好的识别结果。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种针对模糊人脸图像的卷积神经网络人脸识别方法，其特征在于，在对模糊人脸图片预处理之后，包括以下步骤：
利用LTP算法计算LTP特征值，得到LTP直方图；
利用LPQ算法处理提取LPQ特征值，得到LPQ直方图；
将LTP直方图与LPQ直方图联合，形成LTP_LPQ联合直方图，输入到卷积神经网络中进行训练；
在卷积神经网络中，经过五层卷积层和五层池化层获得图像的深度特征，通过全连接层将所有神经元数据输出，得到完整的特征图像；
将特征图像与库中图像进行比对，计算类别概率，采用SoftMax分类器进行分类，从而得到概率满足要求阈值的图像类别；
对测试图像处理，得到LTP_LPQ联合直方图输入到训练好的卷积神经网络中，对直方图进行特征向量提取，采用欧式距离来计算相似性，最后通过SoftMax分类器得出识别结果。
2.如权利要求1所述针对模糊人脸图像的卷积神经网络人脸识别方法，其特征在于，所述计算LTP特征值及LPQ特征值前，先将模糊人脸图像分为S0,S1,S2,…,Sm-1共m块区域，然而再对分块后的图像进行LTP和LPQ特征值的提取。
3.如权利要求1所述针对模糊人脸图像的卷积神经网络人脸识别方法，其特征在于，所述LTP_LPQ联合直方图是通过统计LTP直方图与LPQ直方图对应位置的灰度对出现次数所形成的二维矩阵LTP_LPQ(a,b),表示LTP直方图中的灰度值a与LPQ直方图中具有灰度值b的相关点的个数。
4.如权利要求1所述针对模糊人脸图像的卷积神经网络人脸识别方法，其特征在于，所述卷积神经网络的每一层卷积层后有一层池化层，所述全连接层为两层。
5.如权利要求1所述针对模糊人脸图像的卷积神经网络人脸识别方法，其特征在于，所述卷积神经网络中，除第一层卷积层采用3*3的过滤器，其他层都采用5*5的过滤器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811595094.6A CN109800657A (zh) | 2018-12-25 | 2018-12-25 | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811595094.6A CN109800657A (zh) | 2018-12-25 | 2018-12-25 | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109800657A true CN109800657A (zh) | 2019-05-24 |
Family
ID=66557609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811595094.6A Pending CN109800657A (zh) | 2018-12-25 | 2018-12-25 | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800657A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472566A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种高精度的模糊人脸识别方法与系统 |
| CN113627314A (zh) * | 2021-08-05 | 2021-11-09 | Oppo广东移动通信有限公司 | 人脸图像模糊检测方法、装置、存储介质与电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
| CN107564032A (zh) * | 2017-09-01 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于外观网络的视频跟踪对象分割方法 |
| CN107798381A (zh) * | 2017-11-13 | 2018-03-13 | 河海大学 | 一种基于卷积神经网络的图像识别方法 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
| CN110008793A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 人脸识别方法、装置及设备 |
-
2018
- 2018-12-25 CN CN201811595094.6A patent/CN109800657A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
| CN107564032A (zh) * | 2017-09-01 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于外观网络的视频跟踪对象分割方法 |
| CN107798381A (zh) * | 2017-11-13 | 2018-03-13 | 河海大学 | 一种基于卷积神经网络的图像识别方法 |
| CN110008793A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 人脸识别方法、装置及设备 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 丁勇 等: "联合 ＬＴＰ和 ＬＰＱ 的人脸识别方法", 《计算机与数字工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472566A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种高精度的模糊人脸识别方法与系统 |
| CN110472566B (zh) * | 2019-08-14 | 2022-04-26 | 旭辉卓越健康信息科技有限公司 | 一种高精度的模糊人脸识别方法 |
| CN113627314A (zh) * | 2021-08-05 | 2021-11-09 | Oppo广东移动通信有限公司 | 人脸图像模糊检测方法、装置、存储介质与电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Adeyanju et al. | Machine learning methods for sign language recognition: A critical review and analysis | |
| Dileep et al. | AyurLeaf: a deep learning approach for classification of medicinal plants | |
| CN110569756B (zh) | 人脸识别模型构建方法、识别方法、设备和存储介质 | |
| Sachar et al. | Survey of feature extraction and classification techniques to identify plant through leaves | |
| Menotti et al. | Deep representations for iris, face, and fingerprint spoofing detection | |
| Zhang et al. | Currency detection and recognition based on deep learning | |
| Shan | Smile detection by boosting pixel differences | |
| KR101862639B1 (ko) | 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법 | |
| Flores et al. | Application of convolutional neural networks for static hand gestures recognition under different invariant features | |
| Ghoualmi et al. | An ear biometric system based on artificial bees and the scale invariant feature transform | |
| CN109544511B (zh) | 基于粒子群算法优化的卷积神经网络对肺结节识别的方法 | |
| Pinto et al. | Counteracting presentation attacks in face, fingerprint, and iris recognition | |
| Quach et al. | Leaf recognition using convolutional neural networks based features | |
| CN109800657A (zh) | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 | |
| Nanni et al. | An ensemble of visual features for Gaussians of local descriptors and non-binary coding for texture descriptors | |
| Zaidan et al. | A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network | |
| Scherhag | Face morphing and morphing attack detection | |
| Shakoor et al. | Repeating average filter for noisy texture classification | |
| Nidheesh et al. | Classification of leaf using geometric features | |
| Rajput et al. | Iris biometric technique for person authentication based on fusion of radon and 2D multi-wavelet transform | |
| Gupta et al. | Hand skin classification from other skin objects using multi-direction 3D color-texture feature and cascaded neural network classifier | |
| Una et al. | Classification technique for face-spoof detection in artificial neural networks using concepts of machine learning | |
| Sundaran et al. | Biometrie liveness authentication detection | |
| Shivaprakash et al. | A Smart Face Recognition and Verification using Optimal Spatial and Spectral Feature Selection with Adaptive Multiscale Mobilenet | |
| Chitte et al. | Machine Learning Approach in Melanoma Cancer Stage Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190524 |
|
| WD01 | Invention patent application deemed withdrawn after publication |