CN111582223A - 一种三维人脸识别方法 - Google Patents
一种三维人脸识别方法 Download PDFInfo
- Publication number
- CN111582223A CN111582223A CN202010424913.1A CN202010424913A CN111582223A CN 111582223 A CN111582223 A CN 111582223A CN 202010424913 A CN202010424913 A CN 202010424913A CN 111582223 A CN111582223 A CN 111582223A
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- image
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 93
- 230000004927 fusion Effects 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000013135 deep learning Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 238000011425 standardization method Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 238000000513 principal component analysis Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000012880 independent component analysis Methods 0.000 claims description 6
- 238000009616 inductively coupled plasma Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种三维人脸识别方法，涉及人脸识别技术领域，本发明采用多特征融合超强级联分类器，通过将人脸感兴趣区域的灰度特征和纹理特征进行融合，以便于后续的分类器的训练。通过深度学习算法对融合后的人脸信息进行学习、训练，实现了融合各种人脸图像后的深度学习，并应用了BP神经网络模型实现了反馈式学习，不仅将获取的高纬度数据信息进行降维处理，获取较为容易识别和计算的低纬度数据，还应用BP神经网络反向微调结构参数，更进一步地简化了所获取数据的复杂度，使BP神经网络对数据处理量大大降低，从而提高了计算效率、本发明将强分类器级联起来，以提高分类器的能力，其中强分类的数量大于5，提高了数据处理能力。
Description
技术领域
本发明涉及人脸识别技术领域，且更具体地涉及一种三维人脸识别方法。
背景技术
人脸识别技术已经成为了一种应用广泛的智能生物识别技术，传统的人脸识别方法是基于二维图像分析的理论进行人脸的表示、分析、提取特征并进行分类识别。虽然基于二维图像的人脸识别算法在半个多世纪的研究过程中，取得了丰硕的成果，但是研究表明，基于二维图像分析的人脸识别方法受到诸如光照、姿态、表情等成像条件的影响较大。与二维数据相比，三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好鲁棒性。采集获得的脸部三维形状数据不随光照、视图的变化而变化，且化妆等附属物对图像影响很大而对三维数据影响不明显；而且三维数据在信息量上比二维图像丰富，三维数据具有显式的空间形状信息，而二维图像本质上仅是三维物体在二维空间上的投影，在投影过程中损失了很多有利于识别的信息。
发明内容
针对现有技术的不足，本发明公开了一种无一种三维人脸识别方法，通过多特征融合级联分类器，通过将人脸感兴趣区域的灰度特征和纹理特征进行融合，以便于后续的分类器的训练；利用超强分类器，增强了分类的能力，提高了分类精度，克服了现有技术中存在的不足。
本发明采用以下技术方案：
一种三维人脸识别方法，所述方法包括以下步骤：
(S1)从图片库中输入人脸图片；
在本步骤中，在输入人脸图片之前，首先进行图片预处理，再设置人脸匹配模型；
其中图片预处理的方法为滤波去噪、灰度归一化处理、边缘检测或尺寸归一化处理；通过图处理，输出较为纯净的数据图像，消除大量的无关区域，
其中人脸匹配模型的方法为ICP配准方法，所述方法为将不同时间、不同图像区块、不同拍摄角度所获得的同一人脸图像，经几何变换使同名像点在位置上和方位上完全叠合的操作；
(S2)应用多特征数据融合模型对图片库中的人脸图片进行特征融合；
(S21)通过不同的手段提取图像特征，所述提取手段至少包括特征脸法、弹性图匹配法、奇异值分解法SVD、离散余弦变換法DCT或小波变换法、主成分分析PCA法或独立分量分析法ICA；
(S22)多特征信息融合，构建多特征信息融合算法；所述融合算法包括特征层融合算法、匹配层融合算法和决策层融合算法，其中：
在所述特征层融合算法中，输入的图像数据信息为通过多种不同方式进行人脸特征提取后，输出的人脸特征表达图像数据信息；
在所述匹配层融合算法中，输入的图像数据信息为所述特征层融合算法输出的匹配分值；
在所述决策层融合算法中，输入的图像数据信息为所述匹配层融合算法输出的数据信息，所述决策层融合算法输出最后的判别结果；
(S23)输出融合后的数据信息；
在数据图像输出时，对输出图像进行判断，如果输出图像满足用户需求时，则输出融合后的数据图像，如果输出图像不满足用户需求时，则返回特征层融合算法，重新进行数据融合；
(S3)应用深度学习算法对融合后的人脸信息进行学习、训练；其中所述深度学习算法模型为DBN深度学习算法模型，所述DBN深度学习算法模型算法步骤为；
(1)采用CD-1算法将第一层RBM得到充分地训练，并在不同的特征空间内映射人脸图像特征向量，保存多个人脸图像特征信息，假设输入人脸图像样本为x，将第一层可视层记作为X，则第一个隐层h1的参数为{W1；α1}；
(2)完成第一层RBM输入后，则意味着输入的第一层RBM的权重和偏移量已经成为固定不变的层，此时，取决于隐性神经元的状态，将第二层RBM的向量输入；
(3)然后将第二层RBM进行充分训练，并且将第二RBM叠加在第一个上方；
以此类推，在最后一个RBM层中，利用以下逻辑函数计算每个元素：
然后再构成新的向量：
tl＝{tl1，tl2，tl3，...tlj}T
(7)
然后将该向量作为上一层hl+1的输入向量，其中：l∈{1，2，...，c-1}；
(4)按照步骤(1)-(3)以此类推，重复多次，然后将BP神经网络模型设置在DBN的最后一层，将RBM的输出特征向量作为该模型的输入特征向量，在训练好的每层RBM网络中，用户仅仅能核对自身层内的权值对该层特征向量映射是否达到最优，而非整个DBN的特征向量映射。最后BP神经网络的反向传播网络还将错误信息自顶向下传播至每一层RBM，需要微调整个DBN网络。
(5)为了识别人脸图像的方便，在整个电能计量人脸图像训练集中，通常设置有能够被用户所识别的标签信息。通过这种方式设置，能够在对第一层的RBM训练时，使RBM的显层具有可以一起进行训练的显性神经元和具有分类标签的神经元。最终得到hl+1层的参数{Wl+1；αl+1}，最后得出的训练结果为：
hl+1＝αl+(W1)Ttl (8)
6)完成整个DBN深度学习训练，构成了完整的DBN深度学习算法网络，获得DBN网络的参数集为：
{W1，W2，...，Wc；α1，α2，...，αc}。
再将RBM网络训练模型训练、整合的过程等同于对深层BP网络权值参数进行的初始化处理，这样减少了DBN深度学习算法模型的训练时间，在进行人脸图像信息识别时，启动DBN深度学习算法模型中的BP算法，对接收到的权值参数空间进行局部搜索，以节省收敛时间；
(S4)应用超强分类器进行数据分类；所述超强分类器为级联强分类器；
(S5)判断是否满足识别要求？如果满足识别要求，则输出识别图像数据；如果不满足识别要求，则返回步骤(S3)，重新进行数据识别。
在本发明中，所述步骤(S2)中，所述特征层融合算法的步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)对大数据降维处理后的特征进行归一化处理，进而判断子空间，使得每一个特征的协方差矩阵为单位矩阵；通过连接和互补的方式进行人脸图像信息融合；
(4)特征匹配，通过特征匹配模板进行人脸图像信息匹配；
(5)标准化分值处理；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh标准化方法；
(6)输出融合分值，分别将不同的输出信息求和，得出图像融合数值。
在本发明中，所述步骤(S2)中，所述匹配层融合算法的步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)标准化特征；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh标准化方法；
(4)输出融合分值；
(5)判别子空间；
(6)特征匹配输出。
在本发明中，所述DBN深度学习算法模型的层数大于3。
在本发明中，所述级联强分类器为包含Adaboost算法的Haar分类器。
在本发明中，所述Haar分类器融合类Haar特征、积分图法、Adaboost算法和级联。
在本发明中，其中Haar分类器主要步骤为：
(1)提取类Haar特征；
(2)利用积分图法对类Haar特征提取进行加速；
(3)使用Adaboost算法训练强分类器，区分出人脸和非人脸；
(4)使用筛选式级联把强的分类器级联在一起，从而提高检测准确度。
在本发明中，所述类Haar特征为矩形特征中白色区域对应的像素值的和减去黑色区域对应的像素值的和。
在本发明中，所述AdaBoost分类器的工作方法为：
(1)数据样本选择：在采集到的数据中，假设训练集{(x1，y1)、(x2，y2)，…，(xn，yn)}，在该训练集中，假设Xi是输入的数据训练样本向量，yi是AdaBoost分类器分类的类别标志；
(2)初始化：在对数据样本进行初始化时，对所有数据训练样本赋予相同的权重D＝1/n，然后用AdaBoost分类器学习算法对训练样本集进行N轮学习训练；其中：D1(xi)＝1/n，i＝1，2，…，n。
(3)训练权值，将弱分类器训练成强分类器后，在权值Dt下，对弱学习算法进行训练，得出预测函数ht：X→{-1，+1}；
(4)输出预测值，并对预测值的误差率进行评估，误差计算率公式为：
εt＝∑Dt(xi)[ht(xi)≠yi] 式(1)
(5)判断是否满足要求，当ht(xi)≠yi时，ht(xi)＝-1Dt(xi)exp(-αtyiht(xi)) 式(2)
当ht(xi)＝yi时，
yiht(xi)＝ea 式(3)
其中Zt是将以下公式进行归一化为：
(6)输出最终的预测函数，得出归一化图像数据，当N轮训练结束后，最终得出预测函数为：
在本发明中，所述级联强分类器为将训练出的强分类器相加，所述强分类器的数量大于5。
积极意义效果
本发明采用多特征融合超强级联分类器，通过将人脸感兴趣区域的灰度特征和纹理特征进行融合，以便于后续的分类器的训练；
本发明应用深度学习算法对融合后的人脸信息进行学习、训练，实现了融合各种人脸图像后的深度学习，挖掘出隐藏在表面图像内的深层含义；在深度学习过程中，并应用了BP神经网络模型实现了反馈式学习，不仅将获取的高纬度数据信息进行降维处理，获取较为容易识别和计算的低纬度数据，还应用BP神经网络反向微调结构参数，更进一步地简化了所获取数据的复杂度，使BP神经网络对数据处理量大大降低，从而提高了计算效率，
本发明将强分类器级联起来，以提高分类器的能力，其中强分类的数量大于5，提高了数据处理能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种三维人脸识别方法的流程示意图；
图2为本发明一种三维人脸识别方法中基于多特征融合级联分类器的流程示意图；
图3为本发明一种三维人脸识别方法中构建多特征信息融合算法的示意图；
图4为本发明一种三维人脸识别方法中多特征数据融合模型的构建方法；
图5为本发明一种三维人脸识别方法中匹配层多特征融合多特征数据融合模型的构建方法；
图6为本发明一种三维人脸识别方法中特征层多特征融合多特征数据融合模型的构建方法；
图7为本发明一种三维人脸识别方法中DBN深度学习算法模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种三维人脸识别方法，所述方法包括以下步骤：
(S1)从图片库中输入人脸图片；
在本步骤中，在输入人脸图片之前，首先进行图片预处理，再设置人脸匹配模型；
其中图片预处理的方法为滤波去噪、灰度归一化处理、边缘检测或尺寸归一化处理；通过图处理，输出较为纯净的数据图像，消除大量的无关区域；
其中人脸匹配模型的方法为ICP配准方法，所述方法为将不同时间、不同图像区块、不同拍摄角度所获得的同一人脸图像，经几何变换使同名像点在位置上和方位上完全叠合的操作；
在本步骤的预处理步骤中，人脸识别系统中重要的一步就是人脸图像的预处理过程。由于受各种因素的影响，输入的图像质量不统一，不能够直接将图像用于后续的人脸识别过程中，很大程度上影响识别的性能。因此，图像预处理具有规范统一的标准一尽可能消除在尺寸大小、姿态、明暗程度、面部遮挡物等方面对识别性能的影响。不同的人脸识别系统根据其采用的图像来源和识别算法需要不同，采用的预处理方法也不同。常用的人脸图像预处理方法有：滤波去噪、灰度变换(灰度归一化)、图像二值化、边缘检测、尺寸归一化等。用在同一系统中的可能只有其中一种或几种预处理方法。下面对每种步骤分别进行说明。
(1)滤波去噪：噪声给图像带来的失真和降质，在特征提取前采用滤波的方式去除噪声是人脸识别系统中必要的步骤。滤波的方法很多，有线性滤波、中值滤波、自适应滤波等。
(2)灰度变换(也叫灰度归一化)：灰度变换是图像增强技术中的一种。通过灰度变換可对原始图像中的光照不均进行补偿，使得待识别人脸图像遵循同一或者相似的灰度分布。只有这样，不同图像在特征提取和识别时才具有可比性。这一过程也被称作灰度归一化。常用在人脸识别系统中的灰度变换方法主要有：基于图像统计特征的直方图均衡化、直方图规定化和灰度均值方差标准化三种方法。
(3)边缘检测：在图像处理中，图像的局部不连续性称之为″边缘″，图像的边缘提取就是保留原始图像中这些重要的边缘信息，而又使得总的数据量减少便于以后的处理。从数学上分析边缘提取是保留图像的灰度变化剧烈的区域；从信号处理的角度来看灰度变化剧烈的区域就是图像频率较高的区域，可以用高通滤波器进行滤波保留。对输人人脸图像进行边缘检测是很多人脸识别系统在人脸检测和定位时采用的预处理方法。边缘检测的方法很多，主要有：微分算子法、sobe1算子法、拉普拉斯算子法、canny算子法等。每种算子对不同方向边缘的检测能力和抑制噪声的能力都不同。
(4)尺寸归一化：人脸图像的尺度归一化包括图像的平移、旋转、缩放和标准切割等处理过程。平移变换大概是几何变換中最简单的一种，图像平移体现了人脸在图像平面内的平移不变性，人脸图像的旋转是使人眼和水平轴平行，以人脸双眼中心为旋转点，将图像的所有像素进行旋转，这保证人脸中心位置的一致性，体现了人脸在图像平面内的旋转不变性。
(S2)应用多特征数据融合模型对图片库中的人脸图片进行特征融合；
(S21)通过不同的手段提取图像特征，所述提取手段至少包括特征脸法、弹性图匹配法、奇异值分解法SVD、离散余弦变換法DCT或小波变换法、主成分分析PCA法或独立分量分析法ICA；
(S22)多特征信息融合，构建多特征信息融合算法；所述融合算法包括特征层融合算法、匹配层融合算法和决策层融合算法，其中：
在所述特征层融合算法中，输入的图像数据信息为通过多种不同方式进行人脸特征提取后，输出的人脸特征表达图像数据信息；
在所述匹配层融合算法中，输入的图像数据信息为所述特征层融合算法输出的匹配分值；
在所述决策层融合算法中，输入的图像数据信息为所述匹配层融合算法输出的数据信息，所述决策层融合算法输出最后的判别结果；
(S23)输出融合后的数据信息；
在数据图像输出时，对输出图像进行判断，如果输出图像满足用户需求时，则输出融合后的数据图像，如果输出图像不满足用户需求时，则返回特征层融合算法，重新进行数据融合；
(S3)应用深度学习算法对融合后的人脸信息进行学习、训练；其中所述深度学习算法模型为DBN深度学习算法模型，所述DBN深度学习算法模型算法步骤为：
(1)采用CD-1算法将第一层RBM得到充分地训练，并在不同的特征空间内映射人脸图像特征向量，保存多个人脸图像特征信息，假设输入人脸图像样本为x，将第一层可视层记作为X，则第一个隐层h1的参数为{W1；α1}；
(2)完成第一层RBM输入后，则意味着输入的第一层RBM的权重和偏移量已经成为固定不变的层，此时，取决于隐性神经元的状态，将第二层RBM的向量输入；
(3)然后将第二层RBM进行充分训练，并且将第二RBM叠加在第一个上方；
以此类推，在最后一个RBM层中，利用以下逻辑函数计算每个元素：
然后再构成新的向量：
tl＝{tl1，tl2，tl3，...tlj}T
(7)
然后将该向量作为上一层hl+1的输入向量，其中：l∈{l，2，...，c-l}；
(4)按照步骤(1)-(3)以此类推，重复多次，然后将BP神经网络模型设置在DBN的最后一层，将RBM的输出特征向量作为该模型的输入特征向量，在训练好的每层RBM网络中，用户仅仅能核对自身层内的权值对该层特征向量映射是否达到最优，而非整个DBN的特征向量映射。最后BP神经网络的反向传播网络还将错误信息自顶向下传播至每一层RBM，需要微调整个DBN网络。
(5)为了识别人脸图像的方便，在整个电能计量人脸图像训练集中，通常设置有能够被用户所识别的标签信息。通过这种方式设置，能够在对第一层的RBM训练时，使RBM的显层具有可以一起进行训练的显性神经元和具有分类标签的神经元。最终得到hl+1层的参数{Wl+1；αl+1}，最后得出的训练结果为：
hl+1＝αl+(Wl)Ttl (8)
(6)完成整个DBN深度学习训练，构成了完整的DBN深度学习算法网络，获得DBN网络的参数集为：
{W1，W2，...，Wc；α1，α2，...，αc}。
再将RBM网络训练模型训练、整合的过程等同于对深层BP网络权值参数进行的初始化处理，这样减少了DBN深度学习算法模型的训练时间，在进行人脸图像信息识别时，启动DBN深度学习算法模型中的BP算法，对接收到的权值参数空间进行局部搜索，以节省收敛时间；
(S4)应用超强分类器进行数据分类；所述超强分类器为级联强分类器；
(S5)判断是否满足识别要求？如果满足识别要求，则输出识别图像数据；如果不满足识别要求，则返回步骤(S3)，重新进行数据识别。
在具体实施例中，所述步骤(S2)中，所述特征层融合算法的步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)对大数据降维处理后的特征进行归一化处理，进而判断子空间，使得每一个特征的协方差矩阵为单位矩阵；通过连接和互补的方式进行人脸图像信息融合；
(4)特征匹配，通过特征匹配模板进行人脸图像信息匹配；
(5)标准化分值处理；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh标准化方法；
(6)输出融合分值，分别将不同的输出信息求和，得出图像融合数值。
在具体实施例中，所述步骤(S2)中，所述匹配层融合算法类似于上述步骤，其步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)标准化特征；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh标准化方法；
(4)输出融合分值；
(5)判别子空间；
(6)特征匹配输出。
在具体实施例中，所述DBN深度学习算法模型的层数大于3。在具体实施例中，所述级联强分类器为包含Adaboost算法的Haar分类器。
在具体实施例中，所述Haar分类器融合类Haar特征、积分图法、Adaboost算法和级联。
在具体实施例中，其中Haar分类器主要步骤为：
(1)提取类Haar特征；
(2)利用积分图法对类Haar特征提取进行加速；
(3)使用Adaboost算法训练强分类器，区分出人脸和非人脸；
(4)使用筛选式级联把强的分类器级联在一起，从而提高检测准确度。
在具体实施例中，所述类Haar特征为矩形特征中白色区域对应的像素值的和减去黑色区域对应的像素值的和。
在具体实施例中，所述AdaBoost分类器的工作方法为：
(1)数据样本选择：在采集到的数据中，假设训练集{(x1，y1)、(x2，y2)，…，(xn，yn)}，在该训练集中，假设Xi是输入的数据训练样本向量，yi是AdaBoost分类器分类的类别标志；
(2)初始化：在对数据样本进行初始化时，对所有数据训练样本赋予相同的权重D＝1/n，然后用AdaBoost分类器学习算法对训练样本集进行N轮学习训练；其中：D1(xi)＝1/n，i＝1，2，…，n。
(3)训练权值，将弱分类器训练成强分类器后，在权值Dt下，对弱学习算法进行训练，得出预测函数ht：X→{-1，+1}；
(4)输出预测值，并对预测值的误差率进行评估，误差计算率公式为：
εt＝∑Dt(xi)[ht(xi)≠yi] 式(1)
(5)判断是否满足要求，当ht(xi)≠yi时，
ht(xi)＝-1Dt(xi)exp(-αtyiht(xi)) 式(2)
当ht(xi)＝yi时，
yiht(xi)＝ea 式(3)
其中Zt是将以下公式进行归一化为：
(6)输出最终的预测函数，得出归一化图像数据，当N轮训练结束后，最终得出预测函数为：
在具体实施例中，所述级联强分类器为将训练出的强分类器相加，所述强分类器的数量大于5。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (10)
1.一种三维人脸识别方法，其特征在于：所述方法包括以下步骤：
(S1)从图片库中输入人脸图片；
在本步骤中，在输入人脸图片之前，首先进行图片预处理，再设置人脸匹配模型；
其中图片预处理的方法为滤波去噪、灰度归一化处理、边缘检测或尺寸归一化处理；通过图处理，输出较为纯净的数据图像，消除大量的无关区域，
其中人脸匹配模型的方法为ICP配准方法，所述方法为将不同时间、不同图像区块、不同拍摄角度所获得的同一人脸图像，经几何变换使同名像点在位置上和方位上完全叠合的操作；
(S2)应用多特征数据融合模型对图片库中的人脸图片进行特征融合；
(S21)通过不同的手段提取图像特征，所述提取手段至少包括特征脸法、弹性图匹配法、奇异值分解法SVD、离散余弦变換法DCT或小波变换法、主成分分析PCA法或独立分量分析法ICA；
(S22)多特征信息融合，构建多特征信息融合算法；所述融合算法包括特征层融合算法、匹配层融合算法和决策层融合算法，其中：
在所述特征层融合算法中，输入的图像数据信息为通过多种不同方式进行人脸特征提取后，输出的人脸特征表达图像数据信息；
在所述匹配层融合算法中，输入的图像数据信息为所述特征层融合算法输出的匹配分值；
在所述决策层融合算法中，输入的图像数据信息为所述匹配层融合算法输出的数据信息，所述决策层融合算法输出最后的判别结果；
(S23)输出融合后的数据信息；
在数据图像输出时，对输出图像进行判断，如果输出图像满足用户需求时，则输出融合后的数据图像，如果输出图像不满足用户需求时，则返回特征层融合算法，重新进行数据融合；
(S3)应用深度学习算法对融合后的人脸信息进行学习、训练；其中所述深度学习算法模型为DBN深度学习算法模型，所述DBN深度学习算法模型算法步骤为：
(1)采用CD-1算法将第一层RBM得到充分地训练，并在不同的特征空间内映射人脸图像特征向量，保存多个人脸图像特征信息，假设输入人脸图像样本为x，将第一层可视层记作为X，则第一个隐层h1的参数为{W1；α1}；
(2)完成第一层RBM输入后，则意味着输入的第一层RBM的权重和偏移量已经成为固定不变的层，此时，取决于隐性神经元的状态，将第二层RBM的向量输入；
(3)然后将第二层RBM进行充分训练，并且将第二RBM叠加在第一个上方；
以此类推，在最后一个RBM层中，利用以下逻辑函数计算每个元素：
然后再构成新的向量：
tl＝{tl1，tl2，tl3，...tlj}T
(7)
然后将该向量作为上一层hl+1的输入向量，其中：l∈{1，2，...，c-1}；
(4)按照步骤(1)-(3)以此类推，重复多次，然后将BP神经网络模型设置在DBN的最后一层，将RBM的输出特征向量作为该模型的输入特征向量，在训练好的每层RBM网络中，用户仅仅能核对自身层内的权值对该层特征向量映射是否达到最优，而非整个DBN的特征向量映射。最后BP神经网络的反向传播网络还将错误信息自顶向下传播至每一层RBM，需要微调整个DBN网络。
(5)为了识别人脸图像的方便，在整个电能计量人脸图像训练集中，通常设置有能够被用户所识别的标签信息。通过这种方式设置，能够在对第一层的RBM训练时，使RBM的显层具有可以一起进行训练的显性神经元和具有分类标签的神经元。最终得到hl+1层的参数{Wl+1；αl+1}，最后得出的训练结果为：
hl+1＝αl+(W1)Ttl (8)
6)完成整个DBN深度学习训练，构成了完整的DBN深度学习算法网络，获得DBN网络的参数集为：
{W1，W2，...，Wc；α1，α2，...，αc}。
再将RBM网络训练模型训练、整合的过程等同于对深层BP网络权值参数进行的初始化处理，这样减少了DBN深度学习算法模型的训练时间，在进行人脸图像信息识别时，启动DBN深度学习算法模型中的BP算法，对接收到的权值参数空间进行局部搜索，以节省收敛时间；
(S4)应用超强分类器进行数据分类；所述超强分类器为级联强分类器；
(S5)判断是否满足识别要求？如果满足识别要求，则输出识别图像数据；如果不满足识别要求，则返回步骤(S3)，重新进行数据识别。
2.根据权利要求1所述的一种三维人脸识别方法，其特征在于：
所述步骤(S2)中，所述特征层融合算法的步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)对大数据降维处理后的特征进行归一化处理，进而判断子空间，使得每一个特征的协方差矩阵为单位矩阵；通过连接和互补的方式进行人脸图像信息融合；
(4)特征匹配，通过特征匹配模板进行人脸图像信息匹配；
(5)标准化分值处理；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh 标准化方法；
(6)输出融合分值，分别将不同的输出信息求和，得出图像融合数值。
3.根据权利要求1所述的一种三维人脸识别方法，其特征在于：所述步骤(S2)中，所述匹配层融合算法的步骤为：
(1)从脸图像数据库中分别提取试验样本；
(2)利用主成分分析PCA进行大数据降维处理；
(3)标准化特征；其中所述标准化方法为Min-Max标准化方法、Z-score标准化方法、Mean-MAD标准化方法或Tanh标准化方法；
(4)输出融合分值；
(5)判别子空间；
(6)特征匹配输出。
4.根据权利要求1所述的一种三维人脸识别方法，其特征在于：所述DBN深度学习算法模型的层数大于3。
5.根据权利要求1所述的一种三维人脸识别方法，其特征在于：所述级联强分类器为包含Adaboost算法的Haar分类器。
6.根据权利要求5所述的一种三维人脸识别方法，其特征在于：所述Haar分类器融合类Haar特征、积分图法、Adaboost算法和级联。
7.根据权利要求6所述的一种三维人脸识别方法，其特征在于：其中Haar分类器主要步骤为：
(1)提取类Haar特征；
(2)利用积分图法对类Haar特征提取进行加速；
(3)使用Adaboost算法训练强分类器，区分出人脸和非人脸；
(4)使用筛选式级联把强的分类器级联在一起，从而提高检测准确度。
8.根据权利要求7所述的一种三维人脸识别方法，其特征在于：所述类Haar特征为矩形特征中白色区域对应的像素值的和减去黑色区域对应的像素值的和。
9.根据权利要求7所述的一种三维人脸识别方法，其特征在于：所述AdaBoost分类器的工作方法为：
(1)数据样本选择：在采集到的数据中，假设训练集{(x1，y1)、(x2，y2)，…，(xn，yn)}，在该训练集中，假设Xi是输入的数据训练样本向量，yi是AdaBoost分类器分类的类别标志；
(2)初始化：在对数据样本进行初始化时，对所有数据训练样本赋予相同的权重D＝1/n，然后用AdaBoost分类器学习算法对训练样本集进行N轮学习训练；其中：D1(xi)＝1/n，i＝1，2，…，n。
(3)训练权值，将弱分类器训练成强分类器后，在权值Dt下，对弱学习算法进行训练，得出预测函数ht：X→{-1，+1}；
(4)输出预测值，并对预测值的误差率进行评估，误差计算率公式为：
εt＝∑Dt(xi)[ht(xi)≠yi] 式(1)
(5)判断是否满足要求，当ht(xi)≠yi时，
ht(xi)＝-1Dt(xi)exp(-αtyiht(xi)) 式(2)
当ht(xi)＝yi时，
yiht(xi)＝ea 式(3)
其中Zt是将以下公式进行归一化为：
(6)输出最终的预测函数，得出归一化图像数据，当N轮训练结束后，最终得出预测函数为：
10.根据权利要求5所述的一种三维人脸识别方法，其特征在于：所述级联强分类器为将训练出的强分类器相加，所述强分类器的数量大于5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010424913.1A CN111582223A (zh) | 2020-05-19 | 2020-05-19 | 一种三维人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010424913.1A CN111582223A (zh) | 2020-05-19 | 2020-05-19 | 一种三维人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582223A true CN111582223A (zh) | 2020-08-25 |
Family
ID=72112250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010424913.1A Pending CN111582223A (zh) | 2020-05-19 | 2020-05-19 | 一种三维人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582223A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112329597A (zh) * | 2020-11-02 | 2021-02-05 | 广州杰赛科技股份有限公司 | 一种人脸识别的方法和装置 |
| EP4068081A1 (en) * | 2021-03-31 | 2022-10-05 | Revieve Oy | Method and system for measuring a feature of persons |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089376A (ko) * | 2005-02-04 | 2006-08-09 | 오병주 | Pca와 역전파 알고리즘을 이용한 얼굴인식 방법 |
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| CN101650777A (zh) * | 2009-09-07 | 2010-02-17 | 东南大学 | 一种基于密集点对应的快速三维人脸识别方法 |
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
| CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
| CN107578007A (zh) * | 2017-09-01 | 2018-01-12 | 杭州电子科技大学 | 一种基于多特征融合的深度学习人脸识别方法 |
| CN109359608A (zh) * | 2018-10-25 | 2019-02-19 | 电子科技大学 | 一种基于深度学习模型的人脸识别方法 |
| CN110852310A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
-
2020
- 2020-05-19 CN CN202010424913.1A patent/CN111582223A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089376A (ko) * | 2005-02-04 | 2006-08-09 | 오병주 | Pca와 역전파 알고리즘을 이용한 얼굴인식 방법 |
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| CN101650777A (zh) * | 2009-09-07 | 2010-02-17 | 东南大学 | 一种基于密集点对应的快速三维人脸识别方法 |
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
| CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
| CN107578007A (zh) * | 2017-09-01 | 2018-01-12 | 杭州电子科技大学 | 一种基于多特征融合的深度学习人脸识别方法 |
| CN109359608A (zh) * | 2018-10-25 | 2019-02-19 | 电子科技大学 | 一种基于深度学习模型的人脸识别方法 |
| CN110852310A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
Non-Patent Citations (9)
| Title |
|---|
| 章新志: "基于深度置信网络的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 章新志: "基于深度置信网络的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2020, no. 3, 15 March 2020 (2020-03-15), pages 2 * |
| 边航: "人脸检测与识别算法研究", 《中国优秀硕士学位论文全文数据库》, 15 July 2018 (2018-07-15) * |
| 边航: "人脸检测与识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 边航: "人脸检测与识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2018, no. 7, 15 July 2018 (2018-07-15), pages 1 - 5 * |
| 邓超等: "《数字图像处理与模式识别研究》", 30 June 2018, pages: 237 - 238 * |
| 马光凯: "基于多特征融合的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库》, 15 April 2014 (2014-04-15) * |
| 马光凯: "基于多特征融合的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 马光凯: "基于多特征融合的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2014, no. 4, 15 April 2014 (2014-04-15), pages 2 - 4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
| CN112329597A (zh) * | 2020-11-02 | 2021-02-05 | 广州杰赛科技股份有限公司 | 一种人脸识别的方法和装置 |
| EP4068081A1 (en) * | 2021-03-31 | 2022-10-05 | Revieve Oy | Method and system for measuring a feature of persons |
| US11657648B2 (en) | 2021-03-31 | 2023-05-23 | Revieve Oy | Method and system for measuring a feature of persons |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345508B (zh) | 一种基于两阶段神经网络的骨龄评价方法 | |
| CN109389074B (zh) | 一种基于人脸特征点提取的表情识别方法 | |
| Hatem et al. | A survey of feature base methods for human face detection | |
| De Mira et al. | Image feature extraction for application of biometric identification of iris-a morphological approach | |
| CN111340824B (zh) | 一种基于数据挖掘的图像特征分割方法 | |
| CN111582223A (zh) | 一种三维人脸识别方法 | |
| Johnson et al. | Sparse codes as alpha matte | |
| Juneja et al. | An extensive study on traditional-to-recent transformation on face recognition system | |
| CN109947960B (zh) | 基于深度卷积的人脸多属性联合估计模型构建方法 | |
| Jia et al. | Nonlocal regularized CNN for image segmentation | |
| Molina-Giraldo et al. | Image segmentation based on multi-kernel learning and feature relevance analysis | |
| Pathak et al. | Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching | |
| Achban et al. | Wrist hand vein recognition using local line binary pattern (LLBP) | |
| Karamizadeh et al. | Race classification using gaussian-based weight K-nn algorithm for face recognition. | |
| CN111914749A (zh) | 基于神经网络的车道线识别方法及其系统 | |
| Qiu | Convolutional neural network based age estimation from facial image and depth prediction from single image | |
| Deepa et al. | Age estimation in facial images using histogram equalization | |
| Giap et al. | Adaptive multiple layer retinex-enabled color face enhancement for deep learning-based recognition | |
| Karungaru et al. | Face recognition in colour images using neural networks and genetic algorithms | |
| Huang et al. | Deep Multimodal Fusion Autoencoder for Saliency Prediction of RGB‐D Images | |
| Muthusamy et al. | Deep belief network for solving the image quality assessment in full reference and no reference model | |
| Paul et al. | Face detection using skin color recursive clustering and recognition using multilinear PCA | |
| Jaison | Gender identification system for crime scence analysis using fingerprints | |
| Zayed et al. | A New Refined-TLBO Aided Bi-Generative Adversarial Network for Finger Vein Recognition | |
| Serdaroglu et al. | Defect detection in textile fabric images using subband domain subspace analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |