CN108573284A - 基于正交实验分析的深度学习人脸图像扩充方法 - Google Patents

基于正交实验分析的深度学习人脸图像扩充方法 Download PDF

Info

Publication number
CN108573284A
CN108573284A CN201810346925.XA CN201810346925A CN108573284A CN 108573284 A CN108573284 A CN 108573284A CN 201810346925 A CN201810346925 A CN 201810346925A CN 108573284 A CN108573284 A CN 108573284A
Authority
CN
China
Prior art keywords
image
layer
characteristic patterns
neural networks
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810346925.XA
Other languages
English (en)
Inventor
裴炤
徐航
马苗
彭亚丽
武杰
曹文飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201810346925.XA priority Critical patent/CN108573284A/zh
Publication of CN108573284A publication Critical patent/CN108573284A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于正交实验分析的深度学习人脸图像扩充方法，包括：扩充人脸图像、训练深度卷积神经网络、正交实验、优化深度卷积神经网络步骤。本发明采用正交实验分析了不同的人脸图像扩充方法对人脸识别率的影响，确定了最佳的扩充方法。使用人脸图像扩充方法容易获得大量人脸图像数据，解决了实际应用中人脸采集耗时长、效率低的技术问题。同时采用深度卷积神经网络对扩充后的人脸图像进行训练，解决了人脸识别方法在实际应用中识别率低的技术问题。

Description

基于正交实验分析的深度学习人脸图像扩充方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于正交实验分析的深度学习人脸图像扩充方法。
背景技术
人脸识别是一种生物特征识别技术，卷积神经网络的提出进一步提高了人脸识别率，由于其可靠性强，识别率高等优点，人脸识别具有广泛的应用前景。文献“A unifiedembedding for face recognition and clustering.In Proc.CVPR,2015，p815-823”公开了一种基于深度学习的人脸识别方法。该方法以大量人脸图片作为输入，通过深度卷积神经网络学习人脸特征，将人脸图像映射到欧式空间，空间距离的长度表示人脸图像的相似性，通过比较人脸图像的空间距离长度完成人脸识别。然而，该方法在训练深度卷积神经网络时使用了大量人脸图像，在实际应用中采集人脸图像效率低、耗时长，获取大量的人脸图像数据比较困难。对人脸图像进行扩充是一种有效的方法，但人脸图像扩充方法复杂多样。因此分析不同扩充方法对人脸识别率的影响，确定最佳的扩充方法是十分必要的。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种人脸图像获取简单、效率高、人脸识别效果好的基于正交实验分析的深度学习人脸图像扩充方法。
解决上技术问题所采用的技术方案由下述步骤组成：
(1)扩充人脸图像
建立原始人脸图像数据库I为：
I＝{Ik|k∈[1,N]} (1)
其中N是初始人脸图像的总数量为有限的正整数，Ik为一幅人脸图像，k为原始人脸图像数据库I中图像的编号。
使用不同的数据扩充方法对原始人脸图像数据库I进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，得到扩充后的人脸数据集：
式中为平移后的图像，为旋转后的图像，为缩放后的图像，为亮度增强后的图像，为经过均值滤波处理后的图像，为经过中值滤波处理后的图像，为经过高斯滤波处理后的图像，为经过双边滤波处理后的图像。
经扩充后的人脸数据集作为训练集如下：
D＝{(Ii′,Ti)|i∈[1,U]} (3)
式中Ii′为待训练的人脸图像，Ti为Ii′相应的人脸标签，U是D中图片的总数量为有限的正整数，i为D中图像的编号。
(2)训练深度卷积神经网络
卷积神经网络包括输入层(1)、13个卷积层(2)，5个池化层(3)、3个全连接层(4)、输出层(5)，连接关系如下：
输入层(1)是大小为224×224的人脸图像，输入层(1)后依次连接2个含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后依次连接2个含有128个特征图的卷积层(2)，含有128个特征图的卷积层(2)后连接含有128个特征图的池化层(3)，含有128个特征图的池化层(3)后依次连接3个含有256个特征图的卷积层(2)，含有256个特征图的卷积层(2)后连接含有256个特征图的池化层(3)，含有256个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接全连接层(4)和输出层(5)，构建成深度卷积神经网络。
将扩充后的人脸图像数据集作为训练数据输入到深度卷积神经网络中进行训练，训练过程如下：
式中W(m,n)是卷积层(2)中卷积核的元素，m、n分别为卷积核的第m行、第n列，C(x,y)是巻积操作后的输出矩阵在第x行第y列的元素，s为卷积核的大小，b为卷积层的偏置值；用公式(5)对卷积层得到的特征图进行下采样操作。
P(x,y)＝max(C(x+m′,y+n′)) (5)
式中P(x,y)是池化层输出矩阵的元素，m′、n′是下采样操作所采取的步长为有限的正整数；用公式(6)得到全连接层(4)的输出：
式中，Fq表示在神经元q处的输出，W′为全连接层的权重矩阵，s′为权重矩阵的大小，b′为全连接层的偏置值。
用公式(7)作为网络的损失函数，使用小批量梯度下降算法来训练深度卷积神经网络：
式中M是一个批次中训练图片的数量为有限的正整数，J为输出层(5)神经元的数量，q和Z为神经元的编号。
在训练过程中使用反向传播方法更新深度卷积神经网络的权重wt′如下：
式中μ为动量，Δvt-1为迭代次数为t-1时更新的权重变化量，α是学习率为0.0005～0.005，wt是迭代次数为t时的权重。
(3)正交实验
用图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波作为不同因素，不同水平组合的数据扩充方法对原始人脸图像数据库I进行扩充，并进行正交实验，训练深度卷积神经网络，确定相应的人脸识别率，用极差分析法对正交实验的结果进行分析，确定最佳的人脸数据扩充方法，对原始人脸图像数据库进行扩充，重新训练深度卷积神经网络。
(4)优化深度卷积神经网络
调整深度卷积神经网络的层数、学习率、每层网络的卷积核个数和大小，重复实验，选择人脸识别率最高的模型，对参数及训练好的模型保存。
在本发明的扩充人脸图像步骤(1)中，本发明的图像旋转是将图像顺时针或逆时针旋转10°～40°，图像放大是将原图像放大1.2～1.8倍，图像平移是将图像向左或向右平移12～24个像素、向上或向下平移10～20个像素，亮度增强是将亮度增加为原图像的1.2～1.8倍。
采用均值滤波器进行滤波，均值滤波器的大小为3×3～5×5，采用中值滤波器进行滤波，中值滤波器的大小为3×3～7×7，采用高斯滤波器进行滤波，高斯滤波器的大小为3×3～7×7，采用双边滤波器进行滤波，双边滤波器的大小为3×3～7×7。
在本发明的训练深度卷积神经网络步骤(2)中，本发明的卷积层(2)中卷积核的大小为3×3，卷积操作的步长为1、边缘填充的像素数量为1。本发明的池化层(3)中滤波器的大小为2×2、下采样操作的步长为2、边缘填充的像素数量为。本发明的全连接层(4)的特征图数量依次为4096、4096、54。
本发明针对不同的人脸图像扩充方法，采用正交实验分析了不同扩充方法对人脸识别率的影响，确定了最佳的人脸图像扩充方法，容易获得大量人脸图像数据，解决了实际应用中人脸采集耗时长、效率低的问题，同时采用深度卷积神经网络对扩充后的人脸图像进行训练，解决了人脸识别方法在实际应用中识别率低的技术问题。可推广到解决其他深度学习所用的图像数据不足的技术问题中。
附图说明
图1是本发明实施例1的流程图。
图2是实施例1的深度卷积神经网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
以54人的班级使用人脸识别进行课堂考勤为例，在图1中，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库I为：
I＝{Ik|k∈[1,N]} (1)
式中N是初始人脸图像的总数量为540，Ik为一幅人脸图像，k为原始人脸图像数据库I中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库I进行扩充，本实施例的数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，本实施例图像旋转是将图像顺时针旋转25°，图像放大是将图像放大1.5倍，图像平移是将图像向右平移18个像素、向下平移15个像素，亮度增强是将亮度增加为原图像的1.5倍，采用均值滤波器进行滤波，均值滤波器的大小为4×4，采用中值滤波器进行滤波，中值滤波器的大小为5×5，采用高斯滤波器进行滤波，高斯滤波器的大小为5×5，采用双边滤波器进行滤波，双边滤波器的大小为5×5。得到扩充后的人脸数据集：
式中为平移后的图像，为旋转后的图像，为缩放后的图像，为亮度增强后的图像，为经过均值滤波处理后的图像，为经过中值滤波处理后的图像，为经过高斯滤波处理后的图像，为经过双边滤波处理后的图像。
训练所用的人脸图像数据集为
D＝{(Ii′,Ti)|i∈[1,U]} (3)
式中Ii′为待训练的人脸图像，Ti为Ii′相应的学生学号，U是D中图片的总数量为4320，i为D中图像的编号。
(2)训练深度卷积神经网络
卷积神经网络包括输入层1、13个卷积层2，5个池化层3、3个全连接层4、输出层5，连接关系如下：
在图2中，输入层1是大小为224×224的人脸图像，输入层1后依次连接2个含有64个特征图的卷积层2，含有64个特征图的卷积层2后连接含有64个特征图的池化层3，含有64个特征图的池化层3后依次连接2个含有128个特征图的卷积层2，含有128个特征图的卷积层2后连接含有128个特征图的池化层3，含有128个特征图的池化层3后依次连接3个含有256个特征图的卷积层2，含有256个特征图的卷积层2后连接含有256个特征图的池化层3，含有256个特征图的池化层3后依次连接3个含有512个特征图的卷积层2，含有512个特征图的卷积层2后连接含有512个特征图的池化层3，含有512个特征图的池化层3后依次连接3个含有512个特征图的卷积层2，含有512个特征图的卷积层2后连接含有512个特征图的池化层3，含有512个特征图的池化层3后依次连接全连接层4和输出层5，构建成深度卷积神经网络。
将扩充后的人脸图像数据集作为训练数据输入到深度卷积神经网络中进行训练，训练过程如下：
式中W(m,n)是卷积层中卷积核的元素，s是卷积核的大小为3，卷积操作的步长为1、边缘填充的像素数量为1，m、n分别为卷积核的第m行、第n列，C(x,y)是巻积后的输出矩阵在第x行第y列的元素，b是卷积层的偏置值为1；用公式(5)对卷积层得到的特征图进行下采样操作：
P(x,y)＝max(C(x+m′,y+n′)) (5)
式中P(x,y)是池化层输出矩阵的元素，池化层中滤波器的大小为2×2、边缘填充的像素数量为0，m′、n′是下采样操作所采取的步长为2；用公式(6)得到全连接层的输出：
式中Fq为全连接层在神经元q处的输出，W′为全连接层的权重矩阵，s′为权重矩阵的大小，b′是全连接层的偏置值为1，全连接层的特征图数量依次为4096、4096、54。
用公式(7)作为网络的损失函数，使用小批量梯度下降算法来训练深度卷积神经网络：
式中M是一个批次中训练图片的数量为64，J是输出层神经元的数量为54，q和Z为神经元的编号。
在训练过程中使用反向传播方法更新深度卷积神经网络的权重wt′如下：
式中μ为动量，Δvt-1为迭代次数为t-1时更新的权重变化量，α是学习率为0.001，wt是迭代次数为t时的权重。
(3)正交实验
用图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波作为不同因素，不同水平组合的数据扩充方法对原始人脸图像数据库I进行扩充。设立2组正交实验，对每个因素选取3个水平值，图像旋转是将图像顺时针旋转10°、25°、40°，也可采用逆时针旋转相同的角度，图像放大为原图像的1.2、1.5、1.8倍，图像平移是将图像向右平移12、18、24个像素和向下平移10、15、20个像素，亮度增强是将亮度增加为原图像的1.2、1.5、1.8倍。采用均值滤波的滤波器大小为3×3、4×4、5×5，采用中值滤波的滤波器大小为3×3、5×5、7×7，采用高斯滤波的滤波器大小为3×3、5×5、7×7，采用双边滤波的滤波器大小为3×3、5×5、7×7，正交表如表1和表2所示。进行正交实验，训练深度卷积神经网络，确定相应的人脸识别率，用极差分析法对正交实验的结果进行分析，确定最佳的人脸数据扩充方法，对初始人脸图像数据库进行扩充，重新训练深度卷积神经网络。
表1 4因素3水平的正交实验表
由表1可见，由极差分析法确定影响人脸识别率的因素由大到小为图像旋转、图像放大、亮度增强、图像平移。
表2 4因素3水平的正交实验表
由表2可见，由极差分析法确定影响人脸识别率的因素由大到小为双边滤波、中值滤波、高斯滤波、均值滤波。使用双边滤波与图像平移进行人脸图像扩充，比较相应人脸识别率，得到使用图像平移扩充后的人脸识别率高于双边滤波。因此，确定最佳的人脸图像扩充方法为3水平的图像放大、1水平的图像平移、1水平的图像旋转，3水平的亮度增强。
(4)优化深度卷积神经网络
调整深度卷积神经网络的层数、学习率、每层网络的卷积核个数和大小，重复实验，选择人脸识别率最高的模型，对参数及训练好的模型保存。
使用训练好的模型进行人脸识别，教师将在课堂上新采集的学生人脸图像作为模型的输入进行识别，得到每张人脸图像所对应的学号，完成课堂考勤。
实施例2
以54人的班级使用人脸识别进行课堂考勤为例，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库I为：
I＝{Ik|k∈[1,N]} (1)
式中N是初始人脸图像的总数量为540，Ik为一幅人脸图像，k为原始人脸图像数据库I中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库I进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，本实施例图像旋转是将图像顺时针旋转10°，图像放大是将图像放大1.2倍，图像平移是将图像向右平移12个像素、向下平移10个像素，亮度增强是将亮度增加为原图像的1.2倍。采用均值滤波器进行滤波，均值滤波器的大小为3×3，采用中值滤波器进行滤波，中值滤波器的大小为3×3，采用高斯滤波器进行滤波，高斯滤波器的大小为3×3，采用双边滤波器进行滤波，双边滤波器的大小为3×3。得到扩充后的人脸数据集：
式中为平移后的图像，为旋转后的图像，为缩放后的图像，为亮度增强后的图像，为经过均值滤波处理后的图像，为经过中值滤波处理后的图像，为经过高斯滤波处理后的图像，为经过双边滤波处理后的图像。
训练所用的人脸图像数据集为：
D＝{(Ii′,Ti)|i∈[1,U]} (3)
式中Ii′为待训练的人脸图像，Ti为Ii′相应的学生学号，U是D中图片的总数量为4320，i为D中图像的编号。
步骤(2)～步骤(4)与实施例1相同。得到每张人脸图像所对应的学号，完成课堂考勤。
实施例3
以54人的班级使用人脸识别进行课堂考勤为例，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库I为：
I＝{Ik|k∈[1,N]} (1)
式中N是初始人脸图像的总数量为540，Ik为一幅人脸图像，k为原始人脸图像数据库I中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库I进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波。本实施例图像旋转是将图像顺时针旋转40°，图像放大是将图像放大1.8倍，图像平移是将图像向左平移24个像素、向下平移20个像素，亮度增强是将亮度增加为原图像的1.8倍。采用均值滤波器进行滤波，均值滤波器的大小为5×5，采用中值滤波器进行滤波，中值滤波器的大小为7×7，采用高斯滤波器进行滤波，高斯滤波器的大小为7×7，采用双边滤波器进行滤波，双边滤波器的大小为7×7。得到扩充后的人脸数据集：
式中为平移后的图像，为旋转后的图像，为缩放后的图像，为亮度增强后的图像，为经过均值滤波处理后的图像，为经过中值滤波处理后的图像，为经过高斯滤波处理后的图像，为经过双边滤波处理后的图像。
训练所用的人脸图像数据集为
D＝{(Ii′,Ti)|i∈[1,U]} (3)
式中Ii′为待训练的人脸图像，Ti为Ii′相应的学生学号，U是D中图片的总数量为4320，i为D中图像的编号。
步骤(2)～(4)与实施例1相同。得到每张人脸图像所对应的学号，完成课堂考勤。
对于不同学生人数学生使用人脸识别进行课堂考勤情况，与以上的实施例相同。

Claims (3)

1.一种基于正交实验分析的深度学习人脸图像扩充方法，其特征在于由下述步骤组成：
(1)扩充人脸图像
建立原始人脸图像数据库I为：
I＝{Ik|k∈[1,N]} (1)
其中N是初始人脸图像的总数量为有限的正整数，Ik为一幅人脸图像，k为原始人脸图像数据库I中图像的编号；
使用不同的数据扩充方法对原始人脸图像数据库I进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，得到扩充后的人脸数据集：
式中为平移后的图像，为旋转后的图像，为缩放后的图像，为亮度增强后的图像，为经过均值滤波处理后的图像，为经过中值滤波处理后的图像，为经过高斯滤波处理后的图像，为经过双边滤波处理后的图像；
经扩充后的人脸数据集作为训练集如下：
D＝{(I′i,Ti)|i∈[1,U]} (3)
式中I′i为待训练的人脸图像，Ti为I′i相应的人脸标签，U是D中图片的总数量为有限的正整数，i为D中图像的编号；
(2)训练深度卷积神经网络
卷积神经网络包括输入层(1)、13个卷积层(2)，5个池化层(3)、3个全连接层(4)、输出层(5)，连接关系如下：
输入层(1)是大小为224×224的人脸图像，输入层(1)后依次连接2个含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后依次连接2个含有128个特征图的卷积层(2)，含有128个特征图的卷积层(2)后连接含有128个特征图的池化层(3)，含有128个特征图的池化层(3)后依次连接3个含有256个特征图的卷积层(2)，含有256个特征图的卷积层(2)后连接含有256个特征图的池化层(3)，含有256个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接全连接层(4)和输出层(5)，构建成深度卷积神经网络；
将扩充后的人脸图像数据集作为训练数据输入到深度卷积神经网络中进行训练，训练过程如下：
式中W(m,n)是卷积层(2)中卷积核的元素，m、n分别为卷积核的第m行、第n列，C(x,y)是巻积操作后的输出矩阵在第x行第y列的元素，s为卷积核的大小，b为卷积层的偏置值；用公式(5)对卷积层得到的特征图进行下采样操作：
P(x,y)＝max(C(x+m′,y+n′)) (5)
式中P(x,y)是池化层输出矩阵的元素，m′、n′是下采样操作所采取的步长为有限的正整数；用公式(6)得到全连接层(4)的输出：
式中，Fq表示在神经元q处的输出，W′为全连接层的权重矩阵，s′为权重矩阵的大小，b′为全连接层的偏置值；
用公式(7)作为网络的损失函数，使用小批量梯度下降算法来训练深度卷积神经网络：
式中M是一个批次中训练图片的数量为有限的正整数，J为输出层(5)神经元的数量，q和Z为神经元的编号；
在训练过程中使用反向传播方法更新深度卷积神经网络的权重w′t如下：
式中μ为动量，Δvt-1为迭代次数为t-1时更新的权重变化量，α是学习率为0.0005～0.005，wt是迭代次数为t时的权重；
(3)正交实验
用图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波作为不同因素，不同水平组合的数据扩充方法对原始人脸图像数据库I进行扩充，并进行正交实验，训练深度卷积神经网络，确定相应的人脸识别率，用极差分析法对正交实验的结果进行分析，确定最佳的人脸数据扩充方法，对原始人脸图像数据库进行扩充，重新训练深度卷积神经网络；
(4)优化深度卷积神经网络
调整深度卷积神经网络的层数、学习率、每层网络的卷积核个数和大小，重复实验，选择人脸识别率最高的模型，对参数及训练好的模型保存。
2.根据权利要求1所述的基于正交实验分析的深度学习人脸图像扩充方法，其特征在于：在扩充人脸图像步骤(1)中，所述的图像旋转是将图像顺时针或逆时针旋转10°～40°，图像放大是将原图像放大1.2～1.8倍，图像平移是将图像向左或向右平移12～24个像素、向上或向下平移10～20个像素，亮度增强是将亮度增加为原图像的1.2～1.8倍；
采用均值滤波器进行滤波，均值滤波器的大小为3×3～5×5，采用中值滤波器进行滤波，中值滤波器的大小为3×3～7×7，采用高斯滤波器进行滤波，高斯滤波器的大小为3×3～7×7，采用双边滤波器进行滤波，双边滤波器的大小为3×3～7×7。
3.根据权利要求1所述的基于正交实验分析的深度学习人脸图像扩充方法，其特征在于：在训练深度卷积神经网络步骤(2)中，所述的卷积层(2)中卷积核的大小为3×3，卷积操作的步长为1、边缘填充的像素数量为1；所述的池化层(3)中滤波器的大小为2×2、下采样操作的步长为2、边缘填充的像素数量为0；所述的全连接层(4)的特征图数量依次为4096、4096、54。
CN201810346925.XA 2018-04-18 2018-04-18 基于正交实验分析的深度学习人脸图像扩充方法 Pending CN108573284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810346925.XA CN108573284A (zh) 2018-04-18 2018-04-18 基于正交实验分析的深度学习人脸图像扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810346925.XA CN108573284A (zh) 2018-04-18 2018-04-18 基于正交实验分析的深度学习人脸图像扩充方法

Publications (1)

Publication Number Publication Date
CN108573284A true CN108573284A (zh) 2018-09-25

Family

ID=63574992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810346925.XA Pending CN108573284A (zh) 2018-04-18 2018-04-18 基于正交实验分析的深度学习人脸图像扩充方法

Country Status (1)

Country Link
CN (1) CN108573284A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN109766810A (zh) * 2018-12-31 2019-05-17 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN111223058A (zh) * 2019-12-27 2020-06-02 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别
CN112560306A (zh) * 2020-12-11 2021-03-26 上海河口海岸科学研究中心 一种确定入海河口生态植被水流阻力的方法
CN113111915A (zh) * 2021-03-15 2021-07-13 同济大学 一种应用于静脉扎针机器人血管识别的数据库增强方法
CN113688933A (zh) * 2019-01-18 2021-11-23 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488297A (zh) * 2015-12-15 2016-04-13 东北大学 一种基于小样本建立复杂产品优化设计代理模型的方法
CN106910187A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种用于桥梁裂缝检测的图像数据集人工扩增方法
CN107145846A (zh) * 2017-04-26 2017-09-08 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107316004A (zh) * 2017-06-06 2017-11-03 西北工业大学 基于深度学习的空间目标识别方法
CN107808129A (zh) * 2017-10-17 2018-03-16 南京理工大学 一种基于单个卷积神经网络的面部多特征点定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488297A (zh) * 2015-12-15 2016-04-13 东北大学 一种基于小样本建立复杂产品优化设计代理模型的方法
CN106910187A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种用于桥梁裂缝检测的图像数据集人工扩增方法
CN107145846A (zh) * 2017-04-26 2017-09-08 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107316004A (zh) * 2017-06-06 2017-11-03 西北工业大学 基于深度学习的空间目标识别方法
CN107808129A (zh) * 2017-10-17 2018-03-16 南京理工大学 一种基于单个卷积神经网络的面部多特征点定位方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JASON WANG等: "《The Effectiveness of Data Augmentation in Image Classification using Deep Learning》", 《ARXIV》 *
JINGCHENG KE等: "《Face recognition based on symmetrical virtual image and original training image》", 《JOURNAL OF MODERN OPTICS》 *
KAREN SIMONYAN等: "《Very Deep Convolutional Networks for Large Scale Image Recognition》", 《ICLR 2015》 *
ZHAO PEI等: "《Convolutional neural networks for class attendance》", 《2017 13TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (ICNC-FSKD)》 *
孙海燕 等: "《数理统计》", 30 October 2016 *
易令 等: "《面向原油总氢物性预测的数据扩增预处理方法》", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/21.1124.TP.20171101.1121.008.HTML》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN109583302B (zh) * 2018-10-29 2020-09-18 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN109766810A (zh) * 2018-12-31 2019-05-17 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN109766810B (zh) * 2018-12-31 2023-02-28 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN113688933A (zh) * 2019-01-18 2021-11-23 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备
CN113688933B (zh) * 2019-01-18 2024-05-24 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备
CN111223058A (zh) * 2019-12-27 2020-06-02 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
CN111223058B (zh) * 2019-12-27 2023-07-18 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别
CN111488856B (zh) * 2020-04-28 2023-04-18 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别方法
CN112560306A (zh) * 2020-12-11 2021-03-26 上海河口海岸科学研究中心 一种确定入海河口生态植被水流阻力的方法
CN113111915A (zh) * 2021-03-15 2021-07-13 同济大学 一种应用于静脉扎针机器人血管识别的数据库增强方法

Similar Documents

Publication Publication Date Title
CN108573284A (zh) 基于正交实验分析的深度学习人脸图像扩充方法
CN106874956B (zh) 图像分类卷积神经网络结构的构建方法
CN106570474A (zh) 一种基于3d卷积神经网络的微表情识别方法
CN110414498B (zh) 一种基于交叉注意力机制的自然场景文本识别方法
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN107657602A (zh) 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法
CN106845418A (zh) 一种基于深度学习的高光谱图像分类方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN108596138A (zh) 一种基于迁移层次网络的人脸识别方法
CN107316307A (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN110210486A (zh) 一种基于素描标注信息的生成对抗迁移学习方法
CN104463209A (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
CN107016689A (zh) 一种尺度自适应的相关滤波对冲目标跟踪方法
CN110532900A (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN107665492A (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN107729819A (zh) 一种基于稀疏全卷积神经网络的人脸标注方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN108710829A (zh) 一种基于深度学习的表情分类及微表情检测的方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN107358262A (zh) 一种高分辨率图像的分类方法及分类装置
CN106204779A (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
US20150310305A1 (en) Learning painting styles for painterly rendering
CN106778810A (zh) 基于rgb特征与深度特征的原始图像层融合方法及系统
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180925

RJ01 Rejection of invention patent application after publication