CN105975931A - 一种基于多尺度池化的卷积神经网络人脸识别方法 - Google Patents

一种基于多尺度池化的卷积神经网络人脸识别方法 Download PDF

Info

Publication number
CN105975931A
CN105975931A CN201610288560.0A CN201610288560A CN105975931A CN 105975931 A CN105975931 A CN 105975931A CN 201610288560 A CN201610288560 A CN 201610288560A CN 105975931 A CN105975931 A CN 105975931A
Authority
CN
China
Prior art keywords
layer
size
characteristic spectrum
sampling
convolution
Prior art date
Application number
CN201610288560.0A
Other languages
English (en)
Other versions
CN105975931B (zh
Inventor
刘云海
吴斯
Original Assignee
浙江大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江大学 filed Critical 浙江大学
Priority to CN201610288560.0A priority Critical patent/CN105975931B/zh
Publication of CN105975931A publication Critical patent/CN105975931A/zh
Application granted granted Critical
Publication of CN105975931B publication Critical patent/CN105975931B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/084Back-propagation

Abstract

本发明公开了一种基于多尺度池化的卷积神经网络人脸识别方法。该方法利用多尺度池化的卷积神经网络来提取人脸图像的特征以实现人脸识别。在构建卷积神经网络的过程中,采用卷积和最大值采样交替的方法对特征进行深度提取,另外对每层卷积层采用了多尺度池化的策略和步骤,一并输入到全连接层,使其具有多尺度的、固定大小的特征列向量。本发明不需要对输入的人脸图像做截取或调整尺寸,不同尺寸的图像都能使用同一个网络进行训练和识别。基于多尺度池化的卷积神经网络不但解决了输入图像尺寸可以不固定的问题,使得网络能够提取多尺度的人脸特征,而且对网络性能带来极大的提升,将会促进多尺度池化的卷积神经网络在人脸识别中的广泛应用。

Description

一种基于多尺度池化的卷积神经网络人脸识别方法

技术领域

[0001] 本发明属于深度学习、人脸识别领域,涉及一种基于多尺度池化的卷积神经网络 人脸识别方法。

背景技术

[0002] 人脸识别是一门融合生物学、心理学和认知科学等多学科的生物识别技术,运用 多类技术如模式识别、图像处理和计算机视觉等,在金融、安防监控、身份识别、社交娱乐与 沟通等领域具有得到广泛的市场应用前景。目前,国内外对人脸识别的技术研究主要围绕 特征提取和分类算法这两个方向展开。基于深度卷积神经网络的人脸识别技术已经非常成 熟,但传统的卷积神经网络的输入人脸图像的尺寸都是固定的(例如:256*256),这是因为 利用BP反向传播算法更新权重和偏置时需要全连接层有固定输入维度,但对卷积层和池化 层的输入的尺寸可以是任意。因此面对输入人脸图像尺寸不同时,往往需要对输入图像做 截取和固定尺寸的操作,这种人工改变输入人脸图像的尺寸破坏原图像的尺度和长宽比 例,会导致部分重要信息的丢失。

发明内容

[0003] 本发明目的在于针对现有人脸识别技术的不足,提供一种基于多尺度池化的卷积 神经网络人脸识别方法。整个网络分为3大部分,输入层,特征提取层和输出层,其中特征提 取层细分为交替连接的3个卷积层与3个池化层和一个全连接层。最后一个池化层采用了多 尺度池化的策略和步骤,使得输入到全连接层的是固定大小的特征列向量,最终使得网络 可以利用BP反向传播算法进行有监督的训练。本发明不需要提前对输入的人脸图像做截取 或固定大小,采用卷积和最大值池化交替的方法对特征进行深度提取,直到最后一层池化 采用多尺度的方法使得全连接层前的输入具有固定的大小,全连接层后输入softmax分类 器输出类别标签信息以实现人脸识别。多尺度池化结构使得不同尺寸、大小和长宽比的输 入图像都能使用同一个网络进行训练和识别分类。通过自动调整池化的采样尺寸和步长获 得固定输出大小的特征矩阵。对比传统的滑动池化采样窗口采用单一的采样尺寸,多尺度 的池化能够获得多尺度的人脸特征,使得网络对目标形变具有较好的鲁棒性,不但解决了 输入图像尺寸不固定的问题还带来网络性能的极大提升。

[0004] 本发明的目的是通过以下技术方案来实现的:一种基于多尺度池化的卷积神经网 络人脸识别方法,包括以下步骤:

[0005] (1)采集t个人的标准人脸灰度图,其中每个人采集d张,得到d X t张标准人脸灰度 图作为训练图像;每张训练图像对应一个tXl维的二值人脸类别标记向量ylable=[ yi y2 y3 …yt]T,其中第η个人脸图像的类别标签向量ylable3中元素 71应满足以下条件:

Figure CN105975931AD00051

[0007] (2)卷积神经网络参数初始化:所述卷积神经网络包含输入层II、卷积层C2、池化 层S3、卷积层C4、池化层S5、卷积层C6、多尺度池化层S7、多尺度池化层S8、多尺度池化层S9、 全连接层L10、输出层011;按照0为均值,0.01为标准方差的高斯分布来随机初始化卷积层 C2的k个aXa像素的小块作为卷积核模板,定义为权重_,i = l,j = l,2, . . .,k;此外对应 If 位置的偏置&f,j = l,2,. . .,k初始化为0;类似的,随机初始化卷积层C4的p个bXb大小的 卷积核模板,定义为权重^^4,i = l,2, . . .,k, j = l,2, . . .,p和对应位置的偏置= l, 2,. . .,p ;随机初始化卷积层C6的q个c X c大小的卷积核模板,定义为权重%:i = 1, 2,. . .,p,j = 1,2,. . .,q和对应位置的偏置j = 1,2,. . .,q。所有的权重Kij和偏置bj都是 J 可训练的网络参数;

[0008] (3)输入层11:对输入大小为w X h的图像X (w,h不固定)的所有像素 X i进行减均值 和归一化的预处理,将预处理后的图像Χιη作为输入层。

[0009] (4)卷积层C2:由k个不同的特征图谱Xf,.j = l,2, . . .,k组成,每个特征图谱由输 入图像Χιη分别与k个卷积核模板Ku进行卷积运算,卷积结果加上偏置匕,再经过一个激活函 数ReLU( ·)得到;每个特征图谱Xf具体计算公式为:

Figure CN105975931AD00061

[0011 ] 其中®代表步长为1的卷积运算,激活函数ReLU (X) = max (0,X); 的大小均为 (h-a+1)X(w-a+1);

[0012] (5)池化层S3:采用最大值采样对卷积层C2得到的结果进行统计计算。采样尺寸为 m,采样方法为取采样区域的最大值,采样区域不重叠;池化层S3的每个特征图谱if3,i = 1,2,. . .,k由卷积层C2的每个特征图谱Z^,j = l,2,. . .,k下采样得到。采样后的水平和垂 直空间分辨率变为原来的1/m,大小为(h-a+l/m) X (w-b+1/m);

[0013] (6)卷积层C4:特征图谱尤;$3,1 = 1,2,...氺通过卷积操作,由1^个扩展至?个;特征 图谱之间采用完全连接的机制,即卷积层C4的每个特征图谱;Tf4, j = l,2, . . .,p都与前一 层的k个特征图谱连接,相连接的区域进行卷积操作,卷积结果加和并且加入偏置,再经过 激活函数ReLU( ·)得到;每个特征图谱If4具体计算公式为:

Figure CN105975931AD00062

[0015] 其中⑭代表步长为1的卷积运算,激活函数ReLU(x) =max(0,x);

[0016] (7)池化层S5:采用最大值采样,采样尺寸为n,采样方法为取采样区域的最大值, 采样区域不重叠,采样后得到的P个特征图谱Af的水平和垂直空间分辨率变为原来的1/n;

[0017] (8)卷积层C6:特征图谱通过卷积操作,由p个扩展至q个;特征图谱之间采用 完全连接的机制,每个特征图谱Xf具体计算公式为:

Figure CN105975931AD00071

[0019] 其中®代表步长为1的卷积运算,激活函数ReLU(x) =max(0,x);

[0020] (9)多尺度池化层S7:对卷积层C6的q个特征图谱进行三种不同尺度size和步 长8杜1(^的采样,使得输出空间块大小固定为1\1\9,2\2\9,3\3\9,具体计算公式如 下:

Figure CN105975931AD00072

[0023] 其中,PU·」分别表示向上取整和向下取整,rXs为输入图像经过卷积层C6后得到 的每个特征图谱Xf6的大小;

[0024] 按照列的顺序展开得到1乂(1,4\(1,9\(1的特征矩阵,最后依次级联,成为固定尺 寸的(14Xq) X 1特征列向量。

[0025] (10)多尺度池化层S8:类似步骤(9)对卷积层C2的k个特征图谱Xf进行三种不同 尺度和步长的采样,使得成为固定尺寸的(14Xk) X 1特征列向量。

[0026] (11)多尺度池化层S9:类似步骤(9)对卷积层C4的p个特征图谱进行三种不同 尺度和步长的采样,使得成为固定尺寸的(14Xp) X 1特征列向量。

[0027] (12)全连接层L10:3个多尺度池化层得到的特征列向量均通过全连接方式得到输 出表达列向量Xf c,大小为f X 1,f〈( 14 X k);

[0028] (13)输出层011:全连接层L10得到的输出表达列向量Xf c,输入至t维的sof t-max分 类器,得到分类结果标签向量,最大值元素所在标号表示该图像属于该类别标签的人 脸;

[0029] (14)对于步骤(1)采集的dXt张人脸训练图重复步骤(3)~步骤(13),分别得到各 自的tXl维的分类结果标签向量 yciutput,与步骤(1)中的ylable3构成均方差误差代价函数,利 用BP反向传播算法进行有监督训练,当均方差误差代价达到要求后完成训练,得到完整的 多尺度池化卷积神经网络;

[0030] (15)采集步骤(1)中t个人中任一个人的人脸图像作为测试人脸图像,通过步骤 (3)~步骤(13)得到tXl维分类结果标签向量yciutput,其最大值元素所在标号即为该测试人 脸图像的类别标签,从而实现人脸识别。其中,1:、(1、'\¥、11、1^4、9、3、13、〇、111、11、1'、8和€均为自然 数。

[0031] 本发明的有益效果是,本发明采用卷积层和池化层级联的卷积神经网络来提取人 脸图像特征,并对每层卷积层额外采用多尺度采样,获得多尺度的特征表达列向量,丰富特 征表达。将3层多尺度池化层的特征列向量一并输入到全连接层,使其产生多尺度的、固定 大小的特征列向量,解决了传统卷积神经网络训练过程中,利用BP反向传播更新权重和偏 置时必须固定输入图像大小的弊端,同时可以利用多种尺寸的输入图像对同一个网络进行 训练和测试。连接多个层次的特征图谱对于学习合适的特征表达具有关键意义,这样的网 络结构相比单层的级联的卷积与池化交替的网络结构得到了较大的性能提升。本发明提出 新的基于多尺度池化的卷积神经网络人脸识别方法不但解决了输入图像尺寸可以不固定 的问题,使得网络能够提取多尺度的人脸特征,对目标的变形具有较好的鲁棒性,而且对网 络性能带来极大的提升,将会促进多尺度池化卷积神经网络在人脸识别中的广泛应用。

附图说明

[0032]图1为卷积操作示意图;

[0033] 图2为池化层最大值采样操作示意图;

[0034] 图3为多尺度池化层采用操作示意图;

[0035] 图4为多尺度池化的卷积神经网络示意图;

[0036] 图5为多尺度池化的卷积神经网络的结构框图。

具体实施方式

[0037] 以下结合附图和实施实例对本发明作进一步说明。

[0038] 本发明一种基于多尺度池化的卷积神经网络人脸识别方法,包括以下步骤:

[0039] (1)采集100个人的标准人脸灰度图,其中每个人采集50张,得到5000张标准人脸 灰度图作为训练图像;每张训练图像对应一个100 XI维的二值人脸类别标记向量yiabie = [yi y2 y3…yt]T,其中第η个人脸图像的类别标签向量yiabie中元素yi应满足以下条件:

Figure CN105975931AD00081

[0041] 例如第1个人的类别标签向量yiabie=[l 0 0…0]τ,第一个元素为1,其余为0。其 他人脸图像的类别标签向量类似;

[0042] (2)卷积神经网络参数初始化:所述卷积神经网络的结构框图如图5所示,包含输 入层II、卷积层C2、池化层S3、卷积层C4、池化层S5、卷积层C6、多尺度池化层S7、多尺度池化 层S8、多尺度池化层S9、全连接层L10、输出层011;按照0为均值,0.01为标准方差的高斯分 布来随机初始化卷积层C2的20个5 X 5像素的小块作为卷积核模板,定义为权重i = 1, ij j = 1,2,. . .,20;此外对应位置的偏置Μ' j = 1,2,. . .,20初始化为0;类似的,随机初始化 卷积层C4的40个3 X 3大小的卷积核模板,定义为权重' i = 1,2,. . .,20,j = 1,2,. . .,40 ff 和对应位置的偏置j = 1,2,. . .,40;随机初始化卷积层C6的60个3 X 3大小的卷积核模 J 板,定义为权重f e6,i = l,2, . . .,40, j = l,2, . . .,60和对应位置的偏置6e6,j = l,2,..., ij f 60。所有的权重K i j和偏置b j都是可训练的网络参数;

[0043] (3)输入层II:经过预处理后的图像Χιη作为输入层。预处理操作具体如下:对输入 大小为64X64的图像的所有像素^进行减均值和归一化的预处理,得到图像&"定义如下:

Figure CN105975931AD00091

[0048] (4)卷积层C2:由20个不同的特征图谱尤;^]_ = 1,2,...,20组成,每个特征图谱由 输入图像Χιη分别与20个卷积核模板进行卷积运算,卷积过程如图1所示,卷积结果加上 偏置匕,再经过一个激活函数ReLU( ·)得到;每个特征图谱Zf2具体计算公式为:

Figure CN105975931AD00092

[0050] 其中發代表步长为1的卷积运算,激活函数ReLU (X )= max (0,X); Xf2的大小均为 60X60;

[0051] (5)池化层S3:采用最大值采样对卷积层C2得到的结果进行统计计算。采样尺寸为 2,采样方法为取采样区域的最大值,采样区域不重叠;池化层S3的每个特征图谱Zf 3,i = 1,2,. . .,20由卷积层C2的每个特征图谱Xf2, j = l,2,. . .,20下采样得到。

[0052] 采样操作如图2所示,例如卷积层C2的第1个特征图谱If2的第一个采样区域为

Figure CN105975931AD00093

,采样结果得到池化层S3的第1个特征图谱Xf3的第一个输入yi,其中采样方法为 取4者中的最大值,8卩71=11^1(1142 43 44);其他输出也类似,得到池化层33的20个特征图 谱X_f,i = l,2,...,20;采样后的水平和垂直空间分辨率变为原来的1/2,大小为30X30;

[0053] (6)卷积层C4:特征图谱If,i = l,2, ...,k通过卷积操作,由20个扩展至40个;特 征图谱之间采用完全连接的机制,即卷积层C4的每个特征图谱Zf4,j = l,2, . . .,40都与前 一层的20个特征图谱连接,相连接的区域进行卷积操作,卷积结果加和并且加入偏置,再经 过激活函数ReLU( ·)得到;每个特征图谱JTf4具体计算公式为:

Figure CN105975931AD00094

[0055] 其中#代表步长为1的卷积运算,激活函数ReLU (X) = max (0,X);得到40个特征图 谱大小为28X28;

[0056] (7)池化层S5:采用最大值采样,采样尺寸为2,采样方法为取采样区域的最大值, 采样区域不重叠,采样后的得到40个特征图谱Zf的水平和垂直空间分辨率变为原来的1/ 2,大小为14X14;

[0057] (8)卷积层C6:特征图谱通过卷积操作,由40个扩展至60个;特征图谱之间采用完 全连接的机制,每个特征图谱具体计算公式为:

Figure CN105975931AD00101

[0059] 其中€)代表步长为1的卷积运算,激活函数ReLU(X) =max(0,X);得到40个特征图 谱大小为12X12;

[0060] (9)多尺度池化层S7:如图3所示,对60个特征图谱.V;6进行三种不同尺度size和步 长stride的采样,使得最后输出空间块大小固定为1 X 1 X 60,2 X 2 X 60,3 X 3 X 60。例如输 入大小为64X64的图像经过卷积层C6后得到60个特征图谱的大小为12X12,通过3种采 样尺寸和步长进行最大值采样,具体计算公式如下:

[0061 ] size = 12X12,6X6,4X4

[0062] stride = 12X12,6X6,4X4

[0063]其中,size和stride分别表示采样尺寸和步长。如此操作得到输出空间块大小为1 X1X60,2X2X60,3X3X 60,并且按照列的顺序展开得到1 X 60,4 X 60,9 X 60的特征矩 阵,最后依次级联,成为固定尺寸的840X1特征列向量。

[0064] 多尺度池化层是实现输入图像尺寸不固定的关键技术,使得可以用不同大小的图 片进行训练和测试,使得网络对目标的变形变得鲁棒;例如另外一幅图像的大小为80X64, 到卷积层C6的60个特征图谱大小为16 X 12,为了能得到固定尺寸1 X 60,4 X 60,9 X 60的特 征向量矩阵,网络将按照采样尺寸和步长的公式自动调整,进行最大值采样,此时的采样尺 寸和步长分别为:

[0065] size = 16 X 12,8 X 6,6 X 4; stride = 16X12,8X6,5X4;

[0066] (10)多尺度池化层S8:类似步骤(9)对卷积层C2的20个特征图谱If2进行三种不同 尺度size和步长stride的采样,尺寸分别为size = 60 X 60,30 X 30,20 X 20,步长分别为 stride = 60 X 60,30 X 30,20 X 20,使得成为固定尺寸的280 X 1特征列向量。

[0067] (11)多尺度池化层S9:类似步骤(9)对卷积层C4的40个特征图谱Xf*进行三种不同 尺度size和步长stride的采样,尺寸分别为size = 28 X 28,14X14,10X 10,步长分别为 stride = 28 X 28,14 X 14,9 X 9,使得成为固定尺寸的560 X 1特征列向量。

[0068] (12)全连接层L10:3个多尺度池化层得到特征列向量均通过全连接方式得到输出 表达列向量X fc,大小为200 X 1;

[0069] (13)输出层011:全连接层L8得到的输出表达列向量Xfc,输入至100维的soft-max 分类器,得到分类结果标签向量youtput,最大值元素所在标号表示该图像属于该类别标签的 人脸;

[0070] (14)对于步骤(1)采集的5000张人脸训练图重复步骤(3)~步骤(13),分别得到各 自的100 X 1维的分类结果标签向量youtput,与步骤(1)中的ylable3构成均方差误差代价函数, 利用BP反向传播算法进行有监督训练,当均方差误差代价达到要求后完成训练,得到完整 的多尺度池化卷积神经网络,以输入图像大小为64X64的网络示意图如图4所示,每一层的 特征图谱数量及大小,卷积核大小和采样尺寸等均在图4中所示;整体的网络结构框图如图 5所示;

[0071] (15)采集步骤(1)中100个人中任一个人的人脸图像作为测试人脸图像,重复步骤 (3)~步骤(13)计算得到分类结果标签100\1维的向量7。11_*,其最大值元素所在标号即为 该测试人脸图像的类别标签,从而实现人脸识别。

[0072] 以上所述仅为本发明的优选实施方式,但本发明保护范围并不局限于此。任何本 领域的技术人员在本发明公开的技术范围内,均可对其进行适当的改变或变化,而这种改 变或变化都应涵盖在本发明的保护范围之内。

Claims (1)

1. 一种基于多尺度池化的卷积神经网络人脸识别方法,其特征在于,该方法包括W下 步骤: (1) 采集t个人的标准人脸灰度图,其中每个人采集d张,得到d X t张标准人脸灰度图作 为训练图像;每张训练图像对应一个tXl维的二值人脸类别标记向量yiabie=[yi y2 y3… yt]T,其中第η个人脸图像的类别标签向量yiabie中元素 yi应满足W下条件:
Figure CN105975931AC00021
(2) 卷积神经网络参数初始化:所述卷积神经网络包含输入层II、卷积层C2、池化层S3、 卷积层C4、池化层S5、卷积层C6、多尺度池化层S7、多尺度池化层S8、多尺度池化层S9、全连 接层L10、输出层011;按照0为均值,0.01为标准方差的高斯分布来随机初始化卷积层C2的k 个aXa像素的小块作为卷积核模板,定义为权重A';'2,/' = 1,/ = U,...,A:;此外对应位置的 偏置二1,2,...,A初始化为0;类似的,随机初始化卷积层C4的P个bXb大小的卷积核模 板,定义为权重=1,2:,...,套J二I,2,...,/巧日对应位置的偏置= I、2,...,/,;随机初 始化卷积层C6的q个C Xc大小的卷积核模板,定义为权重/(' <',/ = 1,2,..,八/ = 1,2,...,每和 y 对应位置的偏置J二1,2,…,f/。所有的权重Kij和偏置bj都是可训练的网络参数。 (3) 输入层II:对输入大小为wXh的图像X(w,h不固定)的所有像素 XI进行减均值和归一 化的预处理,将预处理后的图像Xin作为输入层。 (4) 卷积层C2:由k个不同的特征图谱Xf J = l,2,...,表组成,每个特征图谱由输入图像 Xin分别与k个卷积核模板Κυ进行卷积运算,卷积结果加上偏置bj,再经过一个激活函数ReLU (·)得到;每个特征图谱Xf具体计算公式为:
Figure CN105975931AC00022
其中:®代表步长为1的卷积运算,激活函数ReLU(X) = max (0,X);.2的大小均为化-a+ 1) X(w-a+1)ο (5) 池化层S3:采用最大值采样对卷积层C2得到的结果进行统计计算。采样尺寸为m,采 样方法为取采样区域的最大值,采样区域不重叠;池化层S3的每个特征图谱 Xf3,/二1,2,.,.,表由卷积层C2的每个特征图谱Zf',/二1,2,...,A'下采样得到。采样后的水 平和垂直空间分辨率变为原来的1/m,大小为化-a+1/m) X (w-b+1/m)。 (6) 卷积层C4:特征图谱义f,i =1,2,.、.,克通过卷积操作,由k个扩展至P个;特征图谱之 间采用完全连接的机制,即卷积层C4的每个特征图谱义^,7' = 1,2,...,/?都与前一层的1^个 特征图谱连接,相连接的区域进行卷积操作,卷积结果加和并且加入偏置,再经过激活函数 ReLU(.)得到;每个特征图谱具体计算公式为:
Figure CN105975931AC00031
其中@代表步长为1的卷积运算,激活函数ReLU (X) = max (0,X)。 (7) 池化层S5:采用最大值采样,采样尺寸为n,采样方法为取采样区域的最大值,采样 区域不重叠,采样后得到的P个特征图谱Jf的水平和垂直空间分辨率变为原来的1/n。 (8) 卷积层C6:特征图谱通过卷积操作,由P个扩展至q个;特征图谱之间采用完全连 接的机制,每个特征图谱方f具体计算公式为:
Figure CN105975931AC00032
其中@代表步长为1的卷积运算,激活函数ReLU(x)=max(0,x)。 (9) 多尺度池化层S7:对卷积层C6的q个特征图谱义f进行Ξ种不同尺度size和步长 stride的采样,使得输出空间块大小固定为lXlXq,2X2Xq,3X3Xq,具体计算公式如 下:
Figure CN105975931AC00033
其中,「.Ί,ί_.」分别表示向上取整和向下取整,rXs为输入图像经过卷积层C6后得到的每 个特征图谱的大小. 按照列的顺序展开得到1 X q,4 X q,9 X q的特征矩阵,最后依次级联,成为固定尺寸的 (14Xq) X 1特征列向量。 (10) 多尺度池化层S8:类似步骤(9)对卷积层C2的k个特征图谱;进行Ξ种不同尺度 和步长的采样,使得成为固定尺寸的(14Xk) XI特征列向量。 (11) 多尺度池化层S9:类似步骤(9)对卷积层C4的P个特征图谱-Yf进行S种不同尺度 和步长的采样,使得成为固定尺寸的(14Xp) X 1特征列向量。 (12) 全连接层L10:3个多尺度池化层得到的特征列向量均通过全连接方式得到输出表 达列向量沿C,大小为fXl,f<(14Xk)。 (13) 输出层011:全连接层L10得到的输出表达列向量Xfc,输入至t维的soft-max分类 器,得到分类结果标签向量youtput,最大值元素所在标号表示该图像属于该类别标签的人 脸。 (14) 对于步骤(1)采集的dXt张人脸训练图重复步骤(3)~步骤(13),分别得到各自的 tXl维的分类结果标签向量youtput,与步骤(1)中的yiable构成均方差误差代价函数,利用BP 反向传播算法进行有监督训练,当均方差误差代价达到要求后完成训练,得到完整的多尺 度池化卷积神经网络。 (15)采集步骤(1)中t个人中任一个人的人脸图像作为测试人脸图像,通过步骤(3)~ 步骤(13)得到tXl维分类结果标签向量ywtput,其最大值元素所在标号即为该测试人脸图 像的类别标签,从而实现人脸识别。
CN201610288560.0A 2016-05-04 2016-05-04 一种基于多尺度池化的卷积神经网络人脸识别方法 CN105975931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610288560.0A CN105975931B (zh) 2016-05-04 2016-05-04 一种基于多尺度池化的卷积神经网络人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610288560.0A CN105975931B (zh) 2016-05-04 2016-05-04 一种基于多尺度池化的卷积神经网络人脸识别方法

Publications (2)

Publication Number Publication Date
CN105975931A true CN105975931A (zh) 2016-09-28
CN105975931B CN105975931B (zh) 2019-06-14

Family

ID=56993652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610288560.0A CN105975931B (zh) 2016-05-04 2016-05-04 一种基于多尺度池化的卷积神经网络人脸识别方法

Country Status (1)

Country Link
CN (1) CN105975931B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN106611156A (zh) * 2016-11-03 2017-05-03 桂林电子科技大学 一种自适应深度空间特征的行人识别方法和系统
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106845894A (zh) * 2016-12-29 2017-06-13 天津中科智能识别产业技术研究院有限公司 一种快递包裹分拣方法及其装置
CN106874956A (zh) * 2017-02-27 2017-06-20 陕西师范大学 图像分类卷积神经网络结构的构建方法
CN106980858A (zh) * 2017-02-28 2017-07-25 中国科学院信息工程研究所 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法
CN106991440A (zh) * 2017-03-29 2017-07-28 湖北工业大学 一种基于空间金字塔的卷积神经网络的图像分类算法
CN107016366A (zh) * 2017-03-29 2017-08-04 浙江师范大学 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法
CN107153873A (zh) * 2017-05-08 2017-09-12 中国科学院计算技术研究所 一种二值卷积神经网络处理器及其使用方法
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN107491736A (zh) * 2017-07-20 2017-12-19 重庆邮电大学 一种基于卷积神经网络的路面附着系数辨识方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法
CN107590449A (zh) * 2017-08-31 2018-01-16 电子科技大学 一种基于加权特征谱融合的手势检测方法
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术(北京)有限公司 用于检测人脸的方法和装置
CN108229281A (zh) * 2017-04-25 2018-06-29 北京市商汤科技开发有限公司 神经网络的生成方法和人脸检测方法、装置及电子设备
CN108830316A (zh) * 2018-06-05 2018-11-16 重庆大学 基于卷积神经网络的风电变流器端对端故障诊断
CN109344779A (zh) * 2018-10-11 2019-02-15 高新兴科技集团股份有限公司 一种基于卷积神经网络的匝道场景下的人脸检测方法
CN109376674A (zh) * 2018-10-31 2019-02-22 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN109557114A (zh) * 2017-09-25 2019-04-02 清华大学 检查方法和检查设备以及计算机可读介质
WO2019071433A1 (en) * 2017-10-10 2019-04-18 Nokia Technologies Oy Method, system and apparatus for pattern recognition
CN110084215A (zh) * 2019-05-05 2019-08-02 上海海事大学 一种二值化三元组孪生网络模型的行人重识别方法及系统
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
WO2020042169A1 (en) * 2018-08-31 2020-03-05 Intel Corporation 3d object recognition using 3d convolutional neural network with depth based multi-scale filters
WO2020062957A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN104050457A (zh) * 2014-06-26 2014-09-17 浙江大学 基于小样本训练库下的人脸性别识别方法
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN105335712A (zh) * 2015-10-26 2016-02-17 小米科技有限责任公司 图像识别方法、装置及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN104050457A (zh) * 2014-06-26 2014-09-17 浙江大学 基于小样本训练库下的人脸性别识别方法
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN105335712A (zh) * 2015-10-26 2016-02-17 小米科技有限责任公司 图像识别方法、装置及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUANYUAN ZHANG,ET.AL: "Adaptive convolutionalneuralnetwork and its application in face recognition", 《NEURAL PROCESSING LETTERS》 *
易军: "人脸识别中的特征提取与度量学习算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王璟尧: "基于SDCNN的人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106557743B (zh) * 2016-10-26 2020-04-24 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106611156A (zh) * 2016-11-03 2017-05-03 桂林电子科技大学 一种自适应深度空间特征的行人识别方法和系统
CN106611156B (zh) * 2016-11-03 2019-12-20 桂林电子科技大学 一种自适应深度空间特征的行人识别方法和系统
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN106599797B (zh) * 2016-11-24 2019-06-07 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN106845894A (zh) * 2016-12-29 2017-06-13 天津中科智能识别产业技术研究院有限公司 一种快递包裹分拣方法及其装置
CN106803071A (zh) * 2016-12-29 2017-06-06 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106803071B (zh) * 2016-12-29 2020-02-14 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106780612B (zh) * 2016-12-29 2019-09-17 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106874956A (zh) * 2017-02-27 2017-06-20 陕西师范大学 图像分类卷积神经网络结构的构建方法
CN106980858A (zh) * 2017-02-28 2017-07-25 中国科学院信息工程研究所 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法
CN106980858B (zh) * 2017-02-28 2020-08-18 中国科学院信息工程研究所 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法
CN106991440A (zh) * 2017-03-29 2017-07-28 湖北工业大学 一种基于空间金字塔的卷积神经网络的图像分类算法
CN107016366A (zh) * 2017-03-29 2017-08-04 浙江师范大学 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法
CN106991440B (zh) * 2017-03-29 2019-12-24 湖北工业大学 一种基于空间金字塔的卷积神经网络的图像分类方法
CN108229281A (zh) * 2017-04-25 2018-06-29 北京市商汤科技开发有限公司 神经网络的生成方法和人脸检测方法、装置及电子设备
CN107153873A (zh) * 2017-05-08 2017-09-12 中国科学院计算技术研究所 一种二值卷积神经网络处理器及其使用方法
CN107153873B (zh) * 2017-05-08 2018-06-01 中国科学院计算技术研究所 一种二值卷积神经网络处理器及其使用方法
CN107292333B (zh) * 2017-06-05 2019-11-29 浙江工业大学 一种基于深度学习的快速图像分类方法
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN107437092B (zh) * 2017-06-28 2019-11-15 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类方法
CN107491736A (zh) * 2017-07-20 2017-12-19 重庆邮电大学 一种基于卷积神经网络的路面附着系数辨识方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法
CN107590449A (zh) * 2017-08-31 2018-01-16 电子科技大学 一种基于加权特征谱融合的手势检测方法
CN107729819B (zh) * 2017-09-22 2020-05-19 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN109557114A (zh) * 2017-09-25 2019-04-02 清华大学 检查方法和检查设备以及计算机可读介质
WO2019071433A1 (en) * 2017-10-10 2019-04-18 Nokia Technologies Oy Method, system and apparatus for pattern recognition
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术(北京)有限公司 用于检测人脸的方法和装置
CN108830316A (zh) * 2018-06-05 2018-11-16 重庆大学 基于卷积神经网络的风电变流器端对端故障诊断
WO2020042169A1 (en) * 2018-08-31 2020-03-05 Intel Corporation 3d object recognition using 3d convolutional neural network with depth based multi-scale filters
WO2020062957A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
CN109344779A (zh) * 2018-10-11 2019-02-15 高新兴科技集团股份有限公司 一种基于卷积神经网络的匝道场景下的人脸检测方法
CN109376674A (zh) * 2018-10-31 2019-02-22 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN110084215A (zh) * 2019-05-05 2019-08-02 上海海事大学 一种二值化三元组孪生网络模型的行人重识别方法及系统
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统

Also Published As

Publication number Publication date
CN105975931B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
Andrearczyk et al. Using filter banks in convolutional neural networks for texture classification
Chen et al. Deep learning features at scale for visual place recognition
CN104992142B (zh) 一种基于深度学习和属性学习相结合的行人识别方法
CN105095833B (zh) 用于人脸识别的网络构建方法、识别方法及系统
CN105956532B (zh) 一种基于多尺度卷积神经网络的交通场景分类方法
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN105184309B (zh) 基于cnn和svm的极化sar图像分类
CN105654729B (zh) 一种基于卷积神经网络的短时交通流量预测方法
CN105138993B (zh) 建立人脸识别模型的方法及装置
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN103778432B (zh) 一种基于深信度网络的人车分类方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN103955702B (zh) 基于深度rbf网络的sar图像地物分类方法
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN107341518A (zh) 一种基于卷积神经网络的图像分类方法
CN103413151B (zh) 基于图正则低秩表示维数约简的高光谱图像分类方法
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
CN106407986B (zh) 一种基于深度模型的合成孔径雷达图像目标识别方法
CN105320961A (zh) 基于卷积神经网络和支持向量机的手写数字识别方法
CN103886308B (zh) 一种使用聚合通道特征和软级联分类器的行人检测方法
CN101739712B (zh) 基于视频的3d人脸表情动画驱动方法
CN104408435A (zh) 一种基于随机池化卷积神经网络的人脸识别方法
CN101236608B (zh) 基于图片几何结构的人脸检测方法
CN106504233A (zh) 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN100568264C (zh) 印章鉴别控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant