CN108009481A - 一种cnn模型的训练方法及装置、人脸识别方法及装置 - Google Patents

一种cnn模型的训练方法及装置、人脸识别方法及装置 Download PDF

Info

Publication number
CN108009481A
CN108009481A CN201711176849.4A CN201711176849A CN108009481A CN 108009481 A CN108009481 A CN 108009481A CN 201711176849 A CN201711176849 A CN 201711176849A CN 108009481 A CN108009481 A CN 108009481A
Authority
CN
China
Prior art keywords
feature
image
layer
cnn models
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711176849.4A
Other languages
English (en)
Inventor
程福运
郝敬松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711176849.4A priority Critical patent/CN108009481A/zh
Priority to PCT/CN2017/114140 priority patent/WO2019100436A1/en
Priority to EP17932812.5A priority patent/EP3698268A4/en
Publication of CN108009481A publication Critical patent/CN108009481A/zh
Priority to US16/879,793 priority patent/US11651229B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种CNN模型的训练方法及装置、人脸识别方法及装置。该方案中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征并进行分类，并结合分类结果和标签层对CNN模型的参数进行更新。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，将利于分类的特征提取出来，从而降低了提取特征的冗余性；CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，将训练得到的CNN模型应用于人脸识别中，可以提高人脸识别效果。

Description

一种CNN模型的训练方法及装置、人脸识别方法及装置
技术领域
本发明涉及深度学习技术领域，尤其涉及一种CNN模型的训练方法及装置、人脸识别方法及装置。
背景技术
深层卷积神经网络(Convolutional Neural Network，CNN)是一种流行的深度学习网络模型，已广泛地应用到人脸识别中。在训练CNN模型时，利用CNN模型对输入的样本图像经过多个卷积层前向传播，进行特征提取，并对提取的特征进行分类得到所属类别的预测分数，将该预测分数与预先输入的标签层的期望分数进行对比得到误差，将该误差在CNN模型中反向传播，对CNN模型的参数进行更新，使得预测分数向期望分数收敛。其中，CNN模型使用的特征提取的卷积层的层数较多，超过一定数量时就称为深层CNN模型，提取的特征称为深层特征。利用训练好的CNN模型提取的特征进行人脸识别时，主要包括身份识别和身份认证两大应用。其中，在身份认证时，将采集图像的特征与一张注册图像的特征进行对比，计算两张图像的特征距离，并通过比较特征距离与预设阈值的大小来判断是否为同一人，例如用户登录的场景中，判断正在登录账户的用户是否是真正认证的用户；在身份识别时，将采集图像的特征与n张注册图像进行对比，判断这个人是谁，例如对罪犯的监控场景中，判断嫌疑人是数据库中录入的多个罪犯中的哪一个。
现有的方法在训练深层CNN模型时，有多种训练方式。方式一是仅以灰度图像或RGB图像为输入进行训练，提取深层特征。方式二是分别使用人脸图像的不同位置区域、不同尺度、不同通道(灰度或彩色)的子图像块来训练多个CNN模型，并将多个CNN模型提取的深层特征进行串行融合。方式三是将多种浅层特征进行融合作为CNN的输入，如将灰度特征、梯度特征和方向特征堆叠成3层作为CNN的输入来训练CNN，提取深层特征。方式四是使用多个CNN模型分别对图像的多个浅层特征进一步提取深层特征，并将提取的深层特征通过主成分分析(Principle Components Analysis，PCA)算法在特征层进行融合。其中，特征提取的层数小于一定数量称为浅层特征。
从以上方式可以看出，都是以灰度特征和一些浅层特征作为深层CNN模型的输入提取深层特征，但是，图像的浅层特征均是由灰度特征衍生或提取而来，提取的深层特征冗余性较高，人脸识别效果不佳。
发明内容
本发明实施例的目的是提供一种CNN模型的训练方法及装置、人脸识别方法及装置，用于解决现有技术中对图像的浅层特征提取的深层特征冗余性较高，人脸识别效果不佳的问题。
本发明实施例的目的是通过以下技术方案实现的：
一种CNN模型的训练方法，该方法包括：
对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数；
将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数。
较佳地，所述预设的多个浅层特征之间具有互补性。
较佳地，所述预设的多个浅层特征包括红绿蓝RGB特征、局部三值模式LTP特征和特征和梯度方向直方图HOG特征。
较佳地，将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数，包括：
将所述误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
一种CNN模型的训练装置，该装置包括：
特征提取模块，用于对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数；
更新模块，用于将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数。
较佳地，所述预设的多个浅层特征之间具有互补性。
较佳地，所述预设的多个浅层特征包括红绿蓝RGB特征、局部三值模式LTP特征和特征和梯度方向直方图HOG特征。
较佳地，所述更新模块，具体用于：
将所述误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
本发明实施例的有益效果如下：
本发明实施例提供的一种CNN模型的训练方法及装置中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征并进行分类，并结合分类结果和标签层对CNN模型的参数进行更新。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，将利于分类的特征提取出来，从而降低了提取特征的冗余性；CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，将训练得到的CNN模型应用于人脸识别中，可以提高人脸识别效果。
一种基于CNN模型的人脸识别方法，该方法包括：
对待进行人脸识别的采集图像按照如下特征提取步骤提取图像特征：对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，提取深层特征；将提取的各个深层特征进行串行融合；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用以上任一项所述的CNN模型的训练方法预训练得到的；
获取预先按照与所述采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
根据计算的特征距离，进行人脸识别。
一种基于CNN模型的人脸识别装置，该装置包括：
特征提取模块，用于对待进行人脸识别的采集图像按照如下特征提取步骤提取图像特征：对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，提取深层特征；将提取的各个深层特征进行串行融合；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用以上任一项所述的CNN模型的训练方法预训练得到的；
特征获取模块，用于获取预先按照与所述采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
计算模块，用于计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
识别模块，用于根据计算的特征距离，进行人脸识别。
本发明实施例的有益效果如下：
本发明实施例提供的一种基于CNN模型的人脸识别方法及装置中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征。基于全连接之后输出的图像特征，进行待进行人脸识别的采集图像和注册图像的对比，进而实现人脸识别。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，从而降低了提取特征的冗余性；所采用的CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，提高了人脸识别效果。
附图说明
图1为本发明实施例提供的一种CNN模型的训练方法流程图；
图2为本发明实施例提供的一种基于CNN模型的人脸识别方法流程图；
图3为本发明实施例提供的一种LTP特征提取方法示意图；
图4为本发明实施例提供的一种基于CNN模型进行特征提取的网络结构图；
图5为本发明实施例提供的一种CNN模型的训练装置示意图；
图6为本发明实施例提供的一种基于CNN模型的人脸识别装置示意图。
具体实施方式
下面结合附图和实施例对本发明提供的一种CNN模型的训练方法及装置、人脸识别方法及装置进行更详细地说明。
如图1所示，本发明实施例提供一种基于CNN模型的人脸识别方法，其具体实现方式如下：
步骤110、对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数。
该步骤中，每个浅层特征对应输入一个CNN模型。
其中，全连接的方式是指，串行融合的特征所在层的每个神经元结点都与下一相邻的层的所有神经元结点连接。
步骤120、将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将该误差反向传播，更新各个浅层特征对应的CNN模型的参数。
该步骤中，根据误差对CNN模型的参数进行更新，可以使得分类结果向标签层的期望分数收敛。
本发明实施例中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征并进行分类，并结合分类结果和标签层对CNN模型的参数进行更新。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，将利于分类的特征提取出来，从而降低了提取特征的冗余性；CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，将训练得到的CNN模型应用于人脸识别中，可以提高人脸识别效果。
具体实施时，较佳地，预设的多个浅层特征的种类有多种。较佳地，预设的多个浅层特征之间具有互补性。如果对图像提取的是具有一定互补性的特征信息，利于进一步减少特征的冗余，增强特征鲁棒性、提高人脸识别性能。
例如，预设的多个浅层特征，包括：红绿蓝(Red Green Blue，RGB)特征、局部三值模式(Local Ternary Patterns,LTP)特征和梯度方向直方图(Histograms of OrientedGradients,HOG)特征。
其中，RGB特征是由采样设备采集而来的最原始的图像特征，其他特征均是由该特征衍生或提取而来。
其中，LTP特征是局部二值模式(Local Binary Pattern，LBP)的一种扩展。与LBP相比，LTP具有更强的区分性，且对近均匀图像区域的噪声不敏感。LTP特征中具有纹理信息。
其中，HOG特征中具有梯度幅值和方向信息。
本实施例中，以RGB特征、LTP特征和HOG特征三种具有不同性质的浅层特征作为CNN模型的输入，输入信息不但包括RGB特征的信息，还包含LTP特征中的纹理信息和HOG特征中的梯度幅值和方向信息，这些特征信息之间互补，使得特征信息更加全面，更加利于减少特征的冗余。
以上仅是对预设的多个浅层特征的一种举例而非限定，也可以采用其它的组合。
具体实施时，较佳地，将误差反向传播，更新各个浅层特征对应的CNN模型的参数，具体实现方式可以是：
将误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
基于同样的发明构思，本发明实施例还提供一种基于CNN模型的人脸识别方法，如图2所示，该方法包括：
步骤210、对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用以上任意实施例所述的CNN模型的训练方法预训练得到的；
步骤220、获取预先按照与采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
步骤230、计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
步骤240、根据计算的特征距离，进行人脸识别。
本发明实施例中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征。基于全连接之后输出的图像特征，进行待进行人脸识别的采集图像和注册图像的对比，进而实现人脸识别。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，从而降低了提取特征的冗余性；所采用的CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，提高了人脸识别效果。
其中，本发明实施例的人脸识别场景中，包括身份识别和身份认证的场景。其中，在身份认证时，将采集图像的特征与一张注册图像的特征进行对比，判断是否为同一人；在身份识别时，将采集图像的特征与n张注册图像进行对比，判断这个人是谁。
下面以具体的应用为例，对本发明实施例提供的一种CNN模型的训练方法及基于CNN模型的人脸识别方法进行更加详细地描述。
本实施例中，提取的浅层特征包括RGB特征、LTP特征和HOG特征。下面首先分别具体介绍一下LTP特征和HOG特征的提取方式。
其中，关于提取LTP特征的具体实现方式如下：
LTP定义在一个3×3邻域的窗口内。若中心像素ic与其邻域像素u之差在一定的波动范围±t将会被置0；若邻域像素u大于或等于中心像素ic+t将会被置1；若邻域像素u小于或等于中心像素ic-t将会被置-1。取值规则如下式(1)所示，其中t为预先设定的阈值。
按照上述的取值规则，操作过程如图3所示，对中心像素62的8个邻域进行取值得到三值模式，然后根据三值模式取值的正负将三值模式分为上模式和下模式两种形式，最后按照一定顺序分别将上模式和下模式的8个二值数组成二进制数11000000，00001100，并转化为十进制数192，12，作为该中心像素的LTP特征描述值。对图像上的每一个点求解LTP特征，一张图像会得到两张LTP特征图，将两张LTP特征图简单地堆叠成两层作为CNN模型的输入。
其中，HOG特征的提取的实现方式如下：
设图像中像素点(x,y)的像素值为I(x,y)，像素点(x,y)在x轴方向的梯度为Gx(x，y)，像素点(x,y)在y轴方向的梯度为Gy(x，y)。
Gx(x，y)＝I(x+1，y)-I(x-1，y) (2)
Gy(x，y)＝I(x，y+1)-I(x，y-1) (3)
图像中像素点(x,y)的梯度幅值G(x,y)与方向θ(x,y)分别为：
图像的梯度幅值和方向可以通过卷积的形式获得，在对图像进行卷积提取梯度幅值和方向时，采用图像填充的形式使卷积后的图像尺寸大小与原图像的尺寸大小相同。为了保留图像各点梯度幅值和方向的相对位置信息，我们未对梯度幅值和方向信息进一步提取统计特征，而是直接将梯度幅值和方向简单地堆叠成两层作为CNN模型的输入。
参见图4所示的基于CNN模型提取特征的示意图，本实施例中，CNN模型的训练过程如下：
步骤一、提取输入的图像的RGB特征、LTP特征和HOG特征三个浅层特征，并分别将RGB特征、LTP特征和HOG特征这三个浅层特征输入到3个CNN模型中逐层在卷积层301Conv1、Conv2、Conv3、……、ConvN正向传播，提取深层特征。将提取各个浅层特征的深层特征在FC1层302进行串行融合，组成串行融合的特征fC：
fC＝[fR fL fH] (6)
其中，[]表示将特征进行串行融合，fR为RGB特征对应的深层特征；fL为LTP特征对应的深层特征；fH为HOG特征对应的深层特征。
将FC1层的串行融合的特征以全连接的方式传递至FC2层303，并由softmax层304对FC2层的特征进行分类，得到分类结果，输出预测分数。
由于FC1层串行融合之后维度较高，FC2层还起到降维的作用。
步骤二、将预测分数与预先输入的标签层的期望分数进行对比，计算误差δ，将误差进行反向传播，更新CNN模型的参数。具体的：
设误差δ反向传播至FC1层为δc，需要根据单个CNN模型在FC1层隐藏层节点的单元数将误差δc分成3部分，即以RGB特征为输入的CNN模型在FC1层的误差δR，以LTP特征为输入的CNN模型在FC1层的误差δL，以HOG特征为输入的CNN模型在FC1层的误差δH。然后将3个误差δR、δL、δL分别在相应的CNN模型中进行反向传播，更新CNN模型的参数。
基于以上训练好的CNN模型，进行人脸识别与认证过程如下：
在进行身份认证时，可以分别提取待进行人脸识别的图像的RGB特征、LTP特征和HOG特征，并将提取的RGB特征、LTP特征和HOG特征分别作为CNN模型的输入，正向传播提取深层特征，将提取的各个深层特征在FC1层进行串行融合，得到串行融合的特征，将FC1层的串行融合的特征以全连接的方式传播至FC2层，将FC2层的特征作为输出的图像特征；基于FC2层输出的图像特征，计算采集图像与一张注册图像预存的图像特征之间的特征距离；根据计算的特征距离及预设阈值，判断采集图像与该注册图像中是否为同一人。
其中，注册图像的图像特征已按照与采集图像相同的步骤预先提取并存储。
在进行身份识别时，可以分别提取图像的RGB特征、LTP特征和HOG特征，并将提取的RGB特征、LTP特征和HOG特征分别作为CNN模型的输入，正向传播提取深层特征，将提取的各个深层特征在FC1层进行串行融合，得到串行融合的特征，将FC1层的串行融合的特征以全连接的方式传播至FC2层，将FC2层的特征作为输出的图像特征；基于FC2层输出的图像特征，将采集图像按照一定顺序与n张注册图像进行对比：逐次计算采集图像与每张注册图像预存的图像特征之间的特征距离；认为特征距离最小的采集图像与注册图像为同一人，即认为特征距离最小的注册人的身份为图像采集人的身份。
本实施例中，所提取的图像特征冗余性减弱，人脸识别效果更好。
基于同样的发明构思，本发明实施例还提供一种CNN模型的训练装置，如图5所示，该装置包括：
特征提取模块501，用于对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数；
更新模块502，用于将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将误差反向传播，更新各个浅层特征对应的CNN模型的参数。
本发明实施例中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征并进行分类。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，将利于分类的特征提取出来，从而降低了提取特征的冗余性；CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，将训练得到的CNN模型应用于人脸识别中，可以提高人脸识别效果。
较佳地，预设的多个浅层特征之间具有互补性。
较佳地，预设的多个浅层特征包括RGB特征、LTP特征和HOG特征。
较佳地，更新模块，具体用于：
将误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
本发明实施例还提供一种基于CNN模型的人脸识别装置，如图6所示，该装置包括：
特征提取模块601，用于对待进行人脸识别的采集图像按照如下特征提取步骤提取图像特征：对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，提取深层特征；将提取的各个深层特征进行串行融合；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用以上任意实施例所述的CNN模型的训练方法预训练得到的；
特征获取模块602，用于获取预先按照与所述采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
计算模块603，用于计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
识别模块604，用于根据计算的特征距离，进行人脸识别。
本发明实施例中，对多个浅层特征分别利用CNN模型提取深层特征之后，先将提取的多个特征串行融合，然后对串行融合的特征，进一步以全连接的方式与下一层进行连接，输出图像特征。基于全连接之后输出的图像特征，进行待进行人脸识别的采集图像和注册图像的对比，进而实现人脸识别。该方案中，由于对串行融合的特征采用全连接的方式与下一层进行连接，减小了冗余特征的作用，从而降低了提取特征的冗余性；所采用的CNN模型能够实现对特征与标签之间进行端到端的训练，可以自动提取有效特征，减弱冗余特征的作用，提高了人脸识别效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种CNN模型的训练方法，其特征在于，该方法包括：
对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数；
将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述预设的多个浅层特征之间具有互补性。
3.如权利要求2所述的方法，其特征在于，所述预设的多个浅层特征包括红绿蓝RGB特征、局部三值模式LTP特征和特征和梯度方向直方图HOG特征。
4.根据权利要求1所述的方法，其特征在于，将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数，包括：
将所述误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
5.一种基于CNN模型的人脸识别方法，其特征在于，该方法包括：
对待进行人脸识别的采集图像按照如下特征提取步骤提取图像特征：对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，提取深层特征；将提取的各个深层特征进行串行融合；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用权利要求1～4任一项所述的CNN模型的训练方法预训练得到的；
获取预先按照与所述采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
根据计算的特征距离，进行人脸识别。
6.一种CNN模型的训练装置，其特征在于，该装置包括：
特征提取模块，用于对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，正向传播提取深层特征；将提取的各个深层特征进行串行融合，得到串行融合的特征；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；并对输出的图像特征进行分类得到预测分数；
更新模块，用于将预测分数与预先输入的标签层的期望分数进行对比，计算误差；以及将所述误差反向传播，更新各个浅层特征对应的CNN模型的参数。
7.根据权利要求6所述的装置，其特征在于，所述预设的多个浅层特征之间具有互补性。
8.如权利要求7所述的装置，其特征在于，所述预设的多个浅层特征包括红绿蓝RGB特征、局部三值模式LTP特征和特征和梯度方向直方图HOG特征。
9.根据权利要求5所述的装置，其特征在于，所述更新模块，具体用于：
将所述误差在CNN模型中反向传播至串行融合的特征所在层，得到各个浅层特征对应的误差；
将各个浅层特征对应的误差在对应的CNN模型中反向传播，更新对应的CNN模型的参数。
10.一种基于CNN模型的人脸识别装置，其特征在于，该装置包括：
特征提取模块，用于对待进行人脸识别的采集图像按照如下特征提取步骤提取图像特征：对输入的图像分别提取预设的多个浅层特征；将提取的各个浅层特征分别作为卷积神经网络CNN模型的输入，提取深层特征；将提取的各个深层特征进行串行融合；将串行融合的特征所在层的各个神经元结点以全连接的方式与下一相邻的层的各个神经元结点进行连接得到图像特征，将全连接之后得到的图像特征作为输出的图像特征；其中的CNN模型是利用权利要求6～9任一项所述的CNN模型的训练装置预训练得到的；
特征获取模块，用于获取预先按照与所述采集图像的特征提取步骤相同的步骤提取的注册图像的图像特征；
计算模块，用于计算采集图像的图像特征与注册图像的图像特征之间的特征距离；
识别模块，用于根据计算的特征距离，进行人脸识别。
CN201711176849.4A 2017-11-22 2017-11-22 一种cnn模型的训练方法及装置、人脸识别方法及装置 Pending CN108009481A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711176849.4A CN108009481A (zh) 2017-11-22 2017-11-22 一种cnn模型的训练方法及装置、人脸识别方法及装置
PCT/CN2017/114140 WO2019100436A1 (en) 2017-11-22 2017-11-30 Methods and systems for face recognition
EP17932812.5A EP3698268A4 (en) 2017-11-22 2017-11-30 FACIAL RECOGNITION PROCESSES AND SYSTEMS
US16/879,793 US11651229B2 (en) 2017-11-22 2020-05-21 Methods and systems for face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711176849.4A CN108009481A (zh) 2017-11-22 2017-11-22 一种cnn模型的训练方法及装置、人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN108009481A true CN108009481A (zh) 2018-05-08

Family

ID=62053265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711176849.4A Pending CN108009481A (zh) 2017-11-22 2017-11-22 一种cnn模型的训练方法及装置、人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN108009481A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035184A (zh) * 2018-06-08 2018-12-18 西北工业大学 一种基于单位可变形卷积的密集连接方法
CN109033940A (zh) * 2018-06-04 2018-12-18 上海依图网络科技有限公司 一种图像识别方法、装置、计算设备及存储介质
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109214286A (zh) * 2018-08-01 2019-01-15 中国计量大学 基于深度神经网络多层特征融合的人脸识别方法
CN109801161A (zh) * 2019-03-13 2019-05-24 上海诚数信息科技有限公司 智能信用和信息认证系统及方法
CN111816166A (zh) * 2020-07-17 2020-10-23 字节跳动有限公司 声音识别方法、装置以及存储指令的计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN117173690A (zh) * 2023-10-24 2023-12-05 四川泓宝润业工程技术有限公司 自动定位和读取天然气仪表读数的方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN107004115A (zh) * 2014-12-03 2017-08-01 北京市商汤科技开发有限公司 用于人脸识别的方法和系统
US20190183429A1 (en) * 2016-03-24 2019-06-20 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004115A (zh) * 2014-12-03 2017-08-01 北京市商汤科技开发有限公司 用于人脸识别的方法和系统
US20190183429A1 (en) * 2016-03-24 2019-06-20 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN106778584A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张慧娜等: "基于 Haar-CNN 模型的自然场景图像分类的研究", 《四川师范大学学报( 自然科学版)》 *
杨国国等: "基于图像显著性分析与卷积神经网络的茶园害虫定位与识别", 《农业工程学报》 *
申小敏等: "基于卷积神经网络的大规模人脸聚类", 《广东工业大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033940A (zh) * 2018-06-04 2018-12-18 上海依图网络科技有限公司 一种图像识别方法、装置、计算设备及存储介质
CN109035184A (zh) * 2018-06-08 2018-12-18 西北工业大学 一种基于单位可变形卷积的密集连接方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109214286A (zh) * 2018-08-01 2019-01-15 中国计量大学 基于深度神经网络多层特征融合的人脸识别方法
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109801161A (zh) * 2019-03-13 2019-05-24 上海诚数信息科技有限公司 智能信用和信息认证系统及方法
CN111816166A (zh) * 2020-07-17 2020-10-23 字节跳动有限公司 声音识别方法、装置以及存储指令的计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112215157B (zh) * 2020-10-13 2021-05-25 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN117173690A (zh) * 2023-10-24 2023-12-05 四川泓宝润业工程技术有限公司 自动定位和读取天然气仪表读数的方法、装置及电子设备
CN117173690B (zh) * 2023-10-24 2024-01-26 四川泓宝润业工程技术有限公司 自动定位和读取天然气仪表读数的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108009481A (zh) 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
CN109902678A (zh) 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质
CN108229379A (zh) 图像识别方法、装置、计算机设备和存储介质
CN106650806A (zh) 一种用于行人检测的协同式深度网络模型方法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN108921061A (zh) 一种表情识别方法、装置和设备
CN109840523B (zh) 一种基于图像处理的城轨列车车号识别方法
Kong et al. Detect and locate: Exposing face manipulation by semantic-and noise-level telltales
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN105069447B (zh) 一种人脸表情的识别方法
CN106372651A (zh) 图片品质的检测方法及装置
CN106875007A (zh) 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
CN107992807A (zh) 一种基于cnn模型的人脸识别方法及装置
KR102645698B1 (ko) 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN106408086A (zh) 用于图像优化的深度学习神经网络处理方法及系统
CN108108669A (zh) 一种基于显著子区域的面部特征解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication