CN107832753A - 一种基于四值权重与多重分类的人脸特征提取方法 - Google Patents

一种基于四值权重与多重分类的人脸特征提取方法 Download PDF

Info

Publication number
CN107832753A
CN107832753A CN201711396290.6A CN201711396290A CN107832753A CN 107832753 A CN107832753 A CN 107832753A CN 201711396290 A CN201711396290 A CN 201711396290A CN 107832753 A CN107832753 A CN 107832753A
Authority
CN
China
Prior art keywords
face
layer
convolutional neural
value weights
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711396290.6A
Other languages
English (en)
Other versions
CN107832753B (zh
Inventor
舒泓新
蔡晓东
曾燕
王秀英
贺光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINACCS INFORMATION INDUSTRY Co Ltd
Original Assignee
CHINACCS INFORMATION INDUSTRY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINACCS INFORMATION INDUSTRY Co Ltd filed Critical CHINACCS INFORMATION INDUSTRY Co Ltd
Priority to CN201711396290.6A priority Critical patent/CN107832753B/zh
Publication of CN107832753A publication Critical patent/CN107832753A/zh
Application granted granted Critical
Publication of CN107832753B publication Critical patent/CN107832753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于四值权重与多重分类的人脸特征提取方法，包括：构建人脸训练样本数据库；搭建卷积神经网络；调整caffe框架；将人脸图像样本进行预处理并投入到卷积神经网络中进行训练，直到网络完全收敛，保存生成人脸识别模型；将待提取人脸图像进行预处理，生产均值文件，并投入到人脸识别模型中得到特征图，并将特征图旋转多种不同角度分别提取特征，再将同一图像不同角度特征进行加法融合，最终得到人脸总特征。本发明的有益效果是：本发明从根本上解决网络训练内存消耗巨大以及存储空间不足的问题，并通过多特征提取特征融合的方式获得表达能力更强的特征，从而使得人脸识别准确率得到显著提升。

Description

一种基于四值权重与多重分类的人脸特征提取方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于四值权重与多重分类的人脸特征提取方法。
背景技术
人脸识别技术不断迭代更新，在这个过程中，人脸识别越来越广泛的应用于各个领域，与之而来的是对人脸识别要求的不只是高识别率，还需要高效率，能够运用于移动端的模型进行快速准确的识别目标是目前最紧迫的问题。基于这个问题，如果能够研究出一种能够在移动端用极小的模型去进行快速精确的识别方法，将对门禁考勤系统、社会安防、公安、司法、刑侦、个人信息安全等应用有非常大的帮助。
采用深度学习进行人脸识别算法的研究，卷积神经网络是依靠随机梯度下降法进行权值的更新和迭代，权值是连续的全精度浮点型数据，其更新迭代时采用乘法进行运算，因此很多网络的模型都很大，提取特征所需要的时间也很长，从而导致深度学习模型不能很好的应用在移动设备上进行高效准确的人脸识别。目前提高人脸识别准确率的方式包括：用大数据集训练网络，以提高网络的泛化能力，使网络收敛更好，得到更加鲁棒的特征；加深加宽网络，使网络能够学习到人脸更具体更丰富的信息；提高网络输出的特征维度进行相似度比对，使提取的特征包含更多的图像信息。第一种方式用大数据集训练网络行之有效，现在很多方法也都是采用这种方式去训练网络以得到更好的测试准确率，但是收集大数据集是一个比较困难的事，同时网络中放入大数据集不可避免的会导致网络运行起来速度变慢，模型增大，不利于应用在小设备上；加深加宽网络最直观的是增加参数，增大模型尺寸，降低运算速度，降低特征提取效率；提取高维特征进行相似度比对同样会降低提取特征的效率，同时会增大模型尺寸，虽然在相似度计算过程中高维特征所耗费的时间不会太多，但是包含有效信息的低维特征更能满足使用需求。对于目前很多网络用于人脸识别的都是采用一个分类损失函数进行分类学习，一个 softmax函数可以进行人脸的分类，但是学习到的特征区分性不会太强，很有可能将不同的人脸识别为同一个人，或者将同一个人的人脸识别成不同的人。综上，人脸识别技术需要一种能够降低权值计算量，用小网络模型提取强区分性特征的方法。
发明内容
为了能够获得小尺寸的模型，通过小的计算量即可提取出具有强类别性和表达能力更强的特征，本发明提供了一种基于四值权重与多重分类的人类特征提取方法。
为了实现上述发明目的，本发明提供了一种基于四值权重与多重分类的人脸特征提取方法，其特征在于，包括：
步骤S1：采集人脸图像样本构建人脸训练样本数据库，相同人的所有人脸图像样本作为一组；
步骤S2：搭建具有多重分类功能的卷积神经网络；
步骤S3：调整caffe框架，将卷积神经网络的浮点型权重转换为四值权重；
步骤S4：将人脸训练样本数据库中的人脸图像样本进行预处理，生成均值文件，并将人脸图像样本投入到已设置好参数的卷积神经网络中，在调整后的caffe框架下对卷积神经网络进行训练，直到网络完全收敛，保存生成人脸识别模型一；
步骤S5：根据训练结果调整卷积神经网络的参数并微调步骤S3中的model1，直到网络完全收敛，保存生成人脸识别模型二；
步骤S6：将待提取人脸图像进行预处理，生产均值文件，并投入到步骤S5中的人脸识别模型二中得到特征图，并将特征图旋转多种不同角度分别提取特征，再将同一图像所有不同角度特征按照维度进行加法融合，最终得到能够进行相似度比对的人脸总特征。
其中，所述卷积神经网络包括四条支路，前面三条支路均包括两个卷基层、一个池化层、一个分类层和softmaxloss层，第四条支路包括三个卷积层、两个池化层、两个特征层、一个特征融合层、一个分类层和softmaxloss层。
所述第四条支路的具体连接方式为：一个卷基层和一个池化层串联构成卷积-池化层；两个卷积-池化层先串联构成部分一，另一卷基层与一个特征层串联后再与另一特征层并联构成部分二，部分一与部分二串联后再依次与特征融合层、分类层和softmaxloss层连接。
所述步骤2中，卷积神经网络的浮点型权重转换为四值权重的转换方法为：将浮点型的乘法运算按照符号函数转换为四值权重的加法运算，重新编译caffe；即将浮点型权重在横坐标的-1、0、1三个结点分别转换为纵坐标的-2、-1、1、2；符号函数公式如下：
所述步骤S4和步骤S6中所述的预处理具体为：检测、裁剪、对齐，并将图片格式转换为LMDB格式。
所述步骤S6中，将特征图旋转多种不同角度具体为：以特征图中心旋转90°、180°，每个特征图旋转得到两个旋转特征图。
本发明的有益效果是：本发明基于四值权重与多重分类的人脸特征提取方法，可以提取到类别特征更明显的特征，而通过四值权重的网络学习方式，从根本上解决网络训练内存消耗巨大以及存储空间不足的问题，从而提高特征提取的效率并获得小尺寸模型，并通过多特征提取特征融合的方式获得表达能力更强的特征，从而使得人脸识别准确率得到显著提升。
附图说明
图1为本发明实施例人脸特征提取方法的流程图。
图2为本发明实施例中多重分类的网络构架结构体图。
图3为本发明实施例中浮点型权重转换为四值权重的示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
参见图1，本发明实施例提供了一种基于四值权重与多重分类的人脸特征提取方法，包括：
步骤S1：采集人脸图像样本构建人脸训练样本数据库，相同人的所有人脸图像样本作为一组；
步骤S2：搭建具有多重分类功能的卷积神经网络；
步骤S3：调整caffe框架，将卷积神经网络的浮点型权重转换为四值权重；
步骤S4：将人脸训练样本数据库中的人脸图像样本进行预处理，生成均值文件，并将人脸图像样本投入到已设置好参数的卷积神经网络中，在调整后的caffe框架下对卷积神经网络进行训练，直到网络完全收敛，保存生成人脸识别模型一；
步骤S5：根据训练结果调整卷积神经网络的参数并微调步骤S3中的model1，直到网络完全收敛，保存生成人脸识别模型二；
步骤S6：将待提取人脸图像进行预处理，生产均值文件，并投入到步骤S5中的人脸识别模型二中得到特征图，并将特征图旋转多种不同角度分别提取特征，再将同一图像所有不同角度特征按照维度进行加法融合，最终得到能够进行相似度比对的人脸总特征。
其中，卷积神经网络的构架参见图2，具体包括四条支路共29层，每条支路用一个softmaxloss函数逐层对图像进行分类，每一个卷基层后面都添加了Batch Normalization层。前面三条支路布局一致，均包括两个卷基层、一个池化层、一个分类层和softmaxloss层，第四条支路包括三个卷积层、两个池化层、两个特征层、一个特征融合层、一个分类层和softmaxloss层。
第四条支路的具体连接方式为：一个卷基层和一个池化层串联构成卷积-池化层；两个卷积-池化层先串联构成部分一，另一卷基层与一个特征层串联后再与另一特征层并联构成部分二，部分一与部分二串联后再依次与特征融合层、分类层和softmaxloss层连接。
其中，步骤2中，卷积神经网络的浮点型权重转换为四值权重的转换方法为（参见图3）：将浮点型的乘法运算按照符号函数转换为四值权重的加法运算，重新编译caffe；即将浮点型权重在横坐标的-1、0、1三个结点分别转换为纵坐标的-2、-1、1、2；符号函数公式如下：
步骤S4和步骤S6中的预处理具体为：检测、裁剪、对齐，并将图片格式转换为LMDB格式。
步骤S6中，将特征图旋转多种不同角度具体为：以特征图中心旋转90°、180°，每个特征图旋转得到两个旋转特征图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于四值权重与多重分类的人脸特征提取方法，其特征在于，包括：
步骤S1：采集人脸图像样本构建人脸训练样本数据库，相同人的所有人脸图像样本作为一组；
步骤S2：搭建具有多重分类功能的卷积神经网络；
步骤S3：调整caffe框架，将卷积神经网络的浮点型权重转换为四值权重；
步骤S4：将人脸训练样本数据库中的人脸图像样本进行预处理，生成均值文件，并将人脸图像样本投入到已设置好参数的卷积神经网络中，在调整后的caffe框架下对卷积神经网络进行训练，直到网络完全收敛，保存生成人脸识别模型一；
步骤S5：根据训练结果调整卷积神经网络的参数并微调步骤S3中的model1，直到网络完全收敛，保存生成人脸识别模型二；
步骤S6：将待提取人脸图像进行预处理，生产均值文件，并投入到步骤S5中的人脸识别模型二中得到特征图，并将特征图旋转多种不同角度分别提取特征，再将同一图像所有不同角度特征按照维度进行加法融合，最终得到能够进行相似度比对的人脸总特征。
2.根据权利要求1所述的基于四值权重与多重分类的人脸特征提取方法，其特征在于，所述卷积神经网络包括四条支路，前面三条支路均包括两个卷基层、一个池化层、一个分类层和softmaxloss层，第四条支路包括三个卷积层、两个池化层、两个特征层、一个特征融合层、一个分类层和softmaxloss层。
3.根据权利要求2所述的基于四值权重与多重分类的人脸特征提取方法，其特征在于，所述第四条支路的具体连接方式为：一个卷基层和一个池化层串联构成卷积-池化层；两个卷积-池化层先串联构成部分一，另一卷基层与一个特征层串联后再与另一特征层并联构成部分二，部分一与部分二串联后再依次与特征融合层、分类层和softmaxloss层连接。
4.根据权利要求1-3任一项所述的基于四值权重与多重分类的人脸特征提取方法，其特征在于，所述步骤2中，卷积神经网络的浮点型权重转换为四值权重的转换方法为：将浮点型权重在横坐标的-1、0、1三个结点分别转换为纵坐标的-2、-1、1、2。
5.根据权利要求1-4任一项所述的基于四值权重与多重分类的人脸特征提取方法，其特征在于，所述步骤S4和步骤S6中所述的预处理具体为：检测、裁剪、对齐，并将图片格式转换为LMDB格式。
6.根据权利要求1-5任一项所述的基于四值权重与多重分类的人脸特征提取方法，其特征在于，所述步骤S6中，将特征图旋转多种不同角度具体为：以特征图中心旋转90°、180°，每个特征图旋转得到两个旋转特征图。
CN201711396290.6A 2017-12-21 2017-12-21 一种基于四值权重与多重分类的人脸特征提取方法 Active CN107832753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711396290.6A CN107832753B (zh) 2017-12-21 2017-12-21 一种基于四值权重与多重分类的人脸特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711396290.6A CN107832753B (zh) 2017-12-21 2017-12-21 一种基于四值权重与多重分类的人脸特征提取方法

Publications (2)

Publication Number Publication Date
CN107832753A true CN107832753A (zh) 2018-03-23
CN107832753B CN107832753B (zh) 2020-09-18

Family

ID=61645203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711396290.6A Active CN107832753B (zh) 2017-12-21 2017-12-21 一种基于四值权重与多重分类的人脸特征提取方法

Country Status (1)

Country Link
CN (1) CN107832753B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753864A (zh) * 2018-09-24 2019-05-14 天津大学 一种基于caffe深度学习框架的人脸识别方法
CN110222623A (zh) * 2019-05-31 2019-09-10 深圳市恩钛控股有限公司 微表情研判方法和系统
CN110619295A (zh) * 2019-09-09 2019-12-27 深圳市三宝创新智能有限公司 一种人脸识别方法及系统
CN111241892A (zh) * 2018-11-29 2020-06-05 中科视语(北京)科技有限公司 一种基于多神经网络模型联合优化的人脸识别方法及系统
CN116310516B (zh) * 2023-02-20 2023-11-21 交通运输部水运科学研究所 船舶分类方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107330381A (zh) * 2017-06-15 2017-11-07 浙江捷尚视觉科技股份有限公司 一种人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107330381A (zh) * 2017-06-15 2017-11-07 浙江捷尚视觉科技股份有限公司 一种人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XJTU_NOC_WEI: "权值简化（1）：三值神经网络", 《CSDN》 *
徐其华: "Caffe学习系列(12)：训练和测试自己的图片", 《博客园》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753864A (zh) * 2018-09-24 2019-05-14 天津大学 一种基于caffe深度学习框架的人脸识别方法
CN111241892A (zh) * 2018-11-29 2020-06-05 中科视语(北京)科技有限公司 一种基于多神经网络模型联合优化的人脸识别方法及系统
CN110222623A (zh) * 2019-05-31 2019-09-10 深圳市恩钛控股有限公司 微表情研判方法和系统
CN110619295A (zh) * 2019-09-09 2019-12-27 深圳市三宝创新智能有限公司 一种人脸识别方法及系统
CN116310516B (zh) * 2023-02-20 2023-11-21 交通运输部水运科学研究所 船舶分类方法及装置

Also Published As

Publication number Publication date
CN107832753B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
Li et al. Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks
CN107273876B (zh) 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN105512624B (zh) 一种人脸图像的笑脸识别方法及其装置
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN105975931B (zh) 一种基于多尺度池化的卷积神经网络人脸识别方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN107832753A (zh) 一种基于四值权重与多重分类的人脸特征提取方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN105205449B (zh) 基于深度学习的手语识别方法
CN108921822A (zh) 基于卷积神经网络的图像目标计数方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN107909104A (zh) 一种图片的人脸聚类方法、装置及存储介质
CN107506786A (zh) 一种基于深度学习的属性分类识别方法
CN107729993A (zh) 利用训练样本及折中度量的3d卷积神经网络构建方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN107545243A (zh) 基于深度卷积模型的黄种人脸识别方法
CN103020614B (zh) 基于时空兴趣点检测的人体运动识别方法
CN107506792A (zh) 一种半监督的显著对象检测方法
CN109726619A (zh) 一种基于参数共享的卷积神经网络人脸识别方法及系统
CN109344856A (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
Singh et al. Leaf identification using feature extraction and neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant