CN106682628B - 一种基于多层深度特征信息的人脸属性分类方法 - Google Patents

一种基于多层深度特征信息的人脸属性分类方法 Download PDF

Info

Publication number
CN106682628B
CN106682628B CN201611251749.9A CN201611251749A CN106682628B CN 106682628 B CN106682628 B CN 106682628B CN 201611251749 A CN201611251749 A CN 201611251749A CN 106682628 B CN106682628 B CN 106682628B
Authority
CN
China
Prior art keywords
layer
feature
information
face image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611251749.9A
Other languages
English (en)
Other versions
CN106682628A (zh
Inventor
丁保剑
冯琰一
王洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Technology Group Co Ltd
Original Assignee
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Suntek Technology Co Ltd filed Critical PCI Suntek Technology Co Ltd
Priority to CN201611251749.9A priority Critical patent/CN106682628B/zh
Publication of CN106682628A publication Critical patent/CN106682628A/zh
Application granted granted Critical
Publication of CN106682628B publication Critical patent/CN106682628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多层深度特征信息的人脸属性分类方法，具体步骤如下：S1：假设x是任意角度的人脸图像，S2：使用局部特征区域提取算法将原始图像变换为局部信息，S3：使用多层特征提取算法来提取多层特征信息，S4：利用多特征融合算法来自适应融合多维度的信息。本发明提供了一种基于多层深度信息的人脸属性分类技术，该方法可以有效识别人脸图像中人的属性，从而实现智能视频监控和智能判断，该方法使用深度学习的方法对人脸属性样本进行训练，网络模型分为公共卷积层，特征提取层以及属性分类层。在特征提取层中，连接多层特征，融合多个尺度的信息，有助于提取更加有区分能力的特征。

Description

一种基于多层深度特征信息的人脸属性分类方法
技术领域
本发明涉及计算机视觉技术领域，具体为一种基于多层深度特征信息的人脸属性分类方法。
背景技术
智能视频监控以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。智能视频监控系统能够识别不同的物体。发现监控画面中的异常情况，并能以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。智能视频监控中的人脸属性分析则是实现这一环节的关键技术。目前比较常用的人脸属性分析方法大致分为两类，一种是使用传统特征提取方法来提取特征，如hog、sift等，再连接分类器进行属性分类。另外一种是使用深度学习的方法来进行属性分类。
由于常见的方法所得到的效果尚不可进行实际应用，业界亟待一种能够准确地分析人脸的属性，并能够应用到实际场景中的具体方法。
发明内容
本发明的目的在于提供一种基于多层深度特征信息的人脸属性分类方法，具体步骤如下：
S1：x是任意角度的人脸图像，y是正脸图像，寻找f使得f(x)＝y，这样构建多层fi＝θ(w，x)，使得f成立，这里通过深度学习的方式来学习w参数，从而找到f函数，首先通过预处理正脸图像，旋转出不同角度的图像作为训练图像，而对应的正脸图像作为想要得到的结果，为了使得网络的输入和输出为同尺寸图像，特征层后面连接上采样层，损失函数使用L2 norm比较最后一个特征层和正脸图像，通过逐步迭代调优，使得最后一个特征层接近正脸图像，最后训练出来的网络就是要寻找的f，通过该函数就可以保证输入的人脸图像具有旋转不变性；
S2：使用局部特征区域提取算法将原始图像变换为局部信息，利用像素级分类方法，将整个人脸图像分为多个区域，首先预处理图像，标记出想要区分的部位作为真实局部区域，构建一个全卷积网络，对应尺寸的特征层有一个线性链接，可以在局部区域分类时使用多个尺寸信息，特征层后面连接上采样层，区分多个类型区域，得到整个图像的像素级分类，最终可以获取局部部位的区域，通过这个网络，就可以把原始图像转变为局部信息；
S3：使用多层特征提取算法来提取多层特征信息，构建一个特征提取块，提取块由3个卷积层构成，3个卷积层为同深度，构成一个宽度为3的层，称为提取块，卷积层参数分别为kernel size：1、pad：0、stride：1，kernel size：3、pad：1、stride：1以及kernel size：5、pad：2、stride：1，经过提取块计算后的特征尺度不变，叠加多个提取块，以获取不同感受野下的特征信息；
S4：利用多特征融合算法来自适应融合多维度的信息，xi为特征i，每一个特征都有一个权值wi对应，使得
Figure GSB0000184450810000021
为融合后的特征，使用深度学习的方式来学习权值wi，通过L2 norm比较融合后的特征和正脸图像，通过如下函数更新权值，
Figure GSB0000184450810000022
在多特征提取层和L2 norm层加入以wi为权值的层，融合多维特征，端到端地训练整个网络。
与现有技术相比，本发明的有益效果是：本发明提供了一种基于多层深度信息的人脸属性分类技术，该方法可以有效识别人脸图像中人的属性，从而实现智能视频监控和智能判断。该方法使用深度学习的方法对人脸属性样本进行训练，网络模型分为公共卷积层，特征提取层以及属性分类层。在特征提取层中，连接多层特征，融合多个尺度的信息，有助于提取更加有区分能力的特征。同时，在训练好公共卷积层后，使用逐层训练的方法，根据需要增加特征层的层数，直至所有属性达到最佳性能。
附图说明
图1为本发明步骤流程图；
图2为本发明算法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
一种基于多层深度特征信息的人脸属性分类方法，具体步骤如下：
S1：x是任意角度的人脸图像，y是正脸图像，寻找f使得f(x)＝y，这样构建多层fi＝θ(w，x)，使得f成立，这里通过深度学习的方式来学习w参数，从而找到f函数，首先通过预处理正脸图像，旋转出不同角度的图像作为训练图像，而对应的正脸图像作为想要得到的结果，为了使得网络的输入和输出为同尺寸图像，特征层后面连接上采样层，损失函数使用L2 norm比较最后一个特征层和正脸图像，通过逐步迭代调优，使得最后一个特征层接近正脸图像，最后训练出来的网络就是要寻找的f，通过该函数就可以保证输入的人脸图像具有旋转不变性；
S2：使用局部特征区域提取算法将原始图像变换为局部信息，利用像素级分类方法，将整个人脸图像分为多个区域，首先预处理图像，标记出想要区分的部位作为真实局部区域，构建一个全卷积网络，对应尺寸的特征层有一个线性链接，可以在局部区域分类时使用多个尺寸信息，特征层后面连接上采样层，区分多个类型区域，得到整个图像的像素级分类，最终可以获取局部部位的区域，通过这个网络，就可以把原始图像转变为局部信息；
S3：使用多层特征提取算法来提取多层特征信息，构建一个特征提取块，提取块由3个卷积层构成，3个卷积层为同深度，构成一个宽度为3的层，称为提取块，如图1所示，卷积层参数分别为kernel size：1、pad：0、stride：1，kernel size：3、pad：1、stride：1以及kernel size：5、pad：2、stride：1，经过提取块计算后的特征尺度不变，叠加多个提取块，以获取不同感受野下的特征信息；
S4：利用多特征融合算法来自适应融合多维度的信息，xi为特征i，每一个特征都有一个权值wi对应，使得
Figure GSB0000184450810000041
为融合后的特征，使用深度学习的方式来学习权值wi，通过L2 norm比较融合后的特征和正脸图像，通过如下函数更新权值，
Figure GSB0000184450810000042
在多特征提取层和L2 norm层加入以wi为权值的层，融合多维特征，端到端地训练整个网络。
本发明分为训练阶段和部署阶段。
训练阶段详细说明：
1、人脸属性信息处理流程：
第一步，获取人脸正脸图像，使用仿射变换获取不同角度的人脸图像，得到正脸对应多角度的人脸的图像队列。
第二步，对正脸图像进行像素级的分类标注，得到正脸图像的标注队列。
第三步，对属性进行均衡化处理，得到属性标签队列。
2、人脸深度特征处理流程：
第一步，使用上述第一步得到的图像队列，训练角度校正模型的参数，模型收敛后，将损失层移除，最后一层输出后将值从[-1，1]变换至[0，255]。保存训练后的模型参数。
第二步，使用上述第二步得到的标注队列，训练局部特征提取模型的参数，模型收敛后，将损失层移除，对最后一层特征的每个像素进行分类。分类结果保存为mark矩阵，保存局部特征模型的参数。
3、基于深度特征的人脸属性分析流程：
第一步，连接多层特征提取层、特征融合层以及属性分类损失层，使用均衡化后的属性标签同时训练整个模型。
第二步，重复调整特征提取层，使得各个属性达到最优的性能。保存训练后的特征提取模型、特征融合模型以及属性分类层的参数。
部署阶段详细说明：
本发明输入数据为包含人脸的图像，要求的格式为RGB。
输出的结果为属性分类序列，一张人脸图像对应一个属性分类序列，包含所有属性的分类结果。
人脸属性分类流程：
第一步，加载在训练阶段保存的模型参数。
第二步，输入图像，通过角度校正算法将输入图像校正为正脸图像。
第三步，将输出的正脸图像输入局部特征提取算法，得到图像的局部信息矩阵。同时将正脸图像输入到公共卷积层，提取公共特征。
第四步，使用步骤三得到局部信息，将图像分为各个局部区域。
第五步，使用特征提取层对局部区域进行深度特征提取，得到多维特征。
第六步，使用多维特征融合算法融合多维特征，输入至属性分类层，得到属性分类结果。
第七步，属性分类结束。
本发明提供了一种基于多层深度信息的人脸属性分类技术，该方法可以有效识别人脸图像中人的属性，从而实现智能视频监控和智能判断。该方法使用深度学习的方法对人脸属性样本进行训练，网络模型分为公共卷积层，特征提取层以及属性分类层。在特征提取层中，连接多层特征，融合多个尺度的信息，有助于提取更加有区分能力的特征。同时，在训练好公共卷积层后，使用逐层训练的方法，根据需要增加特征层的层数，直至所有属性达到最佳性能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于多层深度特征信息的人脸属性分类方法，其特征在于：具体步骤如下：
S1：x是任意角度的人脸图像，y是正脸图像，寻找f使得f(x)＝y，这样构建多层fi＝θ(w，x)，使得f成立，这里通过深度学习的方式来学习w参数，从而找到f函数，首先通过预处理正脸图像，旋转出不同角度的图像作为训练图像，而对应的正脸图像作为想要得到的结果，为了使得网络的输入和输出为同尺寸图像，特征层后面连接上采样层，损失函数使用L2 norm比较最后一个特征层和正脸图像，通过逐步迭代调优，使得最后一个特征层接近正脸图像，最后训练出来的网络就是要寻找的f，通过该函数就可以保证输入的人脸图像具有旋转不变性；
S2：使用局部特征区域提取算法将原始图像变换为局部信息，利用像素级分类方法，将整个人脸图像分为多个区域，首先预处理图像，标记出想要区分的部位作为真实局部区域，构建一个全卷积网络，对应尺寸的特征层有一个线性链接，可以在局部区域分类时使用多个尺寸信息，特征层后面连接上采样层，区分多个类型区域，得到整个图像的像素级分类，最终可以获取局部部位的区域，通过这个网络，就可以把原始图像转变为局部信息；
S3：使用多层特征提取算法来提取多层特征信息，构建一个特征提取块，提取块由3个卷积层构成，3个卷积层为同深度，构成一个宽度为3的层，称为提取块，卷积层参数分别为kernel size：1、pad：0、stride：1，kernel size：3、pad：1、stride：1以及kernel size：5、pad：2、stride：1，经过提取块计算后的特征尺度不变，叠加多个提取块，以获取不同感受野下的特征信息；
S4：利用多特征融合算法来自适应融合多维度的信息，xi为特征i，每一个特征都有一个权值wi对应，使得
Figure FSB0000184450800000021
为融合后的特征，使用深度学习的方式来学习权值wi，通过L2 norm比较融合后的特征和正脸图像，通过如下函数更新权值，
Figure FSB0000184450800000022
在多特征提取层和L2 norm层加入以wi为权值的层，融合多维特征，端到端地训练整个网络。
CN201611251749.9A 2016-12-30 2016-12-30 一种基于多层深度特征信息的人脸属性分类方法 Active CN106682628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611251749.9A CN106682628B (zh) 2016-12-30 2016-12-30 一种基于多层深度特征信息的人脸属性分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611251749.9A CN106682628B (zh) 2016-12-30 2016-12-30 一种基于多层深度特征信息的人脸属性分类方法

Publications (2)

Publication Number Publication Date
CN106682628A CN106682628A (zh) 2017-05-17
CN106682628B true CN106682628B (zh) 2020-01-10

Family

ID=58872234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611251749.9A Active CN106682628B (zh) 2016-12-30 2016-12-30 一种基于多层深度特征信息的人脸属性分类方法

Country Status (1)

Country Link
CN (1) CN106682628B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985131B (zh) * 2017-05-31 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法及图像处理设备
CN107784282B (zh) * 2017-10-24 2020-04-03 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN108510061B (zh) * 2018-03-19 2022-03-29 华南理工大学 基于条件生成对抗网络的多监控视频人脸合成正脸的方法
CN109359666B (zh) * 2018-09-07 2021-05-28 佳都科技集团股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN109886072B (zh) * 2018-12-25 2021-02-26 中国科学院自动化研究所 基于双向Ladder结构的人脸属性分类系统
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530657A (zh) * 2013-09-26 2014-01-22 华南理工大学 一种基于加权l2抽取深度学习人脸识别方法
CN104463878A (zh) * 2014-12-11 2015-03-25 南京理工大学 一种新的深度图像局部描述符方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530657A (zh) * 2013-09-26 2014-01-22 华南理工大学 一种基于加权l2抽取深度学习人脸识别方法
CN104463878A (zh) * 2014-12-11 2015-03-25 南京理工大学 一种新的深度图像局部描述符方法

Also Published As

Publication number Publication date
CN106682628A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106682628B (zh) 一种基于多层深度特征信息的人脸属性分类方法
Anwar et al. Image colorization: A survey and dataset
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN106126585B (zh) 基于质量分级与感知哈希特征组合的无人机图像检索方法
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN109858467B (zh) 一种基于关键点区域特征融合的人脸识别方法及装置
Mohanty et al. Robust pose recognition using deep learning
CN108345900B (zh) 基于颜色纹理分布特征的行人重识别方法及其系统
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN110879982A (zh) 一种人群计数系统及方法
CN113449806A (zh) 基于层次结构的二阶段林业害虫识别与检测系统及方法
CN110490214A (zh) 图像的识别方法及系统、存储介质及处理器
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
CN111488805A (zh) 一种基于显著性特征提取的视频行为识别方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN111027472A (zh) 一种基于视频光流和图像空间特征权重融合的视频识别方法
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170517

Assignee: Guangdong Huazhiyuan Information Engineering Co.,Ltd.

Assignor: PCI-SUNTEKTECH Co.,Ltd.

Contract record no.: X2021980000211

Denomination of invention: A face attribute classification method based on multi level depth feature information

Granted publication date: 20200110

License type: Common License

Record date: 20210108

EE01 Entry into force of recordation of patent licensing contract
CP03 Change of name, title or address

Address after: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee after: Jiadu Technology Group Co.,Ltd.

Address before: Room 306, area 2, building 1, Fanshan Venture Center, Panyu energy saving science and Technology Park, 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: PCI-SUNTEKTECH Co.,Ltd.

CP03 Change of name, title or address