CN105404877A - 基于深度学习和多任务学习的人脸属性预测方法及装置 - Google Patents
基于深度学习和多任务学习的人脸属性预测方法及装置 Download PDFInfo
- Publication number
- CN105404877A CN105404877A CN201510900079.8A CN201510900079A CN105404877A CN 105404877 A CN105404877 A CN 105404877A CN 201510900079 A CN201510900079 A CN 201510900079A CN 105404877 A CN105404877 A CN 105404877A
- Authority
- CN
- China
- Prior art keywords
- layer
- face
- attribute
- neural network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习和多任务学习的人脸属性预测方法及装置，该方法主要包括：收集人脸图片并标注对应多个属性的类别，形成一个训练数据集合；检测人脸，以及人脸关键点，并通过多个关键点对齐人脸；对类别中具有顺序的属性进行编码；构造一个深度神经网络；利用训练数据集合，训练深度神经网络，并部署训练得到的神经网络模型，最后利用神经网络模型，预测图片中的人脸属性。本发明通过对多个属性联合训练，只用一个深度网络可以同时预测多个属性，预测效果提高明显。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于深度学习和多任务学习的人脸属性预测方法及装置。
背景技术
目前，根据人脸图像预测人脸属性越来越受到关注。人脸属性包括表情，动作单元，性别，年龄，人种，嘴巴大小，鼻梁高低，是否戴眼镜，是否戴墨镜，眼睛大小，眼睛睁开或者闭着，嘴巴张开或者闭着，头发长短或者发型类别，颜值，正面或侧面等。人脸属性预测技术现广泛应用于人机交互，用户建模等领域。
现有的人脸属性预测主要基于传统的机器学习框架，首先提取人工设计的特征，然后对特征降维，以得到紧凑的特征，最后使用分类或者回归模型预测人脸属性。近来也出现以深度学习来预测人脸属性的技术。
基于传统的机器学习框架存在以下几个问题：1)传统的机器学习方法很难有效的利用越来越多的训练数据，要么训练过程复杂，所需时间长，硬件资源多，要么随着训练数据增加效果提高不明显；2)传统的机器方法依赖人工设计的特征，需要开发者对问题本身有深入的了解；3)在传统的机器学习方法中，特征提取，属性预测是两个独立的模块，没有联合优化，因此只能得到次优的结果。
现有基于深度学习的方法存在以下几个问题：1)简单把属性识别当作分类或者回归问题，使用现有的softmax或者crossentropy损耗层来训练深度网络，对有些具有顺序性且离散的属性类别，如年龄，不能取得很好的训练效果；2)现有的技术针对每个属性独立训练一个深度网络，从而导致模型的大小随着属性的个数增加而线性增加，限制了人脸属性在实际场景中应用。
发明专利申请CN104036151A公开了一种人脸属性值计算方法和系统，该方法通过对收集到的人脸图片的属性值生成特征向量，进而转化为基准向量，通过基准向量和特征值建立计算模型，最后利用该模型计算目标人脸图片的属性值。该方法存在的缺点是，1)特征向量是人工设计，不是自动学习产生，对人脸属性的表达能力不强；2)该方法提出的计算模型是基于基准向量和特征值的简单拟合模型，不能拟合很复杂的非线性关系；3)该方法预测属性时，需要计算目标人脸的特征与已经收集的图片库的特征的距离最小值，时间复杂度高；4)该方法的特征提取与计算模型的建立是两个独立的过程，最终得到的属性预测模型不能联合优化，从而只能得到次优的结果。
发明专利申请CN104143079A公开了一种人脸属性识别方法和系统。该方法通过将图像样本中人脸的有效区域图像，抽取纹理特征，依次根据种族分类器、性别分类器和年龄分类器对该纹理特征进行种族、性别和年龄的分类，进而得到人脸的种族属性、性别属性以及年龄属性，从而实现人脸属性的识别。该方法存在的缺点是，1)基于人工设计的生物启发特征BIM，需要调试不同的参数才能使得特征的表达能力较强；2)该方法只识别人脸种族，性别，年龄三种属性，不具有普适性，不容易拓展到其它属性；3)该方法采用多级分类的方法，如果在初始分类错误，会导致最终分类严重错误。
发明专利申请CN103294998A公开了一种基于属性空间的人脸可视化特征表征方法。该方法通过对64种人脸全部或局部属性进行数据模拟、预处理和数据评估，得到数据底层特征，利用高斯混合模型对属性数据分布进行估计，形成人脸属性空间；将输入人脸数据投影至属性空间中，获得量化的人脸可视化特征；通过Z-score方法对可视化特征进行标准化，从而对输入数据进行识别。该方法存在的缺点是，1)该方法中的属性识别基于人工设计的局部特征SIFT和简单的分类器SVM，其局部特征不一定适合每种属性的分类；2)每种特征提取和分类是两个独立的过程，没有联合优化，因此，只能得到次优的结果。
发明内容
为了解决现有技术中人脸属性预测方法结果不够优，计算过程复杂，属性值表达能力不强的问题，本发明提出了一种基于深度学习和多任务学习的人脸属性预测方法。该方法的流程如下：
步骤S1：收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
步骤S2：检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
步骤S3：对类别中具有顺序的属性进行编码；
步骤S4：构造一个深度神经网络；
步骤S5：利用步骤S1形成的训练数据集合，训练步骤S4中的深度神经网络，并部署训练得到的神经网络模型。
步骤S6，利用步骤S5中的神经网络模型，预测图片中的人脸属性。
此外，本发明还提出了一种基于深度学习和多任务学习的人脸属性预测装置，该装置包括以下单元：
收集标注单元，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
检测对齐单元，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
编码单元，用于对类别中具有顺序的属性进行编码；
神经网络构造单元，用于构造一个深度神经网络；
神经网络训练单元，用于利用收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型；
人脸属性预测单元，用于利用神经网络训练单元中的神经网络模型，预测图片中的人脸属性。
本发明具有以下显著特点：1)通过多个属性联合训练，一个深度神经网络可以同时预测多个属性；2)针对一些属性，首先对其编码，然后使用编码作为监督信息训练深度神经网络；通过联合训练，不但一个网络可以同时预测多个属性，而且每种属性的训练可以相互帮助，预测效果提高明显。
附图说明
图1是基于深度学习和多任务学习的人脸属性预测方法流程图；
图2是深度神经网络结构示意图；
图3是基于深度学习和多任务学习的人脸属性预测装置结构示意图。
具体实施方式
结合附图1对本发明提出的基于深度学习和多任务学习的人脸属性预测方法作详细说明。
如附图1所示，该基于深度学习和多任务学习的人脸属性预测方法，包括以下步骤：
步骤S1：收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合。
人脸属性的类别由局部属性和全局属性组成。局部属性包括但不限于头发颜色，头发长短，眉毛长短，眉毛浓密或者稀疏，眼睛大小，眼睛睁开或者闭着，鼻梁高低，嘴巴大小，嘴巴张开或者闭着，是否佩戴眼镜，是否佩戴墨镜，是否戴口罩等。全局属性包括但不限于人种，性别，年龄，颜值，表情等。
针对收集的人脸图片，人工标注其对应的属性，并根据属性对应的类别形成一个训练数据集合。
步骤S2：检测人脸，以及人脸关键点，通过多个关键点对齐人脸。
利用AdaBoost分类器(自适应增强分类器)或者深度学习的人脸检测算法检测人脸。
其中利用AdaBoost分类器检测人脸的算法为现有技术，具体可以参见CN102254183B公开的算法。
利用深度学习算法检测人脸的方法也为现有技术，具体可以参见CN103778414A和/或CN104866810A公开的算法。
本发明的重点并不在于人脸检测算法，因此，采用任何一现有的AdaBoost分类器或深度学习算法实现人脸及人脸关键点的检测即可。
由于不同的人脸照片，可能具有不同的姿态。为了达到更好的预测效果，因此，每张图片除了检测人脸外，还需检测其关键点，根据其关键点，计算一个该人脸到标准人脸的仿射或者相似变换，把该人脸与标准人脸对齐。所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。
步骤S3：对类别中具有顺序性的属性进行编码。
以年龄属性为例。对于年龄a，其编码可以为以下几种形式之一或者其组合。
(1)编码为X1X2…Xi…，其中Xi为二值的数值，0或者1。如果i小于等于a，则Xi为1，如果i大于a，则Xi为0。
(2)编码为X1X2…Xi…，其中Xi为二值的数值，0或者1。如果i等于a除以k，则Xi为1，否则，Xi为0。其中k可以为任何正整数，可以人工定义或者随机选取。
该编码方式可用于任何一属性，以具有顺序性的属性为佳。
步骤S4：构造一个深度神经网络。该网络的前端可以是任何多个卷积层(convolutionallayer)，池化层(poolinglayer)和非线性层(non-linearlayer)的组合，其后端是softmax，和/或crossentropy等损耗层。
该深度神经网络的结构如附图2所示，其中，
A为输入层，该层用于读入人脸图片，属性类别及属性编码。该层可以对人脸图片进行预处理操作，输出对齐的人脸图片，属性类别或者编码。输入层A将经过预处理的人脸图片输出到卷积层B。同时输入层A将经过预处理的属性类别和/或编码输入到G层损耗层。
B层为卷积层，其输入是经过预处理的人脸图片或者图片的图像特征，通过一线性变换输出得到新特征。其输出的新特征为C层非线性层的输入。
C层为非线性层，其通过非线性函数，对卷积层B输入的特征进行非线性的变换，使得其输出的特征有较强的表达能力。非线性层C的输出特征为池化层D的输入。
D为池化层(Poolinglayer)，池化层可以将多个数值映射到一个数值。该层不但可以进一步加强学习到的特征的非线性，而且可以使得输出的特征的空间大小(spatialsize)变小，而从增强学习的特征的平移不变性，即人脸平移，提取的特征保持不变。池化层D的输出特征可以再次作为为卷积层B的输入或者全连接层E的输入。
如附图2所示，卷积层B，非线性层C和池化层D外面的大框表示B，C，D层可以重复一次或者多次，即卷积层B，非线性层C和池化层D组合可以重复一次或多次，每一次池化层的输出可以作为卷积层B的再次输入。B，C，D三层的多次组合，可以更好的处理输入的图片，使其特征具有最佳的表达能力。
E层为全连接层，它对池化层D的输入做一个线性变换，把学习得到的特征投影到一个更好的子空间以利于属性预测。全连接层E的输出特征作为非线性层F的输入。
F层为非线性层，与非线性层C的功能一样，对全连接层E的输入特征进行非线性变换。其输出特征可以作为损耗层G的输入或者再次作为全连接层E的输入。
如附图2所示，全连接层E和非线性层F外面的大框，表示E层和F层可以重复一次或者多次。
G层为一个或者多个损耗层，可以是softmax，和/或crossentropy等。其主要负责计算预测的属性类别和/或编码与输入的属性类别和/或编码的误差。
总体而言，输入层A负责简单处理输入。卷积层B，非线性层C和池化层D的组合负责图片的特征提取。全连接层E和非线性层F是特征到属性类别和/或编码的映射。损耗层G负责计算预测误差。通过上述深度神经网络的多层设计保证提取的特征具有丰富的表达能力，而从更好的预测属性。同时，多个属性类别和编码同时连接损耗层G，确保多个任务同时学习，共享深度网络学到的特征。
步骤S5：利用步骤S1形成的训练数据集合，训练步骤S4中设计的深度神经网络，并部署训练得到的神经网络模型。
通过向后传递的梯度下降算法，训练得到步骤S4中深度神经网络的网络参数。替换输入层A使得其只输入图片；替换损耗层G，使得其只输入特征，从而部署得到一个输入人脸图片，同时输出人脸多个属性的深度神经网络模型。
步骤S6，利用步骤S5中的深度神经网络模型，预测图片中的人脸属性。
此外，本发明还涉及一种基于深度学习和多任务学习的人脸属性预测装置。现结合附图3对该装置作详细说明。
如图3所示，该基于深度学习和多任务学习的人脸属性预测装置，包括以下单元：
收集标注单元，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合。
人脸属性的类别由局部属性和全局属性组成。局部属性包括但不限于头发颜色，头发长短，眉毛长短，眉毛浓密或者稀疏，眼睛大小，眼睛睁开或者闭着，鼻梁高低，嘴巴大小，嘴巴张开或者闭着，是否佩戴眼镜，是否佩戴墨镜，是否戴口罩等。全局属性包括但不限于人种，性别，年龄，颜值，表情等。
针对收集的人脸图片，人工标注其对应的属性，并根据属性对应的类别形成一个训练数据集合。
检测对齐单元，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸。
利用AdaBoost分类器(自适应增强分类器)或者深度学习的人脸检测算法检测人脸。
其中利用AdaBoost分类器检测人脸的算法为现有技术，具体可以参见CN102254183B公开的算法。
利用深度学习算法检测人脸的方法也为现有技术，具体可以参见CN103778414A和/或CN104866810A公开的算法。
本发明的重点并不在于人脸检测算法，因此，采用任何一现有的AdaBoost分类器或深度学习算法实现人脸及人脸关键点的检测即可。
由于不同的人脸照片，可能具有不同的姿态。为了达到更好的预测效果，因此，每张图片除了检测人脸外，还需检测其关键点，根据其关键点，计算一个该人脸到标准人脸的仿射或者相似变换，把该人脸与标准人脸对齐。所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖等位置信息。
编码单元，用于对类别中具有顺序性的属性进行编码。
以年龄属性为例。对于年龄a，其编码可以为以下几种形式之一或者其组合。
(1)编码为X1X2…Xi…，其中Xi为二值的数值，0或者1。如果i小于等于a，则Xi为1，如果i大于a，则xi为0。
(2)编码为X1X2…Xi…，其中Xi为二值的数值，0或者1。如果i等于a除以k，则Xi为1，否则，Xi为0。其中k可以为任何正整数，可以人工定义或者随机选取。
该编码方式可用于任何一属性，以具有顺序性的属性为佳。
神经网络构造单元，用于构造一个深度神经网络。该网络的前端可以是任何多个卷积层(convolutionallayer)，池化层(poolinglayer)和非线性层(non-linearlayer)的组合，其后端是softmax，和/或crossentropy等损耗层。
该深度神经网络的结构如附图2所示，其中，
A为输入层，该层用于读入人脸图片，属性类别及属性编码。该层可以对人脸图片进行预处理操作，输出对齐的人脸图片，属性类别或者编码。输入层A将经过预处理的人脸图片输出到卷积层B。同时输入层A将经过预处理的属性类别和/或编码输入到G层损耗层。
B层为卷积层，其输入是经过预处理的人脸图片或者图片的图像特征，通过一线性变换输出得到新特征。其输出的新特征为C层非线性层的输入。
C层为非线性层，其通过非线性函数，对卷积层B输入的特征进行非线性的变换，使得其输出的特征有较强的表达能力。非线性层C的输出特征为池化层D的输入。
D为池化层(Poolinglayer)，池化层可以将多个数值映射到一个数值。该层不但可以进一步加强学习到的特征的非线性，而且可以使得输出的特征的空间大小(spatialsize)变小，而从增强学习的特征的平移不变性，即人脸平移，提取的特征保持不变。池化层D的输出特征可以再次作为为卷积层B的输入或者全连接层E的输入。
如附图2所示，卷积层B，非线性层C和池化层D外面的大框表示B，C，D层可以重复一次或者多次，即卷积层B，非线性层C和池化层D组合可以重复一次或多次，每一次池化层的输出可以作为卷积层B的再次输入。B，C，D三层的多次组合，可以更好的处理输入的图片，使其特征具有最佳的表达能力。
E层为全连接层，它对池化层D的输入做一个线性变换，把学习得到的特征投影到一个更好的子空间以利于属性预测。全连接层E的输出特征作为非线性层F的输入。
F层为非线性层，与非线性层C的功能一样，对全连接层E的输入特征进行非线性变换。其输出特征可以作为损耗层G的输入或者再次作为全连接层E的输入。
如附图2所示，全连接层E和非线性层F外面的大框，表示E层和F层可以重复一次或者多次。
G层为一个或者多个损耗层，可以是softmax，和/或crossentropy等。其主要负责计算预测的属性类别和/或编码与输入的属性类别和/或编码的误差。
总体而言，输入层A负责简单处理输入。卷积层B，非线性层C和池化层D的组合负责图片的特征提取。全连接层E和非线性层F是特征到属性类别和/或编码的映射。损耗层G负责计算预测误差。通过上述深度神经网络的多层设计保证提取的特征具有丰富的表达能力，而从更好的预测属性。同时，多个属性类别和编码同时连接损耗层G，确保多个任务同时学习，共享深度网络学到的特征。
神经网络训练单元，用于通过收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型。
通过向后传递的梯度下降算法，训练得到步骤S4中深度神经网络的网络参数。替换输入层A使得其只输入图片；替换损耗层G，使得其只输入特征，从而部署得到一个输入人脸图片，同时输出人脸多个属性的深度神经网络模型。
人脸属性预测单元，用于通过神经网络训练单元中的神经网络模型，预测图片中的人脸属性。
以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (18)
1.一种基于深度学习和多任务学习的人脸属性预测方法，其特征在于，该方法包括以下步骤：
S1：收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
S2：检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
S3：对类别中具有顺序性的属性进行编码；
S4：构造一个深度神经网络；
S5：利用步骤S1形成的训练数据集合，训练步骤S4中的深度神经网络，并部署训练得到的神经网络模型；
S6：利用步骤S5中的神经网络模型，预测图片中的人脸属性。
2.根据权利要求1所述的方法，其特征在于，优选的，步骤S4的深度神经网络依次包括：
输入层，卷积层，非线性层，池化层，全连接层，非线性层，损耗层。
3.根据权利要求2所述的方法，其特征在于，卷积层、非线性层和池化层可以重复一次或者多次，在多次情况下，池化层的输出连接下一次的卷积层的输入。
4.根据权利要求2所述的方法，其特征在于，全连接层和非线性层可以重复一次或者多次，在多次情况下，非线性层输出连接下一次的全连接层的输入。
5.根据权利要求2所述的方法，其特征在于，损耗层可以为一个或者多个。
6.根据权利要求2至5任一权利要求所述的方法，其特征在于，所述输入层读入人脸图片，属性类别及属性编码，对人脸图片进行预处理，输出对齐的人脸图片，属性类别和/或属性编码，将经过预处理的人脸图片输出到第一个卷积层，并将经过预处理的属性类别和/或编码输入到损耗层。
7.根据权利要求6所述的方法，其特征在于，所述卷积层，非线性层和池化层的组合对预处理过的图片进行特征提取。
8.根据权利要求7所述的方法，其特征在于，全连接层和非线性层将提取的图片特征映射到属性类别和/或属性编码。
9.根据权利要求2至5任一权利要求所述的方法，其特征在于，损耗层负责计算预测误差。
10.一种基于深度学习和多任务学习的人脸属性预测装置，其特征在于，该装置包括以下单元：
收集标注单元，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
检测对齐单元，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
编码单元，用于对类别中具有顺序性的属性进行编码；
神经网络构造单元，用于构造一个深度神经网络；
神经网络训练单元，用于利用收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型；
人脸属性预测单元，用于利用神经网络训练单元中的神经网络模型，预测图片中的人脸属性。
11.根据权利要求10所述的装置，其特征在于，神经网络构造单元的深度神经网络依次包括：
输入层，卷积层，非线性层，池化层，全连接层，非线性层，损耗层。
12.根据权利要求11所述的装置，其特征在于，卷积层、非线性层和池化层可以重复一次或者多次，在多次情况下，池化层的输出连接下一次的卷积层的输入。
13.根据权利要求11所述的装置，其特征在于，全连接层和非线性层可以重复一次或者多次，多次情况下，非线性层输出连接下一次的全连接层的输入。
14.根据权利要求11所述的装置，其特征在于，损耗层可以为一个或者多个。
15.根据权利要求11至14任一权利要求所述的装置，其特征在于，所述输入层读入人脸图片，属性类别及属性编码，对人脸图片进行预处理，输出对齐的人脸图片，属性类别和/或属性编码，将经过预处理的人脸图片输出到第一个卷积层，并将经过预处理的属性类别和/或编码输入到损耗层。
16.根据权利要求15所述的装置，其特征在于，所述卷积层，非线性层和池化层的组合对预处理过的图片进行特征提取。
17.根据权利要求16所述的装置，其特征在于，全连接层和非线性层将提取的图片特征映射到属性类别和/或属性编码。
18.根据权利要求11至14任一权利要求所述的装置，其特征在于，损耗层负责计算预测误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510900079.8A CN105404877A (zh) | 2015-12-08 | 2015-12-08 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510900079.8A CN105404877A (zh) | 2015-12-08 | 2015-12-08 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105404877A true CN105404877A (zh) | 2016-03-16 |
Family
ID=55470354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510900079.8A Pending CN105404877A (zh) | 2015-12-08 | 2015-12-08 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105404877A (zh) |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894025A (zh) * | 2016-03-30 | 2016-08-24 | 中国科学院自动化研究所 | 基于多任务深度学习的自然图像美感质量评估方法 |
| CN105956150A (zh) * | 2016-05-12 | 2016-09-21 | 张家港索奥通信科技有限公司 | 一种生成用户发型及妆容搭配建议的方法及装置 |
| CN105975959A (zh) * | 2016-06-14 | 2016-09-28 | 广州视源电子科技股份有限公司 | 基于神经网络的人脸特征提取建模、人脸识别方法及装置 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN106127247A (zh) * | 2016-06-21 | 2016-11-16 | 广东工业大学 | 基于多任务多示例支持向量机的图像分类方法 |
| CN106503669A (zh) * | 2016-11-02 | 2017-03-15 | 重庆中科云丛科技有限公司 | 一种基于多任务深度学习网络的训练、识别方法及系统 |
| CN106991438A (zh) * | 2017-03-20 | 2017-07-28 | 新智认知数据服务有限公司 | 一种基于mfc交互式人脸图像属性标注方法 |
| WO2017166137A1 (zh) * | 2016-03-30 | 2017-10-05 | 中国科学院自动化研究所 | 基于多任务深度学习的自然图像美感质量评估方法 |
| CN107341463A (zh) * | 2017-06-28 | 2017-11-10 | 北京飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
| CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
| CN107590460A (zh) * | 2017-09-12 | 2018-01-16 | 北京达佳互联信息技术有限公司 | 人脸分类方法、装置及智能终端 |
| CN107729909A (zh) * | 2016-08-11 | 2018-02-23 | 中国移动通信集团湖南有限公司 | 一种属性分类器的应用方法及装置 |
| CN107820619A (zh) * | 2017-09-21 | 2018-03-20 | 达闼科技（北京）有限公司 | 一种分级交互决策方法、交互终端以及云端服务器 |
| CN108197602A (zh) * | 2018-01-30 | 2018-06-22 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及表情识别方法 |
| CN108229522A (zh) * | 2017-03-07 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、属性检测方法、装置及电子设备 |
| CN108257081A (zh) * | 2018-01-17 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 用于生成图片的方法和装置 |
| CN108416314A (zh) * | 2018-03-16 | 2018-08-17 | 中山大学 | 图片重要人脸检测方法 |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN108764207A (zh) * | 2018-06-07 | 2018-11-06 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
| CN108875520A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 人脸形状点定位的方法、装置、系统及计算机存储介质 |
| CN108875499A (zh) * | 2017-11-06 | 2018-11-23 | 北京旷视科技有限公司 | 人脸形状点和状态属性检测及增强现实方法和装置 |
| CN108875489A (zh) * | 2017-09-30 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统、存储介质和抓拍机 |
| CN109426860A (zh) * | 2017-08-23 | 2019-03-05 | 幻视互动（北京）科技有限公司 | 一种基于神经网络的mr混合现实信息处理方法及装置 |
| CN109522775A (zh) * | 2017-09-19 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 人脸属性检测方法、装置及电子设备 |
| CN109697395A (zh) * | 2017-10-24 | 2019-04-30 | 华为技术有限公司 | 物体属性预测方法、装置及设备 |
| CN109711252A (zh) * | 2018-11-16 | 2019-05-03 | 天津大学 | 一种多人种的人脸识别方法 |
| CN109766872A (zh) * | 2019-01-31 | 2019-05-17 | 广州视源电子科技股份有限公司 | 图像识别方法和装置 |
| CN109886072A (zh) * | 2018-12-25 | 2019-06-14 | 中国科学院自动化研究所 | 基于双向Ladder结构的人脸属性分类系统 |
| CN110069994A (zh) * | 2019-03-18 | 2019-07-30 | 中国科学院自动化研究所 | 基于人脸多区域的人脸属性识别系统、方法 |
| CN110168578A (zh) * | 2017-01-30 | 2019-08-23 | 谷歌有限责任公司 | 具有任务特定路径的多任务神经网络 |
| CN110163269A (zh) * | 2019-05-09 | 2019-08-23 | 北京迈格威科技有限公司 | 基于深度学习的模型生成方法、装置和计算机设备 |
| CN111160443A (zh) * | 2019-12-25 | 2020-05-15 | 浙江大学 | 一种基于深度多任务学习的活动和用户识别方法 |
| WO2020151438A1 (zh) * | 2019-01-25 | 2020-07-30 | 京东方科技集团股份有限公司 | 神经网络的处理方法及评估方法、数据分析方法及装置 |
| CN112825117A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于头部特征的行为属性判断方法、装置、介质及设备 |
| CN112825119A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 人脸属性判断方法、装置、计算机可读存储介质及设备 |
| CN113822189A (zh) * | 2021-09-15 | 2021-12-21 | 珠海格力电器股份有限公司 | 人脸识别方法、装置、计算机可读存储介质与处理器 |
| WO2021259305A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 一种多任务学习方法及装置 |
| US11250241B2 (en) | 2017-04-14 | 2022-02-15 | Shenzhen Sensetime Technology Co., Ltd. | Face image processing methods and apparatuses, and electronic devices |
| CN114093011A (zh) * | 2022-01-12 | 2022-02-25 | 北京新氧科技有限公司 | 头发分类方法、装置、设备及存储介质 |
| US11270100B2 (en) | 2017-11-14 | 2022-03-08 | Huawei Technologies Co., Ltd. | Face image detection method and terminal device |
| CN114694221A (zh) * | 2016-10-31 | 2022-07-01 | 谷歌有限责任公司 | 基于学习的面部重建方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076922A1 (en) * | 2005-09-30 | 2007-04-05 | Sony United Kingdom Limited | Object detection |
| CN103262118A (zh) * | 2010-12-08 | 2013-08-21 | Nec软件有限公司 | 属性值估计装置、属性值估计方法、程序和记录介质 |
| CN103810490A (zh) * | 2014-02-14 | 2014-05-21 | 海信集团有限公司 | 一种确定人脸图像的属性的方法和设备 |
| CN103824054A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联深度神经网络的人脸属性识别方法 |
| CN103824053A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种人脸图像的性别标注方法及人脸性别检测方法 |
| CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
-
2015
- 2015-12-08 CN CN201510900079.8A patent/CN105404877A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076922A1 (en) * | 2005-09-30 | 2007-04-05 | Sony United Kingdom Limited | Object detection |
| CN103262118A (zh) * | 2010-12-08 | 2013-08-21 | Nec软件有限公司 | 属性值估计装置、属性值估计方法、程序和记录介质 |
| CN103810490A (zh) * | 2014-02-14 | 2014-05-21 | 海信集团有限公司 | 一种确定人脸图像的属性的方法和设备 |
| CN103824054A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联深度神经网络的人脸属性识别方法 |
| CN103824053A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种人脸图像的性别标注方法及人脸性别检测方法 |
| CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
Cited By (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894025A (zh) * | 2016-03-30 | 2016-08-24 | 中国科学院自动化研究所 | 基于多任务深度学习的自然图像美感质量评估方法 |
| WO2017166137A1 (zh) * | 2016-03-30 | 2017-10-05 | 中国科学院自动化研究所 | 基于多任务深度学习的自然图像美感质量评估方法 |
| US10685434B2 (en) | 2016-03-30 | 2020-06-16 | Institute Of Automation, Chinese Academy Of Sciences | Method for assessing aesthetic quality of natural image based on multi-task deep learning |
| CN105956150A (zh) * | 2016-05-12 | 2016-09-21 | 张家港索奥通信科技有限公司 | 一种生成用户发型及妆容搭配建议的方法及装置 |
| CN105956150B (zh) * | 2016-05-12 | 2019-03-15 | 深圳森若科技有限公司 | 一种生成用户发型及妆容搭配建议的方法及装置 |
| CN105975959B (zh) * | 2016-06-14 | 2019-09-03 | 广州视源电子科技股份有限公司 | 基于神经网络的人脸特征提取建模、人脸识别方法及装置 |
| CN105975959A (zh) * | 2016-06-14 | 2016-09-28 | 广州视源电子科技股份有限公司 | 基于神经网络的人脸特征提取建模、人脸识别方法及装置 |
| CN106127247A (zh) * | 2016-06-21 | 2016-11-16 | 广东工业大学 | 基于多任务多示例支持向量机的图像分类方法 |
| CN106127247B (zh) * | 2016-06-21 | 2019-07-09 | 广东工业大学 | 基于多任务多示例支持向量机的图像分类方法 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN107729909B (zh) * | 2016-08-11 | 2020-10-30 | 中国移动通信集团湖南有限公司 | 一种属性分类器的应用方法及装置 |
| CN107729909A (zh) * | 2016-08-11 | 2018-02-23 | 中国移动通信集团湖南有限公司 | 一种属性分类器的应用方法及装置 |
| CN114694221A (zh) * | 2016-10-31 | 2022-07-01 | 谷歌有限责任公司 | 基于学习的面部重建方法 |
| CN106503669B (zh) * | 2016-11-02 | 2019-12-10 | 重庆中科云丛科技有限公司 | 一种基于多任务深度学习网络的训练、识别方法及系统 |
| CN106503669A (zh) * | 2016-11-02 | 2017-03-15 | 重庆中科云丛科技有限公司 | 一种基于多任务深度学习网络的训练、识别方法及系统 |
| CN110168578A (zh) * | 2017-01-30 | 2019-08-23 | 谷歌有限责任公司 | 具有任务特定路径的多任务神经网络 |
| CN110168578B (zh) * | 2017-01-30 | 2024-02-06 | 渊慧科技有限公司 | 具有任务特定路径的多任务神经网络 |
| CN108229522B (zh) * | 2017-03-07 | 2020-07-17 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、属性检测方法、装置及电子设备 |
| CN108229522A (zh) * | 2017-03-07 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、属性检测方法、装置及电子设备 |
| CN106991438A (zh) * | 2017-03-20 | 2017-07-28 | 新智认知数据服务有限公司 | 一种基于mfc交互式人脸图像属性标注方法 |
| US11250241B2 (en) | 2017-04-14 | 2022-02-15 | Shenzhen Sensetime Technology Co., Ltd. | Face image processing methods and apparatuses, and electronic devices |
| CN107341463A (zh) * | 2017-06-28 | 2017-11-10 | 北京飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
| CN107341463B (zh) * | 2017-06-28 | 2020-06-05 | 苏州飞搜科技有限公司 | 一种结合图像质量分析与度量学习的人脸特征识别方法 |
| CN107392118B (zh) * | 2017-07-04 | 2020-04-03 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
| CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及系统 |
| CN109426860A (zh) * | 2017-08-23 | 2019-03-05 | 幻视互动（北京）科技有限公司 | 一种基于神经网络的mr混合现实信息处理方法及装置 |
| CN107590460B (zh) * | 2017-09-12 | 2019-05-03 | 北京达佳互联信息技术有限公司 | 人脸分类方法、装置及智能终端 |
| CN107590460A (zh) * | 2017-09-12 | 2018-01-16 | 北京达佳互联信息技术有限公司 | 人脸分类方法、装置及智能终端 |
| CN109522775B (zh) * | 2017-09-19 | 2021-07-20 | 杭州海康威视数字技术股份有限公司 | 人脸属性检测方法、装置及电子设备 |
| CN109522775A (zh) * | 2017-09-19 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 人脸属性检测方法、装置及电子设备 |
| CN107820619A (zh) * | 2017-09-21 | 2018-03-20 | 达闼科技（北京）有限公司 | 一种分级交互决策方法、交互终端以及云端服务器 |
| CN108875489A (zh) * | 2017-09-30 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统、存储介质和抓拍机 |
| CN109697395A (zh) * | 2017-10-24 | 2019-04-30 | 华为技术有限公司 | 物体属性预测方法、装置及设备 |
| CN108875499A (zh) * | 2017-11-06 | 2018-11-23 | 北京旷视科技有限公司 | 人脸形状点和状态属性检测及增强现实方法和装置 |
| US11270100B2 (en) | 2017-11-14 | 2022-03-08 | Huawei Technologies Co., Ltd. | Face image detection method and terminal device |
| CN108875520A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 人脸形状点定位的方法、装置、系统及计算机存储介质 |
| CN108257081A (zh) * | 2018-01-17 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 用于生成图片的方法和装置 |
| CN108197602A (zh) * | 2018-01-30 | 2018-06-22 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及表情识别方法 |
| CN108416314A (zh) * | 2018-03-16 | 2018-08-17 | 中山大学 | 图片重要人脸检测方法 |
| CN108416314B (zh) * | 2018-03-16 | 2022-03-08 | 中山大学 | 图片重要人脸检测方法 |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN108520213B (zh) * | 2018-03-28 | 2021-10-19 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN108764207A (zh) * | 2018-06-07 | 2018-11-06 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| CN108764207B (zh) * | 2018-06-07 | 2021-10-19 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
| CN108829900B (zh) * | 2018-07-31 | 2020-11-10 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
| CN109711252A (zh) * | 2018-11-16 | 2019-05-03 | 天津大学 | 一种多人种的人脸识别方法 |
| CN109886072A (zh) * | 2018-12-25 | 2019-06-14 | 中国科学院自动化研究所 | 基于双向Ladder结构的人脸属性分类系统 |
| CN109886072B (zh) * | 2018-12-25 | 2021-02-26 | 中国科学院自动化研究所 | 基于双向Ladder结构的人脸属性分类系统 |
| WO2020151438A1 (zh) * | 2019-01-25 | 2020-07-30 | 京东方科技集团股份有限公司 | 神经网络的处理方法及评估方法、数据分析方法及装置 |
| CN109766872A (zh) * | 2019-01-31 | 2019-05-17 | 广州视源电子科技股份有限公司 | 图像识别方法和装置 |
| CN110069994A (zh) * | 2019-03-18 | 2019-07-30 | 中国科学院自动化研究所 | 基于人脸多区域的人脸属性识别系统、方法 |
| CN110163269A (zh) * | 2019-05-09 | 2019-08-23 | 北京迈格威科技有限公司 | 基于深度学习的模型生成方法、装置和计算机设备 |
| CN112825117A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 基于头部特征的行为属性判断方法、装置、介质及设备 |
| CN112825119A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 人脸属性判断方法、装置、计算机可读存储介质及设备 |
| CN111160443B (zh) * | 2019-12-25 | 2023-05-23 | 浙江大学 | 一种基于深度多任务学习的活动和用户识别方法 |
| CN111160443A (zh) * | 2019-12-25 | 2020-05-15 | 浙江大学 | 一种基于深度多任务学习的活动和用户识别方法 |
| WO2021259305A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 一种多任务学习方法及装置 |
| CN113822189A (zh) * | 2021-09-15 | 2021-12-21 | 珠海格力电器股份有限公司 | 人脸识别方法、装置、计算机可读存储介质与处理器 |
| CN114093011A (zh) * | 2022-01-12 | 2022-02-25 | 北京新氧科技有限公司 | 头发分类方法、装置、设备及存储介质 |
| CN114093011B (zh) * | 2022-01-12 | 2022-05-06 | 北京新氧科技有限公司 | 头发分类方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105404877A (zh) | 基于深度学习和多任务学习的人脸属性预测方法及装置 | |
| Cherian et al. | Sem-GAN: Semantically-consistent image-to-image translation | |
| Singh et al. | A deeply coupled ConvNet for human activity recognition using dynamic and RGB images | |
| Wang et al. | Survey on person re‐identification based on deep learning | |
| CN110929665B (zh) | 一种自然场景曲线文本检测方法 | |
| Huang et al. | Efficient inference in occlusion-aware generative models of images | |
| Wu et al. | Ordered subspace clustering with block-diagonal priors | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| Ren et al. | Learning with weak supervision from physics and data-driven constraints | |
| CN112257441B (zh) | 一种基于反事实生成的命名实体识别增强方法 | |
| CN113761250A (zh) | 模型训练方法、商户分类方法及装置 | |
| Paul et al. | Extraction of facial feature points using cumulative histogram | |
| CN104915658A (zh) | 一种基于情感分布学习的情感成分分析方法及其系统 | |
| CN109614896A (zh) | 一种基于递归卷积神经网络的视频内容语义理解的方法 | |
| Fan | Research and realization of video target detection system based on deep learning | |
| CN102867171B (zh) | 一种基于标记传播与邻域嵌入保持的人脸表情识别方法 | |
| Zhao et al. | Parsing human image by fusing semantic and spatial features: A deep learning approach | |
| Zhang et al. | Facial component-landmark detection with weakly-supervised lr-cnn | |
| Liu et al. | Hierarchical information passing based noise-tolerant hybrid learning for semi-supervised human parsing | |
| Pham et al. | A deep learning approach for real-time 3D human action recognition from skeletal data | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| Kapoor et al. | Non‐linear dimensionality reduction using fuzzy lattices | |
| Zeng et al. | Video‐driven state‐aware facial animation | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| Wang et al. | Human interaction understanding with joint graph decomposition and node labeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160316 |
|
| WD01 | Invention patent application deemed withdrawn after publication |