CN111611920A - 一种基于属性特征提取的ai人脸风格辨识方法 - Google Patents

一种基于属性特征提取的ai人脸风格辨识方法 Download PDF

Info

Publication number
CN111611920A
CN111611920A CN202010434163.6A CN202010434163A CN111611920A CN 111611920 A CN111611920 A CN 111611920A CN 202010434163 A CN202010434163 A CN 202010434163A CN 111611920 A CN111611920 A CN 111611920A
Authority
CN
China
Prior art keywords
face
attributes
style
type
face style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010434163.6A
Other languages
English (en)
Inventor
张力超
董静雅
郑泽宇
桂珺
付殿峥
高原
杨天吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhiron Intelligent Technology Co ltd
Original Assignee
Hangzhou Zhiron Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhiron Intelligent Technology Co ltd filed Critical Hangzhou Zhiron Intelligent Technology Co ltd
Priority to CN202010434163.6A priority Critical patent/CN111611920A/zh
Publication of CN111611920A publication Critical patent/CN111611920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及了一种基于属性特征提取的AI人脸风格辨识方法，首先获取包含无遮挡人脸的图片，对图片中的人脸进行检测、定位及校正，再将校正后的人脸图像放入预训练好的人脸属性识别模型中，识别出人脸的性别、年龄、faceid、人脸关键点、肤质、肤色、脸型、五官分布、五官大小、五官轮廓、五官类型等人脸属性，最后将所述识别出的人脸属性作为输入，输入至预训练好的结合了美学专家理论的人脸风格辨识模型中，最终输出人脸风格。

Description

一种基于属性特征提取的AI人脸风格辨识方法
技术领域
本发明涉及人脸图像技术领域，具体涉及一种基于属性特征提取的AI人脸风格辨识方法。
背景技术
随着科技的发展和生产力的不断提高，人脸识别已成为一项热门的计算机研究领域。
现有的人脸识别技术主要是针人脸的图片或视频输入，首先检测是否存在人脸，如果存在，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息，同时也包括人脸的性别、年龄、脸型等属性。
然而，在人脸美学理论种，人脸类型除了黄种人、白种人、黑人这类区分外，任何一个人都存在其内在的本我风格，人脸内在的本我风格在很大程度上，影响着其穿着不同服装的视觉效果，而现有的人脸识别技术无法识别人脸内在的本我风格。
发明内容
本发明提供一种基于属性特征提取的AI人脸风格辨识方法，旨在通过采集的人脸图像，进行一系列处理、分析，并结合人脸美学理论，得出人脸内在的本我风格，进而提供专业的美学穿搭建议指导，既能帮助用户选择服饰，同时也能帮助导购提供营销指引。
一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，包括：
S1 人脸图像获取；
S2 人脸图像预处理；
S3 第一类人脸属性识别；
S4 第二类人脸属性识别；
S5训练人脸风格辨识模型，将第一类人脸属性和第二类人脸属性作为输入，输入至预训练好的人脸风格辨识模型，最终输出人脸风格。
根本发明的进一步技术方案是，步骤S1所述的人脸图像获取，是通过相机或其他视觉获取设备，获取包含无遮挡的人脸图片。
本发明的进一步技术方案是，步骤S2所述的人脸图像预处理，包括图像resize、人脸定位及人脸校正。
本发明的进一步技术方案是，步骤S3所述的第一类人脸属性，是可通过图像处理操作或可通过深度学习模型直接输出的人脸属性，包括：性别、年龄、faceid、人脸关键点、肤质、肤色。
本发明的进一步技术方案是，步骤S4所述的第二类人脸属性，是在所述获取的第一类人脸属性基础上，进一步分析、提取得到的人脸属性，包括：脸型、五官分布、五官大小、五官轮廓、五官类型。
本发明的进一步技术方案是，步骤S5所述的训练人脸风格辨识模型，包括以下步骤：
S5.1 建立人脸风格数据集，由美学专家对人脸风格进行严格标注；
S5.2 搭建深度学习分类模型，以所述第一类人脸属性中的性别、年龄、肤质、肤色和所述第二类人脸属性中的所有属性作为输入，以专家标注作为标签，训练SVM分类网络，得到所述预训练好的人脸风格辨识模型。
附图说明
图1一种基于属性特征提取的AI人脸风格辨识方法整体流程示意图；
图2mtCNN人脸关键点检测示例；
图3facenet98人脸关键点检测示例。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。值得注意的是，此处所描述的具体实施例仅是用以解释本发明，并不用户限定本发明。
本实施例中，公开了一种基于属性特征提取的AI人脸风格辨识方法，整体流程如图1所示：
通过任何一种设备获取人脸图片，确保图片中存在无遮挡的人脸。
基于mtCNN人脸检测模型，定位并识别到人脸，同时得到人脸的5个关键点位置，分别为两个眼睛、一个鼻子、嘴巴左右两端，如图2所示。根据识别到的眼睛位置，对图片进行旋转，直至两个眼睛关键点处于一个水平面，然后根据预设的比例，将整个人脸部分截取并保存出来，作为中间结果。
再将所述的中间结果放入facenet人脸识别模型中，识别人脸的faceid、性别、年龄、肤质以及98个人脸关键点，如图3所示。这里之所以需要在所述中间结果中再重新进行一次人脸关键点识别，原因有三个：一是mtCNN效率快，识别的关键点数量少，适合用其进行人脸校正；二是facenet识别的人脸关键点数量多，但人脸校正效果会对关键点识别效果造成影响；三是facenet模型可识别人脸faceid，基于faceid进行有监督学习训练，同时可识别人的性别、年龄以及肤质、肤色等人脸属性。
基于所述识别到的98个人脸关键点位置，结合美学理论知识，搭建人脸属性识别模型，识别出人脸的脸型、五官分布、五官大小、五官轮廓、五官类型。
事先建立人脸数据集，并由美学专家对其进行标签标注，标注其人脸风格。
事先将人脸数据集中人脸图片的性别、年龄、肤质、肤色、faceid、脸型、五官分布、五官大小、五官轮廓、五官类型识别出来作为模型输入，对所述人脸数据集进行有监督训练，得到人脸风格辨识模型。
将人脸图片中的性别、年龄、肤质、肤色、faceid、脸型、五官分布、五官大小、五官轮廓、五官类型输入至事先训练好的人脸风格辨识模型中，输出人脸风格。

Claims (6)

1.一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，包括：
S1 人脸图像获取；
S2人脸图像预处理；
S3 第一类人脸属性识别；
S4 第二类人脸属性识别；
S5训练人脸风格辨识模型，将第一类人脸属性和第二类人脸属性作为输入，输入至预训练好的人脸风格辨识模型，最终输出人脸风格。
2.根据权利要求1所述的一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，步骤S1所述的人脸图像获取，是通过相机或其他视觉获取设备，获取包含无遮挡的人脸图片。
3.根据权利要求1所述的一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，步骤S2所述的人脸图像预处理，包括图像resize、人脸定位及人脸校正。
4.根据权利要求1所述的一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，步骤S3所述的第一类人脸属性，是可通过图像处理操作或可通过深度学习模型直接输出的人脸属性，包括：性别、年龄、faceid、人脸关键点、肤质、肤色。
5.根据权利要求1所述的一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，步骤S4所述的第二类人脸属性，是在所述获取的第一类人脸属性基础上，进一步分析、提取得到的人脸属性，包括：脸型、五官分布、五官大小、五官轮廓、五官类型。
6.根据权利要求1所述的一种基于属性特征提取的AI人脸风格辨识方法，其特征在于，步骤S5所述的训练人脸风格辨识模型，包括以下步骤：
S4.1 建立人脸风格数据集，由美学专家对人脸风格进行严格标注；
S4.2 搭建深度学习分类模型，以所述第一类人脸属性中的性别、年龄、肤质、肤色和所述第二类人脸属性中的所有属性作为输入，以专家标注作为标签，训练SVM分类网络，得到所述预训练好的人脸风格辨识模型。
CN202010434163.6A 2020-05-21 2020-05-21 一种基于属性特征提取的ai人脸风格辨识方法 Pending CN111611920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010434163.6A CN111611920A (zh) 2020-05-21 2020-05-21 一种基于属性特征提取的ai人脸风格辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010434163.6A CN111611920A (zh) 2020-05-21 2020-05-21 一种基于属性特征提取的ai人脸风格辨识方法

Publications (1)

Publication Number Publication Date
CN111611920A true CN111611920A (zh) 2020-09-01

Family

ID=72202076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010434163.6A Pending CN111611920A (zh) 2020-05-21 2020-05-21 一种基于属性特征提取的ai人脸风格辨识方法

Country Status (1)

Country Link
CN (1) CN111611920A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
CN108596094A (zh) * 2018-04-24 2018-09-28 杭州数为科技有限公司 人物风格检测系统、方法、终端及介质
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统
CN110084174A (zh) * 2019-04-23 2019-08-02 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
CN110956079A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 人脸识别模型构建方法、装置、计算机设备和存储介质
CN111027433A (zh) * 2019-12-02 2020-04-17 哈尔滨工程大学 一种基于卷积神经网络的多重风格人脸特征点检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
CN108596094A (zh) * 2018-04-24 2018-09-28 杭州数为科技有限公司 人物风格检测系统、方法、终端及介质
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统
CN110084174A (zh) * 2019-04-23 2019-08-02 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
CN110956079A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 人脸识别模型构建方法、装置、计算机设备和存储介质
CN111027433A (zh) * 2019-12-02 2020-04-17 哈尔滨工程大学 一种基于卷积神经网络的多重风格人脸特征点检测方法

Similar Documents

Publication Publication Date Title
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
WO2017107957A9 (zh) 人脸图像的检索方法及装置
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN112115866A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN109034099B (zh) 一种表情识别方法及装置
CN109190535B (zh) 一种基于深度学习的人脸面部肤色分析方法和系统
WO2021082692A1 (zh) 一种行人图片标注方法、装置、存储介质和智能设备
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN110232331B (zh) 一种在线人脸聚类的方法及系统
CN107346419A (zh) 虹膜识别方法、电子装置和计算机可读存储介质
Azzopardi et al. Fast gender recognition in videos using a novel descriptor based on the gradient magnitudes of facial landmarks
Shrivastava et al. Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model
CN114565602A (zh) 基于多通道融合的图像识别方法、装置和存储介质
Shanmugavadivu et al. Rapid face detection and annotation with loosely face geometry
Day Exploiting facial landmarks for emotion recognition in the wild
CN106778751B (zh) 一种非面部roi识别方法及装置
Ruan et al. Facial expression recognition in facial occlusion scenarios: A path selection multi-network
CN116129473A (zh) 基于身份引导的联合学习换衣行人重识别方法及系统
Gonzalez-Soler et al. Semi-synthetic data generation for tattoo segmentation
CN111611920A (zh) 一种基于属性特征提取的ai人脸风格辨识方法
Gupta et al. HaarCascade and LBPH Algorithms in Face Recognition Analysis
Khan Detection of emotions from video in non-controlled environment
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200901

WD01 Invention patent application deemed withdrawn after publication