CN110598097B - 一种基于cnn的发型推荐系统、方法、设备及存储介质 - Google Patents

一种基于cnn的发型推荐系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN110598097B
CN110598097B CN201910817466.3A CN201910817466A CN110598097B CN 110598097 B CN110598097 B CN 110598097B CN 201910817466 A CN201910817466 A CN 201910817466A CN 110598097 B CN110598097 B CN 110598097B
Authority
CN
China
Prior art keywords
face
user
hair style
hairstyle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910817466.3A
Other languages
English (en)
Other versions
CN110598097A (zh
Inventor
潘小功
胡庆浩
冷聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Original Assignee
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Artificial Intelligence Innovation Research Institute filed Critical Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Priority to CN201910817466.3A priority Critical patent/CN110598097B/zh
Publication of CN110598097A publication Critical patent/CN110598097A/zh
Application granted granted Critical
Publication of CN110598097B publication Critical patent/CN110598097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于CNN的发型推荐系统、方法、设备及存储介质，包括参照图片数据化单元、人脸识别单元和评价更新单元；所述参照图片数据化单元对百度云端接口传送的含人脸的发型参考照片进行识别并标签化，使用CNN网络训练并生成发型参照数据库；所述人脸识别单元对用户的人脸进行脸型识别，并定位到具体面部区域，进一步准确添加参照发型；所述评价更新单元汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型的推荐发型进行排名更新。本发明使用CNN网络学习人脸的特征，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，便于用户更加精准迅速地识别出适合自己的发型。

Description

一种基于CNN的发型推荐系统、方法、设备及存储介质
技术领域
本发明涉及一种人脸定位和面部识别技术，尤其是一种基于CNN 的发型推荐系统、方法、设备及存储介质。
背景技术
随着互联网的发展，大众对移动互联网的依赖已经渗透到社会生活的方方面面，手机上可以下载到各式各样的应用程式。例如，如果喜欢美酒，你可以下载“酒咔嚓”这种推荐美酒品种的应用；如果喜欢美食，可以使用“美团”寻找附近的美食去处。可以说，人们已经将衣食住行交给了移动互联网，这样做的目的只有一个，就是达到最大的即时幸福感。其中，经过调查我们发现，利用移动互联网在爱美方面，人们开始投入越来越多的时间，特别是针对女性群体来说，让自己变美已经成为愈加日常的事情，逐渐融入到人们的生活习惯当中了。
人们通过使用手机app 实现了很多人像美化。例如，通过浏览美妆主播们的社交主页，进行化妆或者穿搭的视频学习；经常在朋友圈中发自己的自拍，通过网络互动行为，让自己变的更加自信、更加有吸引力等等。而这其中，发型的好看与否成为了人们最关注的点之一。
为了使得用户能够便捷地获取适合自己的发型，取代传统的通过理发店设计这种方法，可以通过移动互联网，收集网络上评价比较高的发型。这些发型和对应的脸型有最佳的匹配度，在优化百度云端的数据之后，可以训练出一个深度神经网络，来实现将人脸和发型的最佳匹配度模型化，最后利用这个模型，为使用者推荐最佳的发型设计。
发明内容
发明目的：提供一种基于CNN 的发型推荐系统，以解决上述问题。
技术方案：一种基于CNN 的发型推荐系统，包括参照图片数据化单元、人脸识别单元和评价更新单元；
参照图片数据化单元，接受百度云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
人脸识别单元，对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
评价更新单元，汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
所述参照图片数据化单元，使用百度提供的预先训练的模型，利用百度提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对百度云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，例如眉形、眼型、鼻型、发型发布；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考。
根据本发明的一个方面，所述卷积层中含有一定数量的卷积核，由于对脸型特征的提取主要分为眉形、眼型和鼻子的形状三种，卷积核套用的级数不深，避免多余计算，在图像特征提取过程，利用同一个卷积核进行相同的特征提取，提高运算效率，具体运算的公式为：
Yi=F（ΣXi N-i*Ki+Bi）；
其中，X是参考照片的输入值，K是不同级别的卷积核，B是不同级别的特征偏置值，N是特征核的总个数，Y是特征图的输出值，i是卷积的计算；
通过输入尺寸不同的参考照片，数据库根据大小自定义卷积核的数量，对脸部特征和发型特征值进行计算并输出特征值。
根据本发明的一个方面，所述池化层通过实现对特征的提取选择，通过使用平均值替代法和最大值替代法两种计算模式进行特征类型聚合，进一步得到计算复杂程度降低的效果。
根据本发明的一个方面，所述连接层对输入和输出之间较为复杂的映射关系进行学习，主要实现端口之间数据的传输，通过CNN网络中的监督学习算法，可以同步进行向前和向后两种数据传播，具体为，学习归类数据时向前传播，提取特征时向后传播，两次反向数据处理过程可通过比对完成误差参数的调整，进一步加强特征提取的准确度。
一种基于CNN 的发型推荐方法，其特征在于，
接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，
具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对百度云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，例如眉形、眼型、鼻型、发型发布；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考。
一种人脸识别定位步骤具体为：当用户通过摄像头拍摄时，对数据库传递自己的人脸图像数据，通过对眉形、眼部和鼻翼三个具体面部位置进行定位，以及对人脸轮廓的描边，完成脸型数据读取和匹配，具体步骤为：
步骤1、完成定帧式人脸拍摄，上传自拍照，通过对2D图像的进行ROI数据分析，识别用户上传的人脸轮廓并进行归类识别，确认脸型划分类型；
步骤2、利用摄像头记录用户的人脸，进行眉形、眼部和鼻翼三个面部位置的识别和定位，使用经过OPSQ优化后的黎曼人脸识别算法对用户的面部进行数据转换，在所述参照图片数据化单元种匹配适合的推荐发型，并在定位眉形、眼部和鼻翼的前提下，进行视频直接添加发型数据，实时显示在客户端界面上；
步骤3、通过用户主动调整视频拍摄过程中人脸和发型切合的位置，经由确认后进行拍摄保存。
根据本发明的一个方面，用户寻找匹配发型可以直接经过数据库处理后得到的发型推荐，或者在自我描述脸型后，选择系统推荐的发型类别后，得到系统二次数据筛选出的推荐发型，流程为：
步骤1、确认是否自我描述脸型，获取推荐发型；
步骤2、如果不进行自我描述脸型步骤，将直接进行自拍，由系统获得用户人脸数据后自动匹配获得推荐发型；
步骤3、如果进行自我描述脸型步骤，可以进行两次发型推荐；
步骤31、通过选择对用户自身脸型的描述，例如，脸部的形状为长宽圆、是否有刘海遮挡、三庭五眼的比例分配，直接获取推荐发型模式，当出现的推荐发型中有用户满意的，可以直接选取后通过摄像头进行匹配；
步骤32、如果在所述步骤31中没有得到用户满以的发型，则可以回到步骤2中，通过摄像头拍摄用户的人脸，进行发型匹配；
步骤4、用户在获取推荐发型后，系统将自动将用户的人脸数据和发型选择数据上传，同时将数据保存到数据库中，作为云端学习数据的一部分进行模型学习，保证数据库的实时更新。
根据本发明的一个方面，在处理用户拍摄的人脸数据时，使用ROI数据分析，即为对人脸进行感兴趣区域初步划分后，再处理数据，对于人脸轮廓识别时，优先使用center-loss的灰度图，节省轮廓提取时间，优化内部数据处理的计算结构。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现下述步骤：
接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现下述步骤。
接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型。
有益效果：本发明能够通过CNN网络构建模型，利用百度云端接受到含有发型和人脸图片，进行数据库学习之后，完成不同脸型和发型的匹配，通过拍摄用户的面部进行初步脸型归类，在图像数据库中找到匹配的发型，便于用户更加精准迅速地识别出适合自己的发型；整个算法通过分类分级，简化了算法结构，通过用户使用上传数据，刷新了推荐发型的数据库，使得发型推荐更加实时，紧跟潮流。
附图说明
图1是本发明的实施流程框图。
图2是本发明的参照图片数据化单元工作示意图。
图3是本发明的所述参照图片数据化单元的CNN网络运作示意图。
图4是本发明的CNN网络中的池化层中两种图像处理算法示意图。
具体实施方式
如图1所示，在该实施例中，一种基于CNN 的发型推荐系统，包括参照图片数据化单元、人脸识别单元和评价更新单元；
参照图片数据化单元，接受百度云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
人脸识别单元，如图2所示，对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
评价更新单元，汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
所述参照图片数据化单元，如图3所示，使用百度提供的预先训练的模型，利用百度提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对百度云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，例如眉形、眼型、鼻型、发型发布；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考。
在进一步的实施例中，所述卷积层中含有一定数量的卷积核，由于对脸型特征的提取主要分为眉形、眼型和鼻子的形状三种，卷积核套用的级数不深，避免多余计算，在图像特征提取过程，利用同一个卷积核进行相同的特征提取，提高运算效率，具体运算的公式为：
Yi=F（ΣXi N-i*Ki+Bi）；
其中，X是参考照片的输入值，K是不同级别的卷积核，B是不同级别的特征偏置值，N是特征核的总个数，Y是特征图的输出值，i是卷积的计算；
通过输入尺寸不同的参考照片，数据库根据大小自定义卷积核的数量，对脸部特征和发型特征值进行计算并输出特征值。
在进一步的实施例中，所述池化层通过实现对特征的提取选择，如图4所示，通过使用平均值替代法和最大值替代法两种计算模式进行特征类型聚合，进一步得到计算复杂程度降低的效果。
在进一步的实施例中，所述连接层对输入和输出之间较为复杂的映射关系进行学习，主要实现端口之间数据的传输，通过CNN网络中的监督学习算法，可以同步进行向前和向后两种数据传播，具体为，学习归类数据时向前传播，提取特征时向后传播，两次反向数据处理过程可通过比对完成误差参数的调整，进一步加强特征提取的准确度。
在更进一步的实施例中，当同步进行向前和向后两种数据传播时，CNN网络中的监督学习算法将实时比较相同路径上的两种传播数据之间的差异性，当两种路径的误差最大值和最小值的差值足够通过平均数值时，系统将在±0.05%的范围内进行误差系数调整，否则则认为误差在合理范围内，继续进行数据传输。
其中，人脸识别定位步骤具体包括，当用户通过摄像头拍摄时，对数据库传递自己的人脸图像数据，通过对眉形、眼部和鼻翼三个具体面部位置进行定位，以及对人脸轮廓的描边，完成脸型数据读取和匹配，具体步骤为：
步骤1、完成定帧式人脸拍摄，上传自拍照，通过对2D图像的进行ROI数据分析，识别用户上传的人脸轮廓并进行归类识别，确认脸型划分类型；
步骤2、利用摄像头记录用户的人脸，进行眉形、眼部和鼻翼三个面部位置的识别和定位，使用经过OPSQ优化后的黎曼人脸识别算法对用户的面部进行数据转换，在所述参照图片数据化单元种匹配适合的推荐发型，并在定位眉形、眼部和鼻翼的前提下，进行视频直接添加发型数据，实时显示在客户端界面上；
步骤3、通过用户主动调整视频拍摄过程中人脸和发型切合的位置，经由确认后进行拍摄保存。
在进一步的实施例中，用户寻找匹配发型可以直接经过数据库处理后得到的发型推荐，或者在自我描述脸型后，选择系统推荐的发型类别后，得到系统二次数据筛选出的推荐发型，流程为：
步骤1、确认是否自我描述脸型，获取推荐发型；
步骤2、如果不进行自我描述脸型步骤，将直接进行自拍，由系统获得用户人脸数据后自动匹配获得推荐发型；
步骤3、如果进行自我描述脸型步骤，可以进行两次发型推荐；
步骤31、通过选择对用户自身脸型的描述，例如，脸部的形状为长宽圆、是否有刘海遮挡、三庭五眼的比例分配，直接获取推荐发型模式，当出现的推荐发型中有用户满意的，可以直接选取后通过摄像头进行匹配；
步骤32、如果在所述步骤31中没有得到用户满以的发型，则可以回到步骤2中，通过摄像头拍摄用户的人脸，进行发型匹配；
步骤4、用户在获取推荐发型后，系统将自动将用户的人脸数据和发型选择数据上传，同时将数据保存到数据库中，作为云端学习数据的一部分进行模型学习，保证数据库的实时更新。
在进一步的实施例中，在处理用户拍摄的人脸数据时，使用ROI数据分析，即为对人脸进行感兴趣区域初步划分后，再处理数据，对于人脸轮廓识别时，优先使用center-loss的灰度图，节省轮廓提取时间，优化内部数据处理的计算结构。
总之，本发明具有以下优点：通过CNN网络构建图像处理数据库，分三个层次完成了人脸识别的模型训练和学习，加强了对人脸的眉形、眼型和鼻翼的识别效果，保证了发型匹配的适用度，避免出现发型匹配结果图不真实的使用感；对于用户使用时的面部识别，分成两种模式，同时采用了2D图像灰度轮廓识别和视频人脸识别，加强了发型推荐的准确度；通过收集用户使用的数据，扩大了发型推荐的数据库，加强了发型推荐的实时性和准确度，极大增加了用户发型推荐的满意度。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (4)

1.一种基于CNN 的发型推荐方法，其特征在于，基于如下发型推荐系统：
包括参照图片数据化单元、人脸识别单元和评价更新单元；
参照图片数据化单元，接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
人脸识别单元，对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
其中，对用户的人脸进行脸型识别的布局包括：当用户通过摄像头拍摄时，对数据库传递自己的人脸图像数据，通过对眉形、眼部和鼻翼三个具体面部位置进行定位，以及对人脸轮廓的描边，完成脸型数据读取和匹配，具体步骤为：
步骤1、完成定帧式人脸拍摄，上传自拍照，通过对2D图像的进行ROI数据分析，识别用户上传的人脸轮廓并进行归类识别，确认脸型划分类型；
步骤2、利用摄像头记录用户的人脸，进行眉形、眼部和鼻翼三个面部位置的识别和定位，使用经过OPSQ优化后的黎曼人脸识别算法对用户的面部进行数据转换，在所述参照图片数据化单元种匹配适合的推荐发型，并在定位眉形、眼部和鼻翼的前提下，进行视频直接添加发型数据，实时显示在客户端界面上；
步骤3、通过用户主动调整视频拍摄过程中人脸和发型切合的位置，经由确认后进行拍摄保存；
评价更新单元，汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
所述参照图片数据化单元，使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中找到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型；
发型推荐方法步骤如下：
步骤1、使用CNN网络构建图像处理数据库，对云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，包括眉形、眼型、鼻型和发型发布；所述卷积层中含有一定数量的卷积核，由于对脸型特征的提取主要分为眉形、眼型和鼻子的形状三种，卷积核套用的级数不深，避免多余计算，在图像特征提取过程，利用同一个卷积核进行相同的特征提取，提高运算效率，具体运算的公式为：
Yi=F（ΣXiN-i*Ki+Bi）；
其中，X是参考照片的输入值，K是不同级别的卷积核，B是不同级别的特征偏置值，N是特征核的总个数，Y是特征图的输出值，i是卷积的计算；
通过输入尺寸不同的参考照片，数据库根据大小自定义卷积核的数量，对脸部特征和发型特征值进行计算并输出特征值；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考；
用户寻找匹配发型可以直接经过数据库处理后得到的发型推荐，或者在自我描述脸型后，选择系统推荐的发型类别后，得到系统二次数据筛选出的推荐发型，流程为：
步骤21、确认是否自我描述脸型，获取推荐发型；
步骤22、如果不进行自我描述脸型步骤，将直接进行自拍，由系统获得用户人脸数据后自动匹配获得推荐发型；
步骤23、如果进行自我描述脸型步骤，可以进行两次发型推荐；
步骤231、通过选择对用户自身脸型的描述，例如，脸部的形状为长宽圆、是否有刘海遮挡、三庭五眼的比例分配，直接获取推荐发型模式，当出现的推荐发型中有用户满意的，可以直接选取后通过摄像头进行匹配；
步骤232、如果在所述步骤2 31中没有得到用户满意 的发型，则可以回到步骤2 2中，通过摄像头拍摄用户的人脸，进行发型匹配；
步骤24、用户在获取推荐发型后，系统将自动将用户的人脸数据和发型选择数据上传，同时将数据保存到数据库中，作为云端学习数据的一部分进行模型学习，保证数据库的实时更新；
所述池化层通过实现对特征的提取选择，通过使用平均值替代法和最大值替代法两种计算模式进行特征类型聚合，进一步得到计算复杂程度降低的效果；
所述连接层对输入和输出之间较为复杂的映射关系进行学习，主要实现端口之间数据的传输，通过CNN网络中的监督学习算法，可以同步进行向前和向后两种数据传播，具体为，学习归类数据时向前传播，提取特征时向后传播，两次反向数据处理过程可通过比对完成误差参数的调整，进一步加强特征提取的准确度。
2.根据权利要求1所述的基于CNN 的发型推荐方法，其特征在于，在处理用户拍摄的人脸数据时，使用ROI数据分析，即为对人脸进行感兴趣区域初步划分后，再处理数据，对于人脸轮廓识别时，优先使用center-loss的灰度图，节省轮廓提取时间，优化内部数据处理的计算结构。
3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。
CN201910817466.3A 2019-08-30 2019-08-30 一种基于cnn的发型推荐系统、方法、设备及存储介质 Active CN110598097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910817466.3A CN110598097B (zh) 2019-08-30 2019-08-30 一种基于cnn的发型推荐系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817466.3A CN110598097B (zh) 2019-08-30 2019-08-30 一种基于cnn的发型推荐系统、方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110598097A CN110598097A (zh) 2019-12-20
CN110598097B true CN110598097B (zh) 2022-07-29

Family

ID=68856535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817466.3A Active CN110598097B (zh) 2019-08-30 2019-08-30 一种基于cnn的发型推荐系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110598097B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015934B (zh) * 2020-08-27 2022-07-26 华南理工大学 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN112084983B (zh) * 2020-09-15 2022-07-26 华南理工大学 一种基于ResNet的发型推荐方法及其应用
CN112785500A (zh) * 2021-01-15 2021-05-11 京东方科技集团股份有限公司 发型的预览方法、存储介质及电子设备
CN113889275A (zh) * 2021-11-04 2022-01-04 上海尚往网络科技有限公司 信息生成方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862334A (zh) * 2017-11-06 2018-03-30 广东欧珀移动通信有限公司 眼镜的推荐方法、装置、存储介质及终端设备
CN108255998A (zh) * 2017-12-29 2018-07-06 武汉璞华大数据技术有限公司 一种发型推荐方法、装置和设备
CN109993838A (zh) * 2019-03-25 2019-07-09 河海大学常州校区 基于WebGL和人脸重建的虚拟试发实现方法和系统
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862334A (zh) * 2017-11-06 2018-03-30 广东欧珀移动通信有限公司 眼镜的推荐方法、装置、存储介质及终端设备
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端
CN108255998A (zh) * 2017-12-29 2018-07-06 武汉璞华大数据技术有限公司 一种发型推荐方法、装置和设备
CN109993838A (zh) * 2019-03-25 2019-07-09 河海大学常州校区 基于WebGL和人脸重建的虚拟试发实现方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ASM和K近邻算法的人脸脸型分类;张倩等;《计算机工程》;20110605(第11期);全文 *

Also Published As

Publication number Publication date
CN110598097A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598097B (zh) 一种基于cnn的发型推荐系统、方法、设备及存储介质
CN109815826B (zh) 人脸属性模型的生成方法及装置
US20210174146A1 (en) Training set sufficiency for image analysis
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN116097320A (zh) 用于改进的面部属性分类的系统和方法及其用途
KR20160101973A (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
CN107911643B (zh) 一种视频通信中展现场景特效的方法和装置
US10650564B1 (en) Method of generating 3D facial model for an avatar and related device
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN107025678A (zh) 一种3d虚拟模型的驱动方法及装置
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN108363973A (zh) 一种无约束的3d表情迁移方法
US11263436B1 (en) Systems and methods for matching facial images to reference images
CN109558904A (zh) 图像局部特征的分类方法、装置和存储介质
CN114266695A (zh) 图像处理方法、图像处理系统及电子设备
Neverova Deep learning for human motion analysis
CN110489634A (zh) 一种造型信息推荐方法、装置、系统及终端设备
CN115130493A (zh) 基于图像识别的面部形变推荐方法、装置、设备和介质
Li et al. Facial age estimation by deep residual decision making
CN112307110A (zh) 一种用户画像生成方法、装置、计算机设备及存储介质
WO2023142886A1 (zh) 表情迁移方法、模型训练方法和装置
CN110110126A (zh) 查询人物的面部图像的方法、装置和服务器
CN115828175A (zh) 一种用于更新深度回归林叶节点的重采样方法
KR20200107488A (ko) 가상화장 합성 처리 방법
KR20200107486A (ko) 가상화장 합성 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211000 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: 211000 3rd floor, building 3, 266 Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant