CN116097320A - 用于改进的面部属性分类的系统和方法及其用途 - Google Patents

用于改进的面部属性分类的系统和方法及其用途 Download PDF

Info

Publication number
CN116097320A
CN116097320A CN202180046656.5A CN202180046656A CN116097320A CN 116097320 A CN116097320 A CN 116097320A CN 202180046656 A CN202180046656 A CN 202180046656A CN 116097320 A CN116097320 A CN 116097320A
Authority
CN
China
Prior art keywords
facial
attributes
attribute
face
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180046656.5A
Other languages
English (en)
Inventor
帕汉姆·阿拉比
弗雷德里克·安托伊宁·雷蒙·谢尔盖·弗莱蒙特
J·霍顿
蒋若玮
玉泽·张
俞至
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ba Lioulaiya
Original Assignee
Ba Lioulaiya
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR2010128A external-priority patent/FR3114895B1/fr
Application filed by Ba Lioulaiya filed Critical Ba Lioulaiya
Publication of CN116097320A publication Critical patent/CN116097320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种基于深度学习监督回归的模型，包括用于面部属性预测的方法和系统及其用途。用途的示例是增强和/或虚拟现实界面，以响应于从图像确定的面部属性预测来提供修改的图像。匹配面部属性的面部效果被选择以在界面中应用。

Description

用于改进的面部属性分类的系统和方法及其用途
交叉引用
本申请要求2020年6月29日提交的题为“用于改进的面部属性分类的系统和方法及其用途”的美国临时申请No.63/045,303和2020年10月5日提交的题为“用于改进的面部属性分类的系统和方法及其用途”的先前法国专利申请No.2010128的优先权或利益，在允许的情况下，其相应的全部内容通过引用并入本文。
技术领域
本申请涉及使用机器学习的图像处理，更具体地，涉及面部属性分类的任务。给定面部图像，面部属性分类旨在估计面部肖像中是否存在期望的属性。下游应用包括各种图像处理和其他应用。
背景技术
面部属性分类(FAC)是在给定对象的面部图像的情况下，试图对给定对象的面部属性进行分类的任务。FAC对于许多下游应用具有重要意义，包括图像检索、面部识别、人物再识别和推荐系统。可以分析面部的图像以预测多个属性(通常表示为面部属性)，例如嘴唇大小和形状、眼睛颜色等，以及可能不严格限于面部本身的其他属性，例如头发颜色、性别等。
最近，由于卷积神经网络(CNN)的出色性能，大多数最先进的FAC方法都利用CNN来对面部属性进行分类。粗略地说，这些方法可以分为以下几类：(1)基于单标签学习的FAC方法和(2)基于多标签学习的FAC方法。基于单标签学习的FAC方法通常提取面部图像的CNN特征，然后通过支持向量机(SVM)分类器对面部属性进行分类。然而，这些方法单独预测每个属性，因此忽略了属性之间的相关性。相反，基于多标签学习的FAC方法(其可以同时预测多个属性)从CNN的下层提取共享特征，并在CNN的上层学习属性特定的分类器。
发明内容
根据实施例，描述了一种基于深度学习监督回归的模型，包括用于面部属性预测的方法和系统和/或计算机设备及其使用。使用的示例是增强和/或虚拟现实界面(例如，经由计算设备或方法)，以响应于从图像确定的面部属性预测来提供修改的图像。在一个实施例中，选择匹配面部属性的面部效果应用于界面中。在一个实施例中，面部效果包括与化妆产品相关联的化妆效果。在一个实施例中，电子商务界面提供增强和/或虚拟现实界面，并且包括推荐部件，以响应于面部属性推荐化妆产品。
根据实施例还提供了计算机程序产品，该产品方面包括存储指令的(例如，非暂时性)存储设备，该指令在由计算设备的处理器执行时配置计算设备以执行如根据本文的任何相应实施例的方法。
附图说明
图1和图2是示出当对多个(面部)属性执行属性值确定时的人类一致性的评估和对23个面部属性的面部属性分类任务的人类表现的图。
图3是示出根据实施例的深度学习网络架构的框图。
图4是示出根据实施例的计算系统(例如，网络)的框图。
图5、6A、6B、7A、7B、8、9A、9B、10A、10B、10C、10D、11A、11B和11C是根据实施例的用于用户应用的图形用户界面的显示屏或其部分的图示。
图12、13、14、15和16是根据本文实施例的相应操作的流程图。
图17是根据本文实施例的系统的框图。
本概念通过其某些实施例来最好地描述，这些实施例在本文中参考附图进行描述，其中相同的附图标记始终指代相似的特征。应当理解，当在本文中使用术语发明时，其旨在暗示下面描述的实施例的基础上的发明概念而不仅仅是实施例本身。应进一步理解，整体发明概念不限于下面描述的说明性实施例，并且应根据这样的观点阅读下面的描述。
具体实施方式
面部属性分类(FAC)是在给定对象的面部图像的情况下，试图对给定对象的面部属性进行分类的任务。FAC对于许多下游应用具有重要意义，包括图像检索、面部识别(例如，确定两张照片是否显示同一面部)、面部定位和推荐系统。
在本文的实施例中，任务被定义为对预定属性集上的分类。每个属性都用一组潜在的类别(例如，属性值)来描述，每个对象都可以被分类到其中。例如，肤色属性总共有6类：白皙、浅色、中等、棕褐色、深和非常深。因此，这个特定属性的任务是，给定人的图像，预测六个类中哪一个最能代表给定的图像。
预定的属性集可以大致分类为两种不同的类型：颜色属性或形状属性。颜色属性的示例包括头发颜色、肤色和底色。形状属性的示例包括眼睛形状、眼睛折痕和嘴唇大小。
最近，由于卷积神经网络(CNN)的出色性能，大多数最先进的FAC方法都利用CNN来对面部属性进行分类。粗略地说，这些方法可以分为以下几类：(1)基于单标签学习的FAC方法和(2)基于多标签学习的FAC方法。基于单标签学习的FAC方法通常提取面部图像的CNN特征，然后通过支持向量机(SVM)分类器对面部属性进行分类。然而，这些方法单独预测每个属性，因此忽略了属性之间的相关性。相反，基于多标签学习的FAC方法(其可以同时预测多个属性)从CNN的下层提取共享特征，并在CNN的上层学习属性特定的分类器。
与典型的学术环境不同，本文主要描述的系统及其下游任务主要涉及时尚和美容行业。一般学术数据集中的属性往往涵盖对当前任务提供最小价值的更广泛的面部特征。相反，新的定制数据集是通过为设计良好的属性类型存储带有软标签的图像来定义的。新的数据集包含3790个对象，每个具有一到五张在不同环境下拍摄的图像。总共有23个属性，每个属性由多个(例如，6)单独的人类注释者标记，独立地使用软标签，如进一步所描述的。
人类注释者并不总是同意面部属性实例的特定值。例如，一个注释者可以得出值是平均值的结论，而另一个注释者可以得出值是高值的结论。因此，关于分类任务(如面部属性分类)的人类表现可以变化。也就是说，人类可能对特定的属性值有不同的看法或得出不同的结论。在一个实施例中，用来自多个人的注释来编译属性数据集，以聚合关于基本事实属性值的相应“意见”。
这种方法与使用硬的或单一的基本事实的传统数据集注释方法形成对比。举例来说，一个属性涉及具有轻度、中度或重度皱纹值的皱纹。这一示例示出了值之间的线性关系。相比之下，下巴形状是圆形、尖形或方形。虽然这些在数学上是相关的，但在为当前任务创建新数据集时执行的是为算法用于每个图像的属性定义不同的组或桶。给定下巴形状的极端多样性，分类器算法为每个桶提供了置信度，这意味着最终产品推荐可以使用最有可能的桶，就像人类在决定如何绘制客户脸颊轮廓时一样。通过平均所有注释者所说的内容，这项任务的传统方法使用“硬标签”来理解图像的“正确”输出是什么。相反，认识到，使用“软标签”方法，可能没有“正确”的答案。这意味着，尽管注释者可能不同意，但算法将具有推荐所有输出的灵活性，即使它将会选择它认为具有最高置信度的输出。
图1和2是示出了对23个面部属性的面部属性分类任务的人类一致性和人类表现的图。
人类一致性被设置为评估注释者彼此一致的程度。在一个实施例中，存在六个人类注释者。当注释时，并不是在所有情况下注释者彼此都很一致。例如，对于头发颜色注释，四个人可能会说棕色，但两个人可能会说深棕色甚至黑色。第一个图显示了一致性，并且范围的中点是平均值。该范围显示一致性的标准差(stddev)。该一致性是基于多数票计算的，因此对于上述4/2的示例，这一特定对象在这一特定属性(示例中的头发颜色)上的一致性为66％。3/3将被计为50％，并且2/2/2将被计为33％。然后确定整个数据集上每个属性上的平均值和stddev。
人类表现是评估人类自身表现得有多好。所以基本上就是“他们中有多少人对了”。“对了”的定义是为实施例定义的元素。在实施例中，它遵循多数票。但是有些情况下(例如，照片的注释集)没有明显的多数。例如，关于头发颜色的照片，在2个类上获得了3/3的投票，甚至在3个类上获得了2/2/2的投票？没有多数票。在这种情况下，在实施例中，定义了名为“包括相同投票”和“不包括相同投票”的两组度量。“包括相同投票”将包括没有多数票的情况，而“不包括相同投票”将简单地忽略没有明显多数票的情况。通过忽略，这些实例不被包括在计算的分子或分母中。他们被忽视了。另一方面，“包括相同投票”将正确计数所有顶级类。所以，对于3/3，两者都是正确的，我们有100％的人类表现。对于2/2/2，还是100％。对于2/2/1/1，66％。
表1显示了23个属性和及其值：
Figure BDA0004026082970000051
Figure BDA0004026082970000061
表1
面部形状是通过组合来自面部属性4a(面部长度)和4b(下巴形状)的预测的信号来预测的次要属性。例如，椭圆形＝长脸+圆下巴，圆形＝短脸+圆下巴。
出于训练目的，数据被分离为训练、验证和测试子集，其中相应地包含2274、758和758个对象。
表观面部结构预测问题被转换为使用深度学习的计算机实施的监督回归问题。从来自同一个人的一至五张图像评估属性。
为了有效地利用面部属性的内在关系和异质性，可以将属性划分为不同的组。根据一个实施例，将属性划分为两个单独的组：颜色属性(例如头发颜色、眼睛颜色和底色)和形状属性(例如嘴唇大小、眼睛折痕和鼻子类型)。训练了两个子模型，它们在每组属性上共享相似的架构。在推断期间，预测(对于每个相应的属性)在最后被聚合。为了方便起见，将两个子模型(一个用于颜色，一个用于形状)聚合，以形成用于面部属性分类的超级模型。然而，如果仅需要相应的属性进行分类，则任何一个模型都是有用的。
这两个子模型(例如，形状子模型和颜色子模型)共享相同的结构，但是在不同的预处理数据上进行训练(这里，预处理是指在训练开始之前的任何数据增强，它包括但不限于面部检测和面部裁剪、调整大小等)。对于颜色标志，因为像头发颜色和肤色这样的属性也需要背景来指导颜色提取(例如，在阴影环境中，如果背景被裁剪掉，浅色肤色的图像可能会被错误地分类为深色肤色)，所以数据集被预处理为具有比形状属性更多的背景。形状模型是在具有最小背景的裁剪出的面部上训练的，而颜色模型包括更多的背景信息。
在一个实施例中，两个子模型中的预处理包括：
1.将原始图像转换为RBG空间；
2.检测图像中存在的面部。(任何标准的面部检测算法都应该有效)；这是可选的颜色，但将有助于准确性；
3.调整面部框大小-颜色模型：将检测到的面部框放大到1.7倍宽和高，形状模型：将检测到的面部框放大到1.2倍宽和高；以及
4.将步骤3中的图像调整为模型的输入大小。
因此，该数据集被用于通过对相关符号进行分块来训练两种算法：颜色相关符号和形状相关符号。这意味着算法从相关的符号中学习。例如，浅色头发的人经常有蓝色的眼睛，并且深色皮肤的人经常有棕色的眼睛。然而，蓝眼睛的人可能有任何可能的面部形状，几乎没有相关性。通过重用相关符号的相关计算并在相关符号之间建立连接，每个算法的结果代码非常小且非常快。这两种算法一起创建了用户面部特征的完整图像，同时不会使彼此过于复杂。
图3是示出深度学习网络架构的框图。300网络包括卷积神经网络(CNN)302，用于在输入层304处处理源图像。在一个实施例中，使用具有多个残差块306的基于残差网络的主干网络来配置CNN 302，以提取共享特征。作为示例，使用ResNet来配置基于残差网络的主干(“用于图像识别的深度残差学习”，He,Kaiming等人，2015-12-10，可在URLarxiv.org/abs/1512.03385获得)。在一个实施例中，例如，在ImageNet(可从斯坦福大学的斯坦福视觉实验室获得的有组织图像的数据库(URL image-net.org))上预训练的模型被适配并用作主干网络。这种模型的最后几个预测层被移除，以使模型适应手头的目的，例如，作为编码器来根据需要生成共享特征数据。
从主干网络302获得平坦化特征向量308(例如，使用平均池化)。例如，在一个实施例中，从基于ResNet18的主干特征网，输出具有尺寸为224×224的图像的维度为7×7×512的向量。在一个实施例中，平均池化通过在512个位置中的每一个取7×7项的平均值来提供1×512的平坦化向量。
对于K个面部属性中的每一个，由多个(K个)分类器310复制特征向量308以供处理(例如，并行)。每个单独的分类器(例如3121、3122、…312K)包括一个或多个完全连接的线性层(3141、3142、…314K)和预测块(3161、3162、…316K)，以输出每个属性的最终预测。在形状模型中，每个分类器头由两个完全连接的线性层组成，具有整流线性单元(ReLU)激活。隐藏层大小为50。(这意味着，假设特征大小为N，第一个FC层将把特征压缩到50的大小，然后第二个FC层将处理大小为50的特征，并输出大小等于目标输出大小的特征向量)。在颜色模型中，每个分类器头仅由一个FC线性层组成。(直接将大小为N的特征转换为目标输出大小)。通常，模型越深(即，存在的层越多)，模型的容量就越高。就学习难度而言，形状属性相对比颜色属性更复杂，以说明完全连接层数量的差异。
在训练和/或推断时使用期间，在一个实施例中，该模型用于一次处理一组N个图像。然后，输出具有维度(N，K)，其中N是输入图像的数量，并且K是属性的数量。输出矩阵中的每个元素都是整数，并且对于第i个图像和第j个属性，Oi,j表示系统预测图像属于哪个类。在一个实施例中，N是用于学习速率的训练超参数。N个图像中的每一个包括相同或不同的面部。该模型没有关于身份的上下文，也没有解决同一面部的多张图像中相互矛盾的预测结果。
在相应属性的每个分类器中，在最终输出层之前的层产生跨越可能属性值集的预测集(类似于分值)。在一个实施例中，每个预测是关于属性值的“真值”的相对可能性。对于三个属性值的集，预测集可能是20、20、60，尽管预测通常在不同的尺度上归一化。根据预测值的集的最大值(例如，与60相关联的属性)确定最终预测。
如上所述，用于监督学习的注释数据集具有由6个独立行动的人类注释者进行的注释。如上所述，每个注释者对特定属性的注释并不相同。“真值”解析规则用于在注释值(软标签)中进行选择。一个规则是最常见的预测规则—从一组预测中选择最常见的预测属性。一个规则是前两个最常见的预测规则。
对于颜色模型，在一个实施例中，“真值”被视为“最常见的投票”。这意味着，眼睛颜色有以下注释：“蓝色”、“蓝色”、“蓝色”、“灰色”、“灰色”、“棕色”：如果模型预测“蓝色”，则与最常见的投票一致。如果模型预测“蓝色”或“灰色”，则与前两个最常见的投票一致。如果注释是：“蓝色”、“蓝色”、“灰色”、“灰色”、“棕色”、“黑色”，那么“蓝色”或“灰色”将是最常见的投票(以及前2个最常见的投票)。
表2显示了用于预测训练的颜色属性的模型的输出和评估。用“*”注释的属性输出表示模型很少预测的输出。在一个实施例中，利用额外的训练数据来改进这种预测。在一个实施例中，另一种方法包括将这些粒度预测组合或捆绑在一起或与更常见(和相关)的预测结合或捆绑在一起，这降低预测的粒度或细度。例如，在一个实施例中，“草莓色”、“红色”和“赤褐色”被共同捆绑。
Figure BDA0004026082970000091
表2
对于形状模型，最常见的投票也被视为基本事实。使用了两种评估标准(预测解析规则)：“仅匹配多数票的百分比”和“匹配最常见的投票的百分比”。
当所有最大投票类别都被视为“基本事实”时，“匹配最常见的投票的百分比”将计算测试集中所有样本的准确性。
“仅匹配多数票的百分比”将仅计算只有一个多数票类别的样本的准确性。
表3显示了用于预测训练的形状属性的模型的输出和评估。
Figure BDA0004026082970000101
表3
图4示出了在一个实施例中，响应于面部属性分类提供推荐应用的计算系统400。该应用是电子商务应用。此外，通过图像处理技术，例如通过使用深度学习网络模型，应用提供面部效果模拟，以在上下文中呈现推荐。应用向用户提供虚拟和/或增强现实体验。
在系统400中，示出了用户计算设备402。以智能电话的形式示出用户计算设备402。其他形状因素是有用的，例如平板电脑、个人计算机等。用户计算设备402是面向消费者的设备，例如可从Apple Inc.、Samsung Electronics Co.，Ltd.等获得的，这对于诸如应用404的电子商务应用是有用的。在一个实施例中，设备402是由销售人员等操作的产品柜台亭设备。
在一个实施例中，用户计算设备402包括具有耦合用于通信的各种部件的计算设备，部件包括以下至少一些：处理器(例如CPU、GPU等)、存储设备、一个或多个通信子系统或设备、显示器、输入设备、输出设备等。在一个实施例中，显示器是触摸或手势启用的，输入设备包括诸如鼠标、麦克风、照相机、键盘、按钮等的定点设备，并且通信设备提供有线或无线通信中的任何一种，并且能够实现短距离和/或长距离。在一个实施例中，通信设备耦合到定位设备，例如提供基于卫星的定位服务。在一个实施例中，输出设备包括扬声器、灯、振动/触觉设备等，并且各种部件经由一个或多个通信总线或其他结构耦合。
在一个实施例中，存储设备存储指令和数据，例如，这些指令在执行时配置计算设备的操作。指令定义了操作系统、应用等。数据包括一个或多个面部的源图像。除了应用404之外，在一个实施例中，存在一个或多个用于传送诸如电子邮件、文本消息、即时消息、短消息服务(SMS)消息等消息(数据)的应用。在一个实施例中，通信包括诸如图像或视频等附件。
在一个实施例中，应用404提供图形用户界面，该图形用户界面包括一个或多个屏幕(例如，406)，用于由作为用户计算设备402的一部分或耦合到用户计算设备402的显示设备(例如，408)显示。在一个实施例中，用户计算设备402和应用404是手势和/或语音或以其他方式启用的。在一个实施例中，应用404是本地应用，其专门配置用于用户设备及其操作系统，下载并存储在其上或更多设备不可知，例如以基于浏览器的应用的形式和/或作为网络服务提供。
在一个实施例中，例如，应用404使用互联网协议(IP)经由网络410与一个或多个服务器(如电子商务服务器412和图像处理服务器414)通信(使用设备402)。系统400被简化：未示出支付和其他服务，仅示出一个用户计算设备，等等。
在一个实施例中，服务器412和414由相应的计算设备(尽管可以使用一个这样的设备)提供已知的合适资源。合适的计算设备具有耦合用于通信的各种部件，部件包括以下至少一些：处理器(例如CPU、GPU等)、存储设备、一个或多个通信子系统或设备、显示器、输入设备、输出设备等。在一个实施例中，显示器是触摸或手势启用的；输入设备包括诸如鼠标、麦克风、照相机、键盘、按钮等的定点设备；通信设备提供有线或无线通信中的任何一种，并且能够实现短距离或长距离。在一个实施例中，通信设备耦合到定位设备，例如提供基于卫星的定位服务，并且输出设备包括扬声器、灯、振动/触觉设备等中的任何一个。各种部件经由一个或多个通信总线或其他结构耦合。在一个实施例中，存储设备存储指令和数据，例如，这些指令在执行时配置计算设备的操作。
在本实施例中，应用404是用于化妆产品的电子商务应用。应用404被配置为提供源图像以获得面部属性分析，并响应于从源图像确定的面部属性接收产品推荐。服务器414被配置为接收源图像(或者从设备402而不与服务器412通信，或者经由服务器412)并执行确定面部特征的方法。
服务器414使用执行深度学习和监督回归的网络模型来处理面部的源图像，以输出对每个面部属性的预测。
在一个实施例中，网络模型包括卷积神经网络(CNN)模型，卷积神经网络(CNN)模型包括执行深度学习以产生共享特征的特征向量的残差块，共享特征的特征向量用于由相应分类器进行分类以预测面部属性。特征向量的副本由相应分类器针对面部属性中的相应一个进行处理。在一个实施例中，网络模型包括多个相应分类器，相应分类器中的每一个包括一个或多个完全连接的线性层，其中，相应分类器中的每一个提供面部属性中的相应一个的预测作为输出。在一个实施例中，多个相应分类器并行执行以提供面部属性。
在一个实施例中，根据面部属性(例，如颜色或形状等)的内在关系和异质性，面部属性与多个(例如，两个)相应属性组相关联。在一个实施例中，服务器414被配置为使得该方法使用为属性组中的相应一个配置的相应网络模型来处理源图像。
在一个实施例中，相应属性组中的一个是用于基于颜色的面部属性的颜色属性组，并且由基于颜色的网络模型来处理源图像。在一个实施例中，相应属性组中的一个是用于基于形状的面部属性的形状属性组，并且由基于形状的网络模型来处理源图像。
在一个实施例中，网络模型包括修剪了预测层的自适应的预训练的基于ResNet的图像处理网络模型。
尽管在本示例中，服务器414提供面部属性以用于提供产品推荐，但在其他实施例中，服务器提供面部属性以供执行图像检索、面部识别、个人重新识别和产品和/或服务推荐等中的任何一个的应用使用。
在实施例中，服务器414被配置为使用具有残差块的基于卷积神经网络(CNN)的主干网络模型来处理面部的源图像，以产生共享特征的特征向量；以及使用多个(K个)分类器处理特征向量，分别用于要确定的K个相应面部属性中的每一个，每个相应分类器包括一个或多个完全连接的线性层和预测块，以输出对K个相应面部属性中的一个的预测。在一个实施例中，第一网络模型(例如子模型)针对基于颜色的面部属性处理源图像，以产生基于颜色的特征向量，以供多个分类器中被配置为预测基于颜色的面部属性的相应一个来处理，并且第二网络模型针对基于形状的面部属性处理源图像，以产生基于形状的特征向量，以供多个分类器中被配置为预测基于形状的面部属性的相应一个来处理。
尽管示出为其中用户计算设备提供源图像(例如来自相机或其他上传(例如来自存储设备)的客户端/服务器模型，其中服务器414执行面部属性检测服务，但在实施例中，如果足够健壮，则用户计算设备被配置有深度学习模型以执行分类。
在一个实施例中，服务器412为电子商务服务提供产品推荐。服务器412提供电子商务购物服务以购买产品推荐中的至少一些。
在一个实施例中，服务器412被配置为为电子商务服务推荐产品，例如通过：接收从面部的源图像确定的多个面部属性，使用面部属性分类网络模型处理源图像以产生多个面部属性；使用面部属性中的至少一些来从存储与适合于产品的面部属性相关联的产品的数据存储器件中选择至少一种产品；以及提供至少一种产品作为在电子商务界面中呈现的推荐以购买产品。
在一个实施例中，使用服务器414和/或针对服务器414描述的方法来确定面部属性。
在一个实施方式中，产品包括与化妆产品。化妆产品在数据存储器件(例如，耦合到服务器412的数据库416)中以不同方式相关联，以定义预定化妆造型。造型是从具有特定效果的化妆和/或使用特定技术的应用定义的。每种造型是从不同类型的妆容定义的。这些类型涉及面部的皮肤区域(区)(脸颊、鼻子、下巴、前额、下颌线等)或诸如眼睛、嘴唇和眉毛的区域，包括诸如眉毛和睫毛的毛发。面部区域(皮肤)、眼睛区域、眉毛区域、嘴唇区域等与面部属性相关联，包括形状、颜色，如所描述的。例如，例如通过使用属性的适用性度量，将用于相应区域的相应化妆产品与相应属性相关联。该度量可以是二元的，例如，“好的”或“不好的”，或者适用性度量可以是更细粒度的(例如，按1到10的尺度或其他尺度排序)。在一个实施例中，造型包括面部多个区域(例如，所有区域)的相应产品。用于造型的产品具有与面部属性相关联的度量(例如，嘴唇产品与形状和颜色的嘴唇属性、眉毛产品与眉毛属性等)。推荐功能可以使用规则或其他方式来匹配从用户图像的图像分析确定的面部属性与按相应造型分组的产品。在一个实施例中，与面部属性的匹配识别潜在造型。可以从初始匹配中识别出一个以上的造型。例如，可以基于针对相应造型的面部属性匹配的计数和/或评估匹配的尺度的面部属性匹配的质量来对所识别的造型进行排名。排名可以用于对造型的呈现进行排序和/或提供分数。在一个实施例中，可以选择造型并使用面部属性信息来确定可用于实现该造型的匹配产品(例如，当在面部上组合时)。排名可用于对用于实现造型的各个产品进行排序或评分。
在一个实施例中，服务器414接收预定化妆造型中的一种的标识。当使用至少一些面部属性时，服务器412在选择至少一种产品时响应于预定化妆造型中的一种。
在一个实施例中，由于化妆产品中的每一个与多个化妆类型中的一个相关联，服务器412响应于面部属性为化妆类型中的每一个选择至少一种产品以定义推荐。如上所述，化妆类型包括面部产品类型、眼部产品类型、眉毛产品类型和唇部产品类型。
在一个实施例中，服务器412推荐使用推荐产品的技术。
在一个实施例中，服务器412向(用户)计算设备402提供其输出以用于应用404。例如通过电子商务服务的图形用户界面，经由显示器408呈现输出。
为了增强用户对造型或个人化妆产品的感知，在一个实施例中，例如通过图像处理来修改源图像以呈现面部效果。源图像由服务器412或服务器414或用户计算设备402修改，如在本文实施例中所描述的。使用修改源图像的深度学习网络模型或其他图像处理技术，如本文实施例中所描述的。一种用于修改源图像以从一个域转换到另一个域同时保持源特征的这种深度学习网络模型是基于生成对抗网络(GAN)的模型。
在实施例中，应用404使得用户计算设备412能够执行模拟现实的方法。该方法包括：从面部的源图像确定多个面部属性，使用面部属性分类网络模型处理源图像；响应于面部属性中的至少一个，确定应用于面部的至少一个面部效果；以及处理源图像以将至少一个面部效果应用于面部以进行显示。在一个实施例中，应用404与服务器412和414中的一个或两个进行通信，以使其执行方法步骤。在一个实施例中，用户计算设备402使用相机418来生成源图像(例如，420)。
在一个实施例中，至少一个面部效果是要应用于面部的至少一个化妆产品和/或技术的模拟。在一个实施例中，其他面部效果包括假体、整形手术或眼镜等的应用。
在各种实施例中，处理源图像以应用至少一个面部效果包括使用被配置为应用面部效果的深度学习网络(例如基于GANs)或使用其他深度学习模型或其他图像处理技术。作为示例但不限于，在(客户端)计算设备中配置的增强现实(AR)虚拟试用方法用于在源图像上模拟与推荐产品或服务相关联的效果，给出虚拟试用用户体验。作为总结，接收表示化妆产品的相机帧或照片(例如，作为源图像)以及渲染值(例如，红、绿、蓝(RGB)颜色和颜色不透明度)作为该方法的输入。使用面部跟踪来处理源图像，以确定源图像中用户面部周围的关键标志。使用这些标志，相对于化妆产品的面部区域被遮盖，例如对于唇部相关产品的用户的嘴唇。接下来，使用渲染值在遮盖区域中将化妆绘制到用户的面部上。在一个实施例中，包括其他步骤，例如从源图像采样照明、混合等，以真实地呈现实际产品的造型如何。最后，结果-带有化妆或面部效果的修改过的源图像-作为可以显示的输出传回。
在一个实施例中，图5、6A、6B、7A、7B、8、9A、9B、10A、10B、10C、10D、11A、11B和11C示出了用于应用404的图形用户界面的屏幕或其部分。
在该实施例中，图5示出了应用打开屏幕500，其内容不完全适合(不完全可显示)在用户计算设备402的显示屏408上。如已知的那样，部分是可滚动的，例如提供应用概览的部分502。提供控件504以推进应用(例如，开始)。
在该实施例中，图6A示出了获取源图像(例如，420)的初始屏幕600(例如，“拍照指令屏幕”)。该图像是经由相机418的“自拍”。“拍摄”控件前进以启动拍照界面(见图7)。上传控件604前进到上传界面，例如从设备402的本地存储设备或以其他方式经由屏幕610(例如，“图像获取的上传/选项”)和图6B获取图像。
在该实施例中，图7A和7B示出了用于捕获(例如，从相机接收)面部704的图像的拍照界面(例如，分别是屏幕700和710)。图像捕获控件702调用相机418来获取源图像420。没有显示其他控件，例如切换到后向(对向)相机模式的控件。在该实施例中，呈现指令以帮助用户适当地定位面部、最小化化妆、最小化头发或其他物体遮挡面部以及使用适当的照明等。指令的示例是“定位你的面部”706，其可以在拍摄图像之前覆盖面部的呈现。一旦捕获图像，执行初始处理以确认面部位置和照明并请求重拍(未示出)。在该实施例中，源图像420例如被传送到服务器414以供处理，以确定面部属性，如所描述的。
在该实施例中，图8示出了用于面部分析的界面(例如，屏幕800)，用于呈现从源图像420确定的面部属性。在本界面中，源图像被呈现为经修改的(420A)以呈现(例如，覆盖)关于面部属性的信息802。面部属性信息803根据上下文呈现并与与属性相关的面部420的区域相关联。在该实施例中，面部属性信息识别为源图像420确定的来自表1的属性和相关联的值。这里的覆盖样式和屏幕中的控件位置是示例。
在该实施例中，例如，通过图像处理(例如，执行特征检测以定位区域)在源图像420上定位区域。例如，由设备402或服务器414确定位置。区域与整个面部相关，例如与眉毛、眼睛和嘴唇相关。这些区域与一个或多个特定的面部属性相关。在该实施例中，每个区域与相应的产品类型相关。
在该实施例中，个体信息(例如802A)与控件(例如，点击控件802B)相关联，以前进到相关联的区域界面。每个相关联的区域界面被配置为提供关于所示区域的面部属性和相关产品等的附加信息。见图9A(与控件802B相关联)和图9B(与控件802C相关联)。在一个实施例中，每个区域具有相应的区域界面。
还提供相应的(点击)控件804以前进到提供关于面部属性和相关产品的附加信息的相关联区域界面。在该实施例中，例如通过滑动手势(例如，左/右)和/或触摸前进控件(例如，804A)来前进(调用)控件804。
在该实施例中，滚动带来进一步信息(例如“我的结果概览”部分)和界面800的部分800A中的和控件。在该实施例中，提供保存控件806(例如，保存结果图像)以将带注释的图像420和/或面部属性分析的结果保存到设备402的存储设备。控件808(例如，“继续我的化妆造型”)前进到推荐界面(例如图10A)。显然，各种界面部分和诸如控件的元件可以具有文本标签来帮助界面导航和用户界面理解。
在该实施例中，图9A示出了区域界面900，以在视觉上突出显示与面部整体的面部属性相关的区域902，并提供诸如面部形状、肤色、底色(例如，“形状、肤色和底色信息化妆提示”)的进一步信息(例如，在部分904中)。部分904中的附加信息涉及区域902的相关联的产品，并且包括图形和/或文本、色样图像等。在该实施例中，提供控件906(例如，“见我的推荐”)以前进到产品推荐界面(例如，图10A)。提供控件908以前进到另一区域界面，例如用于眉毛(例如，图9B)。
在该实施例中，图9B示出了区域界面910，以在视觉上突出显示与眉毛的面部属性相关的区域912，并在部分914中提供进一步的信息，例如眉毛形状、眉毛颜色(例如，“眉毛形状和颜色信息化妆提示”)。部分914中的附加信息涉及区域912的相关联的产品，并且包括图形和/或文本、色样图像等。提供控件906(例如，“见我的推荐”)以前进到产品推荐界面(例如，图10A)。提供控件918以前进到另一区域界面，例如用于眼睛(用于眼睛的区域界面未示出)。提供控件920以前进到特定区域界面或“我的结果”界面(例如，图8)。例如，前进到特定区域界面可以通过滑动或点击控件920中的一个来导航。
对于区域界面(例如，900和910)，感兴趣的区域(902、912)位于源图像420上(例如，经由覆盖)。例如，图像处理执行特征检测来定位区域。在该实施例中，定义相应的掩模以覆盖源图像420以定义相应的修改图像420B、420C。在该实施例中，作为示例，掩模使感兴趣区域(902，912)之外的区域变暗，以将焦点带到相应区域。
尽管未示出，但在该实施例中，为嘴唇和眼睛提供了区域界面。嘴唇区域界面呈现唇大小信息并示出和/或描述嘴唇形状信息。眼睛区域界面呈现眼睛形状、眼睑和眼睛颜色信息。如在所有所示的区域界面中的，还提供了产品提示(例如，与与区域相关联的适用面部属性相关联的提示)。
在该实施例中，图10A-10D示出了推荐界面的初始屏幕1000、1010、1020和1030。屏幕1000、1010、1020和1030呈现各种产品信息并包括前进控件(例如，“下一步”1002)。屏幕1000提供“个人造型介绍屏幕”，其中控件1004A和1004B分别前进到区域或项目信息以及整体造型信息。图10B的造型选择器界面1010呈现用于诸如“造型1”、“造型2”、“造型3”和“造型4”的预定“造型”(例如，具有相应面部效果以实现整体面部效果的预定或选择的化妆产品组)的选择(例如，与选择控件1012A、1012B、1012C和1012D相关联)。尽管在图示中一般地标记，但每种造型可以具有描述性或虚构的标签(例如，“引人注目的”、“优雅的”、“商务的”、“迟到”等)。化妆类型与每个(面部)区域相关联，并且是可选择的(例如，可调用的)以操作界面并请求附加信息呈现。该信息例如存储在数据库416中。在该实施例中，造型与面部属性信息键控(关联存储)，例如应用它的产品或技术与一个或多个特定面部属性相关联(例如，推荐)的位置。例如，为具有以下特征的脸实现特定的造型：椭圆脸、杏仁眼、浓眉、棕色眉毛、红色底色、金色头发等；然后确定适用于面部、眼睛、眉毛和嘴唇的产品。
在该实施例中，皮肤类型选择器界面(例如，屏幕1020)呈现用于皮肤类型选择的选择(例如，与选择控件1022A、1022B、1022C和1022D相关联)，如“类型1”、“类型2”、“类型3”和“类型4”。尽管在图示中一般地标记，但每种类型可以具有描述性或虚构的标签。在该实施例中，皮肤类型涉及中性、干性、油性、混合性等属性值。在该实施例中，皮肤类型是由用户提供的数据，其不是通过图像处理自动确定的。
在该实施例中，产品推荐响应于皮肤类型。选择下一个控件1002调用应用402来提供造型和皮肤类型信息，以用于确定产品推荐，例如借助于向服务器412请求这种信息的消息。在该实施例中，到服务的消息提供为源图像420确定的用户的面部属性信息。在一个实施例中，提供源图像420，例如用于应用效果。例如当等待接收产品推荐时，呈现示出源图像420的屏幕1030(图10D)(例如，具有标签“造型匹配”)。屏幕1030提供基线(例如，没有化妆参考)以与图11A的屏幕100中模拟的产品推荐进行比较。
在该实施例中，图11A和11B示出了其中模拟现实的产品推荐界面(例如，屏幕1100，分为1100A和1100B两部分显示)。在源图像420上模拟具有被确定为匹配面部属性的产品推荐的所选造型，以呈现图像420D。
在该实施例中，屏幕1100呈现用于匹配产品以实现期望的(选择的)造型(例如，1102)的面部属性信息(例如，1102)。在该实施例中，1002处的信息指示造型对于用户的两个相应属性(例如，用户细节1和用户细节2)是理想的。在该实施例中，提供了用于特定造型的一般信息(例如，1104)。在该实施例中，一般信息包括造型的名称和特征，并且包括造型的产品和教程信息。提供共享/保存控件1106以保存或共享模拟图像420D。
在该实施例中，屏幕1100被划分为在相应部分1110、1112、1114和1116中呈现针对面部的每个区域(例如，整个面部、眼睛、眉毛和嘴唇)的推荐信息。注意，为了简洁起见，仅部分地示出用于眼睛的部分1112，但其构造与其他部分1110、1114和1116类似。部分1110、1114和1116示出了特定的产品推荐(例如，包括1110A、1114A和1116A处的产品图像、颜色、名称、价格)和1110B、1114B和1116B处的特定的产品教程。在该实施例中，每个相应的产品与相应的购买控件相关联(例如，1110C、1114C和1116C处的“添加到购物车”)，以将产品作为项目添加到购物车。作为示例，响应于要呈现的信息量，部分1110、1112、1114和1116中的任何一个是可滚动的(例如，通过向左或向右滑动手势)，以呈现该区域的一个以上的产品、教程和购买控件。步数和/或按钮标记(例如，1110D、1114D和1116D)用于指示当前在屏幕1100上呈现的这种信息内的位置。
在该实施例中，控件1118将所有产品添加到购物车。例如，响应于产品属性，单个产品具有可选择的特征(例如，选择尺寸或任何其他可选择的属性)。为部分1110、1112、114和1116中的任何一个中的相应产品选择相关联的控件(未示出)导致界面呈现产品选择器界面1120。例如，在部分1110中选择与产品推荐1110A相关联的控件调用类似于该产品推荐1120的适用产品选择器界面，其中产品细节选择器1122替换推荐1110A，并且选择控件1124使用细节选择器1122替换添加到购物车控件1110C来确认选择。
控件1126(例如，“选择我的造型”)可操作以在各种造型之间或在一个造型内移动，例如针对不同的造型特征或上下文。在该实施例中，上下文涉及一天中的时间、事件、位置等。调用控件1126分别导致相关联的面部效果的新产品推荐和新现实模拟。搜索控件(1128)(例如，“搜索化妆品系列”)显示附加产品(界面未示出)。
在该实施例中，屏幕1110呈现用于推荐界面的各种导航控件1130A、1130B，例如改变造型/改变我的选择(例如，在导航造型界面中返回一个阶段)、从头重新启动(例如，在屏幕700处开始新的图像捕获)、返回结果(例如，屏幕800)、退出(关闭界面未示出)等。
在一个实施例中，出于与隐私相关的考虑，诸如412或414的服务器不持久地存储源图像或诸如在处理源图像之后的任何衍生图像。在该实施例中，应用404与面部属性处理和产品模拟的请求(相关联地)发送源图像。
如所确定的，面部属性对于电子商务服务中的许多目的是有用的，以帮助用户体验并定义适用的用户界面的操作。例如，应用及其界面可被配置为执行以下任一项或多项：1.如果用户看错了粉底的颜色，使用皮肤检测向虚拟试用添加提示；2.使用头发颜色检测来推荐可实现的颜色；3.使用头发颜色检测从趋势图像中提取头发颜色，以推荐相关颜色；4.使用更多的眼睛参数来做一个“完美的眼睛造型”；5.基于共同的特征找到适合用户的相似造型；6.使用面部/毛发特征来预测生活方式、个人时尚偏好或其他用户特征；7.在用户决定造型后，基于他们的面部/头发特征提供要实现的例行程序/动作；以及8.计算吸引力的评估。
图12是示出根据实施例的操作1200的流程图。例如，操作1200提供根据本文描述的实施例的与训练和训练数据集相关的方法。在步骤1202，操作存储用于训练从推断时间图像预测属性的属性分类器的属性数据集，属性数据集包括示出多个属性的多个图像，每个属性具有多个相应的属性值。在步骤1204，操作将多个图像中的每个图像的软标签存储到数据集，软标签包括由独立行动的多个相应人类图像注释者确定的每个属性的相应属性值。在步骤1206，操作提供属性数据集以训练属性分类器。在一个实施例中，存储操作存储到数据存储器件，例如但不限于数据库。
在实施例中，操作1200可进一步包括(例如，在步骤1208)使用属性数据集训练属性分类器。在一个实施例中，当训练时，该方法包括使用“真值”解析规则从软标签中选择真值。
在一个实施例中，根据属性的内在关系和异质性，属性与多个相应属性组相关联，并且其中，属性分类器包括多个子模型，分别用于属性组中的每一个。在一个实施例中，相应属性组中的一个是用于基于颜色的属性的颜色属性组。在一个实施例中，相应属性组中的一个是用于基于形状的属性的形状属性组。
在一个实施例中，属性是面部属性。在一个实施例中，面部属性包括表1的属性。
应当理解，当相应地配置时，根据计算设备方面和计算机程序产品方面提供操作1200和任何相关实施例的特征。
图13是示出根据实施例的操作1300的流程图。例如，操作1300提供确定面部属性的方法。在步骤1302，操作1300使用执行深度学习和监督回归的网络模型来处理面部的源图像，以输出对每个面部属性的预测。在一个实施例中，网络模型包括卷积神经网络(CNN)模型，卷积神经网络(CNN)模型包括执行深度学习以产生共享特征的特征向量的残差块，共享特征的特征向量用于由相应分类器进行分类以预测面部属性。
在一个实施例中，根据面部属性的内在关系和异质性，面部属性与多个相应属性组相关联，并且源图像由为属性组中的相应一个配置的相应网络模型来处理。在一个实施例中，相应属性组中的一个是用于基于颜色的面部属性的颜色属性组，并且源图像由基于颜色的网络模型来处理。在一个实施例中，相应属性组中的一个是用于基于形状的面部属性的形状属性组，并且源图像由基于形状的网络模型来处理。
在一个实施例中，在步骤1304，操作1300针对面部属性中的相应一个复制要由相应分类器处理的特征向量。
在一个实施例中，网络模型包括多个相应分类器，相应分类器中的每一个包括一个或多个完全连接的线性层，其中，相应分类器中的每一个提供面部属性中的相应一个的预测作为输出。在一个实施例中，多个相应分类器并行执行以提供面部属性。
在一个实施例中，该模型包括修剪了预测层的自适应的预训练的基于ResNet的图像处理网络模型。
在一个实施例中，在步骤1306，操作提供面部属性(例如，由应用使用)，以执行图像检索、面部识别和产品和/或服务推荐中的任一项。
在一个实施例中，在步骤1308，操作执行图像检索、面部识别和产品和/或服务推荐中的任一项。
在一个实施例中，应用响应于面部属性执行产品和/或服务推荐，并且其中，应用修改源图像以模拟与推荐的产品或服务相关联的效果，以提供虚拟试用用户体验。
应当理解，当相应地配置时，根据计算设备方面和计算机程序产品方面提供操作1300和任何相关实施例的特征。
图14是示出根据实施例的操作1400的流程图。操作1400提供确定面部图像的面部属性的方法。在步骤1402，操作使用具有残差块的基于卷积神经网络(CNN)的主干网络模型来处理面部的源图像，以产生共享特征的特征向量。在步骤1402，操作使用多个(K个)分类器处理特征向量，分别用于要确定的K个相应面部属性中的每一个，每个相应分类器包括一个或多个完全连接的线性层和预测块，以输出K个相应面部属性中的一个的预测。
根据一个实施例，对面部的N个源图像执行处理步骤(1402、1404)，并使用预测解析规则从每个面部属性的N个预测中确定K个相应面部属性的最终预测。
根据一个实施例，基于CNN的主干网络模型包括第一网络模型和第二网络模型。根据一个实施例，第一网络模型针对基于颜色的面部属性处理源图像，以产生基于颜色的特征向量，以供多个分类器中被配置为预测基于颜色的面部属性的相应一个来处理。
根据一个实施例，其中，第二网络模型针对基于形状的面部属性处理源图像，以产生基于形状的特征向量，以供多个分类器中被配置为预测基于形状的面部属性的相应一个来处理。
根据一个实施例，复制特征向量以由K个分类器进行并行处理。
在一个实施例中，在步骤1406，操作提供面部属性(例如，由应用使用)，以执行图像检索、面部识别和产品和/或服务推荐中的任一项。
在一个实施例中，在步骤1408，操作执行图像检索、面部识别和产品和/或服务推荐中的任一项。
在一个实施例中，应用响应于面部属性执行产品和/或服务推荐，并且其中，应用修改源图像以模拟与推荐的产品或服务相关联的效果，以提供虚拟试用用户体验。
应当理解，当相应地配置时，根据计算设备方面和计算机程序产品方面提供操作1400和任何相关实施例的特征。
图15是示出根据实施例的操作1500的流程图。操作1500提供模拟现实的方法。在1502，操作从面部的源图像确定多个面部属性，使用面部属性分类网络模型处理源图像。在1504，操作响应于面部属性中的至少一个，确定应用于面部的至少一个面部效果。操作(在1506)处理源图像以将至少一个面部效果应用于面部以进行显示。
在一个实施例中，使用相应的操作1200或1300来确定操作1500的面部属性，相应的操作包括这种相应的操作1200或1300的任何相关实施例。操作1500因此可以包括执行这种操作1200或1300，这种操作包括任何相关实施例。
在一个实施例中，至少一个面部效果是要应用于面部的至少一个化妆产品和/或技术的模拟。
在一个实施例中，处理源图像以应用至少一个面部效果包括使用被配置为应用面部效果的深度学习网络。
在一个实施例中，在步骤1508，操作1500使用面部属性中的至少一个来从存储与面部属性相关联的化妆产品和/或技术的数据存储器件中选择一个或多个化妆产品和/或技术。
应当理解，当相应地配置时，根据计算设备方面和计算机程序产品方面提供操作1500和任何相关实施例的特征。
图16是示出根据实施例的操作1600的流程图。操作1600提供为电子商务服务推荐产品的方法。在步骤1602，操作接收从面部的源图像确定的多个面部属性，使用面部属性分类网络模型处理源图像以产生多个面部属性。在1604，操作使用面部属性中的至少一些来从存储与适合于产品的面部属性相关联的产品的数据存储器件中选择至少一种产品。在1606，操作提供至少一种产品作为在电子商务界面中呈现以购买产品的推荐。
在一个实施例中，使用相应的操作1200或1300来确定操作1600的面部属性，相应的操作包括这种相应的操作1200或1300的任何相关实施例。操作1600因此可以包括执行这种操作1200或1300，这种操作包括任何相关实施例。
在一个实施方式中，产品包括与化妆产品。
在一个实施例中，化妆产品在数据存储器件中以不同方式相关联，以定义预定化妆造型；操作(未示出)接收预定化妆造型中的一种的标识；并且当选择至少一种产品时，使用面部属性中的至少一些的步骤响应于预定化妆造型中的一种。在一个实施例中，化妆产品中的每一个与多个化妆类型中的一个相关联，并且方法包括响应于面部属性为化妆类型中的每一个选择至少一种产品以定义推荐。在一个实施例中，化妆类型包括面部产品类型、眼部产品类型、眉毛产品类型和唇部产品类型。
在一个实施例中，操作(未示出)进一步推荐使用推荐产品的技术。
在一个实施例中，例如，经由可以包括电子商务界面的界面，操作(未示出)通过处理源图像来提供应用于面部的至少一种产品的模拟。
在一个实施例中，操作(未示出)提供电子商务购物服务以购买推荐产品中的至少一些。
应当理解，当相应地配置时，根据计算设备方面和计算机程序产品方面提供操作1600和任何相关实施例的特征。
本文示出和描述的计算设备和界面提供了多个不同的方面。例如，在一个实施例中，计算设备是可配置的，例如系统的部件，该系统包括一个或多个特定功能单元，该特定功能单元包括被配置为执行相应功能的处理电路。
在一个这样的方面中，如图17中所示，提供了一种系统1700，包括：面部属性单元1702，其包括被配置为从面部的源图像提取多个面部属性并基于提取的多个面部属性生成一个或多个面部效果的处理电路；以及面部效果单元1704，其包括被配置为将至少一个面部效果应用于源图像并在电子商务界面上生成应用效果源图像的一个或多个虚拟实例的处理电路。
在一个实施例中，该系统进一步包括用户体验单元，其包括处理电路，处理电路被配置为从存储与多个面部属性中的一个或多个相关联的产品的数据存储器件中确定至少一种产品，并在电子商务界面上生成产品推荐的一个或多个虚拟实例以购买产品。
在一个实施例中，面部属性单元包括被配置为执行网络模型的处理电路，网络模型执行深度学习和监督回归，以输出对来自面部的源图像的多个面部属性中的每个的预测。
在一个实施例中，面部效果单元包括被配置为生成虚拟表示的处理电路，虚拟表示包括应用效果源图像的至少一部分以及化妆产品或化妆应用技术中的至少一种。
在一个实施例中，面部效果包括响应于面部属性中的一个的注释。在一个实施例中，注释包括面部属性的面部属性值和/或注释位于(例如，定位在源图像上(例如，作为覆盖))从其确定面部属性的源图像的区域。
在一个实施例中，使用相应的操作1200或1300来确定由面部属性单元1702确定的面部属性，相应的操作包括这种相应的操作1200或1300的任何相关实施例。面部属性单元因此可以被配置为执行这种操作1200或1300，这种操作包括任何相关实施例。
在其他实施例中，其他实际应用使用如本文所描述的面部属性分类器。其他实施例包括图像检索、面部识别等。图像检索的主要任务是从非常大的数据库中检索图像(在如此大的尺寸中，按顺序搜索通常不起作用)。在一个实施例中，为存储到图像数据库的图像计算面部属性并相应地键入。用于搜索的候选图像还具有计算的属性，这些属性用于缩小搜索标准或定义置信度匹配数据或对搜索结果排序(例如，候选图像匹配一个特定存储图像的7个面部属性中的5个和第二特定存储图像的7个面部属性中的6个，其结果用于对搜索结果排序或在(部分)匹配的存储图像中选择一个)等。
例如，像ResNet这样的CNN模型可以将图像表示为“特征”，其是原始图像的压缩表示，因此通常更小，更容易搜索。
在面部识别中，这种任务主要涉及对同一身份(人)的不同图像进行发现、分类或分组。使用面部属性可执行类似的技术。
本公开描述了综合数据集的收集，该综合数据集实现能够预测任何先前作品或数据集中先前没有覆盖的特殊的(面部)属性集的方法。虽然之前的工作(例如，关于“CelebFaces Attributes Dataset”(CelebA)数据集(香港中文大学多媒体实验室的面部属性数据集，可在网址：mmlab.ie.cuhk.edu.hk/projects/CelebA.html)上获得)之前探索过卷积神经网络(CNN)，但这并没有为每个属性设置不同的分支。也就是说，没有为每个不同的属性使用单独的分类器头。不同的子模型没有用于具有内在关系的不同属性，例如颜色和形状。
在如本文所示和描述的数据集的集合的实施例中，训练工作流使用软标签来提高模型精度。由训练产生的属性分类器与人类注释相当。
实际实施方式可以包括本文所描述的任何或全部特征。这些和其他方面、特征和各种组合可以表示为用于执行功能的方法、装置、系统、构件，程序产品，以及以其他方式组合本文描述的特征。已经描述了许多实施例。然而，将理解，在不脱离本文所描述的处理和技术的精神和范围的情况下，可以进行各种修改。此外，可以从所描述的处理中提供其他步骤，或者可以取消步骤，并且可以将其他部件添加到所描述的系统中，或者从所描述的系统中移除。因此，其他实施例在所附权利要求的范围内。
在本说明书的整个描述和权利要求中，词语“包括”和“包含”以及它们的变体意味着“包括但不限于”，并且不旨在(也不)排除其他部件、整体或步骤。在整个说明书中，单数涵盖复数，除非上下文另有要求。具体地，在使用不定冠词的情况下，除非上下文另有要求，本说明应被理解为考虑复数和单数。
结合本发明的特定方面、实施例或示例描述的特征、整数、特性、或组应理解为适用于任何其他方面、实施例或示例，除非与其不兼容。本文公开的所有特征(包括任何附带的权利要求、摘要和附图)和/或如此公开的任何方法或处理的所有步骤可以以任何组合进行组合，除了其中至少一些这样的特征和/或步骤是相互排斥的组合。本发明不限于任何前述示例或实施例的细节。本发明延伸到本说明书(包括任何附带的权利要求、摘要和附图)中所公开的特征的任何新颖的一个或任何新颖的组合，或者延伸到所公开的任何方法或处理的步骤的任何新颖的一个或任何新颖的组合。
参考文献
1.Deep Residual Learning for Image Recognition”,He,Kaiming et.al,2015-12-10,available at URL arxiv.org/abs/1512.03385.
2.A Survey of Deep Facial Attribute Analysis,Xin Zheng,Xin et.al,Submitted on 26Dec 2018(v1),last revised 27Oct 2019(this version,v3)URLarxiv.org/abs/1812.10265.
3.Deep Learning Face Attributes in the Wild,Liu,Ziwei et.al,Submittedon 28Nov 2014(v1),last revised 24Sep 2015(this version,v3),URL:arxiv.org/abs/1411.7766.

Claims (46)

1.一种确定面部属性的方法，所述方法包括：
使用执行深度学习和监督回归的网络模型来处理面部的源图像，以输出对所述面部属性中的每个面部属性的预测；
其中，所述网络模型包括卷积神经网络(CNN)模型，所述卷积神经网络(CNN)模型包括执行深度学习以产生共享特征的特征向量的残差块，所述共享特征的特征向量用于由相应分类器进行分类以预测所述面部属性。
2.根据权利要求1所述的方法，其中，根据所述面部属性的内在关系和异质性，所述面部属性与多个相应属性组相关联，并且其中，所述源图像由为所述属性组中的相应一个属性组配置的相应网络模型来处理。
3.根据权利要求2所述的方法，其中，所述相应属性组中的一个相应属性组是用于基于颜色的面部属性的颜色属性组，并且所述源图像由基于颜色的网络模型来处理。
4.根据权利要求2或3所述的方法，其中，所述相应属性组中的一个相应属性组是用于基于形状的面部属性的形状属性组，并且所述源图像由基于形状的网络模型来处理。
5.根据权利要求1至4中任一项所述的方法，包括针对所述面部属性中的相应一个相应属性组复制要由相应分类器处理的所述特征向量。
6.根据权利要求1至5中任一项所述的方法，其中，所述网络模型包括多个相应分类器，所述相应分类器中的每个相应分类器包括一个或多个完全连接的线性层，其中，所述相应分类器中的每个相应分类器提供所述面部属性中的相应一个面部属性的预测作为输出。
7.根据权利要求6所述的方法，其中，所述多个相应分类器并行执行以提供所述面部属性。
8.根据权利要求1至7中任一项所述的方法，其中，所述模型包括修剪了预测层的自适应的预训练的基于ResNet的图像处理网络模型。
9.根据权利要求1至8中任一项所述的方法，包括提供所述面部属性，以执行图像检索、面部识别和产品和/或服务推荐中的任一项。
10.根据权利要求9所述的方法，其中，应用响应于所述面部属性执行所述产品和/或服务推荐，并且其中，所述应用修改所述源图像以模拟与所推荐产品或服务相关联的效果，从而提供虚拟试用用户体验。
11.一种确定面部图像的面部属性的方法，所述方法包括：
使用具有残差块的基于卷积神经网络(CNN)的主干网络模型来处理面部的源图像，以产生共享特征的特征向量；以及
使用多个(K个)分类器处理所述特征向量，分别用于要确定的K个相应面部属性中的每个相应面部属性，每个相应分类器包括一个或多个完全连接的线性层和预测块，以输出所述K个相应面部属性中的一个相应面部属性的预测。
12.根据权利要求11所述的方法，包括对所述面部的N个源图像执行所述处理步骤，并使用预测解析规则从每个面部属性的所述N个预测中确定所述K个相应面部属性的最终预测。
13.根据权利要求11或12所述的方法，其中，第一网络模型针对基于颜色的面部属性处理所述源图像，以产生基于颜色的特征向量，以供所述多个分类器中被配置为预测基于颜色的面部属性的相应一个分类器来处理。
14.根据权利要求11至13中任一项所述的方法，其中，第二网络模型针对基于形状的面部属性处理所述源图像，以产生基于形状的特征向量，以供所述多个分类器中被配置为预测基于形状的面部属性的相应一个分类器来处理。
15.根据权利要求11至14中任一项所述的方法，包括复制所述特征向量以由所述K个分类器进行并行处理。
16.一种模拟现实的方法，所述方法包括：
从面部的源图像确定多个面部属性，使用面部属性分类网络模型处理所述源图像；
响应于所述面部属性中的至少一个面部属性，确定应用于所述面部的至少一个面部效果；以及
处理所述源图像以应用所述至少一个面部效果于所述面部以进行显示。
17.根据权利要求16所述的方法，其中，所述面部属性是使用权利要求1至15中任一项所述的方法确定的。
18.根据权利要求16或17所述的方法，其中，所述至少一个面部效果是要应用于所述面部的至少一个化妆产品和/或技术的模拟。
19.根据权利要求16至18中任一项所述的方法，其中，处理所述源图像以应用所述至少一个面部效果包括使用被配置为应用所述面部效果的深度学习网络。
20.根据权利要求18或19所述的方法，包括使用所述面部属性中的所述至少一个面部属性来从存储与面部属性相关联的化妆产品和/或技术的数据存储器件中选择一个或多个化妆产品和/或技术。
21.一种为电子商务服务推荐产品的方法，所述方法包括：
接收从面部的源图像确定的多个面部属性，所述源图像使用面部属性分类网络模型而被处理以产生所述多个面部属性；
使用所述面部属性中的至少一些面部属性来从存储与适合于所述产品的面部属性相关联的产品的数据存储器件中选择至少一种产品；以及
提供所述至少一种产品作为在电子商务界面中呈现的推荐以购买产品。
22.根据权利要求21所述的方法，其中，所述面部属性是使用权利要求1至15中任一项所述的方法确定的。
23.根据权利要求21和22中任一项所述的方法，其中，所述产品包括化妆产品。
24.根据权利要求23所述的方法，其中：
所述化妆产品在所述数据存储器件中以不同方式相关联，以定义预定化妆造型；
所述方法包括接收所述预定化妆造型中的一种预定化妆造型的标识；以及
当选择所述至少一种产品时，使用所述面部属性中的至少一些面部属性的步骤响应于所述预定化妆造型中的所述一种预定化妆造型。
25.根据权利要求24所述的方法，其中，所述化妆产品中的每个化妆产品与多个化妆类型中的一个化妆类型相关联，并且所述方法包括响应于所述面部属性为所述化妆类型中的每个化妆类型选择至少一种产品以定义所述推荐。
26.根据权利要求24所述的方法，其中，所述化妆类型包括面部产品类型、眼部产品类型、眉毛产品类型和唇部产品类型。
27.根据权利要求21至26中任一项所述的方法，包括进一步推荐使用所推荐产品的技术。
28.根据权利要求21至27中任一项所述的方法，其中，所述电子商务界面通过处理所述源图像来提供应用于所述面部的所述至少一种产品的模拟。
29.根据权利要求21至28中任一项所述的方法，进一步包括提供电子商务购物服务以购买所推荐产品中的至少一些。
30.一种系统，包括被配置为执行前述方法权利要求中的任一项的计算设备。
31.一种系统，包括：
面部属性单元，包括被配置为从面部的源图像提取多个面部属性并基于所提取的多个面部属性生成一个或多个面部效果的处理电路；以及
面部效果单元，包括被配置为将至少一个面部效果应用于所述源图像并在电子商务界面上生成应用效果源图像的一个或多个虚拟实例的处理电路。
32.根据权利要求31所述的系统，进一步包括：
用户体验单元，包括如下处理电路：被配置为从存储与所述多个面部属性中的一个或多个面部属性相关联的产品的数据存储器件中确定至少一种产品，并在电子商务界面上生成产品推荐的一个或多个虚拟实例以购买产品。
33.根据权利要求31或32所述的系统，其中，所述面部属性单元包括被配置为执行网络模型的处理电路，所述网络模型执行深度学习和监督回归，以输出对来自面部的所述源图像的所述多个面部属性中的每个面部属性的预测。
34.根据权利要求31至33中任一项所述的系统，其中，所述面部效果单元包括被配置为生成虚拟表示的处理电路，所述虚拟表示包括所述应用效果源图像的至少一部分以及化妆产品或化妆应用技术中的至少一种。
35.根据权利要求31至33中任一项所述的系统，其中，所述面部效果包括响应于所述面部属性中的一个面部属性的注释。
36.根据权利要求35所述的系统，其中，以下中至少一者：所述注释包括所述面部属性的面部属性值；以及所述注释位于从中确定所述面部属性的所述源图像的区域。
37.一种方法，包括：
存储用于训练从推断时间图像预测属性的属性分类器的属性数据集，所述属性数据集包括示出多个属性的多个图像，所述属性中的每个属性具有多个相应属性值；以及
将所述多个图像中的每个图像的软标签存储到所述数据集，所述软标签包括由独立行动的多个相应人类图像注释者确定的每个属性的相应属性值；以及
提供所述属性数据集以训练所述属性分类器。
38.根据权利要求37所述的方法，进一步包括使用所述属性数据集训练所述属性分类器。
39.根据权利要求38所述的方法，包括当训练时使用“真值”解析规则从所述软标签中选择真值。
40.根据权利要求37至39中任一项所述的方法，其中，根据所述属性的内在关系和异质性，所述属性与多个相应属性组相关联，并且其中，所述属性分类器包括多个子模型，分别用于所述属性组中的每一个属性组。
41.根据权利要求40所述的方法，其中，所述相应属性组中的一个相应属性组是用于基于颜色的属性的颜色属性组。
42.根据权利要求40或41所述的方法，其中，所述相应属性组中的一个相应属性组是用于基于形状的属性的形状属性组。
43.根据权利要求37至42中任一项所述的方法，其中，所述属性是面部属性。
44.根据权利要求43所述的方法，其中，所述面部属性包括表1的所述属性。
45.一种系统，包括被配置为执行权利要求37至43中任一项的方法的计算设备。
46.一种系统，包括配置有根据权利要求37至43中任一项的方法定义的属性分类器的计算设备。
CN202180046656.5A 2020-06-29 2021-06-29 用于改进的面部属性分类的系统和方法及其用途 Pending CN116097320A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063045303P 2020-06-29 2020-06-29
US63/045,303 2020-06-29
FRFR2010128 2020-10-05
FR2010128A FR3114895B1 (fr) 2020-10-05 2020-10-05 Systèmes et procédés pour une classification améliorée des attributs faciaux et leurs applications
PCT/EP2021/067883 WO2022002961A1 (en) 2020-06-29 2021-06-29 Systems and methods for improved facial attribute classification and use thereof

Publications (1)

Publication Number Publication Date
CN116097320A true CN116097320A (zh) 2023-05-09

Family

ID=76765172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180046656.5A Pending CN116097320A (zh) 2020-06-29 2021-06-29 用于改进的面部属性分类的系统和方法及其用途

Country Status (6)

Country Link
US (1) US11978242B2 (zh)
EP (1) EP4150513A1 (zh)
JP (1) JP2023531264A (zh)
KR (1) KR20230025906A (zh)
CN (1) CN116097320A (zh)
WO (1) WO2022002961A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200626A (zh) * 2020-09-30 2021-01-08 京东方科技集团股份有限公司 确定推荐产品的方法和装置、电子设备、计算机可读介质
CN114663552B (zh) * 2022-05-25 2022-08-16 武汉纺织大学 一种基于2d图像的虚拟试衣方法
WO2024073041A1 (en) * 2022-09-30 2024-04-04 L'oreal Curl diagnosis system, apparatus, and method
CN115909470B (zh) * 2022-11-24 2023-07-07 浙江大学 基于深度学习的全自动眼睑疾病术后外观预测系统和方法
KR102602659B1 (ko) * 2023-05-26 2023-11-15 주식회사 손손컴퍼니 증강현실에 기초한 핏팅 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120177288A1 (en) * 2009-08-04 2012-07-12 Vesalis Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US9349178B1 (en) 2014-11-24 2016-05-24 Siemens Aktiengesellschaft Synthetic data-driven hemodynamic determination in medical imaging
US11106896B2 (en) * 2018-03-26 2021-08-31 Intel Corporation Methods and apparatus for multi-task recognition using neural networks

Also Published As

Publication number Publication date
US20210406996A1 (en) 2021-12-30
JP2023531264A (ja) 2023-07-21
KR20230025906A (ko) 2023-02-23
EP4150513A1 (en) 2023-03-22
WO2022002961A1 (en) 2022-01-06
US11978242B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
US11497267B2 (en) Systems and methods for full body measurements extraction
CN116097320A (zh) 用于改进的面部属性分类的系统和方法及其用途
US9501724B1 (en) Font recognition and font similarity learning using a deep neural network
US8208694B2 (en) Method and system for image and video analysis, enhancement and display for communication
US7860347B2 (en) Image-based face search
Abd El Meguid et al. Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
Arora et al. AutoFER: PCA and PSO based automatic facial emotion recognition
Solomon et al. Interactive evolutionary generation of facial composites for locating suspects in criminal investigations
Duong et al. Learning from longitudinal face demonstration—where tractable deep modeling meets inverse reinforcement learning
Borza et al. A deep learning approach to hair segmentation and color extraction from facial images
CN110598097B (zh) 一种基于cnn的发型推荐系统、方法、设备及存储介质
Rocha et al. A model approach for an automatic clothing combination system for blind people
CN115408611A (zh) 菜单推荐方法、装置、计算机设备和存储介质
KR101734212B1 (ko) 표정 연습 시스템
Moran Classifying emotion using convolutional neural networks
Liu et al. Design and implementation of hair recommendation system based on face recognition
Said et al. Face Recognition System
US11816144B2 (en) Hair pattern determination and filtering
FR3114895A1 (fr) Systèmes et procédés pour une classification améliorée des attributs faciaux et leurs applications
Shourie et al. A Deep Dive into Gender Classification Using Inception V3: Performance and Insights
Lamba et al. SLRRT: Sign Language Recognition in Real Time
WO2023187730A1 (en) Conversational digital character blending and generation
CN116543306A (zh) 一种基于知识图谱的场景识别方法、终端设备及存储介质
KR20220118854A (ko) 딥러닝 기반 체형 이미지 편집 서비스 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination