CN114625904A - 一种识别图像中出现的唇妆产品的方法 - Google Patents

Abstract

本发明公开了一种从图像中识别唇妆产品的方法，该方法包括：检测图像上的嘴巴，确定嘴巴是否化妆，以及如果人的嘴巴是化妆的，从属于嘴巴的图像的至少一些像素中确定图像唇妆的颜色参数，计算来自图像的唇妆的颜色参数与多个参考唇妆产品中的至少一些的颜色参数之间的距离，以及如果输入图像的唇妆的颜色参数与参考唇妆产品之一之间的至少一个距离低于预定阈值，则识别为参考唇妆产品与图像上的唇妆产品最匹配。

Description

一种识别图像中出现的唇妆产品的方法

技术领域

本发明涉及一种用于从输入图像中识别唇妆产品以推荐相应唇妆产品的方法和系统。

背景技术

当客户愿意选择唇妆产品时，可能很难从散装产品的颜色或产品包装上显示的颜色来确定产品涂抹在唇部后的效果。事实上，一旦涂抹在皮肤上，产品的颜色和质地可能会有所不同。

相反，当人们看到一个人带着唇妆产品的图像时，一旦将唇妆产品涂抹在嘴唇上，该人很容易看到唇妆产品的外观。如果唇妆产品符合这个人的喜好，他或她可能愿意找到相应的唇妆产品并购买。然而，由于上述产品在唇部的外观与散装产品或其包装的外观之间的差异，找到匹配的产品可能并不容易。

因此，需要一种用于从图像确定唇妆产品的解决方案。

已经提出了用于基于用户的肤色确定适合用户的粉底的解决方案。然而，这些解决方案不适用于唇妆产品的选择，因为唇妆产品在嘴唇上的分析更复杂，而且口红在质地方面具有不适用于粉底的特殊性。

从EP 3 447 726中还已知一种图像分析方法，其中获取口红的颜色并将其与参考颜色进行比较，但是执行该分析仅是为了帮助人化妆。

因此，以上公开的方法都没有提供对该问题的解决方案。

发明内容

本发明的目的是通过提供一种自动识别唇妆产品的方法来克服现有技术的缺点。特别地，本发明的目的是在参考唇妆产品的数据库中识别与图像上可见的唇妆产品最佳对应的产品。

本发明的另一个目的是确保所选择的参考产品不仅与图像上可见的唇妆产品最接近匹配，而且与所述唇妆产品足够相似以与顾客相关。

为此，公开了一种用于从输入图像识别唇妆产品的方法，该方法由系统实施，该系统包括计算机和存储器，用于存储多个参考唇妆产品中的每一个，标识符和颜色参数，该方法包括：

-检测输入图像上的人的嘴巴，

-确定嘴巴是否化妆，以及

-如果人的嘴巴是化妆的，

o从属于嘴巴的图像的至少一些像素中确定输入图像的唇妆的颜色参数，

o计算来自图像的唇妆的颜色参数与多个参考唇妆产品中的至少一些的颜色参数之间的距离，以及

o如果输入图像的唇妆的颜色参数与参考唇妆产品之一之间的至少一个距离低于预定阈值，则识别参考唇妆产品与图像上的唇妆产品最匹配。

在实施例中，确定嘴巴是否化妆包括实施在多个嘴部图像上训练并被配置为确定唇部化妆产品的存在或不存在的二元分类模型。

在实施例中，识别与图像上的唇妆产品最匹配的参考唇妆产品包括实施在学习数据集上训练的分类模型，该学习数据集包括对于每个参考唇妆产品，佩戴所述参考唇妆产品的多个人工生成的面部图像。

在实施例中，该方法还包括确定图像的唇妆产品的质地，以及计算图像的唇妆产品的颜色参数与参考唇妆的颜色参数之间的距离的步骤，该步骤仅针对与图像的唇妆产品具有相同质地的参考唇妆产品执行。

在这种情况下，确定唇妆产品的质地和确定图像上的嘴巴是否化妆的步骤可以通过实施训练模型同时执行，该模型被配置为从表示面部的输入图像输出从多个类别中选择的类别，包括没有唇妆产品和多个唇妆产品的质地。

在实施例中，确定输入图像的唇妆的颜色参数包括：

-选择属于嘴巴的输入图像的像素集，

-从像素集中移除黑色像素和白色像素，

-在像素集的颜色参数上使用单个集群实施k均值算法，并将唇妆的颜色参数确定为像素集的颜色参数的质心。

在实施例中，对于每个参考唇妆产品，通过以下方式获得参考唇妆产品的颜色参数：

-在包括多个面部图像的一组面部上执行所述唇妆参考产品的虚拟试穿，

-对于每个获得的图像，

o选择属于嘴巴的像素集，

o从像素集中移除黑色像素和白色像素，

o在像素集的颜色参数上使用单个集群实施k均值算法，从而输出质心，以及

将参考唇妆产品的颜色参数确定为包括每个获得的图像的质心的颜色参数的集合，以及

计算来自图像的唇妆的颜色参数与多个参考唇妆产品中的至少一些的颜色参数之间的距离包括，对于计算距离的每个参考唇妆产品，计算来自图像的唇妆产品的颜色参数与为每个获得的图像获得的每个质心的颜色参数之间的距离。

在实施例中，该方法还包括在确定输入图像的唇妆产品的颜色参数之前对输入图像进行颜色校正的步骤。

在实施例中，该方法由进一步包括广告数据库的系统实施，该广告数据库包括与各个参考唇妆产品相关联的多个广告图像，其中，该方法包括预备步骤：确定输入图像是否对应于包含在广告数据库中的广告图像，如果是，则将输入图像上的唇妆产品识别为与广告图像相关联的参考唇妆产品。

在这种情况下，确定输入图像是否对应于广告数据库可以通过实施在学习数据库上训练的机器学习算法来执行的，该学习数据库包括广告数据库的广告图像，以及对于每个广告图像，通过对所述广告图像实施至少一个变换而从广告图像人工生成的一组附加图像。

对每个广告图像执行的用于生成附加图像的变换可以是以下之一或组合：

-几何变形，

-修改背景层，

-画面失真，

-添加阴影或太阳耀斑，

-颜色偏差。

在实施例中，该方法包括从用户终端接收输入图像的预备步骤，并且还包括，一旦与图像的唇妆产品对应的参考唇妆产品被确定，则向用户终端发送包括参考唇妆产品的标识的返回消息。

在实施例中，返回消息还包括适合访问销售所述参考唇妆产品的电子商店和/或用于虚拟试用所述参考唇妆产品的虚拟试穿应用程序的连接信息。

根据另一个目的，公开了一种唇妆识别系统，包括计算机和存储器，用于存储多个参考唇妆产品中的每一个，标识符和颜色参数，该唇妆识别系统被配置为用于实施根据上面所描述的方法。

根据另一个目的，公开了一种唇妆产品的身份识别请求方法，由包括计算机和摄像头的用户终端实施，该方法包括：

-获取图像，

-向唇妆识别系统发送获取的图像和识别出现在获取的图像上的唇妆产品的请求，以及

-响应所述请求，接收以下之一：

o出现在图像上的唇妆产品的指示，

o在图像中未发现唇妆产品的指示，或

o没有识别出相应的唇妆产品的指示。

根据另一个目的，公开了一种用户终端，包括计算机和摄像头，用于实施上述请求识别的方法。

还公开了一种包括代码指令的计算机程序产品，当它由计算机执行时，用于实施上述公开的任何方法。

以上公开的方法能够在参考唇妆产品的数据库中识别与图像上可见的唇妆产品最佳对应的产品。该方法还能够确定唇妆产品是否在图像上实际可见，以便在输入图像显示未化妆的嘴巴时不提供任何产品参考。

此外，通过将图像上可见产品的色度参数与参考唇妆产品的色度参数之间的距离与确定的阈值进行比较，该方法确保仅推荐与目标化妆品足够接近的参考产品。

在下文中，“目标化妆产品”可用于指定在处理图像或输入图像上可见的唇妆产品。

如果目标化妆产品离参考产品太远，则无法识别参考产品。因此，客户不会因为接收到与图像中显示的产品不完全对应的所谓“匹配”参考唇妆产品而感到失望。

附图说明

本发明的其他特征和优点将从以下以非限制性示例的方式，以及参考附图的详细描述中变得显而易见，其中：

-图1示意性地表示根据实施例的用于从输入图像识别唇妆产品的方法的主要步骤。

-图2示意性地表示根据另一个实施例的用于从输入图像识别唇妆产品的方法的主要步骤。

-图3示意性地表示用于识别唇妆产品的系统。

-图4a至4d表示输入图像的初步处理的示例。

-图5a示出了可以在输入图像上实现的示例性变换，以便为被配置为从输入图像检测广告的模型构建学习数据库。

-图5b示出了用于训练分类器的一组生成图像的示例，该分类器被配置为确定输入图像是否对应于广告图像。

-图6示意性地表示了质地分类器的示例。

-图7表示嘴巴像素的选择以确定输入图像上可见的唇妆产品的颜色参数。

-图8表示多种唇妆产品的颜色参数的图示。

具体实施方式

现在将描述用于从输入图像识别唇妆产品的方法。

参考图3，该方法可以由唇妆识别系统1实施，该系统包括计算机10和存储器11。计算机可以是任何合适种类的处理设备，包括一个或多个计算机处理单元CPU、一个或多个图形处理单元GPU、微处理器、控制器、微控制器等。

存储器11存储可由计算机10执行以实施唇妆产品识别方法的代码指令。存储器11还可以存储参考唇妆产品的数据库，对于每个参考唇妆产品，该数据库至少包括所述产品的标识符和颜色参数。对于每个参考唇妆产品，数据库还可以存储所述产品出现在其中的广告图像列表。存储器11还可以存储可以在唇妆识别方法的实施期间执行的多个经过训练的机器学习模型，如下文将更详细地描述的。

在其他实施例中，所述数据库可以存储在与系统1的存储器11不同的存储器中。例如，它可以存储在系统1可以通过电信网络访问的远程服务器中。

在任何情况下，系统1包括用于连接到电信网络并使系统1能够从多个用户的个人终端2接收消息并向其发送消息的接口12。用户的个人终端2可以是例如移动电话或数字平板电脑，其至少包括处理器和存储器、摄像头以及用于通过例如无线接入网络(例如GSM、UMTS、LTE、3G、4G、5G等类型的移动网络)连接到电信网络的接口。

参考图1和图2，现在将公开用于在图像上识别唇妆产品的方法的两个示例性实施例。

典型的情况是用户看到代表佩戴用户感兴趣的唇妆产品的人的图片。用户可以使用其个人终端2获取该图片的图像并将获取的图像发送到用于识别所显示的唇妆产品的系统1。为此，用户可以使用在其个人终端上下载的专用应用程序，或者将图片上传到专用网站上。

系统1在步骤100处接收输入图像，其对应于用户获取的图像。在其他实施例中，输入图像100可以由系统1直接获取，这意味着它是执行输入图像的获取和图像上可见的唇妆产品的识别的同一设备。在这种情况下，例如系统1和用户终端2可以形成单个设备。

在实施例中，系统1还在图像上实施面部检测算法以在执行该方法的后续步骤之前检查面部在输入图像中确实可见。

在一些实施例中，系统1包括广告数据库，该广告数据库包括与各个参考唇妆产品相关联的多个广告图像，并且该方法可以包括检测输入图像是否对应于广告数据库的广告的步骤200。如果是，则出现在输入图像上的唇妆产品可以立即被识别为与广告相关联的参考唇妆产品。系统1然后可以向用户提供识别所述参考唇妆产品的消息250并且还可以显示相应的广告图像。这样，如果用户获得了他在街上、杂志或互联网上找到的广告图片，他可以立即识别出该广告中使用的唇妆产品。

该检测是通过实施机器学习算法来执行的，该算法被配置为确定输入图像是否对应于广告数据库的广告图像。

然而，广告数据库可能没有足够的图像来有效地训练机器学习算法。此外，用户可能会在各种条件下获取广告的图像，包括各种光照条件、各种视角等，并且机器学习算法必须对这种变化的获取条件具有鲁棒性。

为了克服这些问题，所述机器学习算法在专用数据库上进行训练，该数据库除了包括广告数据库的广告图像之外，还包括通过对所述广告图像实施至少一种变换而从所述广告图像人工生成的多个图像。

在实施例中，选择对广告图像实施的变换以模仿用户对输入图像的各种获取条件。

初始广告图像的每次变换可以包括以下一种或多种：

-至少一个几何变换，包括例如旋转、模拟透视或裁剪初始广告图像，

-修改背景层，通过减少图像与背景的比例，并用统一颜色或从背景图像库中选择的随机图像替换背景，例如风景、街道、车辆、家具的图像等等。

-通过在确定的颜色通道上添加颜色蒙版层和/或颜色抖动来改变初始广告图像的颜色。

-模拟阴影或太阳耀斑，

-模拟出现在计算机或手机屏幕或电视屏幕画面上的画面失真条纹(莫尔效应)，其是出现在计算机屏幕画面上的线条集合。可以通过在广告图像上模拟网格的出现并对所述网格进行弹性变形来模拟所述失真。

在实施例中，对于每个初始广告图像，通过实施这些变换生成至少一百个、优选地至少数百个图像。

在实施例中，可以根据固定概率实施每种类型的变换，并且根据与每个变换相关联的概率自动生成从初始广告图像生成的图像。参考图5a，示出了树的非限制性和示意性示例，其示出了多个适用的变换及其相关联的概率。此外，每个变换的参数也可以在预定义的范围(例如旋转角度、裁剪百分比等)中随机选择。

参考图5b，示出了从初始广告自动生成的图像的一些示例。

因此，可以获得用于训练机器学习算法的数据库，该算法被配置为接收输入图像作为输入并输出：

-在输入图像内检测到的广告图像的标识，和/或与所述广告图像相对应的参考唇妆产品的标识符，或，

-指示输入图像不对应于广告数据库的任何广告图像的输出。

所述机器学习算法例如可以是卷积神经网络(CNN)，例如resnet或mobilenet类型。对于这种类型的网络，resnet或mobilenet结构的最后一层可能会被全连接层代替。可选地，还可以添加Soft max层以计算所有输出的概率。然后可以将最高概率与确定的阈值进行比较以确保概率足够高以有效地对应于广告。如果最高概率不够高，则不会确定输入图像对应于广告。

如果在输入图像中检测广告并从所述广告中识别唇妆产品的步骤没有被实施，或者如果没有检测到广告，则该方法包括输入图像的预处理300，用于所述图像的后续处理。预处理的目的是提取图像中可见的包含人的嘴巴的部分。参考图4a至4d示出了这种预处理的示意性示例。输入图像的预处理300可以包括实施面部检测算法310，例如R.Shaoqing等人的文章中公开的基于区域的卷积神经网络的类型，其标题为“Faster R-CNN:TowardsReal-Time Object Detection with Region Proposal Networks”，发表于计算机视觉和模式识别，arXiv:1506.01497,2016，或a Viola-Jones对象检测算法，或技术人员已知的任何其他面部检测算法。

预处理300然后包括，参考图4a和4b，对面部的图像进行归一化320，使得出现在图像中的面部具有预定义的尺寸和预定义的取向。因此，在唇妆识别方法中处理的所有输入图像始终具有相同的尺寸和取向，这允许随后在图像上实施的算法表现出更高的性能并且需要更少的计算。面部的取向可以定义为在眼睛的两个角之间延伸的线与水平线之间形成的角度，优选地，在外眼角与水平线之间延伸的线形成的角度。

这种归一化可以通过手动或使用面部标志检测算法检测眼角并使用仿射旋转矩阵旋转图像来执行，该矩阵同时旋转所需角度的图像，并使图像达到确定的比例以达到目标尺寸。目标尺寸可以是图像上头部的目标宽度。

然后，预处理包括，如图4c所示，在图像上定位嘴唇330的边缘。该步骤可以通过在图像上实施面部标志检测算法来实现。例如，可以在以下出版物中公开的算法中选择面部标志检测算法：

-V.Kazemi等人，标题为“One Millisecond Face Alignment with an Ensembleof Regression Trees”发表于2014年IEEE计算机视觉和模式识别会议，Columbus，OH，2014，pp.1867-1874.doi:10.1109/CVPR.2014.241；

-R.Valle等人，标题为“A Deeply-initialized Coarse-to-fine Ensemble ofRegression Trees for Face Alignment”。

或者，如果在子步骤320中实施了用于定位眼角的面部标志检测算法，则可以通过将旋转应用于算法输出的嘴巴边缘的点标，在面部图像归一化后推断嘴巴边缘的点标的位置和用于归一化面部图像的仿射旋转矩阵的尺度参数。

然后在子步骤340期间对输入图像进行裁剪，其示例在图4c中示出，以仅保留输入图像中所示的嘴巴部分。然后可以调整裁剪部分的大小，以便为后续处理提供固定的尺寸。

因此，预处理300的结果是以人的嘴巴为中心的固定尺寸的图片。

唇妆产品识别然后包括旨在确定与出现在输入图像上的产品最接近的参考唇妆产品的步骤。

为此，可以对由预处理300产生的输入图像的一部分或更优选地对整个输入图像实施颜色校正400，以便具有关于人的整个面部的颜色信息。事实上，输入图像的获取条件可能会改变输入图像中颜色的呈现。这可能是由环境照明条件引起的，或者如果输入图像是杂志页面的图像，则可能是由杂志纸张的变化引起的。

颜色校正400可以例如包括扩展输入图像的每个颜色通道的颜色直方图。例如，如果图像的颜色通道是红色、绿色和蓝色，则每个像素在每个颜色通道中可以呈现0到255之间的值。颜色校正可以包括检测每个颜色通道中输入图像的像素的最小值和最大值(例如A和B，包括在0和255之间)，并且提供校正使得最小值A被0替换，最大值B被255替换，并且重新计算最初包含在A和B之间的所有值以保持相同的比例。例如，值C可以重新计算为C'＝C*255/(B-A)。

此外，色彩校正还可以包括将图像的比色域转换为HSV域，表示色调H、饱和度S和亮度L，并对像素的饱和度值进行相同的扩展，以尽可能地扩展饱和度通道。

在其他实施例中，可以实施其他颜色校正技术，包括基于机器学习的技术。例如，可以参考M.Afifi的出版物，“Semantic White Balance:Semantic Color ConsistancyUsing Convolutional Neural Network”,arXiv:1802.00153v5[cs.CV]，2019年5月31日。

该方法然后包括确定500输入图像上可见的嘴巴是否涂了唇妆的步骤。

在图1所示的实施例中，该步骤是通过实施二元分类器来执行的，该二元分类器被配置为接收输入图像作为输入，优选地在已经执行了预处理300和颜色校正400之后，并且输出涂了唇妆的指示或未涂唇妆的指示。

所述分类器可以是卷积神经网络(CNN)，例如适用于该用途的Resnet或Mobilenet网络。具体来说，可以使用Resnet网络，其中最后一层被移除并替换为具有两个输出的全连接层(分别对应于“有唇妆”或“无唇妆”)。

所述CNN可以通过在由至少数千张化妆或不化妆的嘴巴图像形成的学习数据库上的监督学习而被训练。用于训练的每个图像可以通过对初始面部图像实施与以上公开的相同的预处理300来获得。优选地，学习数据库包括大致相等比例的涂了唇妆的人的图像和不涂唇妆的人的图像。

在图2所示的替代实施例中，步骤500可以是确定在输入图像中可见的覆盖嘴巴的唇妆产品的质地的步骤，在多种质地中，包括没有唇妆产品和多种唇妆质地。例如，所述唇妆质地可能包括：

-哑光，

-明亮，

-光面。

如图6中示意性所示，质地确定可以使用分类器来实施，该分类器被配置为接收输入图像作为输入，优选地在已经执行了预处理300和颜色校正400之后，并且输出上面给出的多个质地中的口红的质地的指示，包括没有化妆。

所述分类器可以是CNN，如前所述，它可以是Resnet或Mobilenet网络，其中最后一层已被具有所需输出(每个质地一个输出)的全连接层替换。

该模型还可以通过监督学习进行训练，使用由至少数千张嘴巴图像(通过实施上述预处理300从面部图像获得)形成的学习数据库，并进行注释以便为每个嘴巴图像指示图像上可见的唇妆产品的质地，或指示没有唇妆。优选地，来自学习数据库的图像可以大致相同的比例表示所有可能的质地。

如果步骤500的结果是输入图像上可见的人没有化妆，则系统1可以向已经发送输入图像的用户发送通知550，通知在所述图像上没有唇妆。

在其他情况下，该方法然后包括确定出现在输入图像中的唇妆产品的颜色参数的步骤600。

参考图7，可以通过选择属于嘴巴的输入图像的像素集来确定这些颜色参数。为此，在预处理100期间指示嘴唇边缘的点标被重新使用并且属于嘴唇的像素被选择。这显示在图7的第二图像中。然后，从该子集中移除一系列白色像素和黑色像素，因为白色像素可以对应于牙齿或摄像头闪光灯的反射，而黑色像素可以对应于嘴唇的边缘。生成的像素集显示在图7的第三图像中。

然后在剩余像素集的颜色参数上实施具有单个集群的k均值算法。所述颜色参数可以在RGB比色域或CIE L*a*b*比色域中被表达。唇妆产品的颜色参数然后对应于像素集的颜色参数的质心的颜色参数，所述质心由k均值算法输出。

该方法然后可以包括计算700出现在输入图像中的唇妆的颜色参数与数据库的至少一些参考唇妆产品的颜色参数之间的距离，以确定数据库的至少一种参考唇妆产品与来自图像的唇妆的颜色参数的距离是否低于预定阈值。此步骤允许检查输入图像上的唇妆产品是否属于参考唇妆产品数据库中存在的一系列颜色，并且识别方法的结果不会输出与目标唇妆产品相距太远的参考唇妆产品。

例如，香奈儿唇妆产品数据库对应于香奈儿销售的唇妆产品集。该数据库不包含任何绿色唇妆产品。因此，如果获取表示涂有绿色口红的嘴巴的输入图像，则步骤600将得出来自香奈儿参考数据库的唇妆产品与绿色口红的颜色参数低于预定阈值的距离的指示，因此香奈儿参考数据库中没有唇妆产品对应于输入图像上可见的口红。

在步骤500包括确定唇妆产品的质地的方法的实施例中，步骤600可以仅对参考唇妆产品的子集实施，该参考唇妆产品具有与在步骤500期间针对输入图像中出现的化妆产品确定的质地相同的质地。

关于参考唇妆产品的颜色参数，这些参数可以是先前已知的每个参考唇妆产品的颜色描述。

然而，对于更相关的颜色参数，可以从涂有每个参考化妆产品的嘴巴的图像中提取颜色参数。所述图像可以通过获取每个实际涂抹参考化妆产品的人的图像获得，或者可以通过对多个面部图像对每个参考化妆产品进行虚拟试妆来生成。

其在这里包含在虚拟试妆的含义内，算法选择与人的嘴巴相对应的像素并用模拟化妆产品渲染的像素替换这些像素。

它还包含在虚拟试妆的含义内，深度学习生成模型的实施，例如GAN(生成对抗网络)或VAE(变分自动编码器)，被配置用于将化妆风格从一个图像转移到另一个图像。例如，可以参考H.Chang等人的出版物“Paired Cycle GAN:Asymmetric Style Transfer forApplying or Removing Makeup”，CVPR 2018，2018年6月。

在任何情况下，图像都经过步骤300的预处理和与上面参考图7公开的相同的像素选择过程。然后，对每个图像实施具有单个集群的第一k均值算法，并且算法输出的质心对应于相应图像的参考唇妆产品的颜色参数。

最终，每个参考唇妆产品由包括显示所述参考产品的应用的每个图像的质心的颜色参数的集合表示。相应地，如果使用N个图像来获取参考唇妆产品的颜色参数，则该产品将由N个点表示。

目标唇妆产品和参考产品的颜色参数之间的距离的计算因此包括计算目标唇妆产品的颜色参数与为代表参考唇妆产品的应用程序的每个图像获得的颜色参数之间的距离。对于上面给出的代表参考唇妆产品的N个图像的示例，计算了N个距离。

如果颜色参数在比色域中表示，例如RGB或CIEL*a*b*颜色空间，则距离可以计算为每个颜色分量之间差异的二次和。或者，可以实施诸如CIE DE2000或CIE 94之类的距离，因为这些距离更能代表人眼评估的颜色差异。

一旦计算出每个距离，确定对于至少一种参考化妆产品，目标唇妆产品与针对参考化妆产品获得的点之一之间的至少一个距离是否小于预定阈值。如果否，则唇妆识别系统1可以向用户返回消息750，指示没有找到与输入图像上可见的产品相对应的参考化妆品。

在实施例中，阈值可以如下确定。使用了展示各种颜色的嘴巴图像集合，包括在参考唇妆产品集合(蓝色、白色、绿色……)中没有呈现的颜色。对于每幅图像，根据上述描述计算嘴巴的颜色参数与参考产品颜色参数之间的距离，并为该集合的图像选择最小距离。然后，可以将阈值设置为在集合中未表示的颜色之间获得的最小距离。因此，所有显示在参考唇妆产品中没有呈现的颜色的图像都具有大于所述阈值的距离。

在另一种情况下，该方法然后包括步骤800，在参考唇妆产品数据库中识别与输入图像上可见的唇妆产品最佳对应的产品。

根据该步骤800的第一实施例，所识别的参考唇妆产品可以是颜色参数与输入图像上可见的唇妆产品的颜色参数具有最小距离的产品。如果该方法包括图像中唇妆产品的质地确定步骤，则可以优选地使用该实施例。实际上，在那种情况下，计算距离的数量可以减少到仅与目标产品具有相同质地的参考唇妆产品的数量。此外，在这种情况下，颜色和质地被确定，这为识别方法提供了良好的精度。

根据另一个实施例，可以使用分类模型来执行最佳匹配参考唇妆产品的识别，该分类模型被训练为直接输出针对每个化妆产品，对应于输入图像上可见的唇妆产品的概率。表现出最高概率的参考化妆产品被选择为与目标产品相对应的产品。

所述模型可以被配置为接收嘴巴图像(在预处理步骤100或更优选地颜色校正步骤400的输出处获得)作为输入并且输出参考产品数据库的所有参考化妆产品中被选择的一个。该模型可以是卷积神经网络，例如Resnet类型，其中最后一层被全连接层替换，该层的输出数量等于参考化妆品的数量。选择的参考化妆产品则是网络的最高输出值。

可选地，可以评估Soft max层，以便计算每个输出的概率。这可以用于例如将最高输出或多个输出与阈值概率进行比较，并且选择对应概率高于所述阈值的多个产品作为对应的参考唇妆产品。

可以在学习数据库上训练该模型，对于每个参考唇妆产品，该数据库包括涂有所述参考唇妆产品的多个面部图像。这些图像可以是涂有每个参考唇妆产品的人的实际图像，但在优选实施例中，它们可以是人工生成的图像。

可以通过对每个参考化妆产品进行虚拟试妆来生成人工生成的图像。在这里，虚拟试妆也被理解为包括使用生成式深度学习网络生成图像。

在这种情况下，不需要在步骤500中确定目标产品的质地，因为这种类型的模型可以直接输出最匹配的参考唇妆产品。然而，如果步骤500确实包括质地确定，则与目标产品对应的参考唇妆产品的选择包括在与目标产品具有相同质地的参考产品中选择表现出最高对应概率的产品，而不考虑其他参考产品的概率。

一旦识别出参考化妆产品，系统1可以在响应消息900中提供所述产品的指示。该响应消息还可以包括连接信息，例如超链接，适用于访问销售所述参考产品的电子商店。响应消息900还可以包括用于访问虚拟试穿应用程序的连接信息，以用于虚拟试妆所述参考唇妆产品。

如上所述，根据实施哪些步骤以及如何实施，可以以多种不同方式实施根据本公开的识别方法。

根据优选实施方式，实施步骤100、200、300和400。然后，通过使用仅输出输入图像上出现的嘴巴是否化妆的分类器来实现步骤500。然后，执行步骤600至800。步骤800的实施是上面公开的使用分类模型的实施，该分类模型被配置为识别与目标产品最相似的参考唇妆产品。

根据第二优选实施方式，实施步骤100至400。然后使用质地分类器实施步骤500。然后实施步骤600至800，并且通过在具有步骤500识别的质地的参考化妆产品中选择与出现在输入图像上的唇妆产品的颜色参数具有最小距离的参考化妆产品来执行步骤800的实施。

Claims (17)

1.一种从输入图像中识别唇妆产品的方法，所述方法由系统(1)实施，所述系统包括计算机(10)和存储器(11)，用于为多个参考唇妆产品中的每一个存储标识符和颜色参数，所述方法包括：

-检测所述输入图像上人的嘴巴(300)，

-确定所述嘴巴是否化妆(500)，以及

-如果人的所述嘴巴是化妆的，

o从属于所述嘴巴的图像的至少一些像素中确定(600)所述输入图像的唇妆的颜色参数，

o计算来自所述图像的唇妆的颜色参数与所述多个参考唇妆产品中的至少一些的颜色参数之间的距离(700)，以及

o如果所述输入图像的唇妆的颜色参数与所述参考唇妆产品之一之间的至少一个距离低于预定阈值，则识别(800)为参考唇妆产品与所述图像上的唇妆产品最匹配。

2.根据权利要求1所述的识别唇妆产品的方法，其特征在于，识别(800)与所述图像上的唇妆产品最匹配的参考唇妆产品包括实施分类模型，所述分类模型被配置为接收嘴巴图像作为输入并输出所有所述参考唇妆产品中选择的一个。

3.根据权利要求1所述的识别唇妆产品的方法，其特征在于，确定(500)所述嘴巴是否化妆，包括实施二元分类模型，所述二元分类模型在多个嘴巴图像上训练并且被配置为确定唇妆产品的存在或不存在。

4.根据权利要求1所述的识别唇妆产品的方法，其特征在于，识别(800)与所述图像上的唇妆产品最匹配的参考唇妆产品，包括实施在学习数据集上训练的分类模型，所述学习数据集包括对于每个参考唇妆产品，佩戴所述参考唇妆产品的多个人工生成的面部图像。

5.根据权利要求1所述的识别唇妆产品的方法，进一步包括确定(500)所述图像的唇妆产品的质地，以及计算所述图像的唇妆产品的颜色参数与所述参考唇妆产品的颜色参数之间的距离(700)的步骤，所述步骤仅针对与所述图像的唇妆产品具有相同质地的参考唇妆产品执行。

6.根据权利要求5所述的识别唇妆产品的方法，其特征在于，确定所述唇妆产品的质地和确定所述图像上的嘴巴是否化妆的步骤是通过实施训练模型同时执行的，所述模型被配置为从表示面部的输入图像输出从多个类别中选择的类别，多个类别包括没有唇妆产品和多个唇妆产品的质地。

7.根据权利要求1所述的识别唇妆产品的方法，其特征在于，确定所述输入图像的唇妆的颜色参数(600)包括：

-选择属于所述嘴巴的输入图像的像素集，

-从像素集中移除黑色像素和白色像素，

-在所述像素集的颜色参数上使用单个集群实施k均值算法，并将所述唇妆的颜色参数确定为所述像素集的颜色参数的质心。

8.根据权利要求1所述的识别唇妆产品的方法，其特征在于，对于每个参考唇妆产品，通过以下方式获得所述参考唇妆产品的颜色参数：

-在包括多个面部图像的一组面部上执行所述唇妆参考产品的虚拟试穿，

-对于每个获得的图像，

o选择属于所述嘴巴的像素集，

o从所述像素集中移除黑色像素和白色像素，

o在所述像素集的颜色参数上使用单个集群实施k均值算法，从而输出质心，以及

将所述参考唇妆产品的颜色参数确定为包括每个获得的图像的质心的颜色参数的集合，以及

计算来自所述图像的唇妆的颜色参数与所述多个参考唇妆产品中的至少一些的颜色参数之间的距离(700)，包括为计算距离的每个参考唇妆产品计算来自所述图像的唇妆产品的颜色参数与为每个获得的图像获得的每个质心的颜色参数之间的距离。

9.根据权利要求1所述的识别唇妆产品的方法，进一步包括在确定所述输入图像的唇妆产品的颜色参数之前，对所述输入图像进行颜色校正(400)的步骤。

10.根据权利要求1所述的识别唇妆产品的方法，由系统(1)实施，所述系统(1)进一步包括广告数据库，所述广告数据库包括与各个参考唇妆产品相关联的多个广告图像，其中，所述方法包括预备步骤：确定(200)所述输入图像是否对应于包含在广告数据库中的广告图像，如果是，则将所述输入图像上的唇妆产品识别为与所述广告图像相关联的参考唇妆产品。

11.根据前述权利要求所述的识别唇妆产品的方法，其特征在于，确定(200)输入图像是否对应于广告数据库是通过实施在学习数据库上训练的机器学习算法来执行的，所述学习数据库包括广告数据库的广告图像，以及对于每个广告图像，通过对所述广告图像实施至少一个变换而从所述广告图像人工生成的一组附加图像。

12.根据前述权利要求所述的识别唇妆产品的方法，其特征在于，为生成附加图像而对每个广告图像执行的变换是以下之一或组合：

-几何变形，

-修改背景层，

-画面失真，

-添加阴影或太阳耀斑，

-颜色偏差。

13.根据权利要求1所述的识别唇妆产品的方法，包括从用户终端(2)接收所述输入图像的预备步骤(100)，并且进一步包括，一旦与所述图像的唇妆产品对应的参考唇妆产品被确定，则向所述用户终端发送(800)包括所述参考唇妆产品的标识的返回消息。

14.根据权利要求13所述的识别唇妆产品的方法，其特征在于，所述返回消息进一步包括适合访问销售所述参考唇妆产品的电子商店和/或用于虚拟试用所述参考唇妆产品的虚拟试穿应用程序的连接信息。

15.一种唇妆识别系统(1),包括计算机(10)和存储器(11)，用于为多个参考唇妆产品中的每一个存储标识符和颜色参数，所述唇妆识别系统被配置为用于实施根据权利要求1至14中任一项所述的方法。

16.一种请求识别唇妆产品的方法，由包括计算机和摄像头的用户终端(2)和根据前述权利要求所述的唇妆识别系统实施，所述方法包括：

-所述用户终端(2)获取图像，

-所述用户终端(2)向所述唇妆识别系统(1)发送获取的图像和识别出现在所述获取的图像上的唇妆产品的请求，

-所述唇妆识别系统(1)在所述图像上实施根据权利要求1至14中任一项所述的方法，以及

-响应于所述请求，所述用户终端(2)从所述唇妆识别系统(1)接收以下之一：

o出现在所述图像上的唇妆产品的指示(250、800)，

o在所述图像中未发现唇妆产品的指示(550)，或

o没有识别出相应的唇妆产品的指示(650)。

17.一种计算机程序产品，其包括用于在由计算机执行时实施根据权利要求1-14中任一项所述的方法的代码指令。

Images