CN116648728A - 用于确定面部皮肤颜色的方法和对应的系统 - Google Patents

Abstract

一种用于确定用户关注区域的皮肤颜色的方法包括：‑从用户计算设备(APP)的图像库(LIB)导入包括该用户关注区域的表示的至少一个图像(IMk)；‑用机器学习模型(AI_TS)对所述至少一个图像(IMk)执行处理(TS)，该机器学习模型适合于为每个导入图像(IMk)提供代表所述至少一个导入图像(IMk)中存在的该关注区域的皮肤颜色的数值(ClrEstm_k)；‑基于每个导入图像的所述一个或多个数值(ClrEstm_k)对该关注区域的皮肤颜色执行评估(EVAL)。

Description

用于确定面部皮肤颜色的方法和对应的系统

本发明的实施方式和实施例涉及例如但不限于一种用于确定面部皮肤颜色的方法以及一种对应的系统，特别是在推荐化妆品产品的背景下。

线上购买产品(特别是经由移动计算设备)是消费者浏览和获得产品的一种实用方式。存在各种技术用于根据对线上买家的浏览历史、购买历史、评论、产品评分等进行分析，来向线上买家提供他们可能关注的产品推荐。

然而，对于某些类型的产品，当面的互动很难被线上体验所取代。例如，如粉底或其他化妆品产品等美容产品很难在线上搜索，并且也很难以自动化的方式推荐它们。这主要是由于以下事实：很难以自动化方式对作为最相关推荐依据的消费者特性(即，特别是面部皮肤颜色)进行估计。即使捕获了消费者的图像或视频，由于不受控制的环境对图像处理的技术限制，这种图像或视频通常也不能用于可靠地确定皮肤颜色。各个地点的照明条件不一致将导致在不同位置的图像或视频中再现不同的颜色，因此，所确定的皮肤颜色将根据照明条件而不同。

于2020年7月9日提交并要求于2019年7月18日提交的临时专利申请US 16/516080的优先权的专利申请PCT/US 2020/041350描述了允许克服这些技术限制的技术，以便无论在什么样的照明条件下都可以准确估计图像中的皮肤颜色。

特别地，专利申请PCT/US 2020/041350描述了一种使用至少一个机器学习模型来生成对皮肤颜色的自动估计的系统。用户具有配备有摄影传感器的移动计算设备，并用该摄影传感器捕获其面部的一个或多个图像。该移动计算设备将该一个或多个图像传输到用于确定皮肤颜色的设备，该设备使用一个或多个机器学习模型来基于该一个或多个图像确定皮肤颜色。

例如，用户可以通过录制视频来捕获多个图像而不是一个单独的图像，因此由于在捕获视频期间移动移动计算设备而修改照明条件。一旦提供了不同照明条件下的多个图像，就可以使用机器学习模型生成对皮肤颜色的多种确定，然后可以对这些确定进行平均或以其他方式进行组合以提高确定的准确性。

上述专利申请PCT/US 2020/041350中总结的技术存在以下缺陷，即，用户必须亲自执行图像捕获，这在某些情况下可能很麻烦或者甚至不可能。

因此，期望能够减少用户在基于具有不同的且原则上未知的照明条件的图像来准确确定其皮肤颜色时所需的努力。

在这方面，提出了一种用于确定用户关注区域(例如用户面部)的皮肤颜色的方法，该方法包括：

-从用户计算设备的图像库导入包括该用户关注区域的表示的至少一个图像；

-用机器学习模型对所述至少一个图像执行处理，该机器学习模型适合于为每个导入图像提供代表所述至少一个导入图像中存在的该关注区域的皮肤颜色的数值；

-基于每个导入图像的所述一个或多个数值对该关注区域的皮肤颜色执行评估。

例如，用户计算设备可以是智能电话、平板计算机、个人计算机、智能手表或能够拥有图像库的任何其他计算设备。

常规地，“图像库”意指在用户计算设备中提供的目录，该目录可以访问存储在用户计算设备的存储器中或存储在可从用户计算设备访问的远程存储器(例如，“云”类型的存储器)中的所有或几乎所有的图像和照片。

所述至少一个图像优选地是用用户计算设备的摄影传感器拍摄的照片，并且可选地是用另一个设备拍摄的并导入到该用户计算设备的照片。

已经注意到，令人惊讶和意外的是，当用户提供源自图像库的多个图像时，为上述专利申请PCT/US 2020/041350总结的技术而预先训练的机器学习模型取得了甚至更好的结果，即，更准确且更真实的结果。

具体地，事实证明，尽管先前被训练为处理那些照明条件在视频捕获期间因移动计算设备的移动而被修改的图像，但当处理照明条件更加多样且多变的图像(即，比如可能存在于用户计算设备的图像库中的图像)时，机器学习模型的表现甚至更好。

尽管本发明特别有利且有益地适用于确定面部皮肤颜色，但它也可以适用于确定另一个关注区域(例如身体的另一个部位)的皮肤颜色，特别是为了基于对该关注区域的皮肤颜色的所述评估来对所述关注区域应用至少一种化妆品产品。

根据一种实施方式的模式，所述至少一个图像包括对相应图像的创建加盖时间戳的元数据(即，例如，捕获照片的日期和时间)；并且对皮肤颜色的评估是基于根据当前日期和相应时间戳元数据对每个图像的数值进行加权来执行的。

加权可以对应于根据拍摄照片的日期来为图像赋予置信指数，以便例如在评估皮肤颜色时，对太旧的照片给予较少的权重或者对最新的照片给予较多的权重。

根据一种实施方式的模式，根据当前日期和相应时间戳元数据对每个图像的数值进行加权，以便考虑到在一年四季中皮肤颜色的色调变化。

具体来说，皮肤颜色的色调变化(或者换句话说，晒黑)在某些人身上可能幅度很大，并且自然地(即，忽略人工晒黑方法)与一年中的季节密切相关。因此，可以例如提供这种实施方式的模式以便对在与当前日期的季节相反的季节中拍摄的照片给予较少的权重，而对在与当前日期的季节相同的季节中拍摄的照片给予较多的权重。

有利地，考虑到一年四季中皮肤颜色的色调变化而执行加权，从而使得对皮肤颜色的所述评估提供对皮肤颜色的预测，比如在当前日期之后的皮肤颜色。

例如，可以提供这种实施方式的模式以便对在当前日期的季节之前的季节中拍摄的照片给予较少的权重，而对在当前日期的季节之后的季节中拍摄的照片给予较多的权重。

根据一种实施方式的模式，所述至少一个图像包括对相应图像的创建加盖时间戳的元数据和/或对相应图像的创建进行地理定位的元数据(即，例如照片的捕获地点的GPS坐标)；并且该处理包括预处理，该预处理包括根据相应元数据对每个图像进行色温校正。

具体地，时间戳元数据和地理定位元数据使得可以猜测照明条件，以及要进行补偿的相应色温。例如，时间戳元数据可以指示照片是在白天还是在晚上拍摄的，而地理定位元数据可以进一步指示照片是在室内空间还是在室外空间拍摄的。

有利地，根据与相应元数据相对应的天气档案数据，进一步执行对每个图像的色温校正，从而允许估计创建相应图像时的照明条件的色温。

天气档案数据尤其可以在给定日期和给定地点的情况下肯定地知道白昼和夜晚的时长、日出和日落的时期以及日照条件。这使得关于照明条件的猜测的准确性得以提高，并且对色温的校正也得以细化。

根据一种实施方式的模式(在该模式中，用户关注区域为用户的面部)，导入进一步包括获得表示用户的参考面部的参考图像，并且处理包括预处理，该预处理包括经由面部识别来选择从用户计算设备的图像库中导入的所述至少一个图像中的参考面部。

这使得可以避免由于在处理过程中考虑了不同人的不同面部而破坏了对皮肤颜色的评估，例如在错误地导入图像的情况下或者在图像包含多个面部的情况下。

例如，获得该参考图像包括对用户的单独关注区域进行摄影捕获，或由用户在所述图像库的图像中识别出表示该单独关注区域的图像。

根据一种实施方式，机器学习模型是预先训练的卷积神经网络。

根据一种实施方式，该方法进一步包括基于对该关注区域的皮肤颜色的所述评估来推荐至少一种化妆品产品。

还提供了一种用于确定用户关注区域的皮肤颜色的系统，该系统包括通信装置，该通信装置适合于与用户计算设备进行通信，并且被配置为从该用户计算设备的图像库中导入包含该用户关注区域的表示的至少一个图像。该系统包括处理装置，该处理装置被配置为：用机器学习模型对所述至少一个图像执行处理，该机器学习模型适合于为每个导入图像提供代表所述至少一个导入图像中存在的该关注区域的皮肤颜色的数值；并且还基于每个导入图像的所述一个或多个数值对该关注区域的皮肤颜色执行评估。

还提供了一种系统，该系统包括：通信装置，该通信装置适合于与用户计算设备进行通信，并且被配置为实施如上定义的方法的导入步骤；以及处理装置，该处理装置被配置为实施如上定义的方法的执行处理和评估的步骤。

根据一种实施例模式，该系统进一步包括用户计算设备，该用户计算设备被配置为向通信装置传送图像库的所述至少一个图像。

根据一种实施例模式，该通信装置适合于经由电信网络(比如互联网)与用户计算设备进行通信。

还提供了一种计算机程序，包括指令，当该程序由计算机执行时，这些指令使得该计算机实施如上定义的方法。

还提供了一种计算机可读介质，包括指令，当这些指令由计算机执行时使得该计算机实施如上定义的方法。

通过研读实施例和实施方式的完全非限制性模式的详细描述以及所附附图，本发明的其他优点和特征将变得显而易见，在附图中：

[图1]

[图2]

[图3]展示了本发明的实施例和实施方式的模式。

图1示出了系统SYS的一个示例，该系统包括处理装置PU，该处理装置被配置为利用机器学习模型AI_TS对所述至少一个图像IMi、IMj、IMk执行处理TS，并评估EVAL一个或多个图像IMi、IMj、IMk中存在的用户关注区域的皮肤颜色。

为了方便起见，并且作为非限制性任意选择的结果，针对由“所述至少一个图像”组成的集合是由多个图像组成的情况进行了描述。在由“所述至少一个图像”组成的集合是由单个图像组成的情况下的实施方式在各个方面都是类似的。

出于相同的原因，也针对用户关注区域为用户的面部这一非限制性情况进行了描述。

机器学习模型被配置为并且被训练为：为每个图像IMk提供代表每个图像IMk中存在的面部的皮肤颜色的数值ClrEstm_k。

用于执行评估EVAL的装置被配置为基于每个图像的数值ClrEstm_k来评估面部皮肤颜色。例如，评估可以包括将值ClrEstm_k进行组合的计算，比如计算平均值或中位数，无论是否加权。

通信装置COM适合于与用户计算设备APP进行通信，并且被配置为从用户计算设备APP的图像库LIB将所述图像IMi、IMj、IMk接收到IN_DAT。

特别地，用户计算设备APP可以属于系统SYS，因为该用户计算设备可以例如经由软件、经由应用程序或网站的执行而被特别地配置为与处理装置PU协作，以便在处理装置PU将图像IMi、IMj、IMk导入到IN_DAT期间传输这些图像。

用户计算设备APP和通信装置COM可以使用任何合适的通信技术(比如无线通信技术，例如Wi-Fi、Wi-MAX、蓝牙、2G、3G、4G、5G和LTE，或者有线通信技术，例如以太网、火线和USB)进行通信。特别地，用户计算设备和用于确定皮肤颜色的设备可以至少部分地经由互联网进行通信。

用户计算设备APP可以例如是智能电话、平板计算机、个人计算机、智能手表或能够拥有图像库LIB的任何其他计算设备。

常规地，图像库LIB是在用户计算设备APP的界面中提供的目录，该目录可以访问存储在用户计算设备APP的内部非易失性存储器INT_NVM中的所有或几乎所有图像和照片IM1-IM4、IMk。库LIB中的图像和照片IM1-IM4、IMk也可以或替代性地存储在可从用户计算设备APP访问的服务器CLD的远程存储器中(例如，使用广为人知的表达，存储在“云”中)。

所述至少一个图像IM1-IM4、IMk优选地为用用户计算设备APP的摄影传感器CAM拍摄的面部照片，或者为用另一设备拍摄的并导入到用户计算设备APP的图像库LIB中的面部照片。

图像库IMk中的图像IM1-IM4、IMk具有数字图像数据格式，比如JPEG格式(JPEG代表联合图片专家组)、PNG格式(PNG代表便携式网络图形)、GIFF格式(GIFF代表图形交换格式)、TIFF格式(TIFF代表标签图像文件格式)或任何其他图像格式。

有利地，图像库IMk中的每个图像IM1-IM4、IMk进一步包括提供关于图像的各种信息的元数据MTD1-MTD4、MTDk。

特别地，库LIB中的图像IM1-IM4、IMk中的至少某些图像包括提供关于相应图像的创建日期和时间的信息的时间戳元数据，和/或提供关于相应图像的创建地点的信息的地理定位元数据。

正如下面参考图2将看到的，时间戳元数据和/或地理定位元数据可以使得由机器学习模型AI_TS进行的处理以及对皮肤颜色的评估EVAL得以细化和改进。

通过机器学习模型AI_TS如此获得的皮肤颜色是逼真的，并且随后可以用于推荐与每个用户的皮肤颜色精确相关的一种或多种化妆品产品，特别是粉底、粉饼、粉底和粉饼的变体、以及与用户皮肤颜色相配或适合于用户皮肤颜色的化妆品产品。

现在请参考图2。

图2展示了用于确定面部皮肤颜色的方法的一个示例，该方法尤其是通过参考图1描述的系统的处理装置PU来实施。

该方法包括以比如参考图1所述的方式将来自用户计算设备的图像库LIB的至少一个图像IMk导入到IN_DAT。

本示例中实施的对所述至少一个图像IMk的处理TS包括进行预处理P_TS和利用机器学习模型AI_TS进行处理，该机器学习模型被配置为提供代表所述至少一个图像IMk中存在的面部的皮肤颜色的数值ClrEstm_k。

预处理P_TS包括将图像IMk转换为适合于机器学习模型AI_TS的格式。特别地，预处理P_TS适合于经由本身已知的常规面部检测机制FceDet来分离出图像中包含面部的一个或多个部分，并适合于将图像中包含面部的部分居中并缩放Cntr+Scl，以便向机器学习模型提供标准化数据。

简而言之，居中Cntr可以包括对图像进行裁剪以便只保留包含面部的部分，而缩放Scl包括对经裁剪图像进行放大或缩小以及对经裁剪图像的像素进行下采样或过采样，以便提供具有设定大小和设定分辨率的经裁剪图像。

有利地，预处理进一步包括经由本身已知的常规面部识别机制FceReco选择包含相同面部的经裁剪图像。

面部识别FceReco识别并检测目标面部，即在参考图像IMref中提供的参考面部。有利地，参考面部在参考图像IMref中是单独的，即参考面部是参考图像IMref中唯一存在的面部。

参考图像IMref可以例如从用户计算设备的图像库LIB导入，并被用户识别为参考图像IMref。替代性地，参考图像IMref可以由用户通过用户计算设备的摄影传感器(CAM)拍摄，并且有利的是其是自画像照片(通常称为“自拍”)PhtSlf，以便包括单独的用户面部作为参考面部。

如上文参考图1所述，图像库中的图像IMk有利地包括元数据MTDk。在这种情况下，预处理P_TS可以有利地包括对导入图像进行色温校正TempCorr，该校正是根据相应元数据MTDk建立的。

色温是本领域技术人员所熟知的量并且通常是以开尔文为单位进行衡量的，其通过与黑体热辐射的理论原理进行比较来表征光源。

有利地，根据如天气档案数据和地理数据等外部数据EXT_MTD，进一步执行对每个图像的色温校正，从而允许以与相应的元数据MTDk相对应地估计创建相应图像时的照明条件的色温。

具体地，时间戳元数据MTDk ts和地理定位元数据MTDk geoloc使得可以猜测照明条件，以及要进行补偿的相应色温。例如，时间戳元数据ts可以指示照片是在白天还是在晚上拍摄的，而地理定位元数据geoloc可以进一步指示照片是在室内空间还是在室外空间拍摄的。

天气档案数据尤其可以在给定日期和给定地点的情况下肯定地知道白昼和夜晚的时长、日出和日落的时期以及日照条件。这使得关于照明条件的猜测的准确性得以提高，并且对色温的校正也得以细化。

由预处理装置P_TS进行的色温校正TempCorr可以例如采用元数据MTDk可能满足的条件清单，而外部数据EXT_MTD可选地用所述元数据MTDk进行索引。

查找表可能允许根据满足或不满足哪些条件来选择特定的色温校正。

例如，在简单的可能条件中，可以提及“黎明”、“白昼”、“夜晚”、“黄昏”、“室内”、“室外”、“晴天”、“阴天”、“雨天”、“雪天”等。在这方面，可以想象和设想其他条件以及更复杂的条件。

例如，如果元数据MTDk反映“夜晚”和“室内”的条件，那么将可能进行色温校正以校正“室内照明”或“白炽灯”类型的照明。如果元数据MTDk反映“黄昏”、“室外”和“阳光”的条件，那么将可能进行色温校正以校正落日类型的照明。

色温校正TempCorr的机制与解拜耳(debayering)或去马赛克(demosaicing)技术相当，这种技术通常用于在存储图像之前单独重新平衡由摄影传感器捕获的RAW图像的RGB通道。

因此，色温校正TempCorr的机制有利地使用解拜耳矩阵或去马赛克矩阵，该矩阵的点是根据导入图像IMk中经由元数据MTDk评估的条件进行定制的。然后，将这些调整整合到静态图像文件中，该静态图像文件是通过假设图像中的一个元素的颜色始终是已知的(比如眼睛是白色的，或在较小的程度上牙齿是白色的)来验证的。

由此经过面部FceDet居中Cntr、缩放Scl、可选地经过选择FceReco并且可选地经过校正TempCorr的图像IMk被提供给机器学习模型AI_TS。

机器学习模型AI_TS计算代表每个图像IMk中存在的面部的皮肤颜色的数值ClrEstm_k。

可以例如经由以专利申请PCT/US 2020/041350中描述的方式或者如下文参考图3总结的方式预先训练的卷积神经网络来实施机器学习模型AI_TS。机器学习模型AI_TS也可以是前馈神经网络或循环神经网络。可以使用任何合适的训练技术，特别是如随机梯度下降、批量梯度下降和小批量梯度下降等梯度下降技术。

此外，机器学习模型AI_TS可能能够通过检测图像中反常的图像捕获条件(比如特别是不符合要求的图像捕获角度)来选择符合要求的图像ImSel。

对这种符合要求的图像的选择可以分两个阶段执行。首先，机器学习模型允许对满足的条件执行明确的测试(示例：面部朝向摄影传感器，图像中只有单个面部，图像中确实存在面部)。在该第一过滤阶段之后，使用质量评分wght1进行第二选择，该质量评分例如是在模型AI_TS的训练期间以弱监督的方式学习到的。质量评分wght1是纯统计学的，并且尤其是在训练期间被优化为提高模型AI_TS的准确性。

因此，机器学习模型AI_TS可以给每个结果指派第一权重wght1，尤其是允许丢弃反常的结果。

当机器学习模型AI_TS已经为每个图像IMk提供了数值ClrEstm_k时，基于所述数值ClrEstm_k和相应的第一权重wght1执行对面部皮肤颜色的评估EVAL。

例如，评估EVAL可以包括将值ClrEstm_k进行组合的计算，比如用第一权重wght1加权来计算平均值或中位数。

此外，可以有利地通过基于相应图像的元数据MTDk(特别是时间戳元数据ts)而获得的第二权重wght2来对估值进行加权，以便考虑到一年四季中皮肤颜色的色调变化，即皮肤的晒黑。

具体地，可以期望选择在与当前日期(即，使用所披露的技术确定面部皮肤颜色的日期)的季节相同的季节中拍摄的照片。

例如，可以使用较低值的第二权重wght2来降低其日期所处季节与当前日期的季节相反的图像的权重，而可以使用较高值的第二权重wght2来增加其日期所处季节与当前日期的季节相同的图像的权重。

有利地，可以确定第二权重wght2，从而使得对皮肤颜色的所述评估EVAL提供对皮肤颜色的预测，比如在当前日期之后的皮肤颜色。

例如，这可以通过对其日期所处的季节在当前日期的季节之前的图像给予较少的权重、而通过对其日期所处的季节在当前日期的季节之后的图像给予较多的权重来实现。

用光谱色度计(或“分光光度计”)测量皮肤颜色与季节的关系，揭示了夏季相对于冬季发生的平均肤色变化。这些测量结果使群体中的宏观变化得以确立，并被整合到评估EVAL的模型中以便确定所述第二权重wght2。

图3展示了对机器学习模型AI_TS进行训练TRN以便提供代表至少一个图像IMk中存在的面部的皮肤颜色的数值ClrEstm_k的实施方式的非限制性示例，如上文参考图1和图2所述。

训练可以由包括附加的训练装置TRN的处理装置PU实施，该训练装置尤其被配置为控制用于接收数据的装置IN_DAT、预处理装置P_TS、机器学习模型AI_TS和评估装置EVAL。

收集与真实皮肤颜色信息GRND_TRTH(该信息被称为“真实数据”)相关联的训练图像IN_DAT的集合来实施对机器学习模型AI_TS的训练TRN。

关于皮肤颜色的真实数据GRND_TRTH被用作经验证据或信息，以标记由训练对象(即，志愿者，将其称为小组成员)提供的图像。

例如，真实数据GRND_TRTH可以由用户使用行业内标准的用于确定皮肤颜色的技术进行收集，比如与比色图表比较或由专门用于测量皮肤颜色的分光光度计进行评估。

在与比色图表的比较中，图像的一部分可能包含已知参考比色图表的表示，对图像颜色进行校正以将参考比色图表的表示恢复到其原始颜色可以允许确定关于所述颜色校正后图像中存在的皮肤颜色的真实数据GRND_TRTH。

例如，可以根据训练装置TRN的命令在预处理P_TS中实施提供真实数据GRND_TRTH的颜色校正。

可以在小组成员的皮肤上至少使用一次分光光度计，由分光光度计测量的颜色(无论是否有任何颜色代码的转变)可能被直接用作真实数据GRND_TRTH。

训练图像IN_DAT的集合是由小组成员经由与上文参考图1所述的设备APP相同类型的用户计算设备提供的。

例如，训练图像IN_DAT是经由使用小组成员的用户计算设备的光敏传感器CAM导入的，该光敏传感器用于捕获包括小组成员面部的一个或多个训练图像。训练图像可以从例如以自拍模式拍摄的个人照片PhtSlf中提取，或从例如以自拍模式拍摄的至少一条视频记录Vid360中提取，在该视频记录中，照明条件可能因视角移动(例如经由使设备围绕小组成员的面部旋转)而被修改。

然后可以通过从视频Vid360中提取个人图像来生成多个训练图像。

捕获视频(可以从中提取多个训练图像)可能是有利的，至少是因为这将大大增加生成各种照明条件下的大量训练数据的效率。

如果有必要，技术人员可以参考专利申请PCT/US 2020/041350中描述的机器学习模型的训练描述。

应当注意，在实施训练过程期间，预处理P_TS只包括如上文参考图2所述的面部检测FceDet和居中及缩放Cntr+Scl。具体地，可以假设小组成员只提供自己的面部图像，在这种情况下，不需要面部识别FceReco。此外，鉴于训练图像是从照片或视频中提取的，元数据没有提供允许对色温校正TempCorr进行参数化的特定背景。

可选地，可以附加地或替代性地从小组成员的用户计算设备的图像库(IMk∈LIB)中提取训练图像IN_DAT。在这种情况下，可以规定执行如参考图2所述的面部识别FceReco和色温校正TempCorr的步骤。

因此，已经注意到，令人惊讶的是，只用照片和视频记录进行的训练(比如上文所述或实际上如在专利申请PCT/US 2020/041350中所述的)在参考图2所述的实施方式(即，机器学习模型AI_TS利用源自图像库LIB的图像进行推断)中提供了非常令人满意的结果。

在实施训练时，机器学习模型AI_TS对训练图像IN_DA执行可参数化计算，并提供代表训练图像中存在的面部的皮肤颜色的数值ClrEstm。

对皮肤颜色的评估EVAL可以经由对各种数值ClrEstm进行组合的统计运算AVRG执行，如参考图2所述的。

然后，将如此评估EVAL出的皮肤颜色(或者实际上直接说数值ClrEstm)与真实数据GRND_TRTH进行比较，以对机器学习模型AI_TS执行的计算进行重新参数化，从而尽可能地接近真实数据。

换句话说，关于皮肤颜色的真实数据GRND_TRTH被用作标记数据，以指示机器学习模型AI_TS处理训练图像IN_DAT的期望结果。

应当注意，有利的是用多个小组成员的数据来训练机器学习模型AI_TS。在这方面，与每个小组成员相关联的训练图像IN_DAT和真实数据GRND_TRTH可以存储在处理装置PU和训练装置TRN的存储器中。针对所有小组成员的所有数据对机器学习模型AI_TS的计算进行参数化，以便尽可能地具有普适性。

简而言之，为了确定面部皮肤颜色，处理装置PU使用如上所述的机器学习模型AI_TS来确定从用户计算设备APP的图像库中导入的至少一个图像中存在的面部的皮肤颜色。然后，可以使用该皮肤颜色推荐与由此确定的皮肤颜色相配或适合于该皮肤颜色的一种或多种化妆品产品。

Claims (17)

1.一种用于确定用户关注区域的皮肤颜色的方法，所述方法包括：

-从用户计算设备(APP)的图像库(LIB)导入包括所述用户关注区域的表示的至少一个图像(IMk)；

-用机器学习模型(AI_TS)对所述至少一个图像(IMk)执行处理(TS)，所述机器学习模型适合于为每个导入图像(IMk)提供代表所述至少一个导入图像(IMk)中存在的所述关注区域的皮肤颜色的数值(ClrEstm_k)；

-基于每个导入图像的所述一个或多个数值(ClrEstm_k)对所述关注区域的皮肤颜色执行评估(EVAL)。

2.根据权利要求1所述的方法，其中，所述用户关注区域为所述用户的面部。

3.根据权利要求1和2中的一项所述的方法，其中：

-所述至少一个图像(IMk)包括对相应图像的创建加盖时间戳的元数据(MTDk，ts)；

-对所述皮肤颜色的评估(EVAL)是基于根据当前日期和相应时间戳元数据(ts)对每个图像的数值(ClrEstm_k)进行加权(wght2)来执行的。

4.根据权利要求3所述的方法，其中，根据所述当前日期和相应时间戳元数据(ts)对每个图像的所述数值(ClrEstm_k)进行加权(wght2)，以便考虑到一年四季中所述皮肤颜色的色调变化。

5.根据权利要求4所述的方法，其中，考虑到一年四季中所述皮肤颜色的色调变化而执行所述加权(wght2)，从而使得对所述皮肤颜色的所述评估(EVAL)提供对所述皮肤颜色的预测，比如在所述当前日期之后的皮肤颜色。

6.根据权利要求1和5中的一项所述的方法，其中：

-所述至少一个图像(IMk)包括对相应图像的创建加盖时间戳的元数据(MTDk，ts)和/或对相应图像的创建进行地理定位的元数据(MTDk，geoloc)；

-所述处理(TS)包括预处理(P_TS)，所述预处理包括根据相应元数据(MTDk)对每个图像(IMk)进行色温校正(TempCorr)。

7.根据权利要求6所述的方法，其中，根据与所述相应元数据(MTDk)相对应的天气档案数据(ArchMeteo)，进一步执行对每个图像的所述色温校正(TempCorr)，从而允许估计创建相应图像时的照明条件的色温。

8.根据权利要求1和7中的一项结合权利要求2所述的方法，其中：

-导入进一步包括获得表示所述用户的参考面部的参考图像(IMref)；

-所述处理包括预处理(P_TS)，所述预处理包括经由面部识别(FceReco)来选择从所述用户计算设备的图像库中导入的所述至少一个图像(IMk)中的参考面部。

9.根据权利要求8所述的方法，其中，获得所述参考图像(IMref)包括对所述用户的单独关注区域进行摄影捕获(PhtSlf)，或由所述用户在所述图像库的图像(IMk)中识别出表示所述单独关注区域的图像。

10.根据权利要求1至9中的一项所述的方法，其中，所述机器学习模型(AI_TS)是预先训练(TRN)的卷积神经网络。

11.根据权利要求1至10中的一项所述的方法，进一步包括基于对所述关注区域的皮肤颜色的所述评估(EVAL)来推荐至少一种化妆品产品。

12.一种用于确定用户关注区域的皮肤颜色的系统，所述系统包括：

-通信装置(COM)，所述通信装置适合于与用户计算设备(APP)进行通信，并且被配置为从所述用户计算设备(APP)的图像库(LIB)导入包括所述用户关注区域的表示的至少一个图像(IMk)；

-处理装置(PU)，所述处理装置被配置为用机器学习模型(AI_TS)对所述至少一个图像(IMk)执行处理(TS)，所述机器学习模型适合于为每个导入图像(IMk)提供代表所述至少一个导入图像(IMk)中存在的所述关注区域的皮肤颜色的数值(ClrEstm_k)；

-所述处理装置(PU)还被配置为基于每个导入图像的所述一个或多个数值(ClrEstm_k)对所述关注区域的皮肤颜色执行评估(EVAL)。

13.根据权利要求12所述的系统，其中，所述通信装置(COM)进一步被配置为实施根据权利要求2至11中的一项所述的方法的导入步骤，并且所述处理装置(PU)进一步被配置为实施根据权利要求2至11中的一项所述的方法的执行处理(TS)和评估(EVAL)的步骤。

14.根据权利要求12和13中的一项所述的系统，进一步包括所述用户计算设备(APP)，所述用户计算设备被配置为向所述通信装置(COM)传送所述图像库(LIB)的所述至少一个图像(IMk)。

15.根据权利要求12、13和14中的一项所述的系统，其中，所述通信装置(COM)适合于经由电信网络(RES)与所述用户计算设备(APP)进行通信。

16.一种计算机程序，包括指令，当所述程序由计算机执行时，所述指令使得所述计算机实施根据权利要求1至11中的一项所述的方法。

17.一种计算机可读介质，包括指令，当所述指令由计算机执行时使得所述计算机实施根据权利要求1至11中的一项所述的方法。