CN101668451A - 用于基于从图像估计的皮肤色彩推荐产品的方法和系统 - Google Patents

Abstract

本发明的实施例记载了一种用于基于从单个捕获图像估计的皮肤色彩推荐产品的计算机实施的方法。在本发明的一个实施例中，访问从单个捕获图像(202)生成的皮肤色彩估计(413)。然后皮肤色彩估计(413)与分类色彩(461)进行比较。访问分类色彩(461)和至少一个产品(471)之间的相关性。然后，推荐与分类色彩(461)对应的至少一个产品(471)。

Description

用于基于从图像估计的皮肤色彩推荐产品的方法和系统

技术领域

本发明的实施例涉及与个人外观有关的产品的产品咨询。

背景技术

对于化妆品或其他外观有关产品的许多顾客而言，由于在购买决定中所涉及的各种各样的变数以及顾客能够挑选的各式各样的产品因此很难做出购买决定。在化妆品的领域中，存在色度(shade)上补充或对比用户的自然肤色的成百上千种化妆品产品。另外，化妆风格会季节性地变化并且一天中的时刻(time of the day)和用户所处的位置也可能影响用户关于将用哪种产品的决定。因而，用户可能想在办公室的白天期间与在晚上的非正式场合下相比呈现不同的外观。因此，化妆品可能需要基于用户的预期使用而进行调整。

为了帮助她们做出关于化妆品购买的决定，许多顾客寻求来自经过训练的咨询师的意见。然而，许多零售店只为化妆品提供陈列空间而不提供帮助顾客做出关于化妆品购买的决定的经过训练的人员。另外，在许多零售店的环境照明可能歪曲顾客的皮肤色泽(skin coloration)，因而使顾客对化妆品在她们的皮肤上看起来的效果产生虚假印象。例如，许多零售店使用辐射稍微带点蓝色的光的荧光照明。某些商店还在其窗户上使用过滤处于可见光谱的特定范围内的自然日光的涂层。因而，许多顾客就化妆品产品在由该特定用户使用时是否可接受做出“最佳的猜测”。结果，顾客往往基于她们在商店中看起来怎么样来购买化妆品，最后却发现当她们回到家中时她们不喜欢化妆品看起来的效果。另外，对于某些类型的化妆品产品(例如，唇膏)，由于健康顾虑而不允许顾客在购买之前体验该产品。

某些零售店的另一缺点在于制造商不能发展与顾客的关系。这些商店的人员一般很少关心顾客是购买化妆品还是顾客对她们的购买决定是否满意。因而，这些员工对以要说服顾客再次购买特定化妆品品牌的方式代表该品牌漠不关心。然而，许多制造商想要为顾客提供某种咨询服务，这会引起更好的顾客满意度，进而引起更多的销售。然而，在每个零售商店提供咨询师对于制造商而言非常昂贵。

可选地，许多高端化妆品制造商在零售店内运营他们自己的专卖零售空间，也称为“化妆柜台”。这些化妆柜台配备有经过训练的代表，这些代表能够建议顾客可从中挑选的当前风格并且能够给顾客提供关于哪些化妆品色度与其皮肤色泽互补的建议。因而，向顾客提供从其中挑选的较小范围的产品，但基于顾客的需要该产品更适合该顾客。另外，这些代表能够推荐其他可以补充顾客进行的购买的产品并提供关于当前流行趋势的建议。在极高端的零售空间处，制造商可以提供受控的基础设施，其中照明被精细校准以给顾客提供当顾客离开商店时化妆品看起来的效果的准确印象。

不幸的是，由提供店内人类咨询师或受控咨询基础设施的制造商所销售的化妆品产品一般比在不提供任何咨询的零售店销售的化妆品昂贵很多。另外，一些顾客对经过训练的代表感到害怕或者不想与陌生人讨论像她们的外观那样私人的事情。最终结果再次是可能受益于接收化妆品咨询的一些顾客没有接收到她们寻求的建议。

发明内容

本发明的实施例记载了一种用于基于从图像估计的皮肤色彩(skincolor)来推荐产品的计算机实施的方法。在本发明的一个实施例中，访问从图像生成的皮肤色彩估计。然后将该皮肤色彩估计与分类色彩进行比较。访问该分类色彩和至少一个产品之间的相关性。然后，推荐与该分类色彩相关的至少一个产品。

附图说明

被结合在本说明书中并形成其一部分的附图图解说明了本发明的实施例，并且连同本描述一起用来解释该发明的原理。除非具体指出，在本说明书中提及的附图应当理解为不是按比例绘制的。

图1是依据本发明实施例的用于基于对象的皮肤色彩推荐产品的方法的流程图。

图2示出了与本发明实施例结合使用的示例性图像捕获系统。

图3示出了用于本发明实施例的示例性色彩参考集。

图4A是依据本发明实施例的用于生成皮肤色彩估计的分类系统的框图。

图4B是依据本发明实施例的用于基于对象的皮肤色彩推荐产品的产品推荐系统的框图。

图4C示出了依据本发明实施例的分类色彩和产品之间的示例性相关性。

图5示出了依据本发明实施例的选择皮肤像素中的示例性步骤。

图6是可以在其上实施本发明实施例的示例性计算机系统的框图。

具体实施方式

现在详细参照本发明的实施例，这些实施例的示例被示于附图中。虽然本发明将结合以下实施例进行描述，但是要理解它们不打算把本发明仅仅限制为这些实施例。相反，本发明旨在覆盖可以包含在由所附权利要求书定义的本发明的精神和范围内的变更、修改和等价物。而且，在本发明的以下详细描述中，阐述众多具体细节以便提供对本发明的彻底理解。然而，可以实践本发明的实施例而无需这些具体细节。在其他情况中，众所周知的方法、程序、组件和电路未进行详细描述以便不会不必要地模糊本发明的各方面。

符号和命名

以下的详细描述的某些部分是按照程序、逻辑框、处理和对计算机存储器内的数据位的操作的其他符号表示来给出的。这些描述和表示是数据处理领域的技术人员向本领域的其他技术人员最有效传达其工作实质而使用的手段。在本申请中，程序、逻辑框、过程等等被认为是引起期望结果的自相容的步骤或指令序列。这些步骤是那些要求对物理量进行物理操纵的步骤。通常，虽然不必要，这些量采用能够被存储、传输、组合、比较和以其他方式在计算机系统中被操纵的电信号或磁信号的形式。

然而，应当记住，所有这些和类似术语是与适当的物理量相关联并且仅仅是应用于这些量的方便标记。除非如从以下讨论显而易见地另有具体声明，要明白在整个本发明中，利用诸如“访问”、“识别”、“比较”、“生成”、“选择”、“聚集”、“处理”、“推荐”等等的术语的讨论涉及计算机系统或类似电子计算装置的动作和过程，所述计算机系统或类似电子计算装置将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和变换为类似表示为计算机系统存储器或寄存器或者其他这样的信息存储、传输或显示装置内的物理量的其他数据。

图1是依据本发明实施例的用于基于来自图像的皮肤色彩估计413(参照图4A)推荐产品的方法100的流程图。在图1的步骤110中，访问从图像生成的皮肤色彩估计413。在本发明的实施例中，在捕获图像所处的位置处的环境照明条件以及图像捕获系统的成像特性的组合影响由图像分析系统推断出。这些组合影响然后被基本消除以致能够基于对图像中对象的皮肤像素的分析来做出该对象的皮肤色彩的准确估计。本发明的实施例访问这个计算机生成的皮肤色彩估计以致能够基于对该对象的自然皮肤色彩的准确分析来生成产品推荐。

在图1的步骤120中，将皮肤色彩估计413与分类色彩进行比较。在本发明的一些实施例中，人类皮肤色泽的范围被划分成由对应分类色彩表示的离散的类或“仓格(bin)”的集合。因而，每个仓格定义人类肤色色彩谱(the spectrum of human complexion colors)的子集。在本发明的实施例中，一旦估计了对象的皮肤色泽，就可以通过将特定仓格的分类色彩和该对象的估计的皮肤色彩进行匹配而将该对象与该仓格相关联。例如，具有淡肤色的对象可能与第七仓格关联，而具有较暗肤色的另一对象可能与第十九仓格关联。

在图1的步骤130中，访问分类色彩和至少一个产品之间的相关性。在本发明的实施例中，每个仓格与对应产品相关。在本发明的其他实施例中，每个仓格可以与一个以上产品相关联。在本发明的实施例中，与特定仓格相关联的产品可以包括化妆品、衣服、眼镜、珠宝或另一与外观有关的产品。

在图1的步骤140中，推荐与分类色彩对应的至少一个产品。在本发明的实施例中，生成结果，其中把至少一个产品推荐给用户。在本发明的实施例中，用户可以是所捕获的图像中的对象或者是生成该图像的图像捕获系统的操作员。作为示例，电子邮件消息可以被发送，其向所捕获图像的对象传达产品推荐。

本发明的实施例是有利的，因为能够自动执行对象的皮肤色彩的准确确定并且在捕获对象的图像时无需受控的基础设施(例如，校准且受控的环境照明条件和照相机处理参数)。先前，一些皮肤色彩分析方法依赖于其中环境照明条件和照相机处理参数被精细校准的专用房间或信息亭(kiosk)。这对促进准确评估该对象的皮肤色泽是必需的。该对象的图片由人类咨询师拍摄并分析，该人类咨询师然后控制针对该对象的化妆品咨询。然而，由于这些设备所需的花费和空间量，使得它们通常不可用于大多数对象。其他系统依赖于记录对象皮肤的不同位置或处于不同照明条件下的多个图片。

另外，本发明的实施例促进基于对象的皮肤色彩进行自动的产品推荐。结果，对象能够基于他的或她的皮肤色彩接收产品推荐而不需要经过训练的咨询师的分析。这在例如可能没有资源来提供专用化妆咨询柜台的零售商店中是有利的。因而，如果对象从没有人员经过训练来执行化妆品咨询或者没有用于上面描述的受控基础设施的空间的零售商购买化妆品，则对象仍然能够利用本发明的实施例接收化妆品咨询。因为顾客也许更可能从提供产品咨询的制造商购买化妆品产品，所以本发明的实施例对于制造商而言是有利的，该制造商能够建议整套有关产品并发展与顾客的关系，这在顾客简单地从贮存有例如化妆品产品的货架中选择时是不可能的。而且，从完全陌生人接收化妆品咨询可能不舒服的顾客可以利用本发明的实施例接收匿名的产品咨询。该产品咨询甚至可以由顾客在其自己的家中或远离零售商店的其他位置进行接收。

图2示出了与本发明实施例结合使用的示例性图像捕获系统200。在本发明的实施例中，系统200包括用于捕获图像202的图像捕获装置201，该图像202包括对象(例如，203)和成像参照色彩集204。在本发明的实施例中，图像捕获装置201在捕获图像202时不需要受控的基础设施。例如，图像捕获装置201可以是对象的个人计算机系统、数字照相机或者能够生成照片的蜂窝电话(例如，在本文中称为“照相电话”)。因而，不是依靠校准的设备(例如，校准的照相机和校准的照明)，本发明的实施例可以在产品咨询过程期间利用终端对象设备。而且，只要照明条件足以让系统200处理图像，就不要求在环境照明条件是已知的或受控的环境中捕获该图像。结果，图像202甚至可以在各种环境(包括例如户外或者在对象203的家中)中进行捕获。

图像202然后经由网络206被传送到图像分析系统205。如下面要更详细讨论的，图像分析系统205是用于基于图像202的分析来生成对象203的皮肤色彩估计413。一般而言，落到给定对象上的光的品质和光谱特性会影响该对象对于照相机的外观并且因而影响该对象在照相机生成的图像中的外观。照相机本身通过其传感器的制造和设计的物理特性以及还通过照相机的内部处理特性，给所感知的对象的皮肤色泽引入进一步的变化。这些影响组合起来使得图像的皮肤色泽度量很不可靠。通过查看与该对象的图像一起捕获的参考色彩集，图像分析系统205可以促进确定从所捕获图像的观测色彩空间到参考或“真实”色彩空间的变换，所述参考或“真实”色彩空间与环境照明条件和捕获图像的照相机的图像处理能力无关。

在本发明的实施例中，真实色彩空间由控制参考色彩集208表示。要明白，控制参考色彩集208可以包括从其中访问光谱反射率或色彩信号值的逻辑参考色彩集而不是实际物理实体。通过将控制参考色彩集208的特性与在图像中捕获的参考色彩集204的特性进行比较，图像分析系统205能够确定计及(account for)成像参考色彩集204和控制参考色彩集208的特性之间的差异的变换或“色彩校正函数”。这个色彩校正函数直接补偿房间内的环境照明和采集照相机的色彩变换的组合影响。

为了促进确定该色彩校正函数，图像分析系统205检测并测量成像参考色彩集204的观测特性。图像分析系统205然后确定色彩校正函数，其使成像参考色彩集204的色彩最佳地接近参考色彩空间中控制参考色彩集208的色彩。

为了分析用户的图像以识别用户的皮肤色泽，图像分析系统205选择所捕获图像中表示用户的自然皮肤色彩的图像皮肤色彩区域。本发明的一些实施例试图在成像对象的脸部上找到这些皮肤色彩区域。选择用户脸部和头部的这些元素以针对色彩值进行采样包括在所捕获的图像内识别用户脸部的位置和方位。而且，关于在脸部内的何处收集适当的皮肤色泽测量的确定是由图像分析系统205做出的。

图像分析系统205可以被配置成确定用户脸部的哪些区域(例如，前额、面颊、下巴等等)能够高度预测对象的自然、总体脸部色泽。这确保测量皮肤本身的色泽而不是雀斑、污点、发色、眼睛颜色或其他不正确的值。在本发明的实施例中，计算机视觉的专业人员已知的技术促进了进行这些确定。例如，能够通过各种计算机实施的“脸部检测”方法来检测头部并且头部的方位能够通过诸如到导出控制点的网格拟合之类的技术来确定。然后可以从这些网格上的已知位置中选择皮肤色泽的样本。可选地，无需网格拟合的皮肤色彩的统计分析也能够用来估计皮肤色泽。因而，图像分析系统205不必依靠检测所捕获图像中的皮肤色彩来确定对象的皮肤区。然而，图像分析系统205可以连同脸部检测方法一起利用计算机实施的皮肤色彩检测方法以进一步改进(refine)检测所捕获图像的皮肤像素区。这些皮肤色彩检测方法使用皮肤色彩的模型以便基于在所捕获图像中显示的色彩来识别可能的皮肤区，所述模型应用在各种照明设备(illuminant)和照相机上。

在本发明的实施例中，证实样本表示适当的皮肤色泽能够使用标准的离群舍弃(outlier rejection)原理来执行。结果是一组基本没有缺陷或外来物质且提供对象皮肤色泽的可用采样的皮肤测量。而且，虽然本实施例教导了确定用户脸部的哪些区域表示对象的自然皮肤色彩，但是图像分析系统205还很适合用于分析对象的整个脸部或者对象的其他皮肤区域(诸如颈部、手臂等等)的皮肤色泽。这还可以包括排除一些不表示对象皮肤色泽的区，诸如眼睛、头发、牙齿、阴影等等。

在确定用户脸部的哪些区域(例如，前额、面颊、下巴等等)能够高度预测对象的总体脸部色泽之后，图像分析系统205确定所捕获图像中的选定皮肤像素的色彩描述。在一个实施例中，可以确定每个所识别的皮肤像素的色彩描述。在其他实施例中，图像分析系统205可以确定已经被定位的所有选定皮肤像素的平均值、这些像素的色彩的概率密度函数或者皮肤像素的聚集(aggregation)的其他表示。

在本发明的实施例中，所确定的色彩校正函数被应用于位于所捕获图像中的一个或多个选定皮肤像素的色彩描述。在本发明的一些实施例中，应用色彩变换以聚集(aggregate)从被确定为可能与对象有关的像素中获得的皮肤色泽统计量，诸如均值或中值。通过把色彩校正函数应用于图像内的皮肤像素，在指定控制参考色彩集208的色彩空间中确定对象的自然皮肤色泽。这样做时，创建至少一个皮肤像素的修改色彩描述，其补偿在捕获图像时图像捕获装置的成像特性和环境照明的影响。这促进准确估计图像中的对象的自然皮肤色彩。在本发明的实施例中，色彩校正函数可以被应用于整个捕获图像以创建修改的图像。而且，确定色彩校正函数可以在进一步处理和分析步骤(例如，定位所捕获图像中的皮肤像素)之前、之后或与其基本同时地执行。

因而，图像分析系统205能够推断出在捕获图像的位置处的环境照明条件以及图像捕获系统的图像处理特性和成像器敏感度的组合影响。这些组合影响然后被基本消除以致能够基于对该对象的皮肤像素的色彩描述的分析来准确估计该对象的皮肤色彩。

使用图像分析系统205是有利的，因为当捕获图像202时受控的基础设施(例如，校准的照相机或校准的照明或环境条件)不是必需的。先前，一些方法依赖于其中环境照明条件和照相机处理参数被精细校准的专用房间或信息亭。这对促进准确评估对象的皮肤色泽是必需的。对象的图片由人类咨询师拍摄并分析，该人类咨询师然后控制针对该对象的化妆品咨询。然而，由于这些设备所需的花费和空间量，使得它们通常不可用于大多数对象。其他系统依赖于记录对象皮肤的不同位置或处于不同照明条件下的多个图片。

返回图2，由图像分析系统205生成的皮肤色彩估计413然后由产品推荐系统220使用，产品推荐系统220基于对象203的皮肤色彩推荐一个或多个产品。在本发明的实施例中，产品推荐系统220执行称为“仓格化(binning)”的过程。如上所述，仓格化是其中肤色色彩谱被划分成离散的组或“仓格”的集合的过程。因而，每个仓格定义肤色色彩谱的子集。在本发明的实施例中，多个人类测试对象的皮肤色彩被测量并被产品推荐系统220用作分类色彩221的范围。在一个实施例中，每个测试对象的皮肤色彩包括分类色彩221之一。在本发明的其他实施例中，每个分类色彩可以包括描述多个测试对象的综合(aggregate)皮肤色彩描述(例如，色彩空间中的分布或范围)。可选地，每个仓格可以代表测试对象的一系列皮肤色彩描述。然而，虽然本实施例记载了使用人类测试对象来获得分类色彩221，但是本发明的实施例不仅仅限于这种方法。例如，在另一个实施例中，分类色彩221可以包括成像参考色彩集204上所示的皮肤色彩的集合。其他非皮肤色彩(例如，化妆品色彩、衣服色彩等等)也可以用作本发明实施例中的分类色彩221。

在本发明的实施例中，每个仓格与对应产品相关。例如，基于测试对象的皮肤色彩，第一仓格可以与粉底的特定色度(例如，浅的米黄色(buff beige))关联而第二仓格可以与粉底的第二色度(例如，自然奶油色)关联。在本发明的其他实施例中，每个仓格可以与一个以上产品关联。如上所描述的，与特定仓格关联的产品可以包括化妆品、衣服、眼镜、珠宝或另一与外观有关的产品。

产品推荐系统220将由图像分析系统205生成的皮肤色彩估计413的色彩描述与上面描述的仓格的色彩描述进行比较以确定哪个仓格或哪些仓格最密切匹配对象203的皮肤色泽。在本发明的实施例中，这些仓格还可以进一步根据其他因素(诸如发色、年龄和地理位置)来分割人群。由本发明实施例所用的仓格集可以不包括给定人群的所有人们。每个仓格中皮肤色泽以及任选地，人们的其他特性的示例数据被用来构造一个或多个分类器，该分类器当被提供对象203的测量时通常把对象203分配到其成员密切匹配对象203的皮肤色泽的一个或多个仓格。

在本发明的实施例中，仓格大小可能不是均匀的。换言之，一些仓格可能比其他仓格定义肤色色彩谱的更大部分。例如，具有较淡肤色的对象一般比具有较暗肤色的对象要求更高的粒度，因为她们试图掩盖在淡肤色上更明显的污点或阳光对其皮肤的损伤。相反，具有较暗肤色的对象倾向于想要使其皮肤色调均匀而不是掩盖污点。结果，对于具有较暗肤色的对象发现较少的仓格就足够了。

本发明的实施例可以使用不同类型的色彩描述来构造这些仓格。例如，可以为每个用户使用某个色彩空间(例如，色调-饱和度-值(HSV))中的单个点的描述来构造这些仓格，采用该单个点来表示对象203的总体皮肤色泽。在其他实施例中，该单个点可以用描述头发、嘴唇或眼睛颜色的附加点补充。在其他实施例中，该单个点可以用与重要的脸部或身体位置(例如、面颊、前额或颈部)处的皮肤色泽对应的多个点替代。在一些实施例中，该测量可以包括描述用户皮肤色泽的色彩范围或分布的综合色彩描述。在其他实施中，测量数据可以包括对象203的年龄、地理位置以及其他非外观相关数据。

如下面要更详细讨论的，产品推荐系统220可以使用众多不同类型分类器中的任一种来将对象203的皮肤色彩估计413映射到一个或多个仓格。一旦分类器基于某个人的皮肤色泽测量以及任选的其他数据而把该用户分配到一个或多个仓格，就能够做出非常适合该(一个或多个)仓格中的人们的皮肤产品推荐。不同的仓格一般与存储在例如产品数据库中的不同皮肤产品推荐关联。这可以通过为每个类使用不同的推荐算法、不同的推荐模板或者其他允许产品推荐系统220自动产生一般例如由化妆咨询师提供的产品推荐的装置来完成。

因而，产品推荐系统220使用皮肤色彩估计413以基于对象的色泽将对象203映射到特定仓格或多个仓格。因为在每个仓格和各种被视为适合用于具有该皮肤色泽的人的个人外观相关产品之间存在映射，所以本发明的实施例能够为对象203自动地生成例如被视为适合用于该用户的化妆产品或其他外观相关产品的推荐。

在本发明的实施例中，对象203能够使用例如web接口来识别附加参数。这些参数能够被产品推荐系统220用来进一步识别用户感兴趣的(一个或多个)产品。例如，用户可以指示他们对衣服、染发、化妆等等感兴趣。用户还可以指示他们所感兴趣的特定产品组，诸如眼睛化妆、粉底、唇膏等等。人口统计信息还可以被收集以进一步改进产品咨询。例如，青少年人口统计群体可能比年长的人口统计群体更喜欢不同风格的化妆、头发护理产品等等。另外，用户能够指定可能定义适合该用户的产品的情形。例如，寻求能在办公室或职业场所中使用的化妆产品的用户可能对被视为更适合用于晚上或正式场合的化妆产品不感兴趣。

在本发明的实施例中，产品推荐系统220可以把产品推荐直接传送给对象203或者经由语音消息、短消息服务(SMS)消息、多媒体消息服务(MMS)消息、语音可扩展标记语言(语音XML)消息、电子邮件消息、即时消息或者另一形式的通信而传送给另一用户。

在本发明的实施例中，图像捕获装置201可以包括终端对象203的个人财产，诸如照相电话、数字照相机、个人数字助理(PDA)、个人计算机系统、数字视频记录器或者能够捕获图像的类似装置。然而，本发明的实施例还可以用于专用系统中，在该专用系统中制造商提供用于提供产品咨询的信息亭或其他自动系统。在本发明的实施例中，图像捕获装置201可以包括多个照相机，诸如立体照相机或其中照相机以相对彼此固定的方式进行布置的照相机阵列。在其他实施例中，图像捕获装置201可以用于提供从不同视角捕获的对象的多个图像。

在本发明的实施例中，网络206包括拨号因特网连接、公共交换电话网(PSTN)、高速网络连接(例如电缆因特网或高速计算机网络)等等。可选地，图像捕获装置201可以利用蜂窝电话连接、卫星电话连接、无线电连接、红外通信连接等等。然而，如下面要更详细讨论的，本发明的实施例不要求图像202被传送到与图像捕获装置201分离的系统。

要明白，系统200的其他配置可以用于本发明的实施例中。例如，图像分析系统205和产品推荐系统220可以被实施为单个系统或者可以每个都被实施为通信耦合的装置的网络。在本发明的实施例中，图像分析系统205或产品推荐系统220的功能可以由图像捕获装置201执行，因而提供移动手持产品推荐系统。

本发明的实施例是有利的，因为它们在捕获图像202时不需要受控的基础设施(例如，校准且受控的照相机或环境照明条件)或者不需要咨询经过训练的专家来生成产品推荐。先前，一些化妆品制造商控制专用的房间或信息亭，在其中环境照明条件和照相机处理参数被精细校准。这对促进准确评估用户的皮肤色泽是必需的。用户的图片由人类咨询师拍摄并被分析，该人类咨询师然后控制针对用户的化妆品咨询。然而，由于这些设备所需的花费和空间量，使得它们通常不可用于大多数用户。

本发明的实施例不要求受控的基础设施，因为图像分析系统205利用成像参考色彩集204的所接收图像来补偿环境照明条件和图像捕获系统201的图像处理参数。结果，本发明的实施例在捕获对象203的图像时不依赖于校准的照相机或校准的照明。通过执行这种分析，图像分析系统205然后能够确定什么调整是必需的以便成像参考色彩集204的光谱反射率或色彩信号值与控制参考色彩集209的已知的光谱反射率或色彩信号值对应。产品推荐系统220因而能够基于对象皮肤色彩的准确分析来生成产品推荐。虽然本发明记载了不要求受控的基础设施，但是本发明的实施例也可以与受控的基础设施一起使用。

因为不要求受控的基础设施或者经过训练的咨询师，所以本发明的实施例促进了在可能不具有用于提供专用咨询柜台的资源的零售商店中提供产品咨询。因而，如果对象203从没有人员经过训练来执行化妆品咨询或者没有用于上面描述的受控基础设施的空间的零售商购买化妆品，则对象203仍然能够利用本发明的实施例接收化妆品咨询。因为用户也许更可能从提供化妆品咨询的制造商购买化妆品产品，所以本发明的实施例对于化妆品制造商而言是有利的，该化妆品制造商能够建议整套有关产品并发展与对象203的关系，这在对象203简单地从贮存有化妆品产品的货架中选择时是不可能的。而且，从完全陌生人中接收化妆品咨询可能不舒服的用户可以利用本发明的实施例接收匿名的化妆品咨询。该产品咨询甚至可以由用户在其自己家中私下里或远离零售商店的其他位置处进行接收。

图3示出了在本发明实施例中使用的示例性成像参考色彩集204。注意，虽然以下论述记载了包括一种色彩或多种色彩的成像参考色彩集204的区域，但是为了清楚起见，这些色彩已经从图3中省略掉。在本发明的实施例中，成像参考色彩集204设计成由图像分析系统205进行健壮自动检测。

如图3中所示，成像参考色彩集204包括多个色标(color patch)(例如301-324)，它们排列成3行，每行8个色标。在本发明的实施例中，对照以白色边界340和黑色边界350为界的黑色背景330，设置色标301-324。在本发明的实施例中，图像分析系统205使用检测算法来识别与通过以白色边界340给黑色背景330限界而产生的图案一致的图案。黑色边界350用于促进识别白色边界340。注意，本发明的实施例不只限于这种类型的图案，并且任何可检测的参考图案布置都可以使用，只要当图案存在于图像202中时图像分析系统205能够检测到该图案。例如，成像参考色彩集204可以包括棋盘图案、条纹或背景，其中色标301-324表示的色彩被嵌入壁纸、壁挂、地毯等中。另外，虽然图3示出了矩形阵列，但是色标301-324也可以布置成圆形图案、三角形图案、方形图案等等。

在图3的实施例中，色标301-308包括用于一般场景色调平衡的原色和复色以及用于白平衡的两个色度的灰色(two shades of gray)。色标309-324包括表示人类皮肤色彩范围的十六个色标。在本发明的实施例中，控制参考色彩集208的色彩描述对图像分析系统205是已知的并且用来描述参考或“真实”色彩空间，与照明和图像捕获装置特性无关，成像参考色彩集204与该参考或“真实”色彩空间进行比较。例如，在一个实施例中，测量每个色标(例如，301-324)的光谱反射率，然后将其近似为3分量的标准红、绿、蓝(sRGB)编码数字值。然后将这些编码信号值与成像参考色彩集204的对应3分量信号值相比较。

图4A是依据本发明实施例的用于提供产品咨询的图像分析系统205的框图。在本发明的实施例中，图像分析系统205包括输入404、色彩校正确定器401、皮肤像素选择组件402、色彩校正施加器405以及皮肤色彩估计器403。在图4A的实施例中，图像202由输入404接收并且被发送到色彩校正确定器401和皮肤像素选择组件402。然后，色彩校正函数411从色彩校正确定器401输出同时皮肤像素选择组件402从图像202中识别至少一个皮肤像素(例如，色彩值412)，色彩校正函数411将被色彩校正施加器405施加到该图像202。作为将色彩校正函数411施加到所识别的(一个或多个)皮肤像素的色彩值412的结果，修改的色彩值209被输出到皮肤色彩估计器403，皮肤色彩估计器403基于此生成皮肤色彩估计413。如上所述，确定色彩校正函数的步骤可以在从图像202中定位多个皮肤像素的步骤之前、之后执行或者与之基本同时地执行。

在本发明的实施例中，色彩校正确定器401执行目标图案(例如，成像参考色彩集204)的自动检测。在示例性目标检测序列中，彩色图像的单色(例如，仅辉度(luminance))版本使用例如拉普拉斯滤波器进行滤波。这确定了图像中(例如，在色标301-324和背景330之间，或者在白色边界340和黑色边界350之间)最大亮度变化的所在地点(locus)。在拉普拉斯输出中观测到的零交叉位置的所在地点接着在可能的地方被连接成一组闭合围线(contour)。每个闭合围线然后通过线性段的序列来近似，可以基于该围线与直线的偏差通过接连的二等分操作来确定所述线性段。对于其逐块线性分段(如上所述)导致四个主要块(这些块的关系与平面矩形的投影一致，即相对边符合平行，而相邻边符合正交)的那些围线，接受“矩形候选”。在一个实施例中，定位第一围线“矩形候选”，其对比度指示较暗的外部(例如黑色边界350)和较亮的内部(例如白色边界340)。然后，在第一围线“矩形候选”内定位第二围线“矩形候选”，其对比度指示较亮的外部(例如白色边界340)和较暗的内部(例如黑色背景330)。

在本发明的实施例中，然后确定上面的围线(例如黑色背景330的边缘)是否包含其对比度指示较暗的外部内设置的较亮的内部的一组“矩形候选”围线(例如色标301-324)。例如，每个色标301-324都比它们所处的黑色背景330更亮。基于来自参考目标描述的这些围线的已知值，确定将外面两个“矩形候选”围线(例如黑色边界350和白色边界340)映射到具有正确平面形状(aspect)和关系的真实矩形的变换。在本实施例中，然后确定(例如色标301-324的)内部围线当通过(基于色标的围线的已知值的)以上变换进行变换时是否也具有正确的纵横比并处于一致的位置。注意，某些色标可能具有在给定图像202中抑制它们的检测的对比度值。然而，在本发明的实施例中，如果检测到足够数量的内部色标(例如“足够”的适当量度可能是90％)，那么认为参考目标被检测到。在本发明的实施例中，上面检测并证实的色标内的色彩值被采样并用作用于建立由图像分析系统205执行的真实色彩变换的采样值。

在本发明的实施例中，色彩校正确定器401在检测时证实(validate)成像参考色彩集204以确保图像202中的色标301-324的保真度。例如，如果色标301-324褪色或者由于染色(staining)而变色(discolor)，则图像分析系统205对色标的采样结果可能变得歪曲(skewed)。结果，可能导致色彩校正确定器401对色彩校正函数411的不正确估计。因而，在本发明的实施例中，色彩校正确定器401可以证实成像参考色彩集204的已使用时间(age)或版本。例如，成像参考色彩集204可以包括图像分析系统205可辨别的且能够用来确定成像参考色彩集204是否仍然有效的图案(例如条形码)、符号、或字符串(例如，成像参考色彩集204被打印的日期)。可选地，用于创建参考色彩集的一种或多种墨(ink)可以选择为在给定时间量后褪色。结果，部分成像参考色彩集204可能变得对色彩校正确定器401不可辨别，从而阻止根据所接收图像202估计色彩校正函数和真实的皮肤色彩。在另一个实施例中，一种或多种墨的褪色可以使得消息被显示，该消息告诉对象202成像参考色彩集204已经期满并且将需要新的版本来生成准确的皮肤色彩估计413。

在本发明的实施例中，在确定成像参考色彩集204是有效副本(copy)后，色彩校正确定器401然后估计控制参考色彩集208与图像202的色彩空间之间的色彩校正函数411，也称为“变换函数”。在本发明的一个实施例中，使用最小二乘方估计来导出3×4矩阵形式的色彩校正函数F，其将从成像参考色彩集204中测量的(例如来自色标301-324中的一个或多个的)色标平均色彩M映射到控制参考色彩集208中的对应控制色彩值R。该矩阵F实际上是3×3色彩变换矩阵加上加性的每色彩分量(per-color-component)偏移。在本发明的实施例中，在执行最小二乘方估计之前，排除具有至少一个饱和分量的色标平均色彩，并且对于M和R两者，对sRGB色彩分量函数求反(invert)。然而，虽然3×4矩阵可以用于确定色彩校正函数，但是本发明的实施例不限于线性代数来确定这个函数。换言之，色彩校正函数能够采取任何函数形式。

在本发明的实施例中，可以测量来自成像参考色彩集204的所有色标，并将它们用于确定色彩校正函数411。在另一个实施例中，可以选择性地采样色标。例如，在一个实施例中，只有原色、复色和单色(例如蓝、绿、红、青、品红、黄和灰阶色(gray shade))的色标(例如301-308)用于确定色彩校正函数411。本发明的实施例还可以对来自白色边界340的白色调和来自背景330或黑色边界350的黑色调采样。在另一个实施例中，对所有的皮肤色标(例如色标309-324)以及黑、白和灰色调采样以便确定色彩校正函数411。在另一个实施例中，仅对皮肤色标(例如色标309-324)采样以确定色彩校正函数411。在本发明的实施例中，可能有利的是仅对皮肤色标(例如色标309-324)采样以便确定最适合用于估计对象203的皮肤色彩的色彩校正函数411。例如，对来自成像参考色彩集的所有成像色标采样可以得到色彩校正函数411，其最适合于校正整个图像的色彩但是不一定最适合于校正对象203的成像皮肤色彩。因而，在估计适合用于估计对象203的皮肤色彩的色彩校正函数时，对所关注的色彩区域(例如皮肤色调)的密集采样可能比对整个色彩空间的宽泛采样更重要。

因而，色彩校正确定器401确定基本上消除了成像参考色彩集204与控制参考色彩集208之间的差异的色彩校正函数411。如果我们将任何函数形式的色彩校正函数411标为F，那么这能够由如下公式表示：

I_R＝F(I_C)

其中I_R是控制参考色彩集208中的色彩，而I_C是来自成像参考色彩集204的对应色彩。当施加到图像202时，色彩校正函数411试图通过补偿环境照明条件和图像捕获装置201的成像特性的影响来准确传递图像202的色彩。更具体而言，在色彩校正函数411被施加到图像202中识别的皮肤像素之后，能够确定对象203的皮肤色彩而没有环境照明条件或图像捕获装置201的成像特性的扭曲影响。要注意，色彩校正411可以仅仅是近似的。例如，色彩校正函数F可能不将从成像参考色彩集204获取的每个图像色彩映射到其在控制参考色彩集208中准确对应的参考色彩。而且要明白，当施加到成像参考色彩集204中的对应色彩时，F可能缺乏使得精确匹配到控制参考色彩集208中的参考色彩而所必需的精确度。为了本发明的目的，短语“基本上消除”意指，在F已经施加到图像202的所识别皮肤像素的色彩值412(例如，或者其色彩描述)后，对象203的自然皮肤色彩(即在由控制参考色彩集208所描述的参考颜色空间中)与对象203的校正皮肤色彩(由修改的色彩描述209表示)之间的差异并不容易辨别。

在本发明的一些实施例中，色彩校正确定器401可以使用3D形状信息来确定色彩校正函数411。如上所述，形状信息可以由图像捕获装置201提供或者它可以由色彩校正确定器401根据图像捕获装置201提供的多个图像计算。该形状信息可以例如用来确定成像参考色彩集204的各部分是否被不同地照射，以便色彩校正函数411的计算可以仅基于图像参考色彩的子集或者以便可以估计多个色彩校正函数411。该形状信息还可能用来帮助估计和去除成像参考色彩集204内的色彩阴影(shadowing)。3D形状信息的其他使用可以由色彩校正确定器401进行。由图像捕获装置201提供的多个图像还可以以除基于3D形状计算的方式之外的方式辅助色彩校正确定。例如，多个图像可以允许对从单个照相机不可能观察的成像参考色彩204进行采样，从而提高馈送到色彩校正确定处理的数据量。该多个视图还可以使得能够在多个视角上对照明和图像装置特性进行平均。

图5示出了依据本发明实施例的选择皮肤像素中的示例性步骤。皮肤像素选择组件402用于识别图像202中可能对应于对象203的皮肤区域并且特别对应于那些可能表示对象203的自然皮肤色彩的区域的像素。如上所讨论的，某些人的皮肤可能是有污点的、有光泽的、被太阳晒黑/有晒斑的、有雀斑的或者以某种方式从该人的自然皮肤色彩变色的。而且，当捕获图像202时，环境照明可能造成不表示该人的自然皮肤色彩的阴影或高亮区。另外，示出对象203的头发或眼睛的图像202的区域在估计对象203的皮肤色彩时应当由分类器205从分析中消除。在本发明的实施例中，皮肤像素选择组件402将识别图像202的可能皮肤像素区的步骤分成两个部分：找出对象203的脸部，以及对脸部采样以找出相对不受污点、阴影或其他色泽不规则性影响的区域。

在本发明的实施例中，皮肤像素选择组件402利用脸部模式检测算法来识别包括对象203脸部的图像202的可能区域。在该发明的许多应用中，对象203可能是图像202中示出的唯一或最突出的脸部。因而，本发明的实施例可以经由Viola-Jones脸部检测器的C++实施方式来执行脸部检测，所述Viola-Jones脸部检测器以多个(例如，24)分辨率在宽大的(lenient)检测阈值以及(如果需要的话)图像旋转下来应用。在本发明的实施例中，如果识别了可能是对象203脸部的多个区域(例如图像202中的多个脸部)，则皮肤像素选择组件402将选择已经被识别为可能脸部区域的最大区域用于进一步处理。要注意，本发明的实施例还可以利用皮肤色彩检测算法来进一步改进对象203的可能皮肤区域的识别。在本发明的实施例中，由脸部检测算法识别的图像202的区域由强加于图像202上的脸部边界框(例如，图5的501)限界。

在本发明的实施例中，皮肤像素选择组件402在脸部边界框501内施加二进制“面罩(face mask)”模板(例如，图5的502)。施加这个的原因在于脸部特征在脸部边界框501内的位置在所有图像202中一般不是恒定的。因而，脸部边界框501一般包括对象203的非脸部特征和非脸部背景。如上所讨论的，环境照明和头发还可能使阴影落到对象203的脸部的任一部分上，并且众所周知皮肤纹理会产生大的镜面反射(specularity)区域。因而，在本发明的实施例中，模板502隔离具有表示对象203的自然皮肤色彩的大概率的皮肤区域，而不要求详细解析脸部特征以及不用从背景中分割脸部。

如图5所示，模板502排除在脸部边界框501中所示的外部区域，诸如头发和对象203的前额，以及图像202的大部分背景。然而，模板502在下区域中稍微被延伸以加强对对象203的面颊区域中的皮肤像素的采样。在另一个实施例中，执行对脸部特征(诸如对象203的眼睛、鼻子和嘴巴)的显式检测，接着对相对于这些检测的特征定义的区域进行像素选择。要注意，上面描述仅仅是一种检测图像202的脸部像素的方式并且存在本领域已知的可以依据本发明实施例进行利用的多种其他熟知的脸部特征检测方法。

在本发明的实施例中，在模板502内剩余的像素然后按照亮度进行分类(sort)。要注意，依据本发明的实施例有多种用于计算亮度的方法。在一个实施例中，像素的亮度(Y)可以使用以下公式来计算：

Y＝R+G+B

其中R、G和B是像素的红色、绿色和蓝色分量值。计算了每个像素的亮度后，皮肤像素选择组件402按照亮度增加的顺序对像素进行分类。皮肤像素选择组件402然后消除亮度低于下阈值或高于上阈值的皮肤像素。这就排除了其亮度一般落在上亮度阈值之上的高端镜面反射(例如，有光泽的皮肤)。这还排除了与头发、鼻孔、嘴巴和对象脸部的有阴影部分对应的像素，它们一般与低于下亮度阈值的低亮度值关联。

在一个实施例中，根据控制参考色彩集208中的色彩对剩余像素进行聚簇(cluster)。然后，利用在宽范围的图像捕获和照明条件上适用的皮肤色彩模型来识别在可能皮肤色彩范围中的像素簇(pixelcluster)。在一个实施例中，像素色彩像素的最大簇被选择为表示对象203的皮肤色彩。在另一个实施例中，选择具有最大像素密度(即色彩空间中每单位体积的像素数量)的簇。再次，要注意，图像202内皮肤像素的识别能够独立于上面参照图1的步骤130描述的色彩校正估计来执行。因而，在本发明的实施例中，图像202内皮肤像素的识别可以在上面参照图1的步骤130和图4A的讨论所描述的色彩校正估计之前、之后执行或与之基本同时执行。

在本发明的一些实施例中，3D形状信息用来辅助皮肤像素选择组件402。该3D形状信息可以由图像捕获装置201提供或者它可以由皮肤像素选择组件402或色彩校正确定元件401根据捕获装置201提供的多个图像计算。该形状信息可以用来识别脸部特征诸如鼻子或嘴巴，以便这样的区域可以被优先地排除或包括在皮肤像素选择中。该3D形状信息还可以用于估计脸部上的阴影。阴影的知识能够用来从皮肤像素选择中排除某些像素，或者其能够用来修改皮肤像素色彩描述。由图像捕获装置201提供的多个图像还可以以除基于3D形状计算的方式之外的方式辅助皮肤像素选择。例如，该多个图像可以允许对从单个照相机不可能观察的多个皮肤区域进行采样，从而提高馈送到皮肤色彩估计处理的数据量。另外，从多个图像中选择皮肤区域还允许在多个视角上对照明和成像装置影响进行平均。

在本发明的实施例中，在识别图像202内最可能代表对象203的自然皮肤色彩的皮肤像素后，构造那些像素的色彩值的至少一个描述。在本发明的实施例中，所识别皮肤像素的色彩描述可以包括单独的色彩值，诸如RGB空间中的三分量向量。在本发明的其他实施例中，可以使用所识别皮肤像素的综合色彩描述。用于本发明实施例的综合色彩描述的示例可以包括但不限于适合单独色彩样本集合的多维高斯函数的平均值和协方差。另一个示例可以是某个色彩空间中范围的边界。在另一个实施例中，综合色彩描述可以被认为是色彩“类”或色彩“仓格”。

在图4A的实施例中，色彩校正施加器405接收来自色彩校正确定器401的色彩校正函数411以及由皮肤像素选择组件402选择为表示对象203的皮肤色彩的皮肤像素的色彩值(例如412)。在一个实施例中，色彩校正施加器405然后将色彩校正函数411施加到色彩值412并且作为结果输出修改的色彩值209。在另一个实施例中，色彩校正施加器405的功能可以紧接着色彩校正确定器401、皮肤像素选择组件402或皮肤色彩估计器403的动作被执行。

在本发明的实施例中，修改的色彩值209由皮肤色彩估计器403访问，皮肤色彩估计器403然后基于对修改的色彩值209的分析来生成对象203的皮肤色彩估计413。如上所述，在修改的色彩值209中基本消除了可能在捕获图像202时已经存在的图像捕获装置201的成像特性和环境照明的影响。在本发明的实施例中，皮肤色彩估计413可以包括具有与控制参考色彩集208中的参考色彩相同维度的单个向量。在另一个实施例中，皮肤色彩估计413可以包括在由控制参考色彩集208表示的色彩空间上的概率密度函数。在另一个实施例中，对于由图像分析系统205生成的每个皮肤色彩估计413计算误差的概率或方差。在另一个实施例中，用任选的权重对皮肤像素值的平均可以产生单个皮肤色彩估计413。该任选的权重可以部分地通过单独皮肤像素位于皮肤的良好图像采样位置的可能性来确定，其中这些可能性由皮肤像素选择组件402确定。要注意，皮肤色彩估计413可能不包括单个皮肤色彩，而可以指代一类皮肤色彩或皮肤色彩范围。

用于基于皮肤色彩推荐产品的方法和系统

图4B是依据本发明实施例的产品推荐系统220的框图。如上面参照图1和2所描述的，产品推荐系统220基于从图像分析系统205接收的对象皮肤色彩估计而自动生成产品推荐。在图4B的实施例中，产品推荐系统220包括与比较器451耦合的输入450、聚集器452、结果生成器453、数据库455以及输出454。皮肤色彩估计413由比较器451经由输入450访问，比较器451比较皮肤色彩估计413与至少一个分类色彩(例如，图2的221)。在本发明的实施例中，比较器451选择其色彩描述在一定容限内匹配皮肤色彩估计413的色彩描述的至少一个分类色彩。基于这种选择，访问将所选择的分类色彩与至少一个产品相关的(例如，存储在数据库455中的)相关性。结果生成器453然后生成该产品的推荐，该推荐由输出454输出。在本发明的实施例中，输出454可以与网络206或者另一个通信网络通信耦合，网络206或者另一个通信网络将产品推荐传送到系统200的用户。如上所述，用户可以是对象203或者是系统200的操作员。

在本发明的实施例中，由比较器451访问的分类色彩描述221可以具有多个不同意义。在一些实施例中，每个分类色彩221是包括但不限于很多(a range of)人类皮肤色彩的多个色彩之一。在一些实施例中，每个分类色彩221可以代表过去为对象203或为不同人获取的皮肤色彩估计。在其他实施例中，一组“训练”对象的皮肤色彩的估计可以被收集成若干组以形成分类色彩221。换言之，测量一组测试对象的皮肤色彩，之后将那些皮肤色彩聚簇成若干组或类，每个群组或类是单个分类色彩221。在本发明的实施例中，训练对象的皮肤色彩估计可以使用系统200来获取。在其他实施例中，训练对象的皮肤色彩可以人工指定或者使用分光光度计或另一装置来测量。在另外的实施例中，每个分类色彩221可以代表参考比色图表上色标(patch)的色彩、已知目标的色彩或者预定色彩范围的平均值。在本发明的其他实施例中，分类色彩可以代表可由产品推荐系统220推荐的产品的色彩。

如上面参照图2所描述的，仓格化是其中人类肤色色彩谱被划分成离散的组或“仓格”的集合的过程。因而，每个仓格定义人类肤色色彩谱的子集。在本发明的实施例中，每个仓格可以代表单独的训练对象的皮肤色彩或者代表一组训练对象的皮肤色彩的范围或分布的综合色彩描述。通过在皮肤色彩比较之前把数据聚集成若干组，本发明的实施例可以降低“离群值”以及训练数据中其他不规则性的影响，所述“离群值”以及其他不规则性可能歪曲比较结果并且因而在某些情况下使得做出较差推荐。

另外，在本发明的实施例中，使用系统200的每个对象203的皮肤色彩可以随后作为分类色彩被添加到训练对象组，该分类色彩有助于为该同一对象203或某个其他人做出产品推荐。如上所述，分类色彩221还可以代表非人类目标(诸如衣服、化妆品产品等)的色彩。在另一个实施例中，分类色彩221可以代表成像参考色彩集204上的色标(例如301-324)或者另一色彩参考图案。然而，一般而言分类色彩221不必具有任何特定意义。例如，它们可以是某个色彩空间诸如sRGB或HSV中等距隔开的色彩。

在本发明的实施例中，比较器451访问皮肤色彩估计413和分类色彩221的色彩描述。在本发明的实施例中，该色彩描述可以包括单独色彩值或综合色彩描述。单独色彩值可以被描述为单个色彩的表示，诸如RGB(红-绿-蓝)色彩空间中的三分量向量。综合色彩描述指的是某个色彩空间中的色彩值的范围或分布。作为示例，综合色彩描述可以是描述多个单独色彩样本的多维高斯函数的平均值和协方差。综合色彩描述的另一个示例是某个色彩空间中的范围的边界。在本发明的实施例中，综合色彩描述可以被认为是类或仓格。

在本发明的实施例中，其他数据可以被一起收集并且与每个分类色彩描述关联。例如，聚集器452可以基于与单独色彩描述关联的数据从单独色彩描述中形成分类色彩221的综合描述。在一个实施例中，执行单独皮肤色彩描述的分组以形成综合分类色彩221，并且该分组基于分配给在先前训练阶段期间估计其皮肤色彩的对象的标签(label)。这些标签可以由皮肤评估方面的专家、由训练对象本身(例如，经由问卷)或者由任何其他方式提供。在另一个实施例中，执行单独皮肤色彩的分组以形成综合分类色彩描述221，并且该分组基于共享关联产品推荐的单独皮肤色彩。即，如果训练对象的皮肤色彩描述在训练阶段期间与相同产品推荐关联，则那些皮肤色彩描述可以被聚集器452分组为相同分类色彩221。另外，在本发明的实施例中，对象皮肤色彩估计与产品推荐的关联可以被存储并且用作产品推荐系统220的训练步骤。因而，当随后通过输入450访问类似的皮肤色彩估计时，在训练期间存储的先前关联能够用来辅助确定产品推荐。

在本发明的实施例中，比较器451生成描述分类色彩221和皮肤色彩估计413的色彩描述之间的相似度的“差值”。许多不同的比较方法可以用于本发明的实施例中，并且方法的选择可能部分依赖于分类色彩221和皮肤色彩估计413的色彩描述是单独色彩值还是综合色彩描述。即使当皮肤色彩估计413的色彩描述是单独色彩值而分类色彩221的色彩描述是综合色彩描述时也可以完成比较，反之亦然。对于单独色彩值之间的比较，可以采用标准的多元数据比较方法，诸如L1、L2和无穷范数以及简单差分(减法)。对于高斯形式的综合色彩描述和单独色彩值之间的比较，Mahalanobis距离是一个合适的度量。为了比较被表示为某空间中的概率分布的两个综合色彩描述，Kullback-Leibler散度往往是适当的度量。为了比较被表示为高斯分布的综合色彩描述，可以使用平均值之间的距离，其任选地经过由高斯方差确定的缩放。对于被表示为直方图的综合描述，可以使用本领域中普遍已知的任一种直方图比较方法。

在本发明的一些实施例中，分类色彩集221可以被认为是色彩“类”的描述，并且色彩比较步骤(例如，图1的120)包括由至少一个分类器(例如由比较器451)进行的对皮肤色彩估计413的分类。在本发明的实施例中，在这个比较步骤中产生的“差值”是关于某个色彩类集221的类成员资格的决策或者类成员资格的概率或者两者。类成员资格的决策可以视为类成员资格概率估计的特定情况，其中类成员资格的估计概率例如总是1或0，这取决于色彩(例如皮肤色彩估计413)分别被判断为是类成员还是不是类成员。皮肤色彩估计413可以由相同分类器(例如由比较器451)判断为是多个色彩类221的成员，或者它可以被确定为不属于任何类。如果皮肤色彩估计413被判断为是多个色彩类221的成员，则附加的信息(诸如类成员资格的概率估计或者对应于至少其中一个色彩类221的差值)可以取代或附到分类决策结果。

在本发明的实施例中，类成员资格及其概率可以由多个分类器相对于单个预定色彩类集221或者由多个分类器相对于多个预定色彩类集221进行计算。依据本发明的实施例可以使用各种分类器，包括那些在数学与计算机科学领域中通常所称的神经网络、支持向量机、线性判别、高斯模型、决策树、多元自适应回归样条(MARS)分类器、分类与回归树(CART)分类器以及最近邻分类器。在本发明的实施例中，分类器可以在用于分类之前经由标准的训练或者其他方法来构造。

在本发明的实施例中，一旦确定差值或分类结果，产品推荐系统220就自动做出至少一个产品推荐。在本发明的实施例中，还可以访问其他信息以确定应当推荐哪个产品。例如，当前的流行偏好和单独顾客偏好以及对象203的年龄或种族可能影响要推荐的产品的确定。

产品推荐过程可以基于规则集通过各种方法(包括数学与计算机科学领域中熟知的方法)来执行。在一个实施例中，通过对分类色彩221和皮肤色彩估计413之间的(例如在图1的步骤120中获取的)至少其中一个差值应用至少一个分类器来做出产品推荐。在另一个实施例中，选择和与皮肤色彩估计413具有最小差值的分类色彩221关联的产品推荐。在其他实施例中，产品推荐与分类色彩221关联并且可以表示为某个空间中的数值向量。输出的产品推荐于是可以是预定数学函数应用于上述这些向量和色彩差值的结果。

在一个实施例中，与和皮肤色彩估计413类似的分类色彩关联的训练集产品推荐在构造最终得到的产品推荐中被给予较高的权重。例如，这些差值可以经由预定函数被转换成数值或权重，所述数值或权重对于较低差值而言更高，然后使用这些权重将训练集(training set)产品推荐的标量或向量数值表示组合为加权和。该和然后被除以权重的总数，其中对应于最终得到的数值的推荐被用作结果产品推荐。这样的数学函数的示例可以在程序上被描述如下：

选择与皮肤色彩估计413具有最低的N个差别度量的N个分类色彩221，

经由预定函数把该N个色彩差别度量转换成N个类权重，

在该N个类的每个内计算与该类的单独训练成员关联的产品推荐的频率，

经由预定函数把选择的该N个类中的每个内的产品推荐频率转换成“推荐权重”，

将推荐权重乘以对应的类权重以产生“最终权重”，

利用最终权重在与选择的该N个类关联的所有产品推荐上计算加权和；

除以最终权重的和以获得产品推荐的数值表示。

在其他实施例中，应用其他数学程序或基于规则的方法以利用分类色彩221与皮肤色彩估计413之间的差别度量、每个分类色彩221的关联产品推荐统计量、或者两者来获得产品推荐。

图4C示出了依据本发明实施例的分类色彩221和产品之间的示例性相关性。在本发明的实施例中，分类色彩或色彩类与一个或多个产品之间的相关性存储在数据库455中。如图4C所示，多个分类色彩(例如461、462、463、464、465和466)与对应的产品(例如471、472、473、474、475和476)相关。要注意，在分类色彩和特定产品之间不必一一对应。即在某些情况下，分类色彩(例如462)可以与一个以上产品(例如472和473)关联。类似地，给定产品(例如，475)可以与一个以上分类色彩(例如464和465)关联。要明白，在本发明的实施例中，分类色彩和产品之间的关联可以经过如上所述的训练来执行或者可以被人工(例如通过一个人的判断)建立。类似地要注意，依据本发明的实施例，分类色彩(例如461、462、463、464、465和466)可以包括单独色彩值或综合色彩值，或者它们可以涵盖色彩值的范围或分布。

图6是在其上可以实施本发明实施例的示例性计算机系统600的框图。在本发明的实施例中，本发明的若干部分包括例如驻留在例如用作通用计算机网络(未示出)的一部分的计算机系统600中的计算机可读且计算机可执行指令。要明白，图6的计算机系统600仅是示例性的并且本发明能够工作在许多不同的计算机系统中，包括通用计算机系统、嵌入式计算机系统、膝上型计算机系统、手持计算机系统和独立计算机系统。

在本实施例中，计算机系统600包括用于在各种组件之间传递数字信息的地址/数据总线601、用于处理数字信息和指令的中央处理单元(CPU)602、包括用于存储数字信息和指令的易失性随机存取存储器(RAM)的易失性主存储器603、以及用于存储更永久性质的信息和指令的非易失性只读存储器(ROM)604。此外，计算机系统600还可以包含用于存储大量数据的数据存储装置605(例如磁驱动器、光学驱动器、软盘驱动器或磁带驱动器等等)。应该注意，用于执行本发明的产品咨询的软件程序能够存储在易失性存储器603、数据存储装置605或外部存储装置(未示出)中。

任选地耦合到计算机系统600的装置包括用于向计算机用户显示信息的显示装置606、用于输入数据、选择、更新等的光标控制装置608(例如鼠标、跟踪球、光笔等)和字母数字输入装置607(例如键盘)。计算机系统600还能够包括用于发射可听信号的机构(未示出)。

仍回到图6，图6的任选显示装置606可以是液晶装置、阴极射线管或其它适合于创建用户可辨别的图形图像和字母数字字符的显示装置。任选的光标控制装置608允许计算机用户动态地用信号通知显示装置606的显示屏上可视符号(光标)的二维移动。光标控制装置608的许多实施方式在本领域是已知的，包括跟踪球、鼠标、触摸垫、操纵杆或能够用信号通知给定方向或方式位移的移动的字母数字输入607上的特殊键。可选地，要明白，可以使用特殊键和键序列命令经由来自字母数字输入607的输入来引导和激活光标。可选地，可以经由来自许多专门适配的光标引导装置的输入来引导和激活光标。

而且，计算机系统600能够包括用于与外围装置610(例如计算机网络、调制解调器、大容量存储装置等)对接的输入/输出(I/O)信号单元(例如接口)609。因此，计算机系统600可以耦合在网络中，诸如耦合在客户端/服务器环境中，由此使用若干客户端(例如个人计算机、工作站、便携式计算机、小型计算机、终端等)来运行用于执行期望任务的过程。具体而言，计算机系统600能够耦合在用于基于从图像估计的皮肤色彩来推荐产品的系统中。

因而，描述了本发明的优选实施例，即用于基于从图像估计的皮肤色彩来推荐产品的方法和系统。虽然在特定实施例中已经描述了本发明，但是应当明白本发明不应当解释为受这样的实施例限制而是根据所附权利要求书进行解释。

Claims (10)

1、一种用于基于从图像估计的皮肤色彩推荐产品的计算机实施的方法，所述方法包括：

访问从图像(202)生成的皮肤色彩估计(413)；

将所述皮肤色彩估计(413)与分类色彩(461)进行比较；

访问所述分类色彩(461)和至少一个产品(471)之间的相关性；以及

推荐与所述分类色彩(461)相关的所述至少一个产品(471)。

2、根据权利要求1所述的计算机实施的方法，还包括：

在参考色彩空间(208)中处理所述图像(202)，其中所述皮肤色彩估计(413)与用于创建所述图像(202)的图像捕获装置(201)的色彩变换和环境照明无关。

3、根据权利要求1所述的计算机实施的方法，其中所述分类色彩(461)表示人类皮肤色彩。

4、根据权利要求1所述的计算机实施的方法，其中所述分类色彩(461)表示从基本由下列项组成的组中选择的产品(471)：化妆品产品，衣服产品，头发护理产品以及视觉校正产品。

5、根据权利要求1所述的计算机实施的方法，还包括：

产生所述皮肤色彩估计(413)的描述和所述分类色彩(461)的描述，它们是从基本由多个单独色彩值和综合色彩描述组成的组中选择的。

6、根据权利要求1所述的计算机实施的方法，还包括：

将与所述至少一个产品(471)对应的多个所述分类色彩(461)聚集成一类。

7、根据权利要求1所述的计算机实施的方法，还包括：

聚集多个色彩描述来构造所述分类色彩(461)；

生成所述分类色彩(461)的综合色彩描述；以及

将所述综合色彩描述与所述皮肤色彩估计(413)的描述进行比较。

8、根据权利要求1所述的计算机实施的方法，还包括：

计算所述皮肤色彩估计(413)与对应多个分类色彩(461)之间的多个差值；

对所述多个差值进行排序；以及

推荐与具有所述多个差值中的最小值的所述多个分类色彩(461)中的一个分类色彩相关的所述至少一个产品(471)。

9、根据权利要求8所述的计算机实施的方法，其中所述推荐还包括：

生成描述所述皮肤色彩估计(413)与所述至少一个产品(471)之间的相关性的对应概率。

10、根据权利要求1所述的计算机实施的方法，其中所述分类色彩(461)表示所述至少一个产品(471)。

Images