CN111031846B

CN111031846B - 用于调整定制外用剂的系统和方法

Info

Publication number: CN111031846B
Application number: CN201880023536.1A
Authority: CN
Inventors: L·Y·哈维尔; K·莫罗; M·佩颖·林; A·J·金
Original assignee: Shiseido Co Ltd
Current assignee: Shiseido Co Ltd
Priority date: 2017-03-07
Filing date: 2018-03-07
Publication date: 2024-03-08
Anticipated expiration: 2038-03-07
Also published as: US20180260871A1; KR20190129064A; CA3055319A1; WO2018165346A1; EP3592176A1; EP3592176A4; CN111031846A; JP7308753B2; JP2020511444A

Abstract

本发明开发了能够修改初始定制化妆品的系统和方法，其中，初始定制化妆品是基于初始定制化妆品说明或非定制产品的现有说明创建的。用于从现有的非定制化妆品制造定制化妆品的一种这样的系统被配置为能够：用包含至少一个搜索组件的已知键表征非定制产品；提供用户交互以修改所述键中的至少一个搜索组件中的至少一个，以创建修改的键；和通过评估最接近的键的邻域来确定制造指令，从而使用修改后的键生成定制产品。此外，修改定制产品的系统被配置为能够：通过包括至少一个搜索组件的已知键指定定制化妆品产品；提供用户交互以修改所述键中的至少一个搜索组件，以创建修改的键；和通过评估最接近的键的邻域来确定制造指令，从而使用修改后的键生成定制产品。

Description

用于调整定制外用剂的系统和方法

相关技术描述

美容及保护性的涂抹型的乳膏或乳液形式的化妆品外用剂广泛用于防止紫外线辐射、提供保湿屏障、遮瑕和皮肤变色、减少或防止刺激，以及提供其他健康和美学效果。在所有最好可能的情况下，这些保护性外用剂将由专家团队指定用于具有特定需求的特定个体，以及特定环境或用途。然后，将外用剂及时配制并交付给个体，并且个体可以有参与创制这类配方的可能性。遗憾的是，到目前为止，物流和成本限制了向给定用户提供这种特定的优化产品的实用性。

有几种现有技术方法提供了符合特定需要的化妆品外用剂。可以根据皮肤科医生的处方来配制这些药剂。它们可以在零售商店中由知识丰富的店员从一系列成分中组合。可以根据特定顾客的肤色、皮肤类型和特定需要预先配制和选择具有各种性质的系统或成套化妆品乳膏乳液。

用于定制制造和分配这些外用剂的通用的解决方案的主要障碍是产品中的特征数量很多，并且需求变化很大。制造和储存每种针对特定需求和个体最佳的粒度的制剂，在商业上是不可行的。本领域需要使用先进的图像分析技术和最适合于这类需要的配方，根据个人的具体需要确定提供有用的制剂。

捕捉具有中等反射和主要是漫反射的表面反射光谱技术可能要求测量反射的颜色为RGB三元色，或者使用光学方法使已知距离处已知光源的反射率与检测器整合，以测量表面的反射光谱，其中，探测器已设置固定光圈，固定集成光学器件，并在固定的时间段内测量。使用这些技术的设备是反射分光光度计和色度计。

一些移动设备具备色度计的许多特征。例如，它们具有已知特性的光源、CCD检测器、处理器和可用于集成的透镜系统。使用移动设备作为准确色度计的主要障碍是需要：(1)控制环境光；(2)设定与待采样表面的距离；(3)控制用于测量样品的光圈；(4)控制用于测量样品的检测器灵敏度；(5)控制用于测量样品的时间；(6)控制测量样品的白平衡；(7)控制测量样品的焦平面。

虽然移动设备中所用的相机已成为目前使用中最流行的手持式相机，但它们通常缺乏手动设置光圈的能力，并且该最流行的设备不允许软件设置光圈、灵敏度或曝光时间，但是现在有些设备允许设置曝光、曝光时间和灵敏度。虽然移动设备的硬件和固件可以报告使用什么相机设置作为嵌入在结果数字图像文件中的数据，但是在固件内经常使用技术来增强或改善图像，并调整白平衡。控制相机的固件通常都经过了优化，以生成高质量的快照，而不是对光线和颜色进行可靠的测量。

因此，开发了诸多系统和方法来解决这些问题，并允许用户使用移动设备捕捉准确、可重复的颜色样本。本申请人在此开发了针对特定用途而优化的美容和保护性外用剂配方，并公开在美国专利号8,933,994、9,122,918和9,122,919中。工业中正在使用和实施该系统和其他系统，并且可在市场上获得。MATCHCo.等公司提供生产这些外用剂的全栈解决方案。美国专利号8,933,994中公开的系统和方法具有许多有益效果，不仅在于能够实际生产这些美容制剂，而且在于这种系统和方法能够表征给定用户的特征并使用这些特征来得出特定的配方。因此，可以基于这样的系统为个体用户特别配制新的配方。

虽然诸如美国专利号8,933,994、9,122,918和9,122,919中描述的那些系统可以基于先前描述的用户交互和扫描为用户提供精确匹配，但是本领域还需要解决如何响应用户的问题，如果用户决定他或她希望根据审美，环境或文化原因修改特定匹配的配方的要求，并且也为用户评估其资料以及确定是否应该更改收到定制化妆品提供基础。用户也可能落在用于构建如美国专利号8,933,994中所述的系统的收集数据集之外。因此，需要开发并提供一种用户在此类系统中提供额外输入，以调整现有外用剂的方法，该外用剂可以进行如专利US 8,933,994中所述的表征。

已经开发了自适应系统，其采用用户交互来迭代用户的意图。例如，有一些众所周知的方法可以为特定用途来选择颜色。有些就像选择彩色瓷砖或方块一样简单，并且可以看到它在计算机界面中，以交互方式应用于图像或产品。可以在J.Koenderink等人的“颜色选择：最初的20世纪，”美国计算机协会感知应用汇刊(“Color Picking:The Initial20s,”ACM Transactions on Applied Perception,)，第13卷，No.3，13章，13/1-13/25页(2016)找到颜色选择的有用描述。描述在界面中选择颜色的早期专利包括，例如，美国专利号5,249,263。

如上文Koenderink所述，这种现有技术的颜色选择方法提供了用于选择显示颜色的界面，而不是用于制造。

其他方法将一组变量应用于图形滤波器，并且在渲染选择的阵列中呈现这些变量的许多变体。在用户选择一组变量值时，可以基于数据模型呈现一组新的选择，例如G.Jalal等人的“Color Portraits：从颜色挑选到与颜色交互，”CHI 2015年第33届计算机协会年会(ACM)计算系统人为因素会议论文集”，第4207-4216页，韩国首尔(2015年4月18日至23日)。

其他技术使用遗传算法来学习用户如何交互并提供更直观的交互。参见S.Matsui等人的“遗传算法可以优化级联菜单，CHI 2008计算系统中人为因素的SIGCHI会议记录(Genetic Algorithm Can Optimize Hierarchical Menus，CHI 2008 Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems)，第1385-1388页，佛罗伦萨，意大利”(4月05-10,2008)。

美国专利号8,856,160描述了一种方法，用于将用户对键值属性的选择与可定制产品相关联，将键值与至少一个其他键值相匹配并选择过滤器，过滤该键值选择，并将其应用于产品。

美国专利申请公开号2008/0311061A1描述了一种设备，该设备用于从用户收集颜色数据，将该颜色信息与存储的颜色数据集进行比较，以及基于用户数据的比较来混合颜色以用于定制产品的颜料。

尽管存在这样的现有技术系统，但是没有一个系统满足了本领域对于允许用户通过交互式用户界面修改现有定制化妆品配方以便自动创建新的和/或修改的定制化妆品配方的方法和系统的需要。

发明概述

为了在特定时间或地点修改或调整定制化妆品，或者从现有的非定制产品生产调整后的产品，需要采用美国专利号8,933,994，9,122,918和9,122,919中描述的一组特定实施例，它们中的每一个在相关部分中通过引用并入本文。可以使用和修改相同的机制以将美容剂调整到用户的使用规格，并将用户的特征和使用规格映射到其他产品。

特别地，相同的机制可用于描述用于收集要在与制造设备或系统的单独设备上执行的特定用户特征的扫描操作以及用于将扫描信息传送到服务器的扫描操作，并且该信息与该服务器上的数据存储上的该用户相关联。以这种方式，扫描数据可以稍后用于编辑。

该机制还可以用于服务器，从而将用户扫描数据转换成可用于查找或计算用于制造各种化妆品的指令的形式。该数据形式将被称为“键(key)”，并且如美国专利号8,933,994中所述。

由于可能存在许多不同形式的化妆品和许多不同的制造商，因此在服务器上执行单独的动作是有用的，该服务器将使用特定用户的键来找到或计算用于制造特定化妆品的指令。

将制造设备或系统与生成制造指令的设备相分离也是优选和有用的，因为这些设备或系统可能位于不同的位置、制造不同的产品或使用不同的制造工艺。

虽然存在现有已知技术来为用户提供交互以选择颜色的变化，按照如上所述增加或减少特定设置，或者选择不同的设置来影响修改，但是这些现有技术中的每一个对于被修改的数据模型都是特定的。本发明中的数据模型是扫描数据中编码的用户特征，并且其被转换为“搜索键(search key)”。其应用是使用美国专利8,933,994和本发明所述的方法得到特定的定制化妆品配方(与本发明所述的OAPTA使用规范说明相关)。由于该数据模型和应用系统是唯一的，因此，由该数据模型确定的呈现给用户的交互选择将是唯一的。

本文公开的系统与现有系统的不同之处在于，用户采用本发明将与搜索键相关联，所述搜索键(search key)的定义如美国专利号8,933,994和本发明所述。搜索键也不是以键值(key-value)形式存在。更具体地，搜索键本身被直接修改，而不需过滤。本发明中，呈现给用户用以修改搜索键的交互式选择是基于在“标定真实数据集(ground truthdataset)”内找到的数据。与上面讨论的现有技术相比，本发明描述的系统更加独特，因为它在独立的装置上收集用户数据，并且在独立的过程中将用户扫描数据变换成搜索键。然后，为修改搜索键和/或为同一用户添加附加的搜索键，本发明提供另一个过程或交互，优选地，搜索键被修改为包括不同的或附加的数据。然后可将修改之前，在修改之后的搜索键用于产生具有不同配方的多种产品。

本发明包括通过以下方式从现有的定制化妆品或非定制化妆品制造经修改的定制化妆品的系统：使用包含至少一种搜索组件(search component)的已知搜索键来表征现有的非定制产品或定制化妆品产品；提供用户交互以修改已知搜索键中的至少一个搜索组件以创建修改的搜索键值；使用修改的搜索键通过评估最接近的键的邻域以确定修改的定制化妆品的指令，从而来生产修改的定制化妆品产品。完整的搜索键组件(search keycomponent)可以包括一个或多个单独的搜索键组件。

在一个实施例中，优选地，所述至少一个搜索组件包括颜色组件。

在另一实施例中，所述至少一个搜索组件可以包括覆盖组件。此外，所述至少一个搜索组件可以包括干燥组件(dryness component)。

优选地，每个用户交互基于搜索组件的选择以在搜索键中进行修改。优选地，用户交互方向也基于以往编辑方向的可能性。

用户交互量可以基于最接近的键的邻域内的关键组件的变化。

生产指令(manufacturing instructions)可包括每种化妆品主要成分(primarycomponent)的量，其中，每种化妆品主要成分均是符合适用的法规要求的有效化妆品。在这类实施例中，优选地，进行并记录两次测量以验证主要成分的比例。在一个实施例中，其中搜索组件之一可以是SPF值。客户联系信息也可以与记录相关联。

在该系统中，优选地，已知搜索键与用户相关联，并且用户交互还可以包括使用具有光学传感器的设备以将更新的用户图像数据提交给所述系统，以更新与已知搜索键相关联的数据，以及其中，在所述系统中采用更新的图像数据以优化已知的搜索键和修改的搜索键。优选地，修改的搜索键和已知的搜索键各自存储在系统中，并与用户相关联。优选地，用户交互包括在用户界面上的滑块、按钮或图像交互选择，以修改至少一个搜索组件。

在本文的另一实施例中，包括一种用于修改与用户相关联的定制化妆品的方法，该方法包括：a)提供一系统，所述系统被配置为能够通过包含至少一个搜索组件的已知搜索键指定用户的初始定制化妆品产品；b)提供交互式用户界面，允许用户修改搜索键中的至少一个搜索组件，从而创建修改的搜索键；和c)使用修改的搜索键，通过评估最接近的键的邻域来确定制造指令，从而生成修改的定制化妆品。

在该方法中，优选地，初始定制化妆品和已知搜索键与系统中非定制产品的搜索键相关联。搜索组件可以是颜色组件、覆盖组件和/或干燥组件中的一个或多个。此外，在该方法中，用户界面可以包括用户交互式地修改搜索组件的不同方面，在一个实施例中，包括一个或多个滑块(slide)，每个滑块与搜索组件相关联，并且在另一个实施例中，一个或多个相近的可选选项图标，这些图标显示在表示已知搜索键值的搜索组件之一的图标旁边，以供用户选择，从而修改搜索组件。

在该方法中，优选地，通过具有光学传感器的设备和交互式地指导用户扫描校准图像并将数据从扫描传输到系统的应用程序，该系统收集与已知搜索键的搜索组件相关的数据。优选地，所述设备还包括光源。

在该方法中，所述扫描还优选向所述系统提供与所述设备相关联的数据，并且所述应用程序控制至少一个选自下组的设备设置：光圈、曝光、曝光时间、焦距、灵敏度和/或白平衡。该方法使用的系统优选包括订单管理服务，所述订单管理服务包括标定真实数据集，用于与具有光学传感器的设备交互的用户应用程序、混合服务、打印服务、分发应用程序、发货应用程序、以及打印应用程序。

附图简要说明

阅读时，结合以下附图，将会更好地理解前述发明内容以及以下详细描述的本发明优选实施例。出于说明本发明的目的，附图中示出了目前优选的实施例。然而，应该理解，本发明并不限于所示的精确的设备和装置。在附图中，相同的附图标记在不同视图中通常指代相同的部分。此外，附图不一定按比例绘制，通常，将重点放在说明本发明的原理上。

在附图中：

图1是向用户提供优化的外用剂的实施例方法的流程图，在本发明中，用户可以利用该方法创建初始用户档案；

图2是用于本发明的向用户提供经优化外用剂的实施例系统的高级架构图；

图3A-3D是用于本发明的利用具有图像传感器的装置捕捉皮肤颜色的实施例方法的流程图；

图4A-4E是本发明中用户可用于分析含面部区域的图像的实施例方法的流程图；

图5是修改具有初始化妆品颜色的初始定制化妆品的颜色组件的一个实施例的图示，其中，从搜索键发现的颜色邻域收集颜色变化步骤，并且标签‘a’显示第一用户选择；

图6是图5中第一用户选择结果的图示，其中，所选颜色移动到中心初始颜色上，从而调整颜色变化，标签‘b’显示第二用户选择；

图7是第二用户选择结果的图示，其中，图6的所选颜色‘b’移动到中心初始颜色上，从而调整颜色变化；

图8是代表样品用户界面页面的图示，用于修改本文另一实施例的定制化妆品的用户档案；和

图9表示用于创建定制产品或修改定制化妆品的系统的图示。

本发明的详细描述

以下描述针对新发明，并且在相关部分中通过引用并入涉及用于准备初始搜索键的基础系统和方法，作为用于创建初始搜索键和用于校准初始搜索键的优选方法的一部分。本发明所述的设备以及其它相关步骤，如美国专利号8,933,994，美国专利号9,122,918和美国专利号9,122,919中的每一个，在与本发明所公开的内容相关的范围内，每个专利的全部内容并入本文，除非本文另有修改，否则其中来自以上专利的定义以相同的方式使用，并且其中文本在适用时引入，以限定其中可用于本发明的现有系统和方法。

在可以如上所述使用的系统的一个实施例中，定制化妆品配方由一些主要成分组装而成。这些主要成分中的每一种都是符合适用的法规要求的化妆品。在该实施例中，用于制作初始的现有定制化妆品配方或包括现有非定制化妆品配方的标定真实数据集是通过扫描和匹配一组参比用户而构建的，该数据集包括含有用于为参比用户混合初始定制的化妆品配方(这将在一些地方称为“混合(mix)”)与使用的主要组分比例的记录，从扫描生成的校准数据(称为“键(key)”)和可能从用户收集的其他数据，例如SPF和/或“产品表面处理”(即，产品在皮肤上的光学品质)。该键包括至少一个搜索组件(search component)，其可以是但不限于颜色信息、皮肤干燥程度和所需的覆盖量。

在该实施例中，使用算法来搜索标定真实数据集并使用搜索键找到混合。选择该算法至少执行以下步骤：(a)它遍历标定真实数据集(ground truth dataset)中的条目，并找到其键最接近的搜索键的记录；(b)它找到附近的那些记录，并将它们组合成叫做邻域的集合；(c)它分辨邻近区域中与搜索键最匹配的每个条目的贡献；(d)使用已发现的贡献计算混合配方(mix formula)。

为给定搜索键产生定制化妆品配方的优选步骤包括：使用该算法找到搜索键的混合公式；使用混合公式将主要组分分配到容器中；使用至少两种方法来验证分配的数量，例如手动操作员检查，使用重量通过自动化过程的验证，和/或使用体积通过自动化过程的验证；并将混合物在容器中混合。

在这样的实施例中，首先，用户必须创建初始定制的化妆品配方，该步骤可以包括通过识别正在使用的现有非定制产品，各种用户偏好和其他如下详述的用户数据向系统提供初始反馈。如果用户想要在创建初始定制化妆品配方之后创建新的和单独的配方或者希望修改配方，则也可以使用用于产生初始定制化妆品配方的相同步骤。如上文的专利所述，这些专利是通过引用具体地并入本文，用户最初必须运行交互式引导扫描，其可以以若干不同方式完成。在一种方法中，优选通过一组步骤交互地指导用户以产生定制的化妆品。例如，用户使用移动设备扫描她或他自己，并且应用程序用于交互地指导用户扫描用户面部区域。在扫描过程中，指导用户捕捉具有已知光线和颜色特征的皮肤区域的图像。该图像经过处理以提供校准的肤色信息。然后，系统基于校准的肤色信息自动为用户确定定制的化妆品配方。

优选地，皮肤区域图像接受自一种具有图像传感器的设备，更优选地，接受自一种具有图像传感器和光源的设备，并且可以通过使用设备的图像传感器和/或光源捕捉多个皮肤区域图像(诸如面部区域)来交互地指导用户。“图像传感器”可以是任何图像传感器，例如具有用于感测光子的CCD阵列和用于投影图像的透镜、软件和图像处理器的设备，然而可以使用能够执行本发明功能的任何合适的图像传感器。

如上述专利中所述，最初进行扫描用于创建定制化妆品配方的另一种方式包括使用设备的图像传感器交互地指导用户通过捕捉标记的图像，并且基于至少部分地捕捉的标记图像来处理皮肤区域图像。在这些扫描和/或图像捕捉步骤中使用的设备可以是移动电话、平板电脑(tablet)、数码相机、网络摄像头、智能眼镜、电视、虚拟现实眼镜(virtualreality goggles)、游戏控制台或家居助理(例如Alexa^TM或Home^TM)中的一个或多个，优选地，其具有相机和光学传感器，并且更优选地具有光源。皮肤区域图像可以包括识别设备和图像传感器中至少一个的性能的嵌入数据，并且可以至少部分地基于嵌入数据来处理皮肤区域图像。用于校准的标记(marker)可以是各种各样的事物，例如，先前分析的皮肤区域(或从用户的皮肤区域的各种样本中获取的数据)、在白色背景上的已知尺寸的标记、或者是已知尺寸的白纸标记(例如一张典型的8.5英寸×11英寸的白纸)。尽管尺寸或标准反射率(reflectance)和颜色可以变化，但标记应具有已知的反射率和颜色。具有已知颜色、反射率和尺寸的纸张可用于校准设备及其设置，例如调整移动智能电话上的相机的设置。因此，白纸可以用作白色区域和标记。用户将纸张放在白色表面上，然后按照指示交互地进行校准设备。

在校准设备或结束扫描时，用户最好使设备触碰(touch)校准表面，校准表面可以是标记或皮肤区域(即，标记表面是任何用作校准基础的表面)。优选地，校准表面是平的或几乎平的，但可以是任何合适的校准表面。每次触碰都被视为“点击(tap)”。朝向标记或皮肤区域的表面作点击的每次移动以及从背离表面的每次移动都是单个“传递(pass)”。完整的接触过程或“点击”包括两次传递和触碰表面。移动设备以使图像传感器的视野至少覆盖一张白纸标记的90％。在大约1秒的点击期间，可以记录大约30个图像/秒，并且选择最亮的那帧。通过直方图进行亮度数据分析，并分析像素点的亮度、光泽度和其他性质差异。每次传递都提供了一份数据样本以供分析。

优选地，使用应用程序以及视频、照片、语音命令或其他执行点击提示，从而引导用户完成该过程。每次扫描由应用程序评估，并且由至少5次点击组成(每次传递期间提供10个样本)，有时甚至更多。在取出5个样本之后，将新样本与其他样本进行比较以执行正在运行中值滤器。滤器通过丢弃与现有样品的中值相比太亮或太暗的样品，支持收集落在中值的样品。颜色相差较大的样品也被丢弃。如果太多样品超出校准范围，应用软件将要求用户再次执行第一步并开始或继续点击。软件将会继续扫描过程，直到收集到足够的有效样本或直到该过程失败。用户可随时让软件扫描。

如果由于某种原因校准失败(例如设备性能差)，则应用程序可以指示用户继续点击以尝试获取更好的数据，并且将重新设置设备以再次尝试，但是，如果继续失败，可以提供客户服务联系信息选项。

本发明描述了一种运行扫描的优选方法。为了记录准确且可重现的颜色(可以重复)，设置应用软件以控制相机的曝光、测量用户皮肤表面所用的光量、以及相机与皮肤表面的角度和距离。该软件有效地“重新设定(re-purposes)”设备特性以便运行扫描，并进一步指导用户操作。

每个设备具有图像传感器(相机)，并且优选地，具有光源，例如LED手电筒(torch)。在这样的设备中，LED手电筒和相机的分离(如在典型的移动智能电话中)并且其与待测平面的关系绘制为一个几何形状，使得从相机到光照最亮的目标只有一个距离。为了将电话放置在该点，软件将以交互方式指导用户作传递以碰触待测表面。随着手机移向表面，软件对来自相机的每个视频帧进行分析，并找到图像的特定区域最亮的时间。到表面的距离是已知的。表面可以是如本发明所述的简单校准标记和/或待测量的皮肤区域。

如本发明其他地方所述，标记可以是具有已知反射率和已知尺寸的白纸(例如欧洲亮度为104的白色“8.5×11”复印纸)，以确保尺寸和反射率的一致性以及公知的用途和可用性。然后使用多次传递(“点击”)来测量表面。对点击中朝着和离开表面的每次传递进行测量。在点击期间收集数据，并且软件可以找到LED手电筒在皮肤表面的镜面反射并测量表面的光泽度。它也可以被反射回来(pulled back)，直到相机聚焦在皮肤区域并记录皮肤的显微照片。

创建定制化妆品配方的另一种方式可以包括将校准的肤色信息与参比用户匹配，参比用户具有与之相关的预先确定的化妆品配方。

定制化妆品配方的自动确定还可以至少部分地基于用户输入信息，例如，基于用户对化妆品成分过敏的指示。可以复配基于定制化妆品配方的外用剂并交付给用户。允许用户购买基于定制的化妆品配方复配的外用剂。

如本发明所述的用户搜索键(其与用户的定制化妆品配方相关联)可与，在创建初始定制化妆品配方时，被系统选择为最佳匹配的现有的非定制化妆品相关联。因此，用户可以提供用户初始信息(用户数据收集)以开发与搜索键相关联的初始定制化妆品。用户还可以提供产品偏好作为对用户档案的反馈，以用于修改如本发明所述的初始定制化妆品配方。

用户还可以进行交易以订购产品。从扫描(扫描信息)收集的数据也被传送到服务器。在上述用于创建初始定制化妆品配方的方法中使用的系统包括至少一台计算机，该计算机包括存储器和处理单元，所述存储器用于存储计算机可执行指令，所述处理单元用于执行存储在存储器中的指令。执行指令将计算机配置为执行操作，包括指导用户捕捉具有已知照明和颜色特征的至少一个皮肤区域的一个或多个图像。处理图像以提供校准的肤色信息，并且系统基于校准的肤色信息自动为用户确定定制的化妆品配方。皮肤区域图像可以接收自具有图像传感器的设备，并且优选地还具有光源，并且操作还可以包括通过捕捉多个皮肤区域图像(例如使用如上所述的设备的图像传感器的面部区域)来交互地指导用户。

在基于通过引用并入本文的专利开发的MATCHCo应用程序中，使用已知光照来执行优选的交互式扫描，优选地，所述光照通过使用具有光源的设备以及图像传感器来识别，例如具有已知的颜色特征的LED手电筒移动电话。通过使用相对于皮肤表面的设备位置和光源位置之间产生的几何形状来进一步控制皮肤上的光照和颜色，以确定设备距皮肤表面的距离。这是通过一系列针对每个面部区域的动作来交互式地引导用户而实现的。要求用户移动设备以朝向和远离给定的面部区域，即，通过进行包括“点击”的传递，并且使用光源对皮肤的最亮点进行距离检测。例如，应用程序将运行并提示用户打开设备的光源(例如打开移动智能手机的LED手电筒)或使用软件命令自动打开设备的光源，如LED手电筒，并将设备移向特定的皮肤区域并远离该区域，直到通过一系列交互步骤记录到最亮的照明点。然后使用该数据以捕捉校准的皮肤颜色信息。

上述方法和系统还有操作步骤，其可以进一步包括交互地指导用户使用设备的图像传感器捕捉标记的图像，以及至少部分地基于捕捉的标记来处理皮肤区域图像。该设备可以是上面提到的任何设备。皮肤区域图像可以包括识别设备和图像传感器中至少一种的属性的嵌入式数据，并且可以至少部分地基于嵌入数据来处理皮肤区域图像。

本方法和使用本系统所进行的操作之一还可包括通过将校准的肤色信息与参比用户(该参比用户具有与此相关的先前确定的化妆品配方)匹配来自动确定定制的化妆品配方。定制化妆品配方还可以至少部分地基于用户对化妆品过敏(或其他用户偏好)的指示自动确定，使得所执行的操作还可以包括允许用户购买符合这些偏好的定制化妆品配方(例如省略一种成分)。

在确定定制化妆品配方的方法中，还可执行用户扫描，包括通过使用具有图像传感器(优选地，还具有光源)的设备来捕捉一个或多个图像以便交互地引导用户，其中，每个图像包括用户的皮肤区域，处理皮肤区域图像以提供校准的皮肤颜色信息，将校准的皮肤颜色信息与标定真实数据集进行比较以识别一组标定真实数据集中最接近的已知值，并基于比较，为用户自动确定定制的化妆品配方。定制的化妆品配方包括以下中的至少一种：(i)独特的定制化妆品配方，它是基于校正后的肤色信息与一组最接近的已知值的相对接近度推导出来的和(ii)现有的非定制化妆品产品。

所述系统和方法进行的操作可以包括处理所述皮肤区域图像，以包括所述皮肤区域图像中的至少一个：通过各种手段，包括通过使用面部识别软件在所述至少一个皮肤区域图像中检测面部多个区域，基于肤色分割面部区域，以及基于肤色，阴影和镜面高光中的至少一个为每个面部区域片段分配颜色。在美国专利申请公开号2017/0076474A1中描述了为此目的可以实施的一种此类面部识别软件。其他已知的面部识别软件也可用于此目的。

在执行涉及扫描用户数据的本发明各种方法和系统时，要扫描的皮肤区域优选为手腕下侧、前额、右脸颊、左脸颊、右颌、左颌和/或任选地全脸中的一个或多个或全部，但也可以使用其他区域，这取决于系统如何设计以达最佳目的。

所述方法和系统还可以包括允许用户基于以下购买现有化妆品产品：初始定制的化妆品产品(即，基于独特的定制化妆品配方或匹配的现有非定制产品的产品)或基于任何单独的、新的定制化妆品产品或新的改良的定制化妆品产品，其每种产品都基于最初的定制化妆品产品。

还可以使用包括至少一台计算机的系统确定定制的化妆品配方，该计算机本身包括用于存储计算机可执行指令的存储器和用于执行存储在存储器中的指令的处理单元。执行指令将计算机配置为执行操作，包括使用具有图像传感器和可选的光源的设备通过捕捉一个或多个图像来交互地引导用户，其中每个图像包括用户的皮肤区域；处理皮肤区域图像以提供校准的皮肤颜色信息；将校准的肤色信息与标定真实数据集进行比较，以识别一组标定真实数据集中的最接近的已知值；并根据比较为用户自动确定定制化妆品配方。定制的化妆品配方可以包括以下的至少一种：(i)根据校正后的肤色信息相对接近一组最接近的已知值推算出的定制化妆品配方的独特化合物和(ii)与现有的化妆品相匹配的产品。

可以对上述所用的皮肤区域图像进行处理，包括针对至少一个皮肤区域图像的步骤：在所述至少一个皮肤区域图像中检测多个面部区域，基于肤色分割面部区域；以及基于肤色，阴影和镜面高光中的至少一个为每个面部区域片段分配颜色。

还可以接收与至少一个皮肤区域图像相关联的环境照明信息，并且可以至少部分地基于环境照明信息来处理所述至少一个皮肤区域图像。这类图像处理可包括使用面部识别软件处理环境照明信息，以去除环境照明，将颜色校正为与校准设置一致的颜色。

本文的系统和方法还可以包括以下步骤：使用设备的图像传感器和可选的设备上的光源，通过捕捉标记的图像来交互地引导用户，然后至少部分基于标记图像处理皮肤区域图像。基于标记图像的成功捕捉来存储设备的图像传感器的当前设置。设备的图像传感器设置可以包括光圈、曝光、曝光时间、聚焦、灵敏度和/或白平衡等。基于存储的图像传感器设置来处理皮肤区域图像。处理皮肤区域图像可以包括补偿未知光源。

还可以采用利用具有图像传感器和任选的光源的设备捕捉对象的准确颜色的方法来实现用户的扫描，该方法包括使用具有已知尺寸和/或已知颜色的标记来校准设备的多个设置；测量物体的多个表面中的每个表面的颜色；根据测量的颜色确定物体的表面反射率；并且基于校准设置，测量的表面颜色和对象的表面反射率来确定对象的表面颜色变化。多个表面可以包括皮肤区域，并且装置和标记可以如上所述。

例如，可以通过指导用户将标记放置在基本白场上来校准设备。然后，校准设备可以包括基于基本白场的捕捉图像来设置孔径、灵敏度(基于用于测量灵敏度的ISO单位)、曝光时间、曝光和/或设备的白平衡中的至少一个。校准设备还可以包括将与设备的图像传感器相关联的光源(例如移动电话LED手电筒)设置为已知亮度。这允许控制白平衡并允许设置设备的图像传感器的曝光，例如，在移动智能电话的情况下，调整相机的曝光。校准设备还可以包括交互式地引导用户将设备的图像传感器定位在距标记表面的特定距离处。校准设备还可以进一步包括，在将设备的图像传感器定位在距标记表面特定距离处后，锁定设备的至少一个设置。设备的设置可以是自动曝光、曝光时间、灵敏度、自动对焦和/或自动白平衡。当测量对象的每个表面的颜色时，可以应用设备的锁定设置。

在设备校准的一个优选实施例中，使用具有LED手电筒的移动智能手机相机，每个这样的设备均是在高质量控制下制造的，因此类似型号的各个设备，其性能也类似。然而，每个型号都有一组不同的功能和组件，使得从一个型号到另一个型号的照明和曝光特性存在很大差异。每个型号都有一个特定的CCD组件。不同的CCD组件对光有不同的响应。每个型号都有不同的LED阵列光源组件，每个LED组件产生不同的光谱。此外，每个型号可以具有特定版本的操作系统软件来获取图像并调整照明。对于每种型号的手机和每种主要操作系统版本，都需要有一种校准相机对LED光源的响应的方法。系统校准的一个实例是独立于对肤色的特定响应，校准CCD对光的响应。通过使用如上所述的扫描方法(使用校准表面和点击)来执行CCD对LED手电筒照明的响应，以测量一组已知的灰度反射率目标。制造所述目标以使它们的反射率已知，并且表示从高到低漫反射率的均匀间隔(even step)。使用该数据确定系统的响应曲线。对校准标记和随后的一组表示肤色的目标执行相同的过程。所述目标可以制造为表示皮肤的反射率，也可以是具有已知测量值的测试对象皮肤的区域。选择目标以代表各种肤色范围。

然后，通过利用灰度响应曲线将每个设备的皮肤测量值转换为线性度，建立每个设备的颜色校准响应。然后使用校准标记作为参比将每种颜色的响应校准为白点。然后通过将其调整后的颜色映射到来自目标的已知测量值，为每个设备构建变换。所得到的设备校准可以存储在可访问应用程序的OAPTA服务流程服务器上。只有在设备的成像软件发生变化或包含新设备时才需要更新。

可以通过指导用户将标记放置在物体表面附近来测量物体表面的颜色。测量对象表面的颜色还可以包括交互式地引导用户将设备的图像传感器和对象相对于彼此定位以匹配校准目标。交互式引导可以包括语音和/或视频影象指导以及其他用户提示，例如振动或声音反馈(ping音等)，以使用户知道需要另一步骤，例如提示用户已经将设备放置到离表面到足够远处，以提供最佳数据。测量物体表面的颜色还可以包括，在将设备图像传感器定位在距标记特定距离处后，捕捉物体表面的颜色。确定对象的表面反射率还可以包括将捕捉的颜色转换为对象的表面反射率。

可用于捕捉对象的准确颜色以供在本发明的方法和系统中使用的系统包括至少一个计算机，计算机本身包括用于存储计算机可执行指令的存储器和用于执行存储在存储器中的指令的处理单元。执行指令将计算机设定为执行操作，包括使用具有已知尺寸的标记校准设备的多个设置(其可以具有图像传感器和/或优选地，光源)；测量物体的多个表面中的每个表面的颜色；根据测量的颜色确定物体的表面反射率；并且基于校准设置，测量的表面颜色和对象的表面反射率来确定对象的表面颜色变化。所述的多个表面可以包括如上所述的皮肤区域，并且所述设备可以是如上所述的设备。标记物还可具有已知的反射率。如本发明所述，在其最简单的形式和用途中，标记物可以是具有已知尺寸和已知反射率的白纸。

校准设备可以包括引导用户将标记放置在基本白场上(或者使用白纸作为具有基本白场的标记)。校准设备还可以包括基于捕捉的基本白场的图像来设置设备的孔径、灵敏度、曝光、曝光时间和白平衡中的至少一个。校准设备还包括将与设备的图像传感器相关联的光源设置为已知亮度。此外，校准设备可以包括交互式地引导用户将设备的图像传感器放置在距标记表面的特定距离处。这样，用户将通过用户设备交互(触觉端口)达到一个点，其中，所述设备通过振动或向用户提供另外提示，设备已经达到其优选距离，该距离能够实现最佳光源亮度和焦点，以提供最佳的用户数据收集。此外，校准设备可以包括，在将设备的图像传感器放置在距标记表面特定距离处后，锁定设备的至少一个设置。所述设备的设置可以是自动曝光、自动对焦、曝光时间、灵敏度和/或自动白平衡。当测量对象的每个表面的颜色时可以应用设备的锁定设置。

测量对象表面的颜色可以包括指导用户将标记放置在对象表面附近。测量对象表面的颜色还可以包括交互式地引导用户将设备的图像传感器和对象相对于彼此放置以匹配校准目标。交互式引导可以包括语音指示和/或任选地视频影像指示和/或用户反馈，例如振动和/或通知声音。测量物体表面的颜色可以进一步包括，在将装置图像传感器放置在距标记特定距离处后，捕捉物体表面的颜色。确定对象的表面反射率可以包括将捕捉的颜色变换为对象的表面反射率。

对于每个扫描区域，所述信息应包括：颜色信息，镜面反射率；和颜色变化以及如上所述的其他信息。用户数据收集还可以包括用户反馈信息(例如省略或添加特定成分)。然后，如上所述，将该用户数据收集信息编码成搜索键。所述键可以与用户将来的指令相关联。然后，在连续n-空间上，使用所述键值执行算法搜索，并返回混合公式。混合值连接到交易(单元)。选择订单生成系统，并生成订单。生成的订单将发送给客户。

当用户接收产品并对其进行评估时，在某些情况下，用户可能希望更改或修改产品并对其进行重新下单。为此，用户可以遵循一组步骤来修改产品。此产品的修改是创建基础的延伸，以提供参考OAPTA反馈。在创建原始OAPTA时，用户可以使用上面通过引用并入本发明的专利中描述的各种方法和系统，以及所述系统和方法用于指定和配制外用剂的各种实施方式，所述外用剂是针对具体个体的特点进行优化过的，其使用例如：使用适用于图像分析技术的手机、平板电脑、网络摄像头、数码相机、游戏机、电视、虚拟现实眼镜、智能眼镜、家居助理(如Alexa^TM或Home^TM)(优选地，需要有相机和光传感器)、以及具有图像传感器并且更优选地具有光源的其他用户或专业设备。

优化的美容和/或保护性外用剂

在一个实施方案中，提供了一种系统，其生成用于定制外用剂的规格说明，在本发明中，所述定制外用剂是指“优化的美容和/或保护性外用剂”，在本发明中缩写为“OAPTA”。OAPTA是针对在本发明称为“用户”的特定个人客户的需求和特征而配制的。OAPTA可以包含一组合适的组分。所述组可以足够大从而能满足给定用户的大多数需求。在某些情况下，在用户的OAPTA的特定配方中仅使用少量组分。所述的OAPTA可以被制造为用于皮肤美容，遮瑕和/或保护的各种类型的化妆品，例如：粉底、彩妆、皮肤护理，防晒和其他彩妆配方和个人护理产品，这些不应该被认为是限制性的。因此，该申请可以是任何定制的化妆品配方，然而，为了简化目的，申请人将所有这样的定制化妆品配方统称为OAPTA。OAPTA的组分(OAPTA组分集)可包括但不限于：

外用基料、水、溶剂、乳液、凝胶、树胶；

透湿和保湿剂；

紫外(UV)过滤和/或防晒活性剂；

不透光(遮瑕)剂；

颜色控制剂；

反射(高光、亚光、乳白光)控制剂；

抗炎剂(例如芦荟等)；

保护剂(例如维生素E等)；

着色剂和/或染料；

增稠剂和/或流变剂；

缓冲剂和其他pH调节剂或中和剂；

有机添加剂和/或香料；和

防腐剂和抗真菌或抗微生物剂。

用户可以使用如上所述的移动设备，计算机或其他网络设备。优选地，所述设备具有运行应用程序和/或下载应用程序的能力，并且优选地，具有用户界面，其用于在将初始OAPTA配制成产品之后修改和/或主动请求新的单独的OAPTA。用户可以登录并选择订单，或输入订单号。如果用户没有创建初始OAPTA，而是选择修改和/或创建新的OAPTA，则优选向用户呈现用于修改订单的界面。然而，应该理解，所述系统的变形形式可以涉及使用具有语音命令动作的仅语音设备，该语音命令动作通过用户辅助的语音或单词提示，如果必要，可以嵌入用户帮助服务访问。

在一个实施例中，参见图1，使用以下高级步骤向用户提供初始OAPTA。为了简洁和清楚起见，在本发明中，将用于向用户提供OAPTA的所有步骤的集合称为“服务”。在步骤(102)中，使用，例如，提供对本发明系统的访问的用户名和密码来识别用户。当然，可以进行其他登录方法和/或安全步骤，包括登录确认标识符(例如文本确认号、照片标识符、指纹、视网膜安全识别)等。在用户先前没有使用过所述系统的情况下，用户可以进行注册以建立新帐户(步骤104)。然后，用户的详细信息(例如，姓名、地址等)可以存储在用户数据库(150)中。一旦系统识别出用户(例如，登录)，就可以收集数据(步骤106)以确定用户的需求和偏好(例如，允许用户指出需要的化妆品，指示先前使用的首选品牌或产品，允许用户说明任何过敏信息，拍摄皮肤图像，等等)。所述界面可以向用户提供完成初始调查的提示，并且问答提示可以辅助提供所需的数据。数据收集步骤也可以使用专业服务来执行，例如面对面的专业咨询(步骤108)，或者，任选地，可以由用户自己通过使用用户设备(例如，如本发明所述的移动电话、平板电脑、数码相机或其他设备)上的应用程序拍摄照片来执行(步骤110)，然后自动验证照片的颜色准确性、质量和其他特性(步骤112)。由专业服务和/或设备应用程序捕捉的信息可以存储在用户数据库(150)中，以供以后参考和再次使用。

在数据收集(或对先前收集的数据的引用)之后，步骤(114)为OAPTA提供了说明，其中，使用诸如上述那些组分来指定OAPTA的组分。在步骤(116)中，基于OAPTA说明，生成用于制定和/或制造OAPTA的指令。如果用户正在使用应用程序来生成OAPTA，则应用程序可以显示要创建的定制产品(步骤118)，并允许用户将产品放置在购物车中(步骤120)并购买它(步骤122)。然后可以使用所生成的配方指令来配制OAPTA或选择与配方匹配的预制OAPTA(步骤124)。然后可以将OAPTA发送给用户(步骤126)，并且可以任选收集反馈以确定是否满足用户的需求(步骤128)。

OAPTA系统

在一个实施方式中，向用户提供OAPTA的系统(200)是由一组组件和服务组成。所述系统(200)可以包括一共享的OAPTA组件集(210)，如上所述，以供系统(200)中的各种OAPTA服务使用。至少有一个OAPTA参比服务(220)可以方便地创建OAPTA，其用于参比用途的集合和OAPTA元数据(230)的组装。所述OAPTA参比服务(220)以与OAPTA生产服务240相同的方式收集用户数据，并且可以收集附加用户数据以制定最佳初始OAPTA说明。

OAPTA元数据(230)是从OAPTA参比服务(220)收集的用户数据的集合，允许将从OAPTA生产服务(240)收集的用户数据映射到OAPTA参比服务(220)生成的OAPTA说明。至少一个OAPTA生产服务240使用由至少一个OAPTA参比服务(220)生成的OAPTA元数据(230)来提供OAPTA说明的创建。

OAPTA系统反馈(250)提供来自至少一个OAPTA参比服务(220)和至少一个OAPTA生产服务(240)的OAPTA反馈集，以便修改或改变OAPTA组件集(210)和/或修改OAPTA生产服务(240)的所述说明，配方和/或配制(260)。

共享的OAPTA组件集

共享的OAPTA组件集(210)可以如下所述说明；但是应该理解，共享的OAPTA组件集(210)可以以各种合适的方式具体化，这些方式在本发明描述的OAPTA系统内起类似的作用。在本文，将由皮肤科医生，美容师和化妆品调色师构成的组称为“OAPTA专业组”的一个例子。在一个实施方式中，所述的共享的OAPTA组件集(210)由OAPTA专业组指定。所述的共享OAPTA组件集(210)可以首先指定完整集，然后指出可以相互使用的那些组件的互相联系组。例如，可以将一组着色剂指定为仅可用于特定的局部基础，或者可以将一起使用以提供更多的不透明度一组组分显示为一起使用最有效。类似地，可以识别和标记最适合具有某些过敏或皮肤问题的用户的那些条目的组。

组件的初始映射为OAPTA生产服务(240)的说明方法提供数据，在本文中称为“说明提示”。在本文的一个实施例中，说明提示由无向图表示，其被转换为一组最小生成树。应当理解，通过遍历最小生成树以更快地发现可以一起使用组分，而不是评估无向图。在该转换之后，由组成说明提示的多个生成树可以参考在共享OAPTA组件集(210)中的单个项目。在初始创建之后，可以通过OAPTA系统反馈(250)，以及由OAPTA专业组的修改更新或发现所述说明提示。

OAPTA参比服务

可以在指定共享OAPTA组件集(210)之后构建OAPTA参比服务(220)。所述的OAPTA参比服务(220)产生构建OAPTA生产服务240所需的OAPTA元数据(230)。在一个示例性实施例中，所述OAPTA参比服务(220)被设置为专业服务。在另一实施方式中，所述OAPTA参比服务(220)被设置为在线企业和零售商店。在下面的描述中，专业服务的OAPTA参比服务(220)的实现方式用作一个示例。

参比用户身份

作为专业服务，OAPTA参比服务(220)可以使用最佳实践来管理用户标识。除此之外，它还可以实现隐私策略和信息使用策略，其允许参比服务(220)以匿名的形式收集和存储用户数据，并且不识别用户，从而可以用于构建OAPTA元数据(230)。基于某种考虑，还可以对OAPTA系统(200)使用的数据达成协议，使得系统(200)的生产组件的用户可以识别具有类似OAPTA产品需求的特定参比用户(例如名人)。

参比用户数据采集

所述OAPTA参比服务(220)可以使用与所述OAPTA生产服务(240)相同的数据集合。此外，可以使用OAPTA专业组指定的数据收集方法来扩充此数据。

公共服务数据收集

在一个实施例中，服务数据集合使用一组移动设备上的应用程序，所述移动设备是具有相似特征以及具有相似信息收集和媒体显示特性方式制造的。移动应用程序可以引导用户完成一系列步骤来收集数据。例如，应用程序可以询问用户他或她是否有特定需求，过敏情况或令人担忧的皮肤问题。应用程序可以播放一段视频，指示用户下一步执行哪个步骤，和/或可以使用移动游戏的上下文来获得和优化数据。可以选择移动设备，并构建应用程序，以从每个集合中提供一致的数据。可以使用以下方法中的一种或多种来执行一致的图像数据集。

1.在一个实施例中，使用具有已知特征的制造的记号或标记(例如，新美元钞票的一部分、新二角五分硬币、一张白纸或制造并发送给用户的标记)。移动设备应用程序(或其他设备应用程序)可以指示用户单独拍摄标记的一部分和/或拍摄用户皮肤旁边的标记的图片(如果适用的话)。图像被发送到所述OAPTA服务，在那里根据使用的标记进行校准，并从图像生成必要的数据。

2.在另一实施例中，将参比色卡投影到用户设备屏幕上，并且指示用户在镜子中拍摄一帧同时捕捉他或她的皮肤和参比色卡的照片。图像被发送到所述OAPTA服务器，在那里根据使用的标记进行校准，并从图像生成必要的数据。

3.在另一数据收集实例中，移动设备的内部闪光灯(或LED手电筒)被用作光源，并且指示用户以特定方式拍摄一张或多张他或她的皮肤的照片。图像被发送到所述OAPTA服务器，其根据来自设备的闪存和Exif数据(包括焦距)校准，从而从图像生成必要的数据。

4.在另一个实施例中，用于运输OAPTA产品的包装被设计成手持移动设备，提供一个遮光罩，并定义与用户皮肤的特定距离。指示用户以特定方式拍摄一张或多张他或她的皮肤的照片。图像被发送到OAPTA数据收集服务器，其根据来自设备的闪存和Exif数据(包括焦距)校准，从而从图像生成必要的数据。

5.在另一个优选的实施例中，图像可以由移动设备上的应用程序捕捉，该应用程序允许软件控制相机。在设备上运行的软件可以将设备设置为仅使用设备上的闪光灯或光源，例如LED手电筒和/或它还可以使用设备上的面部检测以确定拍摄图像的时间。例如，当到用户的面部的距离在已知距离内和/或用户的面部居中并且在焦点处时，可以拍摄图像。在移动设备上运行的软件还可以使用实时视频捕捉来确定环境光的量(不使用闪光灯)，并且可以使用语音，文本，声音或效果提示以交互式地向用户建议如何更改灯光。在使用闪光灯拍摄数码照片之前，在视频模式下检测到的环境光的信息可以与图像一起发送以进行处理。此外，可以快速连续拍摄两张图像，一张使用环境光，另一张使用闪光灯。

现在将更详细地描述使用具有图像传感器的设备(例如具有LED手电筒的移动智能电话)上的相机和光源捕捉准确的肤色。应当理解，尽管本发明技术主要描述了关于捕捉准确的肤色，但是其他应用也是可以的，特别是在使用色度计的情况下。

图3A描绘了使用具有图像传感器的移动设备或其他设备捕捉肤色的过程的一种实现方式。在步骤(310)中，在白场或基本白场上，使用已知尺寸的标记校准设备，其中所述标记本身可以是白场，例如如上所述的标准尺寸的白纸。在步骤(330)中，系统测量与所述标记相邻的对象表面(例如，皮肤区域)的颜色。在步骤(350)中，测量已知尺寸的对象的颜色，并且在步骤(370)中，系统基于在步骤(330)和/或步骤(350)中发现的亮度测量对象表面的颜色变化。

现在参考图3B，更详细地示出了设备校准步骤(310)。在一些实施方式中，校准设备需要这样的背景，其中可以是一种大小和反射率已知的软件可检测对象(“标记”)被放置在白场或基本白场上或者其中所用的标记是具有已知尺寸和反射率白场(例如，特定纸张)。所述背景和对象可以被制造，和/或可以是例如，产品包装的一部分，或包括在包装产品中(例如皮肤护理产品)。或者，可以通过将具有公知特性的公共对象或任何其他对象(例如硬币)放置在具有已知特性的白场或基本白场上来创建所述背景，例如两张复印/打印纸或简单地使用一张白纸作为标记，其是具有已知尺寸和反射特性的白场。确定用于校准的距离足够接近测量表面以减小环境光的影响。

在步骤(312)中，设备上的软件应用程序优选指导用户设置、放置或创建用于校准的背景。软件可以为设备上的摄像机设置特定的视频或图像捕捉模式，并将与摄像机相关的光设置为已知亮度(步骤314)。设备上的软件可以在场上交互地显示标记的捕捉图像(步骤316)，并且可以检测标记并突出显示和/或勾勒标记的位置和/或针对用户的标记属性(步骤318)。在一些实施方式中，标记的位置可以偏移，以使软件使用白场来设置需要的设备设置，诸如设备的孔径、灵敏度、曝光时间和白平衡。

在步骤(320)中，软件优选显示和/或突出显示标记的尺寸和/或位置，其可以使设备的相机定位在特定距离处。在本文中将所述尺寸和位置称为“校准目标”。软件可以交互式地指导用户使突出显示的标记与校准目标匹配(步骤322)。当用户定位设备以使标记与校准目标匹配时，软件可使设备锁定自动曝光、自动对焦、灵敏度、曝光时间和自动白平衡(步骤324)。所述锁定有效地将光圈、灵敏度、曝光时间、快门速度、对焦和白平衡针对具有已知反射率的表面的预定距离作校准。记录所述设置的白点(和其他数据)并用于校准后续会话(步骤326)。

现在参考图3C，更详细地示出了可选的相邻表面颜色测量步骤(330)。在一个实施例中，测量对象的颜色需要设置设备摄像头到所述对象表面的距离，或者至少该距离是已知的。如果所述对象尺寸不固定，可以通过在校准步骤中放置与待测表面相邻的相同尺寸的标记来完成。

在步骤(332)中，设备上的软件可以指导用户将标记放置在待测量的表面附近或表面上。在步骤(334)中，软件优选从校准步骤(310)保持或重新创建锁定的设置。该软件可以任选交互显示与所述对象相邻的标记的捕捉图像(步骤336)(或者，仅标记的捕捉图像)，包括示出被整合和测量的对象表面区域的轮廓，如果适用的话(即，“小块样本(swatch)”)(步骤338)。在步骤(340)中，所述软件可以整合小块样本中发现的颜色并交互地显示找到的颜色。所述软件还可以检测标记并以交互式地突出显示或勾勒标记的位置(步骤342)。标记的位置可以偏移，以便小块样本与用于校准白点的捕捉图像的区域匹配。

在步骤(344)中，所述软件交互地指示用户使突出显示的标记与校准目标匹配。当用户定位设备以使标记与校准目标匹配时，所述软件可以将小块样本的整合颜色记录为对象的初始颜色值(步骤346)。所述软件可以使用已知技术应用所发现的白平衡和存储的关于设备特性的数据，从而将所发现的对象的初始颜色值转换为对象的表面反射率(步骤348)。

现在参考图3D，更详细地示出了对象颜色测量步骤(350)。如果待测量对象具有已知尺寸或已知尺寸特征，则可以使用这些特征尺寸来确定设备的相机与待测量物体的距离。例如，在测量肤色时，可以使用用户手腕的宽度或用户瞳孔之间的距离来检测设备的相机与用户皮肤的距离。

在步骤(352)中，设备上的软件指导用户将相机对准对象(例如，手腕、面部、右和左面颊、前额、右下颌或其他皮肤区域)，并保持对象位置与显示器上的轮廓相匹配。在步骤(354)中，软件从校准步骤(310)保持或重新创建锁定的设置。所述软件可以交互地显示手腕或其他对象的捕捉图像，并突出显示所发现的手腕宽度(步骤356)。所述软件还可以显示被整合和测量的物体表面区域的轮廓(即小块样本)(步骤358)。在步骤(360)中，软件可以整合样本中的颜色并以并交互地显示找到的颜色。

所述软件还可以起到检测标记并交互地突出或勾勒用户的手腕位置(步骤362)的功能，并且还可以交互地突出或勾勒手腕的目标位置，以匹配校准距离(步骤364)。所述软件还可以交互式地指导用户使突出显示的标记与校准目标匹配(步骤366)。当用户定位设备以使手腕与手腕的目标匹配时，所述软件可以将小块样本的整合颜色记录为对象的初始颜色值(步骤368)。在步骤(370)中，所述软件可以使用已知技术以应用所发现的白平衡和关于设备特性的存储数据，将所发现的手腕的初始颜色值转换为对象的表面反射率。

现在再参考图3A中的步骤(370)，当对象的总反射率已知，设备已经校准，并且对象的部分颜色是已知时，可以测量物体的表面颜色变化。例如，如果已知人的手腕内侧和外侧的颜色，并且使用瞳孔内距离检测人前额的颜色，则可以通过定位设备使得整合的反射率与已知值匹配来测量肤色的变化。

面部区域检测

在一个示例性实施例中，本发明系统将包含用户的面部或用户的面部的一部分的图像进行处理，作为为用户配制定制的外用剂的一部分。如图4A所示，对图像进行面部区域检测(步骤400)，并提供校准的颜色和反射信息(步骤420)。还可以执行颜色分割(步骤440)，面部区域颜色分配(步骤460)和最终的面部区域颜色校准(步骤480)，在如下部分进行描述。

在一些实施例中，一旦OAPTA数据收集服务器接收到图像，就对其进行处理以提供校准的颜色和反射信息。为了辅助校准过程，可以使用面部区域检测过程(步骤400)。例如，现有的开放源码(open source)和其他技术，使用如上所述的面部识别软件来检测数码照片中的脸、眼睛、嘴和鼻子的位置。为了进一步参考，Haar级联分类器(CascadeClassifier)可以与为检测面部特征建立的训练集一起使用。可以在OpenCV(opencv.org)中找到一个软件包和相关的培训集来提供此功能。还可以使用诸如Giaran，Inc.的其他软件和面部识别过程

使用通过如上述那些合适的步骤确定的面部特征位置，可以使用现有的开放源码(open source)和其他技术或可用的软件来检测数码照片中的离散面部特征的位置。作为参考，可以使用利用大型训练集开发的活动形状模型。可用于证明此功能的软件包和相关数据是stasm库(开源面部特征检测库)，Apple X 3-d建模软件，ARKit或Giaran,Inc.提供的软件和系统和/或在如美国专利公开号2017/0076474A1中描述。所有上述设备设置和/或面部识别软件可用于定位和建模正确的颜色和相关的用户数据。

然后可以将上面确定的离散面部特征点组装成一组多边形区域。在一个实施方式中，面部包括77个可识别的特征点，但是可以使用任何合适数量的特征点和区域。可识别的区域可包括以下部分或全部，但不限于：

全脸(包括所有区域)；

前额；

右脸颊；

左脸颊；

鼻；

鼻梁；

嘴(包括两个嘴唇)；

下巴；

右眉；

左眉：

右眼；

左眼；

上唇；

下唇；

右下颌线；和/或

左下颌线；

颜色校准

图4B更详细地描绘了步骤(420)，即一种方法，利用捕捉的图像提供校正后的颜色和反射率信息。在步骤(422)中，图像是校准图像，并且如果使用标记，则标记被识别并被屏蔽。将图像转换为YUV颜色空间(步骤424)，并构建UV图像组件的2D直方图(步骤426)。在接下来的步骤(428)中，对UV直方图执行2D分割以发现代表高光、体色和专色的一组颜色。构建Y图像组件的亮度直方图(步骤430)，并对亮度直方图执行1D分割(步骤432)，以找到例如表示体色反射率，高光反射率(光泽度)和阴影亮度的亮度组。然后，在步骤(434)中，使用组合的UV和亮度组构建校准的n维矢量。所述矢量在下文中称为“n色矢量(nColorVector)”。值得注意的是，n色矢量可以包含表示皮肤光泽度和颜色变化(有斑点的)的数据。

在另一示例方法中，可以至少部分地基于嵌入在数码照片中的数据来校准数码照片，例如在JPEG压缩中发现的IFD标签，或可交换图像文件格式(Exif)数据。用于拍摄照片的设备的特性可用于预校准颜色。如上所述，可以通过面部特征检测发现的眼间距离来确定从相机到用户的面部的距离。嵌入在数字照片中的拍摄数据，例如亮度、闪光特性等，可以与距相机的距离组合以调节图像的亮度。此外，在拍摄时，可利用设备上的软件发送的其他数据，例如环境照明信息或环境照明图像，对环境照明进行颜色校正。

颜色分割

另一种创建颜色分割的方法是作为数码照片处理的一部分。在图4C中，示出了进行颜色分割的一种方法(步骤440)。在步骤(442)中，将数码照片重新采样(resampled)为较小的尺寸，该尺寸与识别肤色所需的分辨率相匹配。所述尺寸可以通过关键面部区域的尺寸来确定。例如，尺寸可以通过 (以像素为单位的面部区域面积)来计算。重新采样照片以下简称为“分割图像”。

可以使用例如一个3×3矩阵变换将分割图像转换为颜色空间，所述矩阵变换将肤色从RGB表示变换为肤色主成分表示(步骤444)。肤色主成分空间在本发明中称为“STPCA”。这种转换可以通过对大量由不同用户使用匹配设备(例如，由特定的移动电话拍摄)拍摄的数码照片中肤色的RGB颜色进行主成分分析来发现。该图像将被称为“PCA分割图像”。主成分分析是熟知的矢量集合降维方法。

通过应用附加滤波(例如带通滤波器)来准备对PCA分割图像的主成分通道(通道0)进行分割(步骤446)。在步骤(448)中，可以通过使用诸如流域变换的公知技术来进行分割。在本发明中，所得图像称为“分割标签图像(segmentation label image)”。然后，可以使用每个分割标签图像区域内的PCA分割图像通道0的最亮像素来给每个分割标签区域指定STPCA值(步骤450)。

面部区域颜色分配

现在参考图4D，给定一个面部区域的轮廓，用于确定区域肤色的过程(即，步骤460)如下。在步骤(462)中，通过例如，在黑色背景上将该区域绘制为白色多边形，为面部区域生成区域蒙版(region mask)。通过所述区域蒙版掩蔽由上述颜色分割处理产生的分割标签图像，以产生“面部区域标签图像”(步骤464)。然后，在步骤(466)中，将脸区域标签图像中的分割标签区域按区域并通过最大程度提高标签区域指定的STPCA值与表示阴影和高光的STPCA值之间的距离进行分级。然后，将最佳等级的分割标签区域的STPCA值指定为“面部区域颜色”(步骤468)。

最终的面部区域颜色校准和附加数据

可以使用以下步骤来进行最终面部区域颜色校准(步骤480)，如图4E所示。在步骤(482)中，可以确定并指定眼睛的面部区域颜色，并且尤其是，确定眼睛巩膜的灰度级。在步骤(484)中，可以使用眼睛区域中的镜面反射的分割来确定是否需要打开闪光灯和/或手电筒以及是否存在其他点光源(参见下面的进一步描述)。针对每个面部区域检测镜面反射子区域，并且基于每个面部区域相对于整个区域尺寸的大小确定每个面部区域的“光泽”值(步骤486)。眼睛的光泽度量也可用于校准其他区域。

STPCA值、灰度级和光泽值的最终转换可以直接转换成用于制造化妆品的材料特性，而不是其中间形式(步骤488)。此外，可以将STPCA转换到RGB或LAB颜色空间以便用户作目测观察。这些过程可以使用原始PCA矩阵的修改版本来进行，通过灰度级和光泽度值来调整。

如上所述，面部区域颜色校准可以包括根据对眼睛区域镜面反射的评估，确定光源(除了已知光源，如照相机闪光灯或LED手电筒)的存在和颜色。在一个实施方式中，该过程包括以下步骤：

从数码照片中减去红色通道。采用高频(例如，大约两个像素)中的相对少量像素的带通滤波器，以及低频(例如，大约五或六个像素)中的更高数量的像素来去除细节。对结果做直方图，并在直方图中像素总数的百分之九十九处取阈值，从而确定所有最高光。将最高的光扩大约20个像素，以便为光创建遮罩层。以大约十个像素的高频率和大约二十个像素的低频率对所得图像应用另一个带通滤波器，从而产生具有更宽特征的图像，包括提取眼睛虹膜。将眼睛的暗部扩大大约十个像素，导致虹膜或眼睛的暗部的反转与发现的高光交叉。用初始输入阈值限制眼睛内的亮点(即光的反射)。使用生成的斑点遮盖输入图像的原始颜色，并确定是否存在先前未知的光源。减去任何发现的未知光源和颜色校准。

参比服务的特定用户数据收集

可以通过附加数据收集来扩充公共服务数据集合，这有助于参比OAPTA说明中的OAPTA专业组。在一个实施方式中，该数据包括以下中的一个或多个：

可见光，IR和UV颜色光谱数据；

双向反射数据；

特定面部皮肤部位的显微照片(和评估皮肤健康)；

使用拉曼分光光度计、质谱分光光度计或其他仪器分析表面皮肤油脂或残留物；和/或

通过访问由公共服务数据收集提供扩充数据。

参比OAPTA规格说明

OAPTA专业组可以基于参比用户数据收集系统为用户指定制作定制OAPTA所需的组件和数量。可以编译规范和参比用户数据以在OAPTA元数据230中创建条目。

参比OAPTA配方

OAPTA专业组可以提供一组指令，其指定组合组件以制作OAPTA产品所使用的顺序和方法。可以将该组指令添加到OAPTA元数据(230)中的当前条目。

参比OAPTA复配

在一个实施方式中，基于OAPTA配方(260)手动复配OAPTA产品。在另一种复配方法中，概览配方指令和共用OAPTA组件集(210)用于基于配方指令自动复配OAPTA产品的设备中。在申请人的共同在审申请号15/855,064中详细描述了示例性设备，所述申请并入相关部分，所述设备用于复配创制的OAPTA产品并进一步用于交付所述产品。然而，本领域已知的其他合适的混合和调配设备，优选地，其是可编程的，并且优选对电子和/或数字控制系统起反应。

参比OAPTA交付

在相同或不同的位置复配后，在用户使用系统期间，OAPTA产品可在服务站点交付给用户。在与服务点相同或不同的位置复配后，OAPTA产品可以直接给或发货给用户。

参比OAPTA收集

参比OAPTA收集可以通过专业服务进行计费来完成。此外，收集支付信息可以作为公共服务数据收集的一部分，并且支付信息的收集可以通过OAPTA交付和/或在订购时通过本领域已知的各种在线支付方法进行，优选地，为安全支付服务和/或购物车功能。

参比OAPTA反馈

在交付和测试OAPTA产品之后，可以通过采访收集用户反馈。反馈信息也可以由用于公共服务数据收集的移动应用程序收集。

OAPTA元数据

OAPTA元数据(230)可以包括以下示例数据字段中的一个或多个，包括用户数据收集，但是可以提供或使用形成OAPTA所需的其他字段：

公共服务数据；

用户ID；

地理区域；

性别；

生日；

日期；

组合矢量；

紫外线辐射暴露；

过敏矢量；

n色矢量；

参比特定数据；

肤色光谱；

双向反射数据；

特定面部皮肤部位的显微照片；

皮肤表面油脂指数；

参比说明；

参比配方指令；

用户设备操作系统；

用户设备软件信息；

用户美容资料(颜色，亮度和/或不透明度)；和/或

在说明提示中找到的用于生成树的标签。

上述数据可以通过扫描、用户自我报告(例如通过调查或询问)捕获，从设备传感器(例如，GPS)收集的入门数据的自报告数据和通过社交媒体站点捕捉的数据。

组合矢量可以被认为是n-空间中的点。每个组件的大小都按其在系统范围内的重要性进行标准化。

参比数据可以包括一个或多个标定真实数据集，其包括例如本发明所述的涉及肤色、反射、过敏和/或其他数据有关的确定值，对于这些数据集，可以准确地配制已知的OAPTA。换句话说，对于标定真实数据集中的一组特定值，可以存在针对那些值进行优化的预定的外用剂。预定的外用剂也可以与现有产品类似或相同，例如OAPTA复配公司的商业产品或任何第三方的商业产品。因此，为用户确定最佳OAPTA的一种方式可以是确定用户捕捉的皮肤数据与标定真实数据集值的相对接近度，并选择最接近的数据集的值。然后，与那些最接近的值对应的OAPTA或现有产品可以是为用户选择的独特的化合物。

OAPTA生产服务

在已经将足够数量的记录收集到OAPTA元数据(230)中之后，构建OAPTA生产服务(240)，并且参考服务OAPTA复配手段已经实现自动化。

生产用户身份

当用户购买软件(例如，移动应用程序)并且第一次启动应用程序时，OAPTA生产服务(240)创建并开始管理用户身份。该服务创建数据存储以保存用户数据，并提供基于用户身份的数据检索。用户身份还可以包含发送和计费信息。

生产用户数据收集

所述OAPTA生产服务(240)可以使用先前针对OAPTA参比服务(220)描述的公共服务数据收集。用户的给定会话的公共服务数据与生产用户身份一起存储。

生产OAPTA说明和配方

所述OAPTA生产服务240使用由OAPTA参考服务(220)生成的OAPTA元数据(230)来综合说明。例如，基于如上所述收集和处理的面部图像数据，特定用户的肤色可以与已经定义化妆品配方的现有参比肤色匹配(例如，基于实际参考用户，基础事实数据集等)。在确定特定配方是否与用户兼容时，可以考虑用户特有的属性，例如过敏。由系统衍生的新配方可以保存作为参比以供将来使用。

在一个实施方式中，为了处理和订购OAPTA产品，系统获得链接到用户的生产用户身份的用户的当前公共服务数据，并确定与如上所述的OAPTA元数据(230)中的公共服务数据组合矢量最接近的匹配。如果组合矢量与最接近匹配之间的距离太远，则可以询问用户他或她是否希望被提升为参比用户并结束当前订单。

然后，系统可以定位由第一匹配的生成树标签过滤的下一个最接近的匹配，并且可以使用几何代数或奇异值分解来找到描述超平面的第三过滤的匹配点。如果组合矢量与超平面表面之间的距离太大，则可以询问用户他或她是否希望被提升为参比用户并结束当前订单。对于每个发现的参比点，确定混合值，并通过为每个最接近的匹配共有的组件添加混合来构建说明。最后，选择最接近匹配的OAPTA元数据的公式作为适合用户的配方。因此，创建了初始OAPTA和初始定制的化妆品配方。

生产OAPTA复配

通过实现由本发明描述的OAPTA参考服务(220)，系统可以使用指定自动化复配方法。在一个实施例中，这是共享资源。或者，可能存在具有类似自动化设备的多个位置，并且选择最接近用户的地理位置的位置。

OAPTA产品可以在用户完成本文描述的步骤，确定初始的定制化妆品配方后，根据需要进行复合。此外或可替代地，OAPTA产品可以预先复配(例如，可以复配和储存最常见的配方)以提供更快的从配方到交付的周转时间。在一些实施例中，由系统确定的配方被映射到来自其他供应商和品牌的现有产品。例如，基于其他产品的配方、成分、颜色和/或其他已知特性，该系统可以将用户的定制化妆品配方与其他产品进行比较，以确定最相似或满足相似性阈值(例如，75％，80％，90％等)的那些产品。作为一个示例，系统可以确定用户的粉底与阿玛尼粉底的匹配度为88％和欧莱雅粉底的匹配度为82％。系统还可以向用户显示其他匹配的产品，并允许用户购买它们作为用户定制配方的补充或替代，从而允许用户选择购买与商业产品密切匹配的产品，或基于OAPTA的定制化妆品配方，所述OAPTA最终应当尽可能地接近用户所需要的匹配产品。

生产OAPTA交付，收集和反馈

OAPTA产品可以从自动复配位置、仓库、零售店或其他可以复配和/或存储OAPTA产品的位置发货给用户。可以使用系统可用的生产用户身份信息在发货后对用户收费。在一个实施方式中，用户能够使用服务于公共服务数据收集的移动应用程序来提供反馈和其他数据。

OAPTA系统反馈

在一个实施方式中，配置OAPTA系统(200)以便检查生产OAPTA反馈(250)，并将任何关键反馈与OAPTA元数据的(230)公共服务数据组合矢量空间中的空白进行比较。如果空间太稀疏，则系统(200)可以调整与解决方案的可允许的最大距离，并且将生产用户升级为参比用户以填充模型中的空白。

在一个实施方式中，OAPTA系统(200)可以使用适当的硬件或软件；例如，OAPTA系统(200)可以在能够运行操作系统的系统上执行，例如操作系统，操作系统，/>平台，Google Android^TM平台，/>操作系统和操作系统的其他变形形式等。

所描述的一些或全部功能可以在用户设备上的软件和/或硬件中实施。用户设备可以包括但不限于智能电话、智能手表、智能眼镜、平板电脑、便携式计算机、电视、游戏设备、音乐播放器、移动电话、虚拟现实眼镜、笔记本电脑、掌上电脑、智能或哑终端、网络计算机、个人数字助理、家居助理(例如Alexa^TM或Home^TM)，优选地所述设备具有摄像机，无线设备、信息设备、工作站、小型计算机、大型计算机或其他计算设备，其作为通用计算机或可以执行本发明所述功能的专用硬件设备。例如，所述软件可以在计算机形式的通用计算设备上实施，该计算机包括处理单元、系统存储器和系统总线，所述系统总线将与包括系统存储器的各种系统组件耦合到处理单元。

此外，也可以通过云或软件即服务远程执行部分或全部功能。例如，可以在与用户设备通信的一个或多个远程服务器或如上所述的其他设备上执行匹配功能。远程功能可以在具有足够内存、数据存储和处理能力的服务器类计算机上执行，并运行服务器类操作系统(例如，GNU/>和/>系列操作系统)。

所述系统可以包括存储在存储器中并在处理器上执行的多个软件处理模块。作为说明，程序模块可以是一种或多种合适的编程语言的形式，其被转换为机器语言或目标代码，以允许一个或多个处理器执行指令。所述软件可以是独立应用程序的形式，以合适的编程语言或框架实现。

本文所述技术的方法步骤可以由一个或多个可编程处理器执行，这些处理器执行一个或多个计算机程序，通过操作输入数据和生成输出，来执行功能。方法步骤也可以由专用逻辑电路执行，并且设备可以作为专用逻辑电路实现，例如：FPGA(现场可编程门阵列)或ASIC(专用集成电路)。模块可以指代实现该功能的计算机程序和/或处理器/特殊电路的部分。

作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器。通常，处理器将从只读存储器或随机存取存储器或这两者中接收指令和数据。计算机的基本元件是用于执行指令的处理器和一个或多个用于存储指令和数据的存储器设备。适用于实现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，包括例如半导体存储器设备，如：EPROM、EEPROM和闪存设备；磁盘，例如：内部硬盘或可移动磁盘；磁光盘；和CD-ROM和DVD-ROM磁盘。一个或多个存储器可以存储媒体资源(例如，音频、视频、图形、界面元素和/或其他媒体文件)，配置文件和/或指令，当由处理器执行指令时，形成模块、引擎和本发明描述的其他组件并执行与组件相关联的功能。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

在各种实施方式中，用户设备包括web浏览器、本机应用程序或此两者，其有助于执行本发明描述的功能。Web浏览器允许设备利用网页求来请求网页或其他可下载程序、小程序(applet)或文档(例如，来自服务器)。网页的一个示例是数据文件，其包括计算机可执行或可解释的信息、图形、声音、文本和/或视频，可以被显示、执行、播放、处理、流传输和/或存储并且可以包含指向其他网页的链接或指针。在一个实施方式中，设备的用户手动地从服务器请求网页。或者，设备会自动使用Web浏览器发出请求。商用网络浏览器软件的示例包括和

在一些实现方式中，用户设备包括客户端软件。所述客户端软件为设备提供功能，该设备提供实现和执行本发明描述的特征。客户端软件可以以各种形式实现，例如，它可以是本机应用程序、网页、小工具(widget)和/或Java、JavaScript、.Net、Silverlight、Flash和/或其他小程序或插件，可以将其下载到设备并与Web浏览器一起运行。客户端软件和Web浏览器可以是单个客户端-服务器接口的一部分；例如，客户端软件可以作为Web浏览器或其他框架或操作系统的插件来实现。其他合适的客户端软件架构，包括但不限于小工具框架和小程序技术，也可以与客户端软件一起使用。

通信网络可以将设备与一个或多个服务器连接和/或相互之间连接。通信可以通过标准电话线、LAN或WAN链路(例如，T1、T3、56kb、X.25)、宽带连接(ISDN、帧中继，ATM)、无线链路(802.11(Wi-Fi)、蓝牙、GSM、CDMA等)，例如。其他通信媒体也是可能的。网络可以承载TCP/IP协议通信，以及Web浏览器发出的HTTP/HTTPS请求，并且客户端和服务器之间的连接可以通过这样的TCP/IP网络进行通信。其他通信协议也是可能的。

该系统还可以在分布式计算环境中使用，其中通过通信网络链接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。除了本发明描述的系统硬件和软件外，还可以使用其他类型的系统硬件和软件，这取决于设备的容量和所需的数据处理能力。系统还可以在一台或多台虚拟机上实现，这些虚拟机执行上述虚拟操作系统，并在一台或多台具有本发明描述的硬件计算机上运行。

在一些情况下，关系数据库或其他结构化数据库可以提供此类功能，例如，作为用于处理存储数据的数据库管理系统。数据库的示例包括由加州红杉海岸的甲骨文公司(ORACLE Corp.of Redwood Shores,California,)提供的MySQL数据库服务器或ORACLE数据库服务器，由加州伯克利的PostgreSQL全球开发集团(PostgreSQL Global DevelopmentGroup of Berkeley,California)提供的PostgreSQL数据库服务器，或由IBM提供的DB2数据库服务器。

还应注意，系统和方法的实现可以作为一个或多个计算机可读程序提供，这些程序包含或包含在一个或多个产品中。程序指令可以在人工生成的传播信号上编码，例如，机器产生的电、光或电磁信号，其产生是为了对信息进行编码，以便传输到合适的接收设备，从而由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是用人工生成的传播信号编码的计算机程序指令的源或目标。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储设备)中。

样本用户操作

用户可以通过用户界面(如欢迎页面)来参与应用程序，从而将用户引向一个或多个基础产品。所述界面可以具有列表或滚动类型选项，以允许用户查看一个或多个产品。在主页面上，用户可以登录，开始扫描或购买产品。因此，最好使用购物车功能、登录功能和扫描功能来交互用户选择。用户将选择下一步。如果启动扫描，则用户将获得交互式指导(视频、声音、振动、提示等)以引导用户进行如上所述的校准和扫描。用户可以将应用程序与社交媒体网站(诸如Facebook或Google等)相关联，并通过这样的网站或通过应用程序直接登录到服务器。如果登录存在问题，将会提示用户再次尝试一组步骤，提示重新设置密码或联系客户服务。登录后，用户可以加载现有配置文件或询问用户是否希望订购产品。提示新用户提供用户数据以用作OAPTA元数据，然后将其编码在搜索键中并用于创建用户ID。

在选择产品之后，或在完成初始扫描(包括校准步骤)之后，将提示用户选择产品(来自先前会话的现有定制化妆品配方，或非定制新产品或新定制化妆品(例如，如果用户已经创建了粉底，但现在想要创建眼部化妆品)。可以提供用于查看用户的购物车、礼品选项、重新排序等选项。该应用程序还可以提示用户运行扫描，该扫描优选针对超过三十(30)天左右的任何重新订购。订单一旦完成后，就会被处理。该应用程序还可以包括订单历史、正在订购的产品的预览以及产品细节。产品订单通常通过登录或将应用程序与诸如Facebook之类的服务相关联来提供，也可以通过应用程序与相关联的社交媒体网站以一种典型方式共享，以及在应用程序中作为好友添加到用户的好友或其他用户。其他用户(已知或未知)可能通过应用程序被“跟踪”，也可能通过修改用户配置文件和好友被邀请到应用程序中。

在该应用程序中，优选地，用户能够通过用户界面上的文件选项卡访问用户的当前美容档案(参见图8)以将用户带到用户的美容档案，其中美容档案是搜索键的界面。所述美容档案允许用户访问用户个人数据，允许用户重新运行扫描以提供更新的扫描信息，并将其编码到用户的搜索键中，以及扫描设置，并且还允许用户送礼、推荐、关联或列出朋友、寻求帮助支持、联系客户服务、并提供反馈，这些反馈还可以提供用户数据收集，其可以与OAPTA元数据相关联并更新用户搜索键中编码的信息。运行扫描、订购产品和用户信息概要档案的链接也可以放在当前概要档案界面上。

搜索键的修改

基于搜索键的内容构建用户界面。例如，第一屏幕可以呈现与用于编辑的搜索键相关联的主要搜索组件，例如颜色、干燥度、不透明度、遮瑕率、SPF和/或产品完成度。

在本发明的一个实施方案中，如图5-7所示，如果用户选择用于修改的颜色，例如，构建界面以便在中心显示原始颜色的图像，并且在原始颜色的图像周围的图案中颜色的变化，如图5所示。可以使用来自OAPTA数据集的数据来构建颜色模式的变化，该数据集用于为用户生成的初始定制化妆品产品，并且先前与被修改颜色邻域的交互的统计记录。例如，可以确定，最可能需要的变化是使颜色在亮度上稍微暗一点或浅一点，或稍微多一点或少一点橙色。可以垂直呈现亮/暗颜色，并且水平呈现较少/较多的橙色。其他颜色选择可以围绕这些基于不太可能的选项选择，例如更红或更黄。

然后，用户可以选择最接近他或她的需要或偏好的修改，例如图5中的“a”选择。在另一示例实施例中，然后，界面可能会在中间显示新的颜色，如图6所示，旁边是旧颜色。围绕图6(现在位于中心)的新选项“a”的颜色，基于最后的选项以及最可能的选项，显示略微更小和更大的颜色或色调步骤。如果对“a”满意，则用户可以最终选择该选项作为最终修改的定制产品和/或可以选择现在示出的另一选项，例如图6的选项“b”，在选择“b”的情况下，该选项将移动到中心，如图7所示。

在如图8所示的另一实施例中，具有如本发明所述的应用程序的用户界面屏幕的图形表示，示出了用户档案(500)。该档案有一张照片(显示为人的图示，但在实际的实施例中，优选地出现数码照片)。用户的图像(502)是可选的，但是在显示用户的基本标识和显示提交给应用程序的用户特征时，是有用的。所述应用程序还可以使用来自用户的照片或视频或用户的扫描(或更新的扫描)，并激活相关联的软件，以用于检测面部特征和/或使用面部识别软件映射用户面部。优选地，所述照片从用户调查和/或面部检测软件中获取，以向用户提供当前显示，供用户参考评估用户的美容档案和搜索组件特征以进行修改。优选地，所述界面屏幕还包括用户的一般特征的概述(504)，其取自用户数据收集和来自用户反馈、面部检测、面部映射、扫描调查、用户输入和来自如上所述的更新的用户扫描的OAPTA元数据信息。在这种情况下，基于用户扫描和用户输入显示用户具有某种皮肤类型(“浅色/中等米色”)、眼睛颜色(“蓝色/绿色”)、以及具有某种毛发类型(“棕色/波浪形”)(可以由用户照片图像数据扫描或输入)和用户输入的用户偏好(“优选成分”)和用户关注问题(“黑眼圈”和“对尼泊金(Paraben)敏感”)。

如上所述并且如图8中所示的美容档案(500)提供了一张备选基础，以用于编辑用户的搜索键来修改用户的定制化妆品产品和相关联的OAPTA说明。用户的图像(502)(如上所述可以通过更新扫描、面部检测和/或面部识别软件更新以达到交互)以及一般文件概述(504)信息的使用包括用于通过至少一个或多个搜索组件对搜索键的修改，所述搜索组件包括一个或多个滑尺，其显示关于例如暗到亮滑块(506)的轮廓特征(例如，用于测量黑色素的量和肤色)，从冷色到暖色调滑块(508)(例如从绿色/红色到蓝色/黄色色调运行，其中选择可以是可变的)，以及底色滑块510，其与皮肤的红润或自然色调有关，可用于评估太阳敏感性。其他滑块或可调节组件可包括干燥组件或遮盖组件。也就是说，当皮肤较干燥时(例如在冬天)，用户可能想要改变配方中组分的保湿能力。当想要额外的遮盖以获得更光滑的外观时，用户还可能希望具有更厚和/或更不透明的配方。滑块，可变选项，选择器按钮等都可以用于这种修改请求。还可以简单地包括反馈页面，用于针对来自用户所请求的改变进行书面或口头反馈。反馈数据可以合并到来自用户数据收集的OAPTA元数据中，然后，使用如上所述关于初始用户定制的化妆品配方，以建立编码在用户的搜索键上的命令，从而与更新的用于制备基于修改的搜索键的混合和终端产品的OAPTA说明相关联。

初始用户文件可以包括初始文件完成时用户的概述。所述初始文件将表示与搜索键中的搜索组件相关联的用户数据，该搜索键与用于创建OAPTA说明的OAPTA元数据中的用户数据收集相关。所述文件可以涉及使用该应用程序为用户开发的OAPTA，以使用户与最接近现有商业产品(即，非定制产品)或定制化妆品配方的标定真实数据集相匹配。无论匹配如何，都会为用户自动选择并与用户匹配以创建OAPTA说明，其用于混合，并为用户生成初始定制的化妆品配方。

在一个实施例中，用户可以结合用户界面上的产品展示和面部特征检测软件的展示，以为用户提供交互式界面，参与搜索键的搜索组件的交互式编辑(例如，通过联系检测到的图像区域(例如脸颊区域)，以便应用程序可以显示与用户图像上显示的产品的参比文件相关联的搜索组件，允许用户参考所显示产品的搜索组件以修改用户的自己的搜索组件，和修改用户搜索键并创建修改后的或新的定制化妆品。

一旦用户评估了定制的产品，用户可能会决定，如上所述，用户可能希望尝试替代方案。例如，用户可能希望得到一个不同的颜色配置文件，或者是为了改变肤色、审美原因，或者是为了不同的外观。然后，用户可以通过界面修改搜索组件以修改用户的搜索键，例如通过使用如图8中滑块(图5-7的变化颜色选项圈)以查看配置文件屏幕上用户图像的色调变化，在这种情况下，面部识别软件和化妆试用应用程序集成到屏幕上，或使用滑块以初始化新的匹配。为此，应用程序可以使用选项(512)要求用户“更新扫描”。用户还可以使用其他应用程序特定数据(例如用户可能想要订购或修改的先前喜欢的产品)。通过社交网络登录的用户可能会关注他们的朋友(这些朋友可能集成到应用程序中)，或者关注应用程序中的朋友或其他用户(这些用户可能会关注应用程序中的其他用户)，以查看其他具有类似颜色和外表的用户正在选择什么产品。一旦用户希望使用这些各种反馈选项来修改外观或产品订单，用户将更新扫描，并使用滑块(或如上关于图5-7所述的颜色选择屏幕)以选择修改的配置文件或新的和单独的配置文件，每个配置文件可以保存到用户的搜索键值和用户ID信息，以便可用于随后的订单。

然后可以使用修改的搜索键对产品进行重新订购和制造。与用户交互的主要要点包括：向用户显示界面以修改搜索键的每个元素；每个搜索键部分的选择变化由被修改的邻域确定(无论是表示为颜色变化选择屏幕，滑块还是其他类似机制)；该搜索键组件的邻域中的方差量用于确定所呈现的变化量；所要求的变化的统计记录用于向用户显示变化的方向；提供了额外的选择以允许用户编辑不太可能的情况；原始未修改的值显示在当前选定的值旁边；并且用户可以选择更新他或她的相关搜索键以用于将来的订单。

在另一个实施例中，用户可能希望修改现有产品，其是未使用定制生产产生的，但是它具有与上面提到的定制产品相同的系统和方法的特征。因此，虽然初始匹配可能是针对初始用户OAPTA的非定制产品，但是用户仍可能希望修改该配方。虽然这种表征可以优选地包括使得产品定制化，但是不需要这样做。最小的情况下，产品的每个阴影或SKU将与已知用户和已知搜索键匹配。构建此类产品的数据库，可由每个产品SKU搜索，并返回产品的搜索键。

如上所述，可以使用非定制产品来创建搜索键，所述搜索键可以存在于标定真实数据集中。因此，用户还可以简单地决定(即使用户具有用于定制产品的现有文件)使用具有SKU(搜索键)的现有非定制产品来创建新文件，然后对其进行修改。该实施例的交互包括：用户可以使用移动设备、网站或其他设备来修改产品；用户登录；用户选择要定制的非定制产品，其中，可以通过扫描条形码选择，从名称搜索，从产品标识，和/或从产品的照片；在标定真实数据集中找到与非定制产品相关联的搜索键；并且搜索键用于修改和生成新的定制产品，如前一实施例中所述。

还可以提供用于修改用户文件的其他选项，包括允许用户获得具有使用参比数据和专业组推荐的若干选项的初始文件，其可以包括一个或多个非定制商业产品，以及一个或者多个定制的配方，每个配方都是从初始用户数据和扫描数据输入到应用程序的用户数据中选择的。如上所述，现有的非定制产品可以与用户的搜索键相关联，并且还可以通过用户界面呈现给用户。如上所述，与标定真实数据集中的搜索键相关联的非定制产品的邻域也可以与用户相关联，并且它们的贡献标量可以用于显示。

在编辑用户的搜索键的一个实施例中，这些产品可以作为一组选择显示。这些选择可以根据“最接近的匹配”值(99％的排名，80％的排名，等等)进行排序，并以图形化的方式显示或者使用“试用”软件显示，允许用户在用户的图像上按排名排列显示推荐。或者，用户可以在图形显示中或在具有阴影关键词和类似图形显示的产品的图像中看到颜色阴影，以允许用户选择所需要的产品。其他选择可以作为替代选择保存到用户搜索键，使得如果用户确定初始用户选择不适合将来与应用程序的交互，则可以尝试替代选择或提交新查询。优选地，每个用户交互包括更新用户扫描和用户文件审查，使得应用程序可以检测用户肤色的任何变化、瑕疵、新的肤色变化区域、头发颜色变化、偏好变化等。更新扫描也将自动允许应用程序与用户设备交互以确认和更新用户设备的任何更改(新设备，更新操作系统，操作系统的更新版本等)、软件更改、型号等，所有这些都保存到用户数据中。在用户每次重新使用该应用程序时，优选地，所述应用程序还将引导用户通过校准来确认上述设备数据，并确认白平衡和颜色数据。优选地，所述应用程序的校准是使用如上所述的校准表面进行，例如已知用户的皮肤区域，一张白纸等。

在如图9所示的广义的整体系统(600)中，用户U与应用程序(602)交互，通过应用程序，使用扫描和/或订购定制的化妆品配方，其中应用程序可以是上述的任何系统和方法。在具有图像传感器，并且优选地具有如上所述的光源的设备上运行的应用程序(602)，将扫描数据(包括如上所述的光学数据，用户信息等)传送到订单管理系统(604)。订单管理系统及其各种组件连接到如上所述的服务器，该服务器可能位于特定位置或基于云的或其他远程服务器中。订单管理系统存储了上述各项功能和步骤的数据。它与以下交互：产生定制化妆品配方的混合服务(606)、接收包含来自管理系统的用户信息的发货标签的发货应用程序(608)、根据用户ID订单管理系统打印数据的打印服务(610)、关于产品以及标签的其他信息、运行打印服务并与管理系统(604)交互的打印应用程序(612)、以及基于混合服务和订单管理系统的指令接收来自订单管理系统的指令以分配和混合定制化妆品配方的分配应用程序(614)。在申请人的共同在审申请号15/855,064中详细描述了这种系统的优选实例。

该系统(600)还可以适于通过使用应用程序(602)从用户U发送重新扫描，修改存储在用户管理系统(604)中的用户搜索键，然后基于修改后的搜索键选择来执行系统来执行对定制产品的修改。设备重新扫描将发送校准信息以及更新的用户信息和制造指令。该混合还将根据模型LAB数据或颜色数据的其他预先设置校准的每一个请求进行校准。每种预混合都经过相应的测试和校准。包含在数据库中的非定制商业产品还基于校准的LAB数据、不透明度和光泽进行存储。因此，系统保持动态并响应用户需求，同时通过基于用户扫描、用户输入、偏好、和访问选择来提供交互的美容指导，所述选择是通过使用搜索键将用户与标定真实数据集匹配来提供，该数据集包含来自现有非定制产品和参考用户数据的信息，以及包含大量定制化妆品配方的现有用户数据以允许最接近的匹配和创建定制的化妆品配方，以及能够根据用户的要求、风格、审美的变化或用户的个人资料修改定制的化妆品配方。用户的档案数据(可以称为美容档案)可以是交互式的，以便所有用户通过相关档案的应用程序发送问题，从而驱动最准确的档案和/或考虑用户偏好(成本、品牌、组件、颜色等)。可以通过使用网站分析实现的已知技术从用户交互中收集数据，以通过应用程序提供建议或通知专业服务，以便纳入反馈和进一步的建议。

本领域技术人员应当理解，在不脱离其广泛的发明构思的情况下，可以对上述实施例进行改变。因此，应理解，本发明不限于所公开的特定实施例，而是旨在覆盖由本发明所附权利要求所限定的精神和范围内的修改。

Claims

1.一种从现有的非定制化妆品制造修改的定制化妆品的系统，其中，所述系统被配置为能够：

a. 在用户的设备上启动应用程序，其中所述设备具有光学传感器和光源，以提供与用户相关联的已知搜索键，通过使用选自先前分析的皮肤区域、在白色背景上的已知尺寸的标记或已知尺寸的白纸标记的标记，自动校准具有所述光学传感器的所述设备的设置，皮肤区域图像包括识别设备和图像传感器中至少一个的性能的嵌入数据，引导所述用户使用校准的所述设置捕捉所述用户的至少一个皮肤区域的至少一个图像，处理所述用户的所述皮肤区域的所述至少一个图像，该图像经过处理以提供校准的肤色信息，系统基于校准的肤色信息自动为用户确定定制的化妆品配方；

b. 用所述用户的所述已知搜索键表征具有化妆品配方的初始化妆品，所述已知搜索键由至少一个搜索组件组成，其中所述至少一个搜索组件与所述初始化妆品的配方相关联，所述至少一个搜索组件包括颜色组件、覆盖组件和干燥组件中的一个或多个，并且其中所述初始化妆品与所述已知搜索键相关联，存储在所述系统中，并且为定制或非定制产品；

c.提供用户交互，包括在用户界面上交互选择滑块、按钮或图像，以修改与所述已知搜索键中的配方相关的所述至少一个搜索组件，以修改与所述已知搜索键中的所述配方相关联的所述至少一个搜索组件，从而创建修改的搜索键，其中，所述修改的搜索键还与用户相关联，所述用户界面向用户提供所要修改的所述已知搜索键的所述至少一个搜索组件中的一个的选择，所述所要修改的所述已知搜索键的所述搜索组件的选择提供所要修改的修改方向，用户以往的修改方向的统计记录用于向用户显示修改的方向；和

d.使用修改的搜索键，通过评估最接近的键的邻域来确定制造指令，从而为用户生产修改的定制化妆品。

2.如权利要求1所述的系统，其中，用户交互量基于最接近的键的邻域内的键组件的变化。

3.如权利要求1所述的系统，其中，所述至少一个搜索组件之一是SPF。

4.如权利要求1所述的系统，其中，制造和记录两种化妆品成分以验证所记录的化妆品成分的比例。

5.如权利要求4所述的系统，其中，客户联系信息与所述记录相关联。

6.如权利要求1所述的系统，其中，所述用户交互还包括使用具有光学传感器的设备将更新的用户图像数据提交给所述系统，以更新与所述已知搜索键相关联的数据，以及其中，在所述系统中更新的图像数据被用于确认和校准设备数据和确认白平衡和颜色数据，以优化已知的搜索键和修改的搜索键。

7.如权利要求1所述的系统，其中，所述修改的搜索键也存储在所述系统中。

8.一种用于修改与用户相关联的定制化妆品的方法，包括：

a.提供一系统，该系统被配置为能够：

在用户的设备上启动应用程序，其中所述设备具有光学传感器和光源，以提供与用户相关联的已知搜索键，通过使用选自先前分析的皮肤区域、在白色背景上的已知尺寸的标记或已知尺寸的白纸标记的标记，自动校准具有所述光学传感器的所述设备的设置，皮肤区域图像包括识别设备和图像传感器中至少一个的性能的嵌入数据，指导所述用户捕捉所述用户的至少一个皮肤区域的至少一个图像，该图像经过处理以提供校准的肤色信息，系统基于校准的肤色信息自动为用户确定定制的化妆品配方；和

用所述用户的所述已知搜索键指定具有与所述用户相关联的化妆品配方的初始化妆品，其中，所述已知搜索键包括与所述初始化妆品的所述化妆品配方相关的至少一个搜索组件，所述至少一个搜索组件包括颜色组件、覆盖组件和干燥组件中的一个或多个，并且其中所述初始化妆品与所述已知搜索键相关联，存储在所述系统中，并且为定制或非定制产品；

b.提供一交互式用户界面，允许用户修改所述已知搜索键中的所述至少一个搜索组件中的一个，从而创建修改的搜索键，其中，所述修改的搜索键与用户相关联，所述用户界面向用户提供所要修改的所述已知搜索键的所述至少一个搜索组件中的一个的选择，所述所要修改的所述已知搜索键的所述搜索组件的选择提供所要修改的修改方向，用户以往的修改方向的统计记录用于向用户显示修改的方向；和

c.通过评估最接近的键的邻域来确定制造指令，从而使用修改的搜索键生成修改的定制化妆品。

9.如权利要求8所述的用于修改定制化妆品的方法，其中，所述初始化妆品和所述已知搜索键与所述系统中的非定制产品的搜索键相关联。

10.如权利要求8所述的用于修改定制化妆品的方法，其中，所述用户界面包括一个或多个滑块，每个滑块与搜索组件相关联。

11.如权利要求8所述的用于修改定制化妆品的方法，其中，所述用户界面包括一个或多个相近的可选选项图标，这些图标显示在表示已知搜索键的搜索组件之一的图标旁边，以供用户选择，从而修改搜索组件。

12.如权利要求8所述的用于修改定制化妆品的方法，其中，所述设备上的所述应用程序校准选自下组的至少一个设备设置：光圈、曝光、曝光时间、焦距、灵敏度和/或白平衡。

13.如权利要求8所述的用于修改定制化妆品的方法，其中，所述系统包括订单管理服务，所述订单管理服务包括标定真实数据集、混合服务、打印服务、分发应用程序、发货应用程序和打印应用程序。