CN102714689A

CN102714689A - 从图像中确定颜色的方法和系统

Info

Publication number: CN102714689A
Application number: CN2011800065176A
Authority: CN
Inventors: B·B·林斯; P·J·哈罗普; P·M·斯皮尔斯; S·朗赫斯特
Original assignee: Akzo Nobel Coatings International BV
Current assignee: Akzo Nobel Coatings International BV
Priority date: 2010-01-19
Filing date: 2011-01-17
Publication date: 2012-10-03
Anticipated expiration: 2031-01-17
Also published as: RU2012134347A; PL2526684T3; WO2011089093A3; GB201000835D0; CN102714687A; US8885934B2; WO2011089093A2; BR112012016753A2; EP2526683B1; CN103119923B; RU2567863C2; CA2786955C; CA2786964A1; CA2786960A1; BR112012017253B1; RU2573255C2; ZA201205340B; US20130148885A1; EP2526684A1; RU2567500C2

Abstract

本发明的实施例涉及从色样图像确定色样的颜色。在一个实施例中提供其上印刷有已知颜色（例如，XYZ三色值）的色样的颜色捕获卡。然后使用国内可用的装备，例如用户数字照相机或装备有照相机的移动电话，捕获测试色样的图像，图像同样包含色样捕获卡。然后使用图像中的RGB色样和它的已知的XYZ颜色执行回归分析来表征响应图像捕获设备的颜色捕获。在一个实施例中使用N个已知校准色样确定颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。通过表征的图像捕获设备可从图像中的它的RGB颜色确定未知色样的XYZ颜色。

Description

从图像中确定颜色的方法和系统

技术领域

本发明的实施例涉及一种从色样图像中确定色样颜色的方法和系统。

背景技术

当选择用于装饰房间的涂料颜色时，通常的情况是顾客希望涂料的颜色与房间中已经包含的例如家具或例如靠垫、沙发、窗帘或类似的软装饰项目的特定项目的颜色相匹配。涂料生产商通常提供大的颜色调色板，而且在涂料零售商处提供详细的颜色展示，以使顾客能够选择颜色。色样卡对于用户带回家与要匹配颜色的项目进行匹配是可用的。但是，通常这需要顾客光顾涂料零售商店，收集色卡，把色卡带回家，进而尝试比较在色卡上的色样与需要匹配的项目的颜色。然后顾客必须返回商店，通常购买涂料的测试罐，回家，使用涂料的测试罐，然后最终做出购买决定。另外，这样传统的技术依靠单个顾客的感觉作为最匹配的涂料颜色。但是，众所周知人和人之间的颜色的感觉变化显著，这样以致由一个人选择的与样本匹配的颜色对另一个人看来将不是匹配的颜色。

这个问题的一种潜在的解决方案是使用数字图像电子地尝试并且匹配颜色。在这方面，现在国内的用户通常拥有许多供他们支配的以数字照相机或配备照相机的移动电话的形式的数字图像捕获设备。

但是，通常国内可用的图像捕获设备的颜色捕获特性，例如数字照相机，移动电话或类似的设备，设备之间变化显著并且因此精确的颜色捕获通常是不可能的。可以精确测量颜色的专业分光光度计设备是可用的，但是这些超出了大多数国内顾客的手段。典型的国内图像捕获设备将捕获图像并且使用RGB像素值表示颜色。通常使用16位或24位RGB。在使用16位值的情况，红色和蓝色通道的每一个通常具有与之关联的5位，但是绿色通道具有与之关联的6位。在这方面，人眼对绿色比对红色和蓝色更敏感，并且因此大量的绿色是可检测的。在使用24位颜色的情况，则每个颜色通道等于8位或256色。

但是，因为上面提及的在图像捕获设备的精确捕获颜色的差异，以及同样和在再现颜色中类似的例如监视器的图像再现设备，颜色的RGB值没有当作标准值。作为替代，存在由国际照明委员会（CommissionInternational De L’Eclairage,CIE）制定的定义颜色的固定标准，例如CIE三色值X，Y，Z，或所谓CIELAB值（L＊，a＊，b＊）。CIELAB值涉及使用一个已知的数学公式的三色值XYZ。三色XYZ值自身涉及在特定颜色中呈现的波长。

现有技术

因而通过关联捕获的RGB值到标准值如XYZ三色值或CIELAB值的校准图像捕捉设备的问题，先前已经在US5150199和WO01/25737中指出。

更特别地，US5150199（Megatronic公司）描述了一种用于转换或关联由不同的仪器开发的数字RGB值到标准三色值的方法。在这方面，使用迭代回归分析来确定从初始的颜色到标准XYZ三色值转换由摄像机产生的RGB值的初始函数。然后使用回归分析来确定转换由查看不同于初始颜色相比标准XYZ值不同的额外的颜色的摄像机产生的RGB值的附加函数。然后使用为摄像机产生的函数来转换在成像彩色目标中由摄像机产生的RGB值到标准XYZ值。

更特别地，在US5150199中RGB值和XYZ值两者都从一组色样中确定。使用传统的摄像机和能够检测和记录每种颜色的RGB成分的数值的数字化设备确定RGB值。通过传统的色度计或分光光度计的使用确定色样的XYZ值。

已捕获这个数据，作为在分析中的第一步，执行迭代回归分析以发现X是R的函数，Y是G的函数，Z是B的函数。回归分析在色样中使用所谓的“灰度”值，在其中R、G和B值近似相等。产生的函数是能量函数（power function）。其后，在步骤2中，执行能量函数的多变量分析，确定单独关联X、Y和Z的每一个到全部R、G和B的函数。在US5150199中，同样描述使Y函数适于作为红色色度的函数的进一步技术，虽然该技术在这里是不相干的。

因此，为了允许由设备捕获的RGB值转换到XYZ三色值，US5150199描述了用于表征图像捕获设备的颜色捕获转换函数的基本技术。但是，如上所述，为了使用US5150199的设置，为了表征捕获的图像用户必须有权使用色度计或分光光度计来测量色样的颜色，该色样同样由所表征的图像捕获设备成像。通常，在上面背景部分中概述的使用情况中，用户无权使用这样的专业设备如色度计或分光光度计。因此，US5150199的方法很大程度上是实验性的。

但是，WO01/25737部分解决US 5150199的这些缺点。WO01/25737同样描述了匹配捕获的RGB值到标准色度数据，并且特别地匹配到CIELAB值。在WO01/25737中描述的数学分析与在US 5150199中描述的基本上相同，虽然WO01/25737引入了已知颜色、已知色度数据的校准模式（calibration pattern）的概念。然后要测量的未知颜色与校准模式同时成像。校准模式在一个例子中包括65种已知颜色和在另一个例子中，包括分布在颜色空间的37种已知颜色。通过捕获校准颜色的RGB值，可以计算所需的数学模型，以转换已知颜色的测量信号到色度数据（如CIELAB值）。一旦获得该模型，则在图像中的任何未知的颜色（在CIELab颜色空间中）的颜色可从而从其RGB值确定。

WO01/25737描述了要确定的色样的图像与使用例如平板扫描仪或数字照相机的校准模式的图像同时捕获。然后处理捕获的图像以确定在图像中的未知的颜色。该设置描述为在汽车修理行业中特别有用。在这个方面，使用电子成像设备测量要修理的汽车的颜色。在这之前或同时记录由在其上应用有不同校准颜色的板构成。然后计算汽车颜色的色度数据进而找到给出与要修理的汽车的颜色相同的颜色的颜色公式。在分配器中准备颜色公式进而应用。

因此WO01/25737描述一种用于专业场合的设置，如汽车修理或涂料商店。因此，WO01/25737没有指出所有的问题，这些问题涉及例如在其中照明穿过捕获图像变化，或在其中色样实际上包含穿过样本被空间地混合的不同颜色的问题。相反地，在国内的场合，所有的这些异常场合都可出现。

本发明的其他现有技术包括WO02/13136，WO2008/108763和WO2004/028144。

发明内容

本发明的实施例指出了一些上面提及的问题，并且涉及从色样的图像中确定色样的颜色，该图像典型地（虽然不是专有地）已由没有受过训练的用户使用非专业装备捕获。在一个实施例中提供在其上印有已知颜色（例如，XYZ三色值）的色样的色样捕获卡。测试色样的图像则使用国内可用的装备捕获，例如消费者数字照相机或装备照相机的移动电话，图像同样包含色样捕获卡。在一个实施例中，图像则传输到用于色样颜色确定的远程颜色确定服务。使用图像中的RGB色样和其中已知的XYZ颜色执行回归分析以表征响应图像捕获设备的颜色捕获。通过已表征的图像捕获设备，未知色样的XYZ颜色可从图像中的其RGB颜色确定。已知XYZ颜色，则可以精确的匹配颜色与涂料颜色的调色板以确定与未知颜色匹配的涂料颜色。另外，可以识别在涂料调色板中的互补色。

在执行上述设置时，在一个实施例中可解决穿过图像在空间亮度中的差异。在另一个实施例中在图像中的卡的放置错误同样在运行之前使用图像的纠偏（deskewing）和旋转变形校正。在进一步的实施例中在两个途径中计算XYZ颜色，使用来自第一途径的信息通知第二途径。在更进一步的实施例中，在色样实际上包含多于一种颜色之处，使用聚类技术（clusteringtechniques）确定单个颜色以识别在样本中的主导颜色。

鉴于上述情况，本发明的第一方面提供一种方法，包括：接收涉及将要确定其比色数据的未知色样的第一图像数据；和接收涉及多个已知其比色数据的已知校准色样的第二图像数据。然后确定有关从第二图像数据到校准色样的对应的已知的比色数据的已知校准色样的颜色测量的多个颜色校准特性，并且依靠从第一图像数据的其颜色测量和确定的颜色校准特性计算未知色样的比色数据。尤其是使用N个已知的校准色样确定颜色校准特性，其中N小于穿过整个颜色空间中已知的校准色样的总数。在某些情况中这可提供更精确的结果。

更优选地，在上面的实施例中N个已知校准色样是在颜色空间中最接近未知色样的评估颜色的那些N个样本。这有效地允许当确定颜色校准特性时“放大（zoom in）”颜色空间，以使得更精确表征包含未知色样的颜色空间的部分。

在上面的实施例中可以通过使用所有可用的已知的校准色样确定第一组校准特性，和使用第一组校准特性计算所评估的颜色来获得所评估的颜色。然后执行处理的“第二途径”，使用N个最接近的已知的校准色样来评估颜色。在这种方式中，使用双途径处理方式，该方式允许表征一般颜色空间，进而在进一步的细节中表征包含未知色样的空间部分，以提供更精确的结果。

可选地，N个已知校准色样为在有限的颜色空间内使用的那些N个样本，已知第二图像数据代表该有限的颜色空间。在这个方面，它可以是已知校准色样已知在颜色空间的有限部分内，例如，可以全部为红色或蓝色。即，如果试图匹配红色那么用户使用主要为红色，或接近红色的已知校准色样，因此来限定需要表征的捕获设备的颜色空间的部分。

更进一步可选择的N个已知校准色样为具有与从第一图像数据的未知的样本的测量的颜色值最相似的从第二图像数据的测量颜色值的那些N个样本。例如，可以使用具有与未知的色样最接近的RGB或sRGB值的N个已知校准色样。

在上面的实施例中，N优选地在基本上5到基本上250的范围中，或者更优选地基本上10到基本上100，或者更优选地基本上20到基本上85，或者更优选地基本上30到基本上70，或者更优选地基本上40到基本上60，或者更优选在50或50左右。在另一个实施例中则可以使用N的不同数量或范围。

除了上述之外，在一个实施例中确定的未知色样的比色数据则可以与涂料颜色的颜色调色板相匹配以识别匹配的涂料颜色，和涉及提供给用户的匹配涂料颜色的信息。

在一个实施例中，经由电信网络从远程用户接收第一图像数据和第二图像数据。另外，经由电信网络提供给用户涉及匹配涂料颜色的信息。这样可以使用远程服务提供未知色样的匹配涂料颜色。

在一个实施例中接收第一图像数据和第二图像数据作为任意的：i）电子邮件信息；ii）多媒体信息服务（MMS）信息；和/或iii）网页中的图像数据。另外也可以提供涉及匹配涂料颜色的信息作为任意的：i）电子邮件信息；ii）多媒体信息服务信息；iii）短信息服务（SMS）信息；和/或iv）在网页中的数据。这样的通信协议远程地推动涂料匹配服务的供应，该供应对用户是熟悉的并且容易使用。

在一个实施例中通过使用图像捕获设备由用户产生第一图像数据和第二图像数据；其中图像捕获设备优选为任意的：i）数字照相机；ii）装备有照相机的移动电话；和/或iii）数字摄录一体机（camcorder）。同样，该设备对于普通用户而言易于手持，并且用户熟悉该设备的操作。

在一个实施例中确定的比色数据和/或已知的比色数据是XYZ三色值。XYZ三色值定义固定的和特定的标准化的颜色。

在一个实施例中可以确定匹配颜色的互补颜色，并且向用户提供有关确定的互补色的信息。通过提供互补色则可以更容易的确定颜色方案。

在一个实施例中至少第二图像数据定向到已知的方向中以允许在其中的已知的校准色样的识别。图像数据的自动定向允许终端用户的容易使用，因为在任意特定的所需方向中不需要捕获所捕获的第二图像数据。

在这个实施例中定向优选地包括执行边缘检测来识别在第二图像数据中的已知校准色样组的位置。另外，定位可进一步包括识别涉及在第二图像数据中已知的校准色样组的多个预定的点。一旦识别这些已知的点那么能够依靠识别点的位置应用透视转换到第二图像数据来纠偏已知的校准色样组的图像。

此外，在这个实施例中定位可进一步包括识别涉及在第二图像数据中的已知校准色样组的预定的旋转方向标记。第二图像数据则可依靠识别的旋转方向标记的位置旋转以使已知的校正色样放置在第二图像数据中的已知的位置中。

在一个实施例中还可以补偿穿过已知校准色样组的亮度差异。这允许在未控制的照明条件中捕获图像数据，在其中可存在穿过图像的不同照明。同样，这允许终端用户的容易使用。

在这个实施例中补偿可包括确定具有第一组校准系数的第一组一个或多个函数，所述一个或多个函数涉及从第二图像数据到校准色样的已知比色数据的已知校准色样的测量颜色和在图像中每一个已知样本的已知位置。然后分析确定的函数以找到具有第二组校准系数的第二组函数。然后在计算未知色样的比色数据中使用第一和第二组函数和校准系数。

此外，更优选地亮度补偿进一步包括：在第一组函数的确定之前，确定具有前导（pre-cursor）校准系数组的前导函数组，该前导校准系数组有关从第二图像数据到不考虑已知色样的位置的校准色样的已知比色数据的已知校准色样的测量颜色。然后使用前导校准系数组作为在第一组一个或多个函数的确定中的第一组校准系数的一部分。

在本发明的一个实施例中可对表示在第一图像中的未知色样的像素的像素值应用聚类算法来确定在样本图像中的颜色的数量，和用于每一个识别的聚类（cluster）识别的颜色。用这样的设置，如果未知的色样包括多于一种颜色，那么或者可以识别主导颜色，和/或分别识别单个颜色。

在这一实施例中首先使用颜色校准特性校准像素值。这具有确保在色样中的真实颜色上运行聚类算法的效果。

使用的聚类算法则可通过如下步骤运行：i）在聚类中计算像素的平均值；ii）然后在平均值的预定的阈值距离内确定像素的数量；进而iii）如果确定的像素的数量少于涉及未知样本的第一图像数据中的像素的数量的预定比例（fraction）则增加聚类的数量。这样用每一个涉及相应的单个颜色识别的聚类，使识别在样本中的不同颜色成为可能。

为了确保探测在样本中的主导或重要颜色，实施例还可以过滤聚类从在平均的聚类的第二阈值距离内不包含像素的阈值数量的考虑移除那些聚类。因此，不识别仅有小数量像素的颜色聚类作为样本中的主导或重要颜色。

从本发明的第二方面同样提供一种设备，包括：至少一个处理器；和包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码配置为，用至少一个处理器，使该设备执行至少下面的：i）接收涉及要确定其比色数据的未知色样的第一图像数据，和涉及多个已知其比色数据的已知校准色样的第二图像数据；ii）确定涉及从第二图像数据到校准色样的相应的已知比色数据的已知校准色样的颜色测量的多个颜色校准特性；和iii）依靠从第一图像数据的其颜色测量和确定的颜色校准特性来计算未知色样的比色数据；其特征在于使用N个已知校准色样确定颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。

本发明的进一步方面和特征将从附加权利要求中体现。

附图说明

本发明的例子的进一步特征和优点将从本发明具体实施例的下面的描述中体现，仅通过举例的方式和参考附图体现，其中同样的附图标记指示同一部分，并且其中：

图1是根据本发明实施例的系统的方框图。

图2是在本发明实施例中使用的颜色校准样本卡的图；

图3是在本发明实施例中执行的过程的流程图；

图4是在本发明实施例中使用的说明图像定向过程的流程图和相关图；

图5是在本发明实施例中使用的描述颜色校准过程的流程图；

图6是在本发明实施例中使用的说明多途径过程的流程图；

图7是在本发明实施例中使用的说明空间亮度校准过程的一部分的流程图；

图8是在本发明实施例中使用的说明聚类过程的流程图；

图9是在本发明实施例中使用的证明聚类过程使用的图；

图10是在本发明实施例中使用的说明聚类过程的使用的另一个图；

图11是用于在本发明实施例的测试的实验性的颜色校准样本模版的照片；

图12是在本发明实施例的测试期间中从校准过程获得的灰度能量拟合（greyscale power fit）的图表；

图13-15是图12中示出的基于能量函数的用于X，Y和Z的能量函数回归拟合的图；

图16是使用二阶多项式的灰度拟合的图；

图17是使用约束在零截止的四阶多项式的灰度拟合的图；

图18-20是从在其中执行第二处理途径的实施例获得的测试结果的图。

具体实施方式

本发明的不同例子现在将关于附图描述。

1．第一实施例-使用减少的颜色空间的回归分析

图1是根据本发明第一实施例的系统的方框图。系统具有用户侧元件和后端服务器侧元件。用户侧元件用于与其比色数据已知的校准色样的图像一起捕获要确定的色样的图像。服务器侧或后端元件涉及接收图像数据、处理图像数据、确定未知色样的颜色、匹配颜色到涂料调色板然后从调色板返回匹配的颜色到用户的处理元件。

在这点上，本发明的第一实施例旨在提供一种允许国内用户或其他用户精确地识别未知色样的颜色的系统。为了执行该系统，用户获得校准色样卡，例如通过邮寄，或通过访问他们可用的涂料零售商店。校准色样卡具有一个要确定其颜色的目标可放置在其中的裁剪的部分。然后用户用容易的可用的图像捕获设备，例如数字照相机或装备有照相机的移动电话，捕获具有在该裁剪的部分中要确定的目标颜色的校准色样卡的图像。然后由用户传输图像，例如通过电子邮件、多媒体信息服务或使用网络接口，到处理图像的后端服务器，确定未知色样的颜色，并回传关于匹配涂料颜色的信息给用户。此外，有关互补涂料颜色的信息使制定涂料颜色方案也可以回传到用户。

图1以更多的细节说明该系统的元件。在用户端开始，用户例如从本地的涂料零售商或通过邮寄将它寄出以获得校准色样卡24。校准色样卡24在其上具有多个单独的色样242，穿过该卡空间地分布，色样242的颜色也穿过颜色空间分布。校准色样卡24具有一个裁剪部分244，如图1所示位于中间，但是在另一个实施例中裁剪部分可以位于卡上的任意位置，在该卡中，在使用中，放置要采样的目标或放置该卡在要采样的目标上，从而要采样的目标的部分通过裁剪部分244示出。校准色样卡24的进一步细节稍后将参考图2描述。

在使用中，如指出的用户放置校准色样卡24在要确定其颜色的目标上。然后用户使用图像捕获设备例如数字照相机或装备有照相机的移动电话，以获取同样位于图像中的具有要确定的未知色样的校准色样卡24的图像。如图1所示，可以使用用户图像捕获设备12，例如数字照相机或装有图像捕获设备例如内置摄像头的用户移动设备14。

一旦用户捕获了图像，那么用户必须传输图像到用于图像处理的后端服务器10。可以使用多种不同的传输技术来传输图像数据到后端服务器10，并且本发明的实施例不限于那些描述。例如，用户可以从数字照相机12装载捕获的图像到他的或她的计算机16上，该计算机16经由本地网络，例如WIFI路由器18连接到因特网22。然后，用户可以使用计算机16发送作为附件的图像的电子邮件到涉及后端服务器10的电子邮件地址。

可选地，后端服务器10经由网络接口可以提供能够由计算机16下载和由浏览器程序显示的专用网页，并且可以放置图像数据在其中，使得可以回传到后端服务器10。

在用户使用移动电话捕获图像的情况下提供到后端服务器的可选择的路线。通常公知为智能电话的某些移动设备具有WIFI功能并可用于发送电子邮件或以与膝上型电脑或台式计算机相同的方式访问网页。在这种情况下使用用户移动设备作为便携式计算机并且因此可通过电子邮件发送的捕获的图像，或作为进入到网页的数据，回传到后端服务器。可选择地，用户移动设备可以使用它的蜂窝无线接口来发送图像数据到后端服务器10。在这种情况下，可以发送图像数据，例如作为经由蜂窝网络26到移动网关20的多媒体信息服务（MMS）信息，该移动网关然后传输图像数据到后端服务器10。在这方面，可以提供特殊的联系号码并让可向其发送MMS信息的用户知道（例如印在校准色样卡24上）。

后端服务器10包括连接到用于从用户接收图像数据的网络22的网络接口102，和向网络22传送颜色匹配数据，如将要描述的一样。后端服务器10进一步包括运行程序以执行颜色确定和通常控制后端服务器10的操作的处理器104。由数据可暂存在其中的处理器提供使用的工作存储器106。

同样在后端服务器10中提供的是形成数据和程序可存于其中的长项（long term）存储的计算机可读介质108。例如计算机可读介质108可以为硬盘驱动器，或可以是例如固态存储器。存储在计算机可读介质108上的是一些控制程序。在这第一个实施例中提供颜色匹配控制模块104，该颜色匹配控制模块104控制系统的整体操作，并且当需要时调用其他模块以执行操作。另外，在第一实施例中提供的是校准模块118，该校准模块118适当地从颜色匹配控制模块114接收控制命令，并由处理器104运行以执行校准函数，并且特别是执行必要的回归分析以使能够表征由用户使用的图像捕获设备的颜色捕获特性。校准模块118操作的进一步细节将稍后给出。

在另一个实施例中，可以提供附加的模块，例如图像定向模块116，或者聚类模块120。这些附加模块的操作将稍后关于相关的实施例描述。

另外在后端服务器10中提供的进一步是计算机可读存储介质110，其同样可以采用硬盘、固态存储器或类似的形式。在这方面，第二计算机可读存储介质110可以实际上为与介质108相同的介质，并且可例如是构成第一计算机可读存储介质108的相同硬盘的分区。但是，第二计算机存储介质110存储包括涉及在校准色样卡24上的色样的比色数据的颜色数据库。可以相关于可用的不同校准色样卡24，存储这些数据的多个组。对于每个校准色样卡24，存储卡的标识符（ID），然后为在卡上的每一个已知的色样，与在卡上具有那些三色值的色样的XY坐标位置一起存储已知的XYZ三色值。由于在校准色样卡24上存在色样碎片，因此将存在许多组坐标值和相关的三色值。

图2在更多细节上示出校准色样卡24。特别地，校准色样卡24在其外部边缘具有边界248，进而在其上印刷有已知颜色的色样碎片。布置色样碎片使得色样碎片区域的外部边缘周围的碎片250为灰度碎片，例如它们的范围为从黑色通过多个的灰度颜色到白色。应当由例如具有基本上相等的RGB值的数字照相机的图像捕获设备捕获这些碎片。如在后面的实施例中将要描述的，它们在执行空间亮度校正中是有用的。

进一步位于从校准色样卡24的边缘中的色样碎片242是每一个具有已知的三色颜色值的颜色碎片。在这方面，颜色碎片必须按照期望的三色值尽可能精确地印刷。可选地，可以印刷校准颜色卡，进而测量每一个碎片例如使用分光光度计来确定它的XYZ值。色样碎片242的颜色优选地穿过整个颜色空间分布。但是，在稍后描述的其他的实施例中颜色可以集中在颜色空间的特别区域内。

同样用某种识别标记246提供卡24，该标记可以为条形码或某些其他受信（fiduciary）标记，例如印刷的名称、符号或类似的标记。这用于识别哪张卡已由用户使用，这样可以选择使用的正确的色卡数据。

最后，校准卡24具有裁剪部分244，这里在中间示出。但是裁剪部分的位置不重要，并且它可以位于在卡上的任意位置甚至在边缘。此外不是必须包含裁剪部分；在这方面，校准色样卡24可以简单地位于邻近目标或要确定其颜色的样本，尽管这不是最优的。

在使用中，如所提及的，用户例如从涂料零售商获得校准色样卡24，然后放置校准卡24使得裁剪部分超过采样的颜色，例如靠垫、窗帘、家具项目或类似的颜色。在这方面，卡24将位于要采样其颜色的目标的正面或反面，这样它的颜色通过裁剪部分244示出。使用移动电话、数字照相机或类似的，用户则获取要采样的具有在图像中的颜色捕获卡的目标的静止图像，并且使用先前描述的多种通信途径，例如MMS、电子邮件或使用网页访问将其发送到后端服务器10。

图3在更多细节中示出在后端服务器10执行的过程。

首先，在后端服务器10的网络接口102接收由用户发送的图像数据32。通过在处理器104上运行的颜色匹配控制模块114控制后端服务器10。当接收到图像数据时，颜色匹配控制模块114首先，随意地，执行图像处理来定位和定向图像内的校准色样卡24。这在块3.2中执行，并且可选择因为可能取决于向用户给出的指示，这个步骤不是必需的。例如，校准色样卡24可与向用户的指示一起给出以捕获图像使得在图像内的卡的位置是不偏斜的。另外，在它发送到后端服务器10之前，可指示用户裁剪图像使得图像单独地具有在已知的旋转方向中的校准卡24。如果提供用户这些指示并执行它们，那么将不需要执行任何定位或卡定向途径。因此，在这种情况下，接收的图像32将为单独具有在已知方向中的未知样本的校准卡的图像，例如，可以为卡和样本的卡图像34。

一旦已经获得卡图像34，为了执行回归分析来表征用户的图像捕获设备的颜色捕获特性，颜色匹配控制模块114控制处理器104装入校准模块118。在本实施例中使用的回归分析与先前在US5150199和WO01/25737中描述的基本上一样，并且在图5中示出更多的细节。在图3的方面中，在块3.4中执行表征该设备的回归分析，参考从颜色卡数据112中已知的，存储在颜色数据库110中的校准卡设计（layout）35。

迭代回归算法包括以下两个单独的处理步骤：

步骤1：使用在校准色样卡24上的灰度色样确定每一个测量的R，G和B组件和已知的X，Y和Z组件之间的3个关系，例如

●X作为R的函数(命名为函数R₁)。

●Y作为G的函数(命名为函数G₁)。

●Z作为B的函数(命名为函数B₁)。

可以在灰度数据上使用能量曲线拟合来获得上面步骤1中的关系R₁,G₁,B₁。同样可使用任意的二阶、4阶或更高阶的多项式曲线拟合。

步骤2：确定在已知的X，Y和Z组件的每一个和在上面步骤1中确定的三个函数之间的多变量线性关系，例如

●X作为R₁,G₁,B₁的函数(命名为函数X₁)。

●Y作为R₁,G₁,B₁的函数(命名为函数Y₁)。

●Z作为R₁,G₁,B₁的函数(命名为函数Z₁)。

步骤2在算法中执行与步骤1中获得的针对能量曲线拟合R₁,G₁和B₁的X，Y和Z的多变量回归，例如

X=f(R₁,G₁,B₁)

Y=f(R₁,G₁,B₁)

Z=f(R₁,G₁,B₁)

或者

X=a+b.R₁+c.G₁+d.B₁

Y=a+b.R₁+c.G₁+d.B₁

Z=a+b.R₁+c.G₁+d.B₁

其中a，b，c和d为常数系数。X，Y和Z的三个多变量回归拟合分别指示X₁,Y₁和Z₁。

图5在更多细节上示出了上面的例子。特别地，如在图3中的块3.4一样将执行图5的过程。

首先，在块5.2，像讨论的一样，接收来自已知方向的颜色卡的图像数据。然后识别在块5.4使用的颜色卡是必需的，并且这使用位于校准卡24上的识别标记246执行。即，执行识别标记246的识别，然后使用该标记作为索引来从颜色卡数据库110选择颜色卡数据的合适的组。

接下来，开始上面提及的算法的第一步，从块5.6延伸到5.14。也就是说，在块5.6开始过程回路来在图像中的已知位置从图像读取数据。也就是说，在块5.6，在校准卡24上的已知位置(x,y)的每一个灰度样本具有从在块5.8的图像测量的它的RGB值，然后在步骤5.10从数据库中查找用于在相同位置(x,y)的样本的三色XYZ值。为图像上的所有灰度样本重复该过程，与样本250一样，具有校准卡24的该灰度样本位于色样的外部边缘。在可替换的实施例中，这个步骤不需要限制为灰度样本，并且另外同样可以使用其他色样，或作为替换。

因此，在处理构成块5.6到5.12的最后，为在图像中的每一个已知颜色或灰度样本，将从在颜色数据库110中的合适的色卡数据获得三色XYZ值，并且将测量在图像上的色样的RGB值。对应的RGB和XYZ值相互关联地存储在存储器106中。例如，如图12，16和17所示，为针对在图上的样本的已知的XYZ值的每个已知样本绘制测量的RGB值是可能的。

一旦测量到RGB值，并且从颜色数据库中查找到相应的XYZ值，那么在步骤5.14，执行算法的上面提示的步骤1，来确定作为测量的R值的函数的X值，作为G测量的值的函数的Y值，和作为测量的B值的函数的Z值。或使用能量拟合或使用多项式拟合执行这个步骤，以获得涉及X到R，Y到G和Z到B的函数。通常，能量拟合将给出如下等式形式：

X_i=α_XR_i ^βx

Y_i=α_YG_i ^βY

Z_i＝α_ZB_i ^βZ

其中系数α_X，y，z和β_x，y，z表征各自的关系。

图12，16和17示出用于在图11中示出的在测试校准样本序列1102的捕获的图像上执行的实验测试数据的获得的曲线拟合的例子。图11示出了色样碎片1102的序列，与灰度碎片1104一起，位于序列的底部。色样碎片1102包括包含6个灰度标准256种随机布置的标准颜色。灰度碎片1104包括从黑到白排列的16种灰度颜色。

为了测试该过程，图11的实验测试序列是使用D65光线照明并且使用高端数字照相机(佳能Powershot Pro 90IS)捕获的图像。在测试序列中预先已知来自颜色碎片的XYZ三色数据，在序列中通过碎片的位置索引。用这些数据，绘制针对每一个测试碎片的已知XYZ值的每一个碎片的测量的R，G和B值是可能的，如图12，16和17中所示。应当注意在图12，16和17中的每一个中数据的绘制是相同的。不同的是应用的曲线拟合。特别地，在图12中根据上面描述的关系，使用能量拟合。但是，如所提及的，同样可使用多项式拟合而不是能量拟合，并且图16示出二阶多项式拟合，反之图17示出四阶多项式拟合，在其中函数被限制在零处截止。如后面将要描述的一样，不管使用能量拟合还是多项式拟合，结果基本上相同，并且看来有一点优势，如果有的话，使用多项式拟合好于能量拟合。

一旦执行曲线拟合来给出上面提及的函数，接下来，在块5.16，针对获得的函数执行X，Y和Z的多变量回归，来获得有关X到R、G，和B、Y到R、G和B，和Z到R、G和B的系数，如上面步骤2中提及的一样。图13示出针对回归拟合R1和X1的已知X的绘制，然而图17示出针对回归拟合G1和Y1的已知Y的绘制，和图15示出针对回归拟合B1和Z1的已知Z的绘制。如上描述，这找到有助于表征X，Y和Z的每一个作为R，G和B的函数的常数系数（上面步骤2中的a，b，c和d）。一旦找到这些系数，例如来自上述算法的步骤1和步骤2二者的系数，存储它们并其后表征由用户使用的图像捕获设备的颜色捕获函数。使用这些系数则可能从它的RGB值找到在图像中的未知色样的颜色。

因此，返回到图3，在块3.4，执行上面提及的校准过程并且这返回一组校准系数36，该系数则可用于后来的颜色确定。

首先，但是，必须确定在已知色样中是否有任意的主导颜色，并在块3.6中执行该确定。例如，可以检查表示未知样本的RGB像素值来确定是否存在主导RGB值。另外，如果没有主导RGB值，那么在块3.10使用的网络接口询问用户以抓取要校准的颜色。然后在块3.12校准抓取的颜色。在随后的实施例中我们将描述能够在未知样本中识别多个颜色并为它们的每一个返回校准颜色的聚类过程。

在块3.12，使用校准系数36校准抓取的颜色。即，使用校准系数36应用RGB值到在块3.4找到的方程。这个过程给出抓取的颜色的XYZ三色值。

在块3.14，已经找到的未知色样的XYZ值（或在色样中抓取的主导值，如果存在多于一种的颜色）然后颜色匹配控制模块114执行以找到在可用颜色调色板中的最接近的颜色。在这方面，颜色调色板数据45可用于颜色匹配控制模块114并存储在颜色数据库110中。通过由使用颜色差异测量执行找到最接近的颜色，并且比较使用差异测量在调色板中为每一个颜色确定的XYZ颜色，选择具有最小差异的颜色。可以使用许多不同的差异测量，但是在本发明的实施例中优选使用CIE Delta E测量。特别地，可以使用原始CIE Delta E（1976）颜色差异测量，或在另一个实施例中的CIE Delta E(2000)测量。在进一步的实施例中，可以使用Delta E(2000)但是使用不同的加权因子。

在块3.14的颜色匹配过程返回在调色板中最接近确定的测试样本的XYZ颜色的为涂料颜色的匹配涂料颜色。然后提供这个涂料颜色信息42经由网络22上的网络接口102返回给用户。例如，在用户使用移动设备通过MMS传输图像到后端服务器10处，网络接口102可以配置为短信息服务（SMS）或MMS信息来发送涂料颜色信息返回到用户移动设备。可选择地，在用户发送电子邮件给后端服务器10处，网络接口102可以配置电子邮件答复涂料颜色信息。在使用网络接口处，可向用户发送用于由用户网络浏览器显示的网页，所述用户网络浏览器给出匹配的涂料颜色信息。

最后，在本发明的一些实施例中除了返回涂料颜色信息42外，在块3.16后端服务器10同样执行找到补充确定的涂料颜色42的颜色方案。例如，有许多用于确定彼此互补的颜色方案的方法。例如，离在CIELAB颜色轮上的第一颜色120°的颜色通常认为是补充色。另外，离在CIELAB颜色轮上的第一颜色180°的颜色同样认为是互补的。因此，在块3.16，使用这样的补充色确定技术，来确定颜色方案信息44，该信息同样返回给用户。

因此，在第一实施例中，用户可以使用他的移动电话或他的数字照相机获得要确定其颜色的目标的数字照片。通过放置校准色样卡24在目标上、邻近或接近目标获取照片，使得校准色样卡24和目标两者在图像中捕获。然后用户经由从他家到后端服务器的电信网络发送图像。在这方面，联系细节例如电子邮件地址、MMS号码或网页地址，可以在校准色样卡24的背面提供。后端服务器10接收图像，像描述的一样处理图像来确定要确定的目标的实际颜色，进而与涂料调色板匹配颜色来确定目标的匹配涂料颜色。然后在答复用户时通过电信网络返回有关匹配涂料颜色的信息。答复可以是，例如，通过电子邮件，SMS，MMS或通过在用户的计算机或移动电话上的浏览器中传送用于显示的合适的网页。用这样的设置，极大地提高用户容易地匹配涂料颜色的能力。特别地，对用户而言不再需要从他的本地涂料商店获得多组色样卡，进而尝试使用他自己的感觉匹配颜色。作为替代，可以获得更精确的和数学上严格的颜色匹配。另外，不需要专业设备来获取图像，而且用户能够使用他通常拥有的图像捕获设备。

为了从上面提及的过程评估结果，同样使用两个模版标准（先前描述的，图11中示出第二模版标准，第一模版标准相同，但是在底部没有灰度碎片1104）的测量的RGB数据作为样本输入数据。使用上面描述的方法使用该RGB输入数据来计算校准的XYZ值。然后在数字上比较确定的校准XYZ颜色与已知的XYZ值以提供算法中回归拟合的有效性的测量。为了这个目的，使用CIE dE和CIE DE2000的感觉差异的两个标准测量。

下面的表格显示平均dE和同样用于上面描述的每一种方法获得的DE2000值。

在上面表格中的数据指示能量曲线拟合到具有多项式拟合的灰度数据的替代对作为结果的对平均DE2000很小或没有影响的X₁,Y₁,Z₁值影响不大。因此能量曲线拟合到具有多项式拟合的灰度数据的替代导致对校准没有显著的改进。这可能因为在步骤2中的多变量回归过程中考虑到灰度曲线拟合中的任何散布。

根据该结果，设计dE差异测量使得对人类观测者最小的可察觉差异具有1的dE值。但是，对于许多人1的dE将导致在颜色中没有可察觉的差异，并且特别是如果颜色没有并排放置。在现在的情况中，当具有在迭代回归（测试2，使用图11中所示的模版）中使用的具有额外灰度值的模版上使用时，描述的颜色确定过程导致计算的XYZ值在每一个测试情况中具有比实际的XYZ值小于3的平均dE2000。

如目前为止描述的，用来找到校准系数的回归分析已利用穿过整个颜色空间中在卡上的尽可能多的样本。但是，在本实施例中，如果能够获得要确定的未知样本的潜在颜色的某一先验知识，那么能够使用接近未知样本的颜色的那些已知色样执行用来确定校准系数的回归分析。这类似对感兴趣的颜色空间的部分（例如响应用户图像捕获设备的颜色捕获的部分，这是用于捕获未知样本的RGB值的实际上最感兴趣的部分）的“放大”。图像捕获响应的较小部分则能够尽可能接近地表征以尝试并且改进精度。

在更多的细节中，普通校准过程包括2个主要步骤：

1.测量的样本和它们已知的颜色（‘标准’）的回归分析来产生表征用于制作图像的设备的校准系数。

2.使用校准系数来获得已知的RGB颜色（和涉及校准框架的位置）和产生XYZ颜色。

在本实施例中我们延伸这种过程以包括第二途径：一旦知道第一途径XYZ颜色，在校准卡上的已知样本（‘标准’）的子集则用于重复步骤1。在本实施例中我们使用N个最接近的标准来校准颜色（从步骤2）并获得最接近的颜色的分离的组用于校准的伽马校正部分（例如，图5中的B.5.14）和多变量分析部分（例如图5中的步骤B.5.16）。进一步细节在图6中示出。

更特别地，从块B.3.4到B.3.12，在块6.2执行通过图3的过程的第一途径。即，使用在卡24上的所有已知的色样，以在先前实施例中描述的方式找到校准系数。然后在块6.4确定未知色样的XYZ颜色。

然后在块6.6使用该信息来识别对于未知样本的已识别XYZ颜色的N个最接近的色样。在该实施例中，找到N_G个最接近的灰度样本，和N_C个最接近的色样，在其中N_G通常小于N_C。稍后将给出执行用于确定N_G和N_C值的测试的细节。使用delta_E差异测量（例如delta_E(2000)）找到最接近的灰度和色样。

已经找到最接近的颜色（灰度和颜色），在块6.8再次执行校准，来重新确定校准系数但是这次仅使用找到的最接近的颜色。如上所述，这类似于在具有颜色空间的特殊的区域上缩放或聚焦。理论上，则应考虑在校准过程中存在的任意本地效果。

已经重新确定校准系数，在块6.10则使用新的校准系数和从该图像测量的RGB值重新计算未知色样的XYZ值。

已执行多次测试来评估该重校准的效果，并且这些参考图18到21在下面详述。

测试1

作为这种区域校准方法的初始评估，用于先前讨论的两个测试模版（在图11中示出的第二测试模版-第一模版是相同的，但是在底部没有灰度颜色行）的测量的RGB值用作样本RGB值。在下面的第二（区域）途径中测试子集尺寸（例如N_G和N_C值）的范围。报告的dE和DE2000值用于确定的X₁,Y₁,Z₁值。

从上面的表格中明显在所有情况中第二区域途径改善了平均dE和DE2000值（存在较小的散布）。图18汇总了具有在导致在DE2000中的显著改进的第二途径中使用的模版颜色的数量（N_C）减少的数据。减少灰度模版颜色的数量（N_G）以在第二途径中使用同样改善DE2000，尽管该效果不如由颜色的减少获得的效果显著。

测试2

从第二模版在数据上执行类似的分析（在图11中示出）。与第一模版一样，第二途径导致在平均dE和DE2000中的显著改善（参照下表）。图19中以图形显示该结果。

图19证明在用于第二途径的校准数据子集中使用的减少颜色数量(N_C)显著改善确定的XYZ的保真度（例如较低的DE2000）。但是，减少灰度样本的数量(N_G)以在第二途径中的能量曲线拟合步骤中使用在颜色保真度上具有很小效果。

测试3和测试4

测试3和测试4使用模版2上的标准但是另外具有用于评估区域校准方法的在图像中的“真实”样本数据。

测试3

测试3是使用高端数字照相机（DigiEye）在受控照明条件（D65）下的“最佳情况”方案。来自10个测试样本的结果在下面的表格中显示。

又一次，第二区域途径减小在单个途径设置上提供改进的平均dE和DE2000值。图20中示出在DE2000中的效果。这里，减小N_G和N_C两者已具有在获得的降低平均delta_E值上的效果。

测试4

测试4是一个使用“现成的”的数字照相机（佳能PowerShot S30）在良好自然光照下的“现实情况”方案。在下表中展示来自10个测试样本的结果。

图21中示出在DE2000中的效果。但是，在该测试中存在大约50个标准上的DE2000值的最小值。在第二途径中使用的灰度标准的减少数量具有在DE2000上很小的效果。

这些测试示出减少在多变量回归中使用的颜色N_C的数量具有为未知样本获得的颜色的精度上的可观效果。特别地，能够获得提供的未知样本的颜色的某个先验知识然后限制到最接近的N_C颜色，在其中用于多变量回归的N_C的范围为5到250，或更优选地10到100，或甚至更优选地20到100，或更优选地30到70，或更优选的40到60可改善颜色确定的精度。图21示出当用于多变量分析使用大约50种最接近的颜色时获得最精确的颜色确定，尽管获得具有小于3.0的DE2000的良好结果，在其中使用在大约20种颜色到大约100种颜色的范围内的一些颜色。在百分比项中这等于在颜色卡24上可用的从8％左右到40％左右的颜色数量，假设例如在卡上存在大约250种颜色。

在如何能够获得样本的颜色的先验知识方面，如上面提及的，在本实施例中通过执行第一途径处理以确定颜色来获得，进而在校准步骤中执行具有减少的颜色数量的第二途径。但是，这不是必需的，并且在其他实施例中可以通过某个其他方式获得先验知识。例如，在一个实施例中可能作出关于成像设备特性的本性的假设（例如假设RGB颜色位于sRGB颜色空间中）。在另一实施例中能够通过挑选具有接近要测量的RGB颜色的测量的RGB值的样本获得颜色减少的数量。在进一步的实施例中，在色卡上的颜色可能具有减小的范围。例如，色卡的不同版本可能产生每一个在其上具有颜色空间的子集，例如具有“红色”的卡，或具有“蓝色”的其它的卡。然后用户选择具有颜色的卡，该颜色最接近她希望匹配的颜色，例如，用户知道她希望匹配红色靠垫，因此使用在它上面主要为红色的卡24。在所有的这些情况中减少的已知接近要确定的颜色的色样组用于执行校准，并且因此可以考虑响应在颜色空间的该部分中的设备的颜色捕获中的本地改变。

2.第二实施例-图像定向

现在将描述本发明的第二实施例。本发明的第二实施例以上面描述的第一实施例为其基础，并且因此二者间相同的特征将不再描述。

第二实施例涉及图3的过程的块3.2中执行的图像定向。更特别地，如第一实施例中在先描述的这样的图像定向可能不是必要的，因为用户可以通过手工裁剪和旋转校准色样卡24的图像来产生卡的图像和将其发送到后端服务器之前的未知样本。在这方面，当取得图像时用户能确保卡到图像平面的方向是正确的，没有任何透视或偏斜。

但是，对于外行用户更优选地不需要任何由用户执行的对图像的预处理，或当取得图像时没有必须符合的在图像定向中的特别条件。相反，系统应当尽可能易于外行用户使用，仅需要他们能够用以任何方向的校准色样卡24取得具有未知色样的校准色样卡24的图片。通过这样做，系统将易于外行用户理解和使用，并且因此将促进系统的使用。

因此，在第二实施例中，为了允许容易的使用，在后端服务器接收的图像32可包括在任意方向中的校准色样卡24的图像。但是，为了处理在图像中的数据，需要知道校准色样卡24的方向和在图像中的卡上的色样碎片的位置。因此，在块3.2通过图像定向模块116执行卡的图像定位和定向。

图4在更多细节上示出图像定向模块116的操作。首先，在块4.2从网络接口102（或从颜色匹配控制模块114）接收图像数据32。为了在图像中定位校准色样卡24，在块4.4在图像上执行边缘检测，以检测高对比度边缘。在这个方面，校准色样卡24具有一个可用于定位在图像32中的卡的粗的两倍边界248，该边界可通过边缘检测算法容易地被识别。一旦找到在图像中的该轮廓那么在块4.6我们寻找一系列具有正确的方向顺序的嵌套的四边凸起的轮廓，并且在其中每一个产物（child）是其上层（parent）尺寸的重要片段（fraction）。在这方面，在边界检测后出现作为两个嵌套的四边形的粗的边界，因此在图像中这种嵌套形状的识别可识别卡24。

使用上面的方法已经确定图像中卡24的位置，如所示出的，可以分割图像以离开卡的图像数据46。然后为了能够执行透视变换以纠偏图像，识别在卡上的已知特征是必要的。因此，在块4.8识别出卡的已知特征，例如卡的拐角。注意使用任意受信标记来识别在校准卡上的固定点是可能的，但是在本实施例中为了进行透视变换我们需要识别卡上的4个点。

已经识别了在卡的图像上的已知点，在块4.10我们使用已知点（例如最里面边界的拐角）来进行透视变换以纠偏图像。在图4中通过例子的方式示出纠偏的图像50。但是，该纠偏的卡的图像50能够具有任意旋转方向，因此我们使用卡的期望设计的先验知识来正确地定向卡。在这种情况，色卡数据112存储在颜色数据库110中，存储涉及受信特征的位置的信息的色卡数据112能够被识别并且用于定向卡。例如，沿着框架的一个边缘的条形码或商标具有邻近它的白色区域。因此，查找最亮的两个拐角并旋转图像以在底部具有这两个拐角是可能的。因此，在块4.12涉及卡的旋转方向的已知特征被识别，进而在块4.14旋转纠偏的卡的图像50使得特征位于已知的旋转方向中，因此旋转地定向卡。如此，获得已知方向的卡的图像数据34。

在另一实施例中使用卡的任何已知特征以获得旋转的定向是可能的。这也可通过产生与其它不同的受信特征中的一个获得。另外的可能性是旋转对称地产生在卡上的样本的设计，从而卡的旋转方向是不相关的。

上面步骤的总体结果是用户不需要干涉找到图像中的卡，也不需要对于用户的任何特别需求作为照片将如何获得或在发送到后端服务器之前如何预处理。如此，获得更加用户友好的系统，这更适合由外行用户使用。

3.第三实施例-空间亮度校正

现在将描述本发明的第三实施例。第三实施例以先前描述的第一或第二实施例为基础，并且因此三者间相同的特征将不再描述。

本发明的第三实施例重点在改进图3的过程的块3.4上执行的校准系数的确定，和特别考虑穿过卡的图像34亮度和对比度中的差异。也就是说，用户可能已在有缺陷的照明条件中取得图像32，以致穿过卡24存在照明差异使得穿过卡的亮度和对比度是不一致的。本发明的第三实施例提出能够在校准阶段执行以扩展考虑这种空间照明差异的校准模型的额外的处理。本实施例提出假设在穿过卡的对比度的亮度中的线性变化的方法，尽管找到模型更高阶变化的更高阶系数是可能的。

图7在更多细节上说明该过程。过程包括两个主要步骤（B.7.6和B.7.10）。首先，在块7.2在图像中的(x_i，y_i)点测量样本R_i，G_i和B_i，并从颜色数据库中的色卡数据获得对应的XYZ值X_i，Y_i和Z_i。然后，考虑在卡的图像34中每一个测量的R的(x，y)位置，找到映射已知的X到测量的R的各自的关系。也对映射已知的Y到测量的G，和已知的Z到测量的B进行同样的处理。也就是说，在更多细节上考虑X-R，使用能量拟合表明有关X到R的关系，但是在其中R的系数依赖于在卡的图像中的位置。另外，也在同样依赖于位置的方程中引入偏移项。也就是说，要找到的X和R之间的关系是位置依赖的，依赖于在卡上的样本的位置。还可以找到Y和G之间，与Z和B之间的相似的位置依赖关系。在本实施例中使用下面的方程：

X_i=(α_X+ζ_Xx_i+η_Xy_i)R_i ^βX+(γ_X+δ_Xx_i+ε_Xy_i)

Y_i=(α_Y+ζ_Yx_i+η_Yy_i)G_i ^βY+(γ_Y+δ_Yx_i+ε_Yy_i)

Z_i=(α_Z+ζ_Zx_i+η_Zy_i)B_i ^βZ+(γ_Z+δ_Zx_i+ε_Zy_i)

其中，α_X,Y，Z，β_X,Y，Z，ζ_X,Y，Z，η_X,Y，Z，γ_X,Y，Z，δ_X,Y，Z,和ε_X,Y，Z是固定的系数，(x_i，y_i)是的在卡上的第i个样本的位置，R_i，G_i，和B_i是第i个样本的测量的RGB值。但是在其他实施例中可能使用不同的方程-可能使用考虑在卡上的样本位置的任意关系。

在B.7.6使用最小二乘拟合方法求解上面的方程来确定α_X,Y，Z，β_X,Y，Z，ζ_X,Y，Z，η_X,Y，Z，γ_X,Y，Z，δ_X,Y，Z,和ε_X,Y，Z的值。但是，没有任意现有知识这些方程将可能不会容易地求解（可找到本地最大值或最小值）。因此，随意的（在块7.4）使用没有位置依赖的图像中的灰度样本能够预先找到系数α_X,Y，Z，β_X,Y，Z，并且执行针对R_i的X_i的能量曲线的（最小二乘）拟合然后相似地针对G_i的Y_i和针对B_i的Z_i给出6个系数α_X,Y，Z，β_X,Y，Z。

X_i=α_XR_i ^βX

Y_i=α_YG_i ^βY

Z_i＝α_ZB_i ^βZ

注意这些方程不用考虑任何空间亮度分布，但是被执行以提供α_X,Y， _Z，β_X,Y，Z的初始值，然后可用来求解位置依赖方程。

下面，在块7.8使用这21个系数（每通道7个-α_X,Y，Z，β_X,Y，Z，ζ_X,Y， _Z，η_X,Y，Z，γ_X,Y，Z，δ_X,Y，Z,和ε_X,Y，Z）计算值（X_i’，Y_i’，Z_i’）用于在图像（R_i,G_i,B_i）中的所有已知样本-不只是灰度样本。然后在块7.10使用这些样本用于多变量拟合-使用方程针对测量的值（X_i，Y_i，Z_i）基本上执行这些样本的最小二乘拟合

(\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \end{matrix}) = (\begin{matrix} α_{X} \\ α_{Y} \\ α_{Z} \end{matrix}) + (\begin{matrix} b_{X} & c_{X} & d_{X} \\ b_{Y} & c_{Y} & d_{Y} \\ b_{Z} & c_{Z} & d_{Z} \end{matrix}) (\begin{matrix} X_{i}^{'} \\ Y_{i}^{'} \\ Z_{i}^{'} \end{matrix})

多变量拟合然后提供进一步的12个系数（a_X,Y，Z，b_X,Y，Z，c_X,Y，Z，d_X, _Y，Z）。21个系数的组α_X,Y，Z，β_X,Y，Z，ζ_X,Y，Z，η_X,Y，Z，γ_X,Y，Z，δ_X,Y，Z,和ε_X, _Y，Z和12个系数a_X,Y，Z，b_X,Y，Z，c_X,Y，Z，d_X,Y，Z则作为校准数据36存储。使用上面的方程这些21＋12个系数则可以随后（在图3中的B3.12）用于计算感兴趣的（R_samp,G_samp,B_samp）的RGB颜色的XYZ值（X_samp,Y_samp,Z_samp）。

因此，在第三实施例中校准过程适于使得考虑在图像中的卡24上的亮度和对比度中的变化。这使系统更容易使用，并且在成像场景的照明上放置较少的限制同时仍然获得允许的良好结果。

4.第四实施例-聚类以在样本中找到多种颜色

现在将描述本发明的第四实施例。第四实施例以先前描述的第一、第二或第三实施例为基础，并且因此四者间相同的要素将不再描述。

本发明的第四实施例提出一种可使用的技术，例如图3的过程的块3.6，在其中存在多于未知色样的颜色。例如，用户可在组成图案的项目上放置卡24，并且其中尽管在图案中存在主导颜色，同样存在一些次要颜色。在这种情况，不得不作出具有应当匹配的颜色的确定。在第一实施例中提出识别单个主导颜色的选项，或者通过让用户选取颜色，或者通过使用表示样本的像素上的统计测量确定主导颜色。但是，在第四实施例中，使用聚类算法来尝试和识别在未知色样中的多个颜色中的每一个，使得在每一个单独的颜色上可执行单独的XYZ的确定和匹配。

在第四实施例中使用k均值（k-means）聚类算法以确定在样本图像中存在的主要颜色。K均值聚类基于像素值之间的欧几里德距离。在RGB空间，没有观察到差异是相等的。这意味着同在RGB空间中非常靠近的两个像素可能为完全不同的颜色，或非常相似的颜色。为了克服这点，像素转换到L＊a＊b＊空间，该空间感觉上更加统一，因此像素之间感觉到的差异贯穿颜色空间相对一致。一旦它已经纠偏，并且优选地一旦已经估计出穿过卡的照明变化（例如在来自图像的校准颜色上操作）在图像上执行该过程。

迭代过程用于确定在表现未知样本的图像部分中存在多少聚类和在每一个聚类中的平均颜色是什么。第一迭代是最简单的因为假设样本中仅存在一个像素的聚类。这意味着k均值算法将返回包含所有像素的聚类。获得在图像中的像素的平均L＊a＊b＊值，进而计算该某个平均距离内的像素的数量。如果找到的像素的数量在阈值之上，则假设图像中仅存在一种颜色，但是如果像素的数量在阈值之下，则在图像上运行k均值算法，尝试分组像素到两个聚类中。计算每个聚类的平均L＊a＊b＊值，并且计数在该像素值的某距离内存在的像素数量。执行两个计算来检查是否有效-第一计算检查在该聚类中的大多数像素在设定距离内（例如这种方式是聚类的很好的代表），如果没有足够的像素在设定距离内则忽略聚类。第二计算是所有有效聚类的平均的设定距离内的像素数量必须高于阈值（例如检查所观察的足够多的像素以确信主导颜色已被识别）。如果计数的像素的数量低于阈值，则再次运行k均值算法但是尝试分组像素到三个聚类中而不是两个，并且重复该分析。

下面的算法用于找到聚类，并且这在图8中在更多细节上示出。算法具有许多可调整的参数：

最大delta-E半径(dE_thresh)

所需的图像片断(F_img)

聚类中的最小片断(F_cluster)

尝试的最大聚类(N_max)

并且在块8.2这些为用于特定实现的设置。试验将指示用于可调整的参数的适合值。

算法如下：

1.以1个聚类开始（例如在样本中的所有像素）（块8.4）。

2.如果聚类的数量大于N_max，转到步骤5（块8.6）

3.计算每一聚类的下面的统计（块8.8）

a.平均像素值（L＊a＊b＊）（块8.10）

b.平均像素值（P_thresh）在dE_thresh内的像素的数量(块8.12)

4.如果总数（P_thresh）/（图像中像素的数量）少于F_img（块8.14），聚类的数量增加1并且转到步骤2（块8.16）。

5.过滤聚类以仅包含那些具有P_thresh/(聚类中像素的数量）>F_cluster的聚类（块8.20）。

同时在上面的方法内我们引用在Lab空间中的颜色值，同样可以使用XYZ值运行算法，因为两组颜色数据在数学上相关。

图9和10图示说明算法的操作。在图9（a）中识别聚类92，但是因为过高的像素百分比在距聚类的平均dE_thresh距离之外，因此聚类密度阈值测试失败。在图9（b）中尝试将聚类分配到两个聚类中，但是因为不足的像素位于聚类半径内，因此聚类94是无效的。此外，作为一个整体样本未能通过用于整个样本图像的阈值，因为太多的像素不在有效的聚类中。因此，聚类数量增加到3，并且再次运行聚类。

图10说明如在图9（b）中的相同的分布，但是使用三个聚类。在图10（a）的部分中，在平均距离内的像素的数量对于在k均值算法中使用两个聚类的途径不够高，这样使用三个聚类重新运行分析。然后在固定距离内的像素数量足够高，使得在图像中找到的三种颜色为像素的每个聚类的均值。在这种情况下，可以识别每一个满足应用的阈值测试的聚类1010，1020和1030。

可对上述的实施例作出不同的修改以提供进一步的实施例。例如，在第二到第四实施例中的每一个中它们每一个都以第一实施例为基础描述。在第一实施例中经由电信网络传输图像到用于处理的后端服务器来处理。但是，在第一到第四实施例的变化中，不需要这种情况。相反，程序可用于下载到能够执行描述的处理操作的用户计算机或移动电话。以这种方式，用户计算机或电话能够从获取的图像计算未知样本的颜色，并且随意地建议涂料颜色匹配，不用必需在网络上发送的任何图像数据。

另外，在上面描述的实施例中我们描述获得的图像包含卡24和未知样本两者。但是，这不是必要的。在其他实施例中可以提供在时间上分布的两个分离的图像。第一图像可具有卡24并且这用于找到用于用户成像设备的校准系数。分离的图像则可包含未知样本，从第一图像找到的校准系数然后应用到在第二图像中的未知样本的RGB值。但是，该设置不优于上面描述的设置，因为对于精度第一和第二图像的照明条件需要保持基本上相同。但是，如果取得包含校准卡24和样本两者的单个图像，那么这个障碍被消除。

各种进一步的修改，不管以增加，减少或置换的方式对作为本领域技术人员的预期读者而言将是显而易见的，为提供进一步的例子，任何和所有企图的修改都落入附加的权利要求中。

Claims

1.一种方法，包括：

接收涉及要确定其比色数据的未知色样的第一图像数据；

接收涉及多个已知其比色数据的已知校准色样的第二图像数据；

确定有关从所述第二图像数据到所述校准色样的相应的已知比色数据的所述已知校准色样的颜色测量的多个颜色校准特性；和

根据从所述第一图像数据的其颜色测量和确定的颜色校准特性计算所述未知色样的比色数据；

其中使用N个已知校准色样确定所述颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。

2.根据权利要求1的方法，其中所述N个已知的校准色样是在颜色空间中最接近所述未知色样的评估颜色的那些N个样本。

3.根据权利要求2的方法，其中通过使用所有可用的所述已知校准色样确定第一组校准特性获得所述评估的颜色，并使用所述第一组校准特性计算所述评估的颜色。

4.根据权利要求3的方法，其中使用在第一处理途径期间的上述步骤获得所述评估的颜色，进而使用上述步骤执行第二处理途径，使用所述N个到所述评估的颜色最接近的已知校准色样作为所述已知校准色样的组。

5.根据权利要求1的方法，其中所述N个已知校准色样为在有限的颜色空间内使用的那些N个样本，所述第二图像数据已知用来代表所述有限的颜色空间。

6.根据权利要求1的方法，其中所述N个已知校准色样是具有与从所述第一图像数据的所述未知样本的所述测量的颜色值最相似的从所述第二图像数据的测量的颜色值的那些N个样本。

7.根据权利要求6的方法，其中所述测量的颜色值是RGB或sRGB值。

8.根据权利要求1到5中任一项的方法，其中N在基本上5到基本上250的范围内，或者更优选地基本上10到基本上100，或者更优选地基本上20到基本上85，或者更优选地基本上30到基本上70，或者更优选地基本上40到基本上60，或者更优选地在50或50左右。

9.一种计算机程序或一组计算机程序，如此设置以使当在计算机系统上运行时，它/它们促使所述计算机系统执行权利要求1到8中任意一项所述方法。

10.一种设备，包括：

至少一个处理器；和

至少一个包括计算机程序代码的存储器；

所述至少一个存储器和所述计算机程序代码配置为，用所述至少一个处理器，促使所述设备执行至少下面的：

i)接收涉及要确定其比色数据的未知色样的第一图像数据，以及涉及已知其比色数据的多个已知校准色样的第二图像数据；

ii)确定有关从所述第二图像数据到所述校准色样的相应的已知比色数据的所述已知校准色样的颜色测量的多个颜色校准特性；和

iii)根据从所述第一图像数据的其颜色测量和所述确定的颜色校准特性计算所述未知色样的比色数据；

其特征在于使用N个已知校准色样确定所述颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。

11.根据权利要求10的设备，其中所述N个已知校准色样是在颜色空间中最接近所述未知色样的评估颜色的那些N个样本。

12.根据权利要求11的设备，其中通过使用所有可用的所述已知校准色样确定第一组校准特性获得所述评估的颜色，并使用所述第一组校准特性计算所述评估的颜色。

13.根据权利要求12的设备，其中使用上述步骤在第一处理途径期间获得所述评估的颜色，进而使用上述步骤执行第二处理途径，使用N个最接近所述评估的颜色的所述已知校准色样作为所述已知校准色样的组。

14.根据权利要求10的设备，其中N个所述已知校准色样是在有限的颜色空间内使用的那些N个样本，所述第二图像数据已知用来代表所述有限的颜色空间。

15.根据权利要求10所述的设备，其中所述N个已知校准色样是具有与从所述第一图像数据的所述未知样本的所述测量的颜色值最相似的从所述第二图像数据的测量的颜色值的那些N个样本，其中所述测量的颜色值优选为RGB或sRGB值。