CN102714688A - 从图像确定颜色的方法和系统 - Google Patents

Abstract

本发明的实施例涉及从色样图像的确定色样的颜色。在一个实施例中，提供具有在其上印有已知颜色（例如，XYZ三色刺激值）的色样的色样捕获卡。随后使用家庭可获得的装置，诸如消费数码相机或配备有相机的移动电话，来捕获测试色样的图像，图像还包括色样捕获卡。在一个实施例中，图像随后被传递到用于色样颜色确定的远程颜色确定服务。随后使用图像中的RGB色样及其已知XYZ颜色执行回归分析，以表征图像捕获装置的颜色捕获响应。在表征图像捕获装置后，可从图像中的未知色样的RGB颜色确定未知色样的XYZ颜色。使用聚类算法以识别在未知色样的中是否存在多于一个的颜色。

Description

从图像确定颜色的方法和系统

技术领域

本发明的实施例涉及一种从色样的图像确定色样的颜色的方法和系统。

背景技术

当选择涂料颜色来装饰房间时，顾客通常希望将涂料颜色与房间内包含的某种物品的颜色进行匹配，诸如一件家具，或诸如垫子、沙发、窗帘等软陈设。涂料生产商通常提供大调色板，而详细的颜色显示是由涂料零售商提供的，已使得顾客可以选择颜色。用户可将色样卡拿回家，以便与希望被匹配的物品的颜色进行匹配。但是，这通常要求顾客去涂料零售商店、收集色卡、将色卡带回家，然后试图将色卡上的色样与将被匹配的物品的颜色进行比较。顾客必须随后回到店里，通常购买几罐测试涂料，回家后使用这几罐测试涂料，随后最终做出购买决定。此外，这种传统的技术依赖于单个顾客关于最匹配的涂料颜色的感觉。但是总所周知，颜色感觉的个体差异非常大，这样一人所选择的与样品匹配的颜色对另一个人来说不见得也是匹配的颜色。

该问题一个可能的解决方法是使用数字图像电子地尝试和匹配颜色。就这点而言，现在家庭用户典型地具有许多数字图像捕获装置供其使用，包括数码相机或配备有相机的移动电话。

但是，诸如数码相机、移动电话等的家庭可典型获取的图像捕获装置的颜色捕获特性会根据装置不同而明显不同，因此精确的图像捕获几乎是不可能的。可获得精确测量色彩的专业分光光度计装置，但这些都超出了大多数家庭消费者的承受能力。典型的家用图像捕获装置将使用RGB像素值来捕获图像和呈现色彩。典型地，使用16比特或24比特的RGB。当使用16比特值时，红色和蓝色通道的每个典型地具有与其关联的五个比特，而绿色通道具有与其关联的六个比特。在这方面，人眼对绿色比对红色和蓝色更敏感，且由此可检测到大量的绿色。当使用24比特色彩时，这相当于每个颜色通道八个比特或256种颜色。

但是，由于图像捕获装置在精确捕获色彩中的上述显著差异，且由于诸如监视器等的图像再现装置在再现颜色时有上述显著差异，颜色的RGB值不认为是标准值。反而，国际照明协会（CIE）指定了固定标准来限定颜色，诸如CIE三色刺激值X、Y和Z，或所谓的CIELAB值（L＊、a＊、b＊）。CIELAB值与使用已知的数学公式的三色刺激值有关。三色刺激值XYZ本身与特定颜色中存在的波长有关。

现有技术

US5150199以及WO01/25737已经解决了通过将图像捕获装置捕获的RGB值与诸如XYZ三色刺激值或CIELAB值的标准值关联来校准图像捕获装置的问题。

更具体地，US5150199（Megatronic公司）描述了一种将不同仪器开发（develop）的数字RGB值转换或关联为标准三色刺激值的方法。就这点而言，使用迭代回归分析确定将由摄像机生成的RGB值从初始颜色转换为标准的XYZ三色刺激值。随后使用回归分析来确定额外函数，其将由观察与初始颜色不同的额外颜色的摄像机产生的RGB值转换为标准XYZ值。为摄像机产生的函数随后被用于将为彩色物体成像的摄像机产生的RGB值转换为标准XYZ值。

更具体地，在US5150199中，RGB值和XYZ值都是从一组色样中确定的。使用传统的摄像机以及能检测并记录用于每种颜色的RGB分量的数字值的数字化装置来确定RGB值。通过使用传统的色度计或分光光度计来确定色样的XYZ值。

在捕获到这样的数据后，作为分析的第一步，执行迭代回归分析以发现X是R的函数，Y是G的函数，而Z是B的函数。这种回归分析使用色样中所谓的“灰度”值，其中R、G和B值基本上相等。产生的函数是幂函数。随后，在步骤2中，执行幂函数的多变量分析，确定将X、Y和Z的每个分别与所有R、G和B关联的函数。在US5150199中也描述了将Y函数适配为红色色度的函数的进一步的技术，尽管这与本文并不相关。

因此，US5150199描述了用于表征图像捕获装置的颜色捕获传递函数的基本技术，以便允许被装置捕获的RGB值被转化为XYZ三色刺激值。但是，如注意的，为了使用US5150199的安排，为了表征捕获的图像，用户必须能利用色度计或分光光度计，以便测量也是通过被表征的图像捕获装置所成像的色样的颜色。典型地，在上述背景技术部分描述的使用场景中，用户无法利用该等专业装置，诸如色度计或分光光度计。因此，US5150199的方法主要是实验性的。

但是，WO01/25737部分地解决了US 5150199的这些缺点。WO01/25737也描述了将捕获的RGB值与标准比色数据进行匹配，特别是与CIELAB值进行匹配。WO01/25737中描述的数学分析基本上与US5150199中描述的一样，尽管WO 01/25737介绍了已知颜色的校准图形（pattern）的概念，其比色数据是已知的。将被测量的未知颜色随后同时被成像为校准图形。校准图形在一个实例中包含了分布在颜色空间中的65种已知颜色，而在另一个实例中37种已知颜色。通过捕获校准颜色的RGB值，可以计算所需的数学模型，以将测量的已知颜色的信号转换为比色数据（例如CIELab值）。一旦获得该模型，则根据其RGB值被确定图像中任何未知颜色的颜色（在CIELab颜色空间中）

WO01/25737描述了使用例如平板扫描仪或数码相机，将被确定的色样的图像与校准图形的图像同时被捕获。随后处理捕获的图像以确定图像中的未知颜色。这种安排被描述为在汽车修理行业特别有用。在这方面，使用电子成像装置测量将被修理的汽车的颜色。在这之前或与此同时，已记录在其上施加了不同校准颜色的板。随后计算汽车颜色的比色数据并找到颜色公式，其将给出与将被修理的汽车的颜色一致的颜色。在分配器（dispenser）中准备颜色公式，随后应用该公式。

WO01/25737由此描述了将在专业情况中使用的安排，诸如汽车修理或喷漆车间。这样，WO 01/25737不解决所有与该事宜有关的问题，诸如照明在捕获的图像的何处而不同，图像在何处不是位于正确取向，或色样实际上在何处包含在样本中空间地混合的不同颜色。相反在家用情况下，所有这些异常情况都可发生。

本发明的其他现有技术包括WO02/13136、WO2008/108763以及WO2004/028144。

发明内容

本发明的例子总结

本发明的实施例解决了上述注意到的一些问题，且涉及从色样的图像确定色样的颜色，图像典型地（尽管不是专门地）被使用非专业设备的不熟练用户捕获。在一个实施例中，提供色样捕获卡，其上印有已知颜色的色样（例如，XYZ三色刺激值）。随后使用可在家庭中获得的设备来捕获测试色样的图像，诸如消费数码相机或配置有相机的移动电话，图像还包括了色样捕获卡。在一个实施例中，图像随后被传递给远程颜色测定服务用于确定色样颜色。使用图像中的RGB色样及其已知XYZ颜色执行回归分析，以表征图像捕获装置的颜色捕获响应。表征图像捕获装置后，可根据图像中未知色样的RGB颜色确定未知色样的XYZ值。知道XYZ值的话，随后可精确地将颜色与涂料颜色的调色板进行匹配，以确定与未知颜色匹配的涂料颜色。此外，可识别涂料调色板中的互补颜色。

在执行以上时，在一个实施例中，可考虑图像的空间亮度的不同。在另一个实施例中，也可在处理之前使用图像去偏斜和旋转变换来修正图像中的卡放置错误。在又一个实施例中，以两个道次计算XYZ颜色，利用来自第一道次的信息通知第二道次。在又一个实施例中，当色样实际上包含多于一种颜色时，使用聚类（clustering）技术确定单个颜色以识别样本中的主要颜色。

考虑到上述，本发明的第一方面提供了一种方法，包括：接收与其比色数据将被确定的未知色样有关的第一图像数据；接收与其比色数据已知的多个已知校准色样有关的第二图像数据。确定多个颜色校准特性，所述特性使来自所述第二图像数据的所述已知校准色样的颜色测量与所述校准色样的对应已知比色数据关联；以及根据来自所述第一图像数据的所述未知色样的颜色测量和确定的颜色校准特性计算所述未知色样的比色数据。此外，对表示第一图像中的未知色样的像素的像素值施加聚类算法，以确定样本图像中的颜色数量。利用这样的安排，如果未知色样包含多于一种颜色，则可识别主要颜色和/或单独识别单个颜色。

在本实施例中，首先使用颜色校准特性来校准像素值。这还具有确保聚类算法在色样中的真实颜色上操作的效果。优选地，像素值被校准以确定用于聚类的L＊a＊b或XYZ值。

在使用中，聚类算法可如下操作：i）计算集群中的像素的平均值；ii)随后确定平均值的预定阈值距离内像素的数量；且随后iii）如果确定的像素数量少于与未知样本有关的第一图像中的预定部分的像素，则增加集群的数量。这样，可以别样本中的不同颜色，每个被识别的集群与相应的单个颜色有关，且也有信心观察到足够的像素以识别主要颜色。

当有多于一个集群时，平均值的预定阈值距离内的像素数量的确定包括把每个集群的预定阈值距离内的各个像素数量相加，如果和少于预定部分，增加集群的数量。这再一次确保可观察到足够的像素以有信心识别主要颜色。

为了确保检测到样本中的主要或重要颜色，实施例也可过滤集群以将在所述集群的平均的第二阈值距离内不包含阈值数量的像素的集群排除在考虑之外。因此，仅具有小数量的像素的颜色集群没有被识别为样本中的主要或重要颜色。

在一个实施例中，未知色样的确定的比色数据可随后与涂料颜色的调色板进行匹配以识别匹配涂料颜色，并将与匹配涂料颜色有关的信息提供给用户。

在一个实施例中，经由电信网络从远程用户接收第一图像数据和第二图像数据。此外，经由电信网络向用户提供与匹配涂料颜色有关的信息。这样，可使用远程服务提供与未知色样匹配的涂料颜色。

在一个实施例中，第一图像数据和第二图像数据被接收为以下中的任一个：i)电子邮件消息；ii)MMS消息；和/或iii)网页中的图像数据。此外，与匹配的涂料颜色有关的信息也可作为以下中的任一个而被提供：i)电子邮件消息；ii)MMS消息；iii)SMS消息和/或iv)网页中的数据。这样的通信协议有助于远程提供对用户来说很熟悉的涂料匹配服务，且易于使用。

在一个实施例中，由用户使用图像捕获装置来产生第一图像数据和第二图像数据；其中图像捕获装置优选地是以下中的任一个：i)数码相机；ii)配备有相机的移动电话；和/或iii)数码摄像机。再一次地，该等装置对于典型用户来说很容易持有，且用户对该等装置的操作很熟悉。

在一个实施例中，确定的比色数据和/或已知的比色数据是XYZ三色刺激值。XYZ三色刺激值限定了固定和特定的标准化的颜色。

在一个实施例中，可确定匹配颜色的互补颜色，且与确定的互补颜色有关的信息被提供给用户。通过提供互补的颜色，随后可更容易地确定颜色方案。

在一个实施例中，至少第二图像数据被定向到已知取向以允许识别其中的已知校准色样。图像数据的自动定向允许方便地被终端用户使用，因为捕获的第二图像数据不需要以任何特定要求的取向捕获。

在该实施例中，定向优选地包括执行边缘检测以识别第二图像数据中的已知校准色样组的位置。此外，定向还可包括识别与第二图像数据中的已知校准色样组有关的多个预定点。一旦这些已知点被识别，根据识别的点的位置可对第二图像数据施加透视变换以去偏斜（de-skew）已知校准色样组的图像。

而且，在该实施例中，定向还可包括识别与第二图像数据中的已知校准色样组有关的预定旋转定向标记。根据识别的旋转定向标记的位置，第二图像数据可随后被旋转，以便已知校准色样被放置到第二图像数据中的已知位置。

在一个实施例中，也可补偿整个已知校准色样组的亮度差异。这允许在其中图像中可有不均等的照明的不受控制的照明条件中捕获图像数据。再一次，这为终端用户提供了使用方便。

在该实施例中，补偿可包括确定具有第一组校准系数的第一组的一个或多个函数，所述一个或多个函数将来自第二图像数据的已知校准色样的测量的颜色与校准色样的已知比色数据和图像中的每个已知样本的已知位置进行关联。随后分析确定的函数以找出具有第二组校准系统的第二组函数。随后使用第一和第二组函数以及校准系数以计算未知色样的比色数据。

此外，更优选地，亮度补偿还包括：在确定第一组函数之前，确定具有前兆（pre-cursor）校准系数组的前兆函数组，该前兆函数组将来自第二图像数据的已知校准色样的测量的颜色与校准色样的已知比色数据进行关联，而不考虑已知色样的位置。随后在确定第一组的一个或多个函数时，使用前兆校准系数组作为第一组校准系数的一部分。

在一个实施例中，使用N个已知校准色样来确定颜色校准特性，其中N小于整个颜色空间的已知校准色样的总数。在一些情况下，这可提供更精确的结果。

更优选地，在上述实施例中，N个已知校准色样是在颜色空间中与未知色样的估计颜色最接近的N个样本。在确定颜色校准特性时这有效地允许颜色空间被“放大（zoomed in）”，以便包含未知色样的颜色空间的部分被更精确地表征。

在上述实施例中，可通过使用所有可获得的已知校准色样来确定第一组校准特性并使用第一组校准特性计算估计的颜色，而获得估计的颜色。随后使用N个与估计颜色最接近的已知校准色样来执行“第二道次（pass）”的处理。以这种方式，使用两道次处理方法，其允许表征通常的色彩空间，且随后包含未知色样的空间的一部分被更详细地表征以提供更精确的结果。

或者，N个已知校准色样是在第二图像数据被已知呈现的限定颜色空间内使用的N个样本。在这方面，情况可能是已知校准色样被已知在颜色空间的限定部分中，例如也许全部是红色或蓝色。即，如果试图与红色进行匹配，则用户使用主要是红色或接近红色的已知校准色样，由此限制需要表征的捕获装置的色彩空间的部分。

在又一个备选中，N个已知校准色样是这样的N个样本，该N个样本具有来自第二图像数据的具有与来自第一图像数据的未知样本的测量的颜色值最相似的测量的颜色值。例如，可使用具有与未知色样最接近的RGB值的N个已知校准色样。

在上述实施例中，N优选地位于大约5到250的范围，或更优选地大约是10到100的范围，或更优选地大约20到85的范围，或更优选地大约30到70的范围，或更优选地大约是40到60的范围，或最优选地是50或大约50。在其他实施例中可使用不同数量或范围的N。

本发明的第二方面还提供了一种设备，包括：至少一个处理器；以及至少一个存储器，包括计算机程序代码；所述至少一个存储器和计算机程序代码被配置为，利用所述至少一个处理器，使得设备至少执行：i)接收与其比色数据将被确定的未知色样有关的第一图像数据，以及与其比色数据已知的多个已知校准色样有关的第二图像数据；ii)确定多个颜色校准特性，所述特性使来自所述第二图像数据的所述已知校准色样的颜色测量与所述校准色样的对应已知比色数据关联；iii)根据来自所述第一图像数据的所述未知色样的颜色测量和确定的颜色校准特性计算所述未知色样的比色数据；所述设备的特征还在于所述计算包括：iv）对表示所述第一图像中的所述未知色样的像素的像素值施加聚类算法以确定所述样本图像中的颜色的数量；以及v）返回识别的集群的颜色。

本发明的进一步方面和特点将从所附权利要求书变得明显。

附图说明

本发明的进一步特点和优势实例将从以下对仅以举例方式示出的本发明的特定实施例的描述变得明显，且通过参考附图，在附图中类似的参考标号指类似的部分，且其中：

图1是根据本发明实施例的系统的框图；

图2是在本发明实施例中使用的颜色校准样本卡的图；

图3是在本发明实施例中执行的处理的流程图；

图4是示出在本发明实施例中使用的图像定向过程的流程图和相关图；

图5是描述在本发明实施例中使用的颜色校准过程的流程图；

图6是示出在本发明实施例中使用的多道次（pass）处理的流程图；

图7是示出在本发明实施例中使用的空间亮度校准过程的一部分的流程图；

图8示出在本发明实施例中使用的聚类（clustering）过程的流程图；

图9是展示在本发明实施例中使用的聚类过程的图；

图10是示出在本发明的实施例中使用的聚类过程的使用的另一个的图；

图11是用于本发明的实施例的测试的实验性颜色校准样本模板的照片；

图12是示出在本发明实施例的测试期间从校准过程中获得的灰度幂拟合（greyscale power fit）的图；

图13-15是基于图12示出的幂函数的用于X、Y和Z的幂函数回归拟合的图；

图16是使用二阶多项式的灰度拟合的图；

图17是使用被限制到零截距（intercept）的四阶多项式的灰度拟合的图；

图18-20是从执行第二处理道次的实施例中获得的测试结果的图。

具体实施方式

现在将针对附图描述本发明的各种例子。

1.第一实施例  聚类以找出样本中的多个颜色

图1是根据本发明第一实施例的系统的框图。系统具有用户端元件和后端服务器端元件。用户端元件用于捕获要确定的色样的图像和其比色数据已知的校准色样的图像。服务器端或后端元件涉及处理元件，其接收图像数据、处理图像数据、确定未知样本颜色的颜色、将颜色与涂料调色板匹配且随后从调色板将匹配的颜色返回给用户。

在这方面，本发明的第一实施例旨在提供一种系统，其允许家庭顾客或其他用户精确地识别未知色样的颜色。为了实现这一点，用户获得校准色样卡，例如通过邮寄或通过访问可到达的涂料零售商店。校准色样卡具有切开部分，可将颜色将被确定的物体放入其中。用户随后容易地使用可获得的图像捕获装置，诸如数码相机或配备有相机的移动电话，捕获在该切开部分中具有颜色将被确定的物体的校准色样卡的图像。图像随后通过例如电子邮件、多媒体信息服务（MMS）或使用web接口被用户传递给后端服务器，其在该服务器被处理，确定未知色样的颜色以及，且关于匹配涂料颜色的信息被传回给用户。此外，关于构成涂料颜色方案的互补涂料颜色的信息也被传回给用户。

图1更详细地示出了该系统的元件。从用户端开始，用户获得校准色样卡24，例如从本地涂料零售商或通过邮寄而寄出色样卡。校准色样卡24在其上具有空间地分布在卡上的多个单个色样242，色样242的颜色也分布在颜色空间。校准色样卡24具有切开部分244，如图1所示位于中间，但在其他实施例中其可位于卡上的任何地方，在使用时在其中可放置将被取样的物体，或者卡可放在将被取样的物体上，这样将被取样的物体的一部分通过切开部分244示出。稍后将参考图2更详细地描述校准色样卡24。

在使用中，如注意的，用户将校准色样卡24放置在其颜色将被确定的物体上。用户随后使用图像捕获装置，诸如数码相机或配备有相机的移动电话，以便给校准色样卡24拍摄图像，将被确定的未知色样也位于该图像中。如图1所示，可使用诸如数码相机的用户图像捕获装置12，或者用户移动装置14，其配备有诸如内置相机的图像捕获装置。

一旦用户捕获到图像，用户必须随后将图像传给后端服务器10用于图像处理。可使用各种不同的传输技术将图像数据传给后端服务器10，且本发明的实施例不限于这里描述的。例如，用户可从数码相机12将捕获的图像载入到他或她的计算机16，而计算机16经由诸如WiFi路由器18的本地网络连接到因特网22。随后，用户可使用计算机16将作为附件的图像的电子邮件发送给与后端服务器19有关的电子邮件地址。

或者，经由网络接口，后端服务器10可提供专用网页，其可被计算机16下载并被浏览器程序显示，且其中可放置图像数据，以便被送回到后端服务器10。

提供了到后端服务器的可替代路线，其中用户使用移动电话来捕获图像。一些移动装置，通常被已知为智能手机，具有WiFi功能且可被用来发送电子邮件或以与便携式电脑或桌上型电脑相同的方式来访问网页。在这种情况下，用户移动装置可被用作便携式电脑且由此捕获的图像可通过电子邮件或作为进入到网页的数据被发送回后端服务器。或者，用户移动装置可使用其蜂窝无线接口将图像数据发送到终端服务器10。在这种情况下，图像数据可经由蜂窝网络26例如作为多媒体信息服务（MMS）消息发送到移动网关20，其随后将图像数据传递到终端服务器10。在这方面，可提供特定的联系号码并让用户知道（例如打印在校准色样卡24上），可向该号码发送MMS消息。

如将描述的，后端服务器10包括连接到网络22的网络接口102用于从用户接收图像数据，并将颜色匹配数据发送给用户。后端服务器10还包括处理器104，运行程序以执行颜色确定并通常控制后端服务器10的操作。提供工作存储器106以供处理器使用，其中可临时存储数据。

在后端服务器10中提供的还有计算机可读介质108，其形成数据和程序可被存储的长期存储器。例如，计算机可读介质108可以是硬盘驱动器，或可以例如是固态存储器。存储在计算机可读介质108上的是多种控制程序。在该第一实施例中提供颜色匹配控制模块104，其控制系统的整体操作，且调用其他模块以执行所需的操作并在所需要时执行。在第一实施例中还提供了校准模块118，其从颜色匹配控制模块114根据需要接收控制命令，且由处理器104运行以执行校准功能，且特别执行必要的回归分析以使得可表征用户使用的图像捕获装置的颜色捕获特性。稍后将给出校准模块118的操作的进一步细节。

在其他实施例中，可提供额外的模块，诸如图像定位模块16或聚类模块120。将针对有关实施例在以下描述这些额外模块的操作。

在后端服务器10中额外提供的是又一种计算机可读存储介质110，其也可采取硬盘、固态存储等的形式。在这方面，第二计算机可读存储介质110可实际上是与介质108相同的介质，且可以例如是组成第一计算机可读存储介质108的相同的硬盘的一部分。但是，第二计算机可读存储介质110存储了包括与校准色样卡24上的色样有关的比色数据的颜色数据库。可存储若干该等数据组，涉及与可获得的不同的校准色样卡24。对每个校准色样卡24来说，存储卡ID，且随后对于卡上的每个已知色样，在卡上存储已知的XYZ三色刺激值，以及具有这些三色刺激值的色样的位置坐标x、y。因此，将有尽可能多的坐标值和相关的三色刺激值的组，因为有在校准色样卡24上的色样块。

图2更详细地示出了校准色样卡24。特别地，校准色样卡24在其外部边缘具有边界248，且在其上印有已知颜色的色样块。色样块被布置为使得色样块区域的外部边缘周围的块250是灰度块，即，其从黑色经各种灰度色到白色。这些应当通过被图像捕获装置捕获，诸如具有基本上相等的RGB值的数码相机。如将在以下实施例中描述的，其在执行空间亮度校正时很有用。

进一步离开校正色样卡24的边缘的色样块242是颜色块，其每个是一个已知的三色刺激颜色值。在这方面，颜色块必须被尽可能精确地打印为所想要的三色刺激值。或者，可打印校准颜色卡，且随后测量每个块以确定其XYZ值，例如使用分光光度计。色样块242的颜色优选地跨整个颜色空间分布。但是在以下将描述的其他实施例中，颜色可被集中在颜色空间的特定区域。

卡24还具有某种识别标记246，其可以是条形码或某些其他的信用标记，诸如打印的名字、符号等。这可被用来识别哪张卡被用户使用，这样可选择正确的颜色卡数据以供使用。

最后，校准卡24具有切开部分244，如这里在中间示出的。但是，切开部分的位置并不重要，且其可位于卡上的任何地方，甚至是边缘。而且也不是必须要包括切开部分；在这方面，校准色样卡24可简单地位于颜色将被确定的物体或样本附近，尽管这相对不是那么优选。

如注意的，在使用中，用户获取校准色样卡24，例如从涂料零售商，且随后放置校准卡24使得切开部分位于将被取样的颜色上，例如，垫子、窗帘、家具项等的颜色。在这方面，卡24将被放置在其颜色将被取样的物体顶上或对着物体而放置，这样其颜色经切开部分244而示出。使用移动电话、数码相机等，用户随后可为将被取样的物体拍摄静止图像，颜色捕获卡在该图像中，并使用之前描述的各种通信路径，诸如MMS、电子邮件或使用web接入，将其发送给后端服务器10。

图3更详细地示出了在后端服务器10处执行的过程。

首先，用户发送的图像数据32在后端服务器10的网络接口102被接收。后端服务器10由在处理器104上运行的颜色匹配控制模块114控制。当接收到图像数据时，颜色匹配控制模块114首先，可选地执行图像处理以定位并定向在图像32中的校准色样卡24。这在框3.2执行，且是可选的，因为根据向用户给出的指令，可不需要该步骤。例如，校准色样卡24可与指令一起给用户以捕获图像，这样卡在图像中的位置没有偏斜。此外，用户可被指示为剪裁图像，这样在被发送到后端服务器10之前，图像仅具有已知的旋转取向的校准卡24。如果用户被提供了这样的指令并执行该等指示，则没有必要来执行任何定位或卡定向例程（routine）。在这种情况下，因此接收的图像32将是已知取向的具有未知样本的校准卡的图像，即，其将是卡和样本的卡图像34。

一旦获得卡图像34，颜色匹配控制模块114控制处理器104以启动校准模块118，以便执行回归分析以表征用户的图像捕获装置的颜色捕获特性。本实施例中使用的回归分析基本上与之前在US 5150199和WO01/25737中描述的一样，且在图5中更详细地示出。关于图3，参考从校准卡数据112获知且存储在颜色数据库110中的校准卡布局35，在框3.4执行回归分析以表征装置。

迭代回归算法涉及如下两个单独处理步骤：

步骤1：使用校准色样卡24上的灰度色样确定每个测量的R、G和B分量和已知的X、Y和Z分量之间的3组关系，即：

X作为R的函数（命名为函数R₁）。

Y作为G的函数（命名为函数G₁）。

Z作为B的函数（命名为函数B₁）。

可在灰度数据上使用幂曲线拟合以获得上述步骤1的关系R₁、G₁、B₁。也可能使用二阶、四阶或更高阶的多项式曲线拟合。

步骤2：确定每个已知X、Y和Z分量和上述步骤1中确定的三个函数之间的多变量线性关系，即：

X作为R₁、G₁、B₁的函数（被称为函数X₁）。

Y作为R₁、G₁、B₁的函数（被称为函数Y₁）。

Z作为R₁、G₁、B₁的函数（被称为函数Z₁）。

算法中的步骤2针对在步骤1获得的幂曲线拟合R₁、G₁和B₁执行X、Y和Z的多变量回归，即：

X=f(R₁,G₁,B₁)

Y=f(R₁,G₁,B₁)

Z=f(R₁,G₁,B₁)

或者，

X=a+b.R₁+c.G₁+d.B₁

Y=a+b.R₁+c.G₁+d.B₁

Z=a+b.R₁+c.G₁+d.B₁

其中a、b、c和d是常系数。X、Y和Z的三个多变量回归拟合被分别指示为X₁、Y₁和Z₁。

图5更详细地示出了以上内容。特别地，图5的处理将作为图3的框3.4执行。

首先，如讨论的，在框5.2接收来自已知取向的色卡的图像数据。则有必要在框5.4识别使用的色卡，以及这使用位于校准卡24上的识别标记246来执行。即，执行识别标记246的识别，且该标记随后被用作索引以从色卡数据库110选择合适的色卡数据组。

接下来，开始以上注明的算法的第一步，从框5.6一直到5.14。即，在框5.6，开始处理回路以在图像中的已知位置从图像读取数据。即，在框5.6，在校准卡24上的已知位置（x、y）的每个灰度样本具有在框5.8处从图像测量的其RGB值，且随后在步骤5.10从数据库查询在同一位置（x、y）处的用于该样本的三色刺激XYZ值。该过程对具有校准卡24的图像上的位于颜色样本的外部边缘的作为样本250的所有灰度样本重复。在可替换的实施例中，该步骤不需要被限定为灰度样本，且其他的颜色样本也可被额外或作为替代而使用。

在组成框5.6到5.12的过程结束时，因此，对于图像中的每个已知颜色或灰度样本，将从颜色数据库110中的合适的颜色卡数据中获得三色刺激XYZ值，且图像上的该颜色样本的RGB值将被测量。对应的RGB和XYZ值将与彼此关联地被存储在存储器106中。例如，可以为每个已知样本针对该样本的已知XYZ值在图上绘制测量的RGB值，如图12、16和17所示。

一旦测量了RGB值，且从颜色数据库中查找了对应的XYZ值，在步骤5.14，执行算法的上述步骤1以确定X值作为测量的R值的函数，Y值作为测量的G值的函数以及Z值作为测量的B值的函数。使用幂拟合或多项式拟合的任一个来执行该步骤，以获得关于X与R、Y与G以及Z与B的函数。典型地，幂拟合将给出以下形式的等式：

$X_i={\mathrm{\α}}_X{R}_i^{{\mathrm{\β}}_X}$

$Y_i={\mathrm{\α}}_Y{G}_i^{{\mathrm{\β}}_Y}$

$Z_i={\mathrm{\α}}_Z{B}_i^{{\mathrm{\β}}_Z}$

其中，系数α_x，y z.和β_x，y，z表征了各个关系。

图12、16和17示出了针对在图11示出的测试校准样本阵列1102的捕获的图像上执行的实验性测试数据而获得的示例性曲线拟合。图11示出了色样块阵列1102和位于阵列的底部的灰度块1104。色样块1102包括256种随机布置的标准颜色，包括六个灰度标准。灰度块1104包括从黑色到白色的16种灰度颜色。

为了测试该过程，使用D65光照亮图11的实验性测试阵列，且使用高端数码相机（佳能Powershot Pro901S）来捕获图像。来自测试阵列中的颜色块的XYZ三色刺激数据预先已知，由阵列中的块的位置索引。利用该数据，可以针对每个测试块的已知XYZ值绘制每个块的测量的R、G和B值，如图12、16和17所示。应注意，在图12、16和17的每个中的数据绘图是一样的。不同的是应用的曲线拟合。特别地，在图12中，根据上述关系已使用了幂拟合。但是，如注意的，也可能使用多项式拟合而不是幂拟合，且图16示出了二阶多项式拟合，而图17示出了四阶多项式拟合，其中函数被限制到零截距。如以下将讨论的，无论是否使用幂拟合或多项式拟合，结果都基本上是一样的，且似乎没什么优势，如有，也是使用多项式拟合大于幂拟合。

一旦执行曲线拟合以给出上述函数，接下来，在框5.16，执行针对获得的函数的X、Y和Z的多变量回归，以获得将X与R、G和B，Y与R、G和B以及Z与R、G和B联系在一起的系数，如以上步骤2所示。图13示出了针对回归拟合R1和Y1的已知X的绘图，而图17示出了针对回归拟合G1和Y1的已知Y，且图15示出了针对回归拟合B1和Z1的已知Z。如上所述，这找到了常系数（以上步骤2中的a、b、c和d），其有助于表征作为R、G和B函数的每个X、Y和Z。一旦找出这些系数，即，来自上述算法步骤1和步骤2的系数，存储所述系数，且由此表征用户使用的图像捕获装置的色彩捕获函数。使用这些系数，可以从其RGB值找出图像中未知样本的颜色。

回到图3，因此在框3.4执行上述校准过程，且这返回一组校准系数36，其可随后被用于随后的颜色确定。

但是，首先有必要确定在已知的色样中是否有任何主要颜色，且这在框3.6中执行。例如，可检查表示未知样本的RGB像素值以确定是否有主要的RGB值。或者，如果没有主要的RGB值，当使用web接口时，在框3.10，可向用户询问以选择将被校准的颜色。在框3.12，选择的颜色随后被校准。在随后，我们将描述聚类过程，其可识别未知样本中的多个颜色并为每个返回校准过的颜色。

在框3.12，使用校准系数36校准选择的颜色。即，使用校准系数36将RGB值应用到在框3.4找到的等式。该处理给出了选择的颜色的XYZ三色刺激值。

已经找到未知色样的XYZ值（或如果有多于一种颜色，是色样中选择的主要值），在框3.14，颜色匹配控制模块114随后行动以在可获得的调色板中找出最接近的颜色。在这方面，对颜色匹配控制模块114来说可获得调色板数据45，且该数据被存储在颜色数据库110。使用色差测量找到最接近的颜色，并使用差异测量将已确定的XYZ颜色与调色板中的每种颜色进行比较，选择具有最小差异的颜色。可使用若干不同的差异测量方法，但是在本发明的实施例中优选地使用CIE Delta E测量。特别地，可使用最初的CIE Delta E(1976)色差测量，或者在另一个实施例中使用CIE Delta E(2000)测量。在又一个实施例中，可使用Delta E(2000)但具有不同的加权因子。

框3.14的颜色匹配过程返回匹配的涂料颜色，其是在调色板中与测试样本的确定的XYZ颜色最接近的涂料颜色。涂料颜色信息42随后经由网络接口102通过网络22被提供回给用户。例如，当用户使用移动装置通过MMS将图像传递给后端服务器10时，网络接口102可制定短消息服务（SMS）或MMS消息以将涂料颜色信息传递回给用户移动装置。或者，当用户发送电子邮件给后端服务器10时，网络接口102可制定电子邮件以回复涂料颜色信息。当使用网络接口时，可向用户发送网页以通过用户网络浏览器而显示，以给出匹配的涂料颜色信息。

最后，在本发明的一些实施例中，除了返回涂料颜色信息42，在框3.16后端服务器10也行动以找出与确定的涂料颜色42互补的颜色方案。例如，也有若干种方法确定彼此互补的颜色方案。例如，在CIELAB色轮上与第一种颜色相离120°的颜色通常被认为是互补色。此外，在CIELAB色轮上与第一种颜色相离180°的颜色通常也被认为是互补色。因此，在框3.16使用了这样的互补色确定技术以确定颜色方案信息44，其也被返还给用户。

因此，在第一实施例中，用户可使用其移动电话或数码相机拍摄物体的数码照片，该物体的颜色将被确定。通过将校准色样卡24放置在物体上、物体旁边或物体附近而拍照，这样校准色样卡24和物体都被捕获在图像中。用户随后通过电信网络将图像从其家中发送到后端服务器。在这方面，具体的联系细节，诸如电子邮件地址、MMS号码或网络地址，可被提供在校准色样卡24的背面。后端服务器10接收图像、按照所描述的来处理图像以确定将被确定的物体的实际颜色，且随后将该颜色与涂料调色板进行匹配以确定与物体匹配的涂料颜色。随后通过电信网络返回关于匹配的涂料颜色的信息以回复用户。回复可以是，例如通过电子邮件、SMS、MMS，或通过传输合适的网页以在用户的计算机上的浏览器或移动电话中显示。利用这样的布置，用户能轻易匹配涂料颜色的能力被大大提高。特别地，对用户来说不再需要从其本地涂料商店获得多组色样卡，然后试图利用自身感觉来匹配颜色。替代地，可获得更精确且更数学上更严谨的颜色匹配。此外，不要求使用专业装置来捕获图像，用户可使用其本来就典型拥有的图像捕获装置。

为了评估从上述过程获得的结果，也使用了用于两种模板标准的测量的RGB数据（之前已描述第二种模板标准在图11中示出；第一种模板标准是相同的，但在底部没有灰度块1104）作为样本输入数据。该RGB输入数据被用来使用上述方法来计算校准的XYZ值。所确定的校准的XYZ值随后与已知的XYZ值进行数字比较，以提供算法中的回归拟合的有效性测量。为了该目的，使用感知差异的两种标准测量，CIE dE和CIEDE2000。

以下表格显示了为上述每种方法获得的平均dE和DE2000值。

以上表格中的数据指示了用多项式拟合代替对灰度数据的幂曲线拟合对产生的X₁,Y₁,Z₁值影响不大，或对平均DE2000有小影响或没有影响。因此，用多项式拟合代替对灰度数据的幂曲线拟合对校准没有显著改善。这是因为在步骤2中的多变量回归处理中考虑了灰度曲线拟合中的任何分散。

就结果而言，设计了dE差异测量，这样对于人类观察者来说最小可注意的差异具有为1的dE值。但是对于许多人来说，为1的dE值不会在颜色中产生显而易见的差别，特别是如果颜色没有被并排放置。在该情况下，当在具有在迭代回归中使用的附加的灰度值的模板上使用时（测试2，使用图11示出的模板），所描述的颜色确定过程导致了所计算的XYZ值具有比每个测试情况中的实际XYZ值小3的平均dE2000。

至此，我们已描述了如何在已知样本中找出单个颜色。但是，如之前描述的，本发明的实施例也展示了一种可例如在图3的处理的框3.6使用的技术，其中在未知色样中有多于一种的颜色。例例如，用户可将卡24放置在将被构图（patterned）的物体上，尽管图案中有主要颜色，但也有大量的辅助（subsidiary）颜色。在这样的情况下，必须确定哪种颜色将匹配。如上所述，展示了通过使用户选择颜色或通过使用代表样本的像素的统计测量来确定主要颜色以识别单个主要颜色的选项。但是在本实施例中，使用聚类算法来尝试并识别未知色样中的若干种颜色的每种，这样随后可对每个单个颜色执行单个XYZ确定和匹配。

在本实施例中，使用k-平均聚类算法确定在样本图像中存在的主要颜色。K-平均聚类是基于像素值之间的欧几里得距离。在RGB空间中，差异不被观察为相等。这意味着在RGB空间中非常接近的两个像素可显得是非常不同的颜色，或非常类似的颜色。为了解决这一点，像素被转换到L＊a＊b＊空间，其在感知上更均匀，以便像素间的感知差异在整个颜色空间相对一致。一旦图像被去偏斜，且优选地一旦卡上的照明变化被消除，对图像执行该过程（即，在来自图像的校准的颜色上操作）。。

使用迭代处理来确定在表示未知样本的图像部分有多少集群以及每个集群中的平均颜色是什么。第一迭代最简单，因为假设在样本中仅有像素的一个集群。这意味着k-平均算法就返回包含所有像素的集群。采用图像中的像素的平均L＊a＊b＊值，且随后计算该平均的特定距离内的像素的数量。如果发现像素的数量高于阈值，则假设在图像中仅有一种颜色，但是如果像素数量低于阈值，则在图像上运行k-平均算法，试图将像素分组到两个集群中。计算每个集群的平均L＊a＊b＊值，且计数该像素值的特定距离内存在的像素的数量。执行两种计算以检查这是否显著，首先检查该集群中的大多数像素位于设定的距离内（即，平均是该集群的良好表示），且如果在设定的距离内没有足够的像素，该集群被忽略。第二种计算是所有有效集群的平均的设定距离内的像素的数量必须高于阈值（即，为了检测观察到足够的像素以确信识别出主要颜色）。如果计数的像素的数量低于该阈值，则再次运行k-平均算法，但试图将像素分组到三个集群而不是二个，且重复该分析。

使用以下算法来找出集群，且这在图8中被更详细示出。算法具有若干可调整的参数：

Max delta-E radius(dE_thresh)

Required fraction of image(F_img)

Minimum fraction in cluster(F_cluster)

Max clusters to attempt(N_max)

且这些被设定用于框8.2处的特定实施。实验将表明用于可调整参数的合适的值。

算法如下：

1.从1个集群开始（即，样本中的所有像素）（框8.4）。

2.如果集群数量大于N_max，进入步骤5（框8.6）

3.为每个集群计算以下统计量（框8.8）

a.平均像素值(L＊a＊b＊)(框8.10)

b.平均像素值的dE_thresh内的像素数量（P_thresh）（框8.12）

4.如果Sum(P_thresh)/(图像中的像素数量)少于F_img（框8.14），将集群数量增加1并进入步骤2（框8.16）。

5.过滤集群以仅包括那些使得P_thresh/(集群中的像素数量)>F_cluster的集群（框8.20）。

在以上范围内，我们谈到Lab空间内的颜色值，也可使用XYZ值来运行算法，因为两组颜色数据数学地联系。

图9和图10图形地示出了算法的操作。在图9（a）中识别集群92，但是该集群使密度阈值测试失败，因为太高百分比的像素位于自集群平均的dE_thresh距离之外。在图9（b）中，做出尝试使得将分布聚类到两个集群中，但是集群94是无效的，因为在该集群的半径范围内没有足够的像素。此外，样本作为一个整体，未能通过整个样本图案的阈值，因为太多的像素未在有效集群中。因此，集群数量增加到3，且再次运行聚类。

图10示出了与图9（b）相同的分布，但是有三个集群。在图10的部分（a）中，使用k-平均算法中的两个集群，平均的距离内的像素数量不足以通过，这样利用三个集群重新运行分析。固定距离内的像素的数量足够多，这样在图像中发现的三种颜色是像素的每个集群的平均。在这种情况下，可识别集群1010、1020和1030，每个都满足所施加的阈值测试。

因此，除了识别单个颜色，本发明也可使用聚类算法来识别未知色样中的若干单个颜色。

2.第二实施例–图像定向

现在将描述本发明的第二实施例。本发明的第二实施例将上述第一实施例作为其基础，且因此不再描述其间的共同特征。

第二实施例涉及在图3的处理的框3.2中执行的图像定向。更具体地，如之前在第一实施例中描述的，这样的图像定向可能不是必要的，因为用户可在将卡图像发送给后端服务器前，通过手动剪裁和旋转校准色样卡24和未知样本的图像而制作卡图像。在这方面，当拍摄图像时，用户可保证卡对图像平面的定向是正确的，没有任何透视或偏斜。

但是，对于普通用户（lay user），更优选的是不需要用户对图像执行预处理，或者当拍摄图像时，在图像定向时不需要满足特定条件。相反，对于普通用户来说系统尽可能容易地使用，仅要求其能够为具有未知色样的校准色样卡24拍照，而校准色样卡24位于任何取向。这样做，对于普通用户来说系统易于理解和使用，且因此提高了系统使用。

因此在第二实施例中，为了允许容易地使用，在后端服务器接收到的图像32包含任何取向的校准色样卡24的图像。但是，为了处理图像中的数据，需要知道校准色样卡24的取向和图像中卡上的色样块的位置。因此在框3.2，通过图像定向模块16执行卡图像定位和定向。

图4更详细地示出了图像定向模块116的操作。首先在框4.2，从网络接口102（或从颜色匹配控制模块114）接收图像数据32。为了在图像中定位校准色样卡24，在框4.4，在图像上执行边缘检测以检测高对比度边缘。在这方面，校准色样卡24具有厚的双重边界248，其可被用于在图像32中定位卡，边界易于被边缘检测算法识别。一旦图像中这样的轮廓被发现，则在框4.6，我们寻找具有正确的取向顺序的一系列嵌套的4边、凸轮廓，且其每个子轮廓是其父轮廓的尺寸的重要的一部分。在这方面，厚边界在边缘检测后作为两个嵌套的四边形状而出现，且因此在图像中识别这样的嵌套形状识别了卡24。

如图所示，使用上述确定图像中卡24的位置后，图像可被分割以留下卡图像数据46。随后有必要识别卡上的已知特征，以便执行透视变换以去偏斜图像。因此在框4.8识别卡的已知特征，诸如卡的拐角。注意可以使用任何信用标记来识别校准卡上的固定点，但在本实施例中，我们需要识别卡上的4个点以执行透视变换。

识别卡图像上的已知点后，在框4.10我们使用已知点（例如，最里面边界的拐角）以执行透视变换以去偏斜图像。在图4中以举例的方式示出了去偏斜的卡图像50。但是，这种去偏斜的卡图像50可具有任意旋转的取向，因为我们使用卡的期望布局的先验知识（priori knowledge）来正确地定向卡。在这方面，颜色卡数据112存储在颜色数据库110中，颜色卡数据112存储与可被辨别并用来定向卡的信用特征的位置有关的信息。例如，沿着框的一个边缘的条形码或商标具有邻近其的白色区域。因此可以看到最亮的两个拐角并旋转图像以使得这些位于底部。因此，在框4.12辨别与卡的旋转定向有关的已知特征，且去偏斜的卡图像50随后在框4.14被旋转，这样特征被设置到已知的旋转取向，由此可旋转地定向卡。这样，获得已知定向的卡图像数据34。

在其他实施例中，可以使用卡的任何已知特征来实现旋转定向。这也可通过使得信用特征中的一个与其他不同而实现。另一种可能性是使得卡上的样本的布局旋转地对称，这样卡的旋转取向是不重要的。

上述步骤的整体结果是用户不需要干预以找出图中的卡，且不对用户就如何拍摄图像设置任何特别要求，或在发送给后端服务器前进行预处理。这样，获得更为用户友好型的系统，其更可能被普通用户使用。。

3.第三实施例  空间亮度校正

现在将描述本发明的第三实施例。第三实施例将之前描述的第一或第二实施例作为其基础，且由此不再描述其间的共同特点。

本发明的第三实施例关注于改善图3的过程的在框3.4处进行的校准系数的确定，且特别考虑卡图像34内的亮度和对比度差异。即，用户可在不完美的光照条件中获得图像32，以便在卡24内存在光照差异，使得卡内的亮度和对比度不均匀。本发明的第三实施例展示了额外的处理，其可在校准阶段执行以将校准模型延伸为考虑这样的空间光照差异。实施例提出了一种方法，其假设卡内的亮度对比度的线性变化，尽管还可以找出建模更高阶的变化的阶系数。

图7更详细地示出了该过程。该过程包括两个主要的步骤（B.7.6和B.7.10）。首先在框7.2，测量图像中(x_i,y_i）处的样本R_i、G_i和B_i，从颜色数据库中的色卡数据获得对应的XYZ值X_i、Y_i和Z_i。随后，找出将已知X映射到测量的R的各个关系，考虑卡图像34中的每个测量的R的(x，y)位置。以同样方式，将已知Y映射到测量的G，以及将已知Z映射到测量的B。即，更详细地考虑X-R，使用幂拟合制定将X与R关联的关系，但其中R的系数是取决于卡图像中的位置。此外，也将偏移项（offset term）引入到同样依赖位置的等式。即，依赖于卡上的样本的位置，X和R之间将被找出的关系是位置依赖的。也在Y和G、Z和B之间找出位置依赖关系。在本实施例中，使用下列等式：

$X_i=({\mathrm{\α}}_X+{\mathrm{\ζ}}_X{x}_i+{\mathrm{\η}}_X{y}_i)R_i^{{\mathrm{\β}}_X}+({\mathrm{\γ}}_X+{\mathrm{\δ}}_X{x}_i+{\mathrm{\ϵ}}_X{y}_i)$

$Y_i=({\mathrm{\α}}_Y+{\mathrm{\ζ}}_Y{x}_i+{\mathrm{\η}}_Y{y}_i)G_i^{{\mathrm{\β}}_Y}+({\mathrm{\γ}}_Y+{\mathrm{\δ}}_Y{x}_i+{\mathrm{\ϵ}}_Y{y}_i)$

$Z_i=({\mathrm{\α}}_Z+{\mathrm{\ζ}}_Z{x}_i+{\mathrm{\η}}_Z{y}_i)B_i^{{\mathrm{\β}}_Z}+({\mathrm{\γ}}_Z+{\mathrm{\δ}}_Z{x}_i+{\mathrm{\ϵ}}_Z{y}_i).$

其中，α_X，Y，Z β_X，Y，Z，ζ_X，Y，Z，η_X，Y，Z，Y_X，Y，Z，δ_X，Y，Z，以及ε_X，Y，Z是固定系数，(x_i，y_i)是卡上的第i样本的位置，R_i、G_i，和B_i是第i样本的测量的RGB值。但是在其他实施例中，也可使用不同的等式–可使用任何考虑了卡上的样本的位置的关系。

在B7.6处使用最小二乘拟合方法来解上述等式以确定用于α_X，Y，Z β_{X，Y， Z，}ζ_X，Y，Z，η_X，Y，Z，Y_X，Y，Z，δ_X，Y，Z，和ε_X，Y，Z的值。但是，如果没有任何先验知识，这些等式不会被容易地解出（可找到局部最大值或最小值）。因此，可选地（在框7.4）可在没有位置依赖的情况下使用图像中的灰度样本事先找出系数α_X，Y，Z β_X，Y，Z，并执行针对R_i的X_i的幂曲线的（最小二乘）拟合，且类似地，针对G_i的Y_i，以及针对B_i的Z_i，给出6个系数α_X，Y，Z，β_X，Y，Z：

$X_i={\mathrm{\α}}_X{R}_i^{{\mathrm{\β}}_X}$

$Y_i={\mathrm{\α}}_Y{G}_i^{{\mathrm{\β}}_Y}$

$Z_i={\mathrm{\α}}_Z{B}_i^{{\mathrm{\β}}_Z}$

注意这些等式没有考虑任何空间亮度分布，但被执行以提供随后可被用来解位置依赖等式的α_X，Y，Z β_X，Y，Z的初始值。

接下来在框7.8，这21个系数（每个通道7个-α_X，Y，Z β_X，Y，Z，ζ_X，Y，Z，η_{X,Y， Z，}Y_X，Y，Z，δ_X，Y，Z，以及ε_X，Y，Z.）被用来计算用于图像中的所有已知样本(R_i，G_i，B_i)的值

-不仅仅是灰度样本。这些随后被用于框7.10的多变量拟合

使用以下等式针对测量的值(X_i，Y_i，Z_i)基本上执行这些样本的最小二乘拟合：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right)=\left(\begin{array}{c}{\mathrm{\α}}_X\\ {\mathrm{\α}}_Y\\ {\mathrm{\α}}_Z\end{array}\right)+\left(\begin{array}{ccc}{b}_X& c_X& d_X\\ b_Y& c_Y& d_Y\\ b_Z& c_Z& d_Z\end{array}\right)\left(\begin{array}{c}{X}_i^{\′}\\ Y_i^{\′}\\ Z_i^{\′}\end{array}\right).$

多变量拟合随后又提供12个系数（a_X，Y，Z b_X，Y，Z，c_X，Y，Z，d_X,Y，Z）。该组21个系数α_X，Y，Z β_X，Y，Z，ζ_X，Y，Z，η_X,Y，Z，Y_X，Y，Z，δ_X，Y，Z，和ε_X，Y，Z以及12个系数a_X，Y，Z b_X，Y，Z，c_X，Y，Z，d_X,Y，Z随后被存储为校准数据。这些21+12个系数随后可被用于（在图3的B3.12）利用上述等式计算关注的RGB颜色(R_samp，G_samp，B_samp)的XYZ值(X_samp，Y_samp，Z_samp)。

因此在第三实施例中，适应校准过程以在图像中考虑卡24内的亮度和对比度的变化。这使得系统甚至更易于使用，并对成像的场景的光照放置了更少的约束，同时仍然允许获得较好的结果。

4.第四实施例  使用减少的颜色空间的回归分析

现在将描述本发明的第四实施例。第四实施例将之前描述的任意第一、第二和第三实施例作为其基础，且由此不再讨论其间的共同要素。

在至目前为止描述的实施例中，找出校准系数的回归分析已在整个颜色空间内利用了卡上尽可能多的样本。但是在本实施例中，如果可获得将被确定的未知样本的潜在颜色的一些先验知识，则使用与未知样本的颜色接近的这些已知色样可执行回归分析以确定校准系数。这也类似于“放大”到感兴趣的颜色空间的部分，即，实际最感兴趣的用户图像捕获装置的颜色捕获响应的部分，因为，正是该部分已被用于捕获未知样本的RGB值。然后尽可能地接近地表征颜色捕获响应的该较小部分以尝试并改善精确性。

更详细地，正常的校准过涉及2个主要步骤：

1.测量的样本及其已知颜色（‘标准’）的回归分析，以产生表征用于形成图像的装置的校准系数。

2.使用校准系数以获得已知RGB颜色（以及相对于校准框的位置）并产生XYZ颜色。

在本实施例中，我们将该过程延伸为包括第二道次：一旦第一道次XYZ颜色已知，随后使用校准卡上的已知样本（‘标准’）子组来重复步骤1。在当前实施例中，我们使用N个最接近的标准用于校准的颜色（来自步骤2）并对校准的伽马（gamma）校正部分（例如，图5的B5.14）和多变量分析部分（例如图5的步骤B.5.16）采用单独的最接近颜色组。进一步的细节在图6中示出。

更具体地，在框6.2执行通过图3的过程的第一道次，从框B.3.4到B.3.12。即，使用卡24上所有已知色样，以之前的实施例中所描述的方式来找到校准系数。随后在框6.4确定未知色样的XYZ颜色。

随后在框6.6使用该信息来识别N个与未知样本的识别的XYZ颜色最接近的样本颜色。在该实施例中，找到N_G个最接近的灰度样本，以及N_C个最接近的色样，其中N_G典型地小于N_C。稍后将给出确定用于N_G和NC_的值而执行的测试的细节。使用诸如delta_E(2000)的delta_E差异测量而找出最接近的灰度和色样。

找出最接近的颜色（灰度和颜色）后，在框6.8再次执行校准以重新确定校准系数但此时仅使用找出的最接近的颜色。如注意的，这类似于缩放或聚焦于具有颜色空间的特定区域。理论上，应考虑任何在校准过程中出现的局部效应。

重新确定校准系数后，在框6.10，随后使用新的校准系数和来自图像的测量的RGB值计算未知样本的XYZ值。

已执行了多个测试以评估该重新校准的效果，且这些将在以下参考图18到21而详细说明。

测试1

作为该区域性校准方法的初始评定，之前讨论的用于两个测试模板（第二测试模板在图11中示出，第一模板相同，但在底部没有灰度颜色的行）的测量的RGB值被用作样本RGB值。在第二（区域性）道次中如下测试子组尺寸（即，用于N_G和N_C的值）的范围。报告的dE和DE2000值用于确定的X₁、Y₁、Z₁值。

从上表可清楚看出，在所有情况下，第二区域性道次改善了平均dE和DE2000值（较少分散）。图18总结了在第二道次中使用的模板颜色的数量（N_C）减少时的数据，该减少导致了DE2000的显著改善。降低在第二道次中使用的灰度模板颜色的数量（N_G）也改善了DE2000，尽管效果不如通过减少颜色所获得的那样明显。

测试2

对来自第二模板的数据执行类似的分析（如图11所示）。与第一模板一样，第二道次导致了平均dE和DE2000（见如下表格）的显著改善。结果被图形地显示在图19中。

图19证明了在用于第二道次的校准数据子组中使用的颜色数量(N_C)的降低显著地改善了确定的XYZ的保真度（即，较低DE2000）。但是，将在第二道次的幂曲线拟合步骤中使用的灰度样本的数量(N_G)的减少对于颜色保真度几乎没什么影响。

测试3和测试4

测试3和测试4使用模板2上的标准，但额外地具有图像中的“真实的”样本数据，利用该样本数据来评估区域性校准方法。

测试3

测试3是在受控的光照条件下（D65）使用高端数码相机（DigiEye）的“最佳情况”场景。来自10个样本的结果在下列表格中被展示。

再一次，第二区域性道次降低了dE和DE2000的平均值，比单道次设置有所改善。在图20中示出了DE2000中的效果。这里，降低N_G和N_C具有降低获得的平均delta_E值的效果。

测试4

测试4是在良好的自然日光下使用“即买即用（off the shelf）”数码相机（佳能PowerShot S30）的“现实情况”场景。来自10个测试样本的结果在以下表格中被展示。

在图21中示出DE2000中的效果。但是在该测试中，最小限度的DE2000值大约在50个标准处。减少在第二道次中使用的灰度标准的数量对于DE2000几乎没什么影响。

这些测试示出了减少在多变量回归中使用的颜色数量N_C对从未知样本获得的颜色的精确度具有明显影响。特别地，如果可获得未知样本的颜色的一些先验知识，则限制到最接近的N_C个颜色，其中对于多变量回归来说，N_C位于5到250的范围内，或更优选地，10到100，或更优选地，20-100，或更加优选地，30到70，或最优选地，40-60，这可改善颜色确定的精确度。图21示出了当使用大约50个最接近的颜色用于多变量分析时获得最精确的颜色确定，尽管在使用约20种颜色到约100种颜色的范围内的颜色数量时可获得具有小于3.0的DE2000的较好结果。以百分比计算的话，这等于可在颜色卡24上获得的颜色数量的约8%到约40%，假设，例如在卡上有大约250种颜色。

就如何获得样本颜色的先验知识来说，如上所述，在本实施例中这通过执行第一道次处理以确定颜色，且随后在校准步骤中利用减少的颜色数量执行第二道次而获得。但是这不是必要的，且在其他实施例中，可以用其他方式获得先验知识。例如，在一个实施例中可以做出关于成像装置的特性的本质的假设（例如，假设RGB颜色位于sRGB颜色空间中）。在另一个实施例中，通过选择与将被测试的RGB颜色接近的测试的RGB值的样本，可获得减少的颜色数量。在又一个实施例中，色卡上的颜色可以位于减少的范围。例如，可产生不同版本的颜色卡，每个具有在其上的颜色空间的子组，即，一个卡具有“各种红色”，或另一个卡具有“各种蓝色”。用户随后选择具有与其希望匹配的颜色最接近的颜色的卡，例如，用户知道其希望与红色的垫子匹配，因而使用在其上主要是红色的卡24。在所有这些情况中，使用被了解为在将被确定的颜色附近的减少的色样组以进行校准，且因此可考虑在颜色空间的那部分中的装置的颜色捕获响应中的局部变化。

可对上述实施例进行各种修改以提供进一步的实施例。例如，第二到第四实施例的每个中，都可基于第一实施例而被描述。在第一实施例中，通过电信网络将图像传递到后端服务器以供处理。但是在第一到第四实施例的各个变体中，这并不是必须情况。反而，可获得程序以下载到用户的计算机或移动电话，该程序可执行所描述的处理操作。这样，用户计算机或电话可从拍摄的图像计算未知样本的颜色，且可选地建议涂料颜色匹配，而不需要通过网络发送任何图像数据。

此外，在上述实施例中，我们描述了拍摄的图像包含了卡24和未知样本。但是这不是必须的。在其他实施例中，可以分隔的时间提供两个单独的图像。第一图像具有卡24且其被用来找到用于用户成像装置的校准系数。单独的图像随后可包含未知样本，从第一图像中找到的校准系数随后被施加到第二图像中的未知样本的RGB值。但是，这种安排相对上述安排来说不那么优选，因为为了精确，第一和第二图像的照明条件需要保持基本上相同。但是如果拍摄了包含校准卡24和样本的单个图像，这种障碍就被去除。

各种进一步的修改，不管是通过增加、删除或代替的方式，对于作为本领域的技术人员的预期读者来说将是明显的，以提供进一步的实例，任何和所有进一步的实例旨在落在所附权利要求书的范围内。

Claims (15)

1.一种方法，包括：

接收与其比色数据将被确定的未知色样有关的第一图像数据；

接收与其比色数据已知的多个已知校准色样有关的第二图像数据；

确定多个颜色校准特性，所述特性使来自所述第二图像数据的所述已知校准色样的颜色测量与所述校准色样的对应已知比色数据关联；以及

根据来自所述第一图像数据的所述未知色样的颜色测量和确定的颜色校准特性计算所述未知色样的比色数据；

所述方法的特征还在于所述计算还包括：

对表示所述第一图像中的所述未知色样的像素的像素值施加聚类算法以确定所述样本图像中的颜色的数量；以及

返回识别的集群的颜色。

2.如权利要求1所述的方法，其中使用所述颜色校准特性首先校准所述像素值。

3.如权利要求2所述的方法，其中校准所述像素值以确定用于聚类的L＊a＊b或XYZ值。

4.如权利要求1到3任一个所述的方法，其中使用的所述聚类算法操作如下：

i)计算集群中的像素的平均值；

ii)确定所述平均值的预定阈值距离内的像素的数量；

iii)如果确定的像素数量少于与所述未知样本有关的所述第一图像数据中的像素的数量的预定部分，则增加集群的数量。

5.如权利要求4所述的方法，其中当存在多于一个的集群时，确定所述平均值的预定阈值距离内的像素的数量包括把每个集群的预定阈值距离内的各个像素数量相加，如果和少于预定部分，则增加集群的数量。

6.如权利要求4或5所述的方法，还包括过滤集群以将在所述集群的平均的第二阈值距离内不包含阈值数量的像素的集群排除在考虑之外。

7.如权利要求1到5任一个所述的方法，其中聚类算法是k-平均聚类算法。

8.一种计算机程序或一套计算机程序，被安排为当在计算机系统上运行时使得所述计算机系统执行如权利要求1到7的任一个所述的方法。

9.一种设备，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码

所述至少一个存储器和所述计算机程序代码被配置为，利用所述至少一个处理器，使得所述设备至少执行：

i)接收与其比色数据将被确定的未知色样有关的第一图像数据，以及与其比色数据已知的多个已知校准色样有关的第二图像数据；

ii)确定多个颜色校准特性，所述特性使来自所述第二图像数据的所述已知校准色样的颜色测量与所述校准色样的对应已知比色数据关联；

iii)根据来自所述第一图像数据的所述未知色样的颜色测量和确定的颜色校准特性计算所述未知色样的比色数据；

所述设备的特征还在于所述计算包括：

iv）对表示所述第一图像中的所述未知色样的像素的像素值施加聚类算法以确定所述样本图像中的颜色的数量；以及

v）返回识别的集群的颜色。

10.如权利要求9所述的设备，其中使用所述颜色校准特性首先校准所述像素值。

11.如权利要求10所述的设备，其中校准所述像素值以确定用于聚类的L＊a＊b或XYZ值。

12.如权利要求9到11任一个所述的设备，其中在使用中聚类算法操作如下：

i)计算集群中的像素的平均值；

ii)确定所述平均值的预定阈值距离内的像素的数量；

iii)如果确定的像素数量少于与所述未知样本有关的所述第一图像数据中的像素的数量的预定部分，则增加集群的数量。

13.如权利要求12所述的设备，其中当存在多于一个的集群时，确定所述平均值的预定阈值距离内的像素的数量包括把每个集群的预定阈值距离内的各个像素数量相加，如果和少于预定部分，则增加集群的数量。

14.如权利要求12或13所述的设备，还包括过滤集群以将在所述集群的平均的第二阈值距离内不包含阈值数量的像素的集群排除在考虑之外。

15.如权利要求9到14任一个所述的设备，其中聚类算法是k-平均聚类算法。

Images