CN107454374B - 图像处理装置、图像处理方法以及图像处理系统 - Google Patents

Abstract

本发明提供图像处理装置、图像处理方法以及图像处理系统。图像处理装置具有：颜色数据提取部，其提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中该关注区域，并与该第一颜色数据成对；颜色转换模型生成部，其生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及转换关系生成部，其根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系。

Description

图像处理装置、图像处理方法以及图像处理系统

技术领域

本发明涉及图像处理装置、图像处理方法、图像处理系统。

背景技术

近年来，通过数码相机、智能手机、平板设备等的普及，拍摄/阅览数字图像的用户增加。此时进行拍摄的环境根据照明光等的影响而是多种多样的，并且拍摄对象也是多种多样的。因此，有时在进行拍摄后，所拍摄的图像并不像用户所期望那样，因此通常调整所拍摄的图像的色彩等。

并且，即使使用会在拍摄相同的物品的条件下使用的多种数码相机的型号特性或同一数码相机，在拍摄环境不同的情况下颜色的再现也不同，有时会调整为在特定的条件下拍摄的颜色(例如，将一个条件下的图像调整为另一个的条件下的图像)。

在日本特开2004-304537号公报中记载了如下的图像处理装置：输入被赋予了拍摄图像的数码相机的ID的图像，对输入的图像进行颜色调整，然后根据进行颜色调整前的原图像与进行颜色调整后的已调整图像的颜色之差，生成校正用分布图，并将所生成的校正用分布图与数码相机的ID关联起来存储，此后在输入了被赋予该数码相机的ID的图像时将生成的校正用分布图添加到图像中，通过在印刷或显示时进行颜色匹配，能够对任意的图像进行与生成校正用分布图时的颜色调整同样的颜色调整。

并且，在日本特开2004-304539号公报中记载了如下的图像处理装置：将根据对图像进行任意的颜色调整后的已调整图像与进行颜色调整之前的原图像的颜色之差而生成的校正用分布图与图像和进行拍摄的数码相机的ID关联起来存储，在输入了图像时使用包含于图像数据中的数码相机的ID来检索校正用分布图，将用户从检索到的校正用分布图中选择的分布图添加到所输入的图像中。

而且，在日本特开平9-139855号公报中记载了如下的颜色校正方法：具有将RGB信号或CMY信号的输入转换为CIEXYZ信号的转换步骤和将CIEXYZ信号恢复为RGB信号或CMY信号的逆转换步骤，在转换步骤中使用的矩阵是由根据以与无彩色矢量平行的方向和与无彩色矢量垂直的方向分割彩色矢量而成的两个矢量而得到的彼此独立的第一矩阵与第二矩阵之和给出的。

发明内容

例如，在拍摄颜色样本的色标并基于此进行颜色调整的现有的方法中，在拍摄衣服等物品的情况下，由于色标中所使用的色材与衣服中所使用的色材的光谱反射率等颜色特性不同，因此有时由此而引起颜色调整的精度降低。并且，当进行颜色调整的图像的数量较多时，作业量容易变得庞大。而且，容易由于进行颜色调整的用户(修图人员)的技能和感受力的不同而导致在颜色调整的结果中产生偏差。

并且，根据数码相机的特性差或环境的影响带来的差异，在拍摄衣服等物品的情况下，由于色标中所使用的色材与衣服中所使用的色材的光谱反射率等颜色特性不同，因此容易由此引起颜色调整的精度降低、在拍摄结果中产生偏差。

本发明的目的在于，提供即使在物品的颜色特性不同或拍摄条件不同的情况下也能够生成颜色调整的精度很难降低的转换关系的图像处理装置等。

根据本发明的第一方案，提供一种图像处理装置，其具有：颜色数据提取部，其提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；颜色转换模型生成部，其生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及转换关系生成部，其根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系。

根据本发明的第二方案，所述转换关系生成部针对所述第一图像，按照预定的每个组来生成所述转换关系。

根据本发明的第三方案，所述转换关系生成部针对预定的每个组，使用多个所述第一图像来生成所述转换关系。

根据本发明的第四方案，所述颜色转换模型生成部以所述第一颜色数据与所述第二颜色数据之间的关系为非线性的单调递增函数的方式生成所述颜色转换模型。

根据本发明的第五方案，所述颜色转换模型生成部对于所述第一颜色数据与所述第二颜色数据的对，设定权重来生成所述颜色转换模型。

根据本发明的第六方案，所述颜色转换模型生成部以所述第一颜色数据与所述第二颜色数据的关系为单调递增函数的方式设定所述权重来生成所述颜色转换模型。

根据本发明的第七方案，所述颜色转换模型生成部按照所述关注区域的大小来设定所述权重。

根据本发明的第八方案，所述转换关系生成部生成对包含于所述关注区域中的颜色进行颜色调整，但对其他颜色不进行颜色调整的所述转换关系。

根据本发明的第九方案，提供一种包含以下工序的图像处理方法；颜色数据提取工序，提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；颜色转换模型生成工序，生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及转换关系生成工序，根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系。

根据本发明的第十方案，提供一种图像处理系统，该图像处理系统具有：拍摄装置，其对拍摄对象进行拍摄；以及图像处理装置，其对所述拍摄装置所拍摄的第一图像进行颜色调整，所述图像处理装置具有：颜色数据提取部，其提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是所述第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；颜色转换模型生成部，其生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及转换关系生成部，其根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系。

根据所述第一方案，能够提供即使在物品的颜色特性不同或者拍摄条件不同的情况下也能够生成颜色调整的精度很难降低的转换关系的图像处理装置。

根据所述第二方案，能够生成与物品的颜色特性对应的转换关系。

根据所述第三方案，在使用所生成的转换关系进行颜色调整时，颜色调整的精度进一步提高。

根据所述第四方案，在使用所生成的转换关系进行颜色调整时很难产生色调阶梯差。

根据所述第五方案，能够生成具有更平滑的特性的颜色转换模型。

根据所述第六方案，能够更容易地生成作为单调递增函数的颜色转换模型。

根据所述第七方案，能够生成针对更重要的颜色提高了颜色调整的精度的转换关系。

根据所述第八方案，转换关系的颜色调整的精度进一步提高。

根据所述第九方案，能够提供即使在物品的颜色特性不同或者拍摄条件不同的情况下也能够生成颜色调整的精度很难降低的转换关系的图像处理方法。

根据所述第十方案，能够提供即使在拍摄对象的颜色特性不同或者拍摄条件不同的情况下也能够生成颜色调整的精度很难降低的转换关系的图像处理系统。

根据所述第十一方案，能够由计算机实现如下的功能：即使在物品的颜色特性不同或者拍摄条件不同情况下也能够生成颜色调整的精度很难降低的转换关系。

附图说明

图1是示出本实施方式的图像处理系统的结构例的图。

图2是示出本实施方式的图像处理装置的功能结构例的框图。

图3中，(a)～(b)是示出第一颜色数据与第二颜色数据的对的例的图。

图4中，(a)是示出以象限分割颜色空间内，从分割的象限中提取第一颜色数据与第二颜色数据的对的情况的图。(b)是示出以色相分割颜色空间内，从分割的颜色区域中提取第一颜色数据与第二颜色数据的对的情况的图。(c)是示出以明亮度、色度分割颜色区域内，从分割的颜色区域提取第一颜色数据与第二颜色数据的对的情况的图。

图5是示出针对小区域内的像素生成了直方图的情况的例的图。

图6是示出提取不同明亮度的颜色数据的情况的图。

图7是示出颜色转换模型的一例的图。

图8中，(a)～(b)是对以第一颜色数据与第二颜色数据的关系为单调递增函数的方式生成了颜色转换模型的情况和以不是单调递增函数的方式生成了颜色转换模型的情况进行比较的图。

图9是对图像处理装置的工作进行说明的流程图。

图10是示出图像处理装置的硬件结构的图。

具体实施方式

以下，参照附图详细地对本发明的实施方式进行说明。

<图像处理系统整体的说明>

图1是示出本实施方式的图像处理系统1的结构例的图。

像图示那样，本实施方式的图像处理系统1具有：图像处理装置10，其对照相机40所拍摄的原图像进行颜色调整；显示装置20，其根据从图像处理装置10输出的图像数据，显示图像；输入装置30，其用于用户对图像处理装置10输入各种信息；以及照相机40，其对拍摄对象S进行拍摄并生成用于供图像处理装置10进行颜色调整的图像数据。

图像处理装置10例如是所谓通用型的个人计算机(PC)。而且，图像处理装置10在OS(Operating System：操作系统)的管理下，通过使各种应用软件工作而进行颜色调整等。

显示装置20在显示画面21上显示图像。显示装置20例如由PC用的液晶显示器、液晶电视或投影仪等具有通过加色混合来显示图像的功能的装置构成。因此，显示装置20的显示方式不限于液晶方式。另外，在图1所示的例中，在显示装置20内设置有显示画面21，但在使用例如投影仪作为显示装置20的情况下，显示画面21为设置于显示装置20的外部的屏幕等。

输入装置30由键盘或鼠标等构成。输入装置30用于以下的情况：用于进行颜色调整的应用软件的启动、结束、以及后面详细描述的在进行颜色调整时用户对图像处理装置10输入用于进行颜色调整的指示。

照相机40是拍摄装置的一例，例如具有光学系统和图像传感器，该光学系统使入射的光会聚，该图像传感器是检测被光学系统会聚后的光的摄像单元。

光学系统由单一的透镜构成或组合多个透镜而构成。通过透镜的组合和对透镜表面实施的涂覆等来去除光学系统的各种像差。图像传感器是排列CCD(Charge CoupledDevice：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件而构成的。

图像处理装置10和显示装置20经由DVI(Digital Visual Interface：数字视频接口)而连接。另外，也可以代替DVI而经由HDMI(注册商标)(High-Definition MultimediaInterface:高清晰度多媒体接口)或DisplayPort等而连接。

并且，图像处理装置10和输入装置30例如经由USB(Universal Serial Bus：通用串行总线)而连接。另外，也可以代替USB而经由IEEE1394或RS-232C等而连接。

而且，图像处理装置10和照相机40在图示的例中是以有线的方式连接，例如经由USB、IEEE1394、RS-232C连接。由此，照相机40所拍摄的图像的图像数据以有线的方式发送给图像处理装置10。但是，不限于此，也可以是无线LAN(Local Area Network：局域网)、蓝牙(Bluetooth)(注册商标)等无线连接。而且，也可以不连接图像处理装置10和照相机40，而将图像数据经由SD卡等存储卡等转交给图像处理装置10。

在这样的图像处理系统1中，首先用户使用照相机40对拍摄对象S进行拍摄。照相机40所拍摄的图像是作为第一图像的原图像，该图像数据发送给图像处理装置10。然后，在显示装置20上显示作为进行颜色处理之前的图像的原图像。接着，当用户使用输入装置30对图像处理装置10输入用于进行颜色调整的指示时，使用图像处理装置10对原图像进行颜色调整。该颜色调整的结果例如反映到显示于显示装置20的图像上，重画进行作为与第一图像不同的第二图像的颜色调整后的图像并显示于显示装置20上。在该情况下，用户能够一边观察显示装置20一边交互地进行颜色调整，从而能够更直观并且更容易地进行颜色调整的作业。

并且，作为第二图像，除了由图像处理装置10进行颜色调整后的图像之外，也可以采用型号特性与照相机40不同即拍摄条件不同的其他照相机所拍摄的其他图像。在该情况下，能够将照相机40所拍摄的图像看作第一图像，将拍摄条件不同的照相机所拍摄的其他图像看作第二图像。

并且，在显示装置20中生成能够根据颜色调整的结果，进行原图像的颜色调整使其为颜色调整后的图像的转换关系。该颜色调整例如是如下的处理：在第一颜色数据和第二颜色数据是由Red(R)、Green(G)、Blue(B)构成的RGB数据时，设第一颜色数据为(R_a，G_a，B_a)、第二颜色数据为(R_b，G_b，B_b)，则使(R_a，G_a，B_a)→(R_b，G_b，B_b)。通过使用该转换关系，能够再现与之前进行的颜色调整同样的颜色调整。该转换关系也被称作分布图，例如能够被生成为三维LUT(Look up Table：查找表)。但是，不限于此。例如，转换关系也可以是R_a→R_b、G_a→G_b、B_a→B_b的一维LUT。并且，转换关系还可以是(R_a，G_a，B_a)→(R_b，G_b，B_b)的多维矩阵。后面描述生成该转换关系的处理。

另外，本实施方式的图像处理系统1不限于图1的形态。例如，作为图像处理系统1，能够例示平板终端。在该情况下，平板终端具有触摸面板，通过该触摸面板进行图像的显示并且供输入触摸等用户的指示。即，触摸面板作为显示装置20和输入装置30发挥功能。另外，作为照相机40，能够使用内设于平板终端的照相机。并且，同样地，作为综合了显示装置20和输入装置30的装置，也能够使用触摸监视器。该触摸监视器使用触摸面板作为上述显示装置20的显示画面21。在该情况下，根据从图像处理装置10输出的图像数据，在触摸监视器上显示图像。而且，用户通过触摸该触摸监视器等而输入用于进行颜色调整的指示。

<图像处理装置的说明>

接下来对图像处理装置10进行说明。

图2是示出本实施方式的图像处理装置10的功能结构例的框图。另外，在图2中选择了图像处理装置10所具有的各种功能中与本实施方式相关的功能进行图示。另外，在本实施方式中，作为第二图像，示出了使用对原图像进行了颜色调整的颜色调整后的图像的情况的例。

像图示那样，本实施方式的图像处理装置10具有：图像数据取得部11，其取得图像数据；用户指示接受部12，其接受用户的指示；颜色调整部13，其进行图像的颜色调整；颜色数据提取部14，其提取预定的图像数据；颜色转换模型生成部15，其生成颜色转换模型；转换关系生成部16，其生成转换关系；以及输出部17。

图像数据取得部11取得进行颜色调整之前的原图像的图像数据。该图像数据为用于由显示装置20进行显示的数据形式，例如是上述的RGB数据。另外，图像数据取得部11也可以以其他数据形式取得图像数据并将其颜色转换为RGB数据等。

用户指示接受部12接受从输入装置30输入的与颜色调整相关的用户的指示。具体而言，用户指示接受部12接受指定进行颜色调整的图像中的区域的指示作为用户指示信息。并且，用户指示接受部12接受针对该区域的颜色调整的指示作为用户指示信息。

颜色调整部13根据用户指示接受部12所接受的用户指示信息，对原图像的图像数据进行颜色调整。用户例如通过进行色相、色度、亮度的调整来对所选择的区域进行颜色调整。

颜色数据提取部14提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的原图像(第一图像)的关注区域中的颜色数据，该第二颜色数据对应于与原图像(第一图像)不同的第二图像中的关注区域，并与第一颜色数据成对。这里，颜色数据提取部14提取作为原图像的关注区域中的颜色数据的多个第一颜色数据和对第一颜色数据进行颜色调整后的多个第二颜色数据。也可以将此描述为，颜色数据提取部14提取多个第一颜色数据和第二颜色数据，该第一颜色数据是表示颜色校正对象物的原图像(第一图像)的关注区域中的颜色数据，该第二颜色数据是在作为对原图像(第一图像)进行颜色调整后的图像的第二图像的关注区域中对第一颜色数据进行颜色调整而得到的。

这里，关注区域是需要颜色调整的图像中的区域，例如在图像被用于销售物品的情况下，关注区域是该物品的显示区域。即，要求更严密地对物品的颜色进行颜色再现，使实际的物品的颜色与显示为图像的物品的颜色一致。因此，容易成为进行颜色调整的区域的对象。相对地，很难对物品的背景的区域进行这样的要求，从而物品的背景的区域很难成为颜色调整的区域的对象。另外，关注区域例如能够作为用户指示信息被用户指定。

在该情况下，颜色数据提取部14提取显示物品的区域中的作为原图像的图像数据的第一颜色数据和相同区域(相同的像素位置)中的作为颜色调整后的图像数据的第二颜色数据。此时第一颜色数据与第二颜色数据成对，被一对一地对应提取。

图3(a)～(b)是示出第一颜色数据与第二颜色数据的对的例的图。

这里，图3(a)示出了颜色调整前的原图像和作为其图像数据的第一颜色数据的例。这里，原图像是衬衣的图像，将其中用1～5表示的小区域中的颜色数据表示为RGBa1～RGBa5。在该情况下，衬衣是蓝色单色，RGBa1～RGBa5都是表示蓝色的RGB数据。

并且，图3(b)示出了颜色调整后的图像和作为其图像数据的第二颜色数据的例。而且，这里，将与图3(a)同样的用1～5表示的小区域中的颜色数据表示为RGBb1～RGBb5。

要想提取第一颜色数据与第二颜色数据的对，例如能够使用以下的(1)～(3)的方法。

(1)以象限或色相分割颜色空间内，在分割的颜色区域内提取第一颜色数据与第二颜色数据的对。

图4(a)是示出以象限分割颜色空间内，从分割的象限中提取第一颜色数据与第二颜色数据的对的情况的图。

在图4(a)所示的例中，示出了以a*轴和b*轴分割L*a*b*颜色空间，由此将L*a*b*颜色空间分割为了第一象限～第四象限这四个象限的例。而且，这里示出了提取其中位于第四象限的四个黑点所示的颜色数据的情况。在该情况下，分割的颜色区域是四个象限，从其中一个颜色区域提取颜色数据。

并且，图4(b)是示出以色相分割颜色空间内，从分割的颜色区域中提取第一颜色数据与第二颜色数据的对的情况的图。另外，在图4(b)中，设虚线内的区域是显示装置20的颜色区域。

在图4(b)所示的例中，示出了按照每个色相将L*a*b*颜色空间分割为区域1～区域6这六个区域的例。而且，这里示出了提取其中位于区域3和区域5的五个黑点所示的颜色数据的情况。在该情况下，分割的颜色区域是六个，从其中两个颜色区域提取颜色数据。即，从多个颜色区域提取颜色数据。

(2)以明亮度、色度分割颜色区域内，在分割的颜色区域内提取第一颜色数据与第二颜色数据的对。

图4(c)是示出以明亮度、色度分割颜色区域内，从分割的颜色区域中提取第一颜色数据与第二颜色数据的对的情况的图。另外，图4(c)是与纸面垂直地剖开图4(b)的剖视图，设虚线内的区域是显示装置20的颜色区域。

在图4(c)所示的例中，示出了按照每个明亮度、色度将L*a*b*颜色空间分割为区域1～区域4这四个的例。而且，这里示出了提取分别位于区域1～区域4的四个黑点所示的颜色数据的情况。在该情况下，分割的颜色区域是四个，从所有颜色区域提取颜色数据。即，从多个颜色区域提取颜色数据。另外，也可以像图4(a)所说明那样从任意一个颜色区域提取颜色数据。

(3)在用户所指定的图像中的区域或颜色空间上的范围内提取第一颜色数据与第二颜色数据的对。

在该情况下，用户例如指定图3的衬衣的显示区域作为图像中的区域。并且，指定颜色空间上的蓝色区域。

并且，第一颜色数据与第二颜色数据的对，优选在预定的小区域内提取。例如，以选择像素为中心，将其周边的一个像素作为小区域。在该情况下，小区域由3个像素×3个像素＝9个像素构成。而且，根据这9个像素的平均值、最频值、直方图的峰值等决定代表色并将其作为第一颜色数据和第二颜色数据。通过将代表色作为第一颜色数据和第二颜色数据，能够在使用后述的转换关系的颜色调整时降低颜色调整的偏差。

图5是示出针对小区域内的像素生成了直方图的情况的例的图。

另外，在图中横轴表示RGB数据或L*a*b*数据，纵轴表示像素数(图示为Count)。

此时，图5的圆内所示那样直方图的峰值存在多个的情况下，也可以从一个小区域中决定多组第一颜色数据和第二颜色数据作为代表色。此时，作为代表色的基准，例如可以是具有取峰值的像素值的像素的像素数相对于该小区域内的所有像素数在20％以上时。

并且，在从多个颜色区域提取颜色数据的情况下，有时提取了彼此明显不同的色相、色度或者明亮度的颜色数据。

图6是示出提取不同明亮度的颜色数据的情况的图。

在图示的例中，示出了原图像是包含白色衬衣和黑色裙子在内的图像，提取其中1～8所示的小区域中的颜色数据的情况。在该情况下，示出了在白色衬衣中，从1～4所示的小区域中提取了第一颜色数据与第二颜色数据的对，在黑色裙子中，从5～8所示的小区域中提取了第一颜色数据与第二颜色数据的对的情况。即，提取了彼此明显不同的明亮度的颜色数据。该情况是因为：白色衬衣的显示区域和黑色裙子的显示区域双方是关注区域，需要从双方提取第一颜色数据与第二颜色数据的对。

另外，在该情况下，优选按照关注区域的大小(面积、像素数、占有率)，决定要提取的颜色数据的数量。在图6的情况下，由于白色衬衣与黑色裙子双方的关注区域的大小大致相同，因此提取了相同数量的颜色数据。即，针对各个关注区域，提取的颜色数据的数量是1：1。在假设白色衬衣的关注区域与黑色裙子的关注区域的面积为2：1时，提取的颜色数据的数量为2：1。

颜色转换模型生成部15生成表示颜色数据提取部14所提取的第一颜色数据与第二颜色数据之间的关系的颜色转换模型。

图7是示出颜色转换模型的一例的图。

这里，横轴表示作为颜色调整前的颜色数据的第一颜色数据，纵轴表示作为颜色调整后的颜色数据的第二颜色数据。第一颜色数据和第二颜色数据是RGB数据，在图中，将第一颜色数据图示为RGBa，将第二颜色数据图示为RGBb，

而且，黑点(plot)标绘了颜色数据提取部14所提取的第一颜色数据和第二颜色数据，这里，示出了颜色数据提取部14所提取的第一颜色数据与第二颜色数据的对是12个。

并且，实线是第一颜色数据与第二颜色数据之间的关系，表示颜色转换模型生成部15所生成的颜色转换模型。即，颜色转换模型也能够被称作表示第一颜色数据与第二颜色数据之间的关系的函数。设该函数为f，则能够表示为RGBb＝f(RGBa)。能够用公知的方法生成该颜色转换模型。但是，优选使用加权回归模型或神经网络等针对非线性特性的拟合性能高的方法。但是，不限于非线性特性，也可以使用线性特性，该线性特性使用了矩阵(Matrix)模型。

并且，颜色转换模型生成部15优选以第一颜色数据与第二颜色数据的关系为非线性的单调递增函数的方式生成颜色转换模型。

图8(a)～(b)是对以第一颜色数据与第二颜色数据之间的关系为单调递增函数的方式生成了颜色转换模型的情况和以不是单调递增函数的方式生成了颜色转换模型的情况进行比较的图。

图中，用实线所描绘的曲线表示颜色转换模型。该颜色转换模型中粗线是以第一颜色数据与第二颜色数据之间的关系为单调递增函数的方式生成了颜色转换模型的情况，是与图7同样的颜色转换模型。并且，细线是以第一颜色数据与第二颜色数据之间的关系不是单调递增函数的方式生成了颜色转换模型的情况。另外，这里单调递增函数是表示颜色转换模型的实线的切线的斜率为0以上的函数，也可以具有斜率为0的部位。即，是广义上的单调递增函数。

在粗线所示的颜色转换模型中不存在切线的斜率不到0(负数)的情况，切线的斜率始终在0以上。

相对地，在细线所示的颜色转换模型中存在切线的斜率不到0(负数)的情况。即，存在当RGBa增加时RGBb减小的部位。当利用使用了该颜色转换模型所生成的转换关系进行颜色调整时，有时在颜色调整后的图像中产生色调阶梯差。当以第一颜色数据与第二颜色数据之间的关系为单调递增函数的方式生成颜色转换模型时，能够减少产生色调阶梯差的情况，也能够减少颜色调整的偏差。

要想生成粗线所示那样的颜色转换模型，颜色转换模型生成部15例如可以考虑去除图示为Pr1、Pr2以及Pr3的第一颜色数据与第二颜色数据的对。

并且，颜色转换模型生成部15也可以对第一颜色数据与第二颜色数据的对设定权重来生成颜色转换模型。

在该情况下，颜色转换模型生成部15能够以第一颜色数据与第二颜色数据之间的关系为单调递增函数的方式设定权重从而生成颜色转换模型。即，对于图示为Pr1和Pr2的第一颜色数据和第二颜色数据的对，设定较小的权重，对其他颜色数据设定较大的权重。例如，在第一颜色数据与第二颜色数据的对与平均特性差方向的差较大的情况下设定较小的权重，在与平均特性差方向的差较小的情况下，设定较大的权重。另外，针对图示为Pr1、Pr2以及Pr3的第一颜色数据和第二颜色数据的对，也可以将权重设定为0。在该情况下，得到与去除它们同样的结果。

另外，权重的使用方法不限于此。例如，颜色转换模型生成部15也可以按照关注区域的大小来设定权重。

例如，在图6所示的例中，按照关注区域的大小决定了所提取的颜色数据的数量，但也可以是，针对各个关注区域，所提取的颜色数据的数量为相同数量，按照关注区域的大小，以如下方式设定权重，关注区域越大，设定越大的权重，关注区域越小，设定越小的权重。在假设白色衬衣的关注区域与黑色裙子的关注区域的面积为2：1时，使权重为2：1。

返回图2，转换关系生成部16根据颜色转换模型生成部15所生成的颜色转换模型，生成再现原图像的颜色调整的转换关系。该转换关系再现用户对原图像进行了颜色调整的结果。即，当使用该转换关系对原图像进行颜色调整时，能够再次进行与用户之前进行了的颜色调整同样的颜色调整使其为颜色调整后的图像。

在转换关系为三维LUT的情况下，对R、G、B分别选择作为代表的像素值。例如，在以8bit的色调表示R、G、B各自的数据的情况下，虽然像素值为0～255的整数，但例如将其分割为8部分。而且，将能够用被分割为8部分的各个像素值表示的RGB数据设为格点(所谓的9格点)。在该情况下，格点为9³＝729个。而且，根据颜色转换模型，对该格点分别计算第一颜色数据与第二颜色数据之间的对应关系。用LUT(Look Up Table：查找表)表示该对应关系的是三维LUT。其结果为，三维LUT按照每个格点记述输入值(R_a，G_a，B_a)—输出值(R_b，G_b，B_b)之间的对应关系。

此时转换关系生成部16优选生成对包含于关注区域中的颜色进行颜色调整，但对其他颜色不进行颜色调整的转换关系。例如，在图3所示的图像的情况下，转换关系生成部16生成对蓝色区域进行颜色调整，但对其他颜色不进行颜色调整的转换关系。并且，在图6所示的图像的情况下，转换关系生成部16生成对白色区域和黑色区域进行颜色调整，但对其他颜色不进行颜色调整的转换关系。在转换关系为三维LUT的情况下，在该三维LUT中，接近包含于关注区域中的颜色的格点的输入值(R_a，G_a，B_a)与输出值(R_b，G_b，B_b)是不同的值，但其他格点的输入值(R_a，G_a，B_a)与输出值(R_b，G_b，B_b)是相同的值。

输出部17输出颜色调整后的图像数据和转换关系的数据。颜色调整后的图像数据输出给显示装置20，在显示装置20上显示基于该图像数据的颜色调整后的图像。并且，转换关系的数据例如存储于图像处理装置10中，能够使用该转换关系进行颜色调整。并且，能够输出给与图像处理装置10不同的外部设备，在该外部设备中使用该转换关系进行颜色调整。

接下来，对图像处理装置10的工作进行说明。

图9是对图像处理装置10的工作进行说明的流程图。另外，以下要说明的图像处理装置10的工作也可以被看作由图像处理装置10进行的图像处理方法。

首先，图像数据取得部11取得原图像的图像数据(步骤101)。

原图像的图像数据从输出部17输出给显示装置20(步骤102)。其结果为，在显示装置20的显示画面21上显示原图像。

接着，用户指示接受部12接受要进行颜色调整的图像中的区域或颜色调整的指示作为用户指示信息(步骤103)。

然后，颜色调整部13根据用户指示信息，对原图像的图像数据进行颜色调整(步骤104)。

颜色调整后的图像数据从输出部17输出给显示装置20(步骤105)。其结果为，在显示装置20的显示画面21上显示颜色调整后的图像。

接着，颜色数据提取部14提取作为原图像的关注区域中的颜色数据的多个第一颜色数据和作为对第一颜色数据进行颜色调整后的多个第二颜色数据(步骤106：颜色数据提取工序)。能够以图3～图6所说明的方法进行该工序。

而且，颜色转换模型生成部15生成以非线性表示颜色数据提取部14所提取的第一颜色数据与第二颜色数据之间的关系的颜色转换模型(步骤107：颜色转换模型生成工序)。能够用图7～图8所说明的方法进行该工序。

而且，转换关系生成部16根据颜色转换模型生成部15所生成的颜色转换模型，生成再现颜色调整部13所进行了的原图像的颜色调整的转换关系(步骤108：转换关系生成工序)。如上所述，这是例如以三维LUT生成的。

而且，输出部17输出转换关系的数据(步骤109)。

在本实施方式中，转换关系生成部16优选针对原图像按照每个预定的组生成转换关系。

该组是按照预计在每个组中物品的光谱反射率等颜色特性相同的方式来划分的。

例如，组是按照物品的类别划分的。具体而言，是按照物品是否是衣物、印刷品、家具、文具划分的或按照色材的种类划分的。而且，对物品的颜色特性相同的物品以相同的转换关系进行颜色调整，对物品的颜色特性不同的物品以各自不同的转换关系进行颜色调整。由此，颜色调整的精度提高。并且，也可以出于同样的理由，按照物品的主要颜色、物品的花纹来划分组。而且，也可以按照有无闪光、照明光、曝光、背景、拍摄模式、照相机的种类(制造商、型号等)等拍摄条件或照相机40的设定条件来划分组。并且，此时，作为拍摄条件，例如在物品是衣服时，也可以考虑是人穿戴还是人体模型穿戴，或者是静置拍摄(放置于桌子上进行拍摄等)等条件。而且，也可以按照进行颜色调整的用户(修图人员)来划分组。

并且，此时，转换关系生成部16优选针对预定的每个组，使用多个原图像来生成转换关系。即，只要能够得到使用了多个原图像的颜色调整的结果，就能够按照每个组生成与各种颜色对应的转换关系。而且，由于即使在使用了只具有同色系的颜色的原图像的情况下，针对该颜色也能够得到多个颜色调整的结果，因此进行颜色调整的转换关系的精度同样地提高。

并且，在本实施方式中，转换关系生成部16生成对包含于关注区域中的颜色进行颜色调整，但对其他颜色不进行颜色调整的转换关系。由此，能够提高颜色调整的精度。在假如生成了对所有颜色区域进行了颜色调整的转换关系的情况下，颜色调整的精度容易降低。与现有的一种通过图像来生成转换关系的情况相比，在本实施方式中颜色调整的精度提高。即，由于以往生成通过一种图像对所有颜色区域进行颜色调整的转换关系，因此与此相比，在本实施方式中能够提高颜色调整的精度。

这样，在本实施方式中，通过使用按照每个组而生成的转换关系，即使拍摄对象的颜色特性不同，通过选择与其一致的组的转换关系，也能够进行精度更高的颜色调整。

并且，通过预先准备该转换关系并使用所准备的转换关系，由进行颜色调整的用户(修图人员)的技能或感受力的差引起的颜色调整的差也变得很难产生，在该点上颜色调整的精度也提高。

另外，在上述的例中，使用照相机40所拍摄的图像作为原图像，但原图像没有特别的限定。例如，也可以使用由扫描仪读入的图像作为原图像。并且，也可以将市售的图像数据或在互联网等处发布的图像数据直接作为原图像。

并且，在上述的例中，作为颜色特性，例示了物品的光谱反射率，但只要是在进行拍摄等时产生影响的特性，就不限于此。例如，列举了物品表面的凹凸构造、有无光泽、质感等。

<图像处理装置的硬件结构例>

接下来，对图像处理装置10的硬件结构进行说明。

图10是示出了图像处理装置10的硬件结构的图。

如上所述，图像处理装置10由个人计算机等实现。而且，像图示那样，图像处理装置10具有作为运算单元的CPU(Central Processing Unit：中央处理单元)91、作为存储单元的主存储器92以及HDD(Hard Disk Drive：硬盘驱动器)93。这里，CPU91执行OS(Operating System：操作系统)或应用软件等各种程序。并且，主存储器92是存储各种程序及其执行中所使用的数据等的存储区域，HDD93是存储针对各种程序的输入数据和从各种程序输出的输出数据等的存储区域。

而且，图像处理装置10具有用于进行与外部的通信的通信接口(通信I/F)94。

<程序的说明>

这里，例如以应用软件等程序的方式提供了进行了以上说明的本实施方式的图像处理装置10所进行的处理。

由此，本实施方式中图像处理装置10所进行的处理能够被看作实现以下的功能的程序：颜色数据提取功能，使计算机提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与第一图像不同的第二图像中的关注区域，并与第一颜色数据成对；颜色转换模型生成功能，生成表示所提取的第一颜色数据与第二颜色数据之间的关系的颜色转换模型；以及转换关系生成功能，根据颜色转换模型，生成再现第一图像的颜色调整的转换关系。

另外，当然能够由通信单元提供实现本实施方式的程序，此外还能够将实现本实施方式的程序保存在CD-ROM等存储介质中而提供。

以上，对本实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。从权利要求书的记载可以明确，对上述实施方式实施了各种变更或改良的方式也包含于本发明的技术范围中。

Claims (9)

1.一种图像处理装置，其具有：

颜色数据提取部，其提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；

颜色转换模型生成部，其生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及

转换关系生成部，其根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系，

所述颜色转换模型生成部对于所述第一颜色数据与所述第二颜色数据的对设定权重来生成所述颜色转换模型。

2.根据权利要求1所述的图像处理装置，其中，

所述转换关系生成部针对所述第一图像，按照预定的每个组来生成所述转换关系。

3.根据权利要求2所述的图像处理装置，其中，

所述转换关系生成部针对预定的每个组，使用多个所述第一图像来生成所述转换关系。

4.根据权利要求1所述的图像处理装置，其中，

所述颜色转换模型生成部以所述第一颜色数据与所述第二颜色数据之间的关系为非线性的单调递增函数的方式生成所述颜色转换模型。

5.根据权利要求4所述的图像处理装置，其中，

所述颜色转换模型生成部以所述第一颜色数据与所述第二颜色数据之间的关系为单调递增函数的方式设定所述权重来生成所述颜色转换模型。

6.根据权利要求4所述的图像处理装置，其中，

所述颜色转换模型生成部按照所述关注区域的大小来设定所述权重。

7.根据权利要求1至6中的任意一项所述的图像处理装置，其中，

所述转换关系生成部生成对包含于所述关注区域中的颜色进行颜色调整，但对其他颜色不进行颜色调整的所述转换关系。

8.一种图像处理方法，其包含以下工序；

颜色数据提取工序，提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是表示颜色校正对象物的第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；

颜色转换模型生成工序，生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及

转换关系生成工序，根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系，

在所述颜色转换模型生成工序中对于所述第一颜色数据与所述第二颜色数据的对设定权重来生成所述颜色转换模型。

9.一种图像处理系统，其具有：

拍摄装置，其对拍摄对象进行拍摄；以及

图像处理装置，其对所述拍摄装置所拍摄的第一图像进行颜色调整，

所述图像处理装置具有：

颜色数据提取部，其提取多个第一颜色数据和多个第二颜色数据，该第一颜色数据是所述第一图像的关注区域中的颜色数据，该第二颜色数据对应于与该第一图像不同的第二图像中的该关注区域，并与该第一颜色数据成对；

颜色转换模型生成部，其生成表示所提取的所述第一颜色数据与所述第二颜色数据之间的关系的颜色转换模型；以及

转换关系生成部，其根据所述颜色转换模型，生成再现所述第一图像的颜色调整的转换关系，

所述颜色转换模型生成部对于所述第一颜色数据与所述第二颜色数据的对设定权重来生成所述颜色转换模型。

Images