CN113395408A - 图像处理装置、图像处理方法及计算机可读介质 - Google Patents

Abstract

提供图像处理装置、图像处理方法及计算机可读介质。一种图像处理装置，其具有：输入装置，其输入颜色变换前的图像和颜色变换后的图像；以及处理器，所述处理器通过执行程序，从而根据将所述颜色变换前的图像和所述颜色变换后的图像的组输入到所述输入装置而生成的颜色变换特性，对样本图像进行颜色变换，确定颜色变换后的所述样本图像中的发生了灰度跳跃的部分，取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组重新生成所述颜色变换特性。

Description

图像处理装置、图像处理方法及计算机可读介质

技术领域

本公开涉及图像处理装置、图像处理方法和计算机可读介质。

背景技术

由于数码相机、智能手机、平板电脑等设备的普及，拍摄/阅览数字图像的用户正在增加。进行摄影的环境因照明光等的影响而多种多样，并且摄影对象也多种多样，所以在摄影后所拍摄的图像不是用户想要的图像的情况也不少。因此，对所拍摄的图像的色调等进行变换。

在日本特开2017-216560号公报中，记载了即使在物品的颜色特性不同，或者摄影条件不同的情况下，也能够生成颜色调整的精度不容易降低的变换关系的图像处理装置。该装置包括：颜色数据提取部，其提取多个第1颜色数据和多个第2颜色数据，所述多个第1颜色数据是表示颜色校正对象物的第1图像的关注区域中的颜色数据，所述多个第2颜色数据与不同于第1图像的第2图像中的关注区域相对应，并且与第1颜色数据成对；颜色变换模型生成部，其生成表示所提取的第1颜色数据和第2颜色数据之间的关系的颜色变换模型；以及变换关系生成部，其生成用于再现第1图像的颜色调整的变换关系。

发明内容

在将颜色变换前的图像和颜色变换后的图像输入到机器学习的学习器来生成颜色变换特性的情况下，在所生成的颜色变换特性存在问题的情况下，具体地说，在颜色变换后的图像中产生灰度跳跃的情况下，需要迅速地改善该灰度跳跃。

本发明的目的是提供一种在使用颜色变换特性进行了颜色变换的图像中出现灰度跳跃的情况下能够改善颜色变换特性的技术。

根据本公开的第1方案，提供了一种图像处理装置，其具有：输入装置，其输入颜色变换前的图像和颜色变换后的图像；以及处理器，所述处理器通过执行程序，从而根据将所述颜色变换前的图像和所述颜色变换后的图像的组输入到所述输入装置而生成的颜色变换特性，对样本图像进行颜色变换，确定颜色变换后的所述样本图像中的发生了灰度跳跃的部分，取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组重新生成所述颜色变换特性。

根据本公开的第2方案，所述处理器确定在发生所述灰度跳跃的部分中使用的颜色，提取不是所述样本图像、且利用所确定的颜色进行了颜色变换的颜色变换后的图像，使用所述颜色变换后的图像和与所述颜色变换后的图像成组的颜色变换前的图像，重新生成所述颜色变换特性。

根据本发明的第3方案，所述处理器针对在发生所述灰度跳跃的部分中使用的每种颜色，提取不是所述样本图像、且利用所确定的颜色进行了颜色变换的颜色变换后的图像和颜色变换前的图像的组，将各个组输入到所述输入装置。

根据本发明的第4方案，所述图像处理装置还具备显示装置，所述处理器使用重新生成的所述颜色变换特性对所输入的颜色变换前的图像进行颜色变换，作为颜色变换后的图像而显示在所述显示装置上。

根据本公开的第5方案，所述处理器通过用户操作来确定发生所述灰度跳跃的部分。

根据本公开的第6方案，所述处理器检测亮度没有单调变化的部分，来确定发生所述灰度跳跃的部分。

根据本公开的第7方案，所述样本图像是包含多种颜色的渐变图像。

根据本发明的第8方案，提供一种计算机可读介质，存储了使计算机执行处理的程序，所述处理包括如下步骤：根据将颜色变换前的图像和颜色变换后的图像的组输入到输入装置而生成的颜色变换特性，对样本图像进行颜色变换；确定颜色变换后的所述样本图像中的发生灰度跳跃的部分；以及取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组来重新生成所述颜色变换特性。

根据本公开的第9方案，提供了一种图像处理方法，包括如下步骤：根据将颜色变换前的图像和颜色变换后的图像的组输入到输入装置而生成的颜色变换特性，对样本图像进行颜色变换；确定颜色变换后的所述样本图像中的发生灰度跳跃的部分；以及取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组来重新生成所述颜色变换特性。

(效果)

根据上述第1、8或9方案，在利用颜色变换特性进行了颜色变换的图像中发生灰度跳跃的情况下，能够改善该颜色变换特性。

根据上述第2、3方案，还可以使用用于生成颜色变换特性的颜色变换前的图像和颜色变换后的图像的组来改善颜色变换特性。

根据上述第4方案，用户还可以确认颜色变换后的图像。

根据上述第5方案，还可以手动确定发生灰度跳跃的部分。

根据上述第6方案，还可以自动确定发生灰度跳跃的部分。

根据上述第7方案，还可以确定在多种颜色中发生灰度跳跃的部分。

附图说明

图1是实施方式的图像处理装置的功能框图。

图2是实施方式的图像处理装置的结构框图。

图3是实施方式的处理流程图。

图4是实施方式的样本图像的说明图。

图5是实施方式的其他处理流程图。

图6是实施方式的颜色变换前的样本图像和颜色变换后的样本图像的说明图。

图7是实施方式的产生灰度跳跃的图像区域的提取说明图。

图8是实施方式的从教师数据提取颜色数据集的说明图。

具体实施方式

以下根据附图说明本公开的实施方式。

<基本原理>

首先，对基本原理进行说明。

可以通过使用颜色变换前的图像和颜色变换后的图像的多个组作为教师数据来执行机器学习，生成颜色变换特性(在下文中称为“颜色变换模型”)，并且可以通过使用所生成的颜色变换模型来对任意图像自动执行颜色变换。

然而，所生成的颜色变换模型的精度并不总是足够的，有时不能对所有颜色执行用户期望的颜色变换。例如，尽管以足够的精度对某种颜色执行颜色变换，但是在其他的颜色中灰度可能不平滑，并且可能发生灰度跳跃。这里，“灰度跳跃”是指颜色的亮度不连续地变化，或者从某个色调急剧地变化为另一色调。作为其原因，可以举出关于产生灰度跳跃的颜色部分，教师数据不足或者不适当，机器学习的精度不充分等。

因此，在生成颜色变换模型的情况下，在输入要实际进行颜色变换的图像并执行颜色变换之前，需要检查所生成的颜色变换模型是否存在问题，并且如果存在问题，则需要确定存在该问题的颜色部分并重新生成颜色变换模型。

因此，在本实施方式中，在生成颜色变换模型时，首先将颜色变换模型应用于样本图像以执行颜色变换，并且根据颜色变换后的样本图像来确认颜色变换模型是否存在问题。“样本图像”与要进行颜色变换的实际图像不同，是以确认颜色变换模型的精度为目的而试验性地进行颜色变换的图像，是指在一定的规则下排列了单一颜色或多个颜色的图像。样本图像是任意的，例如优选渐变(Gradation)图像，更优选多色的渐变图像。这是因为，如果是渐变图像，则能够容易地视觉辨认颜色变换后的灰度跳跃的有无，如果是多色的渐变图像，则能够容易地视觉辨认在哪个颜色中产生灰度跳跃。

在根据颜色变换后的样本图像确认了在颜色变换模型中存在问题的情况下，确定该问题部位，具体地说是产生灰度跳跃的部位，从原始的教师数据中取得所确定的部位的颜色数据集。发生灰度跳跃的部位能够由用户视觉辨认颜色变换后的样本图像来确定。此外，通过从原始的教师数据中获取指定部位处的颜色数据组，不仅不需要新生成该颜色的数据组，而且通过使用用于机器学习的教师数据，可以更忠实地再现原始图像的颜色变换。

以下，对本实施方式进行详细说明。

<结构>

图1表示本实施方式的图像处理装置的功能框图。图像处理装置包括图像数据取得部10、颜色数据提取部12、颜色变换模型生成部14、模型存储部16、颜色变换部18、显示部20和用户操作部22。

图像数据取得部10取得用户指定的图像。用户指定颜色变换前的图像(以下将其称为“颜色变换前图像”)和颜色变换后的图像(以下将其称为“颜色变换后图像”)的组作为通过机器学习生成颜色变换模型时所需的教师数据，图像数据取得部10取得这些图像的组。

颜色数据提取部12以由图像数据取得部10取得的颜色变换前图像和颜色变换后图像的组为对象，提取关注区域内的多个颜色数据集。即，提取颜色变换前图像的关注区域中的颜色数据(即，颜色变换前的颜色数据)和颜色变换后图像的同一关注区域中的颜色数据(即，颜色变换后的颜色数据)的数据集。该关注区域是在生成颜色变换模型时用作基准的区域。关注区域可以任意设定，也可以是用户指定的区域，还可以是预先设定的特定的图像区域。或者，作为默认也可以作为主要被摄体的存在区域。

颜色变换模型生成部14将由颜色数据提取部12提取出的颜色数据集作为教师数据输入到学习机，执行机器学习，并且生成颜色变换模型。这里，“颜色变换模型”是颜色变换前的图像信息与颜色变换后的图像信息之间的关系。“颜色变换模型”可以表示为表示颜色变换前的图像信息与颜色变换后的图像信息之间的关系的函数。考虑以颜色变换前的图像信息作为起点并以颜色变换后的图像信息作为终点的颜色变换矢量时，“颜色变换模型”是该颜色变换矢量的集合体(颜色变换矢量组)。例如，在图像信息是由Red(R)、Green(G)、Blue(B)构成的RGB数据的情况下，如果将颜色变换前的图像信息设为(Ra，Ga，Ba)，将颜色变换后的图像信息设为(Rb，Gb，Bb)，则表示(Ra，Ga，Ba)与(Rb，Gb，Bb)的变换关系。“变换关系”是用于将颜色变换前的图像信息变换成颜色变换后的图像信息的变换信息。该变换关系可以生成为LUT(Look up Table，查询表)。LUT可以是多维LUT，也可以是一维LUT。进而，变换关系也可以不是LUT，而是多维矩阵。

在图像信息是RGB数据的情况下，变换关系是用于将颜色变换前的图像信息(Ra，Ga，Ba)变换为颜色变换后的图像信息(Rb，Gb，Bb)的、

(Ra，Ga，Ba)→(Rb，Gb，Bb)的信息。通过使用该变换关系，能够再现与先前进行的颜色变换相同的颜色变换。即，当新生成了颜色变换前的图像信息时，通过使用该变换关系进行颜色变换，能够进行与之前进行的颜色变换相同的颜色变换，生成颜色变换后的图像信息。

在变换关系为多维LUT的情况下，此处为三维LUT，将(Ra，Ga，Ba)直接变换为(Rb，Gb，Bb)。即，

(Ra，Ga，Ba)→(Rb，Gb，Bb)。另外，在变换关系为一维LUT的情况下，分别对R、G、B进行变换。即，

Ra→Rb

Ga→Gb

Ba→Bb。在本实施方式中，例示了RGB的颜色空间中的变换，但也可以是CMYK等其他颜色空间的变换。在这种情况下，图像信息是由C(青色)、M(品红色)、Y(黄色)和K(黑色)的各色构成的CMYK数据。如果变换关系是多维LUT，则使用四维LUT，并且将颜色变换之前的图像信息(Ca，Ma，Ya，Ka)变换成颜色变换之后的图像信息(CB，MB，YB，KB)，

(Ca，Ma，Ya，Ka)→(CB，MB，YB，KB)。另外，在变换关系为一维LUT的情况下，分别对C、M、Y、K进行变换。即，

Ca→Cb

Ma→Mb

Ya→Yb

Ka→Kb。由颜色变换模型生成部14生成的颜色变换模型存储在模型存储部16中。当颜色变换模型是三维LUT时，将该三维LUT存储在模型存储部16中。

颜色变换模型生成部14可以通过使用已知的插补技术，对所生成的颜色变换模型中不存在颜色数据集的颜色变换关系进行适当的插补，来生成连续的颜色变换关系。具体地说，在三维LUT中，在规定了

(Ra1，Ga1，Ba1)→(Rb1，Gb1，Bb1)

(Ra2，Ga2，Ba2)→(Rb2，Gb2，Bb2)的情况下，对于(Ra1，Ga1，Ba1)和(Ra2，Ga2，Ba2)之间的图像信息，进行线性插补或非线性插补，生成颜色变换关系等。

颜色变换部18使用存储在模型存储部16中的颜色变换模型对输入的图像执行颜色变换，并且在显示部20上显示颜色变换后的图像。但是，颜色变换部18根据来自用户操作部22的操作，使用颜色变换模型对所输入的样本图像30执行颜色变换，将颜色变换后的样本图像显示在显示部20上。样本图像30例如是多种颜色的渐变图像。用户视觉辨认显示部20所显示的颜色变换后的样本图像，确认有无灰度跳跃。如果没有灰度跳跃，则判断为存储在模型存储部16中的颜色变换模型具有足够的精度。另一方面，如果存在灰度跳跃，则用户操作用户操作部22以确定发生该灰度跳跃的图像区域。发生灰度跳跃的图像区域的确定例如可以通过用户用鼠标等输入设备来设定矩形区域的位置以及尺寸等来进行，但不限于此。由用户操作部22确定的图像区域的信息被提供给颜色数据提取部12。

当输入了由用户操作部22确定的图像区域的信息时，颜色数据提取部12以由图像数据取得部10取得的颜色变换前图像和颜色变换后图像的组为对象，提取所确定的图像区域内的多个颜色数据集。颜色数据提取部12基本上如已经说明的那样提取关注区域的颜色数据集，但在此请注意，不是提取关注区域，而是提取所确定的图像区域内的多个颜色数据集。颜色数据提取部12将新提取的颜色数据集提供给颜色变换模型生成部14。

颜色变换模型生成部14使用由颜色数据提取部12新提取的颜色数据集作为新的教师数据来重新学习存储在模型存储部16中的颜色变换模型，并将学习完毕的颜色变换模型存储在模型存储部16中。

对于颜色变换部18中的样本图像30的颜色变换、用户操作部22中的发生灰度跳跃的图像区域的确定、颜色数据提取部12中的特定图像区域中的颜色数据集的提取、以及颜色变换模型生成部14中的颜色变换模型的重新学习，能够反复执行必要次数。由此，生成最终的不产生灰度跳跃的颜色变换模型，并存储在模型存储部16中。

图2表示本实施方式中的图像处理装置的结构框图。图像处理装置由计算机构成，具备处理器40、ROM 42、RAM 44、输入部46、输出部48以及模型存储部16。

处理器40读取存储在ROM 42或其它程序存储器中的处理程序，并使用RAM 44作为工作存储器来执行该处理程序，从而实现图1中的图像数据取得部10、颜色数据提取部12、颜色变换模型生成部14以及颜色变换单元18。

输入部46由键盘、鼠标、扫描仪、触摸面板、通信接口等构成，输入用户指定的颜色变换前图像和颜色变换后图像的组，并且输入样本图像。输入部46作为图1中的用户操作部22发挥功能。

输出部48由包括触摸面板的显示装置等构成，并且输出由处理器40进行了颜色变换的颜色变换后图像28。当输入了样本图像时，输出部48输出由处理器40进行了颜色变换的颜色变换后的样本图像。用户视觉辨认颜色变换后的样本图像，确认是否产生灰度跳跃，并操作输入部46来确定产生灰度跳跃的图像区域。在输出部48由触摸面板构成的情况下，用户可以触摸产生灰度跳跃的图像区域来确定。另外，输出部48也可以具备通信接口，经由通信线路将颜色变换后图像28输出到其他计算机。

如上所述，模型存储部16存储颜色变换模型。颜色变换模型例如表现为三维LUT。处理器40将输入的颜色变换前图像和颜色变换后图像的组作为教师数据输入到学习机以生成颜色变换模型。学习机例如是神经网络(NN)、卷积神经网络(CNN)等，但不限于特定的模型。

当处理器40生成颜色变换模型并将其存储在模型存储部16中后、从输入部46输入了样本图像时，处理器40从模型存储部16中读出颜色变换模型并进行颜色变换，输出到输出部48进行显示。而且，当由用户确定了产生灰度跳跃的图像区域时，从教师数据中提取所确定的图像区域的颜色数据集，作为追加了它们的新的颜色数据集重新学习颜色变换模型，并重新存储到模型存储部16中。

处理器40可以重复地执行颜色变换模型的重新学习，直到用户判断为没有出现灰度跳跃。此外，也可以代替用户，在图像处理装置中判定有无灰度跳跃(例如，检测到亮度没有单调变化而判定为发生了灰度跳跃)，重复执行直到没有检测到灰度跳跃为止。或者，也可以对重复次数设定上限，在上限的范围内重复执行。

在本实施方式中，模型存储部16不需要设置于图像处理装置，也可以设置于外部的服务器等。在这种情况下，当处理器40生成了颜色变换模型时，通过通信接口和通信线路将颜色变换模型存储到外部服务器等模型存储装置中。而且，当输入了样本图像的情况下，从外部服务器的模型存储装置中读取对应的颜色变换模型进行颜色变换，并输出到输出部48。

此外，尽管处理器40生成颜色变换模型并使用所生成的颜色变换模型来执行颜色变换，但是用于生成(包括重新学习)颜色变换模型的处理器和用于使用颜色变换模型来执行颜色变换的处理器可以是不同的处理器。本实施方式的图像处理装置可以既具有生成颜色变换模型的功能，也具有使用该颜色变换模型执行颜色变换并输出的功能，除此之外也可以仅具有生成(包括重新学习)颜色变换模型的功能或者使用颜色变换模型执行颜色变换并输出的功能。

处理器40是指广义的处理器，包括通用的处理器(例如CPU：Central ProcessingUnit等)，专用的处理器(例如GPU：Graphics ProcessinGUnit，ASIC：ApplicationSpecific Integrated Circuit，FPGa：Field Programmable Gate Array，可编程逻辑器件等)。另外，处理器的动作不仅可以由一个处理器实现，也可以由存在于物理上分离的位置的多个处理器协作来实现。

<处理流程图>

图3表示本实施方式的处理流程图。特别地，是生成颜色变换模型的处理。

首先，处理器40获取作为教师数据的图像信息的组(S101)。图像信息的组是颜色变换前图像和颜色变换后图像的组，希望尽可能多地取得。

接着，从颜色变换前和颜色变换后图像的多个组中提取并取得关注区域内的多个颜色数据集(S102)。即，提取颜色变换前图像的关注区域中的颜色数据(即，颜色变换前的颜色数据)和颜色变换后图像的同一关注区域中的颜色数据(即，颜色变换后的颜色数据)的数据集。关注区域可以由用户指定，也可以是预先设定的特定的图像区域。关注区域可以设定为颜色变换前图像的关注区域，但也可以设定为颜色变换后图像的关注区域。即，可以设定颜色变换前图像和颜色变换后图像中的任一方的关注区域。在对作为商品的衣服的部位进行颜色变换的情况下，可以将该衣服的部位设定为关注区域。商品的颜色由于要求更精细地进行颜色再现，要求实际的商品的颜色与作为图像来显示的商品的颜色一致，所以容易成为进行颜色变换的对象。

接着，判定是否存在包含要追加的颜色数据集的图像区域(S103)。另外，在默认中，将存在包含要追加的颜色数据集的图像区域判定为“是”。在用户视觉辨认后述的颜色变换后的样本图像，并判断为没有产生灰度跳跃的情况下，该判定处理被判定为否。

在默认状态下，在S103中判定为“是”，并且处理器40使用在S102中获得的颜色数据集作为教师数据来执行机器学习，生成颜色变换模型(S104)。当在三维LUT中定义颜色变换模型时，使用将(Ra，Ga，Ba)变换为(Rb，Gb，Bb)的模型，进行(Ra，Ga，Ba)→(Rb，Gb，Bb)。

由于三维LUT是离散的表，所以对于在三维LUT中没有规定的颜色数据，可以通过线性插补或者非线性插补来进行插补，从而作为连续的颜色变换函数。所生成的颜色变换模型存储在模型存储部16中。

接着，处理器40输入样本图像，例如多个颜色的渐变图像，使用所生成的颜色变换模型对该样本图像进行颜色变换(S105)。

图4表示样本图像30的一例。样本图像30是用于确认颜色变换模型的精度的图像，并且是根据特定规则排列多个颜色的颜色图表(color chart)。在图4中，在样本图像30中，印刷有分别不同颜色的条51～59，各条51～59从上向下亮度依次连续变小。在图4中，条51为蓝色，条52为紫色，条53为品红色，条54为红色，条55为茶色，条56为黄色，条57为绿色，条58为青绿色，条59为黑色，但颜色的排列不限于此。样本图像30可以预先决定，或者也可以由用户任意地选择颜色，即选择色调和亮度来进行编辑。

再次回到图3，在利用颜色变换模型对样本图像进行颜色变换之后，处理器40将颜色变换后的样本图像输出到输出部48进行显示(S106)。

用户视觉辨认所显示的颜色变换后的样本图像，确认是否产生灰度跳跃。如果发生灰度跳跃，则将产生该灰度跳跃的图像区域确定为问题区域(S107)。

处理器40获取所确定的图像区域的颜色数据集(S102)。即，取得在颜色变换后的样本图像中所确定的图像区域的、颜色变换前的样本图像中的图像区域的颜色数据，提取在S101中取得的颜色变换前图像和颜色变换后图像的多个组中与该颜色数据对应的颜色数据集。如果再次在步骤S103中判断为“是”，则使用在步骤S102中新提取的颜色数据集作为教师数据来重新学习颜色变换模型(S104)。

然后，处理器40再次输入样本图像，例如多个颜色的渐变图像，使用通过重新学习而再次生成的颜色变换模型对该样本图像进行颜色变换(S105)。处理器40使用重新学习的颜色变换模型对样本图像进行颜色变换，然后将颜色变换后的样本图像再次输出到输出部48以进行显示(S106)。

用户再次视觉辨认所显示的颜色变换后的样本图像，确认是否产生灰度跳跃。如果发生灰度跳跃，则将产生该灰度跳跃的图像区域确定为问题区域(S107)。以下，重复同样的处理。

另一方面，当用户确认没有出现灰度跳跃时，不确定问题区域。此时，处理器40不重新提取颜色数据集(S102)，由于没有提取新的颜色数据集，所以在S103中判断为“否”，判断是否追加图像集(S108)。

该图像集是指除了在步骤S101中获取的颜色变换前图像和颜色变换后图像的多个组以外的新的图像组，如果存在新的图像集，则再次重复步骤S101之后的处理以再次生成颜色变换模型。如果没有新的图像集，则在S108中判断为“否”，结束处理。此时，存储在模型存储部16中的颜色变换模型是最终的颜色变换模型，当用户输入了应该进行颜色变换的图像时，处理器40使用此时存储在模型存储部16中的颜色变换模型进行颜色变换，并将颜色变换后图像输出到输出部48。

图5是本实施方式的其他处理流程图。

首先，处理器40获取作为教师数据的图像信息的组(S201)。图像信息的组是颜色变换前图像和颜色变换后图像的组，希望尽可能多地取得。

接着，从颜色变换前和颜色变换后图像的多个组中提取并取得关注区域内的多个颜色数据集(S202)。即，提取颜色变换前图像的关注区域中的颜色数据(即，颜色变换前的颜色数据)和颜色变换后图像的同一关注区域中的颜色数据(即，颜色变换后的颜色数据)的数据集。关注区域可以由用户指定，也可以是预先设定的特定的图像区域。关注区域可以设定为颜色变换前图像的关注区域，但也可以设定为颜色变换后图像的关注区域。即，只要设定颜色变换前图像和颜色变换后图像中的任一方的关注区域即可。在对作为商品的衣服的部位进行颜色变换的情况下，可以将该衣服的部位设定为关注区域。商品的颜色由于要求更精细地进行颜色再现，要求实际的商品的颜色与作为图像显示的商品的颜色一致，所以容易成为进行颜色变换的对象。

接下来，处理器40使用在S202中获取的颜色数据组作为教师数据来执行机器学习，生成颜色变换模型(S203)。当在三维LUT中定义颜色变换模型时，使用将(Ra，Ga，Ba)变换为(Rb，Gb，Bb)的模型，进行(Ra，Ga，Ba)→(Rb，Gb，Bb)。

由于三维LUT是离散的表，所以对于在三维LUT中没有规定的颜色数据，可以通过线性插补或者非线性插补进行插补，从而作为连续的颜色变换函数。所生成的颜色变换模型存储在模型存储部16中。

接着，处理器40输入样本图像，例如多个颜色的渐变图像，使用所生成的颜色变换模型对该样本图像进行颜色变换(S204)。

接下来，处理器40使用颜色变换模型对样本图像进行颜色变换，然后将颜色变换后的样本图像输出到输出部48进行显示(S205)。

接下来，处理器40确定在所显示的颜色变换后的样本图像中是否发生灰度跳跃(S206)。如果发生灰度跳跃，则确定法生该灰度跳跃的图像区域(S207)。S206及S207也可以由用户使用输入部46手动输入。

处理器40获取所确定的图像区域的颜色数据集(S202)。即，取得在颜色变换后的样本图像中所确定的图像区域的、颜色变换前的样本图像中的图像区域的颜色数据，提取在S201中取得的颜色变换前图像和颜色变换后图像的多个组中与该颜色数据对应的颜色数据集。然后，使用在步骤S202中新提取的颜色数据组作为教师数据，重新学习颜色变换模型(S203)。

处理器40再次输入样本图像，例如多个颜色的渐变图像，使用通过重新学习而再次生成的颜色变换模型对该样本图像进行颜色变换(S204)。处理器40使用重新学习的颜色变换模型对样本图像进行颜色变换，然后将颜色变换后的样本图像再次输出到输出部48进行显示(S205)。

接下来，处理器40判定在再次显示的颜色变换后的样本图像中是否发生灰度跳跃(S206)。如果发生灰度跳跃，则确定发生该灰度跳跃的图像区域(S207)。S206及S207也可以由用户使用输入部46手动输入。如果发生灰度跳跃，则确定发生该灰度跳跃的图像区域(S207)。以下，重复同样的处理。

另一方面，当未发生灰度跳跃时(S206中的否)，处理器40判定是否追加图像集(S108)。该图像集表示除了在步骤S201中获取的颜色变换前图像和颜色变换后图像的多个组以外的新的图像组，并且如果存在新的图像组，则再次重复步骤S201之后的处理以再次生成颜色变换模型。如果没有新的图像集，则在S208中判断为“否”，结束处理。

图6示出了颜色变换前的样本图像30和颜色变换后的样本图像60的示例。图6的(a)是颜色变换前的样本图像30，是与图4所示的样本图像30相同的图像，是多种颜色的渐变图像。图6的(B)是利用颜色变换模型进行了颜色变换的样本图像60，如图所示，表示在某一部分图像区域100中产生了亮度不单调变化的灰度跳跃的状况。用户使用鼠标等，使用区域设定工具等对鼠标进行拖动操作等，从而能够将图像区域100确定为矩形区域。

图7示意性地示出在图6中用户确定了图像区域100时的处理。处理器40确定与颜色变换后的样本图像60中所确定的图像区域100对应的颜色变换前的样本图像30的图像区域200，并提取构成该图像区域200的像素组的颜色数据。将所提取的颜色数据设为(Rs，Gs，Bs)。处理器40将在生成颜色变换模型时输入的颜色变换前图像和颜色变换后图像的多个组作为对象，提取与所提取的颜色数据(Rs，Gs，Bs)相对应的颜色数据集。

即，颜色变换前图像Pa和颜色变换后图像PB的多个组是：

(颜色变换前图像：颜色变换后的图像)＝

(Pa1，PB1)

(Pa2，PB2)

(Pa3，PB3)

…

(Pai，Pbi)

(Paj，Pbj)，

如果在Pai中存在与从颜色变换前的样本图像30中提取的颜色数据(Rs，Gs，Bs)相对应的颜色变换前图像的颜色数据，则处理器40提取出(Pai，Pbi)作为颜色变换前图像和颜色变换后图像的组，而作为存在于这些图像的组中的、与颜色数据(Rs，Gs，Bs)一致的颜色数据集，提取(Rai，Gai，Bai:(Rbi，Gbi，Bbi)，作为新的颜色数据集。更具体地，从颜色变换前图像Pai提取与颜色数据(Rs，Gs，Bs)一致的颜色数据(Rai，Gai，Bai)，并且提取通过对所提取的颜色变换前图像Pai的颜色数据(Rai，Gai，Bai)进行颜色变换而得到的颜色变换后图像Pbi的颜色数据(Rbi，Gbi，Bbi)。提取的图像的组(Pai，Pbi)可以有多个。在提取的图像的组(Pai，Pbi)中，可以从多个图像区域提取多个(Rai，Gai，Bai)：(Rbi，Gbi，Bbi)的颜色数据集。在此，应注意的是，所提取的不是提取出的颜色变换前的样本图像30的颜色数据，而是与该颜色数据对应的教师数据的颜色数据集。

处理器40可以确定与在颜色变换后的样本图像60中所确定的图像区域100对应的颜色变换前的样本图像30的图像区域200，并取代提取构成该图像区域200的像素组的颜色数据，而提取构成在颜色变换后的样本图像60中所确定的图像区域100的像素组的颜色数据，提取与该颜色数据对应的教师数据的颜色变换后图像的颜色数据，进而提取与提取出的颜色数据对应的颜色变换前图像的颜色数据，作为颜色数据集。

图8示意性地表示该情况下的处理。图8的(a)是颜色变换前的样本图像30，是与图4所示的样本图像30相同的图像，是多种颜色的渐变图像。图8的(b)是利用颜色变换模型进行了颜色变换后的样本图像60，如图所示，表示在某一部分图像区域100中产生了亮度不单调变化的灰度跳跃的状况。图8的(c)和图8的(d)是构成教师数据的颜色变换前图像70和颜色变换后图像80的组的一例。处理器40提取构成图像区域100的像素组的颜色数据。所提取的颜色数据是(Rt，Gt，Bt)。处理器40将在生成颜色变换模型时输入的颜色变换前图像和颜色变换后图像的多个组作为对象，提取与所提取的颜色数据(Rt，Gt，Bt)相对应的颜色数据集。

即，颜色变换前图像Pa和颜色变换后图像PB的多个组是：

(颜色变换前图像：颜色变换后的图像)＝

(Pa1，Pb1)

(Pa2，Pb2)

(Pa3，Pb3)

…

(Pai，Pbi)

(Paj，Pbj)…

如果在Pbi中存在与从颜色变换后的样本图像60中提取的颜色数据(Rt，Gt，Bt)相对应的颜色变换后图像的颜色数据，则处理器40提取(Pai，Pbi)作为颜色变换前图像与颜色变换后图像的组，提取(Rai，Gai，Bai):(Rbi，Gbi，Bbi)作为存在于这些图像的组中的、与颜色数据(Rt，Gt，Bt)一致的颜色数据集，作为新的颜色数据集。在图中，颜色变换前图像Pai相当于颜色变换前图像70，并且颜色变换后图像Pbi相当于颜色变换后图像80。如果颜色变换后图像80中，颜色数据为(Rbi，Gbi，Bbi)的图像区域是图像区域300，则颜色变换前图像70中的图像区域400的颜色数据与其相当。

这里，在不存在与提取出的颜色变换前的样本图像30的颜色数据对应的教师数据的颜色数据集的情况下，可以结束处理，或者作为代替处理，提取与提取出的颜色变换前的样本图像30的颜色数据最接近的教师数据的颜色数据集。可以通过计算色差来选择最接近的颜色数据。色差是色空间中的距离，该距离用欧几里得距离来计算。在颜色空间由RGB构成的情况下，在由R、G、B构成的线性三维空间所构成的颜色空间中进行计算。或者，在LaB空间中，利用ΔE＝{(L1－L2)²+(a1－a2)²+(b1－b2)²}^0.5，计算两个颜色数据(L1，a1，b1)、(L2，a2，b2)的距离。

如上所述，在本实施方式中，使用通过利用教师数据进行机器学习而生成的颜色变换模型来对样本图像30进行颜色变换，并且当在颜色变换后的样本图像60中出现灰度跳跃时，重新学习颜色变换模型，因此，可以改善颜色变换模型并提高精度。此外，在本实施方式中，当重新学习颜色变换模型时，使用与构成发生了灰度跳跃的图像区域的颜色数据相对应的教师数据的颜色数据集(颜色变换前的颜色数据与颜色变换后的颜色数据的组)来重新学习颜色变换模型，因此，可以改善为更忠实地再现原始图像的颜色变换的颜色变换模型。

在本实施方式中，作为处理器40在发生灰度跳跃的情况下执行的处理，例示出如下处理：

处理A：

(1)从颜色变换后的样本图像60中确定产生灰度跳跃的图像区域100

(2)确定与图像区域100对应的颜色变换前的样本图像30中的图像区域200

(3)确定图像区域200中的颜色数据

(4)确定教师数据中的颜色变换前图像70中的颜色数据

(5)确定与在颜色变换前图像(70)中确定的颜色数据对应的颜色变换后图像(80)中的颜色数据，取得颜色数据集。

处理B：

(1)从颜色变换后的样本图像60中确定产生了灰度跳跃的图像区域100

(2)确定与图像区域100对应的教师数据中的颜色变换后图像80中的颜色数据

(3)确定与在颜色变换后图像80中确定的颜色数据对应的颜色变换前图像70中的颜色数据，取得颜色数据集。

然而，用户可以通过任意地选择处理A和处理B，或者通过适当地组合这些处理来重新学习颜色变换模型。

Claims (9)

1.一种图像处理装置，其具有：输入装置，其输入颜色变换前的图像和颜色变换后的图像；以及处理器，

所述处理器通过执行程序，从而

根据将所述颜色变换前的图像和所述颜色变换后的图像的组输入到所述输入装置而生成的颜色变换特性，对样本图像进行颜色变换，

确定颜色变换后的所述样本图像中的发生了灰度跳跃的部分，

取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组重新生成所述颜色变换特性。

2.根据权利要求1所述的图像处理装置，其中，

所述处理器

确定在发生所述灰度跳跃的部分中使用的颜色，

提取不是所述样本图像、且利用所确定的颜色进行了颜色变换的颜色变换后的图像，

使用所述颜色变换后的图像和与所述颜色变换后的图像成组的颜色变换前的图像，重新生成所述颜色变换特性。

3.根据权利要求2所述的图像处理装置，其中，

所述处理器针对在发生所述灰度跳跃的部分中使用的每种颜色，提取不是所述样本图像、且利用所确定的颜色进行了颜色变换的颜色变换后的图像和颜色变换前的图像的组，将各个组输入到所述输入装置。

4.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备显示装置，

所述处理器使用重新生成的所述颜色变换特性对所输入的颜色变换前的图像进行颜色变换，作为颜色变换后的图像而显示在所述显示装置上。

5.根据权利要求1所述的图像处理装置，其中，

所述处理器通过用户操作来确定发生所述灰度跳跃的部分。

6.根据权利要求1所述的图像处理装置，其中，

所述处理器通过检测亮度没有单调变化的部分，来确定发生所述灰度跳跃的部分。

7.根据权利要求1～6中任一项所述的图像处理装置，其中，

所述样本图像是包含多种颜色的渐变图像。

8.一种计算机可读介质，存储了使计算机执行处理的程序，所述处理包括如下步骤：

根据将颜色变换前的图像和颜色变换后的图像的组输入到输入装置而生成的颜色变换特性，对样本图像进行颜色变换；

确定颜色变换后的所述样本图像中的发生了灰度跳跃的部分；以及

取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组重新生成所述颜色变换特性。

9.一种图像处理方法，包括如下步骤：

根据将颜色变换前的图像和颜色变换后的图像的组输入到输入装置而生成的颜色变换特性，对样本图像进行颜色变换；

确定颜色变换后的所述样本图像中的发生了灰度跳跃的部分；以及

取得所述组中的与发生所述灰度跳跃的部分对应的颜色变换前的图像以及颜色变换后的图像的组，使用所取得的图像的组重新生成所述颜色变换特性。

Images