CN115170834A - 色差度量方法、装置、电子设备 - Google Patents

Abstract

本申请涉及一种色差度量方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，所述输入图像包括第一图像和第二图像；所述色彩特征模型包括不同大小的卷积核；所述不同大小的卷积核用于提取所述输入图像多尺度的色彩信息；基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值；基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。采用本方法能够有效提高色差度量的准确性，能够更好的反应人眼对于自然图像的色彩感知差异。

Description

色差度量方法、装置、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种色差度量方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术领域技术的发展，在图像处理系统中，越来越多的场景中需要对自然图像进行色彩差异评价，例如，以CIEDE2000为代表的色差度量方式可以实现逐像素进行色彩差异的计算，为评价图像色彩差异提供了指标。

然而，目前的色差度量方式中，通常采用以CIEDE2000为代表的色差度量公式，对两个图像逐像素进行色彩差异的计算，但以CIEDE2000为代表的色差度量处理方式中，不可避免的问题是与人类视觉系统评价机制不相符，从而使得该方法在自然图像上的推广性能得不到保证，不能很好的反应人眼对于自然图像的色彩感知差异，导致无法得到准确的色差度量值。

发明内容

本申请实施例提供了一种色差度量方法、装置、电子设备、计算机可读存储介质，可以有效提高色差度量的准确性，能够更好的反应人眼对于自然图像的色彩感知差异。

一种色差度量方法，所述方法包括：通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，所述输入图像包括第一图像和第二图像；所述色彩特征模型包括不同大小的卷积核；所述不同大小的卷积核用于提取所述输入图像多尺度的色彩信息；基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值；基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

一种色差度量装置，包括：提取模块，用于通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，所述输入图像包括第一图像和第二图像；所述色彩特征模型包括不同大小的卷积核；所述不同大小的卷积核用于提取所述输入图像多尺度的色彩信息；确定模块，用于基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值；基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的色差度量方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述色差度量方法，通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，输入图像包括第一图像和第二图像；色彩特征模型包括不同大小的卷积核，不同大小的卷积核用于提取输入图像多尺度的色彩信息；基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值，并基于像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值。由于色彩特征模型在特征提取的过程中采用了不同大小的可学习的卷积核叠加的方式，既考虑了像素色彩差异，又考虑了空间色彩差异，与人类视觉系统评价机制相符，故色彩特征模型不仅能够对非完全对齐的图像进行色差度量，而且在自然图像色差度量问题上也能够取得极具竞争力的性能表现，能够更好的反应人眼对于自然图像的色彩感知差异，从而有效提高了色差度量的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中色差度量方法的流程图；

图2为一个实施例中通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征步骤的流程图；

图3为一个实施例中基于深度学习的CD Net2模型的色差度量网络架构示意图；

图4为一个实施例中色差度量装置的结构框图；

图5为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种色差度量方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤102，通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，输入图像包括第一图像和第二图像；色彩特征模型包括不同大小的卷积核；不同大小的卷积核用于提取输入图像多尺度的色彩信息。

其中，色彩特征模型是指预先训练好的神经网络模型，本申请中的色彩特征模型主要用于对输入图像进行色差度量。例如，本申请中的色彩特征模型可以是基于深度学习得到的色差度量网络架构CD Net2模型。CD Net2模型中包括孪生卷积神经网络结构，孪生卷积神经网络结构用于对输入图像进行色彩空间坐标转换(coordinate transform)，以得到对应的色彩特征。

孪生神经网络(Siamese neural network)，又名双生神经网络，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。狭义的孪生神经网络由两个结构相同，且权重共享的神经网络拼接而成。广义的孪生神经网络，或“伪孪生神经网络(pseudo-siamese network)”，可由任意两个神经网拼接而成。孪生神经网络通常具有深度结构，可由卷积神经网络、循环神经网络等组成。孪生神经网络包含两个子网络，子网络各自接收一个输入，将其映射至高维特征空间，并输出对应的表征。通过计算两个表征的距离，例如欧式距离，使用者可以比较两个输入的相似程度。孪生神经网络的子网络可以是卷积神经网络或循环神经网络，其权重可以由能量函数或分类损失优化。

输入图像是指需要输入色彩特征模型中的待处理图像，本申请中的输入图像可以包括两张不同的图像，例如，输入图像中的第一张图像为亮度大于亮度阈值的图像，输入图像中的第二张图像为亮度小于亮度阈值的图像。

第一色彩特征是指输入图像中的第一张图像对应的色彩特征，第二色彩特征是指输入图像中的另一张图像对应的色彩特征，本申请中的第一色彩特征和第二色彩特征用于区分不同图像所对应的色彩特征。例如，第一色彩特征A为输入的图像A所对应的色彩特征，第二色彩特征B为输入的图像B所对应的色彩特征。

不同大小的卷积核是指色彩特征模型中包含不同大小的卷积核，例如，本申请中的色彩特征模型可以为CD Net2模型，CD Net2模型的网络结构中包含1*1的卷积核和11*11的卷积核，其中，1*1的卷积核用于提取更多的图像像素的信息；11*11的卷积核用来提取更多空间上的信息，即采用大尺寸卷积核能够充分考虑到相邻像素的空域特征，故色彩特征模型也能够对非完全对齐的彩色图像进行色差度量。

具体地，终端可以通过色彩特征模型对输入的第一图像和第二图像进行特征提取，得到第一色彩特征和第二色彩特征，即终端可以通过色彩特征模型中的孪生卷积神经网络结构，对输入的第一图像和第二图像进行色彩空间坐标转换，即可得到第一图像对应的第一色彩特征和第二图像对应的第二色彩特征，即得到了两个不同的色彩特征，本申请中得到的色彩特征既包含了像素色彩差异，又包含了空间色彩差异。本申请中的色彩特征模型包括不同大小的卷积核，不同大小的卷积核用于提取输入图像多尺度的色彩信息。

本申请中之所以通过色彩特征模型中的孪生卷积神经网络结构，对输入的第一图像和第二图像进行色彩空间坐标转换，其目的在于将RGB三维色彩空间的图像转换到一个三维以上的色差感知均匀的色彩空间，并在此空间内进行色差度量，由此使得，经过色彩特征模型得到的色差能够满足非负性、对称性、可唯一还原性和三角不等式等性能。

例如，以色彩特征模型为CD Net2模型为例进行说明。假设输入图像为图像A和图像B，CD Net2模型的网络结构为孪生卷积神经网络结构，即终端可以通过CD Net2模型的第一子网络和第二子网络分别对输入的图像A和图像B进行特征提取，以得到图像A对应的第一色彩特征A，以及图像B对应的第二色彩特征B。

步骤104，基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值。

其中，像素点是指图像中的各个位置所对应的像素点，即把输入图像分割成若干个小方格，每个小方格称为一个像素点，终端设备通过表示这些像素点的位置、颜色、亮度等信息，从而表示出整幅图像。

像素点之间的色差度量值，是指第一图像与第二图像在相同位置的像素点之间的色差值，例如，第一图像标记为x，第二图像标记为y，则可以用△E(x_ij，y_ij)表示两张图像在(i，j)这个位置的色差值。

具体地，终端通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征之后，终端可以基于第一色彩特征和第二色彩特征，确定第一图像和第二图像之间的色差特征，即确定输入图像之间的色差特征。进一步的，终端可以基于输入图像之间的色差特征，确定第一图像和第二图像的像素点之间的色差度量值。例如，终端可以采用马哈拉诺比斯距离，对输入图像之间的色差特征进行颜色相似性计算，以得到输入图像之间点对点的色差度量值，即得到输入的第一图像和第二图像像素点之间的色差度量值。

举个例子，以色彩特征模型为CD Net2模型为例进行说明。假设输入图像为图像A和图像B，终端通过CD Net2模型对输入图像进行特征提取，得到图像A对应的第一色彩特征f(x)，以及图像B对应的第二色彩特征f(y)之后，终端可以基于第一色彩特征f(x)和第二色彩特征f(y)，确定第一图像和第二图像之间的色差特征为f(x)-f(y)，即终端可以将第一色彩特征f(x)和第二色彩特征f(y)进行差值计算，以得到输入图像之间的色差特征为f(z)＝f(x)-f(y)。进一步的，终端可以采用马哈拉诺比斯距离的相似性计算方式，对输入图像之间的色差特征f(z)进行颜色相似性计算，以得到输入图像之间点对点的色差度量值△E(x_ij,y_ij)。

步骤106，基于像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值。

其中，全局色差度量值，是指将两个输入图像的像素点之间的色差度量值取平均值后得到的全局色差值。即全局色差度量值用于反映输入图像之间整体的色差度量值。

具体地，终端基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值之后，终端可以基于第一图像和第二图像的像素点之间的色差度量值，计算第一图像和第二图像像素点之间色差值的均值，并将计算得到的均值作为输入的第一图像和第二图像之间的全局色差度量值。

本实施例中，通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，输入图像包括第一图像和第二图像；色彩特征模型包括不同大小的卷积核，不同大小的卷积核用于提取输入图像多尺度的色彩信息；基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值，并基于像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值。由于色彩特征模型在特征提取的过程中采用了不同大小的可学习的卷积核叠加的方式，既考虑了像素色彩差异，又考虑了空间色彩差异，与人类视觉系统评价机制相符，故色彩特征模型不仅能够对非完全对齐的图像进行色差度量，而且在自然图像色差度量问题上也能够取得极具竞争力的性能表现，能够更好的反应人眼对于自然图像的色彩感知差异，从而有效提高了色差度量的准确性。

在一个实施例中，如图2所示，色彩特征模型包括第一卷积核和第二卷积核；第一卷积核和第二卷积核为不同大小的两种卷积核；通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征的步骤，包括：

步骤202，通过第一卷积核提取输入图像的像素信息，得到第一类色彩特征；

步骤204，通过第二卷积核提取输入图像的空间信息，得到第二类色彩特征；

步骤206，将第一类色彩特征和第二类色彩特征进行拼接，得到拼接特征；

步骤208，对拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征。

其中，第一卷积核是指用来提取更多的图像像素信息的卷积核，例如，第一卷积核可以为1*1的卷积核。

第二卷积核是指用来提取更多空间上的信息的卷积核，例如，第二卷积核可以为11*11的卷积核。即采用大尺寸卷积核能够充分考虑到相邻像素的空域特征，故该色彩特征模型也能够对非完全对齐的彩色图像进行色差度量。

第一类色彩特征是指从输入图像中提取的像素信息相关的色彩特征，第二类色彩特征是指从输入图像中提取的空间信息相关的色彩特征，第一类色彩特征和第二类色彩特征用于区分提取到的不同类型的色彩特征。

空间信息是指图像中的纹理信息，表示一个像素点和周围像素点在空间上的分布特征。

拼接特征是指将不同类型的色彩特征进行拼接后得到的特征，即为拼接特征，例如，本申请中的拼接特征是将第一类色彩特征和第二类色彩特征进行拼接后得到的。

降维处理是指对拼接特征进行降维处理，降维处理的目的在于减小网络模型的计算量。

具体地，终端通过色彩特征模型对输入图像进行特征提取时，终端可以通过第一卷积核提取输入图像的像素信息，得到第一类色彩特征，并通过第二卷积核提取输入图像的空间信息，得到第二类色彩特征；终端通过色彩特征模型将第一类色彩特征和第二类色彩特征进行拼接，得到拼接特征，并通过色彩特征模型对拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征。

举个例子，如图3所示，为基于深度学习的CD Net2模型的色差度量网络架构示意图。图3中“Conv 1*1 3*32”表示该层卷积核的大小为1*1，输入的特征的维度为3，经过该卷积核的卷积操作后输出的特征的维度为32；图3中“Conv 11*11 3*32”表示该层卷积核的大小为11*11，输入的特征的维度为3，经过该卷积核的卷积操作后输出的特征的维度为32；图3中“Conv 1*1 64*32”表示该层卷积核的大小为1*1，输入的特征的维度为64，经过该卷积核的卷积操作后输出的特征的维度为32；图3中“Conv 1*1 32*16”表示该层卷积核的大小为1*1，输入的特征的维度为32，经过该卷积核的卷积操作后输出的特征的维度为16；图3中“Conv 1*1 16*12”表示该层卷积核的大小为1*1，输入的特征的维度为16，经过该卷积核的卷积操作后输出的特征的维度为12。

假设输入图像为图像x和图像y，终端通过CD Net2模型对输入图像进行特征提取时，通过1*1的卷积核提取输入图像的像素信息，得到第一类色彩特征，通过11*11的卷积核提取输入图像的空间信息，得到第二类色彩特征；终端将第一类色彩特征和第二类色彩特征通过Stack层进行拼接，得到拼接特征后，终端可以采用LReLU作为激活函数，对拼接特征进行非线性变换，再通过卷积核为1*1且通道数由64到12递减的多层卷积操作，对拼接特征进行降维处理，即可得到十二维的第一色彩特征和第二色彩特征。即终端将最终得到的十二维的向量作为单张图像在色差感知均匀的色彩空间内的色彩特征，即终端将图像x和图像y作为CD Net2的输入，经过色彩空间坐标转换处理后，可以得到图像x的十二维色彩特征f(x)，以及图像y的十二维色彩特征f(y)。

可以理解，本申请实施例的降维操作中的通道数可以是自定义设置的，例如，采用卷积核为1*1且通道数由64到3递减的多层卷积操作进行降维操作，得到的色彩特征为三维的向量，即终端将图像x和图像y作为CD Net2的输入，经过色彩空间坐标转换处理后，可以得到图像x的三维色彩特征f(x)，以及图像y的三维色彩特征f(y)。

本实施例中，通过在特征提取的过程中采用了不同大小的可学习的卷积核叠加的方式，既学习了丰富的空间信息，又考虑了图像中的每个像素信息，故色彩特征模型能够对非完全对齐的图像进行色差度量，能够更好的反应人眼对于自然图像的色彩感知差异，从而有效提高了色差度量的准确性。

在一个实施例中，对拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征的步骤，包括：

利用与第一卷积核大小相同的多层卷积核，对拼接特征进行降维处理，得到十二维的第一色彩特征和十二维的第二色彩特征；其中，多层卷积核的通道数是按照预设策略逐层递减的。

具体的，终端通过第一卷积核提取输入图像的像素信息，得到第一类色彩特征，并通过第二卷积核提取输入图像的空间信息，得到第二类色彩特征之后，终端可以利用与第一卷积核大小相同的多层卷积核，对拼接特征进行降维处理，得到十二维的第一色彩特征和十二维的第二色彩特征；其中，多层卷积核的通道数是按照预设策略逐层递减的，即初始输入图像的色彩特征为三维，可以通过设置每层卷积核的通道数，来改变最终输出的色彩特征的维度，以使得最终得到的色彩特征的维度符合预期需求。

例如，如图3所示，图3中“Conv 1*1 3*32”表示该层卷积核的大小为1*1，输入的色彩特征的维度为3，经过该卷积核的卷积操作后输出的色彩特征的维度为32，图3中“Conv11*11 3*32”的卷积核输出的色彩特征的维度也为32，由于初始输入图像的色彩特征的维度为3，将输入图像经过“Conv 1*1 3*32”层和“Conv 11*11 3*32”层的特征提取后，得到的第一类色彩特征的维度为32，第二类色彩特征的维度也为32。

进一步的，终端将第一类色彩特征和第二类色彩特征通过Stack层进行拼接，得到的拼接特征的维度为64，终端可以采用LReLU作为激活函数，对64维的拼接特征进行非线性变换后，再将变换后的64维的拼接特征，通过“Conv 1*164*32”的卷积核的卷积操作后，即可得到32维的拼接特征；进一步的，终端再将32维的拼接特征进行非线性变换和“Conv 1*132*16”的卷积核的卷积操作后，即可得到16维的拼接特征，再将16维的拼接特征进行非线性变换和“Conv 1*1 16*12”的卷积核的卷积操作后，即可得到最终12维的拼接特征。即本实施例中的多层卷积核的通道数是按照预设策略逐层递减的，如图3中所示，通道数由64逐层渐递减至12，即输出色彩特征的维度变化为：3→32→64→32→16→12。由此，通过采用逐层递减的通道数来进行降维处理，能够减小网络模型的计算量，从而有效提高模型处理数据的效率。

在一个实施例中，基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值，包括：

基于第一色彩特征和第二色彩特征，确定色差特征；

对色差特征进行颜色相似度计算，得到第一图像和第二图像的像素点之间的色差度量值。

具体的，如图3所示，终端通过CD Net2模型对输入的两张图像进行特征提取，得到第一色彩特征和第二色彩特征之后，终端可以将第一色彩特征和第二色彩特征进行差值运算，即终端将输入的两张不同图像的两个不同的色彩特征相减后即可获得色差特征；进一步的，终端可以采用马哈拉诺比斯距离的计算方式，对色差特征进行颜色相似度计算，即可得到输入的两张图像的像素点之间的色差度量值，即得到了点对点的色差度量。

其中，马哈拉诺比斯距离(mahalanobis distance)的计算过程如下述公式(1)所示：

其中，f(x)表示第一色彩特征，f(y)表示第二色彩特征，T表示转置矩阵，S表示可学习的半正定矩阵，△E(x_ij,y_ij)表示输入图像之间点对点的色差度量值。

可以理解，本申请中的S可以为一个12*12的可学习的半正定矩阵，该矩阵反映了十二维的色差特征在各个维度上的差异程度，其具体参数是由神经网络从大规模数据的训练中习得。

本实施例中，通过采用马哈拉诺比斯距离，将得到的色差特征与表示色差特征在不同维度的差异程度的半正定矩阵进行相似度计算，由于半正定矩阵是通过网络从大规模数据中学习得到的，因此，可以对非完全对齐的图像进行色差度量，在自然图像色差度量问题上取得了最优的性能，在自然图像色差和色块色差的评价上都取得了极具竞争力的性能表现，为客观化评价图像色彩差异提供了指标，能够更好的反应人眼对于自然图像的色彩感知差异，与人类视觉系统评价机制相符，进而有效提高色差度量的准确性。

在其中一个实施例中，基于第一色彩特征和第二色彩特征，确定色差特征，包括：

将第一色彩特征与第二色彩特征进行差值运算，得到预设维度的色差特征；色差特征中包括像素色彩差异和空间色彩差异。

其中，差值运算是指减法运算，例如，将两个12维的向量进行减法运算后，得到的向量即为色差特征。

具体的，如图3所示，终端将两张图像x,y输入CD Net2，经过特征提取和色彩空间坐标转换可以分别得到其色彩特征f(x)和f(y)。两者进行相减后能够得到输入图像的色差特征，即f(x)-f(y)，其维度为12维，既包含了像素色彩差异，又包含了空间色彩差异。由于CD Net2模型中色彩空间坐标转换(Coordinate transform)采用了64维到12维递减的1*1多层卷积操作进行降维操作，得到了输入图像的12维色彩特征f(x)和f(y)，故终端将第一色彩特征f(x)与第二色彩特征f(y)进行差值运算，得到的色差特征f(x)-f(y)的维度也为12维，即得到了12维的色差特征f(x)-f(y)。

可以理解，上述色差特征除了12维之外，还可以是其他维度，例如，采用64维到3维递减的多层卷积操作进行降维操作，得到的色差特征f(x)-f(y)即为3维，为匹配马哈拉诺比斯距离计算，半正定矩阵S在此情况下应设置为一个3*3的半正定矩阵，反映了3维的色差特征f(x)-f(y)在3个维度上的差异程度。

本实施例中，将得到的色差特征与表示色差特征在不同维度的差异程度的半正定矩阵进行相似度计算，由于半正定矩阵是通过网络从大规模数据中学习得到的，因此，可以对非完全对齐的图像进行色差度量，在自然图像色差度量问题上取得了最优的性能，在自然图像色差和色块色差的评价上都取得了极具竞争力的性能表现，为客观化评价图像色彩差异提供了指标，能够更好的反应人眼对于自然图像的色彩感知差异，与人类视觉系统评价机制相符，进而有效提高色差度量的准确性。

在一个实施例中，对色差特征进行颜色相似度计算，得到第一图像和第二图像的像素点之间的色差度量值的步骤，包括：

基于色差特征和预设的半正定矩阵，确定第一图像和第二图像的像素点之间的色差度量值；其中，预设的半正定矩阵是由神经网络模型从大规模数据的训练中得到的；

所述基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值，包括：

基于输入图像的长度值、宽度值、像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值。

其中，预设的半正定矩阵用于反映色差特征在各个维度上的差异程度，例如，预设的半正定矩阵S为一个12*12的可学习的半正定矩阵，该矩阵反映了十二维色差特征在各个维度上的差异程度，其具体参数由神经网络从大规模数据的训练中习得。

具体的，终端对色差特征进行颜色相似度计算时，终端可以采用如前述公式(1)所示的马哈拉诺比斯距离进行颜色相似度计算，以确定输入图像的像素点之间的色差度量值。进一步的，终端得到输入的两张图像的像素点之间的色差度量值之后，终端可以基于输入图像的长度值、宽度值、像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值，即终端可以按照如下所示的公式(2)，计算输入图像之间的全局色差度量值：

其中，△E(x,y)表示输入图像的全局色差值，△E(x_ij,y_ij)表示输入的两张图像在(i，j)位置像素点之间色差值，H表示输入图像的长度值，即H表示输入图像每行中的像素点的个数，例如，长度值H为500，表示输入图像每行中的像素点的个数为500；W表示输入图像的宽度值，即W表示输入图像每列中的像素点的个数，例如，宽度值W为400，表示输入图像每列中的像素点的个数为400。

例如，输入两张长度值和宽度值分别为H和W的图像，一张图像为x，另一张图像为y。(i，j)为图像上的一个点，△E(x_ij,y_ij)表示输入的两张图像在(i，j)这个位置的像素点之间的色差值，H*W个像素点的色差值进行平均后，即可得到全局色差值。

本实施例中，创新性地采用了人工智能的方法来度量自然图像的色彩差异，构建适合评价自然图像色差的深度学习网络模型，以使得色彩特征模型在自然图像色差和色块色差的评价上都取得了极具竞争力的性能表现，为客观化评价图像色彩差异提供了指标。

在一个实施例中，基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值之后，所述方法还包括：

基于第一图像和第二图像的像素点之间的色差度量值，生成对应的热力图；热力图用于展示第一图像和第二图像之间的色差分布情况。

具体地，终端基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值之后，终端可以基于第一图像和第二图像的像素点之间的色差度量值，生成对应的热力图，热力图用于展示第一图像和第二图像之间的色差分布情况。即终端可以通过上述公式(1)计算得到输入图像之间点对点的色差值，进而可以生成平滑的热力图，以直观展示两张输入彩色图像的色差分布情况。由此使得，通过色彩特征模型可以进行点对点的色差计算，进而能够得到直观展现输入图像色差分布情况的热力图，有效提升了用户体验。

本申请还提供一种应用场景，该应用场景应用上述的色差度量方法。具体地，该色差度量方法在该应用场景的应用如下：

当需要对自然图像的色差进行评价时，可以采用上述的色差度量方法，即利用于训练好的色彩特征模型对输入的两张图像进行色差度量，自动对输入图像进行特征提取，得到第一色彩特征和第二色彩特征，并基于第一色彩特征和第二色彩特征，确定输入图像之间的全局色差度量值。此外，上述的色差度量方法也可以应用于评价目标图像与竞品图像之间的差异，或者其他目标图像之间的差异，或者应用于指导图像色彩调整或者AIcolor rendition(人工智能色彩还原)任务。其中，自然图像(Natural image)是指与colordata相对应，指日常生活中拍摄的图像，与均匀单一颜色的图像相区别。

本申请实施例提供的方法，可以应用于度量自然图像的色彩差异的场景中。以下以度量自然图像的色彩差异的场景为例，对本申请实施例提供的色差度量方法进行说明。

传统方式中，通常采用CIEDE2000色差计算公式进行色彩差异的计算，以CIEDE2000为代表的色差度量公式是基于CIELAB空间发展而来，在设计时，对于CIELAB空间上非均匀区域进行了矫正，但是其仅在小数据集上验证了性能，能够实现逐像素的色彩差异的计算，并不能对非完全对齐的图片进行色彩差异评价，即CIEDE2000色差评价公式在自然图像上应用的一般流程为：计算输入的两张图像对应像素点之间的色差，仅考虑对应位置像素，对计算出来的所有对应像素位置色差取平均值，比如，n个像素点对应n个色差值，得到的平均值即为输入图像的色差。因此，采用此种方式时，输入的图像必须是完全基于像素对齐的，像素错位的情况就容易导致评价出错。例如，利用6款旗舰手机在同一场景同一时间手持拍摄的6张图像，虽然已经采用算法进行对齐处理，但受制于镜头畸变、手机抖动等因素，6张图像依然不可能做到完全像素对齐。如果采用CIEDE2000色差评价公式来进行色差评价，必定存在像素点错位的情况。

此外，传统方式中未考虑到图像中的空间信息对评价色彩差异的影响，与人类视觉系统评价机制不相符。因为人眼对于色差的感知是呈区域状，往往单个像素点之间的差异对整体的感知影响很小。传统方式中采用CIEDE2000色差评价公式是逐像素计算的，即使是在同一色差区域，每个点和周围点的色差也会割裂，人类视觉系统不会关注具体像素上的色差，关注的是区域整体色差，需要考虑到空间信息，故CIEDE2000色差评价公式在自然图像上的推广性能得不到保证，不能很好的反应人眼对于自然图像的感知色彩差异，从而导致无法得到准确的色差度量值。

因此，为了解决上述问题，本申请提供了一种基于深度学习的色差度量方法方法，采用了AI学习的方法对自然图像的色差评价问题进行建模，提出了基于深度学习的色差度量网络架构CD Net2，CD Net2具有鲁棒性强的特点，可以对非完全对齐的图像进行色差度量，在自然图像色差度量问题上取得了最优的性能，即在自然图像色差和色块色差的评价上都取得了极具竞争力的性能表现，为客观化评价图像色彩差异提供了指标，能够更好的反应人眼对于自然图像的色彩感知差异，有效提高色差度量的准确性。

如图3所示，为基于深度学习的CD Net2模型的色差度量网络架构示意图。CD Net2模型由色彩空间坐标转换、马哈拉诺比斯距离计算两大部分构成。由于在RGB色彩空间内的色差感知并不均匀，在此空间内进行色差度量肯定会导致衡量的图像色差有很大的误差，所以本实施例中通过神经网络模型去学习一个三维以上的色差感知均匀的色彩空间，以便于在此空间内对色差进行度量。因此，CD Net2中先通过孪生卷积神经网络结构，对输入图像进行色彩空间坐标转换的目的在于，将RGB三维色彩空间的图像转换到一个三维以上的色差感知均匀的色彩空间，并在此空间内进行色差度量。

即CD Net2模型中先通过孪生卷积神经网络结构，对输入图像进行色彩空间坐标转换以得到对应的色彩特征，再将输入的两张不同图像得到的两个不同色彩特征相减后可以获得输入图像之间的色差特征。最后，CD Net2模型将色差特征经过马哈拉诺比斯距离的计算，即可得到输入图像之间点对点的色差度量，经过本实施例中的此模型得到的色差满足非负性、对称性、可唯一还原性和三角不等式。

本申请实施例中，由前述公式(1)可知，CD Net2模型得到的色差一定为正，S有半正定的约束，且x,y输入和y,x输入是相同的。并且，经大量验证，CD Net2相比于其他网络结构，具有可唯一还原性，CD Net2明显优于其他网络结构。此外，经过在2000000组数据上的实验验证，CD Net2可以满足三角不等式。

CD Net2中色彩空间坐标转换部分(coordinate transform)采用了不同大小的两种卷积核以获取图像多尺度的色彩信息：

(1)1*1的卷积核用来提取更多的图像像素的信息；

(2)11*11的卷积核用来提取更多空间上的信息，采用大尺寸卷积核能够充分考虑到相邻像素的空域特征，故CD Net2模型也能够对非完全对齐的彩色图像进行色差度量。

如图3所示，CD Net2模型将上述获得的两类色彩特征，按通道维拼接后，通过卷积核为1*1且通道数由64到12递减的多层卷积操作进行降维处理，多层卷积层之间采用LReLU作为激活函数。此过程中所有卷积核(滤波器)的参数由神经网络在大规模数据中训练得到。经过上述操作后最终得到十二维的向量即为单张图像在色差感知均匀的色彩空间内的色彩特征，即将一张图像x作为如图3所示的CD Net2模型的输入，经过色彩空间坐标转换可以得到输入图像x的十二维色彩特征f(x)。

其中，CD Net2模型获得的两类色彩特征分别代表了像素对齐的计算和空间区域上的计算，其目的在于使得最终得到的色彩特征尽可能平滑。本实施例中采用1*1的卷积核进行降维是因为所需要的参数量非常少，可以更好融合色彩特征，并缓解前后两部分网络模块的相互影响。

可以理解，本实施例中CD-Net2的色彩空间坐标转换中的特征提取步骤所采用的11*11大小的卷积核，也可以采用其他大小的卷积核，在色彩空间坐标转换中的特征提取步骤采用不同大小卷积核可以根据需求自定义设置。同时，本实施例中CD-Net2中也可以采用其他通道数进行降维处理，降维的目的在于减小网络模型计算量。例如，采用64到3递减的多层卷积操作进行降维操作，后续的马哈拉诺比斯距离计算时需要做相应改变。例如，采用64维到3维递减的多层卷积操作进行降维操作，f(x)-f(y)即为3维，为匹配马哈拉诺比斯距离计算，S在此情况下应改为一个3*3的半正定矩阵，反映了3维色差特征f(x)-f(y)在3个维度上的差异程度。

CD Net2中色差计算具体步骤如下所示：

(1)两张图像x,y输入CD Net2中，经过特征提取和色彩空间坐标转换可以分别得到其色彩特征f(x)和f(y)。两者进行相减后能够得到输入图像的色差特征，即f(x)-f(y)，其维度为12维，既包含了像素色彩差异，又包含了空间色彩差异。

(2)色差特征经过马哈拉诺比斯距离进行颜色相似性计算，最终得到输入图像之间点对点的色差度量，计算过程如前述公式(1)所示。

可以理解，由于其他的颜色相似性计算方式往往不具备良好的物理特性，不满足非负性、对称性、可唯一还原性和三角不等式，也不可以生成平滑的热力图，因此，本申请实施例中优先选用马哈拉诺比斯距离进行颜色相似性计算。

本申请实施例中，在采用马哈拉诺比斯距离进行颜色相似性度量时，对其应用层面上进行了优化，前述公式(1)中的S是通过网络从大规模数据中学习得到的。例如，S可以为一个12*12的可学习的半正定矩阵，该矩阵反映了十二维的色差特征在各个维度上的差异程度，其具体参数由神经网络从大规模数据的训练中习得。通过上述公式(1)的计算可以得到输入图像上点对点的色差值，进而可以生成平滑的热力图，直观展示两张输入彩色图像的色差分布情况。最后，CD Net2模型可以根据上述两张输入图像的像素间色差值的均值得到输入图像之间整体的色差度量值，具体的计算过程如前述所示的公式(2)。

本申请实施例中提供的方法所产生的有益效果包括：

(1)创新性地采用了人工智能的方法来度量自然图像的色彩差异，构建适合评价自然图像色差的深度学习网络模型，CD Net2模型在自然图像色差和色块色差的评价上都取得了极具竞争力的性能表现，为客观化评价图像色彩差异提供了指标；

(2)CD-Net2模型在特征提取的过程中采用了不同大小的可学习的卷积核叠加的方式，既学习了丰富的空间信息，又考虑了图像中的每个像素信息，故CD-Net2模型能够对非完全对齐的图像进行色差度量；

(3)CD-Net2中用到了马哈拉诺比斯距离的计算公式，其中表示变量差异程度的半正定矩阵由神经网络在训练中学习得到；

(4)CD-Net2可以实现点对点的色差计算，进而能够得到直观展现输入图像色差分布情况的热力图。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的色差度量方法的色差度量装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个色差度量装置实施例中的具体限定可以参见上文中对于色差度量方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种色差度量装置，包括：提取模块402和确定模块404，其中：

提取模块402，用于通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，输入图像包括第一图像和第二图像；色彩特征模型包括不同大小的卷积核；不同大小的卷积核用于提取输入图像多尺度的色彩信息。

确定模块404，用于基于第一色彩特征和第二色彩特征，确定第一图像和第二图像的像素点之间的色差度量值；基于像素点之间的色差度量值，确定第一图像和第二图像之间的全局色差度量值。

在一个实施例中，该装置还包括：拼接模块和处理模块。

提取模块还用于通过所述第一卷积核提取所述输入图像的像素信息，得到第一类色彩特征；通过所述第二卷积核提取所述输入图像的空间信息，得到第二类色彩特征；拼接模块用于将所述第一类色彩特征和所述第二类色彩特征进行拼接，得到拼接特征；处理模块用于对所述拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征。

在一个实施例中，处理模块还用于利用与所述第一卷积核大小相同的多层卷积核，对所述拼接特征进行降维处理，得到十二维的第一色彩特征和十二维的第二色彩特征；其中，多层所述卷积核的通道数是按照预设策略逐层递减的。

在一个实施例中，该装置还包括：计算模块。

确定模块还用于基于所述第一色彩特征和所述第二色彩特征，确定色差特征；计算模块用于对所述色差特征进行颜色相似度计算，得到所述第一图像和所述第二图像的像素点之间的色差度量值。

在一个实施例中，该装置还包括：运算模块。

运算模块用于将所述第一色彩特征与所述第二色彩特征进行差值运算，得到预设维度的色差特征；所述色差特征中包括像素色彩差异和空间色彩差异。

在一个实施例中，确定模块还用于基于所述色差特征和预设的半正定矩阵，确定所述第一图像和所述第二图像的像素点之间的色差度量值；其中，所述预设的半正定矩阵是由神经网络模型从大规模数据的训练中得到的；基于所述输入图像的长度值、宽度值、所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

在一个实施例中，该装置还包括：生成模块。

生成模块用于基于所述第一图像和所述第二图像的像素点之间的色差度量值，生成对应的热力图；所述热力图用于展示所述第一图像和所述第二图像之间的色差分布情况。

上述色差度量装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种色差度量方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行色差度量方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行色差度量方法。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种色差度量方法，其特征在于，所述方法包括：

通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，所述输入图像包括第一图像和第二图像；所述色彩特征模型包括不同大小的卷积核；所述不同大小的卷积核用于提取所述输入图像多尺度的色彩信息；

基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值；

基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

2.根据权利要求1所述的方法，其特征在于，所述色彩特征模型包括第一卷积核和第二卷积核；所述第一卷积核和所述第二卷积核为不同大小的两种卷积核；所述通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征，包括：

通过所述第一卷积核提取所述输入图像的像素信息，得到第一类色彩特征；

通过所述第二卷积核提取所述输入图像的空间信息，得到第二类色彩特征；

将所述第一类色彩特征和所述第二类色彩特征进行拼接，得到拼接特征；

对所述拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述拼接特征进行降维处理，得到预设维度的第一色彩特征和第二色彩特征，包括：

利用与所述第一卷积核大小相同的多层卷积核，对所述拼接特征进行降维处理，得到十二维的第一色彩特征和十二维的第二色彩特征；其中，多层所述卷积核的通道数是按照预设策略逐层递减的。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值，包括：

基于所述第一色彩特征和所述第二色彩特征，确定色差特征；

对所述色差特征进行颜色相似度计算，得到所述第一图像和所述第二图像的像素点之间的色差度量值。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一色彩特征和所述第二色彩特征，确定色差特征，包括：

将所述第一色彩特征与所述第二色彩特征进行差值运算，得到预设维度的色差特征；所述色差特征中包括像素色彩差异和空间色彩差异。

6.根据权利要求4所述的方法，其特征在于，所述对所述色差特征进行颜色相似度计算，得到所述第一图像和所述第二图像的像素点之间的色差度量值，包括：

基于所述色差特征和预设的半正定矩阵，确定所述第一图像和所述第二图像的像素点之间的色差度量值；其中，所述预设的半正定矩阵是由神经网络模型从大规模数据的训练中得到的；

所述基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值，包括：

基于所述输入图像的长度值、宽度值、所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

7.根据权利要求1所述的方法，其特征在于，所述基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值之后，所述方法还包括：

基于所述第一图像和所述第二图像的像素点之间的色差度量值，生成对应的热力图；所述热力图用于展示所述第一图像和所述第二图像之间的色差分布情况。

8.一种色差度量装置，其特征在于，包括：

提取模块，用于通过色彩特征模型对输入图像进行特征提取，得到第一色彩特征和第二色彩特征；其中，所述输入图像包括第一图像和第二图像；所述色彩特征模型包括不同大小的卷积核；所述不同大小的卷积核用于提取所述输入图像多尺度的色彩信息；

确定模块，用于基于所述第一色彩特征和所述第二色彩特征，确定所述第一图像和所述第二图像的像素点之间的色差度量值；基于所述像素点之间的色差度量值，确定所述第一图像和所述第二图像之间的全局色差度量值。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的色差度量方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images