CN112802137A - 一种基于卷积自编码器的颜色恒常性方法 - Google Patents

Abstract

本发明公开了一种基于卷积自编码器的颜色恒常性方法，首先获取无色偏图像，并根据无色偏图像制作图像数据集；然后通过图像数据集对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络；最后通过映射网络实现图像的颜色恒常性。本发明能够实现良好的颜色恒常性效果，能通过利用卷积自编码器强大的编码能力，有效提取出原始图像中隐含的光源颜色信息，从而进行图像颜色校正。本发明在多个国际通用颜色恒常数据库上进行了测试，结果证明本发明的方法在使用较少的参数量情况下可以取得非常好的颜色恒常性效果。

Description

一种基于卷积自编码器的颜色恒常性方法

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于卷积自编码器的颜色恒常性方法的设计。

背景技术

颜色恒常性(Color Constancy)作为知觉恒常性的一种，是人类视觉系统中非常重要的一项功能，它可以帮助我们在变化的光源下，维持对场景中物体稳定的感知。在计算机系统中实现良好的颜色恒常性效果是计算机视觉领域一个重要的研究方向，对于其下游任务如图像增强、去噪、识别等有着重要的现实意义。传统颜色恒常性方法基于一些简单的物理场景假设或者机器学习方法，具备算法简单、易于实现、适应能力强等特点，但效果相对欠佳。近年来，随着深度学习技术的飞速发展，许多基于深度学习的颜色恒常性方法被提出，显著提升了颜色恒常性效果，但这类方法往往模型复杂，计算成本高，存在难以在计算资源有限的设备上实施等问题。

卷积自编码器(Convolutional AutoEncoders)是自编码器的一种，其使用卷积层和池化层代替了原有的全连接层设置，以更好地处理二维图像或视频信号。与传统自编码器一样，卷积自编码器也包含编码器和解码器两个部分，其中编码器负责将输入信号压缩为潜在空间表示，解码器则需要将压缩信号重构为原始输入。卷积自编码器凭借其强大的表征学习能力，被广泛应用于图像去噪、信号压缩、风格迁移等领域，但在实际应用中，随着网络层数加深，大量的卷积和池化操作使得图像有效信息不断丢失，进而导致“信息瓶颈”问题，以至于解码器难以解码重构原始输入，无法获得理想的图像处理效果。

发明内容

本发明的目的是为了克服现有技术的不足，提出了一种基于卷积自编码器的颜色恒常性方法，在显著减少网络参数量和复杂度的同时，提升颜色恒常性效果，可以为下游应用提供更好的数据样本。

本发明的技术方案为：一种基于卷积自编码器的颜色恒常性方法，包括以下步骤：

S1、获取无色偏图像，并根据无色偏图像制作图像数据集。

S2、通过图像数据集对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络。

S3、通过映射网络实现图像的颜色恒常性。

进一步地，步骤S1包括以下分步骤：

S11、在标准白光光源的场景中获取无色偏图像，并生成随机场景光源I_r＝[R_r,G_r,B_r]，其中R_r,G_r,B_r分别表示随机场景光源的R分量、G分量和B分量，其都是0和1之间满足标准正态分布的随机数。

S12、将随机场景光源I_r进行归一化后与原始无色偏图像进行合成，并乘以一个0和2之间满足标准正态分布的随机数以调整图像亮度，得到对应的有色偏图像。

S13、对所有无色偏图像采用步骤S12的方法进行处理，得到由无色偏图像以及其对应随机合成的有色偏图像所组成的图像数据集。

进一步地，步骤S2中的卷积自编码器为一个n层全卷积神经网络，其中前n/2层为编码器部分，后n/2层为解码器部分，卷积自编码器的第i层通过跳跃连接设置连接至卷积自编码器的第n-i层，

进一步地，步骤S2包括以下分步骤：

S21、采用随机裁剪对图像数据集进行数据增强，每次从有色偏图像中随机裁剪出大小为m×m的图像块x作为卷积自编码器的输入。

S22、将m×m的有色偏图像块x输入编码器部分，编码得到场景光源信息。

S23、将编码结果输入解码器部分进行解码，重构得到去除了光源的无色偏图像块A(x)。

S24、根据无色偏图像块A(x)设置卷积自编码器的损失函数。

S25、根据损失函数，使用随机梯度下降与反向传播算法对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络。

进一步地，步骤S24中卷积自编码器的损失函数L设置为：

其中P_t(x)表示有色偏图像块x所对应的无色偏图像块，A(x)表示卷积自编码器输出的去除了光源的无色偏图像块，I_r表示随机场景光源，I_A(x)表示由A(x)和x计算得到的光源颜色，||·||₁和||·||₂分别表示1-范数和2-范数。

进一步地，步骤S3包括以下分步骤：

S31、采用插值法将原始有色偏图像大小调整为m×m，得到输入图像。

S32、将输入图像输入至映射网络进行颜色校正，得到输出图像。

S33、对输出图像进行高斯滤波，并对滤波后的图像结果取RGB三通道的均值得到第一均值图像[R_G,G_G,B_G]。

S34、对输入图像的RGB三通道取均值得到第二均值图像[R_O,G_O,B_O]。

S35、将第一均值图像[R_G,G_G,B_G]和第二均值图像[R_O,G_O,B_O]相除得到估计光源

S36、使用估计光源值I_e对原始有色偏图像进行校正，得到最终的图像结果，实现图像的颜色恒常性。

本发明的有益效果是：

(1)本发明能够实现良好的颜色恒常性效果，能通过利用卷积自编码器强大的编码能力，有效提取出原始图像中隐含的光源颜色信息，从而进行图像颜色校正，并通过跳跃连接设置保留卷积自编码器网络的底层信息，减少信息损耗，使解码器能更好地进行解码重构，输出清晰的图像结果。

(2)相比其他深度学习模型，本发明采用的卷积自编码器参数量小，模型复杂度低，可以在一些计算资源有限的场景中实施，实现为下游的图像增强、去噪、识别等任务提供更加可靠和有效的图像数据。

(3)本发明的卷积自编码器通过网络底层到高层之间的跳跃连接设置，编码器中的底层信息能得到更好的保留，减少了卷积操作带来的信息损失，避免信息瓶颈问题，使解码器在解码重构时，能获得更多的信息以输出更清晰的图像结果。

附图说明

图1所示为本发明实施例提供的一种基于卷积自编码器的颜色恒常性方法流程图。

图2所示为本发明实施例提供的卷积自编码器网络结构图。

图3所示为本发明实施例提供的图像对比图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于卷积自编码器的颜色恒常性方法，如图1所示，包括以下步骤S1～S3：

S1、获取无色偏图像，并根据无色偏图像制作图像数据集。

步骤S1包括以下分步骤S11～S13：

S11、在标准白光光源的场景中获取无色偏图像，并生成随机场景光源I_r＝[R_r,G_r,B_r]，其中R_r,G_r,B_r分别表示随机场景光源的R分量、G分量和B分量，其都是0和1之间满足标准正态分布的随机数。

S12、将随机场景光源I_r进行归一化后与原始无色偏图像进行合成，并乘以一个0和2之间满足标准正态分布的随机数以调整图像亮度，得到对应的有色偏图像。

本发明实施例中，对图3(a)所示的在标准白光光源的场景中获取的无色偏图像P_t，使用随机场景光源I_r进行合成，并乘以一个0和2之间满足标准正态分布的随机数以调整图像亮度，得到如图3(b)所示的有色偏图像P_r。

S13、对所有无色偏图像采用步骤S12的方法进行处理，得到由无色偏图像以及其对应随机合成的有色偏图像所组成的图像数据集。

S2、通过图像数据集对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络。

如图2所示，卷积自编码器为一个n层全卷积神经网络，其中前n/2层为编码器部分，后n/2层为解码器部分，卷积自编码器的第i层通过跳跃连接设置连接至卷积自编码器的第n-i层，

本发明实施例中取n＝6，卷积自编码器的卷积核大小统一为3×3，每一层的卷积核个数分别为64，128，256，128，64，3。

步骤S2包括以下分步骤S21～S25：

S21、采用随机裁剪对图像数据集进行数据增强，每次从有色偏图像中随机裁剪出大小为m×m的图像块x作为卷积自编码器的输入。本发明实施例中取m＝256。

S22、将m×m的有色偏图像块x输入编码器部分，编码得到场景光源信息。

S23、将编码结果输入解码器部分进行解码，重构得到去除了光源的无色偏图像块A(x)。

S24、根据无色偏图像块A(x)设置卷积自编码器的损失函数。

本发明实施例中，卷积自编码器的损失函数L设置为：

其中P_t(x)表示有色偏图像块x所对应的无色偏图像块，A(x)表示卷积自编码器输出的去除了光源的无色偏图像块，I_r表示随机场景光源，I_A(x)表示由A(x)和x计算得到的光源颜色，||·||₁和||·||₂分别表示1-范数和2-范数。

本发明实施例中，通过最小化损失函数L确定卷积自编码器的模型参数。

S25、根据损失函数，使用随机梯度下降与反向传播算法对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络。

S3、通过映射网络实现图像的颜色恒常性。

步骤S3包括以下分步骤S31～S36：

S31、采用插值法将原始有色偏图像大小调整为m×m，得到输入图像。

S32、将输入图像输入至映射网络进行颜色校正，得到输出图像，如图3(c)所示。

S33、对输出图像进行高斯滤波，并对滤波后的图像结果取RGB三通道的均值得到第一均值图像[R_G,G_G,B_G]。

S34、对输入图像的RGB三通道取均值得到第二均值图像[R_O,G_O,B_O]。

S35、将第一均值图像[R_G,G_G,B_G]和第二均值图像[R_O,G_O,B_O]相除得到估计光源

S36、使用估计光源值I_e对原始有色偏图像进行校正，得到最终的图像结果，如图3(d)所示，实现图像的颜色恒常性。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于卷积自编码器的颜色恒常性方法，其特征在于，包括以下步骤：

S1、获取无色偏图像，并根据无色偏图像制作图像数据集；

S2、通过图像数据集对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络；

S3、通过映射网络实现图像的颜色恒常性。

2.根据权利要求1所述的颜色恒常性方法，其特征在于，所述步骤S1包括以下分步骤：

S11、在标准白光光源的场景中获取无色偏图像，并生成随机场景光源I_r＝[R_r,G_r,B_r]，其中R_r,G_r,B_r分别表示随机场景光源的R分量、G分量和B分量，其都是0和1之间满足标准正态分布的随机数；

S12、将随机场景光源I_r进行归一化后与原始无色偏图像进行合成，并乘以一个0和2之间满足标准正态分布的随机数以调整图像亮度，得到对应的有色偏图像；

S13、对所有无色偏图像采用步骤S12的方法进行处理，得到由无色偏图像以及其对应随机合成的有色偏图像所组成的图像数据集。

3.根据权利要求1所述的颜色恒常性方法，其特征在于，所述步骤S2中的卷积自编码器为一个n层全卷积神经网络，其中前n/2层为编码器部分，后n/2层为解码器部分，所述卷积自编码器的第i层通过跳跃连接设置连接至卷积自编码器的第n-i层，

4.根据权利要求3所述的颜色恒常性方法，其特征在于，所述步骤S2包括以下分步骤：

S21、采用随机裁剪对图像数据集进行数据增强，每次从有色偏图像中随机裁剪出大小为m×m的图像块x作为卷积自编码器的输入；

S22、将m×m的有色偏图像块x输入编码器部分，编码得到场景光源信息；

S23、将编码结果输入解码器部分进行解码，重构得到去除了光源的无色偏图像块A(x)；

S24、根据无色偏图像块A(x)设置卷积自编码器的损失函数；

S25、根据损失函数，使用随机梯度下降与反向传播算法对卷积自编码器进行训练，建立有色偏图像到无色偏图像的映射网络。

5.根据权利要求4所述的颜色恒常性方法，其特征在于，所述步骤S24中卷积自编码器的损失函数L设置为：

其中P_t(x)表示有色偏图像块x所对应的无色偏图像块，A(x)表示卷积自编码器输出的去除了光源的无色偏图像块，I_r表示随机场景光源，I_A(x)表示由A(x)和x计算得到的光源颜色，||·||₁和||·||₂分别表示1-范数和2-范数。

6.根据权利要求1所述的颜色恒常性方法，其特征在于，所述步骤S3包括以下分步骤：

S31、采用插值法将原始有色偏图像大小调整为m×m，得到输入图像；

S32、将输入图像输入至映射网络进行颜色校正，得到输出图像；

S33、对输出图像进行高斯滤波，并对滤波后的图像结果取RGB三通道的均值得到第一均值图像[R_G,G_G,B_G]；

S34、对输入图像的RGB三通道取均值得到第二均值图像[R_O,G_O,B_O]；

S35、将第一均值图像[R_G,G_G,B_G]和第二均值图像[R_O,G_O,B_O]相除得到估计光源

S36、使用估计光源值I_e对原始有色偏图像进行校正，得到最终的图像结果，实现图像的颜色恒常性。

Images