CN111311517B - 基于抠图的颜色校正优化方法 - Google Patents

Abstract

本发明涉及一种基于抠图的颜色校正优化方法，包括以下步骤：S1：输入参考图像和目标图像，生成颜色校正结果图像和初始残差图像；S2：利用初始残差图像建立损失函数并使其最小化，获得关于最优残差图像的二次型损失函数；S3：利用MDSI和GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；S4：在二次型损失函数中添加结构数据项来约束图像的结构，生成最优残差图像，进而生成结果图像；S5：利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。该方法有利于在对图像进行颜色校正优化的同时保证图像的清晰度。

Description

基于抠图的颜色校正优化方法

技术领域

本发明属于图像和视频处理及计算机视觉领域，具体涉及一种基于抠图的颜色校正优化方法。

背景技术

颜色可以传递信息，表达情感，是我们视觉世界必不可少的一部分，也是艺术，摄影和可视化中用于传递图像信息或影响个人情绪的主要图像特征之一。由于数字信息技术的迅猛发展，数字图像信息成为人们接触最多的信息之一，随之而来的图像问题便成为目前的视觉研究领域的重点。图像的颜色是图像的众多属性中，比较重要的全局视觉特性。现实生活中我们根据物体的颜色特性，来辨识物体的外貌特征，所以颜色便成为物体表现外貌特征的视觉基础。而通过修改图像中的颜色，可以改变场景，模拟不同的照明条件或实现不同的风格效果。

由于物体表面对光线的反射角度不同，同一个物体在不同的视觉角度下可能呈现不同的颜色信息，这种差异可能会严重影响后期进一步处理的结果，生成错误的匹配信息，使实验结果产生偏差，这时就需要用到颜色校正来消除这种色差，提升视觉体验。根据应用场景的不同，颜色校正可以分为两种类型。在第一类场景中，包括图像拼接和立体图像/视频质量增强，主要在像素级别处理参考图像和目标图像之间的色差，这里的参考图像是具有期望颜色外观的输入图像，目标图像是指具有不期望的颜色外观和期望的结构的输入图像。例如，两张用于拼接的图像或捕获了具有相似场景的立体图像/视频的左右视图，但具有不同结构和颜色外观的图像显示了有水平偏移和对应区域之间的颜色不一致的立体图像左右图像。这里的一致性要求较高，是像素级别的。对于第二类场景，即颜色迁移和风格转移，颜色校正只考虑区域级别的对应关系(例如天空到天空，建筑物到建筑物)，甚至不考虑参考图像和目标图像之间物体的对应关系。我们主要针对第一种类型的场景进行颜色校正。

从概念上讲，颜色校正的目的始终是相同的，即修改输入目标图像的颜色以匹配参考图像的颜色，消除图像之间的色差或将参考图像的颜色风格应用于目标图像。根据前期图像的输入类型，或应用时针对不同需求的特殊处理，已经出现了许多的颜色校正方法，这些算法根据校正函数的多少主要又可以分为全局算法和局部算法。但是面对多样的颜色差异问题，单一的某个颜色校正算法对图像进行处理时，会表现出校正效果不佳的问题，例如全局算法的全局映射导致的错误匹配，图像模糊和边缘伪影，局部算法的区域映射导致的结构不一致和区域模糊问题，这些问题会降低人的视觉感受，影响人们的感应效果，需要后期进一步处理。

于是当前一些颜色校正优化算法被提出用于解决颜色校正算法的后处理问题，例如基于梯度的优化算法、基于区域的均值优化和基于引导滤波的后期优化算法，但是这些优化算法都是区域级别的，进一步的优化会使图像的局部区域模糊化，反而降低了图像的视觉感受，因此需要一种像素级别的颜色校正优化算法来解决当前颜色校正算法的后处理问题，在进行像素级优化的同时，又不降低图像的视觉感受。

发明内容

本发明的目的在于提供一种基于抠图的颜色校正优化方法，该方法有利于在对图像进行颜色校正优化的同时保证图像的清晰度。

为实现上述目的，本发明采用的技术方案是：一种基于抠图的颜色校正优化方法，包括以下步骤：

步骤S1：输入参考图像和目标图像，利用颜色校正算法生成颜色校正结果图像和初始残差图像；

步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数；

步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；

步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像；

步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：输入参考图像和目标图像，所述参考图像是指具有理想颜色信息的输入图像，目标图像是指具有理想结构和较差颜色外观的输入图像；利用颜色校正算法生成颜色校正结果图像I_i；

步骤S12：利用颜色校正结果图像I_i和目标图像I_t生成初始残差图像

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：将最优残差图像表示为初始残差图像的线性模型，公式如下：

其中，t表示期望得到的最优残差图像，m和d表示系数；

步骤S22：获取模型的最优解，在每个以k为中心的窗口中，找到适当的m_k和d_k来最小化下面的损失函数J(t,d,m)：

其中，变量k遍历初始残差图像

中的每一个像素，w_k表示以k为中心的窗口区域，i是属于窗口w_k的像素，t_i和

表示t和

中对应i位置的像素值，m_k和d_k表示计算窗口w_k时所使用的系数值，损失函数的最后一个分量

是m_k上的正则化项，用于保持数据稳定性；最小化J(t,d,m)，并将J(t,d,m)表示为关于向量t的二次型：

J(t)＝V(t)^TLV(t)

其中，J(t)表示向量t的二次型损失函数，L表示N×N维度的拉普拉斯矩阵，N表示图像高和宽的乘积，T表示转置，V(·)表示对应图像的向量化，L的第(i,j)个元素δ_i,j的计算方式如下：

其中，L(i,j)表示矩阵L中位置(i,j)处的元素，

和

是窗口w_k里的两个像素点i和j的值，δ_i,j是克罗内克函数，μ_k和

是以k为中心的窗口w_k里像素的均值和方差，|w_k|是窗口内像素数量。

进一步地，所述步骤S3的具体方法为：

利用MDSI和GSM结构度量指标来评估目标图像和颜色校正结果图像之间的结构一致性，并获得结构一致性置信图C_m和梯度相似性置信图C_g，用最小池化来计算图像一致性置信图C，以进一步降低结构不一致性造成的影响，对应位置的映射公式如下：

C(x,y)＝min(C_m(x,y),C_g(x,y))

其中(x,y)是对应像素的坐标，C(x,y)表示(x,y)处最小池化数值，C_m(x,y)表示(x,y)处MDSI度量值，C_g(x,y)表示(x,y)处GSM度量值，min()表示取最小值。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：在二次型损失函数中添加结构数据项，将损失函数重写为：

其中，T表示转置，V(·)表示对应图像的向量化，N表示图像高和宽的乘积，D是N×N对角矩阵，如公式所示，D是将C_g(x,y)中的元素按行依次放入其对角线上，而非对角线上元素为0得到的矩阵，V_i(C(x,y))表示图像一致性置信图C(x,y)向量化后的第i个元素值，(x,y)表示对应位置坐标，用于保留残差图像的结构，D中较大的权重被分配给和目标图像较高结构一致性的像素，

是结构数据项系数；

然后对J′(t)求关于变量V(t)的偏导，找到最优的残差图像t，得到以下稀疏方程：

求解该公式，得到最优化的残差公式：

然后对向量V(t)进行矩阵映射，映射公式如下：

t(x,y)＝V(t)[y+w(x-1)]

其中，w表示目标图像的宽，t(x,y)表示矩阵对应位置像素值，即将向量V(t)中的第y+w(x-1)个元素放到t中位置(x,y)处；

步骤S42：将最优残差图像与目标图像结合，得到结果图像，即：

I_s＝I_t+t

其中，I_s表示结果图像，I_t表示目标图像，t为最优残差图像。

进一步地，所述步骤S5的具体方法为：

利用颜色分布迁移的自动颜色分级算法中的梯度优化算法对生成的结果图像进行梯度优化，即找到使以下积分最小化的最终结果图像I′_s：

其中，I_t表示目标图像，Ω表示整个图像区域，▽表示梯度，▽I′_s表示最终结果图像的梯度，▽I_t表示目标图像的梯度，边界条件是

用于保证I′_s的梯度和I_t的梯度在图像的边界

处相匹配；前一项||▽I′_s-▽I_t||²用于保证图像I′_s的梯度和I_t的梯度近似，后一项||I′_s-I_s||²用于保证最终结果图像I′_s的颜色信息和结果图像I_s的颜色信息相同；权重φ和ψ用于平衡梯度和颜色信息的优化程度，φ用于改变图像边界处的梯度信息，以使其更有层次感，增加图像的细节信息；ψ用于消除图像结构可能的变型，将||▽I_t||所有的值映射到[0,1]之间，以使颜色信息过渡更自然，图像显得更真实，具体计算方式如下：

其中，(x,y)表示对应的像素点；

使用变分原理求解以上积分最小化问题，根据变分原理，以上积分满足Euler-Lagrange方程：

其中，

表示求F关于I′_s在x方向上的偏导，

表示求F关于I′_s在y方向上的偏导，其中F为：

F(I′_s,▽I′_s)＝φ·||▽I′_s-▽I_t||²+ψ·||I′_s-I_s||²

求解得到的I′_s，即为生成的具有较高的梯度和结构一致性的最终结果图像。

相较于现有技术，本发明具有以下有益效果：提出了一种基于抠图的颜色校正优化方法，该方法解决了全局算法的结果图像边缘伪影和局部算法的结构不一致问题，同时也解决了当前一些优化算法导致的图像进一步模糊化的问题，相较于其他颜色校正优化方法，该方法能够更好地保证图像的清晰度，防止图像进一步模糊化，具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明实施例的方法实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种基于抠图的颜色校正优化方法，如图1所示，包括以下步骤：

步骤S1：输入参考图像和目标图像，利用已有颜色校正算法生成颜色校正结果图像和初始残差图像。具体包括以下步骤：

步骤S11：输入参考图像和目标图像，所述参考图像是指具有理想颜色信息的输入图像，目标图像是指具有理想结构和较差颜色外观的输入图像；利用已有颜色校正算法生成颜色校正结果图像I_i；

步骤S12：利用颜色校正结果图像I_i和目标图像I_t生成初始残差图像

步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数。具体包括以下步骤：

步骤S21：将最优残差图像表示为初始残差图像的线性模型，公式如下：

其中，t表示期望得到的最优残差图像，m和d表示系数；

步骤S22：利用封闭式解决方案来获取模型的最优解，在每个以k为中心的窗口中，找到适当的m_k和d_k来最小化下面的损失函数J(t,d,m)：

其中，变量k遍历初始残差图像

中的每一个像素，w_k表示以k为中心的窗口区域，i是属于窗口w_k的像素，t_i和

表示t和

中对应i位置的像素值，m_k和d_k表示计算窗口w_k时所使用的系数值，损失函数的最后一个分量

(在本实施例中，ε＝10^-7)是m_k上的正则化项，用于保持数据稳定性；最小化J(t,d,m)，并将J(t,d,m)表示为关于向量t的二次型：

J(t)＝V(t)^TLV(t)

其中，J(t)表示向量t的二次型损失函数，L表示N×N维度的拉普拉斯矩阵，N表示图像高和宽的乘积，T表示转置，V(·)表示对应图像的向量化，得到N×1维的向量，L的第(i,j)个元素δ_i,j的计算方式如下：

其中，L(i,j)表示矩阵L中位置(i,j)处的元素，

和

是窗口w_k里的两个像素点i和j的值，δ_i,j是克罗内克函数，μ_k和

是以k为中心的窗口w_k里像素的均值和方差，|w_k|是窗口内像素数量。

步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图。具体方法为：

利用MDSI和GSM结构度量指标来评估目标图像和颜色校正结果图像之间的结构一致性，并获得结构一致性置信图C_m和梯度相似性置信图C_g，用最小池化来计算图像一致性置信图C，以进一步降低结构不一致性造成的影响，对应位置的映射公式如下：

C(x,y)＝min(C_m(x,y),C_g(x,y))

其中(x,y)是对应像素的坐标，C(x,y)表示(x,y)处最小池化数值，C_m(x,y)表示(x,y)处MDSI度量值，C_g(x,y)表示(x,y)处GSM度量值，min()表示取最小值。

步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像。具体包括以下步骤：

步骤S41：在二次型损失函数中添加结构数据项，将损失函数重写为：

其中，T表示转置，V(·)表示对应图像的向量化，N表示图像高和宽的乘积，D是N×N对角矩阵，如公式所示，D是将C_g(x,y)中的元素按行依次放入其对角线上，而非对角线上元素为0得到的矩阵，V_i(C(x,y))表示图像一致性置信图C(x,y)向量化后的第i个元素值，(x,y)表示对应位置坐标，用于保留残差图像的结构，D中较大的权重被分配给和目标图像较高结构一致性的像素，

是结构数据项系数；

然后对J′(t)求关于变量V(t)的偏导，找到最优的残差图像t，得到以下稀疏方程：

求解该公式，得到最优化的残差公式：

然后对向量V(t)进行矩阵映射，映射公式如下：

t(x,y)＝V(t)[y+w(x-1)]

其中，w表示目标图像的宽，t(x,y)表示矩阵对应位置像素值，即将向量V(t)中的第y+w(x-1)个元素放到t中位置(x,y)处；

步骤S42：将最优残差图像与目标图像结合，得到结果图像，即：

I_s＝I_t+t

其中，I_s表示结果图像，I_t表示目标图像，t为最优残差图像。

步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像。具体方法为：

利用颜色分布迁移的自动颜色分级算法中的梯度优化算法对生成的结果图像进行梯度优化，即找到使以下积分最小化的最终结果图像I_s′：

其中，I_t表示目标图像，Ω表示整个图像区域，▽表示梯度，▽I′_s表示最终结果图像的梯度，▽I_t表示目标图像的梯度，边界条件是

用于保证I′_s的梯度和I_t的梯度在图像的边界

处相匹配；前一项||▽I′_s-▽I_t||²用于保证图像I′_s的梯度和I_t的梯度近似，后一项||I′_s-I_s||²用于保证最终结果图像I′_s的颜色信息和结果图像I_s的颜色信息相同；权重φ和ψ用于平衡梯度和颜色信息的优化程度，φ用于改变图像边界处的梯度信息，以使其更有层次感，增加图像的细节信息；ψ用于消除图像结构可能的变型，将||▽I_t||所有的值映射到[0,1]之间，以使颜色信息过渡更自然，图像显得更真实，具体计算方式如下：

其中，(x,y)表示对应的像素点；

使用变分原理求解求解以上积分最小化问题，根据变分原理，以上积分满足Euler-Lagrange方程：

其中，

表示求F关于I′_s在x方向上的偏导，

表示求F关于I′_s在y方向上的偏导，其中F为：

F(I′_s,▽I′_s)＝φ·||▽I′_s-▽I_t||²+ψ·||I′_s-I_s||²

求解得到的I′_s，即为生成的具有较高的梯度和结构一致性的最终结果图像。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于抠图的颜色校正优化方法，其特征在于，包括以下步骤：

步骤S1：输入参考图像和目标图像，利用颜色校正算法生成颜色校正结果图像和初始残差图像；

步骤S2：利用初始残差图像建立损失函数，并使损失函数最小化，获得关于最优残差图像的二次型损失函数；

步骤S3：利用平均偏差相似性MDSI和梯度相似性度量GSM方法分别生成目标图像和颜色校正结果图像的结构一致性置信图和梯度相似性置信图，进而得到图像一致性置信图；

步骤S4：基于图像一致性置信图，在二次型损失函数中添加结构数据项来约束图像的结构，生成优化后的最优残差图像，并将最优残差图像与目标图像结合生成结果图像；

步骤S5：分别计算目标图像和结果图像的梯度，利用梯度优化算法对结果图像进行梯度一致性优化，增强结果图像的边缘结构，生成最终结果图像；

所述步骤S5的具体方法为：

利用颜色分布迁移的自动颜色分级算法中的梯度优化算法对生成的结果图像进行梯度优化，即找到使积分最小化的最终结果图像I′_s：

其中，I_t表示目标图像，Ω表示整个图像区域，

表示梯度，

表示最终结果图像的梯度，

表示目标图像的梯度，边界条件是

用于保证I′_s的梯度和I_t的梯度在图像的边界

处相匹配；前一项

用于保证图像I′_s的梯度和I_t的梯度近似，后一项||I′_s-I_s||²用于保证最终结果图像I′_s的颜色信息和结果图像I_s的颜色信息相同；权重φ和ψ用于平衡梯度和颜色信息的优化程度，φ用于改变图像边界处的梯度信息；ψ用于消除图像结构可能的变型，将

所有的值映射到[0,1]之间，具体计算方式如下：

其中，(x,y)表示对应的像素点；

使用变分原理求解积分最小化问题，根据变分原理，积分满足Euler-Lagrange方程：

其中，

表示求F关于I′_s在x方向上的偏导，

表示求F关于I′_s在y方向上的偏导，其中F为：

求解得到的I′_s，即为生成的具有较高的梯度和结构一致性的最终结果图像。

2.根据权利要求1所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S1具体包括以下步骤：

步骤S11：输入参考图像和目标图像，所述参考图像是指具有理想颜色信息的输入图像，目标图像是指具有理想结构和较差颜色外观的输入图像；利用颜色校正算法生成颜色校正结果图像I_i；

步骤S12：利用颜色校正结果图像I_i和目标图像I_t生成初始残差图像

3.根据权利要求2所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21：将最优残差图像表示为初始残差图像的线性模型，公式如下：

其中，t表示最优残差图像，m和d表示系数；

步骤S22：获取模型的最优解，在每个以k为中心的窗口中，找到适当的m_k和d_k来最小化下面的损失函数J(t,d,m)：

其中，变量k遍历初始残差图像

中的每一个像素，w_k表示以k为中心的窗口区域，i是属于窗口w_k的像素，t_i和

表示t和

中对应i位置的像素值，m_k和d_k表示计算窗口w_k时所使用的系数值，损失函数的最后一个分量

是m_k上的正则化项；最小化J(t,d,m)，并将J(t,d,m)表示为关于最优残差图像t的二次型：

J(t)＝V(t)^TLV(t)

其中，J(t)表示最优残差图像t的二次型损失函数，L表示N×N维度的拉普拉斯矩阵，N表示图像高和宽的乘积，T表示转置，V(·)表示对应图像的向量化，L的第(i,j)个元素L(i,j)的计算方式如下：

其中，L(i,j)表示矩阵L中位置(i,j)处的元素，

和

是窗口w_k里的两个像素点i和j的值，δ_i,j是克罗内克函数，μ_k和

是以k为中心的窗口w_k里像素的均值和方差，|w_k|是窗口内像素数量。

4.根据权利要求3所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S3的具体方法为：

利用MDSI和GSM结构度量指标来评估目标图像和颜色校正结果图像之间的结构一致性，并获得结构一致性置信图C_m和梯度相似性置信图C_g，用最小池化来计算图像一致性置信图C，对应位置的映射公式如下：

C(x,y)＝min(C_m(x,y),C_g(x,y))

其中(x,y)是对应像素的坐标，C(x,y)表示(x,y)处最小池化数值，C_m(x,y)表示(x,y)处MDSI度量值，C_g(x,y)表示(x,y)处GSM度量值，min()表示取最小值。

5.根据权利要求4所述的基于抠图的颜色校正优化方法，其特征在于，所述步骤S4具体包括以下步骤：

步骤S41：在二次型损失函数中添加结构数据项，将损失函数重写为：

其中，T表示转置，V(·)表示对应图像的向量化，N表示图像高和宽的乘积，D是N×N对角矩阵，如公式所示，D是将C_g(x,y)中的元素按行依次放入其对角线上，而非对角线上元素为0得到的矩阵，V_i(C(x,y))表示图像一致性置信图C向量化后的第i个元素值，(x,y)表示对应像素坐标，用于保留残差图像的结构，D中较大的权重被分配给和目标图像较高结构一致性的像素，

是结构数据项系数；

然后对J′(t)求关于变量V(t)的偏导，找到最优残差图像t，得到以下稀疏方程：

求解该公式，得到最优化的残差公式：

然后对向量V(t)进行矩阵映射，映射公式如下：

t(x,y)＝V(t)[y+w(x-1)]

其中，w表示目标图像的宽，t(x,y)表示矩阵对应位置像素值，即将向量V(t)中的第y+w(x-1)个元素放到t中位置(x,y)处；

步骤S42：将最优残差图像与目标图像结合，得到结果图像，即：

I_s＝I_t+t

其中，I_s表示结果图像，I_t表示目标图像，t为最优残差图像。

Images