CN109461128B - 一种基于梯度保持的结构一致立体图像颜色校正方法 - Google Patents

Abstract

本发明涉及一种基于梯度保持的结构一致立体图像颜色校正方法，首先利用SIFT特征提取和匹配分别对参考图像和目标图像进行特征提取和像素匹配，获取结构图像和匹配图像；然后利用结构相似性算法生成匹配图像和目标图像的置信度图，对图像置信度较低的区域进行局部映射，生成初始颜色校正结果图像；最后利用梯度保持算法对初始颜色校正结果图像的颜色和结构进行有参考的优化，得到最终的结果图像。本发明解决了局部颜色校正算法的结构一致问题和全局颜色校正算的区域颜色混乱问题，而且还保留了图像的梯度信息，提升了图像的保真度。

Description

一种基于梯度保持的结构一致立体图像颜色校正方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种基于梯度保持的结构一致立体图像颜色校正方法。

背景技术

颜色校正又被称为颜色迁移、颜色映射、颜色修复或者图像风格转换，其目的是消除两幅相似图像对之间的色差，或者将参考图像的风格转移到目标图像上，使目标图像呈现出参考图像的风格。目前颜色校正算法种类繁多，从校正区域来看可以分为全局颜色校正和局部颜色校正。全局颜色校正算法是目前最常见的颜色校正算法，其实现方法简单，效率较高，不用考虑局部映射导致的图像结构问题，但是全局颜色校正算法在所有的区域都使用相同的映射函数和映射参数，忽略了图像内区域之间的颜色差异，对于颜色较单一的图像能够进行很好的处理，当图像颜色信息较为丰富时，会出现错误映射的问题。

Pitié等人提出n维概率密度颜色校正算法就是一种全局颜色校正算法，该算法是基于一维概率密度函数，通过不断迭代使其最后能够收敛于参考图像的概率密度函数。该方法简单有效且完全非参数的，能够匹配任意分布的图像。但是参考图像和目标图像之间色差较大或者结构出现较大差异时，会出现不同区域颜色混乱的交叉匹配问题，而且在迭代过程中会使图像产生一定程度的拉伸，进而产生颗粒噪声。Reinhard等人提出基于数据统计的全局校正算法，该算法将原图像的颜色空间转换成Lab非相关颜色空间，将参考图像和目标图像各通道的均值和标准差分别进行匹配，进而实现颜色校正的目的。但是当两幅图像颜色差异较大时，该算法不能进行有效处理。

局部颜色校正算法能够很好的弥补全局颜色校正颜色混乱的缺点，而且得到的结果图像对应区域的色差更小，图像信息一致性更高，但是由于是区域映射，所以结果图像会出现结构不一致问题，需要进一步优化。Wang等人提出一种基于图像分割和SIFT特征点匹配的局部颜色校正算法，该算法通过区域校正区域的方法实现整幅图像的颜色校正，在一定程度上消除了色差，但是却产生局部错误匹配和结构错位的问题。Zheng等人提出了一种局部颜色校正的算法，该算法将区域映射和和全局校正相结合，得到校正图像。但是和其他局部颜色校正一样，都存在结构不一致和位置信息错位的问题。于是Zheng等人利用紧邻区域颜色信息相似的特性对结果图像进行平滑处理，进而得到结果图像。该算法一定程度上减少了图像的边缘结构问题，但同时也丢失了区域中的细节信息，降低了图像的保真度。

发明内容

有鉴于此，本发明的目的是提出一种基于梯度保持的结构一致立体图像颜色校正方法，本发明解决了局部颜色校正算法的结构一致问题和全局颜色校正算的区域颜色混乱问题，而且还保留了图像的梯度信息，提升了图像的保真度。

本发明采用以下方案实现：一种基于梯度保持的结构一致立体图像颜色校正方法，具体包括以下步骤：

步骤S1：利用SIFT特征提取和匹配分别对参考图像和目标图像进行特征提取和像素匹配，获取结构图像和匹配图像；

步骤S2：利用结构相似性算法生成匹配图像和目标图像的置信度图，然后对图像置信度较低的区域进行局部映射，生成初始颜色校正结果图像；

步骤S3：利用梯度保持算法对初始颜色校正结果图像的颜色和结构进行有参考的优化，得到最终的结果图像。

进一步地，步骤S1中，结构目标图像的获取包括以下步骤：

步骤S111：首先对目标图像和参考图像进行SIFT特征点提取，再将两幅图像对应的SIFT特征点进行匹配；

步骤S112：将目标图像进行像素分割，实现图像由整体到局部区域的转变；

步骤S113：对局部区域进行穷举搜索，查找没有特征点的局部区域，对没有特征点的同一区域添加特征点；

步骤S114：以参考图像和目标图像每个区域内的特征点为中心，分别计算该点3*3邻域内的像素均值，再将参考图像和目标图像内对应区域的像素均值做差，最后将均值色差添加到目标图像对应的区域，进而实现目标图像的颜色校正。

进一步地，步骤S113中还包括，采用十字分割的方法保证每个局部区域至少有12个特征点；首先在目标图像上添加12个特征点，再利用距离该区域最近的已有的特征点和参考图像中相匹配的特征点，在参考图像中添加对应区域的特征点，这样能保证添加参考图像和目标图像中添加的特征点最大限度的匹配。

进一步地，步骤S114中，所述将均值色差添加到目标图像对应的区域，采用如下映射函数：

式中，(x,y)是目标图像中的空间位置，I_f(x,y)是(x,y)处校正后的像素值，j表示迭代次数，当j＝1时，

的初始值是I_o(x,y)，I_o(x,y)是(x,y)处目标图像的像素值，(x_t,y_t)是目标图像的第i个分割区域

中的一个SIFT关键点，(x_r,y_r)是参考图像中与

对应的区域

中的一个SIFT特征点，M表示3×3邻域内的像素均值，k表示区域S中的特征点数目。

进一步地，步骤S1中，由于本发明最终的结果图像需要保留参考图像的颜色，所以需要引入参考图像的像素信息，本发明利用siftflow提取参考图像和目标图像的特征信息，生成匹配图像，即像素目标图像。该图像兼具参考图像的颜色特性和目标图像的部分结构信息，但是由于图像的SIFT特征点是稀疏的，而且也会出现错误匹配的问题，所以得到的匹配图像出现信息丢失和结构错位的现象。图像颜色和参考图像近似是本发明所期待的，本发明接下来利用生成的结构目标图像和match图像进行置信映射，进而得到结构和像素信息比较完整的初始结果图像。

进一步地，步骤S2中，这里生成的置信度图像素范围是[0,1]，接近于零表示结构缺失或位置错位，需要进行映射的区域，越接近1说明置信度越大，需要保留原始像素值。这样将匹配图像的像素信息和结构目标图像的结构信息最大限度的结合在一起，对图像置信度较低的区域进行局部映射所采用的映射公式为：

式中，I_i表示映射后的图像，称为初始结果图像，I_i(x,y)表示(x,y)位置对应的像素值，I_f表示步骤S1中SIFT特征匹配获取的结构图像，I_m表示匹配图像，c表示置信映射图像，R表示设置的阈值，这里取0.5。

进一步地，步骤S3具体为：获取使以下积分方程最小的最优图像J，即为最终的结果图像：

这里对图像的三个通道分别进行优化，c表示在RGB颜色空间中三个颜色通道中的一个，

表示目标图像，

表示初始结果图像，Ω表示整个图像区域，

表示梯度，边界条件是

用来保证J^c的梯度和

的梯度在图像的边界

处相匹配；前一项

用来保留图像J^c的梯度，后一项

确保最终的结果图像J的颜色信息和初始结果图像

相同；权重φ和

用来平衡梯度和颜色信息的优化程度，其中，φ用来改变图像边界处的梯度信息，使其更有层次感，增加图像的细节信息；

用来消除图像结构可能的变型。

本发明的主要思想是调整初始结果图像的梯度，使其和目标图像的梯度相匹配，但是本发明最终的结果图像在颜色上毕竟和目标图像有较大的差异，因此这里的梯度匹配不能使用严格匹配，而应该是梯度的松弛匹配。利用梯度保持算法对初始结果图像的颜色和结构进行有参考的优化，得到最终的结果图像，目的是获取使以上积分方程最小的最优图像J。

进一步地，权重φ和

采用下式表示：

这里

表示在目标图像中梯度大的地方应保持初始结果的图像的像素，

表示在需要颜色平缓的区域对像素进行小幅度修改，使颜色信息过渡更自然，图像显得更真实。

进一步地，积分方程的求解需要满足欧拉-拉格朗日方程：

式中，

与现有技术相比，本发明有以下有益效果：本发明首先利用SIFT算法提取参考图像和目标图像对应区域的结构信息和风格信息，生成结构图像和像素匹配图像。再利用置信度图对结构图像和像素匹配图像进行区域映射，生成初始结果图像。最后用梯度保留算法对初始结果进行迭代优化，生成完整的结果图像。该方法在特征匹配时采用独有的十字交叉特征点添加方法，一定程度上解决了局部区域没有特征点的问题。而且该算法是一种局部颜色校正和优化算法，能够同时解决局部颜色校正算法的结构一致问题和全局校正算法的颜色交叉映射问题，而且还保留了图像的梯度信息，提升了结果图像的保真度，可用于3D图像重建和图像拼接等领域。

附图说明

图1为本发明实施例的方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于梯度保持的结构一致立体图像颜色校正方法，具体包括以下步骤：

步骤S1：利用SIFT特征提取和匹配分别对参考图像和目标图像进行特征提取和像素匹配，获取结构图像和匹配图像；

步骤S2：利用结构相似性算法生成匹配图像和目标图像的置信度图，然后对图像置信度较低的区域进行局部映射，生成初始颜色校正结果图像；

步骤S3：利用梯度保持算法对初始颜色校正结果图像的颜色和结构进行有参考的优化，得到最终的结果图像。

在本实施例中，步骤S1中，结构目标图像的获取包括以下步骤：

步骤S111：首先对目标图像和参考图像进行SIFT特征点提取，再将两幅图像对应的SIFT特征点进行匹配；

步骤S112：将目标图像进行像素分割，实现图像由整体到局部区域的转变；

步骤S113：对局部区域进行穷举搜索，查找没有特征点的局部区域，对没有特征点的同一区域添加特征点；

步骤S114：以参考图像和目标图像每个区域内的特征点为中心，分别计算该点3*3邻域内的像素均值，再将参考图像和目标图像内对应区域的像素均值做差，最后将均值色差添加到目标图像对应的区域，进而实现目标图像的颜色校正。

在本实施例中，步骤S113中还包括，采用十字分割的方法保证每个局部区域至少有12个特征点；首先在目标图像上添加12个特征点，再利用距离该区域最近的已有的特征点和参考图像中相匹配的特征点，在参考图像中添加对应区域的特征点，这样能保证添加参考图像和目标图像中添加的特征点最大限度的匹配。

在本实施例中，步骤S114中，所述将均值色差添加到目标图像对应的区域，采用如下映射函数：

式中，(x,y)是目标图像中的空间位置，I_f(x,y)是(x,y)处校正后的像素值，j表示迭代次数，当j＝1时，

的初始值是I_o(x,y)，I_o(x,y)是(x,y)处目标图像的像素值，(x_t,y_t)是目标图像的第i个分割区域

中的一个SIFT关键点，(x_r,y_r)是参考图像中与

对应的区域

中的一个SIFT特征点，M表示3×3邻域内的像素均值，k表示区域S中的特征点数目。

在本实施例中，步骤S1中，由于本发明最终的结果图像需要保留参考图像的颜色，所以需要引入参考图像的像素信息，本发明利用sift flow提取参考图像和目标图像的特征信息，生成匹配图像，即像素目标图像。该图像兼具参考图像的颜色特性和目标图像的部分结构信息，但是由于图像的SIFT特征点是稀疏的，而且也会出现错误匹配的问题，所以得到的匹配图像出现信息丢失和结构错位的现象。图像颜色和参考图像近似是本发明所期待的，本发明接下来利用生成的结构目标图像和match图像进行置信映射，进而得到结构和像素信息比较完整的初始结果图像。

在本实施例中，步骤S2中，这里生成的置信度图像素范围是[0,1]，接近于零表示结构缺失或位置错位，需要进行映射的区域，越接近1说明置信度越大，需要保留原始像素值。这样将匹配图像的像素信息和结构图像的结构信息最大限度的结合在一起，对图像置信度较低的区域进行局部映射所采用的映射公式为：

式中，I_i表示映射后的图像，称为初始结果图像，I_i(x,y)表示(x,y)位置对应的像素值，I_f表示步骤S1中SIFT特征匹配获取的结构图像，I_m表示匹配图像，c表示置信映射图像，R表示设置的阈值，这里取0.5。

在本实施例中，步骤S3具体为：获取使以下积分方程最小的最优图像J，即为最终的结果图像：

这里对图像的三个通道分别进行优化，c表示在RGB颜色空间中三个颜色通道中的一个，

表示目标图像，

表示初始结果图像，Ω表示整个图像区域，

表示梯度，边界条件是

用来保证J^c的梯度和

的梯度在图像的边界

处相匹配；前一项

用来保留图像J^c的梯度，后一项

确保最终的结果图像J的颜色信息和初始结果图像

相同；权重φ和

用来平衡梯度和颜色信息的优化程度，其中，φ用来改变图像边界处的梯度信息，使其更有层次感，增加图像的细节信息；

用来消除图像结构可能的变型。

本实施例的主要思想是调整初始结果图像的梯度，使其和目标图像的梯度相匹配，但是本发明最终的结果图像在颜色上毕竟和目标图像有较大的差异，因此这里的梯度匹配不能使用严格匹配，而应该是梯度的松弛匹配。利用梯度保持算法对初始结果图像的颜色和结构进行有参考的优化，得到最终的结果图像，目的是获取使以上积分方程最小的最优图像J。

在本实施例中，权重φ和

采用下式表示：

这里

表示在目标图像中梯度大的地方应保持初始结果的图像的像素，

表示在需要颜色平缓的区域对像素进行小幅度修改，使颜色信息过渡更自然，图像显得更真实。

在本实施例中，积分方程的求解需要满足欧拉-拉格朗日方程：

式中，

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：包括以下步骤：

步骤S1：利用SIFT特征提取和匹配分别对参考图像和目标图像进行特征提取和像素匹配，获取结构图像和匹配图像；

步骤S2：利用结构相似性算法生成匹配图像和目标图像的置信度图，然后对图像置信度较低的区域进行局部映射，生成初始颜色校正结果图像；

步骤S3：利用梯度保持算法对初始颜色校正结果图像的颜色和结构进行有参考的优化，得到最终的结果图像；

步骤S1中，结构图像的获取包括以下步骤：

步骤S111：首先对目标图像和参考图像进行SIFT特征点提取，再将两幅图像对应的SIFT特征点进行匹配；

步骤S112：将目标图像进行像素分割，实现图像由整体到局部区域的转变；

步骤S113：对局部区域进行穷举搜索，查找没有特征点的局部区域，对没有特征点的同一区域添加特征点；

步骤S114：以参考图像和目标图像每个区域内的特征点为中心，分别计算该点3*3邻域内的像素均值，再将参考图像和目标图像内对应区域的像素均值做差，最后将均值色差添加到目标图像对应的区域，进而实现目标图像的颜色校正；

步骤S114中，所述将均值色差添加到目标图像对应的区域，采用如下映射函数：

式中，(x,y)是目标图像中的空间位置，I_f(x,y)是(x,y)处校正后的像素值，j表示迭代次数，当j＝1时，

的初始值是I_o(x,y)，I_o(x,y)是(x,y)处目标图像的像素值，(x_t,y_t)是目标图像的第i个分割区域

中的一个SIFT关键点，(x_r,y_r)是参考图像中与

对应的区域

中的一个SIFT特征点，M表示3×3邻域内的像素均值，k表示区域S中的特征点数目。

2.根据权利要求1所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：步骤S113中还包括，采用十字分割的方法保证每个局部区域至少有12个特征点；首先在目标图像上添加12个特征点，再利用距离该区域最近的已有的特征点和参考图像中相匹配的特征点，在参考图像中添加对应区域的特征点，这样能保证参考图像和目标图像中添加的特征点最大限度的匹配。

3.根据权利要求1所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：步骤S1中，匹配图像的获取具体为：利用sift flow提取参考图像和目标图像的特征信息，生成匹配图像，即像素目标图像。

4.根据权利要求1所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：步骤S2中，对图像置信度较低的区域进行局部映射所采用的映射公式为：

式中，I_i表示映射后的图像，称为初始结果图像，I_i(x,y)表示(x,y)位置对应的像素值，I_f表示步骤S1中SIFT特征匹配获取的结构图像，I_m表示匹配图像，c表示置信映射图像，R表示设置的阈值，这里取0.5。

5.根据权利要求1所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：步骤S3具体为：获取使以下积分方程最小的最优图像J，即为最终的结果图像：

这里对图像的三个通道分别进行优化，c表示在RGB颜色空间中三个颜色通道中的一个，

表示目标图像，

表示初始结果图像，Ω表示整个图像区域，

表示梯度，边界条件是

用来保证J^c的梯度和

的梯度在图像的边界

处相匹配；前一项

用来保留图像J^c的梯度，后一项

确保最终的结果图像J的颜色信息和初始结果图像

相同；权重φ和

用来平衡梯度和颜色信息的优化程度，其中，φ用来改变图像边界处的梯度信息，使其更有层次感，增加图像的细节信息；

用来消除图像结构可能的变型。

6.根据权利要求5所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：权重φ和

采用下式表示：

这里

表示在目标图像中梯度大的地方应保持初始结果的图像的像素，

表示在需要颜色平缓的区域对像素进行小幅度修改，使颜色信息过渡更自然，图像显得更真实。

7.根据权利要求5所述的一种基于梯度保持的结构一致立体图像颜色校正方法，其特征在于：积分方程的求解需要满足欧拉-拉格朗日方程：

式中，

Images