CN112907486B - 一种基于深度学习和色彩映射的遥感影像调色方法 - Google Patents

Abstract

本发明提供了一种基于深度学习和色彩映射的遥感影像调色方法，包括以下步骤：S1、构建影像数据有效区掩膜，设置掩膜外的背景值，使其作为无效值不参与色彩调整；S2、确定影像重采样的尺度，确保较小地物存在且可辨、色彩不丢失；S3、影像分块；计算每个影像块的尺寸，并结合原始影像的尺寸，得出原始影像切块的数目；S4、基于MBLLEN模型对重采样影像真彩色增强；S5、对重采样图像和原始图像进行直方图匹配，将重采样影像的色彩信息映射到原始分辨率影像上。本发明对比传统的遥感影像真彩色增强方法，该方法自动化程度高，方法简单，可以快速有效的对海量遥感影像进行色彩调整。

Description

一种基于深度学习和色彩映射的遥感影像调色方法

技术领域

本发明属于遥感影像调色技术领域，尤其是涉及一种基于深度学习和色彩映射的遥感影像调色方法。

背景技术

由于传感器性能和外界噪声、天气影响等各种原因，原始遥感影像普遍存在亮度、对比度低，色彩失真、目标特征不清晰、细节信息模糊等问题。影像各个波段灰度分布范围小，还存在一定的异常像素值，为达到理想的可视化效果，便于后续的数据处理，遥感影像就需要通过色彩调整，增强颜色的层次感和对比度，同时保持影像色彩的真实性，由于遥感影像普遍分辨率高，实际尺寸大，人工调整费时费力，效率低，且较难达到影像色彩一致。

目前对影像自适应色彩增强的方法主要分为空间域增强、频率域增强、模糊域增强、变换域增强等。采用传统的方法在某些情况下虽然可以取得一定的效果，但是都存在效果不稳定、自动化程度低、耗时长等问题，同时难以同时实现对影像亮度、对比度增强、伪影去除，降噪等多种功能。本申请提供了一种效果稳定、效率高、同时可自动化实现多种色彩增强功能的方法，对本领域的研究发展具有重要意义。

发明内容

有鉴于此，本发明旨在提出一种基于深度学习和色彩映射的遥感影像调色方法,以克服现有的调色方法存在效果不稳定、自动化程度低、耗时长等问题，同时难以同时实现对影像亮度、对比度增强、伪影去除，降噪等多种功能。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度学习和色彩映射的遥感影像调色方法，包括以下步骤：

S1、构建影像数据有效区掩膜，设置掩膜外的背景值，使其作为无效值不参与色彩调整；

S2、确定影像重采样的尺度，确保较小地物存在且可辨、色彩不丢失；

S3、影像分块；计算每个影像块的尺寸，并结合原始影像的尺寸，得出原始影像切块的数目；

S4、基于MBLLEN模型对重采样影像真彩色增强；

S5、对重采样图像和原始图像进行直方图匹配，将重采样影像的色彩信息映射到原始分辨率影像上。

进一步的，在执行所述步骤S1之前，需要对原始影像进行预处理，利用ENVI对原始影像进行辐射定标、大气校正、正射校正、去云及云影处理。

进一步的，所述步骤S1的具体执行方法如下：

S101、根据背景的灰度值，对图像进行二值化，若RGB＝背景值，则R＝G＝B＝1,否则R＝G＝B＝0；

S102、标记连通域，统计每个连通域的面积S，max(S)即为目标连通域，删除其它连通域；

S103、利用gdal进行栅格矢量化，提取背景值轮廓；

S104、对轮廓内的值设置为-999作为背景值不参与运算。

进一步的，所述步骤S2中，确定影像重采样的尺度的具体方法如下：首先采集原始影像上的n个微小地物作为样本，其中样本为矩形，取每个矩形样本的行列最小值，计算与影像上可辨的最小地物尺寸S_min比值，计算n个样本的比值均值，此均值即为重采样比例，按照此参数对原始影像进行重采样抽稀。

进一步的，所述步骤S3中，影像块的尺寸S_block计算方法如下：

输入MBLLEN模型的重采样影像的尺寸S_resize为768*768，根据重采样影像尺度与重采样影像尺寸计算影像块的尺寸S_block，公式如下：

其中，r_i和c_i代表采集的第i个微小地物在原始影像上的行数和列数。

进一步的，根据每个影像块的尺寸S_block，结合原始影像的尺寸得出原始影像分块的数目Num，计算公式如下：

其中，R_src和C_src分别代表原始影像的行数和列数。

进一步的，所述步骤S4的具体方法如下：

基于PASCAL VOC数据集，模拟弱光条件合成的图像作为Label图像，原始图像与合成的弱光照图像组成数据对，用于网络的端到端训练，其中，模拟弱光的条件分别为：Gamma矫正和Peak值为200的Poisson噪声；将重采样之后的影像导入训练好的MBLLEN模型中，FEM利用不同的卷积层提取特征，通过EM中的不同子网来增强特征，FM融合多分支输出，生成最终增强结果；

MBLLEN模型采用新的损失函数，其损失函数公式为：

Loss＝L_Str+L_VGG/i,j+L_Region

其中，L_Str为结构损失，L_VGG/i,j为内容损失，L_Region为区域损失；

L_Str用于改善模糊效果、伪影、畸变，增强影像视觉效果，公式为：

L_Str＝L_SSIM+L_MS-SSIM

其中，L_SSIM是LLCNN中的损失函数，μ_x、μ_y为像素平均值，

为方差，σ_xy为协方差，C₁、C₂为防止分子，是分母为0的常量；

L_VGG/i,j关注高层次信息，公式为：

其中，W_i,j、H_i,j、C_i,j分别表示与训练VGG网络三通道对应的特征图维度，E和G表示增强图像和label图像，φ_i,j代表VGG-19网络第j卷积层、第i块的特征图；

设置步骤S1中的背景值为-999，不参与损失计算：

G(i,j)为图像在(i,j)处的坐标值，当(i,j)属于背景区域Φ时将G(i,j)设置为无效值-999；背景区域的像素值不执行增强处理；

L_Region用于提升图像亮度，解决光照不均匀的问题，公式为：

其中，E_L和G_L分别表示增强图和label图的弱光区域，E_H和G_H分别表示增强图和label图的其它区域，w_L和w_H为系数。

进一步的，所述步骤S5中，重采样图像和原始图像进行直方图匹配，是将原始影像的每个波段的灰度累积分布函数与重采样影像的灰度累积分布函数相匹配，改变原始影像灰度值，在低分辨率图像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。

进一步的，所述步骤S5的具体执行方法如下：

设某一特定灰度值g出现的概率P_r(g)为：

其中，n_g为灰度值g出现的次数，N为图像总像素个数；

原始图像的累积分布函数T_v和参考图像的累积分布函数G_r为：

其中，L为影像的灰度级，对于RGB影像，L为255，直方图均衡化之后的灰度值范围均为[0,255]，修正后的原始影像的某一灰度值g变为：

根据上述公式计算得出所有的修正后的灰度值，则原始影像的色彩分布与真彩色增强后的影像色彩分布近似一致，原始影像真彩色得到增强。

相对于现有技术，本发明所述的基于深度学习和色彩映射的遥感影像调色方法具有以下优势：

本发明提供的基于深度学习和色彩映射的遥感影像调色方法通过实验合理确定采样范围，重采样抽稀降低原始影像分辨率，压缩原始影像数据量，通过改进MBLLEN进行色彩调整，最后采用直方图匹配进行色彩映射，将重采样影像色彩传递给原始影像，避免对原始影像直接调色，大幅减少了人工工作量。对比传统的遥感影像真彩色增强方法，该方法自动化程度高，方法简单，可以快速有效的对海量遥感影像进行色彩调整。本发明对研究遥感影像自动调色，丰富影像信息，突出影像上目标对象的影像特征差异等具有重要意义。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的基于深度学习和色彩映射的遥感影像调色方法总流程图；

图2为本发明创造实施例所述的影像分块及重采样过程图；

图3为本发明创造实施例所述的MBLLEN网络结构示意图；

图4为本发明创造实施例所述的基于直方图匹配的色彩映射示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

基于深度学习和色彩映射的遥感影像调色方法，实施流程如图1所示。技术步骤包括遥感影像预处理、构建数据有效区掩膜、影像分块及重采样、基于MBLLEN的重采样影像真彩色增强、基于直方图匹配的色彩映射共五部分，具体执行步骤如下。

步骤一：遥感影像预处理。对原始影像利用ENVI进行辐射定标-大气校正-正射校正-去云及云影，降低误差；

步骤二：构建影像数据有效区掩膜。经过正射校正，遥感影像有效区普遍为不规则多边形，为保证背景值不参与色彩增强，同时保护影像内与背景值灰度相同的像素值，需要对有效区建立掩膜，对掩膜外的背景值设置为-999，使其作为无效值不参与色彩调整；

(1)根据背景的灰度值，对图像进行二值化。若((RGB＝背景值))则R＝G＝B＝1,否则R＝G＝B＝0；

(2)标记连通域，统计每个连通域的面积S，max(S)即为目标连通域，删除其它连通域；

(3)利用gdal进行栅格矢量化，提取背景值轮廓；

(4)对轮廓内的值设置为-999作为背景值不参与运算；

步骤三：影像重采样尺度确定。为保证遥感影像上较小地物的色彩不丢失，重采样的影像需要确保较小地物存在且可辨，因此重采样尺度不能过小，如果采样比例过大，又会降低算法效率，因此需要根据实验确定合理的重采样尺度。首先采集原始影像上的n个微小地物作为样本(样本为矩形)，取每个矩形样本的行列最小值，计算与影像上可辨的最小地物尺寸S_min比值，计算n个样本的比值均值，此均值即为重采样比例，按照此参数对原始影像进行重采样抽稀。

步骤四：影像分块。输入MBLLEN重采样影像的尺寸S_resize为768*768，根据重采样尺度与重采样影像尺寸，可以确定切分的每个影像块的尺寸S_block，结合原始影像的尺寸得出原始影像切块的数目Num。

其中，r_i和c_i代表采集的第i个微小地物在原始影像上的行数和列数，R_src和C_src分别代表原始影像的行数和列数，分块及重采样过程如图2所示；

步骤五：基于MBLLEN的重采样影像真彩色增强。基于PASCAL VOC数据集，模拟弱光条件合成的图像作为Label图像。原始图像与合成的弱光照图像组成数据对，用于网络的端到端训练。模拟弱光的条件分别为：Gamma矫正和Peak值为200的Poisson噪声。将重采样之后的影像导入训练好的MBLLEN模型中，FEM利用不同的卷积层提取丰富的特征，通过EM中的不同子网来增强特征，FM融合多分支输出，生成最终增强结果，网络结构如图3所示。

MBLLEN舍弃MSE和MAE损失函数，采用新的损失函数，其损失函数公式为：

Loss＝L_Str+L_VGG/i,j+L_Region

其中，L_Str为结构损失，L_VGG/i,j为内容损失，L_Region为区域损失。

L_Str可以改善模糊效果、伪影、畸变等，增强影像视觉效果，公式为：

L_Str＝L_SSIM+L_MS-SSIM

其中，L_SSIM是LLCNN中的损失函数，μ_x、μ_y为像素平均值，

为方差，σ_xy为协方差，C₁、C₂为防止分子，是分母为0的常量。

L_VGG/i,j关注高层次信息，公式为：

其中，W_i,j、H_i,j、C_i,j分别表示与训练VGG网络三通道对应的特征图维度，E和G表示增强图像和label图像，φ_i,j代表VGG-19网络第j卷积层、第i块的特征图。

设置背景值-999不参与损失计算：

G(i,j)为图像在(i,j)处的坐标值，当(i,j)属于背景区域Φ时将G(i,j)设置为无效值-999。背景区域的像素值不执行增强处理。

L_Region可以提升图像亮度，解决光照不均匀的问题，公式为：

其中，E_L和G_L分别表示增强图和label图的弱光区域，E_H和G_H分别表示增强图和label图的其它区域，w_L和w_H为系数。

步骤六：基于直方图匹配的色彩映射。经过MBLLEN模型处理后的重采样图像，影像亮度和对比度都得到增强，真彩色得到增强。对重采样图像和原始图像进行直方图匹配，即将原始影像的每个波段的灰度累积分布函数与重采样影像的灰度累积分布函数相匹配，改变原始影像灰度值，在低分辨率图像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。某一特定灰度值g出现的概率P_r(g)为：

其中，n_g为灰度值g出现的次数，N为图像总像素个数。

原始图像的累积分布函数T_v和参考图像的累积分布函数G_r为：

其中，L为影像的灰度级，对于RGB影像，L为255，直方图均衡化之后的灰度值范围均为[0,255]，修正后的原始影像的某一灰度值g变为：

根据上述公式计算得出所有的修正后的灰度值，则原始影像的色彩分布与真彩色增强后的影像色彩分布近似一致，原始影像真彩色得到增强。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习和色彩映射的遥感影像调色方法，其特征在于，包括以下步骤：

S1、构建影像数据有效区掩膜，设置掩膜外的背景值，使其作为无效值不参与色彩调整；

S2、确定影像重采样的尺度，确保较小地物存在且可辨、色彩不丢失；

S3、影像分块；计算每个影像块的尺寸，并结合原始影像的尺寸，得出原始影像切块的数目；

S4、基于MBLLEN模型对重采样影像真彩色增强；

S5、对重采样图像和原始图像进行直方图匹配，将重采样影像的色彩信息映射到原始分辨率影像上；

所述步骤S2中，确定影像重采样的尺度的具体方法如下：首先采集原始影像上的n个微小地物作为样本，其中样本为矩形，取每个矩形样本的行和列的最小值，计算与影像上可辨的最小地物尺寸S_min比值，计算n个样本的比值均值，此均值即为重采样比例，按照此参数对原始影像进行重采样抽稀；

所述步骤S3中，影像块的尺寸S_block计算方法如下：

输入MBLLEN模型的重采样影像的尺寸S_resize为768*768，根据重采样影像尺度与重采样影像尺寸计算影像块的尺寸S_block，公式如下：

其中，r_i和c_i代表采集的第i个微小地物在原始影像上的行数和列数；

根据每个影像块的尺寸S_block，结合原始影像的尺寸得出原始影像分块的数目Num，计算公式如下：

其中，R_src和C_src分别代表原始影像的行数和列数。

2.根据权利要求1所述的基于深度学习和色彩映射的遥感影像调色方法，其特征在于，在执行所述步骤S1之前，需要对原始影像进行预处理，利用ENVI对原始影像进行辐射定标、大气校正、正射校正、去云及云影处理。

3.根据权利要求1所述的基于深度学习和色彩映射的遥感影像调色方法，其特征在于，所述步骤S1的具体执行方法如下：

S101、根据背景的灰度值，对图像进行二值化，若RGB＝背景值，则R＝G＝B＝1,否则R＝G＝B＝0；

S102、标记连通域，统计每个连通域的面积S，max(S)即为目标连通域，删除其它连通域；

S103、利用gdal进行栅格矢量化，提取背景值轮廓；

S104、对轮廓内的值设置为-999作为背景值不参与运算。

4.根据权利要求1所述的基于深度学习和色彩映射的遥感影像调色方法，其特征在于，所述步骤S4的具体方法如下：

基于PASCAL VOC数据集，模拟弱光条件合成的图像作为Label图像，原始图像与合成的弱光照图像组成数据对，用于网络的端到端训练，其中，模拟弱光的条件分别为：Gamma矫正和Peak值为200的Poisson噪声；将重采样之后的影像导入训练好的MBLLEN模型中，FEM利用不同的卷积层提取特征，通过EM中的不同子网来增强特征，FM融合多分支输出，生成最终增强结果；

MBLLEN模型采用新的损失函数，其损失函数公式为：

Loss＝L_Str+L_VGG/i,j+L_Region

其中，L_Str为结构损失，L_VGG/i,j为内容损失，L_Region为区域损失；

L_Str用于改善模糊效果、伪影、畸变，增强影像视觉效果，公式为：

L_Str＝L_SSIM+L_MS-SSIM

其中，L_SSIM是LLCNN中的损失函数，μ_x、μy为像素平均值，

为方差，σ_xy为协方差，C₁、C₂为防止分子，是分母为0的常量；

L_VGG/i,j关注高层次信息，公式为：

其中，W_i,j、H_i,j、C_i,j分别表示与训练VGG网络三通道对应的特征图维度，E和G表示增强图像和label图像，φ_i,j代表VGG-19网络第j卷积层、第i块的特征图；

设置步骤S1中的背景值为-999，不参与损失计算：

G(i,j)为图像在(i,j)处的坐标值，当(i,j)属于背景区域Φ时将G(i,j)设置为无效值-999；背景区域的像素值不执行增强处理；

L_Region用于提升图像亮度，解决光照不均匀的问题，公式为：

其中，E_L和G_L分别表示增强图和label图的弱光区域，E_H和G_H分别表示增强图和label图的其它区域，w_L和w_H为系数。

5.根据权利要求1所述的基于深度学习和色彩映射的遥感影像调色方法，其特征在于：所述步骤S5中，重采样图像和原始图像进行直方图匹配，是将原始影像的每个波段的灰度累积分布函数与重采样影像的灰度累积分布函数相匹配，改变原始影像灰度值，在低分辨率图像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。

6.根据权利要求1或5所述的基于深度学习和色彩映射的遥感影像调色方法，其特征在于：所述步骤S5的具体执行方法如下：

设某一特定灰度值g出现的概率P(g)为：

其中，n_g为灰度值g出现的次数，N为图像总像素个数；

原始图像的累积分布函数T_v和参考图像的累积分布函数G_r为：

其中，L为影像的灰度级，对于RGB影像，L为255，直方图均衡化之后的灰度值范围均为[0,255]，修正后的原始影像的某一灰度值g变为：

根据上述公式计算得出所有的修正后的灰度值，则原始影像的色彩分布与真彩色增强后的影像色彩分布近似一致，原始影像真彩色得到增强。

Images