CN112884675A

CN112884675A - 一种批量遥感影像调色工程化实现方法

Info

Publication number: CN112884675A
Application number: CN202110290944.7A
Authority: CN
Inventors: 焦红波; 赵彬如; 杨晓彤; 张峰; 王力彦; 王晶; 赵现仁; 谷祥辉; 郭丽
Original assignee: NATIONAL MARINE DATA AND INFORMATION SERVICE
Current assignee: NATIONAL MARINE DATA AND INFORMATION SERVICE
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-06-01
Anticipated expiration: 2041-03-18
Also published as: CN112884675B

Abstract

本发明提供了一种批量遥感影像调色工程化实现方法，包括以下步骤：S1、获取影像，并对影像进行预处理；S2、确定合理尺度，进行影像重采样；S3、基于人工免疫算法对遥感影像进行色彩克隆处理，用于实现条带内缩略图影像的色彩统一；S4、基于分空间渐进控制方法进行影像色彩协同处理，用于处理条带之间和不同特征区域之间存在明显的色彩差异；S5、色彩增强处理，用于解决遥感影像整体区域内亮度不均、对比度不够和色彩不自然的问题；S6、基于直方图匹配原理对经过色彩增强的影像缩略图进行色彩映射处理，实现在低分辨率影像上完成的色彩调整。本发明可以大幅提高生产效率，高效实现海量高分辨率遥感影像的工程化色彩调整。

Description

一种批量遥感影像调色工程化实现方法

技术领域

本发明属于遥感影像调色技术领域，尤其是涉及一种批量遥感影像调色工程化实现方法。

背景技术

近年来随着遥感影像空间分辨率和获取效率的逐渐提高，影像数据量呈现几何级增长，研发自动化、智能化的遥感影像调色方法，快速获取质量可靠的遥感影像产品成为亟需解决的问题。

目前，在遥感影像调色技术方面也已开展了大量研究工作，包括基于直方图匹配的方法、基于MASK和HIS模型的方法、基于Wallis滤波器的方法、基于特征地物色彩匹配的方法和基于不同色彩空间处理的颜色迁移方法等，这些方法为影像调色提供了技术思路，部分方法已被商业软件采用。但这些方法中有的在处理不同时相和不同传感器影像时会出现色彩过渡不自然，有的会需要较多的人工参与才能实现理想的效果，尤其是当面对较大范围较多数量影像调色时，现有的商业软件都比较费时费力。因此需要在影像调色的自动化、智能化方向进行探索、改进和提高。

发明内容

有鉴于此，本发明旨在提出一种批量遥感影像调色工程化实现方法,以解决基于现有的调色方法面对较大范围较多数量影像调色时，处理起来费时费力的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种批量遥感影像调色工程化实现方法，包括以下步骤：

S1、获取影像，并对影像进行预处理；

S2、确定合理尺度，进行影像重采样；

S3、基于人工免疫算法对遥感影像进行色彩克隆处理，用于实现条带内缩略图影像的色彩统一；

S4、基于分空间渐进控制方法进行影像色彩协同处理，用于处理条带之间和不同特征区域之间存在明显的色彩差异；

S5、色彩增强处理，用于解决遥感影像整体区域内亮度不均、对比度不够和色彩不自然的问题；

S6、基于直方图匹配原理对经过色彩增强的影像缩略图进行色彩映射处理，实现在低分辨率影像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。

进一步的，所述步骤S1中，影像预处理包括对待调色遥感影像进行空间参考统一、位深调整和有效区掩膜预处理工作，具体方法如下：

空间参考统一；对所有待调色遥感影像的坐标系和投影信息进行统一检查和处理，保证所有待处理影像具有统一的空间参考信息；

位深调整；将所有待调色遥感影像的位深统一处理成8bit；

有效区掩膜；对掩膜外的背景值设置为-999，使其作为无效值不参与调色处理。

进一步的，所述步骤S2中，影像重采样的方法如下：

首先采集原始影像上的n个微小地物作为样本，取每个矩形样本的行列最小值，计算与影像上可辨的最小地物尺寸S_min比值，计算n个样本的比值均值，此均值即为重采样比例，按照此参数对原始影像进行重采样抽稀。

进一步的，所述步骤S3的具体方法如下：

S31、抗原识别Ag；依据目标影像IMG_t和参考影像IMG_r在重叠区域IMG_tr内R、G、B三通道光谱值，构建对应关系；

S32、生成初始抗体种群，并对抗体种群进行聚类，形成聚类抗体种群G；

S33、取目标影像除重叠区域外的像元i，计算该像元i与聚类抗体种群G的V类抗体中心元素的隶属度矩阵D，通过隶属度矩阵D查找对应隶属度最高的抗体种群类别，在此类别抗体元素中进行亲和度计算；

S34、免疫选择，根据亲和度的值判断抗体种群中是否存在对应的抗体，如果存在则进行克隆操作，将对应抗体的R、G、B值复制给像元i；

如果不存在对应的抗体，进行变异算子设计，执行变异操作，生成新的抗体种群，更新抗体种群；

S35、依据更新后的抗体种群，对于第i+1个像素重复步骤S32-步骤S34，目标影像遍历结束输出结果影像。

进一步的，所述步骤S32中，生成初始抗体种群的方法如下：

S321、计算获取目标影像和参考影像的重叠区域IMG_tr；

S322、查找重叠区内目标影像R波段R＝l(l∈[0，255])的像素位置，建立位置索引数组Loc_m，m为所有R＝l像素个数；

S323、遍历目标影像G波段和B波段的G(Loc_m)和B(Loc_m)灰度值，创建重复值筛选数组A；

S324、过滤数组A中的重复元素，按照位置查找保留下来元素所对应的参考影像的灰度值，得到初始抗体种群S。

进一步的，所述步骤S32中，对抗体种群聚类的具体方法如下：

采用K-Means聚类算法将抗体种群S中的元素依据R、G、B灰度值相近度划分为V类，并记录每一类的RGB均值，作为聚类抗体种群每一类的中心元素Mid_v，形成聚类抗体种群G。

进一步的，所述步骤S4的具体方法如下：

S41、将所有待调色影像从RGB空间转换至lαβ空间；

S42、获取相邻的t幅影像，建立影像组；

S43、统计单个影像组内，每幅影像在lαβ空间三个通道的灰度均值和标准差；

S44、根据步骤S3统计的信息，计算调色目标参数，其中目标参数包括t幅影像灰度均值的平均值

和t幅影像灰度标准差

S45、基于步骤S44中计算的目标参数，对组内每幅影像进行调色；

S46、重复执行步骤S42-S45，遍历所有影像，迭代完成测区内全部影像的色彩调整，实现整个范围内影像色彩的渐进协同；

S47、将步骤S6调色后的影像，从lαβ空间转换回RGB空间；

S48、在RGB空间下，进行影像接边线平滑处理。

进一步的，所述步骤S5的具体方法如下，重采样图像和原始图像进行直方图匹配，是将原始影像的每个波段的灰度累积分布函数与重采样影像的灰度累积分布函数相匹配，改变原始影像灰度值，在低分辨率图像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。

进一步的，所述步骤S5的具体执行方法如下：

基于PASCAL VOC数据集，模拟弱光条件合成的图像作为Label图像，原始图像与合成的弱光照图像组成数据对，用于网络的端到端训练，其中，模拟弱光的条件分别为：Gamma矫正和Peak值为200的Poisson噪声；将重采样之后的影像导入训练好的MBLLEN模型中，FEM利用不同的卷积层提取特征，通过EM中的不同子网来增强特征，FM融合多分支输出，生成最终增强结果；

MBLLEN模型采用新的损失函数，其损失函数公式为：

Loss＝L_Str+L_VGG/i,j+L_Region

其中，L_Str为结构损失，L_VGG/i，j为内容损失，L_Region为区域损失；

L_Str用于改善模糊效果、伪影、畸变，增强影像视觉效果，公式为：

L_Str＝L_SSIM+L_MS-SSIM

其中，L_SSIM是LLCNN中的损失函数，μ_x、μ_y为像素平均值，

为方差，σ_xy为协方差，C₁、C₂为防止分子，是分母为0的常量；

L_VGG/i,j关注高层次信息，公式为：

其中，W_i,j、H_i,j、C_i,j分别表示与训练VGG网络三通道对应的特征图维度，E和G表示增强图像和label图像，φ_i,j代表VGG-19网络第j卷积层、第i块的特征图；

设置步骤S1中的背景值为-999，不参与损失计算：

G(i,j)为图像在(i,j)处的坐标值，当(i,j)属于背景区域Φ时将G(i,j)设置为无效值-999；背景区域的像素值不执行增强处理；

L_Region用于提升图像亮度，解决光照不均匀的问题，公式为：

其中，E_L和G_L分别表示增强图和label图的弱光区域，E_H和G_H分别表示增强图和label图的其它区域，w_L和w_H为系数。

进一步的，所述步骤S6的具体方法如下：

重采样图像和原始图像进行直方图匹配，是将原始影像的每个波段的灰度累积分布函数与重采样影像的灰度累积分布函数相匹配，改变原始影像灰度值，在低分辨率图像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。

相对于现有技术，本发明所述的批量遥感影像调色工程化实现方法具有以下优势：

(1)本发明提供的批量遥感影像调色工程化实现方法提出了基于“克隆+协同+增强+映射”的批量遥感影像调色工程化设计方案。

(2)本发明首先将原始分辨率影像按像素尺寸的10-20倍进行重采样得到缩略图；针对同条带相邻影像缩略图，提出了基于人工免疫系统思想的影像色彩克隆技术，实现了相同条带影像色彩的无缝传递；再对不同条带和不同地物特征区域影像缩略图，构建了基于分空间渐进控制方法的影像色彩协同技术，实现了跨条带、多特征区域间影像色彩的平滑过渡；进而基于深度学习算法对全部缩略图进行整体增强处理，使影像整体色彩亮度和对比度得到增强，色彩更加真实统一；最后基于直方图匹配算法设计了影像色彩映射技术，实现海量遥感影像由调色后缩略图到原始分辨率影像的色彩映射。

(3)本发明提出的调色方法无需直接对高分辨率影像进行调色处理，通过克隆思想、协同和增强技术对影像缩略图快速实现色彩统一，再通过映射处理进行色彩传递，可以大幅提高生产效率，高效实现海量高分辨率遥感影像的工程化色彩调整。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的批量遥感影像调色工程化实现方法流程图；

图2为本发明创造实施例所述的基于人工免疫算法的影像色彩克隆方法流程图；

图3为本发明创造实施例所述的影像色彩协同方法流程图；

图4为本发明创造实施例所述的影像重叠区示意图；

图5为本发明创造实施例所述的MBLLEN网络结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

如图1所示，一种批量遥感影像调色工程化实现方法，具体执行步骤如下：

步骤1：影像预处理

对待调色遥感影像进行空间参考统一、位深调整和有效区掩膜等预处理工作。

1-1：空间参考统一。对所有待调色遥感影像的坐标系和投影信息进行统一检查和处理，保证所有待处理影像具有统一的空间参考信息。

1-2：位深调整。将所有待调色遥感影像的位深统一处理成8bit。

1-3：有效区掩膜。遥感影像有效区普遍为不规则多边形，为保证影像背景值不参与调色处理，需要对有效区建立掩膜，对掩膜外的背景值设置为-999，使其作为无效值不参与调色处理。

步骤2：影像重采样

为保证遥感影像上较小地物的色彩不丢失，重采样的影像需要确保较小地物存在且可辨，因此重采样尺度不能过小。同时，如果采样比例过大，又会降低算法效率。因此需要根据实验确定合理的重采样尺度。首先采集原始影像上的n个微小地物作为样本(样本为矩形)，取每个矩形样本的行列最小值，计算与影像上可辨的最小地物尺寸S_min比值，计算n个样本的比值均值，此均值即为重采样比例，按照此参数对原始影像进行重采样抽稀。经过具体实践，该采样比例选择10-20倍为宜。

步骤3：色彩克隆处理

人工免疫算法的基本思想可以描述为：通过抗原识别，抗体增殖、分化、选择和变异等一系列过程，逐步达到抗体亲和度最高的过程。如果将人工免疫算法和具体的待求解优化问题相对应，那么抗原就可以看作是待求解的实际问题的目标函数和约束条件，抗体就是待求解问题的候选可行解，抗原和抗体间的亲和力大小就可以视作可行解与目标函数之间的匹配程度，抗体间的亲和力大小表示可行解的相似度。

遥感影像的调色问题实质是以参考影像和目标影像在重叠区域的色彩匹配关系为基础建立初始抗体种群，在目标影像的其他区域通过亲和度计算和寻优变异操作，实现抗体种群的不断进化，进而实现色彩信息的克隆和复制。本方案提出的基于人工免疫算法的遥感影像色彩克隆技术具体流程如下图2所示。在解决同轨、同时相，且有一定重叠度的影像间调色问题时采用该技术可以取得较好效果。具体技术方案如下：

3-1：抗原识别Ag。依据目标影像IMG_t和参考影像IMG_r在重叠区域IMG_tr内R、G、B三通道光谱值，构建对应关系。具体形式为：

式中，

和

分别为目标影像和参考影像在R、G、B通道同一像素点上对应亮度值的归一化值，C为其抗原在分类中所对应的类别。

3-2：生成初始抗体种群。

(1)计算获取目标影像和参考影像的重叠区域IMG_tr；

(2)查找重叠区内目标影像R波段R＝l(l∈[0,255])的像素位置，建立位置索引数组Loc_m,m为所有R＝l像素个数；

(3)遍历目标影像G波段和B波段的G(Loc_m)和B(Loc_m)灰度值,按以下公式创建重复值筛选数组A；

(4)过滤A数组中的重复元素，按照位置查找保留下来元素所对应的参考影像的灰度值，得到初始抗体种群S。

式中，N为在重叠区域按照行列号排序的抗体个数，S为初始抗体种群类别。

(5)抗体种群聚类。采用K-Means聚类算法将抗体种群S中的元素依据R、G、B灰度值相近度划分为V类，并记录每一类的RGB均值，作为聚类抗体种群每一类的中心元素Mid_v，形成聚类抗体种群G。

3-3：亲和度计算。

(1)取目标影像除重叠区域外(剩余群体S_r)的像元i，计算该像元与聚类抗体种群G的V类抗体中心元素的隶属度矩阵D。

其中D_p为隶属度矩阵中的第p个元素，C_Rp、C_Gp、C_Bp为第p个中心元素的R、G、B值。

为像元i的R、G、B值，通过隶属度矩阵查找对应隶属度最高的抗体种群类别，在此类别抗体元素中进行亲和度计算。

(2)计算该像元与最相近类别中所有抗体的亲和度Aff_i。

式中，f(x_i)为像元i与抗体之间的距离，该距离为像元i与最相近聚类抗体种群类别中所有个体像元之间距离的最小值。

式中，K为最相近聚类抗体种群类别类内抗体数量。

3-4：免疫选择。

(1)Aff_i的值为1，则像元i在已有抗体种群中有对应的抗体，进行克隆操作，将对应抗体的R、G、B值复制给像元i。

(2)Aff_i的值小于1，则像元i在已有抗体种群中找不到对应抗体，需要进行变异操作，采用实数编码进行变异算子设计，具体如下：

式中，

为待变异的目标影像像元某波段值，

为参考影像中亲和度Aff_i最小时待变异像元最近邻的波段值，

为目标影像中亲和度Aff_i最小时最近邻的波段值，δ_r为统计的参考影像值域范围,δ_t为统计的目标影像值域范围。

3-5：更新抗体种群。依据变异算子，生成新的抗体种群C^*，对抗体种群进行更新。

M＝S+C^*

3-6：依据更新的抗体种群M，对于第i+1个像素重复步骤2-步骤5，目标影像遍历结束输出结果影像。

步骤4：色彩协同处理

经过色彩克隆处理实现了条带内缩略图影像的色彩统一，但是条带之间和不同特征区域之间仍会存在较为明显的色彩差异。本方案提出了基于分空间渐进控制方法的影像色彩协同技术，该技术的总体技术流程如下图3所示。

4-1：影像色彩空间转换。将所有待调色影像由RGB空间转换至lαβ空间。

4-2：临近影像捆绑。

(1)读取每幅影像的四角点地理坐标，得到每幅影像的绝对和相对位置。

(2)根据全部待调色影像的四角点坐标，找到整个测区左上角的第一幅影像，作为起始。

(3)从起始影像开始，依次获取测区内的每幅影像及其上、下、左、右、左上、右上、左下、右下，共T幅影像。其中位于测区角点的影像，T＝4；位于测区边缘的影像，T＝6；位于测区中间的影像，T＝9。

(4)为获取的T幅影像建立统一的索引，将它们“捆绑”为1个影像组。

4-3：计算均值与标准差

(1)统计1个影像组内每幅影像在lαβ空间三个通道(l、α、β)的灰度均值(m₁,m₂,…,m_t)，计算公式如下：

(2)统计1个影像组内每幅影像在lαβ空间三个通道(l、α、β)的灰度标准差(σ₁,σ₂,…,σ_t)，计算公式如下：

上述两式中，M和N分别表示每幅影像的行列像元总个数，g(i,j)为第i行，第j列的像元灰度值。

4-4：计算调色目标参数

和

(1)计算T幅影像灰度均值的平均值

公式如下：

(2)计算T幅影像灰度标准差

公式如下：

4-5：lαβ空间灰度值重算

基于调色目标参数，对组内每幅影像，计算三个通道下的新的灰度值，完成调色，计算公式如下：

式中，l′_t、α′_t、β′_t为基于目标参数计算后的lαβ空间三通道影像灰度值，l_s、α_s、β_s为待调色影像在lαβ空间的原始灰度值，

为待调色影像在lαβ空间三通道下的原始灰度均值，σ_t ^l、σ_t ^α、σ_t ^β为待调色影像lαβ空间三通道下的原始灰度标准差，

和

分别为影像在lαβ空间三通道下的调试目标参数。

重复以上步骤4-3到4-5，遍历所有影像，迭代完成测区内全部影像的色彩调整，实现lαβ空间内影像的色彩调整。

4-6：接边线平滑处理

经过对所有影像在lαβ空间内的色彩调整，整体色彩趋于统一，但在不同条带接边处仍存在过度不平滑的问题。本方案提出了在影像RGB空间内色彩平滑过度的方法。

(1)将在lαβ空间内调色后的影像转至RGB空间。

(2)读取相邻两幅影像的x坐标值，即左上影像的右边界坐标值，记为Left_x，左上影像的下边界坐标值，记为Left_y；右下影像的左边界坐标值，记为Right_x，右下影像的上边界坐标值，记为Right_y，进而得到相邻两幅影像的重叠范围。

(3)记录影像重叠区的行列数。设影像的空间分辨率为R，则重叠区域的总行数N和总列数M的计算公式如下：

(4)在重叠区域内，如图4所示，从左至右，从上至下，遍历所有像元，对于第i行，第j列对应的像元，读取其左影像的像元值g_left(i,j)和右影像的像元值g_right(i,j)，通过以下公式计算新的像元值g_new(i,j)，即得到匀色后的像元值。

(5)将新得到的像元值，按坐标更新原始的左影像和右影像上，即得到色彩平滑过度的成果影像。

(6)按照以上步骤对所有过度不平滑的相邻影像进行处理，从而实现整体区域内所有影像的平滑过度。

步骤5：色彩增强处理

经过色彩克隆和协同处理后，实现了影像缩略图条带内和条带间整体色彩的统一，仍存在整体区域内亮度不均、对比度不够和色彩不自然的现象，还需要从整体上进行增强处理。因此本方案提出了基于MBLLEN深度学习算法的真彩色增强处理方法。具体介绍如下：

基于PASCAL VOC数据集，模拟弱光条件合成的图像作为Label图像。原始图像与合成的弱光照图像组成数据对，用于网络的端到端训练。模拟弱光的条件分别为：Gamma矫正和Peak值为200的Poisson噪声。将重采样之后的影像导入训练好的MBLLEN模型中，FEM利用不同的卷积层提取丰富的特征，通过EM中的不同子网来增强特征，FM融合多分支输出，生成最终增强结果，网络结构如图5所示。

MBLLEN舍弃MSE和MAE损失函数，采用新的损失函数，其损失函数公式为：

Loss＝L_Str+L_VGG/i,j+L_Region

其中，L_Str为结构损失，L_VGG/i,j为内容损失，L_Region为区域损失。

L_Str可以改善模糊效果、伪影、畸变等，增强影像视觉效果，公式为：

L_Str＝L_SSIM+L_MS-SSIM

其中，L_SSIM是LLCNN中的损失函数，μ_x、μ_y为像素平均值，

为方差，σ_xy为协方差，C₁、C₂为防止分子，是分母为0的常量。

L_VGG/i,j关注高层次信息，公式为：

其中，W_i,j、H_i,j、C_i,j分别表示与训练VGG网络三通道对应的特征图维度，E和G表示增强图像和label图像，φ_i,j代表VGG-19网络第j卷积层、第i块的特征图。

设置背景值-999不参与损失计算：

G(i,j)为图像在(i,j)处的坐标值，当(i,j)属于背景区域Φ时将G(i,j)设置为无效值-999。背景区域的像素值不执行增强处理。

L_Region可以提升图像亮度，解决光照不均匀的问题，公式为：

通过以上增强处理，可以使区域内缩略图影像整体亮度和对比度得到增强，整体色彩变得更加统一。

步骤6：色彩映射处理

基于直方图匹配原理对经过色彩增强的影像缩略图进行色彩映射处理。通过对调色后的重采样缩略图影像和原始分辨率影像间进行直方图匹配，将原始分辨率影像的每个波段的灰度累积分布函数与重采样缩略图影像的灰度累积分布函数相匹配，改变原始分辨率影像灰度值。从而实现在低分辨率影像上完成的色彩调整，将其色彩信息映射到原始分辨率影像上。具体方法如下：

某一特定灰度值g出现的概率P_r(g)为：

其中，n_g为灰度值g出现的次数，N为图像总像素个数。

原始分辨率影像的累积分布函数T_v和缩略图影像的累积分布函数G_r为：

其中，L为影像的灰度级，对于RGB影像，L为255，直方图均衡化之后的灰度值范围均为[0,255]，修正后的原始分辨率影像的某一灰度值g变为：

根据上述公式计算得出所有修正后的灰度值，则原始分辨率影像的色彩分布与真彩色增强后的影像色彩分布近似一致，原始分辨率影像的色彩得到增强，最后输出调色后的结果影像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。