CN113421193B

CN113421193B - 均值-方差成本函数最小模型的多幅影像镶嵌辐射均衡方法

Info

Publication number: CN113421193B
Application number: CN202110487388.2A
Authority: CN
Inventors: 周国清; 彭欣月
Original assignee: Guilin University of Technology
Current assignee: Guilin University of Technology
Priority date: 2021-05-05
Filing date: 2021-05-05
Publication date: 2022-09-30
Anticipated expiration: 2041-05-05
Also published as: CN113421193A

Abstract

本发明公开了一种均值‑方差成本函数最小模型的多幅影像镶嵌辐射均衡方法，主要涉及大区域遥感影像处理领域。(1)云像素剔除，对影像中的云像素进行剔除；(2)成本函数的构建，根据无云像素影像灰度均值与标准差对成本函数进行构建；(3)约束条件增加，该约束要求“所有影像像素灰度的均值与标准差在调整前后保持不变”；(4)成本函数最小模型求解，通过将影像灰度变换模型参数与成本函数联合，并在(3)中的约束条件下得到每幅待镶嵌影像的最优影像灰度变换模型；利用本发明实现多幅多时相遥感影像镶嵌辐射均衡，解决了现阶段多幅影像镶嵌存在的全局‑局部辐射差异的问题，提高了影像无缝镶嵌的质量。

Description

均值-方差成本函数最小模型的多幅影像镶嵌辐射均衡方法

技术领域

本发明涉及图像处理技术领域，特别是涉及大区域多时相遥感影像镶嵌辐射均衡的方法。

技术背景

大区域镶嵌数据集已经成为地理分析不可或缺的一部分。在实际研究和应用过程中，同一颗卫星的影像远不足以形成一个大区域镶嵌图，因此需要将来自不同卫星传感器且在不同时间拍摄得到的遥感影像数据进行镶嵌。为保证后续遥感解译研究工作的顺利开展，高质量的遥感影像镶嵌数据是重要前提之一。

针对遥感影像镶嵌时辐射差异的问题，现有的辐射均衡方法可概括为三个大类：单影像辐射均衡、成对影像色调匹配、全局优化。单影像辐射均衡通常通过去除背景影像、应用直方图均衡方法来增强影像灰度，从而平衡影像对比度。成对影像色调匹配方法是以两幅影像为目标，令其中一幅影像为参考影像，同时对另一幅影像应用线性变换、直方图匹配等方法，使其颜色或色调与参考影像一致。这类方法在一定程度上能够得到较好的辐射均衡结果，但是当原始两幅影像灰度差异过大时，影像灰度容易被过度调整而出现像素失真的现象；另一方面，当研究中包含大区域影像数据集时，成对影像色调匹配将增加计算时间。于是，后期研究人员多采用全局优化方法实现大区域影像镶嵌辐射均衡。全局优化方法同时处理所有影像，每幅影像发挥相同的作用。然而，应用全局优化方法时，局部优化常常被忽略。通过对国内外研究现状进行分析，现有的方法仍然存在以下问题：

(1)大多数辐射均衡方法需要在所有待镶嵌影像中寻找最佳参考影像，然后调整目标影像使其与参考影像色调一致。在实际应用中，大区域影像镶嵌数据集通常由来自不同卫星传感器在不同轨道拍摄的影像组成，如何选择最合适的参考影像是一个难题。

(2)受天气等外界条件的影响，部分遥感影像中存在大量的云、雾等无效像素，这些无效像素通常会干扰影像像素灰度的计算，进而降低最优影像灰度变换模型参数的计算精准度。

发明内容

本发明提出了一种均值-方差成本函数最小模型的多幅影像镶嵌辐射均衡方法，以消除多幅影像镶嵌时的辐射差异，提高影像镶嵌质量。

为实现上述目的，本发明采用如下技术方案：

1.利用云提取算法快速准确地对影像中的云、雾等无效像素进行检测并剔除。

对影像进行预处理，将影像中的云像素进行剔除。首先对影像进行像素分割，并基于K均值聚类生成超像素，然后分别对超像素的纹理特征、频率特征和线段特征进行识别提取。云像素的灰度值通常较小，通过设置阈值，将小于阈值的像素进行掩码处理，从而对影像中的云像素进行剔除。

2.剔除影像中的云像素后，计算每幅待镶嵌影像重叠区域的灰度均值和标准差，并利用上述数据构建均值-方差成本函数。

根据影像的地理位置信息，提取相邻影像间的重叠区域，计算重叠区域影像灰度均值和标准差，以重叠区域的面积为权重，根据上述数据构建来自一个条带影像的均值-方差成本函数；考虑到大区域影像数据集通常由多个条带的影像组成，因此由一个条带影像的均值-方差成本函数过渡到多个条带影像的均值 -方差成本函数，将每幅影像的所有相邻关系均考虑在内。

3.为均值-方差成本函数设定关于影像变换前后像素灰度强度与分布基本保持一致的约束。即所有影像像素灰度的均值与标准差在调整前后保持不变。

当原始相邻影像间辐射差异过大时，为了避免影像被过度调整而出现像素失真或者一侧影像色调偏向另一侧影像色调的情况，对均值-方差成本函数设定关于影像变换前后像素灰度强度与分布基本保持一致的约束，该约束为：所有影像像素灰度的均值与标准差在调整前后保持不变。该约束一方面是为避免影像像素灰度被过度调整；另一方面旨在为成本函数找到最优解决方案。

4.确定影像像素灰度变换函数，并对均值-方差成本函数最小值求解，得到最优影像灰度变换模型参数。

(1)确定影像灰度变换模型。来自同一卫星但不同日期的两幅影像之间的差异可以用线性关系来解释，本发明选择线性变换作为变换模型。

(2)影像灰度变换模型确定后，将成本函数重写为变换模型参数的二次函数。考虑到交换相邻影像的镶嵌顺序，得到成本函数关于影像灰度变换模型参数的简式，并对最优参数进行求解。

5.根据本发明提出的均值-方差成本函数最小模型对影像进行镶嵌。

在步骤4的基础上，将最优灰度变换模型应用到每幅影像上，对影像灰度进行调整。最后，得到高质量的无缝镶嵌数据。

本发明提出的方法利用云提取算法剔除影像中的云像素，然后计算影像灰度均值和标准差，构建均值-方差成本函数，在满足最小成本的前提下，得到每幅影像最优灰度变换模型。该方法更加准确地获得了影像的灰度信息，使得成本函数能够更加真实地反映影像的色调，最后得出了更优的结果，极大地提高了多幅影像无缝镶嵌的质量。

附图说明

图1为本发明实施例的总流程图。

图2为本发明实施例的云像素检测图：(1)原始影像；(2)影像云检测结果。

图3为本发明实施例的重叠区域提取图。

图4为本发明实施例的一个条带影像均值-方差成本函数最小模型原理图。

图5为本发明实施例的多个条带影像均值-方差成本函数最小模型原理图。

图6为本发明实施例对应的来自一个条带的相邻两幅影像镶嵌辐射均衡图。

图7为本发明实施例对应的来自多个条带的多幅相邻影像镶嵌辐射均衡图： (1)16幅DISP影像处理结果；(2)5幅Landsat影像处理结果。

具体实施方式

下面结合本发明中的实施例附图对本发明的具体实施方式做进一步说明。

实施例：

本实施例中，我们选择了位于中国西南地区的DISP影像、5幅Lnadsat影像作为实验数据。DISP影像具有覆盖范围广、价格低廉、高分辨率(最高可达 1.8m)和可提供立体像对等优点，Lnadsat影像实验前均已通过重采样至相同分辨率。

本发明提出均值-方差成本函数最小模型的多幅影像镶嵌辐射均衡方法具体步骤见总流程图(图1)。

步骤1、利用云提取算法快速准确地检测并剔除所有待镶嵌影像中的云像素。

首先利用简单线性迭代聚类算法对影像进行像素分割，根据相邻像素的相似程度对像素进行分组，并基于K均值聚类生成超像素；然后对超像素进行识别，并对其纹理特征(TF)、频率特征(FF)和线段特征(LF)进行提取，从特征直方图(IE)中提取每个超像素的隐式信息，对这些信息进行计算并形成特征向量，进而将其分类；最后设置最优阈值提取云掩码。该方法涉及到对象级与像素级的识别，能够对影像中不同状态下的云像素进行快速且准确地检测，进而确保后期工作中影像灰度均值与标准差的准确计算。以研究中的一幅影像为例，云检测结果如图2所示。

步骤2、建立来自一个条带的N幅影像的均值-方差成本函数最小模型。

结合图4，由于所有待镶嵌影像已经过几何校正，根据地理位置信息可以得到相邻影像间的重叠区域。以图4中的两幅相邻影像(i-1)和i为例，计算第(i-1) 幅影像和第i幅影像在重叠区域的像素灰度均值μ_(i-1.i)和μ_(i.i-1)、像素灰度标准差σ_(i-1.i)和σ_(i.i-1)，并利用他们在重叠区域的差值来构建均值-方差成本函数，于是第(i-1)幅影像和第i幅影像的均值成本函数

和方差成本函数

可用如下方式表示：

式中，像素灰度均值μ_(i-1.i)和μ_(i.i-1)、像素灰度标准差σ_(i-1.i)和σ_(i.i-1)可用如下方式计算：

式中，f_(i-1.i)和f_(i.i-1)分别表示第(i-1)幅影像和第i幅影像在重叠区域的总像素灰度值，N表示重叠区域总的像素数目。

联合公式(1)和公式(2)，第(i-1)幅影像和第i幅影像的均值-方差成本函数可用如下方式表示：

对于图4中的N幅待镶嵌影像，他们的均值-方差成本函数

可以表示为所有相邻影像对的重叠区域灰度均值与标准差的平方差之和，即

可用如下方式表示：

式中，均值成本函数

表示所有相邻影像对在重叠区域的像素灰度均值的平方差之和，方差成本函数

表示所有相邻影像对重叠区域的像素灰度标准差的平方差之和，可分别用如下方式表示：

结合图4，公式(4)为来自一个条带的N幅待镶嵌影像的均值-方差成本函数。

步骤3、建立来自多个条带的M×N幅影像的均值-方差成本函数最小模型。

结合图5，由步骤2所述，将M×N幅待镶嵌影像的均值-方差成本函数定义为所有相邻影像对在重叠区域的像素灰度均值与标准差的平方差之和，其中， M×N幅待镶嵌影像的均值成本函数(D^μ)与方差成本函数(D^σ)可分别用如下方式表示：

式中，M表示条带数，N表示每个条带中的总影像数。

实际应用中，当原始影像灰度差异过大，为避免影像出现像素失真等现象，本方法为成本函数设定关于影像变换前后像素灰度强度与分布基本保持一致的约束，即所有影像像素灰度的均值与标准差在调整前后保持不变。提出这一约束，一方面是为避免影像像素灰度被过度调整；另一方面旨在为成本函数找到最优解决方案。影像镶嵌辐射均衡前后的像素灰度应保持同样的强度，避免变换前后色调差异在视觉上跨度过大。对于图5中的所有影像，像素灰度平均值和标准差变换前后在整体上应满足：

式中，μ_(ij)和μ′_(ij)分别表示第(i.j)幅影像在变换前后的灰度均值，σ_(ij)和σ′_(ij)分别表示第(i.j)幅影像在变换前后的灰度标准差。A_jj表示第(i.j)幅影像的面积。

联合公式(1)至公式(7)，M×N幅影像的均值-方差成本函数(D^μσ)可用如下方式表示：

D^μσ＝D^μ+D^σ (8)

式中，均值成本函数(D^μ)与方差成本函数(D^σ)可分别用如下方式表示：

约束函数可用如下方式表示：

步骤4、确定影像灰度变换模型。

影像灰度变换模型可用如下方式表示：

f′_(i.j)＝a_(i.j)f_(i.j)+b_(i.j) (11)

式中，f_(i,j)表示第(i.j)幅影像的原始像素灰度，而f′_(i.j)表示第(i.j)幅影像变换后的像素灰度，a_(i.j)和b_(i.j)分别表示影像灰度变换模型的参数。

目前大多数全局优化方法均采用同一个变换模型对所有影像进行处理，但是影像中的地物复杂多样，灰度信息也各不相同，采用同一个模型显然是不合理的。因此，本方法提出对每幅影像单独处理，即在满足均值-方差最小成本的前提下对每幅影像的最优灰度变换模型参数进行求解，得到最优影像灰度变换模型。

步骤5、成本函数最小模型求解。

假设影像像素灰度变换模型确定后，将步骤3所述的均值-方差成本函数重写为变换模型参数a_(i.j)和b_(i.j)的二次函数。

将公式(11)代入到公式(2)，μ′_(i.j)可用如下方式表示：

μ′_(i.j)＝a_(i.j)μ_(i.j)+b_(i.j) (12)

将公式(12)代入到公式(9)，均值成本函数(D^μ)可用如下方式表示：

考虑到在影像镶嵌时交换相邻两幅影像的镶嵌顺序，可以得到如下关系：

将公式(14)代入到公式(9)，均值成本函数(D^μ)可继续简化为如下形式：

此外，将公式(11)与公式(12)代入到公式(2)，σ′_(i.j)可用如下方法表示：

σ′_(i.j)＝|a_(i.j)|σ_(i.j) (16)

同样地，通过交换相邻两幅影像的镶嵌顺序，可以得到如下关系：

将公式(16)与公式(17)代入到公式(9)，方差成本函数(D^σ)可简化为如下形式：

为了进一步得到均值成本函数(D^μ)与方差成本函数(D^σ)的简式，让四个矩阵

分别表示如下：

于是，M×N幅待镶嵌影像的均值-方差成本函数(D^μσ)可用如下方式表示：

式中，

和

分别表示如下：

考虑到公式(10)所示的约束函数，将公式(12)与公式(16)代入其中，可重写为如下形式：

公式(22)所示的约束函数可进一步用如下方法表示：

C·(a,b)^T＝d (23)

式中，矩阵

和d分别表示如下：

最后，M×N幅影像镶嵌辐射均衡全局优化过程可转化为在约束条件 (C·(a,b)^T＝d)下求取均值-方差成本函数(D^μσ)最小值：

步骤6、根据本发明的均值-方差成本函数最小模型，对实验数据进行镶嵌辐射均衡。

结合图6和图7，通过目视检查，本发明提出的“均值-方差成本函数最小模型”不仅实现了影像整体辐射均衡，而且在接缝线两侧得到了辐射一致的结果，局部影像细节对比度适中，影像灰度明暗适中。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.均值-方差成本函数最小模型的多幅影像镶嵌辐射均衡方法，其具体步骤如下：

1)利用云提取算法快速准确地对影像中的云、雾无效像素进行检测并剔除；

2)剔除影像中的云像素后，计算每幅待镶嵌影像重叠区域的灰度均值和标准差，并利用这两个数据构建均值-方差成本函数，具体为：

计算待镶嵌的两幅相邻影像(i-1)和i在重叠区域的像素灰度均值μ_(i-1.i)和μ_(i.i-1)、像素灰度标准差σ_(i-1.i)和σ_(i.i-1)；利用他们的差值分别计算第(i-1)幅影像和第i幅影像的均值成本函数

和方差成本函数

从而构建均值-方差成本函数最小模型

其中：

令A_(i-1.i)为第(i-1)幅影像和第i幅影像的重叠区域面积，f_(i-1.i)和f_(i.i-1)分别表示两相邻影像在重叠区域的总像素灰度值，N表示重叠区域总的像素数目；

3)为均值-方差成本函数设定关于影像变换前后像素灰度强度与分布基本保持一致的约束；

4)确定影像灰度变换模型，并对均值-方差成本函数最小值求解，得到最优影像灰度变换模型参数；

5)根据均值-方差成本函数最小模型对影像进行镶嵌，实现相邻影像接缝处的自然过渡。

2.根据权利要求1所述的方法，其特征在于所述的步骤1)具体为：

(1)对影像进行像素分割，并基于K均值聚类生成超像素；

(2)对超像素进行识别，提取其纹理特征、频率特征和线段特征；然后从特征直方图中提取每个超像素的隐式信息，对隐式信息进行计算并形成特征向量，进一步将其分类；

(3)设置最优阈值提取影像中的云掩码。

3.根据权利要求1所述的方法，其特征在于所述的步骤2)具体为：

根据影像地理位置，提取相邻影像重叠区域，计算重叠区域影像灰度均值和标准差，并基于上述数据，以重叠区域面积为权重，构建均值-方差成本函数；在大区域影像镶嵌过程中，一幅影像会与多幅影像存在相邻关系，因此，在成本函数的构建过程中考虑从一个条带影像过渡到多个条带影像。

4.根据权利要求1所述的方法，其特征在于所述的步骤3)具体为：

不同卫星传感器在不同时间获取的影像通常存在非常明显的辐射差异，为避免影像因灰度差异过大而在调整过程中出现像素灰度失真、细节丢失或削弱的现象，为成本函数设定关于影像变换前后像素灰度强度与分布基本保持一致的约束，提出这一约束，一方面是为避免影像像素灰度被过度调整；另一方面旨在为成本函数找到最优化的解决方案。

5.根据权利要求1所述的方法，其特征在于所述的步骤4)具体为：

(1)确定影像灰度变换模型；对所有待镶嵌影像进行灰度变换，使影像灰度达到增强的效果；对每幅影像单独处理，在满足均值-方差最小成本的前提下为每幅影像找到最优灰度变换模型；

(2)将均值-方差成本函数重写为影像灰度变换模型参数的二次函数；在化简过程中考虑交换相邻影像镶嵌顺序，得到均值-方差成本函数与灰度变换模型参数的最简式。

6.根据权利要求1-5任一项所述的方法，其特征在于所述的步骤5)具体为：

将所有待镶嵌影像构建均值-方差成本函数，确定影像灰度变换模型，得到最优模型参数解，调整影像灰度后进行镶嵌，提高了影像整体镶嵌质量。