CN103136733A - 基于多尺度图像分割和颜色传递的遥感图像彩色增强方法 - Google Patents

Abstract

本发明涉及遥感图像处理技术领域，具体涉及一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法。该方法包括步骤：S1.对目标灰度图像进行小波降噪预处理；S2.根据多尺度归一化切分方法分割预处理后的目标灰度图像；S3.结合参考图像，对目标灰度图像各个子区域进行亮度匹配；S4.选取属性相近的子区域进行映射和颜色传递。本发明的结果图像在美观程度以及目标的可识别度上都有了明显增强；而且，本发明在不需要图像配准的前提下，只需要一幅特征、风格相近的彩色参考图像，就能够对纹理结构相对较简单、亮度反差较大的遥感图像实现全自动的彩色增强。因此，本发明的遥感图像彩色增强方法为遥感图像处理提供了有力的技术支持。

Description

基于多尺度图像分割和颜色传递的遥感图像彩色增强方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法。

背景技术

在一幅灰度图像中，人眼中只能区分出由黑到白的二十多种灰度级，而人眼可以分辨的彩色则可达到几百种甚至上千种。如果对原始灰度图像进行彩色化处理，可以使人类视觉系统对图像的细节有更丰富的认识，从而大大提高图像的可判读性，更容易提取所需的信息。

现有技术中，解决图像彩色化大致有两类处理方法：一类是利用人机交互来进行的，以软件BlackMagic和基于优化的彩色化(colorization using optimization)为代表，另一类是非交互的,以伪彩色化(pseudo-coloring)和彩色变换(color transfer)为代表。

目前对于遥感影像彩色化，主要采用的是基于伪彩色化的多光谱图像融合方法。多光谱图像融合是指将从多光谱探测器获得的同一场景的多谱图像的信息特征组合到一起，利用它们在时空上的相关性及信息上的互补性，得到对景物更全面、清晰的描述。彩色空间变换是最普遍使用的一种遥感信息融合方法。HIS（Hue、Intensity、Saturati-on，色度、强度、饱和度）变换是这类方法中最常用的颜色空间变换，将颜色从RGB（Red、Green、Blue，红、绿、蓝）空间变换到HIS颜色空间，多用于高分辨率的SPOT（Satellite Positioning and Tracking，人造卫星定位及跟踪）图与低分辨率的彩色TM（Thematic Mapper，专题测图仪）图之间的融合，得到的结果图像既具有SPOT图的高分辨率，又具有TM图丰富的颜色细节。

基于伪彩色化的多光谱图像融合技术，其最主要的优点是：能提高目标探测能力，对同一景物进行多光谱观察，可以揭示出目标在单一传感器观察时无法探测或不易探测的特征，从而提高目标识别的速度和准确度。但这种方法也有着自身难以克服的缺陷：（1）不同数据源、不同传感器、不同时段的数据在图像配准时经常会出现矛盾；（2）由于利用伪彩色技术所得到的融合图像反映的并不是场景的真实色彩，所以融合图像的色彩往往不自然，会产生感官的错乱和失真。

而在图像融合中，最重要的问题就是图像配准，图像配准是指对取自不同时间、不同传感器或不同视角的同一景物的两幅图像或多幅图像进行匹配、叠加的过程。虽然国内外在图像配准方面已开展了许多研究工作，但仍存在着不少难以解决的问题，主要包括：（1）配准精度直接影响融合的结果，但在实际操作中由于噪声等因素影响，很难实现高精度的图像配准，这样就会影响结果的精度；（2）对于性质完全不同的传感器图像，或在波段、分辨率、景物特征等差别大的图像之间，以及存在大比例变化、旋转或平移，存在大的图像非线性畸变，或存在严重的几何校正残余误差等情况下，很难或无法进行图像配准；（3）需要人工交互，很难实现自动配准；（4）目前图像配准的处理速度，仍无法满足快速和实时的要求。

综上所述，现有技术中还没有一种能够快速有效实现遥感图像全自动的彩色增强的方法。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种在不需要图像配准的情况下，能够对纹理结构相对较简单、亮度反差较大的遥感图像有效实现全自动彩色增强的方法。

（二）技术方案

本发明技术方案如下：

一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法，包括步骤：

S1.对目标灰度图像进行小波降噪预处理；

S2.根据多尺度归一化切分方法分割预处理后的目标灰度图像；

S3.结合参考图像，对目标灰度图像各个子区域进行亮度匹配；

S4.选取属性相近的子区域进行映射和颜色传递。

优选的，所述步骤S1包括：

根据分频带高斯模型，以复数小波包为小波基，采用软阈值方法对目标灰度图像进行小波降噪预处理。

优选的，所述步骤S1包括：

S101.输入图像为X，添加彩色噪声C后获得的带噪图像为Z，即ZX+C；每个复数小波包频带中噪声为高斯分布，均值为0，方差为

S102.结合单尺度快速估计方法以及软阈值滤波修正，由Z对C进行估计；

S103.根据所述步骤S102中估算值进行分频带计算；

S104.将步骤S103中得到的复数小波包变换系数逆变换至空间域。

优选的，所述步骤S3包括：

S301.将参考图像以及目标灰度图像各个子区域转换为lαβ颜色空间；

S302.对各个子区域进行基于邻域统计值的l通道亮度值匹配。

优选的，所述步骤S4包括：

S401.结合所述步骤S302中亮度值匹配结果将α值以及β值赋予目标灰度图像；

S402.将目标灰度图像转换为RGB颜色空间。

（三）有益效果

本发明的一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法，通过利用多尺度图像分割的方法，在分割后的子区域之间进行亮度匹配和颜色传递，从而减少像素间的颜色传递误差；通过与软阀值的小波去噪预处理结合在一起，从而明显增强遥感图像的细节分辨能力；因此，本发明的结果图像无论是在美观程度，还是目标的可识别度上都有了明显增强；而且，本发明在不需要图像配准的前提下，只需要一幅特征、风格相近的彩色参考图像，就能够对纹理结构相对较简单的遥感图像实现全自动的彩色增强。

附图说明

图1是本发明的一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。

流程图如图1所示一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法，主要包括以下步骤：

S1.对目标灰度图像进行小波降噪预处理；这是由于遥感成像过程是一个光电综合调制过程，往往受到多方面的噪声和干扰。灰度遥感图像如果不预先进行降噪的预处理，直接转化彩色后噪声会看上去更明显，影响到最终的增强效果。灰度图像的噪声也会影响和干扰后续的图像分割等操作。在大多数情况下，遥感图像噪声表现为孤立的离散点，没有空间关联性，均可以视为高斯分布，因此本发明考虑的噪声模型以高斯为主。

图像降噪是图像处理领域的一个经典问题，通常可分为两大类：空间域降噪和变换域降噪。小波变换是目前使用最多的变换方法。这是因为采用小波变换，不仅能够在不同分辨率下根据信号和噪声分布的特点降噪，可以非常好地刻画信号的非平稳特征；小波变换可以选择不同的小波基，如单小波、多小波、小波包等。小波基的选择对降噪的效果影响很大，对于不同类型的图像，最优的小波基是不同的，所以选择最优小波基很重要。

阈值滤波是常见的一种小波降噪方法，可分为硬阈值和软阈值两种类型。硬阈值能够更好地保存边缘信息，更接近实际情况，但噪声抑制效果较差；软阈值具有连续性，降噪效果好，获得的结果更加平滑，因此视觉上更加自然，容易接受。软阈值往往会应用到细节少的分解级别（小波子带）中，而硬阈值用在其他情形。

综上所述，阈值滤波的关键一是阈值的选择，二是小波基的选择。由于本发明中采用的是分频带高斯模型，对于小波子带来说，更适合采用软阈值方法。将遥感图像在频域反卷积后，得到的图像的噪声在高频处能量极大，而且是彩色噪声。与传统小波方法相比，复数小波包变换兼备复数小波变换和小波包变换的优点，具有更好的方向选择特性和更为细致的高频信息，具有较强的去除彩色噪声的能力，所以本发明选择复数小波包作为小波基。

本实施例中，步骤S1具体包括：

S101.对于输入的遥感图像，由于使用统一的分频带高斯模型，在这个模型中，每个频带取决于所选择的小波基；对于复数小波包分解，即是每个复数小波包频带。

不妨假设X是输入图像，Z是由X添加上彩色噪声C获得的带噪的观测图像，如公式（1）所示：

Z=X+C      (1)

在每个频带中我们假设噪声是一个高斯分布，均值为0，方差为

其中方差

的值可以使用仿真的方法由C的统计参数估计出来。

S102.在估计获得各频带的模型参数之后，首先通过一个单尺度的快速估计方法获得估计值ξ′，再通过软阈值滤波修正获得预估值s²：

$s^2={\left|{\mathrm{\ξ}}^{\′}\right|}^2/4-{{\mathrm{\σ}}^{\′}}_k^2$ 若 $\left|{\mathrm{\ξ}}^{\′}\right|\≥{{4\mathrm{\σ}}^{\′}}_k^2$

s²=0若 $\left|{\mathrm{\&xi;}}^{\&prime;}\right|<{{4\mathrm{\&sigma;}}^{\&prime;}}_k^2---\left(2\right)$

S103.利用预估值s²，分频带计算所有ξ的值：

$\mathrm{\&xi;}=z\&times;s^2/(s^2+{\mathrm{\&sigma;}}_k^2)---\left(3\right)$

其中z是观测值Z在对应分解域下的值；

S104.利用复数小波包逆变换将ξ还原到空间域上，得到结果X，实现遥感图像的降噪。

S2.根据多尺度归一化切分方法分割预处理后的目标灰度图像；对遥感图像做区域分割，即将一幅图像分成不同的区域。在图像分析中，区域定义为既有边界又有特殊形状的像素集合。对于遥感图像来说，图像分割一直是个难题。遥感图像的分割目标是让图像区域代表一定的含义，例如植被、水系和建筑物等。遥感图像分割，属于自然环境图像分割的一种，相对于室内场景或工业环境等结构性环境而言，要复杂很多。就像植被、水系和交通等要素，没有一个固定的形状，结构可变，是典型的非结构环境中的物体，仅依靠灰度信息不足以对图像进行分割，还需要各种物体的物理及概念层次的精细描述。同时，由于遥感图像尺寸巨大而纹理复杂，所以寻找一种能够利用颜色和纹理信息得到较好结果、并且速度较快的分割方法，是非常重要的。

现有技术中，一种归一化切分的分割方法是将分割问题形式化为图分割问题，利用颜色、纹理或者结合使用颜色和纹理及其他特性进行分割，将问题化解为求如下特征向量和特征值的问题：

设图G=(V，E)可被分成两个不相交的图，其节点集合分别记为A和B。图Ｖ中连接A和Ｂ中元素的所有边的权重之和，称为切分（cut），表示为：

cut(A,B)=∑_u∈A,v∈Bw(u，v)     (4)

A和整个顶点集合V的关联度(association)定义为：

asso(A,V)=∑_u∈A,t∈Vw(u,t)      (5)

则归一化切分(normalized cut,Ncut)定义为：

$\mathrm{Ncut}=\frac{\mathrm{cut}(A,B)}{\mathrm{asso}(A,V)}+\frac{\mathrm{cut}(A,B)}{\mathrm{asso}(B,V)}---\left(6\right)$

把分割问题形式化的一种方法，是寻找图中的最小切分（minimumcut），但是最小切分准则倾向于分割成较小的孤立节点的集合，这在寻找相同颜色或纹理的大块区域时没有作用。根据上述定义，分割出较小孤立点集的切分将不具有较小的归一化切分值，使归一化切分值较小的划分在图像分割中更加实用。对于自然图像，采用归一化切分的算法利用颜色和纹理信息，能够得到很好的分割结果，但由于算法过于复杂，对实时系统不适用，并且不能对大尺寸图像进行分割。

由于传统技术中归一化切分不适用于大尺寸图像的分割，因此，本发明中的采用多尺度归一化切分方法（Timothée Cour等人2005年工作Spectral segmentation with multiscale graph decomposition.ComputerVision and Pattern Recognition中的提出的方法）对图像的多重比例尺采用并行计算，其没有迭代，计算高效，能够分割大尺寸的图像。该算法使用图像分割的规范化切痕的图分割框架，构建了一个成对像素仿射的图，通过对其切分来实现图像分割。该分割算法同时运行在图的各种比例尺内，通过一个内部尺度约束来确保在每个比例尺分割之间的交流和一致性。用这个方法能够准确分割以前因为尺寸太大而无法有效分割的图像。

算法框架如下：

1）给定一个p×q的图像I，对于s=1..S（S为缩放比例）：

a)按照

采样，像素点i∈C，图像I_s以规则的格网映射自I_s-1，这里ρ是采样因子。

b)计算约束 $C_{s-1,s}(i,j)=\frac{1}{\left|N_i\right|},\&ForAll;j\&Element;N_i,$ N_i是i的采样邻域

c)计算I_s的仿射

小半径为r，利用在比例s的图像边。

2）通过

计算W，C，如下式所示：

3）计算投影Q

$Q=I-D^{-\frac{1}{2}}{C}^T{\left({\mathrm{CD}}^{-1}{C}^T\right)}^{-1}{\mathrm{CD}}^{\frac{1}{2}}---\left(9\right)$

这里D是一个对角线矩阵，D(i,i)=∑_jW(i,j)；

计算是矩阵

的前k个特征向量；

计算使之离散化。

下述步骤S3-S4为从彩色图像到灰度图像间进行颜色传递的算法：

S3.结合参考图像，对目标灰度图像分割好的各个子区域进行亮度匹配；主要为：将一幅特征、风格相近的彩色参考图像和目标灰度图各个子区域都转换到lαβ颜色空间，然后根据l通道的亮度值来进行匹配；本实施例中该步骤具体包括：

S301.RGB颜色空间到lαβ颜色空间的转换过程：

首先，将图像从RGB空间转换到LMS空间：

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(10\right)$

然后，

L＝logL

M＝logM       (11)

S＝logS

再从LMS空间转换到lαβ空间。

$\left[\begin{array}{c}L\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{6}}& 0\\ 0& 0& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]---\left(12\right)$

S302.对各个子区域进行基于邻域统计值的l通道亮度值匹配。

S4.选取属性相近的子区域进行映射和颜色传递；主要为：结合所述步骤S302中亮度值匹配结果将α值以及β值赋予目标灰度图像；并将目标灰度图像转换为RGB颜色空间，得到目标图像对应的彩色图；对于较复杂的图像，可以通过人工交互的方式来指定对应的传输区域。本实施例中该步骤具体包括：

S401.结合所述步骤S302中亮度值匹配结果将α值以及β值赋予目标灰度图像；

S402.lαβ颜色空间到RGB颜色空间的转换过程：

首先，从lαβ空间转换到LMS空间，

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -1\\ 1& -2& 0\end{array}\right]\left[\begin{array}{ccc}\frac{\sqrt{3}}{3}& 0& 0\\ 0& \frac{\sqrt{6}}{6}& 0\\ 0& 0& \frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}L\\ \mathrm{\&alpha;}\\ \mathrm{\&beta;}\end{array}\right]---\left(13\right)$

然后，

L＝10^L

M＝10^M       (14)

S＝10^S

最后，图像从LMS空间转换到RGB空间，

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4679& -3.5873& 0.5873\\ -1.2186& 2.3809& 2.3809\\ 0.0497& -0.2439& -0.2439\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]---\left(15\right)$

步骤S3以及步骤S4中，在子区域之间进行亮度匹配和颜色传递，从而减少颜色传递的误差，提高了彩色化的效率和效果。

本发明还选取不同风格的参考图像和灰度目标图像进行实验，实验结果验证了基于图像分割和色彩传递相结合的方法只需要一个特征、风格相近的参考彩色图像，无需配准，就可以对纹理结构相对较简单的遥感图像实现全自动的彩色增强。通过利用多尺度图像分割的方法，在分割后的子区域之间进行亮度匹配和颜色传递，能够减少像素间的颜色传递误差；与软阈值的小波降噪预处理结合在一起，能明显增强遥感图像的细节分辨能力。彩色化的结果图像无论是在美观程度，还是目标的可识别度上都有了明显增强。

综上所述，本实施例中基于多尺度图像分割和颜色传递的遥感图像彩色增强方法具有以下优点：

1）与用户辅助的遥感影像彩色化方法相比，显著减少了人工干预。

2）与数据融合的方法相比，参考图像不需要与目标图像配准，适用范围更广泛。

3）通过降噪预处理，减少了噪声的干扰，提升了图像增强效果。

4）利用图像分割，在分割后的子区域之间进行亮度匹配和颜色传递，减少了像素间的颜色传递误差。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (5)

1.一种基于多尺度图像分割和颜色传递的遥感图像彩色增强方法，其特征在于，包括步骤：

S1.对目标灰度图像进行小波降噪预处理；

S2.根据多尺度归一化切分方法分割预处理后的目标灰度图像；

S3.结合参考图像，对目标灰度图像各个子区域进行亮度匹配；

S4.选取属性相近的子区域进行映射和颜色传递。

2.根据权利要求1所述的遥感图像彩色增强方法，其特征在于，所述步骤S1包括：

根据分频带高斯模型，以复数小波包为小波基，采用软阈值方法对目标灰度图像进行小波降噪预处理。

3.根据权利要求2所述的遥感图像彩色增强方法，其特征在于，所述步骤S1包括：

S101.输入图像为X，添加彩色噪声C后获得的带噪图像为Z，即Z＝X+C；每个复数小波包频带中噪声为高斯分布，均值为0，方差为

S102.结合单尺度快速估计方法以及软阈值滤波修正，由Z对C进行估计；

S103.根据所述步骤S102中估算值进行分频带计算；

S104.将步骤S103中得到的复数小波包变换系数逆变换至空间域。

4.根据权利要求1-3任意一项所述的遥感图像彩色增强方法，其特征在于，所述步骤S3包括：

S301.将参考图像以及目标灰度图像各个子区域转换为lαβ颜色空间；

S302.对各个子区域进行基于邻域统计值的l通道亮度值匹配。

5.根据权利要求4所述的遥感图像彩色增强方法，其特征在于，所述步骤S4包括：

S401.结合所述步骤S302中亮度值匹配结果将α值以及β值赋予目标灰度图像；

S402.将目标灰度图像转换为RGB颜色空间。

Images