CN112906577B - 多源遥感图像的融合方法 - Google Patents

Abstract

本申请实施例提供一种多源遥感图像的融合方法，具体涉及图像处理领域，所述方法包括：基于目标提议对天基遥感图像和空基遥感图像中共同的目标区域进行增强，并基于科普拉模型对天基遥感图像和空基遥感图像的共同目标区域中杂波区域进行抑制。相比于传统的遥感图像融合方法，本发明所提出的方法可以显著地提升天空基合成遥感图像中的目标与杂波比，有助于提升后续的目标检测和目标识别性能。

Description

多源遥感图像的融合方法

技术领域

本申请实施例涉及图像处理领域，具体而言，涉及一种多源遥感图像的融合方法。

背景技术

遥感图像是指由天基成像传感器或者空基成像传感器获取的关于地物、海面等的图像数据。

天基平台成像传感器例如位于卫星上的合成孔径雷达(SAR)、高分辨成像光谱仪、或者光学成像传感器等，其优势在于观测覆盖区域大，但是受到轨道周期的影响，天基平台成像传感器对于局部区域的重访时间长，且成像结果易受分辨率、入射角度等影响。空基平台成像传感器常位于无人机或者飞机上，其优势在于使用灵活，可以实现快速访问，分辨率一般较高，但是其成像覆盖区域小。由于天基平台成像和空基平台成像自身的缺点，现有技术有将空基遥感图像的融合，进而可以实现天基遥感平台和空基遥感平台的优势互补。

现有的天空基遥感融合系统为：1)首先天基成像平台获得覆盖大面积区域的全局观测图像；2)分割出全局观测图像中感兴趣的局部区域I_S；3)空基成像平台在极短时间内获得I_S对应区域的新观测I_A；4)对I_S和I_A进行配准，并对其中分辨率低的图像进行插值，使得两者的大小一致；5)融合I_S和I_A，获得合成的遥感图像，但是现有的遥感图像融合方法存在着背景杂波多、目标与杂波比低等缺点，后续使用得到的融合图像进行目标检测、目标识别等处理时，效果较差。

发明内容

本申请实施例提供一种多源遥感图像的融合方法，旨在解决现有遥感图像融合方法得到的融合图像背景杂波多、目标与杂波比低，不利于目标检测和目标识别的技术问题。

本申请实施例第一方面提供一种多源遥感图像的融合方法，所述方法包括：

获取对应的天基遥感图像和空基遥感图像；

对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域；

利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数；

依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵；

计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数；

依据所述共同目标提议区域、所述背景杂波抑制函数、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像。

可选的，对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域，包括：

调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像；

计算各第一天基遥感图像、各第一空基遥感图像对应的梯度范数图，得到多个天基遥感梯度范数图、多个空基遥感梯度范数图；

使用分类器对各天基遥感梯度范数图、各空基遥感梯度范数图分别进行目标提议，得到各第一天基遥感图像、各第一空基遥感图像对应的目标提议区域；

基于所有第一天基遥感图像的目标提议区域、所有第一空基遥感图像的目标提议区域，对应计算所述天基遥感图像的目标提议矩阵、所述空基遥感图像的目标提议矩阵；

依据所述天基遥感图像的目标提议矩阵和所述空基遥感图像的目标提议矩阵，计算所述共同目标提议区域。

可选的，所述基于所有第一天基遥感图像的目标提议区域、所有第一空基遥感图像的目标提议区域，对应计算所述天基遥感图像的目标提议矩阵、所述空基遥感图像的目标提议矩阵，还包括：

将各第一天基遥感图像、各第一空基遥感图像回复为原始尺度，得到所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域；

基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵。

可选的，所述基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵，采用以下公式进行：

其中，O_S为所述天基遥感图像的目标提议矩阵，O_A为所述空基遥感图像的目标提议矩阵，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标。

可选的，调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像，包括：

对所述天基遥感图像、所述空基遥感图像进行不等比例的尺寸调整。

可选的，所述科普拉模型需要预先计算参数，包括：

获取标记图像，所述标记图像包括已标记背景杂波像素点的天基遥感图像和已标记背景杂波像素点的空基遥感图像；

将所述已标记天基遥感图像和所述已标记空基遥感图像中相同位置的像素点组成的像素对；

采用以下公式计算所述科普拉模型的相关参数：

其中，c表示科普拉密度函数的估计值，θ_c表示科普拉密度函数中参数的估计值，f_S表示天基图像中背景杂波概率密度函数的估计值，f_A表示空基图像中背景杂波概率密度函数的估计值，表示c,θ_c,f_S,f_A对应的估计值，Θ_c表示θ_c的值域，/>表示科普拉密度字典，H₀表示杂波占据当前像素对，/>表示对数似然函数，L表示像素对编号。

可选的，所述利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数，采用以下公式进行计算：

其中，(z_S,z_A)表示所述天基遥感图像和所述空基遥感图像中相同位置的像素点组成的像素对，F_S由积分得到，F_A由/>积分得到。

可选的，依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵，采用以下公式进行计算：

其中，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标， (z_S,z_A)表示所述天基遥感图像和所述空基遥感图像中相同位置的像素点组成的像素对；

得到所述背景杂波抑制矩阵P，

可选的，计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数，采用以下公式进行计算：

其中，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标；

α＝-log κ (7)。

可选的，依据所述共同目标提议区域、所述背景杂波抑制函数、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像，采用以下公式进行：

I_F＝I_A+α(O⊙P)(8),

其中，I_F表示融合图像，I_A表示所述空基遥感图像，O表示所述共同目标提议区域，P表示所述背景杂波抑制矩阵，α表示所述融合权值函数。

采用本申请提供的多源遥感图像的融合方法，基于目标提议对天基遥感图像和空基遥感图像中共同的目标区域进行增强，并基于科普拉模型对天基遥感图像和空基遥感图像的共同目标区域中杂波区域进行抑制。相比于传统的遥感图像融合方法，本发明所提出的方法可以显著地提升天空基合成遥感图像中的目标与杂波比，有助于提升后续的目标检测和目标识别性能。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的多源遥感图像的融合方法的流程图；

图2是本申请一实施例提出的海面舰船的遥感图像；

图3是本申请一实施例提出的各融合方法得到海面舰船的遥感融合图像。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

【实施例一】

参考图1，图1是本申请一实施例提出的多源遥感图像的融合方法的流程图。如图1所示，该方法包括以下步骤：

步骤S110、获取对应的天基遥感图像和空基遥感图像。

获取待融合的天基遥感图像和空基遥感图像，天基遥感图像指天基平台成像传感器，例如合成孔径雷达(SAR)等，形成的遥感图像，空基遥感图像是指空基平台，例如无人机、飞机等，上的成像传感器形成的遥感图像。所述天基遥感图像和所述空基遥感图像观测的是同一片区域、同一个/同一批目标，具有对应关系，目标的结构、数量、编队等信息分别蕴含在天基遥感图像、空基遥感图像的数据中，因此，天基遥感图像、空基遥感图像数据间内在的相关性是存在的，即存在数据的联合稀疏性。

步骤S120、对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域。

对于天基遥感图像、空基遥感图像分别进行目标提议，目标提议方法是多样的，例如可以使用R-CNN、Faster R-CNN中的region proposal network，RPN区域提议网络，也可以使用R-FCN、FPN中负责目标提议的中间层进行。目标提议后，一般会得到包含目标在内的一个最小区域，称为目标提议区域。目标提议得到天基遥感图像的目标提议区域、空基遥感图像的目标提议区域，根据两个图像各自的目标提议区域，计算两个图像共同的目标提议区域。

步骤S130、利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数。

科普拉，Copula，是概率论中的一个概念，其能够将一个多元随机变量的联合分布分解为各个变量的边缘分布以及各个变量之间的相关性结构的函数。本申请中的背景杂波是指除目标之外的其他所有背景，如本申请的天基遥感图像是一张船只在海面上的航行图，那么除船只这一目标外，其他的海面、云朵等都是背景杂波。

由于本申请使用的天基遥感图像、空基遥感图像存在数据相关性，因此可以利用科普拉模型来描述计算天基遥感图像中背景杂波和空基遥感图像中背景杂波的相关性，得到联合概率密度函数。联合概率密度函数表达了同时对于天基遥感图像背景杂波和空基遥感图像背景杂波的概率分布情况。

步骤S140、依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵。

图像中的背景杂波相对于目标来说是无用的，并且会对目标的识别上产生干扰，因此需要将背景杂波抑制。由于步骤S130中所得到的联合概率密度函数表示了天基遥感图像、空基遥感图像中共同的背景杂波分布情况，因此可以依据这一联合概率密度函数去求得二者背景杂波共同的抑制系数分布，即背景杂波抑制矩阵。当某一区域的联合概率密度函数的值越大，相应的这一区域两张图片共同的抑制系数就越大。

步骤S150、计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数。

计算天基遥感图像和空基遥感图像的相似程度，由于融合的两张图像是关于同一目标的，那么当两张图像中的同一位置的某一部分的相似程度越高，显然两张图像这一位置包含相同内容的几率就越大，对于要获得的融合图像，这两部分就是越值得融合在一起，这样融合后的图像包含的信息才更多，因此，计算得到某一部分相似程度越高，其就应当被标注的融合权值越大的部分。计算天基遥感图像和空基遥感图像各部分的相似程度函数，将得到的相似程度函数进一步转化为融合权值函数。

步骤S160、依据所述共同目标提议区域、所述背景杂波抑制矩阵、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像。

空基遥感图像的分辨率一般较高，因此选用其作为基础进行融合。融合方法为依据步骤S140得到的背景杂波抑制矩阵对步骤S120得到的共同目标提议区域进行背景杂波抑制，将抑制后的共同目标提议区域与融合权值函数相乘，将乘积获得的结果与质量高的空基图像融合，获得融合图像。

本实施例的多源遥感图像的融合方法，基于目标提议对天基遥感图像和空基遥感中共同的目标区域进行增强，并基于科普拉模型天基遥感图像和空基遥感的共同目标区域中杂波区域进行抑制。相比于传统的遥感图像融合方法，本发明所提出的方法可以显著地提升天空基合成遥感图像中的目标与杂波比，有助于提升后续的目标检测和目标识别性能。

【实施例二】

在实施例一的基础上，本申请的一个可选实施例还提出的一种多源遥感图像的融合方法，该方法包括以下步骤：

步骤S210、获取对应的天基遥感图像和空基遥感图像。

天基遥感图像指例如卫星的合成孔径雷达(SAR)、高分辨成像光谱仪、或者光学成像传感器等获取的图像数据，空基遥感图像指位于空基平台如无人机、飞机上的成像传感器获取的图像数据。本申请的天基遥感图像和空基遥感图像是对同一片区域、同一个/同一批目标在不同平台上的成像，两种遥感图像在内容上存在对应关系，由于天基遥感图像和空基遥感图像观测的是同一目标，因此天基遥感图像和空基遥感图像存在数据相关性。

步骤S220、对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域。具体的，包括：

步骤S220-1、调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像。

不同程度的调整天基遥感图像的尺寸，得到多个尺度的第一天基遥感图像；不同程度的调整空基遥感图像的尺寸，得到多个尺度的第一空基遥感图像。

可选的，调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像，包括：

对所述天基遥感图像、所述空基遥感图像进行多个不等比例的尺寸调整，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像。

具体包括：

1、设置多个调整尺寸。例如，设置调整尺寸为U，当图像的尺寸为M×N时，U应当满足U≤M,≤N。

2、依据调整尺寸对所述天基遥感图像和所述空基遥感图像进行调整。

将图像的横、纵尺寸都调整为U，得到图像调整尺度的集合Λ，Λ中的元素为{(第一天基遥感图像|p₁,q₂),(第一天基遥感图像|p₂,q₂),……，(第一天基遥感图像|p_u,q_u)，(第一空基遥感图|p₁,q₂),(第一空基遥感图像|p₂,q₂),……(第一空基遥感图像|p_u,q_u)}，其中，p_u是介于1到M之间的一个任意值，q_u是介于1到N之间的一个任意值,u＝1,2……，U,在本申请中设置U＝20

步骤S220-2、计算各第一天基遥感图像、各第一空基遥感图像对应的梯度范数图，得到多个天基遥感梯度范数图、多个空基遥感梯度范数图。

计算各第一天基遥感图像对应的梯度范数图，各第一空基遥感图像对应的梯度范数图。梯度范数图指图像梯度L0范数平滑图像，图像平滑是计算摄影学一门基础重要的工具，其作用是拂去不重要的细节，保留较大的图像边缘，主要应用于边缘检测，JPEG压缩图像人工伪迹去除，非真实绘制等领域。，L0范数平滑是图像平滑手段一种，其使用基于稀疏策略的全局平滑滤波器对图像进行平滑，该平滑图像方法使用图像梯度L0范数，通过去除小的非零梯度，能够抚平不重要的细节信息，并增强图像显著性边缘。

计算每个第一天基遥感图像对应的天基遥感梯度范数图，得到多个天基遥感梯度范数图，计算每个第一空基遥感图像对应的空基遥感梯度范数图，得到多个空基遥感梯度范数图。

步骤S220-3、使用分类器对各天基遥感梯度范数图、各空基遥感梯度范数图分别进行目标提议，得到各第一天基遥感图像、各第一空基遥感图像对应的目标提议区域。

在本实施例中使用分类器进行目标提议，所述分类器是预先训练得到的，所述分类器按照预设大小的滑窗逐步移动，将整个图像识别完。分类器会判断滑窗内包括的内容是否包含目标，将分类器移动过程中所有判断认为包含目标的滑窗区域连接起来，就可以得到一个图像的目标提议区域。

本实施例所述分类器是预先训练得到的，所述训练包括：收集多个天基遥感图像和多个空基遥感图像。

标记天基遥感图像和空基遥感图像中的目标方框、杂波方框。在收集到的天基遥感图像和空基遥感图像中标记出认为属于目标的像素点和属于杂波的像素点，显然可以根据后续分类器的使用来对应的标记目标与杂波，例如对于海面舰船的遥感图像的遥感图像，那么对于海面、海鸥等都是背景杂波，只有舰船是目标。在得到遥感图像中的目标像素点、杂波像素点后就可以画出出目标方框、杂波方框。

降采样目标方框和杂波方框为预设的尺寸，这里设置的大小将决定后续分类器实际使用是能够判断的大小，因此此处尺寸大小即指后续使用的滑窗。

计算降采样后目标方框、杂波方框的梯度范数图，并基于所有梯度范数图建立训练集。计算目标方框的梯度范数图，计算杂波方框的梯度范数图，根据得到的目标方框梯度范数图和杂波方框梯度范数图，以是否目标方框为结果标签，梯度范数图为训练数据建立训练集。

利用训练集训练预设的机器学习模型，得到分类器。本实施例中使用支持向量机SVM作为原始机器学习模型，使用训练集训练SVM，得到分类器。

使用分类器对各天基遥感梯度范数图进行目标提议，得到各天基遥感梯度范数图的目标提议区域时，可以根据天基遥感梯度范数图与天基遥感图像对应关系，得到各第一天基遥感图像的目标提议区域。与得到各第一天基遥感图像的目标提议区域过程相似的，使用分类器对各空基遥感梯度范数图分别进行目标提议，得到各第一空基遥感图像对应的目标提议区域。

步骤S220-4、基于所有第一天基遥感图像的目标提议区域、所有第一空基遥感图像的目标提议区域，对应计算所述天基遥感图像的目标提议矩阵、所述空基遥感图像的目标提议矩阵。

根据所有第一天基遥感图像的目标提议区域，计算所述天基遥感图像的目标提议矩阵，根据所有第一空基遥感图像的目标提议区域计算空基遥感图像的目标提议矩阵。具体的，包括：

1、将各第一天基遥感图像、各第一空基遥感图像回复为原始尺度，得到所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域。

将不同尺度下的第一遥感图像的复原为原始尺度，即将各第一天基遥感图像还原为原始的天基遥感图像，由于各第一天基遥感图像的目标提议区域不同，因此在将各第一天基遥感图像还原后，会得到原始天基遥感图像的多个目标提议区域。相似的，将各第一空基遥感图像还原为原始的空基遥感图像，会得到原始空基遥感图像的多个目标提议区域。

2、基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵。

根据天基遥感图像的多个目标提议区域，计算天基遥感图像的目标提议矩阵。根据空基遥感图像的多个目标提议区域，计算空基遥感图像的目标提议矩阵。

可选的，所述基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵，采用以下公式进行：

其中，O_S为所述天基遥感图像的目标提议矩阵，O_A为所述空基遥感图像的目标提议矩阵，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标。

具体的，可以采用以上公式来计算天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵，当天基遥感图像中一个像素点位于天基遥感图像的任意一个目标提议区域内时，将该像素点的位置标记为1，当像素点不位于任意一个目标提议区域内时，将该像素点的位置标记为0，逐个像素点对整个天基遥感图像进行判断，最后得到天基遥感图像的目标提议矩阵。对于空基遥感图像，采用相同的手段得到空基遥感图像的目标提议矩阵。

将遥感图像变换尺度后，遥感图像在不同尺度的表达，能够包含不同的特征，从而目标提议也会呈现不同的结果。综合遥感图像在不同尺度上的目标提议区域后，即从不同的特征出发进行目标提议，能够得到遥感图像精准的目标提议区域。

步骤S220-5、依据所述天基遥感目标提议矩阵和所述空基遥感目标提议矩阵，计算所述共同目标提议区域。

将得到的天基遥感目标提议矩阵和空基遥感目标提议矩阵点乘计算共同目标提议区域，即O＝O_A⊙O_S，⊙表示哈达玛积，O为共同目标提议区域。

步骤S230、利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数。

科普拉，Copula，是概率论和统计学中的一个概念，其表示为一个多元累积分布函数，其理论基础来自于斯克拉Sklar定理，Sklar定理指出，对于一个具有连续边缘分布的F(x)与G(y)的二元联合分布函数H(x,y)，那么存在唯一的copula函数C，使得H(x,y)＝C(F(x),G(y))。反之，如果C是一个copula函数，而F和G是两个任意的概率分布函数，那么由上式定义的H函数一定是一个联合分布函数，且对应的边缘分布刚好就是F和G。

Copulas在高维统计的应用中很流行，因为它使人们可以轻松地建模与通过分别估计边际分布和Copulas估计随机向量的分布。Copulas有许多可用的参数族，每一个Copulas参数族通常具有控制依赖性强度的参数。本实施例的科普拉模型使用高斯参数科普拉，阿基米德Copulas很受欢迎，因为它们允许仅通过一个参数就可以在任意高维度上对依赖性进行建模，从而控制了依赖性的强度。

所述科普拉模型需要预先计算参数，包括：

对于使用的高斯参数科普拉,需要预先计算科普拉的参数，具体过程包括：

A、获取标记图像，所述标记图像包括已标记背景杂波像素点的天基遥感图像和已标记背景杂波像素点的空基遥感图像。

获取标记图像，标记图像中包括至少一对天基遥感图像和空基遥感图像，这一对图像是同一个/同一批目标分别在天基平台和空基平台上的遥感成像，并且，标记图像中的天基遥感图像和空基遥感图像都已经标记出了属于背景杂波的像素点。

B、将所述已标记天基遥感图像和所述已标记空基遥感图像中相同位置的像素点组成的像素对。

标记图像中的一对图像尺寸是相同的，例如两张图像尺寸都为M×N，这样就可以将已标记天基遥感图像和已标记空基遥感图像中像素点对应起来。

C、采用以下公式计算所述科普拉模型的相关参数：

其中，c表示科普拉密度函数的估计值，θ_c表示科普拉密度函数中参数的估计值，f_S表示天基图像中背景杂波概率密度函数的估计值，f_A表示空基图像中背景杂波概率密度函数的估计值，表示c,θ_c,f_S,f_A对应的估计值，Θ_c表示θ_c的值域，/>表示科普拉密度字典，H₀表示杂波占据当前像素对，/>表示对数似然函数，L表示像素对编号。

科普拉密度字典是本实施例预先构建的，根据以下4种科普拉函数C[u₁,u₂]构建，即公式9-2至公式9-4，且/>

Clayton：θ∈[-1,+∞)\{0},(9-2)；

Frank：C[u₁,u₂]＝-θ^-1 log{1+[exp(-θ)-1]^-1∏_i＝1,2[exp(-θu_i)-1]},

Gumbel：θ>1,(9-4)

Product：C[u₁,u₂]＝u₁u₂,(9-5)

计算得到科普拉模型相关的参数和函数后，利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数，采用以下公式进行计算：

其中，(z_S,z_A)表示所述天基遥感图像和所述空基遥感图像中相同位置的像素点组成的像素对，c表示科普拉密度函数的估计值，f_S表示天基图像中背景杂波概率密度函数的估计值，f_A表示空基图像中背景杂波概率密度函数的估计值，表示c,f_S,f_A对应的估计值，F_S由/>积分得到，F_A由/>积分得到。

步骤S240、依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵。

图像中的背景杂波会造成图像的目标与杂波比低，相对于目标来说是无用的，会对目标的处理如类型识别、位置预测等产生干扰，因此对于需要获得的融合图像有必要将背景杂波抑制。由于步骤S230中所得到的联合概率密度函数表示了天基遥感图像、空基遥感图像中共同的背景杂波分布情况，因此可以依据这一联合概率密度函数去求得二者背景杂波共同的抑制系数分布，即背景杂波抑制矩阵。

可选的，依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵，采用以下公式进行计算：

其中，m,n为图像尺寸，所述天基遥感图像和所述空基遥感图像尺寸都为m×n，(m,n)表示图像的一个像素点，表示所述天基遥感图像和所述空基遥感图像中相同位置的像素点组成的像素对；

得到所述背景杂波抑制矩阵P，

将联合概率密度函数进行负指数翻转得到背景杂波抑制矩阵，当某一区域的联合概率密度函数的值越大，相应的这一区域两张图片共同的抑制系数就越大。

步骤S250、计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数。

计算天基遥感图像和空基遥感图像的相似程度，由于融合的两张图像是关于同一目标的，那么当两张图像中的同一位置的某一部分的相似程度越高，显然两张图像这一位置包含相同内容的几率就越大，对于要获得的融合图像，这两部分就是越值得融合在一起，这样融合后的图像包含的信息才更多，因此，计算得到某一部分相似程度越高，其就应当被标注的融合权值越大的部分。

计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数，可以采用以下公式进行：

其中，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标；

α＝-log κ (7)。

将天基遥感图像和空基遥感图像的相同位置的像素点作为一对，逐对计算相似程度，直到计算完所有像素对，得到出两张图像整体的相似程度分布，即公式6，并依据公式6计算融合权值函数。

步骤S260、依据所述共同目标提议区域、所述背景杂波抑制函数、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像。

空基遥感图像的分辨率一般较高，因此选用其作为基础进行融合。融合方法为依据步骤S240得到的背景杂波抑制矩阵对步骤S220得到的共同目标提议区域进行背景杂波抑制，将抑制后的共同目标提议区域与融合权值函数相乘，将乘积获得的结果与质量高的空基图像融合，获得融合图像。具体可采用以下公式进行：

I_F＝I_A+α(O⊙P) (8),

其中，I_F表示融合图像，I_A表示所述空基遥感图像，O表示所述共同目标提议区域，P表示所述背景杂波抑制矩阵，α表示所述融合权值函数。

图2是本申请一实施例提出的海面舰船的遥感图像，如图2所示，图2-a为海面舰船的天基遥感图像，图2-b为海面舰船的空基遥感图像，图2-c为海面舰船目标真实位置，本实施例的方法可应用于图2的海面舰船的遥感图像后，得到融合图像如3-g所示，融合图像目标与杂波比为12.84dB。

图3是本申请一实施例提出的各融合方法得到海面舰船的遥感融合图像，本实施例还采用现有方法对图2所示的遥感图像进行融合，得到结果如下，图3-a为加融合得到融合图像，目标与杂波比为5.42dB,3-b为乘融合得到融合图像，目标与杂波比为10.52dB,3-c为模糊融合得到融合图像，目标与杂波比为9.93dB,3-d为小波变换融合得到融合图像，目标与杂波比为8.21dB,3-e为主成分融合得到融合图像，目标与杂波比为5.31dB,3-f为自编解码融合得到融合图像，目标与杂波比为4.38dB。显然本申请实施例的融合图像提供了更高的目标与杂波比，显著地增强了目标，抑制了背景杂波。

本实施例的多源遥感图像的融合方法，基于目标提议对天基遥感图像和空基遥感图像中共同的目标区域进行增强，并基于科普拉模型对天基遥感图像和空基遥感图像的共同目标区域中杂波区域进行抑制。相比于传统的遥感图像融合方法，本发明所提出的方法可以显著地提升天空基合成遥感图像中的目标与杂波比，有助于提升后续的目标检测和目标识别性能。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种多源遥感图像的融合方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种多源遥感图像的融合方法，其特征在于，所述方法包括：

获取对应的天基遥感图像和空基遥感图像；

对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域；

利用科普拉模型计算所述天基遥感图像和所述空基遥感图像中背景杂波的联合概率密度函数，包括：获取标记图像，所述标记图像包括已标记背景杂波像素点的天基遥感图像和已标记背景杂波像素点的空基遥感图像；将所述已标记背景杂波像素点的天基遥感图像和所述已标记背景杂波像素点的空基遥感图像中相同位置的像素点组成像素对；计算所述科普拉模型的参数：

其中，c表示科普拉密度函数的估计值，θ_c表示所述科普拉密度函数中参数的估计值，f_S表示天基遥感图像中背景杂波概率密度函数的估计值，f_A表示空基遥感图像中背景杂波概率密度函数的估计值，表示c,θ_c,f_S,f_A对应的估计值，Θ_c表示θ_c的值域，/>表示科普拉密度字典，H₀表示杂波占据当前像素对，/>表示对数似然函数，L表示像素对编号；

利用所述科普拉模型计算所述联合概率密度函数：

其中，(z_S,z_A)表示所述天基遥感图像和所述空基遥感图像中相同位置的像素点组成的像素对，F_S由积分得到，F_A由/>积分得到；

依据所述联合概率密度函数计算所述天基遥感图像和所述空基遥感图像的背景杂波抑制矩阵P：

其中，所述天基遥感图像和所述空基遥感图像的尺寸都为m×n，(m,n)表示图像的一个像素点，m＝1,2……M,n＝1,2,……N，

计算所述天基遥感图像和所述空基遥感图像的相似程度，将所述相似程度转换为融合权值函数α：

α＝-logκ

其中，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标；

依据所述共同目标提议区域、所述背景杂波抑制矩阵、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像。

2.根据权利要求1所述方法，其特征在于，对所述天基遥感图像和所述空基遥感图像分别进行目标提议，确定所述天基遥感图像和所述空基遥感图像的共同目标提议区域，包括：

调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像；

计算各第一天基遥感图像、各第一空基遥感图像对应的梯度范数图，得到多个天基遥感梯度范数图、多个空基遥感梯度范数图；

使用分类器对各天基遥感梯度范数图、各空基遥感梯度范数图分别进行目标提议，得到各第一天基遥感图像、各第一空基遥感图像对应的目标提议区域；

基于所有第一天基遥感图像的目标提议区域、所有第一空基遥感图像的目标提议区域，对应计算所述天基遥感图像的目标提议矩阵、所述空基遥感图像的目标提议矩阵；

依据所述天基遥感图像的目标提议矩阵和所述空基遥感图像的目标提议矩阵，计算所述共同目标提议区域。

3.根据权利要求2所述方法，其特征在于，所述基于所有第一天基遥感图像的目标提议区域、所有第一空基遥感图像的目标提议区域，对应计算所述天基遥感图像的目标提议矩阵、所述空基遥感图像的目标提议矩阵，还包括：

将各第一天基遥感图像、各第一空基遥感图像回复为原始尺度，得到所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域；

基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵。

4.根据权利要求3所述方法，其特征在于，所述基于所述天基遥感图像的多个目标提议区域、所述空基遥感图像的多个目标提议区域，对应计算所述天基遥感图像的目标提议矩阵和空基遥感图像的目标提议矩阵，采用以下公式进行：

其中，O_S为所述天基遥感图像的目标提议矩阵，O_A为所述空基遥感图像的目标提议矩阵，所述天基遥感图像和所述空基遥感图像尺寸都为M×N，m＝1,2……M,n＝1,2,……N，(m,n)表示图像中像素点的坐标。

5.根据权利要求2所述方法，其特征在于，调整所述天基遥感图像和所述空基遥感图像的尺度，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像，包括：

对所述天基遥感图像、所述空基遥感图像进行多个不等比例的尺寸调整，得到不同尺度的第一天基遥感图像和不同尺度的第一空基遥感图像。

6.根据权利要求1所述方法，其特征在于，所述依据所述共同目标提议区域、所述背景杂波抑制函数、所述融合权值函数以及所述空基遥感图像，获得所述天基遥感图像和所述空基遥感图像的融合图像，采用以下公式进行：

I_F＝I_A+α(O⊙P) (8),

其中，I_F表示融合图像，I_A表示所述空基遥感图像，O表示所述共同目标提议区域，P表示所述背景杂波抑制矩阵，α表示所述融合权值函数。