CN113435487B - 一种面向深度学习的多尺度样本生成方法 - Google Patents

Abstract

本发明公开了一种面向深度学习的多尺度样本生成方法，属于遥感图像处理领域。本发明首先利用常用比例尺构建样本尺度空间，根据样本的原始分辨率确定需要上采样和下采样的参数值，分别利用小波变换和高斯尺度变换将构建图像的多尺度样本。本发明方法极大地扩展了单一分辨率样本训练的深度学习模型适用的图像范围，利用高斯尺度变换方法在生成低分辨率图像的同时不改变图像的大小，简化了深度学习模型的结构，处理方法成熟，易于实现，计算复杂度较低。同时，本发明方法适用于光学、红外、SAR、高光谱等多种类型的影像，对深度学习模型具有广泛的适用性，可用于目标检测、地物分类、变化检测等多种场景。

Description

一种面向深度学习的多尺度样本生成方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种面向深度学习的多尺度样本生成方法。

背景技术

随着越来越多的高空间分辨率遥感数据不断出现，使得人们更加关注如何综合利用各类有用的信息提取技术，因此，如何从各类遥感数据更好地提取定量信息成为遥感科学的一个重要难题。比如，遥感图像目标检测识别及图像分类是遥感图像应用中的重要应用领域及难题，它是指通过对遥感图像的分析和研究，达到辨识目标以及确定目标的各种特性信息的目的。不管是在军事应用当中还是民用方面，基于遥感图像的目标检测识别和分类技术都发挥着十分重要的作用。

近年来，随着深度学习方法的研究与发展，以及该方法在自然场景图像解译、大数据分析等一系列应用中取得的成功，使得深度学习逐步引起遥感图像解译研究人员的重视，并开始将深度学习算法引入到遥感图像解译等应用中来。由于遥感图像，尤其是星载遥感图像的成像角度和距离相对固定，同类目标的尺度和外观与自然场景图像目标相比变化较小，因此如何提取和利用遥感图像目标的这些不变特征具有很高的研究价值。深度学习方法可通过学习一种深层非线性网络结构，实现复杂函数逼近和分布式的特征表示，同时深度学习中非监督特征学习方法展现了强大的从样本数据集中学习从低层到高层本质特征的能力。在遥感图像目标检测识别领域中，深度学习具有很大的应用前景。

深度学习是一种监督的处理方法，需要训练样本进行模型训练，训练样本对其效能的发挥有重要的影响。深度学习在遥感图像中进行应用的一个难点是遥感分辨率是多尺度的，模型仅对与样本分辨率接近的遥感影像具有较高的精度。因此如何提高深度学习对多分辨率遥感影像的适用性是亟待解决的关键问题。

发明内容

针对深度学习模型无法适用多种分辨率遥感图像的问题，本发明提供一种面向深度学习的多尺度样本生成方法。该方法在原始样本的基础上，通过算法构建多尺度样本，实现深度学习模型对多种分辨率图像的适应。

本发明采用的技术方案为：

一种面向深度学习的多尺度样本生成方法，包括以下步骤：

步骤1，计算不同规格的比例尺所对应的尺度分辨率s_i，1≤i≤K，K为比例尺的总数；

步骤2，将当前样本的样本分辨率λ与K个尺度分辨率进行对比，得到{s_i},1≤i＜n为高于λ的分辨率，{s_i},n≤i≤K为低于λ的分辨率；其中，

λ_x为水平方向分辨率，λ_y为垂直方向分辨率；

步骤3，对当前样本进行3层小波变换，得到小波域的图像，然后根据样本分辨率λ和尺度分辨率{s_i},1≤i＜n确定插值系数，在小波域进行插值，并进行反向小波变换，得到n-1个高分辨率的目标样本；

步骤4，根据样本分辨率λ和尺度分辨率{s_i},n≤i≤K确定插值系数，在此基础上确定高斯尺度空间的尺度参数和高斯核函数，然后使用高斯核函数对当前样本进行空间变换，得到K+1-n个低分辨率的目标样本；

步骤5，将n-1个高分辨率目标样本、K+1-n个低分辨率目标样本以及原始的当前样本汇集为用于深度学习训练的多尺度样本集合。

进一步的，步骤1中的比例尺共有11个，分别为1:500、1:1000、1:2000、1:5000、1:10000、1:25000、1:50000、1:100000、1:250000、1:500000、1:1000000，相应地，得到的尺度分辨率分别为0.15米、0.3米、0.6米、1.5米、3米、7.5米、15米、30米、75米、150米、300米。

进一步的，步骤3的具体方式为：

步骤3a，对当前样本进行3层小波变换，小波函数采用Morlet，共获得10个小波分量，其中低频分量为1个，高频分量为9个；

步骤3b，针对n-1个尺度分辨率{s_i},1≤i＜n，分别计算插值系数

步骤3c，将插值系数分别设为t_i，在每个插值系数下，将10个小波分量采用双线性插值法进行插值，插值后，每个分量的行、列均变为插值前的t_i倍；共获得n-1组小波分量；

步骤3d，对n-1组小波分量进行逆变换，获得n-1个高分辨率的目标样本；逆变换时，高频分量的系数h的计算方式为：

其中

为小波分解逆变换的原始系数，q为高频分量所在小波层数。

进一步的，步骤4的具体方式为：

步骤4a，针对K+1-n个尺度分辨率{s_i},n≤i≤K，分别计算插值系数

步骤4b，构建高斯尺度函数

其中，

得到K+1-n个高斯尺度函数；然后，按照±3σ的范围构建高斯滤波核函数，得到K+1-n个高斯滤波核函数；

步骤4c，利用K+1-n个高斯滤波核函数分别对当前样本进行处理，生成K+1-n个低分辨率的目标样本。

本发明具有如下优点：

(1)本发明方法可针对常用的比例尺生成多尺度样本，极大地扩展了单一分辨率样本训练的深度学习模型适用的图像范围，利用高斯尺度变换方法在生成低分辨率图像的同时不改变图像的大小，简化了深度学习模型的结构。

(2)本发明方法采用经过优化的小波变换和高斯尺度函数进行样本生成，易于实现，计算复杂度较低。

(3)本发明方法从训练样本入手，适用于光学、红外、SAR、高光谱等多种类型的影像，对深度学习模型具有广泛的适用性，可用于目标检测、地物分类、变化检测等多种场景。

附图说明

图1为本发明方法的整体流程图。

图2为本方法的试验结果。

具体实施方式

下面结合附图及具体实施方式对本发明的技术方案做进一步的说明。

一种面向深度学习的多尺度样本生成方法，该方法根据常用比例尺将构建样本尺度空间，根据样本的原始分辨率确定需要上采样和下采样的参数值，分别利用小波变换和高斯尺度变换将构建图像的多尺度样本。

如图1所示，该方法具体包括以下步骤：

步骤1，确定样本尺度空间范围。根据我国常用的11个规格的比例尺，1:500、1:1000、1:2000、1:5000、1:10000、1:25000、1:50000、1:100000、1:250000、1:500000、1:1000000，计算相应的图像空间分辨率s＝[s₁…s₁₁]^T分别为：0.15米、0.3米、0.6米、1.5米、3米、7.5米、15米、30米、75米、150米、300米；

步骤2，将当前样本的空间分辨率λ与步骤1中11个空间分辨率s进行大小对比，假定分辨率高于λ的尺度空间共有n-1个，记为{s_i},1≤i＜n，分辨率低于λ的尺度空间共有12-n个，{s_i},n≤i≤11，当前样本空间分辨率λ为遥感水平方向分辨率λ_x和垂直方向分辨率λ_y综合确定，即

步骤3，利用小波变换方法生成高分辨率的目标样本。对样本进行3层小波变换，得到小波域的图像，在根据样本分辨率λ和尺度分辨率s_i确定插值系数，在小波域进行插值，然后选择合适的权重进行反向小波变换，得到更高分辨率的目标样本；

步骤4，利用高斯尺度空间变换方法生成低分辨率的目标样本。根据样本分辨率λ和尺度分辨率s_i确定插值系数，在此基础上确定高斯尺度空间的尺度参数和高斯核函数，然后高斯核函数对样本进行空间变换，得到低分辨率的目标样本。

步骤5，步骤3、步骤4共生成11个尺度的样本，加上原始样本，共计12个样本，作为深度学习训练的多尺度样本集合。

其中，步骤3所述的高分辨率样本生成方式如下：

步骤3a，对当前图像进行3层小波变换，小波函数采用Morlet，共获得10个小波分量，其中低频分量为1个，高频分量为9个(分属3层变换，每层3个)；

步骤3b，针对n-1个高分辨率尺度空间{s_i},1≤i＜n，计算每个空间的插值系数

步骤3c，步骤3a获取的10个小波分量采用双线性插值法进行插值，插值系数为t_i，即插值后，每个分量的行、列均变为插值前的t_i倍，获得n-1组小波分量；

步骤3d，对n-1组小波分量进行逆变换，逆变换时，高频分量的系数h，计算方式为：

其中

为小波分解逆变换的原始系数，q为高频分量所在小波层数。共获得n-1组高分辨率样本。

其中，步骤4所述的低分辨率样本生成方式如下：

步骤4a，针对12-n个低分辨率尺度空间{s_i},n≤i≤11，计算每个空间的插值系数

步骤4b，构建高斯尺度函数为

其中

然后，按照±3σ的范围构建高斯滤波核函数；

步骤4c，利用12-n个高斯滤波核函数对原始样本图像进行处理，生成对应的低分辨率图像。

深度学习是目前遥感图像目标检测、地物分类等应用的主流技术，深度学习效能的发挥与目标样本强烈相关。使用单一分辨率样本训练的模型一般仅适用于处理与样本分辨率接近的图像。本方法通过一种面向深度学习的多尺度样本生成方法，在原始样本的基础上，通过算法构建多尺度样本，实现深度学习模型对多种分辨率图像的适应。同时，本方法在生成多尺度低分辨率样本的同时，不改变样本的大小，简化深度学习模型的复杂度。

本方法的效果可通过以下试验进一步说明：

1.试验条件。

计算机配置为Intel Core i7-3770 CPU 3.4Ghz，64GB内存；操作系统为Windows764位专业版，软件环境为MATLAB 2017以及TensorFlow。

2.试验方法。

采用经过本方法处理的样本和使用原始样本对深度学习模型分别进行训练，然后利用训练后的模型对多种分辨率的图像进行目标检测试验，对结果进行分析。深度学习模型采用深度残差网络模型。目标样本是舰船目标，总数目1635个，来自与google earth、高分2号等传感器，分辨率范围在0.3米-2米之间。测试数据包括高分1号、高分2号、资源一号、Landsat等卫星，分辨率范围在0.8米-30米之间。

3.试验结果。

试验结果如图2所示。

试验结果表明，本方法处理的训练样本在高分辨率的时候(优于2米)，比原始样本获得的检测精度高6个百分点。对于中低分辨率的影像(10米-20米、30米)，本方法的样本获得的检测精度远远高于原始样本的检测精度。试验表明，通过本发明方法处理的样本能够使深度学习适用于多种分辨率的遥感图像。

总之，本发明在原始样本的基础上，通过算法构建多尺度样本，实现深度学习模型对多种分辨率图像的适应。本发明方法极大地扩展了单一分辨率样本训练的深度学习模型适用的图像范围，利用高斯尺度变换方法在生成低分辨率图像的同时不改变图像的大小，简化了深度学习模型的结构，处理方法成熟，易于实现，计算复杂度较低。同时，本发明方法适用于光学、红外、SAR、高光谱等多种类型的影像，对深度学习模型具有广泛的适用性，可用于目标检测、地物分类、变化检测等多种场景。

Claims (3)

1.一种面向深度学习的多尺度样本生成方法，其特征在于，包括以下步骤：

步骤1，计算不同规格的比例尺所对应的尺度分辨率s_i，1≤i≤K，K为比例尺的总数；

步骤2，将当前样本的样本分辨率λ与K个尺度分辨率进行对比，得到{s_i},1≤i＜n为高于λ的分辨率，{s_i},n≤i≤K为低于λ的分辨率；其中，

λ_x为水平方向分辨率，λ_y为垂直方向分辨率；

步骤3，对当前样本进行3层小波变换，得到小波域的图像，然后根据样本分辨率λ和尺度分辨率{s_i},1≤i＜n确定插值系数，在小波域进行插值，并进行反向小波变换，得到n-1个高分辨率的目标样本；具体方式为：

步骤3a，对当前样本进行3层小波变换，小波函数采用Morlet，共获得10个小波分量，其中低频分量为1个，高频分量为9个；

步骤3b，针对n-1个尺度分辨率{s_i},1≤i＜n，分别计算插值系数

步骤3c，将插值系数分别设为t_i，在每个插值系数下，将10个小波分量采用双线性插值法进行插值，插值后，每个分量的行、列均变为插值前的t_i倍；共获得n-1组小波分量；

步骤3d，对n-1组小波分量进行逆变换，获得n-1个高分辨率的目标样本；逆变换时，高频分量的系数h的计算方式为：

其中

为小波分解逆变换的原始系数，q为高频分量所在小波层数；

步骤4，根据样本分辨率λ和尺度分辨率{s_i},n≤i≤K确定插值系数，在此基础上确定高斯尺度空间的尺度参数和高斯核函数，然后使用高斯核函数对当前样本进行空间变换，得到K+1-n个低分辨率的目标样本；

步骤5，将n-1个高分辨率目标样本、K+1-n个低分辨率目标样本以及原始的当前样本汇集为用于深度学习训练的多尺度样本集合。

2.根据权利要求1所述的一种面向深度学习的多尺度样本生成方法，其特征在于，步骤1中的比例尺共有11个，分别为1:500、1:1000、1:2000、1:5000、1:10000、1:25000、1:50000、1:100000、1:250000、1:500000、1:1000000，相应地，得到的尺度分辨率分别为0.15米、0.3米、0.6米、1.5米、3米、7.5米、15米、30米、75米、150米、300米。

3.根据权利要求1所述的一种面向深度学习的多尺度样本生成方法，其特征在于，步骤4的具体方式为：

步骤4a，针对K+1-n个尺度分辨率{s_i},n≤i≤K，分别计算插值系数

步骤4b，构建高斯尺度函数

其中，

得到K+1-n个高斯尺度函数；然后，按照±3σ的范围构建高斯滤波核函数，得到K+1-n个高斯滤波核函数；

步骤4c，利用K+1-n个高斯滤波核函数分别对当前样本进行处理，生成K+1-n个低分辨率的目标样本。

Images