CN114266982A - 一种网络参数和结构协同优化的sar图像变化检测方法 - Google Patents

Abstract

本发明公开了一种网络参数和结构协同优化的SAR图像变化检测方法，包括：对同一地点不同时刻的两幅SAR图像得到去噪SAR图像；基于邻域波动性进行像素邻域信息分析生成相似性矩阵；分割相似性矩阵得到伪标签矩阵；生成样本集并选出训练样本集；设定卷积神经网络结构遍历空间，利用多目标优化算法采用上下两层的显著代理模型协同优化网络结构与权重参数，寻求最优分类网络模型得到一组帕累托前沿面；选择拐点处的解得到表示最优性能的卷积神经网络结构与相关参数，重新训练得到变化检测分类网络；输入样本集得到变化检测结果。本发明不生成差异图，引入协同进化思想自动高效寻求最优网络结构和参数配置，能提高检测精度，降低计算复杂性。

Description

一种网络参数和结构协同优化的SAR图像变化检测方法

技术领域

本发明属于遥感图像变化检测领域，具体涉及一种网络参数和结构协同优化的SAR图像变化检测方法。

背景技术

变化检测是从同一地点不同时期的遥感数据中定量分析和确定地表变化特征与变化过程。合成孔径雷达(Synthetic Aperture Radar，SAR)具有全天时、全天候、分辨率高等特点，相对于可见光、红外传感器等具有不受天气影响的优势，因而在遥感领域得到了广泛的应用。SAR图像的变化检测技术已经在国土测量、灾害评估与建筑规划等领域得到了广泛的应用。而由于其特殊的成像机制，SAR图像固有的相干斑噪声会对其变化检测过程产生影响。

传统的SAR图像变化检测技术通常分为预处理、生成差异图和差异图分析三个步骤。预处理步骤主要包括配准、几何校正及图像去噪等。生成差异图步骤是将不同时刻的两幅图像进行比较并生成差异图，在差异图中，变化区域的像素和非变化区域的像素在灰度上将呈现出明显的差异。差异图分析步骤是将获得的差异图进行分析，提取变化信息，最终得到两幅图像的变化区域和非变化区域。其中，差异图的生成与分析是SAR图像变换检测技术中的重要步骤，而差异图的质量会直接影响变化检测的性能。

随着深度学习技术的飞速发展，越来越多的变化检测方法尝试通过训练深度神经网络来学习SAR图像的特征信息，并通过分类器对图像特征信息进行分类得到最终变化的结果，这些方法在一定程度上能够抑制相干斑噪声的干扰，提升变化检测的精度。例如，公开号为CN 111339827A，名称为《基于多区域卷积神经网络的SAR图像变化检测方法》的中国专利公开了一种变化检测方法，该方法对两幅SAR图像进行差异分析，得到差分图像；将差分图像进行预分类，得到构建的训练数据集和测试数据集；将样本训练数据集送入提出的多区域卷积神经网络中进行训练；将训练后的网络用于测试集测试，进而得到整幅同地多时相SAR图像的变化检测结果。然而，这类基于深度神经网络的变化检测方法中，神经网络的结构与参数设置都是基于经验主义设置，或者通过人工不断手动尝试，选择仿真实验中最优的网络层数、节点数、连接方式与相关的参数来确定最终的网络。但人为设计的网络框架，不但调参复杂、耗时严重，而且难以找到性能最优的架构与参数设置，因此会对变化检测的精度产生一定的不良影响。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种网络参数和结构协同优化的SAR图像变化检测方法。本发明要解决的技术问题通过以下技术方案实现：

一种网络参数和结构协同优化的SAR图像变化检测方法，包括：

对同一地点不同时刻获取的两幅SAR图像进行去噪处理，分别得到去噪SAR图像；

基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵；

利用预设的阈值分割算法分割所述相似性矩阵得到伪标签矩阵；其中，所述伪标签矩阵中的元素值为0和1分别表示所述两幅去噪后SAR图像中的未变化类和变化类；

利用所述两幅去噪SAR图像得到样本集，并利用所述伪标签矩阵从所述样本集中选出部分作为训练样本集；

设定用于变化检测分类的卷积神经网络的结构遍历空间，利用预设的多目标优化算法，采用上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集；

选择所述帕累托前沿面拐点处的解作为最终解，解码得到表示最优性能的卷积神经网络结构与相关参数，并利用得到的卷积神经网络结构和所述训练样本集重新进行网络训练，得到训练完成的变化检测分类网络；

将所述样本集输入所述变化检测分类网络，得到所述两幅SAR图像的变化检测结果。

在本发明的一个实施例中，所述基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵，包括：

以每个像素为中心像素，利用预设大小的矩形滑窗，遍历计算每个像素位置处针对所述两幅去噪SAR图像的邻域异质性值，得到所述两幅去噪SAR图像的邻域异质性函数；

利用所述两幅去噪SAR图像构建邻域暗像素相似度函数和邻域明像素相似度函数；其中，所述邻域暗像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最小中心像素灰度值与最小邻域像素灰度值之间的接近度；所述邻域明像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最大中心像素灰度值与最大邻域像素灰度值之间的接近度；

利用所述两幅去噪SAR图像构建波动参数函数；其中，所述波动参数函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，中心像素灰度值与邻域像素灰度值之间的接近度；

针对每个像素位置，判断所述波动参数函数、所述邻域暗像素相似度函数和所述邻域明像素相似度函数之间的关系，生成所述两幅去噪SAR图像的相似性矩阵。

在本发明的一个实施例中，所述邻域异质性函数的表达式，包括：

其中，h(x)表示所述邻域异质性函数；μ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的均值；σ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的方差值。

在本发明的一个实施例中，所述邻域暗像素相似度函数和所述邻域明像素相似度函数的表达式分别包括：

其中，f(x)表示所述邻域暗像素相似度函数；g(x)表示所述邻域明像素相似度函数；I₁(x)和I₂(x)分别表示所述两幅去噪SAR图像中的中心像素x的灰度值；I₁(i)和I₂(i)分别表示所述两幅去噪SAR图像的矩形滑窗内中心像素之外的邻域像素的灰度值；Ω_x，i≠x表示中心像素x的邻域内除x之外的邻域像素的集合；i表示邻域像素的位置代号；min()表示求取最小值；max()表示求取最大值。

在本发明的一个实施例中，所述波动参数函数的表达式包括：

其中，α(x)表示所述波动参数函数。

在本发明的一个实施例中，所述两幅去噪SAR图像的相似性矩阵的表达式包括：

其中，S_ij表示所述相似性矩阵；∧表示求并集。

在本发明的一个实施例中，所述利用所述两幅去噪SAR图像得到样本集，并利用所述伪标签矩阵从所述样本集中选出部分作为训练样本集，包括：

依据像素对准原则堆叠所述两幅去噪SAR图像，并对堆叠后的图像组进行栅格化分割得到大小一致呈正方形的若干个图块作为样本集；

针对每个图块，确定所述伪标签矩阵中与该图块的像素位置匹配的多个元素值中两种数值占用总数中的较大者，并将所述较大者对应的元素值确定为该图块的标签类别；

针对每个图块，统计该图块的所有邻域图块中与该图块的标签类别相同的邻域图块的数量作为该图块的同类标签邻域块数；

对每一个标签类别对应的图块集合，均依据同类标签邻域块数由大至小的顺序进行图块排序，并按照预设比例选取出排列在前的多个图块，由两个标签类别选取出的所有图块构成训练样本集。

在本发明的一个实施例中，所述设定用于变化检测分类的卷积神经网络的结构遍历空间，利用预设的多目标优化算法，采用上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集，包括：

定义SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题；其中，上层优化用于遍历网络结构体系，下层优化针对给定网络结构体系遍历网络的权重：

进行卷积神经网络的结构与参数协同寻优的多目标建模；其中，目标函数包括变化检测的正确率PCC和作为计算复杂度值的浮点运算数FLOPs；

从卷积神经网络的层数、卷积核尺寸、膨胀率和输入分辨率四个维度设置遍历空间，并将卷积神经网络架构分解为相连的三个阶段，每个阶段包括用于遍历层数的多个卷积层，每个卷积层采用瓶颈型结构；

分别构建上下两层的显著代理模型，利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集；其中，上层代理模型采用在线学习算法，自适应选择四类精度预测代理模型，寻求遍历空间中接近当前权衡前沿的架构；下层代理模型通过超网模型获得初始权重，采用权重共享技术微调精度预测代理模型。

在本发明的一个实施例中，所述SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题表示为：

minF(θ)＝(f₁(θ,ω^*(θ)),...,f_k(θ,ω^*(θ)),f_k+1(θ,ω^*(θ)),...,f_m(θ,ω^*(θ)))^T；

θ∈Ω_θ，ω∈Ω_ω

其中，上层变量θ定义候选卷积神经网络的结构，下层变量ω(θ)定义候选卷积神经网络的相关权重。

表示给定体系结构θ的训练数据的交叉熵损失；

构成m个期望目标；其中，所述m个期望目标被分为两组，第一组f₁～f_k由既取决于体系结构又取决于权重的目标组成；第二组f_k+1～f_m由仅取决于体系结构的目标组成；ω^*(θ)表示交叉熵损失最小时的卷积神经网络的相关权重；Ω_θ表示候选卷积神经网络的结构集合；Ω_ω表示候选卷积神经网络的相关权重集合。

在本发明的一个实施例中，所述预设的多目标优化算法为基于快速非支配排序的遗传算法NSGA-II；

所述利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集，包括：

基于预设的编码策略，设置种群数量，随机生成候选卷积神经网络架构的所述种群数量个编码个体；其中，在所述预设的编码策略下，每个编码个体的数据基于所述三个阶段的编码数据串接得到；每个阶段的编码数据为，对该阶段的神经网络架构选择，采用整数制字符串按照层数-卷积核尺寸-膨胀率-输入分辨率的顺序编码，并且将零填充到具有较少层的体系结构的字符串中，得到的一个固定长度的编码；

将所述种群数量个编码个体作为父代种群，评价所述父代种群中每个个体的适应度；对每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数；其中，上层构建有四种类型的代理模型，并使用自适应切换的选择机制，交叉验证自适应地选择最佳模型；下层构建有超网模型并按照渐进式收缩算法进行训练得到网络的权重参数，作为梯度下降算法的热启动；输出每个训练好的候选卷积神经网络的变化检测正确率与计算复杂度，作为该个体的适应度值；

对所述父代种群根据对应的适应度值进行快速非支配排序，并计算拥挤度对处于同一帕累托等级的个体进行拥挤度排序；

对排序后的父代种群进行选择操作、交叉操作和变异操作得到子代种群；其中，所述选择操作使用二进制锦标赛法，所述交叉操作使用两点交叉法，所述变异操作使用多项式变异算子；

将排序及选择后的父代种群和所述子代种群合并得到合并种群，并评价所述合并种群的适应度值；其中，对所述合并种群的每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数，得到候选网络的变化检测正确率与计算复杂度，作为该个体的适应度值；

对所述合并种群根据对应的适应度值进行快速非支配排序，并且计算所述合并种群中个体的拥挤度，选择所述种群数量个非支配等级小且拥挤度大的个体作为新的父代种群；

重复对父代种群进行选择、交叉、变异、合并、评价与排序操作，直至达到最大迭代次数，得到一组帕累托前沿面。

本发明实施例所提供的方案中，将协同进化的思想引入到SAR图像变化检测分类网络中，寻求最优的卷积神经网络结构和参数配置，有效提高变化检测的精度的同时，能够兼顾卷积神经网络的计算复杂性。且无需生成差异图，摆脱了SAR图像变化检测技术对差异图质量的依赖。

并且，本发明时实施例针对寻求最佳架构及其相关的最佳权重的双层优化问题，分别在上下两层使用显著代理模型。一个在体系结构级别采用在线学习算法，提高寻查效率，另一个在权重级别，通过超网微调提高梯度下降的训练效率。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1为本发明实施例提供的一种网络参数和结构协同优化的SAR图像变化检测方法的流程示意图；

图2为本发明实施例的两幅去噪SAR图像中像素与矩形滑窗的位置关系示意图；

图3为本发明实施例提供的上下两层的显著代理模型的结构和原理示意图；

图4为本发明实施例提供的协同优化的编码策略的示意图；

图5为本发明实施例提供的用于仿真实验的第一组SAR图像和变化参考图；

图6为本发明实施例提供的用于仿真实验的第二组SAR图像和变化参考图；

图7为分别使用现有方法和本发明方法对图5的变化检测仿真图；

图8为分别使用现有方法和本发明方法对图6的变化检测仿真图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种一种网络参数和结构协同优化的SAR图像变化检测方法的流程示意图，包括以下步骤：

S1，对同一地点不同时刻获取的两幅SAR图像进行去噪处理，分别得到去噪SAR图像。

SAR图像在成像、传输、转换或存储过程中会受到各种随机干扰信号即噪声的影响，从而使得图像变得粗糙、质量下降以及特征淹没。为了减弱噪声、还原真实画面，需要对图像进行去噪处理。本发明实施例可以采用现有的任意一种去噪处理技术。比如均值滤波、中值滤波、Lee滤波、Sigma滤波、Frost滤波、Gamma MAP滤波、基于小波分解的阈值滤波等。

可选的一种实施方式中，所述去噪处理可以采用维纳滤波。

S2，基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵。

本发明实施例针对所述两幅去噪SAR图像得到一个相似性矩阵，该相似性矩阵体现了所述两幅去噪SAR图像中邻域像素的相似性信息。

可选的一种实施方式中，所述基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵，包括以下步骤：

S21，以每个像素为中心像素，利用预设大小的矩形滑窗，遍历计算每个像素位置处针对所述两幅去噪SAR图像的邻域异质性值，得到所述两幅去噪SAR图像的邻域异质性函数。

可选的一种实施方式中，所述邻域异质性函数的表达式，包括：

其中，h(x)表示所述邻域异质性函数；μ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的均值；σ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的方差值。

本发明实施例中矩形滑窗为预设大小的正方形，尺寸至少为3×3。以下以3×3的矩形滑窗作为示例进行该步骤的说明，并请结合图2进行理解。图2为本发明实施例的两幅去噪SAR图像中像素与矩形滑窗的位置关系示意图。

图2中左右两图为两幅去噪SAR图像，其中的点表示像素，矩形框表示矩形滑窗。

本发明实施例以每个像素依次作为该矩形滑窗的中心像素，逐行逐列移动该矩形滑窗，在去噪SAR图像中进行遍历，且两幅去噪SAR图像遍历同步进行。针对矩形滑窗的每个移动位置，中心像素周围的8个像素作为中心像素的邻域像素。

如图2所示的矩形滑窗位置，μ(x)和σ(x)的数值分别为两个矩形滑窗内共计18个像素的灰度值的均值和方差值。因此，可以利用两者的比值计算得到针对该中心像素位置的邻域异质性值。那么，由去噪SAR图像中所有像素位置得到的邻域异质性值可以得到邻域异质性函数。

需要补充说明的是，针对去噪SAR图像的边缘像素，矩形滑窗内会存在部分空白像素，可以利用预设像素灰度值填充，或者利用空白像素周围其余像素的灰度值填充的来得到相应的邻域异质性值，具体方式在此不做详细说明。

S22，利用所述两幅去噪SAR图像构建邻域暗像素相似度函数和邻域明像素相似度函数。

其中，所述邻域暗像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最小中心像素灰度值与最小邻域像素灰度值之间的接近度；所述邻域明像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最大中心像素灰度值与最大邻域像素灰度值之间的接近度。

具体的，所述邻域暗像素相似度函数和所述邻域明像素相似度函数的表达式分别包括：

其中，f(x)表示所述邻域暗像素相似度函数；g(x)表示所述邻域明像素相似度函数；I₁(x)和I₂(x)分别表示所述两幅去噪SAR图像中的中心像素x的灰度值；I₁(i)和I₂(i)分别表示所述两幅去噪SAR图像的矩形滑窗内中心像素之外的邻域像素的灰度值；Ω_x，i≠x表示中心像素x的邻域内除x之外的邻域像素的集合；i表示邻域像素的位置代号；min()表示求取最小值；max()表示求取最大值。

以所述邻域暗像素相似度函数的某个数值进行说明，如图2所示，min{I₁(x),I₂(x)}表示这两个矩形滑窗内，两个中心像素的灰度值中较小者。min{I₁(i),I₂(i)}表示这两个矩形滑窗内，相同位置处i的两个邻域像素的灰度值中较小者。

S23，利用所述两幅去噪SAR图像构建波动参数函数。

其中，所述波动参数函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，中心像素灰度值与邻域像素灰度值之间的接近度。

具体的，所述波动参数函数的表达式包括：

其中，α(x)表示所述波动参数函数。

如图2，所述波动参数函数表示的是两幅去噪SAR图像中，所有邻域像素的灰度值与对应的中心像素的灰度值的差值求和后再求取的均值。

S24，针对每个像素位置，判断所述波动参数函数、所述邻域暗像素相似度函数和所述邻域明像素相似度函数之间的关系，生成所述两幅去噪SAR图像的相似性矩阵。

针对相似性矩阵中的元素数值，由对应像素位置处所述波动参数函数、所述邻域暗像素相似度函数和所述邻域明像素相似度函数之间的关系确定。

具体的，所述两幅去噪SAR图像的相似性矩阵的表达式包括：

其中，S_ij表示所述相似性矩阵；∧表示求并集。

需要说明的是，发明实施例生成的相似性矩阵与现有技术中的差异图并不相同，相似性矩阵仅用于引导产生两幅SAR图像的伪标签，而不作为后续变换检测的对象。

S3，利用预设的阈值分割算法分割所述相似性矩阵得到伪标签矩阵。

本发明实施例中，预设的阈值分割算法可以采用现有的任意一种阈值分割算法，比如Kittler&Illingworth(简称KI)阈值分割算法等。

比如，针对相似性矩阵中的一个元素，若其小于KI阈值分割算法中的分割阈值，则伪标签矩阵中对应的元素值为0；反之则为1。

其中，所述伪标签矩阵中的元素值为0和1分别表示所述两幅去噪后SAR图像中的未变化类和变化类。

S4，利用所述两幅去噪SAR图像得到样本集，并利用所述伪标签矩阵从所述样本集中选出部分作为训练样本集。

可选的一种实施方式中，该步骤包括以下步骤：

S41，依据像素对准原则堆叠所述两幅去噪SAR图像，并对堆叠后的图像组进行栅格化分割得到大小一致呈正方形的若干个图块作为样本集。

本发明实施例中图块的大小可以为2×2等，具体根据需要设置。可以理解的是，每个图块包括所述两幅去噪SAR图像中相同区域的部分像素。以下以图块大小为2×2为例说明，此时一个图块含有2×2×2＝8个像素。为了便于说明，假设若干个图块的数量为M，M大于0。

S42，针对每个图块，确定所述伪标签矩阵中与该图块的像素位置匹配的多个元素值中两种数值占用总数中的较大者，并将所述较大者对应的元素值确定为该图块的标签类别。

具体举例，针对一个图块，在所述伪标签矩阵中对应4个元素，分别统计这4个元素中0的数量和1的数量，选取其中较大者，比如0的数量较多，则确定该图块的标签类别为0。

可以理解的是，经过该步骤，若干个图块被划分为两类，一类标签类别为0，另一类标签类别为1。每一标签类别下都含有多个图块，构成该标签类别对应的图块集合。

S43，针对每个图块，统计该图块的所有邻域图块中与该图块的标签类别相同的邻域图块的数量作为该图块的同类标签邻域块数。

具体举例，针对一个图块，其周围相邻的8个图块为其邻域图块。针对该图块可以统计得到这8个邻域图块中与其标签类别相同的邻域图块的数量，比如该图块的标签类别为0，其8个邻域图块中有6个邻域图块的标签类别为0，则该图块的同类标签邻域块数为6。

因此，针对每个图块，均可以获得其同类标签邻域块数。当然，可以理解的是，针对边缘图块，其邻域图块不足8个，因此，同类标签邻域块数较小，不在训练样本集的考虑范围内。

S44，对每一个标签类别对应的图块集合，均依据同类标签邻域块数由大至小的顺序进行图块排序，并按照预设比例选取出排列在前的多个图块，由两个标签类别选取出的所有图块构成训练样本集。

本发明实施例中预设比例比如可以为1/4等，可以根据需要进行选择。

具体举例，将标签类别为0和1的图块集合中的图块，各自依据同类标签邻域块数由大至小的顺序进行排序，在排序后的每个图块序列中，选取出排序在前的1/4个图块。由两个标签类别选取出的所有图块构成训练样本集。

S5，设定用于变化检测分类的卷积神经网络的结构遍历空间，利用预设的多目标优化算法，采用上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集。

可选的一种实施方式中，该步骤包括以下步骤：

A1，定义SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题。

其中，上层优化用于遍历网络结构体系，下层优化针对给定网络结构体系遍历网络的权重。

具体的，所述SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题表示为：

minF(θ)＝(f₁(θ,ω^*(θ)),...,f_k(θ,ω^*(θ)),f_k+1(θ,ω^*(θ)),...,f_m(θ,ω^*(θ)))^T；

θ∈Ω_θ，ω∈Ω_ω

其中，上层变量θ定义候选卷积神经网络的结构，下层变量ω(θ)定义候选卷积神经网络的相关权重。

表示给定体系结构θ的训练数据的交叉熵损失；

构成m个期望目标；其中，所述m个期望目标被分为两组，第一组f₁～f_k由既取决于体系结构又取决于权重的目标组成；第二组f_k+1～f_m由仅取决于体系结构的目标组成；ω^*(θ)表示交叉熵损失最小时的卷积神经网络的相关权重；Ω_θ表示候选卷积神经网络的结构集合；Ω_ω表示候选卷积神经网络的相关权重集合。

A2，进行卷积神经网络的结构与参数协同寻优的多目标建模。

用于变化检测分类的卷积神经网络的实际设计中，由于计算耗时和过拟合的问题限制，期望达到网络实现精准变化检测，同时还需要考虑到网络结构的计算复杂性，即在检测精度与计算复杂性两个目标之间寻求平衡。因此本发明实施例设置两个目标函数。

其中，目标函数包括变化检测的正确率PCC和作为计算复杂度值的浮点运算数FLOPs。具体的：

f(2)＝FLOPs＝2H_inW_in(C_inK²+1)C_out

其中，f(1)和f(2)表示两个目标函数；N为一幅SAR图像的像素总数；TN表示被正确分类的像素数目；H_in和W_in分别表示输入特征的高度与宽度；C_in和C_out分别表示输入和输出的通道数量；K表示卷积核尺寸。

A3，从卷积神经网络的层数、卷积核尺寸、膨胀率和输入分辨率四个维度设置遍历空间，并将卷积神经网络架构分解为相连的三个阶段，每个阶段包括用于遍历层数的多个卷积层，每个卷积层采用瓶颈型结构。

如图2所示，本发明实施例将卷积神经网络架构分解为顺序相连的三个阶段，每个阶段包括多个卷积层，每个卷积层可以设计不同尺寸的卷积核尺寸。随着网络层数的逐渐加深，输出的特征图尺寸逐渐减小，特征图通道数量逐渐增加。在每个阶段中遍历层数，设置每个阶段的卷积层数最小有两层，最多有四层。每层采用瓶颈型结构，搜索该阶段前面一个1×1卷积的膨胀率和深层卷积核的尺寸。

A4，分别构建上下两层的显著代理模型，利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集。

其中，上层代理模型采用在线学习算法，自适应选择四类精度预测代理模型，寻求遍历空间中接近当前权衡前沿的架构；下层代理模型通过超网模型获得初始权重，采用权重共享技术微调精度预测代理模型。

图3为本发明实施例提供的上下两层的显著代理模型的结构和原理示意图。

为加快上层优化，本发明实施例提供了四种不同的精度预测代理模型，即多层感知器(MLP)、分类和回归树(CART)、径向基函数(RBF)和高斯过程(GP)。在每次迭代中构建所有四种类型的代理模型，并通过自适应切换的选择机制，交叉验证自适应地选择最佳模型。为加快下层优化，通过获取搜索的架构超参数的最大值来构建超网络，例如三个块中各有四层，膨胀率设置为4，每层的卷积核尺寸设置为5。再遵循渐进式收缩算法来训练超网络。此过程将在寻优前执行一次。在寻索过程中，从训练过的超级网继承的权重被用作为梯度下降算法的热启动，即随机梯度下降算法的初始权重。

通过上述步骤，可以得到一组网络结构与参数的帕累托前沿面。

其中，所述预设的多目标优化算法可以为现有的任意一种多目标遗传算法实现，比如非支配排序遗传算法NSGA(Non-dominated Sorting Genetic Algorithm)等，或者可以为现有的任意一种基于分解的多目标优化算法：比如MOEA/D(Multi-objectiveEvolutionary Algorithm Based on Decomposition)算法等。多目标优化会得到一组多个目标尽可能同时最佳的非支配解的集合，这个集合也可以叫做帕累托(pareto)前沿面。

可选的一种实施方式中，所述预设的多目标优化算法为基于快速非支配排序的遗传算法NSGA-II。

相应的，所述利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集，包括：

B1，基于预设的编码策略，设置种群数量，随机生成候选卷积神经网络架构的所述种群数量个编码个体。

其中，在所述预设的编码策略下，每个编码个体的数据基于所述三个阶段的编码数据串接得到；每个阶段的编码数据为，对该阶段的神经网络架构选择，采用整数制字符串按照层数-卷积核尺寸-膨胀率-输入分辨率的顺序编码，并且将零填充到具有较少层的体系结构的字符串中，得到的一个固定长度的编码。

具体的，本发明实施例对候选卷积神经网络架构采用协同优化的编码策略进行编码，请参见图4，图4为本发明实施例提供的协同优化的编码策略的示意图。

如图4所示，使用整数制字符串按照“层数-卷积核尺寸-膨胀率-输入分辨率”的顺序来编码卷积神经网络每个阶段的架构选择，对于层数较少的架构字符串采取零填充的策略，以便形成一个固定长度的编码策略方便进行演化计算。整个卷积神经网络的三个阶段都采用统一的编码形式。

其中，所述种群数量以M表示。

B2，将所述种群数量个编码个体作为父代种群，评价所述父代种群中每个个体的适应度；对每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数。

其中，上层构建有四种类型的代理模型，并使用自适应切换的选择机制，交叉验证自适应地选择最佳模型；下层构建有超网模型并按照渐进式收缩算法进行训练得到网络的权重参数，作为梯度下降算法的热启动；输出每个训练好的候选卷积神经网络的变化检测正确率与计算复杂度，作为该个体的适应度值。

变化检测正确率和计算复杂度值采用现有计算方式得得到，在此不做详细说明。

B3，对所述父代种群根据对应的适应度值进行快速非支配排序，并计算拥挤度对处于同一帕累托等级的个体进行拥挤度排序。

B4，对排序后的父代种群进行选择操作、交叉操作和变异操作得到子代种群。

具体的，所述选择操作使用二进制锦标赛法，即在所述父代种群中选择两两一对个体以此产生M对双亲。之后对M对双亲进行交叉、变异操作，其中，所述交叉操作使用两点交叉法，所述变异操作使用多项式变异算子。产生0～9内的随机整数值，交叉和变异的概率分别为0.8和0.05，以此来产生新的M个体，组成子代种群。

B5，将排序及选择后的父代种群和所述子代种群合并得到合并种群，并评价所述合并种群的适应度值。

合并种群的个体数为2M。

其中，对所述合并种群的每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数，得到候选网络的变化检测正确率与计算复杂度，作为该个体的适应度值。

B6，对所述合并种群根据对应的适应度值进行快速非支配排序，并且计算所述合并种群中个体的拥挤度，选择所述种群数量个非支配等级小且拥挤度大的个体作为新的父代种群。

B7，重复对父代种群进行选择、交叉、变异、合并、评价与排序操作，直至达到最大迭代次数，得到一组帕累托前沿面；

具体的，重复B4-B6步骤，直到达到最大迭代次数，比如100次等，得到一组高检测精度与低计算复杂度的帕累托前沿面。

关于NSGA-II的具体执行过程和相关概念请参见现有技术，在此不做赘述。

S6，选择所述帕累托前沿面拐点处的解作为最终解，解码得到表示最优性能的卷积神经网络结构与相关参数，并利用得到的卷积神经网络结构和所述训练样本集重新进行网络训练，得到训练完成的变化检测分类网络。

关于最终解的求解过程，请参见帕累托前沿面的相关知识理解，在此不做详细说明。

本发明实施例中，训练完成的变化检测分类网络是通过网络结构与参数协同优化自动寻求的，相比于人为设计网络，具有快速寻优且性能更佳的优势。

S7，将所述样本集输入所述变化检测分类网络，得到所述两幅SAR图像的变化检测结果。

具体的，将S41中得到的所有图块输入所述变化检测分类网络，根据分类结果输出所述两幅SAR图像的变化检测结果。

本发明实施例所提供的方案中，将协同进化的思想引入到SAR图像变化检测分类网络中，寻求最优的卷积神经网络结构和参数配置，有效提高变化检测的精度的同时，能够兼顾卷积神经网络的计算复杂性。且无需生成差异图，摆脱了SAR图像变化检测技术对差异图质量的依赖。

并且，本发明实施例针对寻求最佳架构及其相关的最佳权重的双层优化问题，分别在上下两层使用显著代理模型。一个在体系结构级别采用在线学习算法，提高寻查效率，另一个在权重级别，通过超网微调提高梯度下降的训练效率。

为了验证本发明实施例方法的效果，以下结合仿真实验进行说明。

(一)评价指标

对于仿真实验，使用定性和定量分析对算法性能进行评价，定量分析使用的主要评价指标有：

①错误检测数FP：将使用不同方法得到的变化检测结果和变化参考图相比较，变化参考图中属于未变化类但在仿真实验结果图中属于变化类的像素数量，称为错误检测数。

②漏检测数FN：将使用不同方法得到的变化检测结果和变化参考图相比较，变化检测参考图中属于变化类但在仿真实验结果图中属于未变化类的像素数量，称为漏检测数。

③总错误率OE：错误检测数和漏检测数的和占总像素数目的百分比。

④衡量仿真实验结果图与变化参考图一致性的KC系数：

其中，PCC表示将像素正确分类的概率，PRE表示期望一致性比率。

(二)仿真实验内容

运用现有方法对不同的SAR图像数据集进行仿真实验，使用本发明实施例方法和现有的两个比较先进的基于神经网络的变化检测技术进行对比，对不同的SAR图像数据集进行仿真实验。对比试验中“DNN”是论文“Change Detection in Synthetic ApertureRadar Images Based on Deep Neural Networks”中提出的；“CAE”是论文“Deep learningand superpixel feature extraction based on contractive autoencoder for changedetection in SAR images”中提出的。

本发明实施例在实验中使用的第一个SAR图像数据集是渥太华数据集。它代表渥太华市上空两幅SAR图像的一部分(290x 350像素)。这些图像分别于1997年5月和1997年8月由RADARSAT SAR传感器拍摄。该数据集反映了渥太华区域受1997年雨季影像的河道变化情况。渥太华数据集如图5，图5(c)是图5(a)和图5(b)的变化参考图，白色区域表示变化区域，黑色区域表示未变化区域。

仿真使用的第二组图像是撒丁岛数据集，包括1999年4月撒丁岛地区的图像和1999年5月撒丁岛地区的图像。两幅图像的大小为412x300像素。这些数据显示了撒丁岛地区湖泊和水体的变化。图6分别显示了两幅SAR图像和参考图像；图6(c)是图6(a)和图6(b)的变化参考图，白色区域表示变化区域，黑色区域表示未变化区域。

仿真1.使用本发明实施例方法和现有方法对图5所示的第一组渥太华数据集进行变化检测仿真，结果如图7所示。其中，图7(a)为用DNN方法仿真得到的结果图，图7(b)为用CAE方法仿真得到的结果图，图7(c)为用本发明实施例方法仿真得到的结果图。对图7所示的第一组的SAR图像的变化检测仿真实验数据进行分析，得到的定量评价分析如表1所示。

结合图7和表1可以看出，通过DNN方法得到的变化检测图虽然可以检测出主要的变化区域，但是该方法存在着较多的白噪声点，导致FN值较高，分类精度受限。而通过CAE方法检测得到的变化检测图，FN值最低，但是部分区域例如左上方的减小的湖泊区域没有检测出来，导致FP较高。相比之下，本发明实施例方法可以检测出图像的大部分变化区域，并且检测结果中含有较少的噪声点，总错误率OE最低，KC指标最高。因此，本发明实施例能够获得更好的变化检测结果，具有更高的变化检测精度。

表1渥太华数据集SAR图像变化检测结果定量评价

仿真2.使用现有方法和本发明实施例方法对图6所示的第二组图像进行变化检测，结果如图8所示。其中，图7(a)为用DNN方法仿真得到的结果图，图7(b)为用CAE方法仿真得到的结果图，图7(c)为用本发明仿真得到的结果图。对于图8所示的第二组的SAR图像的变化检测仿真实验数据进行分析，得到的定量评价分析如表2所示。

结合图8和表2可以看出，通过DNN方法得到的变化检测图虽然可以检测出主要的变化区域，但是该方法存在着较多的白噪声点，导致FN值较高，分类精度受限。而通过CAE方法检测得到的变化检测图，FN值最低，白噪点最少，但是丢失了一些细节，例如右下方湖泊缩减的小区域没有很好的检测出来，导致FP较高。相比之下，本发明实施例方法可以检测出图像的大部分变化区域，并且检测结果中含有较少的噪声点，总错误率OE最低，KC指标最高，具有更高的变化检测精度，说明了本发明实施例方法具有更好的变化检测性能。

表2撒丁岛数据集SAR图像变化检测结果定量评价

通过以上的仿真实验分析可以看出，对于SAR图像变化检测问题，本发明实施例方法摆脱了对差异图的依赖，采用协同优化的思想，寻求卷积神经网络最优的结构体系与权重参数，兼顾计算复杂性的同时，提高了神经网络的分类性能，具有更高的变化检测精度，优于现在广泛使用的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，包括：

对同一地点不同时刻获取的两幅SAR图像进行去噪处理，分别得到去噪SAR图像；

基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵；

利用预设的阈值分割算法分割所述相似性矩阵得到伪标签矩阵；其中，所述伪标签矩阵中的元素值为0和1分别表示所述两幅去噪后SAR图像中的未变化类和变化类；

利用所述两幅去噪SAR图像得到样本集，并利用所述伪标签矩阵从所述样本集中选出部分作为训练样本集；

设定用于变化检测分类的卷积神经网络的结构遍历空间，利用预设的多目标优化算法，采用上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集；

选择所述帕累托前沿面拐点处的解作为最终解，解码得到表示最优性能的卷积神经网络结构与相关参数，并利用得到的卷积神经网络结构和所述训练样本集重新进行网络训练，得到训练完成的变化检测分类网络；

将所述样本集输入所述变化检测分类网络，得到所述两幅SAR图像的变化检测结果。

2.根据权利要求1所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述基于邻域波动性，对两幅去噪SAR图像进行像素邻域信息分析，生成相似性矩阵，包括：

以每个像素为中心像素，利用预设大小的矩形滑窗，遍历计算每个像素位置处针对所述两幅去噪SAR图像的邻域异质性值，得到所述两幅去噪SAR图像的邻域异质性函数；

利用所述两幅去噪SAR图像构建邻域暗像素相似度函数和邻域明像素相似度函数；其中，所述邻域暗像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最小中心像素灰度值与最小邻域像素灰度值之间的接近度；所述邻域明像素相似度函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，最大中心像素灰度值与最大邻域像素灰度值之间的接近度；

利用所述两幅去噪SAR图像构建波动参数函数；其中，所述波动参数函数表示所述两幅去噪SAR图像在同一位置的矩形滑窗区域内，中心像素灰度值与邻域像素灰度值之间的接近度；

针对每个像素位置，判断所述波动参数函数、所述邻域暗像素相似度函数和所述邻域明像素相似度函数之间的关系，生成所述两幅去噪SAR图像的相似性矩阵。

3.根据权利要求2所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述邻域异质性函数的表达式，包括：

其中，h(x)表示所述邻域异质性函数；μ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的均值；σ(x)表示所述两幅去噪SAR图像在同一矩形滑窗区域内所有像素灰度值的方差值。

4.根据权利要求3所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述邻域暗像素相似度函数和所述邻域明像素相似度函数的表达式分别包括：

其中，f(x)表示所述邻域暗像素相似度函数；g(x)表示所述邻域明像素相似度函数；I₁(x)和I₂(x)分别表示所述两幅去噪SAR图像中的中心像素x的灰度值；I₁(i)和I₂(i)分别表示所述两幅去噪SAR图像的矩形滑窗内中心像素之外的邻域像素的灰度值；Ω_x，i≠x表示中心像素x的邻域内除x之外的邻域像素的集合；i表示邻域像素的位置代号；min()表示求取最小值；max()表示求取最大值。

5.根据权利要求4所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述波动参数函数的表达式包括：

其中，α(x)表示所述波动参数函数。

6.根据权利要求5所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述两幅去噪SAR图像的相似性矩阵的表达式包括：

其中，S_ij表示所述相似性矩阵；∧表示求并集。

7.根据权利要求1所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述利用所述两幅去噪SAR图像得到样本集，并利用所述伪标签矩阵从所述样本集中选出部分作为训练样本集，包括：

依据像素对准原则堆叠所述两幅去噪SAR图像，并对堆叠后的图像组进行栅格化分割得到大小一致呈正方形的若干个图块作为样本集；

针对每个图块，确定所述伪标签矩阵中与该图块的像素位置匹配的多个元素值中两种数值占用总数中的较大者，并将所述较大者对应的元素值确定为该图块的标签类别；

针对每个图块，统计该图块的所有邻域图块中与该图块的标签类别相同的邻域图块的数量作为该图块的同类标签邻域块数；

对每一个标签类别对应的图块集合，均依据同类标签邻域块数由大至小的顺序进行图块排序，并按照预设比例选取出排列在前的多个图块，由两个标签类别选取出的所有图块构成训练样本集。

8.根据权利要求7所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述设定用于变化检测分类的卷积神经网络的结构遍历空间，利用预设的多目标优化算法，采用上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集，包括：

定义SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题；其中，上层优化用于遍历网络结构体系，下层优化针对给定网络结构体系遍历网络的权重：

进行卷积神经网络的结构与参数协同寻优的多目标建模；其中，目标函数包括变化检测的正确率PCC和作为计算复杂度值的浮点运算数FLOPs；

从卷积神经网络的层数、卷积核尺寸、膨胀率和输入分辨率四个维度设置遍历空间，并将卷积神经网络架构分解为相连的三个阶段，每个阶段包括用于遍历层数的多个卷积层，每个卷积层采用瓶颈型结构；

分别构建上下两层的显著代理模型，利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集；其中，上层代理模型采用在线学习算法，自适应选择四类精度预测代理模型，寻求遍历空间中接近当前权衡前沿的架构；下层代理模型通过超网模型获得初始权重，采用权重共享技术微调精度预测代理模型。

9.根据权利要求8所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述SAR图块分类的卷积神经网络结构与参数协同优化的双层优化问题表示为：

minF(θ)＝(f₁(θ,ω^*(θ)),...,f_k(θ,ω^*(θ)),f_k+1(θ,ω^*(θ)),...,f_m(θ,ω^*(θ)))^T；

θ∈Ω_θ，ω∈Ω_ω

其中，上层变量θ定义候选卷积神经网络的结构，下层变量ω(θ)定义候选卷积神经网络的相关权重。

表示给定体系结构θ的训练数据的交叉熵损失；F:

构成m个期望目标；其中，所述m个期望目标被分为两组，第一组f₁～f_k由既取决于体系结构又取批决于权重的目标组成；第二组f_k+1～f_m由仅取决于体系结构的目标组成；ω^*(θ)表示交叉熵损失最小时的卷积神经网络的相关权重；Ω_θ表示候选卷积神经网络的结构集合；Ω_ω表示候选卷积神经网络的相关权重集合。

10.根据权利要求8或9所述的网络参数和结构协同优化的SAR图像变化检测方法，其特征在于，所述预设的多目标优化算法为基于快速非支配排序的遗传算法NSGA-II；

所述利用所述预设的多目标优化算法，采用所述上下两层的显著代理模型分别优化网络结构与网络权重参数，寻求最优分类网络模型，得到一组高检测精度与低计算复杂度的帕累托前沿面作为解集，包括：

基于预设的编码策略，设置种群数量，随机生成候选卷积神经网络架构的所述种群数量个编码个体；其中，在所述预设的编码策略下，每个编码个体的数据基于所述三个阶段的编码数据串接得到；每个阶段的编码数据为，对该阶段的神经网络架构选择，采用整数制字符串按照层数-卷积核尺寸-膨胀率-输入分辨率的顺序编码，并且将零填充到具有较少层的体系结构的字符串中，得到的一个固定长度的编码；

将所述种群数量个编码个体作为父代种群，评价所述父代种群中每个个体的适应度；对每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数；其中，上层构建有四种类型的代理模型，并使用自适应切换的选择机制，交叉验证自适应地选择最佳模型；下层构建有超网模型并按照渐进式收缩算法进行训练得到网络的权重参数，作为梯度下降算法的热启动；输出每个训练好的候选卷积神经网络的变化检测正确率与计算复杂度，作为该个体的适应度值；

对所述父代种群根据对应的适应度值进行快速非支配排序，并计算拥挤度对处于同一帕累托等级的个体进行拥挤度排序；

对排序后的父代种群进行选择操作、交叉操作和变异操作得到子代种群；其中，所述选择操作使用二进制锦标赛法，所述交叉操作使用两点交叉法，所述变异操作使用多项式变异算子；

将排序及选择后的父代种群和所述子代种群合并得到合并种群，并评价所述合并种群的适应度值；其中，对所述合并种群的每个个体进行解码得到候选卷积神经网络的结构，利于所述训练样本集进行网络训练，并使用所述上下两层的显著代理模型分别优化所述候选卷积神经网络的结构与相关权重参数，得到候选网络的变化检测正确率与计算复杂度，作为该个体的适应度值；

对所述合并种群根据对应的适应度值进行快速非支配排序，并且计算所述合并种群中个体的拥挤度，选择所述种群数量个非支配等级小且拥挤度大的个体作为新的父代种群；

重复对父代种群进行选择、交叉、变异、合并、评价与排序操作，直至达到最大迭代次数，得到一组帕累托前沿面。

Images