CN115601660A - 基于神经网络结构搜索的遥感影像变化检测方法 - Google Patents

基于神经网络结构搜索的遥感影像变化检测方法 Download PDF

Info

Publication number
CN115601660A
CN115601660A CN202211316028.7A CN202211316028A CN115601660A CN 115601660 A CN115601660 A CN 115601660A CN 202211316028 A CN202211316028 A CN 202211316028A CN 115601660 A CN115601660 A CN 115601660A
Authority
CN
China
Prior art keywords
model
image
change
remote sensing
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211316028.7A
Other languages
English (en)
Inventor
万全
盛森
魏汝兰
庞亚菲
王洪飞
梁雄师
吉绪发
邓赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Digital Technology Co ltd
Original Assignee
South Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Digital Technology Co ltd filed Critical South Digital Technology Co ltd
Priority to CN202211316028.7A priority Critical patent/CN115601660A/zh
Publication of CN115601660A publication Critical patent/CN115601660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于神经网络结构搜索的遥感影像变化检测方法，属于遥感解译技术领域。传统方法在变化检测模块的设计上过于依赖人工经验，且设计的模块深度与复杂度较低，无法提取高质量变化特征。本发明针对遥感影像变化检测任务设计了专用的搜索空间，利用结构搜索完成变化特征提取模块的自动设计。搜索空间有四条包含六个节点的链式路径，每两个节点之间有五种可采取的操作，这样的结构增加了模块结构的深度与复杂度，能够提取更加高质量的变化特征。本发明所提方法能够有效地提取前后影像图的变化特征，提升变化检测的模型的判别能力，具有重要的理论和实际应用价值。

Description

基于神经网络结构搜索的遥感影像变化检测方法
技术领域
本发明设计基于神经网络结构搜索的遥感影像变化检测方法，属于遥感解译技术领域。
背景技术
变化检测是遥感影像领域的一项重要技术，在土地利用、城市设计、资源勘探、农业调查、灾害评估等方面有着广泛的应用。传统变化检测方法主要有三个发展阶段。20世纪80年代最早提出的基于统计的直接比较法、图像变换类方法、分类后比较方法等，这类方法以单像素为检测单位，通过对像素的逐一比较获取变化特征。20世纪90年代以机器学习为代表的决策树、随机森林、支持向量机等方法被引入到遥感影像处理中，显著提高了变化检测的性能。进入21世纪，变化检测的基本检测单位由像素上升到对象，对象级变化检测方法有效的结合了光谱信息和空间信息，提升了检测结果的确定性。上述传统方法取得了可观的效果，但其建模过程自动化低、数据处理能力和泛化能力较弱。
基于深度学习的遥感变化检测方法自动化过程高、大数据可执行能力强并且拥有较高的普适性。目前主流的遥感变化检测模型都采取端到端的结构，编码器提取前后时相的变化特征特，然后经过解码器得到输出。编码器一般由三部分组成，图像特征提取模块、变化特征提取模块及特征融合模块在变化检测任务特有的变化特征提取模块，设计者一般只常采取前后时相对应尺度特征相加然后衔接卷积等基础操作，这样的设计无论是深度还是复杂度都比较低，提取变化特征的能力有限。为了获得更高质量的变化特征，本发明在变化特征提取模块进行了研究，提出基于神经网络结构搜索的遥感影像变化检测方法。
发明内容
本发明提供了基于神经网络结构搜索的遥感影像变化检测方法，用于缓解变化特征提取质量较低且模块设计过于依赖人工经验的问题，在提升模型变化特征的提取能力和判别能力的同时，缩减模型设计中人力的投入。
本发明的技术方案是：基于神经网络结构搜索的遥感影像变化检测方法，所述方法包括如下步骤：
Step1、构造遥感影像变化检测模型整体框架：该框架包括图像特征提取模块、变化特征提取、变化特征融合模块及分类器；
Step2、定义变化特征提取模块搜索空间，构造混合模型：搜索空间的类型为链式结构，有n1条路径，每条路径n2个节点，每两个节点间可采取的操作有n3种，节点之间的操作分别赋予不同的的结构权重，其中n1的取值为图像特征提取模块中提取的特征个数；
Step3、在现有的数据集上进行结构搜索，对现有的数据集进行划分，分别用于结构权重α和模型权重w的训练，得到若干个不同的混合模型，选择搜索过程中在验证集上F1值最大的结构作为独立模型；
Step4、重复执行Step3，得到若干个独立模型，然后将独立模型代入到遥感影像变化检测模型整体框架中，在变化检测任务上进行评估，在现有的数据集上，对搜索阶段得到的若干个独立模型进行短时间评估，得到最优的独立模型；
Step5、将最优的独立模型代入到遥感影像变化检测模型整体框架中，实现遥感影像变化检测。
进一步的，所述步骤Step1的具体步骤为：
Step1.1、图像特征提取模块用于提取不同尺度的图像特征；
Step1.2、变化特征提取模块是基于神经网络结构搜索构造，该模块用于对两幅图像同一尺度的特征进行变化特征提取，得到不同尺度的变化特征Di，i的取值为n1；
Step1.3、特征融合模块：输入变化特征Di，经过双向金字塔网络BiFPN得到融合特征Pi，BiFPN包含的由下至上和由上至下的双向融合路径，使语义信息和感受野信息在不同尺度间流动；
Step1.4、分类器用于将Pi进行拼接，送入由全连接网络组成的分类器，得到输出图像。
进一步的，Step1.1的具体实现方式如下；
Step1.1.1、基于残差网络ResNet50的多尺度图像特征：输入两幅图像，残差网络ResNet50提取四组不同尺度的图像特征，具体由ResNet50的Layer2、Layer3、Layer4、Layer5得到第一幅图像特征{C1i|(i＝1,2,3,4)}，第二幅图像特征{C2i|(i＝1,2,3,4)}，1、2、3、4分别代表原始图像大小的1/4、1/8、1/16和1/32；
Step1.1.2、基于空洞卷积池化金字塔ASPP的图像特征：输入1/32原始图像大小的C14和C24特征，利用空洞卷积将其尺寸上采样到原始图像1/16大小，从而在保持感受野的情况下提升语义信息。
进一步的，步骤Step2的具体实现方式如下；
Step2.1、链式路径：搜索空间包含四条搜索路径{Li|(i＝1,2,3,4)}，分别处理特征提取模块提取的n1组同尺度的图像特征，得到n1个不同尺度的变化特征，即n1＝4；
Step2.2、节点数量：每条路径设置节点数量为6，同时保持模块的深度与复杂度，节点分为两组，每条路径的1号节点定义为起始节点，2-6号节点定义为其他节点，起始节点的输入为当前路径的两个图像特征，其他节点的输入为当前路径的两个图像特征和前序节点的输出；
Step2.3、可采取操作：对于起始节点，可采取的操作有5种，包括add1、sub1、abs1、cat、g_cat，其中add1表示将两个图像特征相加，然后做卷积，sub1表示将两个图像特征相减，然后做卷积，abs1表示将两个图像特征相减取绝对值，然后做卷积，cat表示将两个图像特征拼接，然后做卷积，g_cat表示将两个图像特征在对应通道拼接，然后做分组卷积；对于其他节点，可采取的操作也是5种，包括add2、sub2、abs2、cat、g_cat，其中add2表示将两个图像特征分别与前序节点的输出相加，然后对应通道拼接并进行分组卷积，sub2表示将两个图像特征分别与前序节点的输出相减，然后对应通道拼接并进行分组卷积，abs2表示将两个图像特征分别与前序节点的输出相减取绝对值，然后对应通道拼接并进行分组卷积，cat表示将两个图像特征和前序节点的输出拼接，然后做卷积，g_cat表示将两个图像特征和前序节点的输出在对应通道拼接，然后做分组卷积；因此节点间可采取的操作一共包含的8种，即add1、sub1、abs1、add2、sub2、abs2、cat、g_cat；
Step2.4、混合模型构造：对每两个节点之间的五个操作分别乘以不同的结构权重
Figure BDA0003908771700000031
i代表节点，五个权重和为1，构造混合模型。
进一步的，步骤Step3的具体步骤为：
Step3.1、训练集划分：将CDD训练集划分为train1和train2，分别用于结构权重α和模型权重w训练；
Step3.2、结构权重优化：固定模型权重w，在train1上训练混合模型，得到使损失最小的结构权重
Figure BDA0003908771700000032
优化算法为Adam，学习率为3e-3；
Step3.3、模型权重优化：固定结构权重
Figure BDA0003908771700000033
在train2上训练混合模型，得到使损失最小的模型权重w，优化算法为随机梯度下降SGD，初始学习率为0.025；
Step3.4、独立模型确定：结构搜索持续若干个epoch，每个epoch结束后，根据
Figure BDA0003908771700000034
中最大的值确定独立模型结构，并在CDD验证集上对该独立模型评估，F1值最高的模型即为本次结构搜索得到的独立模型。
进一步的，Step3中F1值的计算方式如下；
设TP表示预测正确的正样本数，FP表示预测错误的正样本数，TN表示预测正确的负样本数，FN表示预测错误的负样本数，评价指标计算方式如下：
Figure BDA0003908771700000035
Figure BDA0003908771700000041
Figure BDA0003908771700000042
进一步的，步骤Step4中在CDD数据集上，对搜索阶段得到的独立模型分别进行35个epoch训练并评估其F1值，F1值最高的为最优独立模型，然后对最优独立模型进行100epoch训练并评估其F1值，具体实现方式方式如下；
Step4.1、独立模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，对每个独立模型进行35个epoch的训练，每5个epoch在CDD验证集上评估一次，选择F1值最大的独立模型作为最终模型；
Step4.2、最终模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，训练时间100epoch，每5个epoch在验证集评估一次，最后选择F1值最高的模型在CDD测试集验证结果。
本发明的有益效果是：
针对遥感影像变化特征提取质量较低和模型设计过于依赖人工经验的问题，本发明提出了基于神经网络结构搜索的遥感影像变化检测方法，利用基于梯度下降的神经网络结构搜索方法实现变化特征提取模块的自动设计，节省了设计模型时人工的投入；同时，本发明针对变化检测任务设计了专用的搜索空间，提升了变化特征提取模块提取变化特征的能力，对遥感影像变化检测任务具有一定的理论意义和实际应用价值。
附图说明
图1为本发明中基于神经网络结构搜索的遥感影像变化检测模型整体框架图；
图2为本发明提出搜索空间链式结构图；
图3为本发明搜索到的待选结构训练35个epoch时的F1值结果；
图4为本发明搜索到最优变化特征提取模块结构拓扑图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的描述。
如图1-4所示，基于神经网络结构搜索的遥感影像变化检测方法，所述方法包括：
Step1、构造遥感影像变化检测模型整体框架：该框架由图像特征提取模块、变化特征提取、变化特征融合模块及分类器，如图1所示；
作为本发明的优选方案，所述步骤Step1的具体步骤如下：
Step1.1、图像特征提取模块：为了减少提取特征时人工的投入，本发明设计了图像特征提取模块自动获得图像特征，根据模块中不同深度的网络提取各个尺度的图像特征，浅层图像特征具有丰富的语义信息，高层网络具有更大的感受野。
作为本发明的优选方案，所述步骤Step1.1的具体步骤如下：
Step1.1.1、基于残差网络ResNet50的多尺度图像特征：输入两幅图像，残差网络ResNet50提取四组不同尺度的图像特征，具体由ResNet50的Layer2、Layer3、Layer4、Layer5得到第一幅图像特征{C1i|(i＝1,2,3,4)},第二幅图像特征{C2i|(i＝1,2,3,4)}，1、2、3、4分别代表原始图像大小的1/4、1/8、1/16和1/32；
Step1.1.2、基于空洞卷积池化金字塔ASPP的图像特征：输入1/32原始图像大小的C14和C24特征，利用空洞卷积将其尺寸上采样到原始图像1/16大小，从而在保持感受野的情况下提升语义信息。
Step1.2、变化特征提取模块：该模块基于神经网络结构搜索构造，能够跳出人工设计网络时过多的经验依赖，该模块用于对第一幅图像特征C11、C12、C13以及上采样后的C14和第二幅图像特征C21、C22、C23以及上采样后的C24进行变化特征提取，得到{Di|i＝1,2,3,4}。
Step1.3、特征融合模块：输入变化特征{Di|i＝1,2,3,4}，经过双向金字塔网络BiFPN得到融合特征{Pi|i＝1,2,3,4}，BiFPN包含的由下至上和由上至下的双向融合路径，使语义信息和感受野信息在不同尺度间流动。
Step1.4、分类器：将Pi进行拼接，送入由全连接网络组成的分类器，得到输出图像。
Step2、定义变化特征提取模块搜索空间，构造混合模型：该空间类型为链式结构，有4条路径，每条路径6个节点，节点间可采取的操作有8种；
作为本发明的优选方案，所述步骤Step2的具体步骤如下：
Step2.1、链式路径：如图2所示，搜索空间包含四条搜索路径{Li|(i＝1,2,3,4)}，分别处理四组同尺度的图像特征C11、C21，C12、C22，C13、C23，上采样后的C14、C24，得到4个不同尺度的变化特征D1，D2，D3，D4。
Step2.2、节点数量：每条路径设置节点数量为6，同时保持模块的深度与复杂度，节点分为两组，每条路径的1号节点定义为起始节点，2-6号节点定义为其他节点，起始节点的输入为当前路径的两个图像特征，其他节点的输入为当前路径的两个图像特征和前序节点的输出。
Step2.3、可采取操作：对于起始节点，可采取的操作有5种，add1(将两个图像特征相加，然后做卷积)、sub1(将两个图像特征相减，然后做卷积)、abs1(将两个图像特征相减取绝对值，然后做卷积)、cat(将两个图像特征拼接，然后做卷积)、g_cat(将两个图像特征在对应通道拼接，然后做分组卷积)，对于其他节点，可采取的操作也是5种，add2(将两个图像特征分别与前序节点的输出相加，然后对应通道拼接并进行分组卷积)、sub2(将两个图像特征分别与前序节点的输出相减，然后对应通道拼接并进行分组卷积)、abs2(将两个图像特征分别与前序节点的输出相减取绝对值，然后对应通道拼接并进行分组卷积)、cat(将两个图像特征和前序节点的输出拼接，然后做卷积)、g_cat(将两个图像特征和前序节点的输出在对应通道拼接，然后做分组卷积)，因此节点间可采取的操作一共包含的8种，add1、sub1、abs1、add2、sub2、abs2、cat、g_cat。
Step2.4、混合模型构造：对每两个节点之间的五个操作分别乘以不同的结构权重
Figure BDA0003908771700000061
(i代表节点，五个权重和为1)，构造混合模型。
Step3、在CDD数据集上进行结构搜索，从混合模型中得到表现最好的独立模型：将CDD训练集划分为train1和train2，对模型进行30个epoch的训练，每个epoch先在train1上训练，优化结构权重α，然后在train2上训练，优化模型权重w，每个epoch结束后在CDD验证集上评估，根据评估F1值最大的结构权重α确定独立模型结构。
作为本发明的优选方案，所述步骤Step3的具体步骤如下：
Step3.1、训练集划分：CDD数据集训练集大小为10000，将其随机平均分成大小为5000的train1和trian2，分别用于结构权重α和模型权重w训练。
Step3.2、结构权重训练：固定模型权重w，在train1上训练混合模型，得到使损失最小的结构权重
Figure BDA0003908771700000062
优化算法为Adam，学习率为3e-3，beats范围(0.9，0.999)，weight_decay为1e-3。
Step3.3、模型权重训练：固定结构权重
Figure BDA0003908771700000063
在train2上训练混合模型，得到使损失最小的模型权重w，优化算法为随机梯度下降SGD，初始学习率为0.025，weight_decay、momentum分别为1e-3和0.9。
Step3.4、独立模型确定：结构搜索持续30个epoch，每个epoch结束后，根据
Figure BDA0003908771700000064
中最大的值确定独立模型结构，并在CDD验证集上对该模型评估，30个epoch中评估F1值最高的模型即为本次结构搜索得到的独立模型。
模型训练时结构权重α均为初始化得到，为了减少初始化对结构搜索的影响，可以将step3重复多次(本次实施例设置5次)，得到多个独立模型。为保证结果的公平性，所有实验基于均Pytorch框架实现，GPU选择显存大小为32G的V100。实验的主要评价指标为F1、Recall和Precision，设TP表示预测正确的正样本数，FP表示预测错误的正样本数，TN表示预测正确的负样本数，FN表示预测错误的负样本数，三个评价指标计算方式如下：
Figure BDA0003908771700000065
Figure BDA0003908771700000071
Figure BDA0003908771700000072
表1显示了本发明五次结构搜索得到的独立模型的F1值结果。
表1：本发明方法五次结构搜索得到的独立模型的F1值
独立模型 第一次 第二次 第三次 第四次 第五次
F1值(％) 71.9 68.53 67.64 70.11 70.68
Step4、在变化检测任务上进行结构评估(即将独立模型代入遥感影像变化检测模型整体框架中进行的评估)：在CDD数据集上，对搜索阶段得到的独立模型分别进行35个epoch训练并评估其F1值，F1值最高的为最优独立模型，然后对最优独立模型进行100epoch训练并评估其F1值。
作为本发明的优选方案，所述步骤Step4的具体步骤如下：
Step4.1、独立模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，weight_decay为1e-3，momentum为0.9，对每个独立模型进行35个epoch的训练，每5个epoch在CDD验证集上评估一次，选择F1值最大的独立模型作为最终模型，五个独立模型评估结果如图3所示，最高的F1值为93.86％，对应的结构如图4所示。
Step4.2、最终模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，weight_decay为1e-3，momentum为0.9，训练时间100epoch，每5个epoch在验证集评估一次，最后选择F1值最高的模型在CDD测试集验证结果，表2显示了本发明方法与其他方法在CDD数据集的测试结果。
表2：本发明方法与其他方法在CDD测试集上的F1值对比
Figure BDA0003908771700000073
相较于其他方法，本发明方法在三个评价指标上均取得了第一的成绩，F1值、Recall、Precision至少提升了3.13％、2.22％和2.45％。
Step5、为了说明本发明的通用性，进一步进行结构迁移实验，我们选择的数据集是LEVIR-CD，该数据集包含637张分辨率为1024*1024的影像对，将数据集切分为256*256大小，并按比例7:1:2随机划分为训练集(7120)、验证集(1024)和测试集(2048)，训练参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.025，weight_decay为1e-3，momentum为0.9，训练时间100epoch，每5个epoch在验证集评估一次，最后选择F1值最高的模型在LEVIR-CD测试集验证结果，表3显示了本发明方法与其他方法在LEVIR-CD数据集的测试结果。
表3：本发明方法与其他方法在LEVIR-CD测试集上的F1值对比
Figure BDA0003908771700000081
相较于其他方法，本发明方法取得了最高的F1值，第二高的Recall和第三高的Precision。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：所述方法的具体步骤如下：
Step1、构造遥感影像变化检测模型整体框架：该框架包括图像特征提取模块、变化特征提取、变化特征融合模块及分类器；
Step2、定义变化特征提取模块搜索空间，构造混合模型：搜索空间的类型为链式结构，有n1条路径，每条路径n2个节点，每两个节点间可采取的操作有n3种，节点之间的操作分别赋予不同的的结构权重，其中n1的取值为图像特征提取模块中提取的特征个数；
Step3、在现有的数据集上进行结构搜索，对现有的数据集进行划分，分别用于结构权重α和模型权重w的训练，得到若干个不同的混合模型，选择搜索过程中在验证集上F1值最大的结构作为独立模型；
Step4、重复执行Step3，得到若干个独立模型，然后将独立模型代入到遥感影像变化检测模型整体框架中，在变化检测任务上进行评估，在现有的数据集上，对搜索阶段得到的若干个独立模型进行短时间评估，得到最优的独立模型；
Step5、将最优的独立模型代入到遥感影像变化检测模型整体框架中，实现遥感影像变化检测。
2.根据权利要求1所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：所述步骤Step1的具体步骤为：
Step1.1、图像特征提取模块用于提取不同尺度的图像特征；
Step1.2、变化特征提取模块是基于神经网络结构搜索构造，该模块用于对两幅图像同一尺度的特征进行变化特征提取，得到不同尺度的变化特征Di，i的取值为n1；
Step1.3、特征融合模块：输入变化特征Di，经过双向金字塔网络BiFPN得到融合特征Pi，BiFPN包含的由下至上和由上至下的双向融合路径，使语义信息和感受野信息在不同尺度间流动；
Step1.4、分类器用于将Pi进行拼接，送入由全连接网络组成的分类器，得到输出图像。
3.根据权利要求2所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：Step1.1的具体实现方式如下；
Step1.1.1、基于残差网络ResNet50的多尺度图像特征：输入两幅图像，残差网络ResNet50提取四组不同尺度的图像特征，具体由ResNet50的Layer2、Layer3、Layer4、Layer5得到第一幅图像特征{C1i|(i＝1,2,3,4)}，第二幅图像特征{C2i|(i＝1,2,3,4)}，1、2、3、4分别代表原始图像大小的1/4、1/8、1/16和1/32；
Step1.1.2、基于空洞卷积池化金字塔ASPP的图像特征：输入1/32原始图像大小的C14和C24特征，利用空洞卷积将其尺寸上采样到原始图像1/16大小，从而在保持感受野的情况下提升语义信息。
4.根据权利要求1所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：步骤Step2的具体实现方式如下；
Step2.1、链式路径：搜索空间包含四条搜索路径{Li|(i＝1,2,3,4)}，分别处理特征提取模块提取的n1组同尺度的图像特征，得到n1个不同尺度的变化特征，即n1＝4；
Step2.2、节点数量：每条路径设置节点数量为6，同时保持模块的深度与复杂度，节点分为两组，每条路径的1号节点定义为起始节点，2-6号节点定义为其他节点，起始节点的输入为当前路径的两个图像特征，其他节点的输入为当前路径的两个图像特征和前序节点的输出；
Step2.3、可采取操作：对于起始节点，可采取的操作有5种，包括add1、sub1、abs1、cat、g_cat，其中add1表示将两个图像特征相加，然后做卷积，sub1表示将两个图像特征相减，然后做卷积，abs1表示将两个图像特征相减取绝对值，然后做卷积，cat表示将两个图像特征拼接，然后做卷积，g_cat表示将两个图像特征在对应通道拼接，然后做分组卷积；对于其他节点，可采取的操作也是5种，包括add2、sub2、abs2、cat、g_cat，其中add2表示将两个图像特征分别与前序节点的输出相加，然后对应通道拼接并进行分组卷积，sub2表示将两个图像特征分别与前序节点的输出相减，然后对应通道拼接并进行分组卷积，abs2表示将两个图像特征分别与前序节点的输出相减取绝对值，然后对应通道拼接并进行分组卷积，cat表示将两个图像特征和前序节点的输出拼接，然后做卷积，g_cat表示将两个图像特征和前序节点的输出在对应通道拼接，然后做分组卷积；因此节点间可采取的操作一共包含的8种，即add1、sub1、abs1、add2、sub2、abs2、cat、g_cat；
Step2.4、混合模型构造：对每两个节点之间的五个操作分别乘以不同的结构权重
Figure FDA0003908771690000021
i代表节点，五个权重和为1，构造混合模型。
5.根据权利要求4所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：步骤Step3的具体步骤为：
Step3.1、训练集划分：将CDD训练集划分为train1和train2，分别用于结构权重α和模型权重w训练；
Step3.2、结构权重优化：固定模型权重w，在train1上训练混合模型，得到使损失最小的结构权重
Figure FDA0003908771690000031
优化算法为Adam，学习率为3e-3；
Step3.3、模型权重优化：固定结构权重
Figure FDA0003908771690000032
在train2上训练混合模型，得到使损失最小的模型权重w，优化算法为随机梯度下降SGD，初始学习率为0.025；
Step3.4、独立模型确定：结构搜索持续若干个epoch，每个epoch结束后，根据
Figure FDA0003908771690000033
中最大的值确定独立模型结构，并在CDD验证集上对该独立模型评估，F1值最高的模型即为本次结构搜索得到的独立模型。
6.根据权利要求1所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：Step3中F1值的计算方式如下；
设TP表示预测正确的正样本数，FP表示预测错误的正样本数，TN表示预测正确的负样本数，FN表示预测错误的负样本数，评价指标计算方式如下：
Figure FDA0003908771690000034
Figure FDA0003908771690000035
Figure FDA0003908771690000036
7.根据权利要求1所述的基于神经网络结构搜索的遥感影像变化检测方法，其特征在于：步骤Step4中在CDD数据集上，对搜索阶段得到的独立模型分别进行35个epoch训练并评估其F1值，F1值最高的为最优独立模型，然后对最优独立模型进行100epoch训练并评估其F1值，具体实现方式方式如下；
Step4.1、独立模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，对每个独立模型进行35个epoch的训练，每5个epoch在CDD验证集上评估一次，选择F1值最大的独立模型作为最终模型；
Step4.2、最终模型评估：参数设置如下，优化算法选择随机梯度下降SGD，学习率设置为0.05，训练时间100epoch，每5个epoch在验证集评估一次，最后选择F1值最高的模型在CDD测试集验证结果。
CN202211316028.7A 2022-10-26 2022-10-26 基于神经网络结构搜索的遥感影像变化检测方法 Pending CN115601660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211316028.7A CN115601660A (zh) 2022-10-26 2022-10-26 基于神经网络结构搜索的遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211316028.7A CN115601660A (zh) 2022-10-26 2022-10-26 基于神经网络结构搜索的遥感影像变化检测方法

Publications (1)

Publication Number Publication Date
CN115601660A true CN115601660A (zh) 2023-01-13

Family

ID=84848366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211316028.7A Pending CN115601660A (zh) 2022-10-26 2022-10-26 基于神经网络结构搜索的遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN115601660A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114053A (zh) * 2023-08-24 2023-11-24 之江实验室 基于结构搜索和知识蒸馏的卷积神经网络模型压缩方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114053A (zh) * 2023-08-24 2023-11-24 之江实验室 基于结构搜索和知识蒸馏的卷积神经网络模型压缩方法和装置

Similar Documents

Publication Publication Date Title
CN104866578B (zh) 一种不完整物联网数据混合填充方法
CN110880019B (zh) 通过无监督域适应训练目标域分类模型的方法
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN112989004B (zh) 面向知识图谱问答的查询图排序方法及系统
CN111488137B (zh) 一种基于共同注意力表征学习的代码搜索方法
CN111275172B (zh) 一种基于搜索空间优化的前馈神经网络结构搜索方法
CN110287357B (zh) 一种基于条件生成对抗网络的图像描述生成方法
CN112328891A (zh) 训练搜索模型的方法、搜索目标对象的方法及其装置
CN112000770A (zh) 面向智能问答的基于语义特征图的句子对语义匹配方法
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN115601660A (zh) 基于神经网络结构搜索的遥感影像变化检测方法
CN116108384A (zh) 一种神经网络架构搜索方法、装置、电子设备及存储介质
CN110825642B (zh) 一种基于深度学习的软件代码行级缺陷检测方法
CN114882497A (zh) 一种基于深度学习算法实现水果分类识别的方法
CN115905487A (zh) 文档问答方法、系统、电子设备及存储介质
CN106384587A (zh) 一种语音识别方法及系统
CN112699957B (zh) 一种基于darts的图像分类优化方法
CN114118360A (zh) 神经网络架构通道数搜索方法、装置、设备及存储介质
CN113313250B (zh) 采用混合精度量化与知识蒸馏的神经网络训练方法及系统
CN112800946B (zh) 一种污损发票识别方法
CN113221795B (zh) 用于视频中鞋样特征提取、融合与比对的方法及其装置
CN114972959A (zh) 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN112115991B (zh) 移动终端换机预测方法、装置、设备及可读存储介质
CN111428224B (zh) 基于人脸识别的电脑账户登录的方法
CN114547286A (zh) 一种信息搜索方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination