CN115546196A - 一种基于知识蒸馏的轻量级遥感影像变化检测方法 - Google Patents

一种基于知识蒸馏的轻量级遥感影像变化检测方法 Download PDF

Info

Publication number
CN115546196A
CN115546196A CN202211388950.7A CN202211388950A CN115546196A CN 115546196 A CN115546196 A CN 115546196A CN 202211388950 A CN202211388950 A CN 202211388950A CN 115546196 A CN115546196 A CN 115546196A
Authority
CN
China
Prior art keywords
probability
model
diagram
channel
distillation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211388950.7A
Other languages
English (en)
Inventor
陈禾
王国庆
张宁
王爵
刘文超
谢宜壮
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211388950.7A priority Critical patent/CN115546196A/zh
Publication of CN115546196A publication Critical patent/CN115546196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明实施例公开了一种基于知识蒸馏的轻量级遥感影像变化检测方法，在用于遥感影像变化检测的知识蒸馏框架处通过采用原型对比蒸馏、通道归一化蒸馏以及空间归一化蒸馏的方法，引导学生模型模仿教师模型的判别特征分布，以减轻混淆对象的错误分类，同时关注空间概率分布和类别概率分布，以全面学习教师模型输出概率中包含的知识。多个蒸馏方法结合有利于提高学生模型的准确率并引导学生模型全面地学习教师输出中包含的知识，使其具备更强的变化区域识别能力生成更准确的遥感影像变化检测结果。

Description

一种基于知识蒸馏的轻量级遥感影像变化检测方法
技术领域
本发明涉及遥感影像处理领域，尤其涉及一种基于知识蒸馏的轻量级遥感影像变化检测方法。
背景技术
随着对地观测技术的快速发展，获取大量的高分辨率遥感影像变得越来越容易，因此从遥感影像中自动提取有效信息成为遥感领域的研究热点。遥感影像变化检测是指在双时相遥感影像的成对像素上分配二进制标签，以定义由于人类活动或自然进化引起的地表变化。高分辨率遥感影像变化检测已成功用于城市规划、农业监测和灾害应急等领域。
首先，不同时期成像条件的变化(如季节交替和光照强度)导致给定的双时相遥感影像中同一物体具有不同的光谱特征。不同的光谱特征导致易混淆地物的错误分类(未变化的区域被识别为变化，而变化的区域被判断为未变化)。其次，变化区域常常具有不规则和复杂的形状，尤其是植被和森林的变化。因此，准确识别形状复杂且不规则的变化区域十分困难。
近年来，深度学习方法(尤其是卷积神经网络)，在各种遥感任务中取得了显著的成功。由于卷积神经网络强大的特征表示和强大的泛化能力，许多研究人员试图将其应用于遥感影像变化检测任务。变化检测可以被视为类似于语义分割的像素级二元分类任务。全卷积孪生网络是一种具有代表性的深度学习方法，用于变化检测具有良好的性能。全卷积孪生网络采用编码器-解码器架构，编码器由两个共享权重的网络组成，分别从单时相遥感影像中学习特征，解码器融合编码器的输出来恢复空间细节以生成变化检测结果。然而，全卷积孪生网络的特征表示仍然受到限制，限制了其性能。因此，一些研究人员使用设计良好的预训练模型(例如ResNet系列和VGG系列)，作为孪生网络的编码器。然而，上述预训练模型具有较大的计算复杂度和存储要求，这限制了遥感变化检测模型(CD模型)在有限的硬件资源上(例如卫星上的边缘设备)的部署。
为了解决上述问题，几种模型压缩和加速方法(例如，剪枝、量化、低秩分解和知识蒸馏)被提出。修剪通过去除大型卷积神经网络模型中的冗余连接来减少参数和计算量，但它需要更多的迭代才能收敛，并且需要手动设置修剪标准。量化通过减少权重的位数来压缩神经网络模型，这可以显着减少内存使用和浮点运算，但如何确保量化模型的准确性仍然具有挑战性。低秩分解通过合并维度和施加低秩约束来减少存储空间，但是逐层的低秩逼近不能进行全局参数压缩。上述方法需要将大模型重新设计为轻量级模型。与这几种方法不同的是，知识蒸馏是一种有效的解决方案，可以通过教师-学生学习将知识从大的教师模型转移到小的学生模型中，而无需重新设计新的轻量级模型。最近几年，知识蒸馏由于其简单有效的优点，已成功应用于场景分类、目标检测和语义分割等遥感任务中，但目前在变化检测任务中尚无成熟的知识蒸馏方法。
目前在遥感变化检测任务中尚无成熟的知识蒸馏方法。而变化检测与语义分割都是像素级的分类任务，存在相似之处，用于语义分割的知识蒸馏方法也可用于变化检测。根据知识类型，现有的语义分割中的知识蒸馏方法可以分为两类：基于响应的知识蒸馏和基于特征的知识蒸馏。基于响应的知识蒸馏通常侧重于教师模型最后一层的输出概率图。主要思想是引导学生模仿老师的最终预测结果。例如，逐通道蒸馏通过最小化各个通道概率图之间的差异来更加关注每个通道的显著性区域。基于响应的知识蒸馏简单而有效，但缺乏来自教师模型的中级特征监督。基于特征的知识蒸馏使用教师模型的最后一层输出和中间层的输出来监督学生模型。例如，面向密集预测的结构化知识蒸馏利用结构化知识蒸馏，以加强学生和教师模型输出之间的高阶一致性。还有采用类内特征差异蒸馏(IFVD)的方法，将教师模型的类内特征表示转移到学生模型。虽然基于特征的知识蒸馏为学生模型的训练提供了丰富的特征信息，但如何有效地提取有利的特征表示仍有待进一步研究。
与语义分割不同，复杂遥感场景中的变化检测任务更具挑战性，以下事实表明了这一困境。一方面，不同时期成像条件的变化导致特征空间的类内多样性。与多分类相比，二分类具有更高的类内多样性，这使得现有的语义分割知识蒸馏方法难以应用于变化检测。另一方面，变化检测面临着由变化区域的不规则和复杂形状引起的边缘像素分类模糊的困境。因此，空间信息对于变化检测很重要。故现有用于语义分割的知识蒸馏方法在变化检测任务中难以取得理想性能。
本发明实施例针对遥感变化检测提出了一种结合原型对比蒸馏和通道-空间归一化蒸馏的新型知识蒸馏方法。所提出的原型对比蒸馏引导学生模型模仿教师模型的判别特征分布，以减轻混淆对象的错误分类。所提出的通道-空间归一化蒸馏辅助学生模型同时关注空间概率分布和类别概率分布，以全面学习教师模型输出概率中包含的知识。经过大量实验，结果表明我们的方法比其他蒸馏方法更适合遥感变化检测任务，并且使得轻量级学生模型与大型教师模型的性能相当。
发明内容
本发明实施例提供了一种基于知识蒸馏的轻量级遥感影像变化检测方法，其要解决的技术问题是，在遥感变化检测中引导学生模型模仿教师模型的判别特征分布，以减轻混淆对象的错误分类，同时关注空间概率分布和类别概率分布，以全面学习教师模型输出概率中包含的知识。方法包括：
获取双时相遥感影像，将双时相遥感影像同时输入到孪生网络的学生模型和教师模型中，生成学生模型的第一特征图和教师模型的第二特征图；
将第一特征图和人为标注的真值图输入原型对比蒸馏模块中的PC模块，根据真值图和第一特征图生成第一PC图；将第二特征图输入所述原型对比蒸馏模块中的PC模块，根据真值图和第二特征图生成第二PC图；
根据所述真值图和交叉熵损失，确定第一损失函数；
根据第一PC图和第二PC图，确定第二损失函数；
对所述第一特征图和第二特征图进行二维的卷积操作，生成第一概率图和第二概率图，将第一概率图和第二概率图输入到通道归一化蒸馏模块中，得到第一通道概率图和第二通道概率图，将第一概率图和第二概率图输入到空间归一化蒸馏模块中，得到第一空间概率图和第二空间概率图；
根据所述第一通道概率图和第二通道概率图，确定第三损失函数；
根据所述第一空间概率图和第二空间概率图，确定第四损失函数；
根据第一、第二、第三、第四损失函数，确定的所述轻量级遥感影像变化检测的总损失函数；
根据所述总损失函数，对所述学生模型进行迭代训练，得到训练完成的学生模型；
使用所述训练完成的学生模型，检测遥感影像变化。
相比较现有技术，本发明实施例提供原型对比蒸馏使得学生模型模仿PC图中的特征分布来减轻其和教师模型之间的特征分布差异；提供的通道归一化蒸馏通过在软类别概率分布中采用逐像素对齐来优化学生模型，允许学生模型学习每个像素的类别分布；同时还提供一种空间归一化蒸馏通过在软空间概率分布中采用逐通道对齐来优化学生模型，逐通道对齐使得学生模型通过更多地关注具有显着激活值的区域来学习空间概率分布。多个蒸馏方法结合有利于提高学生模型的准确率并引导学生模型全面地学习教师输出中包含的知识，使其具备更强的变化区域识别能力生成更准确的遥感影像变化检测结果。
附图说明
图1是遥感影像变化检测的知识蒸馏整体框架示意图；
图2是基于知识蒸馏的轻量级遥感影像变化检测方法的示意图；
图3是原型对比蒸馏中PC模块的示意图；
图4是学生模型的模仿过程示意图；
图5是通道归一化前后的概率分布示意图；
图6是空间归一化前后的概率分布示意图。
具体实施方式
图1是遥感影像变化检测的知识蒸馏整体框架示意图。如图1所示，在如图所示的框架中，两个孪生网络(教师模型和学生模型)用于生成相应的特征图，在一个实施例中，学生模型生成的特征图为第一特征图；教师模型生成的特征图为第二特征图。进而，学生模型生成的生成第一特征图经过二维的卷积操作生成第一概率图；教师模型生成的生成第二特征图经过二维的卷积操作生成第二概率图。特征图被输入到原型对比蒸馏中，通过使学生模型模仿教师模型的特征分布来减轻混淆样本的错误分类。概率图被输入通道-空间归一化蒸馏，引导学生模型通过在通道域和空间域中学习概率分布以准确的识别变化区域。
图2是基于知识蒸馏的轻量级遥感影像变化检测方法的示意图。具体实施如下：
S210：将双时相遥感影像送入孪生网络
首先，将双时相遥感影像同时送入到教师模型和学生模型，教师模型和学生模型采用编码器-解码器架构，编码器由两个共享权重的网络组成，分别从单时相遥感影像中学习特征，解码器融合编码器的输出来恢复空间细节以生成变化检测结果。
S220：得到特征图
在教师模型和学生模型中通过计算得到各自的特征图，特征图的数学表达式为
Fs＝fs(IT1,IT2)
Ft＝ft(IT1,IT2)
其中，IT1和IT2为所述双时遥感影像，fs和ft分别是所述学生模型和所述教师模型的计算函数，Fs和Ft分别是所述学生模型和所述教师模型的特征图。
S230：原型对比蒸馏
将生成的特征图输入原型对比蒸馏以监督学生模型的特征分布，特别是使学生模型生成的易混淆样本特征更好地模仿教师模型。
在原型对比蒸馏中，将鲁棒的特征分布从教师模型转移到学生模型。通过PC模块利用真值图对特征图中的变化特征和不变特征进行掩码，得到变化原型和不变原型，用于生成PC图。通过PC模块生成的PC图可以很好地表征特征分布，在一个实施例中，学生模型的第一特征图通过PC模块生成第一PC图；教师模型的第二特征图通过PC模块生成第二PC图。图3是PC模块的示意图，本发明提出的原型对比蒸馏使得学生模型模仿PC图中的特征分布来减轻其和教师模型之间的特征分布差异，有利于提高学生模型的准确率。在一个实施例中PC图的蒸馏损失为第二损失函数LPC，其数学表达式为：
LPC＝l(Ms,Mt)
其中，l表示教师模型和学生模型PC图的距离损失。经过原型对比蒸馏，易混淆分类的样本可以距离正原型更近，离负原型更远，从而减轻了虚警和漏检。
图4是学生模型的模仿过程示意图，PC模块计算每个像素的特征与其对应的正负原型的相似度差异，根据人为标注的真值图和特征图生成PC图，PC图可看成是一个集合，其中每个元素表示其对应特征在特征空间中的分布。性能优越的教师模型通常提供比学生模型更稳健的特征分布。不同的特征分布会对变化检测产生重要影响，特别是对于容易出现虚警和漏检的困难样本。PC图的数学表达式为：
Ms＝fPC(Fs|GT)
Mt＝fPC(Ft|GT)
其中，GT为所述真值图，Fs和Ft分别是所述学生模型和所述教师模型的特征图，fPC为所述PC模块的计算函数，Ms和Mt分别是所述学生模型和所述教师模型的PC图。
PC图描述了特征图中的特征分布。具体而言，我们首先通过对具有相同类别标签(变化/非变化)的所有像素上的特征进行平均来计算每个类的原型。属于变化原型和非变化原型的数学表达式为：
Figure BDA0003931179680000041
Figure BDA0003931179680000042
其中，Pc和Pn分别是属于变化原型和属于非变化原型，Sc和Sn分别是属于变化类的像素集和属于非变化的像素集，f(i)和f(j)分别代表像素i和像素j上的特征。
通过上述操作，每个像素特征都有其对应的正负原型。采用余弦相似度来衡量像素特征与其正负原型之间的相似度。形式上，PC图M的数学表达式为：
Figure BDA0003931179680000051
其中，sim表示余弦相似度，exp函数用于稳定训练。PC图M征了特征空间中的结构化信息，教师模型比学生模型具有相对更强的辨别易混淆像素的能力。因此，我们最小化教师模型和学生模型的PC图之间的距离，以优化学生模型的特征分布。本发明中采用均方误差来表示PC图之间的距离，PC图的蒸馏损失的数学表达式可具体为：
Figure BDA0003931179680000052
其中N是像素数，Ω表示图像域。
S240：得到概率图
将特征图经过二维的卷积操作得到概率图。
S250：通道-空间归一化蒸馏
概率图被输入通道-空间归一化蒸馏以监督学生模型的最终预测，空间域和通道域的软概率分布中包含的信息性知识帮助学生模型准确识别具有复杂和不规则形状的变化区域。将通道归一化蒸馏损失和空间归一化蒸馏损失结合起来可以引导学生模型全面地学习教师输出中包含的知识，使其更准确的识别复杂和不规则形状的变化区域。在通道-空间归一化蒸馏中，本发明实施例提供了两个蒸馏损失项，以帮助学生模型模仿教师模型的概率分布，一个是通道归一化蒸馏损失，另一个是空间归一化蒸馏损失。
S251：通道归一化蒸馏
通道归一化蒸馏损失，旨在通过在软类别概率分布中采用逐像素对齐来优化学生模型，在一个实施例中通道归一化蒸馏损失为第三损失函数LCN，其数学表达为：
Figure BDA0003931179680000053
其中，
Figure BDA0003931179680000054
和
Figure BDA0003931179680000055
分别是学生模型生成的第一通道概率图和教师模型生成的第二通道概率图，φ表示教师模型和学生模型的通道概率图的散度损失。逐像素对齐允许学生模型学习每个像素的类别分布，但忽略了空间概率分布。
第三损失函数LCN旨在优化每个像素的类别概率分布。因为特征图通过2D卷积运算得到的概率图只代表每个通道上每个像素的得分，具有较大的取值范围差异。带有温度系数的softmax函数可用于对知识蒸馏中的概率分布进行归一化，具体而言，通道归一化的计算公式为：
Figure BDA0003931179680000061
其中，exp函数用于所述学生模型的稳定训练，T1为决定类别概率软化程度的温度参数，T1越高，概率分布越平滑和软化，Pc(c,i)表示特征图直接生成的概率图中第i个像素在第c通道上的概率。图5是通道归一化前后的概率分布示意图，如图所示，信息较多的软化概率分布可以作为蒸馏的知识。本发明引入Kullback-Leibler(KL)散度来评估教师模型和学生模型的通道归一化概率分布之间的差异，通道归一化的散度损失即第三损失函数LCN的数学表达式可具体为：
Figure BDA0003931179680000062
因此，学生模型通过通道归一化蒸馏来学习软类别概率分布，以减少学生和教师之间像素级类别分布的差距。
S252：空间归一化蒸馏
空间归一化蒸馏损失旨在通过在软空间概率分布中采用逐通道对齐来优化学生模型，在一个实施例中空间归一化蒸馏损失为第四损失函数LSN，其数学表达为：
Figure BDA0003931179680000063
其中
Figure BDA0003931179680000064
和
Figure BDA0003931179680000065
分别是是学生模型生成的第一空间概率图和教师模型生成的第二空间概率图，
Figure BDA0003931179680000066
表示教师模型和学生模型的空间归一化概率图的散度损失。逐通道对齐使得学生模型通过更多地关注具有显着激活值的区域来学习空间概率分布，但缺乏对像素级类别概率分布的学习。
损失函数LSN旨在优化每个通道的空间概率分布。带有温度系数的softmax函数也被用来空间概率分布的归一化，如下所示：
Figure BDA0003931179680000067
其中exp函数用于所述学生模型的稳定训练，T2为决定空间概率软化程度的温度参数，PS(c,i)为概率图中第i个像素在第c通道上的概率。图6是空间归一化前后的概率分布示意图，如图所示，与LCN的计算类似，KL散度也用于评估教师模型和学生模型的空间归一化概率分布之间的差异，空间归一化的散度损失即第四损失函数LSN可具体为：
Figure BDA0003931179680000068
因此，学生模型通过空间归一化蒸馏来学习软空间概率分布，以减少学生和教师之间各个通道中空间分布的差距。
本发明实施例所提出的通道-空间归一化蒸馏方法采用两种不同的蒸馏范式来引导学生模型全面学习教师模型输出概率中包含的知识，使学生模型具有识别复杂和不规则形状的变化区域的能力以生成更准确的变化检测结果。
S260：确定模型训练的损失函数
对于本发明所提出的用于遥感变化检测的知识蒸馏框架来说，用于模型训练的损失函数由一个常规的交叉熵损失和三个用于知识蒸馏的损失项组成，知识蒸馏框架的损失函数的数学表达式为：
L＝LCE+λ1·LPC+λ2·LCN+λ3·LSN
其中，在一个实施例中，LCE为第一损失函数，由人为标记的真值图和交叉熵损失确定，λ1、λ2和λ3分别为调节损失值大小的损失权重。
在模型训练过程中，我们首先训练教师模型使其具有出色的性能。在蒸馏阶段，教师模型的参数是固定的，只对学生模型进行反向传播。学生模型的参数更新过程如下：
Figure BDA0003931179680000071
其中lrm表示第m次训练迭代中的学习率，θm和θm+1分别表示学生模型在第m次和第(m+1)次迭代中的参数。
与现有技术相比，本发明提供的实施例针对遥感变化检测提出了一种结合原型对比蒸馏和通道-空间归一化蒸馏的新型知识蒸馏方法。所提出的原型对比蒸馏引导学生模型模仿教师模型的判别特征分布，以减轻混淆对象的错误分类。所提出的通道-空间归一化蒸馏辅助学生模型同时关注空间概率分布和类别概率分布，以全面学习教师模型输出概率中包含的知识。经过大量实验，实施例提供的方法比其他蒸馏方法更适合遥感变化检测任务，并且使得轻量级学生模型与大型教师模型的性能相当，为遥感图像实时解译以及变化检测模型部署提供了有效的技术手段。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于知识蒸馏的轻量级遥感影像变化检测方法，包括：
获取双时相遥感影像，将双时相遥感影像同时输入到孪生网络的学生模型和教师模型中，生成学生模型的第一特征图和教师模型的第二特征图；
将第一特征图和人为标注的真值图输入原型对比蒸馏模块中的PC模块，根据真值图和第一特征图生成第一PC图；将第二特征图输入所述原型对比蒸馏模块中的PC模块，根据真值图和第二特征图生成第二PC图；
根据所述真值图和交叉熵损失，确定第一损失函数；
根据第一PC图和第二PC图，确定第二损失函数；
对所述第一特征图和第二特征图进行二维的卷积操作，生成第一概率图和第二概率图，将第一概率图和第二概率图输入到通道归一化蒸馏模块中，得到第一通道概率图和第二通道概率图，将第一概率图和第二概率图输入到空间归一化蒸馏模块中，得到第一空间概率图和第二空间概率图；
根据所述第一通道概率图和第二通道概率图，确定第三损失函数；
根据所述第一空间概率图和第二空间概率图，确定第四损失函数；
根据第一、第二、第三、第四损失函数，确定的所述轻量级遥感影像变化检测的总损失函数；
根据所述总损失函数，对所述学生模型进行迭代训练，得到训练完成的学生模型；
使用所述训练完成的学生模型，检测遥感影像变化。
2.根据权利要求1所述的方法，其特征在于，所述通道归一化蒸馏模块中，包括：
通过对所述概率图进行通道概率归一化处理，在软类别概率分布中采用逐像素对齐，以减少所述学生模型和教师模型的像素级类别分布差异。
3.根据权利要求1所述的方法，其特征在于，所述空间归一化蒸馏模块中，包括：
通过对所述概率图进行每个通道的空间概率归一化处理，在软空间概率分布中采用逐通道对齐，以减少所述学生模型和所述教师模型的通道级空间分布差异。
4.根据权利要求1所述的方法，其特征在于，所述特征图的数学表达式为：
Fs＝fs(IT1,IT2)
Ft＝ft(IT1,IT2)
其中，IT1和IT2为所述双时相遥感影像，fs和ft分别是所述学生模型和所述教师模型的计算函数，Fs和Ft分别是所述学生模型和所述教师模型的特征图。
5.根据权利要求1所述的方法，其特征在于，所述PC图的数学表达式为：
Ms＝fPC(Fs|GT)
Mt＝fPC(Ft|GT)
其中，GT为所述真值图，Fs和Ft分别是所述学生模型和所述教师模型的特征图，fPC为所述PC模块的计算函数，Ms和Mt分别是所述学生模型和所述教师模型的PC图。
6.根据权利要求1所述的方法，其特征在于，所述第二损失函数的数学表达式为：
Figure FDA0003931179670000011
其中，LPC为第二损失函数，N为像素数，Ω为图像域，Ms和Mt分别是所述学生模型和所述教师模型的PC图，所述PC图M表征了特征空间中的结构化信息，通过最小化教师模型和学生模型的PC图之间的距离，以优化学生模型的特征分布；所述M的数学表达式为：
Figure FDA0003931179670000021
其中，sim表示余弦相似度，exp函数用于稳定训练，Sc和Sn分别是属于变化类的像素集和属于非变化类的像素集，Pc和Pn分别是变化原型和非变化原型，对应每个像素特征；所述Pc和Pn的数学表达式为：
Figure FDA0003931179670000022
Figure FDA0003931179670000023
其中，f(i)和f(j)分别代表像素i和像素j上的特征。
7.根据权利要求1所述的方法，其特征在于，所述第三损失函数的数学表达式为：
Figure FDA0003931179670000024
其中，LCN为第三损失函数，
Figure FDA0003931179670000025
和
Figure FDA0003931179670000026
分别是是学生模型生成的第一通道概率图和教师模型生成的第二通道概率图，所述Pc(c,i)的数学表达式为：
Figure FDA0003931179670000027
其中，T1为决定类别概率软化程度的温度参数，Pc(c,i)为概率图中第i个像素在第c通道上的概率。
8.根据权利要求1所述的方法，其特征在于，所述第四损失函数的数学表达式为：
Figure FDA0003931179670000028
其中，LSN为第四损失函数，PS(c,i)为概率图中第i个像素在第c通道上的概率，所述Pc(c,i)的数学表达式为：
Figure FDA0003931179670000029
其中，
Figure FDA00039311796700000210
和
Figure FDA00039311796700000211
分别是是学生模型生成的第一空间概率图和教师模型生成的第二空间概率图，T2为决定空间概率软化程度的温度参数。
9.根据权利要求1-6任一项所述的方法，其特征在于，所述总损失函数的数学表达式为：
L＝LCE+λ1·LPC+λ2·LCN+λ3·LSN
其中LCE为第一损失函数，λ1、λ2和λ3分别为调节损失值大小的损失权重。
CN202211388950.7A 2022-11-08 2022-11-08 一种基于知识蒸馏的轻量级遥感影像变化检测方法 Pending CN115546196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211388950.7A CN115546196A (zh) 2022-11-08 2022-11-08 一种基于知识蒸馏的轻量级遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211388950.7A CN115546196A (zh) 2022-11-08 2022-11-08 一种基于知识蒸馏的轻量级遥感影像变化检测方法

Publications (1)

Publication Number Publication Date
CN115546196A true CN115546196A (zh) 2022-12-30

Family

ID=84720232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211388950.7A Pending CN115546196A (zh) 2022-11-08 2022-11-08 一种基于知识蒸馏的轻量级遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN115546196A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665064A (zh) * 2023-07-27 2023-08-29 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN117521848A (zh) * 2023-11-10 2024-02-06 中国科学院空天信息创新研究院 面向资源受限场景的遥感基础模型轻量化方法、装置
CN117557916A (zh) * 2024-01-11 2024-02-13 大连理工大学 一种结合文本图像生成的遥感目标分类方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665064A (zh) * 2023-07-27 2023-08-29 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN116665064B (zh) * 2023-07-27 2023-10-13 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN117521848A (zh) * 2023-11-10 2024-02-06 中国科学院空天信息创新研究院 面向资源受限场景的遥感基础模型轻量化方法、装置
CN117557916A (zh) * 2024-01-11 2024-02-13 大连理工大学 一种结合文本图像生成的遥感目标分类方法
CN117557916B (zh) * 2024-01-11 2024-03-19 大连理工大学 一种结合文本图像生成的遥感目标分类方法

Similar Documents

Publication Publication Date Title
CN111368886B (zh) 一种基于样本筛选的无标注车辆图片分类方法
CN110070183B (zh) 一种弱标注数据的神经网络模型训练方法及装置
Alkhulaifi et al. Knowledge distillation in deep learning and its applications
CN115546196A (zh) 一种基于知识蒸馏的轻量级遥感影像变化检测方法
CN113610173B (zh) 一种基于知识蒸馏的多跨域少样本分类方法
US10373027B1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN107251059A (zh) 用于深度学习的稀疏推理模块
US20230134531A1 (en) Method and system for rapid retrieval of target images based on artificial intelligence
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
US20230359900A1 (en) Systems and methods for masked self-training of unsupervised image classification
Aksoy et al. Multi-label noise robust collaborative learning for remote sensing image classification
Li et al. An improved categorical cross entropy for remote sensing image classification based on noisy labels
CN115953621A (zh) 一种基于不可靠伪标签学习的半监督高光谱图像分类方法
Yan Computational Methods for Deep Learning: Theory, Algorithms, and Implementations
CN113807214B (zh) 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
CN116611517A (zh) 融合图嵌入和注意力的知识追踪方法
CN115830401A (zh) 一种小样本图像分类方法
Grinwald et al. Visualizing the diversity of representations learned by Bayesian neural networks
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN114722928A (zh) 一种基于深度学习的蓝藻图像识别方法
CN115577793A (zh) 一种面向网络结构的映射式蒸馏方法及其训练方法
He et al. ACSL: Adaptive correlation-driven sparsity learning for deep neural network compression
JPH08305855A (ja) 画像のパターン認識方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination