CN115019183B - 基于知识蒸馏和图像重构的遥感影像模型迁移方法 - Google Patents

基于知识蒸馏和图像重构的遥感影像模型迁移方法 Download PDF

Info

Publication number
CN115019183B
CN115019183B CN202210900359.9A CN202210900359A CN115019183B CN 115019183 B CN115019183 B CN 115019183B CN 202210900359 A CN202210900359 A CN 202210900359A CN 115019183 B CN115019183 B CN 115019183B
Authority
CN
China
Prior art keywords
data
model
data set
tested
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210900359.9A
Other languages
English (en)
Other versions
CN115019183A (zh
Inventor
刘世烁
冯鹏铭
贺广均
符晗
常江
金世超
梁银川
邹同元
韩昱
车程安
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202210900359.9A priority Critical patent/CN115019183B/zh
Publication of CN115019183A publication Critical patent/CN115019183A/zh
Application granted granted Critical
Publication of CN115019183B publication Critical patent/CN115019183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于知识蒸馏和图像重构的遥感影像模型迁移方法，包括：在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型；利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练；利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果；重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果；将所述第一判别结果和所述第二判别结果的全连接层进行加权融合，获得用于判别所述待测试数据的第二目标检测模型。该方法可实现不同类型遥感影像的模型迁移。

Description

基于知识蒸馏和图像重构的遥感影像模型迁移方法
技术领域
本发明涉及深度学习与模型迁移识别技术领域，尤其涉及一种基于知识蒸馏和图像重构的遥感影像模型迁移方法。
背景技术
由不同卫星获取的遥感图像存在数据类型差异较大、获取的数据数量不均衡和标注难度也各有不同的问题，导致不同数据之间的模型无法直接相互迁移使用，而且某些遥感卫星数据量(样本较少)难以支撑大规模训练，尤其是对于相似任务不同类型的新卫星获取的遥感图像数据，在使用这些数据时存在标注困难和常常需要重复标注等一系列的应用难题，效率低。
在不同类型数据的模型迁移任务中，现有主流的深度学习方法主要为基于预训练模型进行迁移学习训练，但是需要重复标注、耗时耗力，且预训练模型在新的数据量较小的情况下也无法达到较好的学习效果，往往也仍旧需要对新的数据进行重新标注和训练。
发明内容
为解决上述现有技术存在的技术问题，本发明的目的在于提供一种基于知识蒸馏和图像重构的遥感影像模型迁移方法，实现不同类型遥感影像的模型迁移。
为实现上述发明目的，本发明的技术方案是：
本发明提供一种基于知识蒸馏和图像重构的遥感影像模型迁移方法，包括：
在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型；
利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练；
利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果；
重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果；
将所述第一判别结果和所述第二判别结果的全连接层进行加权融合，获得用于判别所述待测试数据的第二目标检测模型。
根据本发明的一个方面，所述数据集A和所述数据集B分别包含不同数据类型的遥感影像。
根据本发明的一个方面，在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型，包括：
判断所述数据集A中遥感影像的目标名称和目标区域，使用最小外接倾斜矩形框标注所述目标区域，标注所述目标名称和所述矩形框的四个角点位置；
对标注的遥感影像进行切片和翻转的预处理；
将处理后的遥感影像输入所述第一目标检测模型进行训练，获得教师模型。
根据本发明的一个方面，所述第一目标检测模型采用主干网络为resnet50的残差网络结构，采用Faster R-CNN算法对所述第一目标检测模型进行训练。
根据本发明的一个方面，利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练，包括：
在所述教师模型的全连接层的softmax输出中引入玻尔兹曼分布的温度系数，获得学生模型，当所述温度系数越趋向于0且所述温度系数越大，所述学生模型更接近于所述教师模型；
对所述教师模型和所述学生模型的交叉熵进行最小化，利用样本不足的数据集B训练优化所述学生模型，得到所述交叉熵最小的系数所对应的学生模型。
根据本发明的一个方面，所述学生模型的判别公式为：
Figure GDA0003900672720000031
其中，zi为所述教师模型的全连接层的softmax输出，i表示第i个类别，T为所述玻尔兹曼分布的温度系数，∑j exp(zj/T)为所述教师模型的全连接层所有类别的softmax输出的总和，j为总类别数量；
所述最小化的交叉熵为：
C＝-pTlog qi
其中，p为所述教师模型的分布。
根据本发明的一个方面，利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果，包括：
将与所述数据集B的数据类型相同的待测试数据输入训练后的学生模型中；
利用所述训练后的学生模型采用two-stage目标检测算法对所述待测试数据的目标进行推理定位和判别，输出每个定位框的第一判别结果；
判断所述第一判别结果是否满足第一预设阈值，并记录满足所述第一预设阈值的目标位置和判别概率，作为最终的第一判别结果。
根据本发明的一个方面，重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，包括：
对所述数据集B和所述数据集A的数据类型进行比较和判断；
对所述数据集A中的数据进行处理，获得与所述数据集B的数据类型相同的数据集Ab；
基于峰值信噪比建立损失函数，建立所述数据集Ab和所述数据集B的数据类型之间的相似度，并基于所述相似度构建和优化所述数据集A到所述数据集B的退化模型fA-B；
利用所述退化模型fA-B采用以下图像重构模型重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，
Figure GDA0003900672720000041
其中，
Figure GDA0003900672720000042
为所述退化模型fA-B的反投影，n为随机噪声，fB-A为图像重构模型，在训练过程中，利用基于峰值信噪比建立的损失函数对所述退化模型的反投影进行迭代优化，获得所述图像重构模型。
根据本发明的一个方面，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果，包括：
将重构后与所述数据集A的数据类型相同的待测试数据输入所述教师模型中；
利用所述教师模型对所述待测试数据进行推理定位、回归和分类，输出每个定位框的第二判别结果；
判断所述第二判别结果是否满足第二预设阈值，并记录满足所述第二预设阈值的目标位置和判别概率，作为最终的第二判别结果。
根据本发明的一个方面，所述加权融合的公式为：
P＝αPs+(1-α)Pt
其中，α为权重系数，Ps为所述第一判别结果，Pt为所述第二判别结果，P为所述第二目标检测模型的全连接层。
与现有技术相比，本发明具有如下优点：
根据本发明的方案，利用知识蒸馏构建了教师-学生网络模型，使用样本充足、标注完整的遥感数据训练得到教师网络模型，对教师网络模型蒸馏出数据量小，标注目标少的不同类型遥感数据所对应的学生网络模型。不同于传统的知识蒸馏只保留学生模型作为最终模型，本发明利用图像重构模型使得新类型数据可以转化为教师模型对应类型的数据，对教师模型进行再次利用，并最终将学生模型、教师模型和图像重构模型三者融为一个模型，实现不同类型遥感影像的模型迁移。
根据本发明的一个方案，利用图像重构模型，可以将数据量少的数据转化为已有模型(教师模型)对应的数据类型，便可以直接利用已有模型对新类型的数据进行推理，大大较少了对新数据的数据量和标注量的需求，节省了人力物力，将对新数据的重新训练过程转化为新数据类型变为旧数据类型的过程，可以更好地利用已经训练好的网络模型。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示本发明实施例公开的一种基于知识蒸馏和图像重构的遥感影像模型迁移方法的实现流程图；
图2示意性表示本发明实施例公开的知识蒸馏的实现流程图；
图3示意性表示本发明实施例公开的构建和优化图像重构模型的实现流程图；
图4示意性表示本发明实施例公开的获得第二目标检测模型与联合判别的实现流程图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
参见图1，本发明实施例公开的一种基于知识蒸馏和图像重构的遥感影像模型迁移方法，包括以下步骤：
步骤100、在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型。需要注意的是，数据集A包含的是数据量足够大、标注数据足够多且标注准确，用于训练得到稳定的深度检测识别模型的遥感影像数据。
在一个实施例中，步骤100中在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型的具体实施过程包括：
步骤101、判断所述数据集A中遥感影像的目标名称和目标区域(即目标位置)，使用最小外接倾斜矩形框标注所述目标区域，标注所述目标名称和所述矩形框的四个角点位置。
步骤102、对标注的遥感影像进行切片和翻转的预处理。
步骤103、将处理后的遥感影像输入所述第一目标检测模型进行训练，获得教师模型。具体的，该第一目标检测模型采用主干网络为resnet50的残差网络结构。将处理后的遥感影像输入第一目标检测模型后，采用Faster R-CNN算法对第一目标检测模型进行训练，获得教师模型。
步骤200、利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练。需要注意的是，数据集B包含的是数据量较少且不足以训练得到稳定的深度检测识别模型的遥感影像数据。
在一个实施例中，参见图2，步骤200中利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练的具体实施过程包括：
步骤201、在所述教师模型的全连接层的softmax输出中引入玻尔兹曼分布的温度系数，获得学生模型，当所述温度系数越趋向于0且所述温度系数越大，所述学生模型更接近于所述教师模型。将教师模型的最后一层也就是全连接层(或softmax层)的softmax输出作为教师的知识指导学生模型，引入的玻尔兹曼分布中的温度系数可以使教师模型的输出更平滑，温度系数越趋向于0时，模型越收敛为one-hot向量，温度系数越大，新模型(学生模型)更接近于原模型(教师模型)。
具体的，处理后的教师模型的输出qi，即所述学生模型的判别公式为：
Figure GDA0003900672720000061
其中，zi为所述教师模型的全连接层的softmax输出，i表示第i个类别，T为所述玻尔兹曼分布的温度系数，∑j exp(zj/T)为所述教师模型的全连接层所有类别的softmax输出的总和，j为总类别数量；
步骤202、对所述教师模型和所述学生模型的交叉熵C(Cross-entropy)进行最小化，利用样本不足的数据集B训练优化所述学生模型，也就是对所述处理后的教师模型的输出在数据集B上进行优化，得到使得所述交叉熵最小的系数，将该系数对应的教师模型的输出模型q作为训练最后得到的学生模型。
具体的，在教师模型对学生模型的指导训练过程中，所述最小化的交叉熵C为：
C＝-pTlog qi
其中，p为所述教师模型的分布。
在一个实施例中，所述数据集A和所述数据集B分别所包含的遥感影像的数据类型不同。
步骤300、利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果。
在一个实施例中，参见图4，步骤300中利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果的具体实施过程包括：
步骤301、将与所述数据集B的数据类型相同的待测试数据输入训练后的学生模型中，也就是所述步骤202最后得到的学生模型q中。
步骤302、利用所述训练后的学生模型采用two-stage目标检测算法对所述待测试数据的目标进行推理定位和判别，输出每个定位框的第一判别结果，即softmax判别结果Ps。
步骤303、判断所述第一判别结果是否满足第一预设阈值，并记录满足所述第一预设阈值的目标位置和判别概率，作为最终的第一判别结果。需要注意的是，这里满足的条件指的是第一判别结果大于等于第一预设阈值。
步骤400、重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果。
在一个实施例中，参见图3，步骤400中重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同的具体实施过程包括：
步骤401、对所述数据集B和所述数据集A的数据类型进行比较和判断。
步骤402、对所述数据集A中的数据进行处理，获得与所述数据集B的数据类型相同的数据集Ab。
步骤403、基于峰值信噪比(PSNR)建立损失函数，建立所述数据集Ab和所述数据集B的数据类型之间的相似度，并基于所述相似度构建和优化所述数据集A到所述数据集B的退化模型fA-B。
步骤404、利用所述退化模型fA-B采用以下图像重构模型重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，
Figure GDA0003900672720000081
其中，
Figure GDA0003900672720000082
为所述退化模型fA-B的反投影，n为随机噪声，fB-A为图像重构模型，在训练过程中，利用基于峰值信噪比建立的损失函数对所述退化模型的反投影进行迭代优化，获得所述图像重构模型。由于重构前的待测试数据与数据集B中的数据类型相同，所以可以利用使得数据集B与数据集A的数据类型相同的重构过程及其相应的图像重构模型对待测试数据进行重构，使其数据类型与数据集A的相同。
在一个实施例中，参见图4，步骤400中利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果的具体实施过程包括：
步骤405、将重构后与所述数据集A的数据类型相同的待测试数据输入所述教师模型中。
步骤406、利用所述教师模型对所述待测试数据进行推理定位、回归和分类，输出每个定位框的第二判别结果，即softmax判别结果Pt。
步骤407、判断所述第二判别结果是否满足第二预设阈值，并记录满足所述第二预设阈值的目标位置和判别概率，作为最终的第二判别结果。需要注意的是，这里满足的条件指的是第二判别结果大于等于第二预设阈值。
步骤500、将所述第一判别结果和所述第二判别结果的全连接层进行加权融合，获得用于判别所述待测试数据的第二目标检测模型。
在一个实施例中，所述加权融合的公式为：
P＝αPs+(1-α)Pt
其中，α为权重系数，Ps为所述第一判别结果，Pt为所述第二判别结果，P为所述第二目标检测模型的全连接层。全连接层即为softmax层，所述第二目标检测模型即为融合后的softmax层。对所述第一判别结果和所述第二判别结果的全连接层进行加权融合时，相同区域取最大并集。利用融合后的结果，即融合后的softmax层或第二目标检测模型对待测试数据进行综合判别，得到最终的判别结果综合利用的信息广，实现高精度判别。
本发明实施例提供的基于知识蒸馏和图像重构的遥感影像模型迁移方法，在数据量较大、标注数据较多的遥感影像数据集A中训练的模型作为教师模型，在数据量较小的遥感影像数据集B中使用知识蒸馏的方法压缩教师模型，得到学生模型。利用学生模型对与数据集B同类型的待测试数据进行判别，得到判别结果一，利用图像重构模型对数据集B进行处理，获得与数据集A同一类型的数据，再利用该重构方法对待测试数据重构为与数据集A相同类型的数据，并使用教师模型进行判别，得到判别结果二，最后将判别结果一和判别结果二的softmax层进行加权融合，再利用融合后的softmax层的进行总判别，得到高精度识别与数据集A类型不同的待测试数据的目标检测模型，从而实现不同类型的遥感图像之间的模型迁移。
该方法改变了传统深度学习中使用预训练模型进行模型迁移和传统模型迁移中需要对新的数据进行再次训练的方法，通过知识蒸馏和图像变换的方法以达到不同类型遥感影像模型迁移的目的，实现不同卫星遥感影像之间的模型迁移，而且比传统方法减少了对新模型数据量的依赖。
对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于知识蒸馏和图像重构的遥感影像模型迁移方法，包括：
在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型；
利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练；
利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果；
重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果；
其中，重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，包括：
对所述数据集B和所述数据集A的数据类型进行比较和判断；
对所述数据集A中的数据进行处理，获得与所述数据集B的数据类型相同的数据集Ab；
基于峰值信噪比建立损失函数，建立所述数据集Ab和所述数据集B的数据类型之间的相似度，并基于所述相似度构建和优化所述数据集A到所述数据集B的退化模型fA-B；
利用所述退化模型fA-B采用以下图像重构模型重构所述待测试数据，使所述待测试数据与所述数据集A的数据类型相同，
Figure FDA0003900672710000011
其中，
Figure FDA0003900672710000012
为所述退化模型fA-B的反投影，n为随机噪声，fB-A为图像重构模型，在训练过程中，利用基于峰值信噪比建立的损失函数对所述退化模型的反投影进行迭代优化，获得所述图像重构模型；
将所述第一判别结果和所述第二判别结果的全连接层进行加权融合，获得用于判别所述待测试数据的第二目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述数据集A和所述数据集B分别包含不同数据类型的遥感影像。
3.根据权利要求1所述的方法，其特征在于，在样本充足和标注完整的数据集A中训练第一目标检测模型，获得教师模型，包括：
判断所述数据集A中遥感影像的目标名称和目标区域，使用最小外接倾斜矩形框标注所述目标区域，标注所述目标名称和所述矩形框的四个角点位置；
对标注的遥感影像进行切片和翻转的预处理；
将处理后的遥感影像输入所述第一目标检测模型进行训练，获得教师模型。
4.根据权利要求3所述的方法，其特征在于，所述第一目标检测模型采用主干网络为resnet50的残差网络结构，采用Faster R-CNN算法对所述第一目标检测模型进行训练。
5.根据权利要求1所述的方法，其特征在于，利用知识蒸馏对所述教师模型进行压缩，获得学生模型，并在样本不足的数据集B中进行训练，包括：
在所述教师模型的全连接层的softmax输出中引入玻尔兹曼分布的温度系数，获得学生模型，当所述温度系数越趋向于0且所述温度系数越大，所述学生模型更接近于所述教师模型；
对所述教师模型和所述学生模型的交叉熵进行最小化，利用样本不足的数据集B训练优化所述学生模型，得到所述交叉熵最小的系数所对应的学生模型。
6.根据权利要求5所述的方法，其特征在于，所述学生模型的判别公式为：
Figure FDA0003900672710000021
其中，zi为所述教师模型的全连接层的softmax输出，i表示第i个类别，T为所述玻尔兹曼分布的温度系数，∑jexp(zj/T)为所述教师模型的全连接层所有类别的softmax输出的总和，j为总类别数量；
所述最小化的交叉熵为：
C＝-pTlog qi
其中，p为所述教师模型的分布。
7.根据权利要求1所述的方法，其特征在于，利用训练后的学生模型对与所述数据集B的数据类型相同的待测试数据进行判别，获得第一判别结果，包括：
将与所述数据集B的数据类型相同的待测试数据输入训练后的学生模型中；
利用所述训练后的学生模型采用two-stage目标检测算法对所述待测试数据的目标进行推理定位和判别，输出每个定位框的第一判别结果；
判断所述第一判别结果是否满足第一预设阈值，并记录满足所述第一预设阈值的目标位置和判别概率，作为最终的第一判别结果。
8.根据权利要求1所述的方法，其特征在于，利用所述教师模型对重构后的待测试数据进行判别，获得第二判别结果，包括：
将重构后与所述数据集A的数据类型相同的待测试数据输入所述教师模型中；
利用所述教师模型对所述待测试数据进行推理定位、回归和分类，输出每个定位框的第二判别结果；
判断所述第二判别结果是否满足第二预设阈值，并记录满足所述第二预设阈值的目标位置和判别概率，作为最终的第二判别结果。
9.根据权利要求1所述的方法，其特征在于，所述加权融合的公式为：
P＝αPs+(1-α)Pt
其中，α为权重系数，Ps为所述第一判别结果，Pt为所述第二判别结果，P为所述第二目标检测模型的全连接层。
CN202210900359.9A 2022-07-28 2022-07-28 基于知识蒸馏和图像重构的遥感影像模型迁移方法 Active CN115019183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210900359.9A CN115019183B (zh) 2022-07-28 2022-07-28 基于知识蒸馏和图像重构的遥感影像模型迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900359.9A CN115019183B (zh) 2022-07-28 2022-07-28 基于知识蒸馏和图像重构的遥感影像模型迁移方法

Publications (2)

Publication Number Publication Date
CN115019183A CN115019183A (zh) 2022-09-06
CN115019183B true CN115019183B (zh) 2023-01-20

Family

ID=83065312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900359.9A Active CN115019183B (zh) 2022-07-28 2022-07-28 基于知识蒸馏和图像重构的遥感影像模型迁移方法

Country Status (1)

Country Link
CN (1) CN115019183B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204770B (zh) * 2022-12-12 2023-10-13 中国公路工程咨询集团有限公司 一种用于桥梁健康监测数据异常检测的训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200318A (zh) * 2020-10-10 2021-01-08 广州云从人工智能技术有限公司 一种目标检测方法、装置、机器可读介质及设备
CN113344206A (zh) * 2021-06-25 2021-09-03 江苏大学 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN111626330B (zh) * 2020-04-23 2022-07-26 南京邮电大学 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统
CN115699029A (zh) * 2020-06-05 2023-02-03 华为技术有限公司 利用神经网络中的后向传递知识改进知识蒸馏
CN111767711B (zh) * 2020-09-02 2020-12-08 之江实验室 基于知识蒸馏的预训练语言模型的压缩方法及平台
CN112418343B (zh) * 2020-12-08 2024-01-05 中山大学 多教师自适应联合的学生模型训练方法
CN113487482B (zh) * 2021-07-01 2024-03-29 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113486665B (zh) * 2021-07-05 2023-06-20 哈尔滨工业大学（深圳） 隐私保护文本命名实体识别方法、装置、设备及存储介质
CN113486990B (zh) * 2021-09-06 2021-12-21 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN114049513A (zh) * 2021-09-24 2022-02-15 中国科学院信息工程研究所 一种基于多学生讨论的知识蒸馏方法和系统
CN114170655A (zh) * 2021-11-29 2022-03-11 西安电子科技大学 一种基于知识蒸馏的人脸伪造线索迁移方法
CN114140442A (zh) * 2021-12-01 2022-03-04 北京邮电大学 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
CN114677304A (zh) * 2022-03-28 2022-06-28 东南大学 一种基于知识蒸馏和深度神经网络的图像去模糊算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200318A (zh) * 2020-10-10 2021-01-08 广州云从人工智能技术有限公司 一种目标检测方法、装置、机器可读介质及设备
CN113344206A (zh) * 2021-06-25 2021-09-03 江苏大学 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法

Also Published As

Publication number Publication date
CN115019183A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110134786B (zh) 一种基于主题词向量与卷积神经网络的短文本分类方法
CN109492099B (zh) 一种基于领域对抗自适应的跨领域文本情感分类方法
CN108536679B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN110516070B (zh) 一种基于文本纠错与神经网络的中文问句分类方法
CN111143567B (zh) 一种基于改进神经网络的评论情感分析方法
CN111444298A (zh) 一种基于兴趣点知识图谱预训练的地址匹配算法
CN112163089B (zh) 一种融合命名实体识别的高技术文本分类方法及系统
CN113626589A (zh) 一种基于混合注意力机制的多标签文本分类方法
CN113051914A (zh) 一种基于多特征动态画像的企业隐藏标签抽取方法及装置
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN112434628A (zh) 基于主动学习和协同表示的小样本极化sar图像分类方法
CN111984791A (zh) 一种基于注意力机制的长文分类方法
CN115019183B (zh) 基于知识蒸馏和图像重构的遥感影像模型迁移方法
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN110705384B (zh) 一种基于跨域迁移增强表示的车辆再识别方法
CN114780723A (zh) 基于向导网络文本分类的画像生成方法、系统和介质
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN116049367A (zh) 一种基于无监督知识增强的视觉-语言预训练方法及装置
CN115062727A (zh) 一种基于多阶超图卷积网络的图节点分类方法及系统
CN115965818A (zh) 一种基于相似度特征融合的小样本图像分类方法
CN112668633B (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN114757183B (zh) 一种基于对比对齐网络的跨领域情感分类方法
CN113886602B (zh) 一种基于多粒度认知的领域知识库实体识别方法
CN113342982B (zh) 融合RoBERTa和外部知识库的企业行业分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant