CN117523409A - 基于模型结构解耦的分布式协同增量更新方法及装置 - Google Patents
基于模型结构解耦的分布式协同增量更新方法及装置 Download PDFInfo
- Publication number
- CN117523409A CN117523409A CN202311495686.1A CN202311495686A CN117523409A CN 117523409 A CN117523409 A CN 117523409A CN 202311495686 A CN202311495686 A CN 202311495686A CN 117523409 A CN117523409 A CN 117523409A
- Authority
- CN
- China
- Prior art keywords
- satellite
- remote sensing
- model
- sensing image
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006993 memory improvement Effects 0.000 claims abstract description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 208000012639 Balance disease Diseases 0.000 claims description 3
- 238000004821 distillation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于模型结构解耦的分布式协同增量更新方法及装置，涉及遥感图像处理领域，包括：采用分布式多源卫星中每个卫星获取与每个卫星分别对应的第一类别遥感图像；获取与每个卫星分别对应的范例集，范例集包括第二类别遥感图像，第一类别遥感图像与第二类别遥感图像类别不同；将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新及梯度计算，得到各个星载模型的更新参数和各个类别图像的梯度信息；将各个星载模型的更新参数进行融合，得到全局模型；基于各个类别图像的梯度信息确定伪特征集；利用伪特征集对全局模型的分类器进行偏差校准以及对全局模型进行第二类别遥感图像的记忆增强。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种基于模型结构解耦的分布式协同增量更新方法及装置。
背景技术
随着对地观测卫星技术的不断更新迭代，卫星通过搭载智能处理单元，实现星上在轨实时处理，逐渐成为遥感图像处理的发展趋势。与此同时，遥感图像的快速更新迭代使得模型需要不断进行类别增量更新，以适应实际应用需求。受限于单颗卫星观测得到的数据量、类别十分有限，星载模型的更新通常采用地面集中大量数据更新再上传的模式，但其流程长，迭代慢，并且存在灾难性遗忘问题。
发明内容
有鉴于此，本发明第一方面提供一种基于模型结构解耦的分布式协同增量更新方法，星载模型包括特征提取器和分类器，方法包括：采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像；获取与每个卫星分别对应的范例集，范例集包括第二类别遥感图像，第一类别遥感图像与第二类别遥感图像类别不同；将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新及梯度计算，得到各个星载模型的更新参数和各个类别图像的梯度信息；将各个星载模型的更新参数进行融合，得到全局模型；基于各个类别图像的梯度信息确定伪特征集；利用伪特征集对全局模型的分类器进行偏差校准以及对全局模型进行第二类别遥感图像的记忆增强。
根据本发明的实施例，将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新包括：使用特征提取器提取第一类别遥感图像和第二类别遥感图像中的个性化特征；将个性化特征输入分类器，将个性化特征映射为类别结果；根据类别结果对特征提取器和分类器的参数进行更新。
根据本发明的实施例，特征提取器采用ResNet-50网络模型，ResNet-50网络模型包括至少一个残差块，每个残差块包括至少一层卷积层，不同残差块的维度不同；残差块被配置为对第一类别遥感图像和第二类别遥感图像进行卷积运算，对卷积运算的结果进行矩阵相加运算，得到个性化特征；分类器由至少一层全连接层组成，全连接层被配置为将个性化特征映射到样本标记空间，通过softmax函数得到类别结果。
根据本发明的实施例，残差块还被配置为对第一类别遥感图像和所述第二类别遥感图像进行重复卷积运算，不同残差块卷积运算的重复次数相同或者不同。
根据本发明的实施例，将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行梯度计算包括：计算与每个卫星对应的所有第一类别遥感图像和所有第二类别遥感图像在该卫星当前星载模型分类器上的梯度信息，得到各个类别图像的梯度信息；基于各个类别图像的梯度信息确定伪特征集包括：对各个卫星的各个类别图像的梯度信息计算平均值，得到一组包含所有已学习类别的梯度信息；将一组随机初始化图像特征输入分类器计算第一梯度信息；以第一梯度信息与已学习类别的梯度信息之间的差距为损失，对初始化图像特征进行迭代优化，得到伪特征集。
根据本发明的实施例，利用伪特征集对全局模型进行第二类别遥感图像的记忆增强包括：获取伪特征集中属于第二类别的伪特征对偏差校准后的全局模型进行再次校准，增强偏差校准后的全局模型对第二类别遥感图像包含的知识的记忆。
根据本发明的实施例，星载模型进行模型参数更新采用的损失函数包括类均衡损失函数和类语义关系蒸馏损失函数。
根据本发明的实施例，还包括：利用与每一卫星对应的第一类别遥感图像对与该卫星对应的范例集进行更新。
本发明第二方面提供一种基于模型结构解耦的分布式协同增量更新装置，星载模型包括特征提取器和分类器，装置包括：观测模块，用于采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像；获取模块，用于获取与每个卫星分别对应的范例集，其中，范例集包括第二类别遥感图像，第一类别遥感图像与第二类别遥感图像类别不同；更新模块，将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新及梯度计算，得到各个星载模型的更新参数和各个类别图像的梯度信息；融合模块，用于将各个星载模型的更新参数进行融合，得到全局模型以及用于基于各个类别图像的梯度信息确定伪特征集；校准及增强模块，用于利用伪特征集对全局模型的分类器进行偏差校准以及对全局模型进行第二类别遥感图像的记忆增强。
根据本发明实施例提供的基于模型结构解耦的分布式协同增量更新方法及装置，至少能够实现以下技术效果：
基于多源遥感数据生成平衡的伪特征集对模型分类器进行校正，有效融合分布式各卫星获取的不同的图像解译能力，从而实现多源多平台观测图像的表征能力的有效融合，实现模型持续的更新，缓解固有的灾难性遗忘问题，提高模型泛化性能和推理性能，提高了遥感图像在线处理的精度。通过对模型结构解耦分析，提出分类器校准模块有效缓解了有偏分类器对全局模型权重偏移的影响，进一步提高了遥感图像在线处理的精度。通过旧知识强化模块增强模型对旧类别知识的特征提取能力，提高了模型的泛化性能和推理性能，进一步提高了遥感图像在线处理的精度。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明一实施例的基于模型结构解耦的分布式协同增量更新方法流程图。
图2示意性示出了根据本发明实施例的星载模型类别增量更新原理图。
图3示意性示出了根据本发明实施例的特征提取器与分类器的结构图。
图4示意性示出了根据本发明实施例的残差块的结构图。
图5示意性示出了根据本发明实施例的通过分类器校准模块对有偏分类器进行校准的流程图。
图6示意性示出了根据本发明实施例的基于模型结构解耦的分布式协同增量更新装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在本发明中，不应将位于括号之间的任何参考符号构造成对本发明的限制。
类似地，为了精简本发明并帮助理解各个公开方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
图1示意性示出了根据本发明一实施例的基于模型结构解耦的分布式协同增量更新方法流程图。
如图1所示，基于模型结构解耦的分布式协同增量更新方法例如可以包括操作S101～操作S106。
在操作S101，采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像。
在本发明的实施例中，第一类别遥感图像可以是每个卫星分别观测的新类别遥感图像。每一个增量任务涉及一组新类别，多卫星平台协同实现星载模型增量更新。
在操作S102，获取与每个卫星分别对应的范例集，范例集包括第二类别遥感图像，第一类别遥感图像与第二类别遥感图像类别不同。
在本发明的实施例中，第一类别遥感图像可以是每个卫星分别观测的旧类别遥感图像。
在操作S103，将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新及梯度计算，得到各个星载模型的更新参数和各个类别图像的梯度信息。
在本发明的实施例中，在类别增量更新前，各个卫星使用相同结构的星载模型，星载模型包括特征提取器和分类器，各个卫星的星载模型参数一致。同一组新类别的不同遥感图像分别从不同卫星输入，分别结合各卫星范例集中存储的代表性旧类别样本共同参与本地更新。
在操作S104，将各个星载模型的更新参数进行融合，得到全局模型。
在本发明的实施例中，各个星载模型的更新参数包括特征提取器的参数和分类器的参数。
在操作S105，基于各个类别图像的梯度信息确定伪特征集。
在本发明的实施例中，伪特征集可以是基于各个类别图像的梯度信息对初始化图像特征进行优化得到的特征。初始化图像特征的形状与第一类别遥感图像和第二类别遥感图像经过特征提取器后的输出一致。
在操作S106，利用伪特征集对全局模型的分类器进行偏差校准以及对全局模型进行第二类别遥感图像的记忆增强。
在本发明的实施例中，每一轮新的增量任务需要使用输入图像对范例集进行更新，也即利用与每一卫星对应的第一类别遥感图像对与该卫星对应的范例集进行更新。
下面结合图2～图5对图1所示的基于模型结构解耦的分布式协同增量更新方法进行详细说明。
图2示意性示出了根据本发明实施例的星载模型类别增量更新原理图。
如图2所示，以三个卫星为例，每个卫星分别输入非独立同分布的新类别图像数据，输入新类别图像数据与现有范例集结合后用于本地模型更新以及梯度计算。
模型更新即在星上搭载类别增量学习智能处理算法对星载模型进行在轨更新，通过类均衡损失函数和类语义关系蒸馏损失函数对模型进行参数更新，得到全新的模型参数信息，然后计算梯度得到基于现有模型各个类别图像的梯度信息，各个卫星将两类信息发送给云中心进一步处理。
云中心汇集各个卫星发送来的模型参数信息得到模型参数集合，融合各个卫星梯度信息用以优化得到平衡伪特征集。模型参数集合通过参数融合模块得到全新的全局模型，之后通过分类器校准模块使用平衡伪特征集对全局模型的分类器偏差进行校正。模型参数集合通过参数融合模块得到全新的全局模型的过程可以为：
云中心收集各个卫星发送的模型参数信息，结合各个卫星用于更新的样本数量作为权重，对所有模型参数进行加权平均，得到更新的全局模型。该过程可用如下公式表示：
其中，t表示增量任务序列，k表示各个卫星的序列，nk表示第k个卫星的遥感图像样本总数，n表示所有卫星的遥感图像样本总数，ω表示星载模型的参数。
最后，对一轮增量任务中得到的最佳全局模型进行旧知识强化，巩固其对旧类别的特征提取能力，在下一轮增量任务充当教师模型，传递类间语义关系。
在本发明的实施例中，操作S103中对星载模型进行模型参数更新可以包括：使用特征提取器提取第一类别遥感图像和第二类别遥感图像中的个性化特征。将个性化特征输入分类器，将个性化特征映射为类别结果。根据类别结果对特征提取器和分类器的参数进行更新。
进一步地，特征提取器可以采用ResNet-50网络模型作为骨干网络对输入图像进行特征提取，在其之后搭配全连接层作为分类器将特征映射为类别结果。
图3示意性示出了根据本发明实施例的特征提取器与分类器的结构图。
如图3所示，ResNet-50网络模型包括至少一个残差块，每个残差块包括至少一层卷积层，不同残差块的维度不同，残差块被配置为对第一类别遥感图像和第二类别遥感图像进行卷积运算，对卷积运算的结果进行矩阵相加运算，得到个性化特征。
进一步地，残差块还被配置为对第一类别遥感图像和所述第二类别遥感图像进行重复卷积运算，不同残差块卷积运算的重复次数相同或者不同。
例如，Block1-Block4均为残差块结构，其后所接的“×数字”指该残差块的重复次数。
图4示意性示出了根据本发明实施例的残差块的结构图。
如图4所示，输入特征矩阵以两个分支进入残差块，直线分支经过多个卷积层产生输出特征矩阵，与捷径分支(shortcut)进行矩阵的相加，得到最终的输出矩阵。其余的Block2、Block3和Block4结构与Block1均相同，只有维度不同。分类器可以由两层全连接层组成，将学习得到的“分布式特征表示”映射到样本标记空间，通过softmax函数得到各个类别结果。
在本发明的实施例中，操作S103中梯度计算可以包括：计算与每个卫星对应的所有第一类别遥感图像和所有第二类别遥感图像在该卫星当前星载模型分类器上的梯度信息，得到各个类别图像的梯度信息。基于各个类别图像的梯度信息确定伪特征集包括：对各个卫星的各个类别图像的梯度信息计算平均值，得到一组包含所有已芒习类别的梯度信息；将一组随机初始化图像特征输入分类器计算第一梯度信息；以第一梯度信息与已学习类别的梯度信息之间的差距为损失，对初始化图像特征进行迭代优化，得到伪特征集。
由于用于融合全局模型的各端本地模型是基于非独立同分布数据更新得到的，因此全局模型存在权重偏移现象。通过对模型结构解耦实验验证，证明有偏分类器是导致全局模型在分布式异构数据上性能不佳的主要因素。因此，本发明通过分类器校准模块对有偏分类器进行校准。
图5示意性示出了根据本发明实施例的通过分类器校准模块对有偏分类器进行校准的流程图。
如图5所示，云中心通过融合得到一组包含所有已学习类别的梯度信息，以此为标准，基于一组随机初始化特征通过分类器计算得到梯度信息，计算它与标准梯度之间差距的损失，不断优化特征，最终得到一组平衡伪特征集用以校准分类器。
在本发明的实施例中，利用伪特征集对所述全局模型进行第二类别遥感图像的记忆增强包括：获取伪特征集中属于第二类别的伪特征对偏差校准后的全局模型进行再次校准，增强偏差校准后的全局模型对第二类别遥感图像包含的知识的记忆。
随着新类别的不断学习，模型对旧类别间语义关系的记忆不断模糊，不同增量任务的类问一致性无法得到保证。为此，本发明使用分类器校准模块中得到的伪特征集，取其包含旧类别的部分对每一轮增量任务中性能最佳的全局模型进行分类器校准，强化模型对旧知识的记忆，作为下一轮任务中的教师模型传递旧类别的类间关系，提高模型性能。
在星载模型类别增量更新完成后，进入测试阶段，各个卫星配有相同的校正后的全局模型，对已学习的所有类别具有良好推理性能。因此，各个卫星独自对观测收集到的图像进行推理。
综上所述，本发明实施例提供的基于模型结构解耦的分布式协同增量更新方法，通过提出分布式协同增量更新实现多源多平台观测数据的表征能力的有效融合，实现高质量持续的更新需求。通过对模型结构解耦分析，提出分类器校准模块有效缓解了有偏分类器对全局模型权重偏移的影响。通过旧知识强化模块增强模型对旧类别知识的特征提取能力，提高了模型的泛化性能和推理性能。
图6示意性示出了根据本发明实施例的基于模型结构解耦的分布式协同增量更新装置的框图。
如图6所示，基于模型结构解耦的分布式协同增量更新装置600例如可以包括观测模块610、获取模块620、更新模块630、融合模块640以及校准及增强模块650。
观测模块610用于采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像。
获取模块620用于获取与每个卫星分别对应的范例集，其中，范例集包括第二类别遥感图像，第一类别遥感图像与所述第二类别遥感图像类别不同。
更新模块630将与每个卫星对应的第一类别遥感图像和第二类别遥感图像输入与该卫星对应的星载模型进行模型参数更新及梯度计算，得到各个星载模型的更新参数和各个类别图像的梯度信息。
融合模块640用于将各个星载模型的更新参数进行融合，得到全局模型以及用于基于各个类别图像的梯度信息确定伪特征集。
校准及增强模块650用于利用伪特征集对全局模型的分类器进行偏差校准以及对全局模型进行第二类别遥感图像的记忆增强。
根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，观测模块610、获取模块620、更新模块630、融合模块640以及校准及增强模块650中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本发明的实施例，观测模块610、获取模块620、更新模块630、融合模块640以及校准及增强模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，观测模块610、获取模块620、更新模块630、融合模块640以及校准及增强模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本发明的实施例中基于模型结构解耦的分布式协同增量更新装置部分与本发明的实施例中基于模型结构解耦的分布式协同增量更新方法部分是相对应的，其具体实施细节也是相同的，在此不再赘述。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
Claims (10)
1.一种基于模型结构解耦的分布式协同增量更新方法，其特征在于，星载模型包括特征提取器和分类器，所述方法包括：
采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像；
获取与每个卫星分别对应的范例集，所述范例集包括第二类别遥感图像，所述第一类别遥感图像与所述第二类别遥感图像类别不同；
将与每个卫星对应的所述第一类别遥感图像和所述第二类别遥感图像输入与该卫星对应的所述星载模型进行模型参数更新及梯度计算，得到各个所述星载模型的更新参数和各个类别图像的梯度信息；
将各个所述星载模型的更新参数进行融合，得到全局模型；
基于各个类别图像的梯度信息确定伪特征集；
利用所述伪特征集对所述全局模型的分类器进行偏差校准以及对所述全局模型进行第二类别遥感图像的记忆增强。
2.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述将与每个卫星对应的所述第一类别遥感图像和所述第二类别遥感图像输入与该卫星对应的所述星载模型进行模型参数更新包括：
使用特征提取器提取所述第一类别遥感图像和所述第二类别遥感图像中的个性化特征；
将所述个性化特征输入所述分类器，将所述个性化特征映射为类别结果；
根据所述类别结果对所述特征提取器和所述分类器的参数进行更新。
3.根据权利要求1或2所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述特征提取器采用ResNet-50网络模型，所述ResNet-50网络模型包括至少一个残差块，每个残差块包括至少一层卷积层，不同残差块的维度不同；所述残差块被配置为对所述第一类别遥感图像和所述第二类别遥感图像进行卷积运算，对卷积运算的结果进行矩阵相加运算，得到所述个性化特征；
所述分类器由至少一层全连接层组成，所述全连接层被配置为将所述个性化特征映射到样本标记空间，通过softmax函数得到所述类别结果。
4.根据权利要求3所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述残差块还被配置为对所述第一类别遥感图像和所述第二类别遥感图像进行重复卷积运算，不同残差块卷积运算的重复次数相同或者不同。
5.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述将与每个卫星对应的所述第一类别遥感图像和所述第二类别遥感图像输入与该卫星对应的所述星载模型进行梯度计算包括：
计算与每个卫星对应的所有第一类别遥感图像和所有第二类别遥感图像在该卫星当前星载模型分类器上的梯度信息，得到各个类别图像的梯度信息。
6.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述基于各个类别图像的梯度信息确定伪特征集包括：
对各个卫星的所述各个类别图像的梯度信息计算平均值，得到一组包含所有已学习类别的梯度信息；
将一组随机初始化图像特征输入分类器计算第一梯度信息；
以第一梯度信息与已学习类别的梯度信息之间的差距为损失，对所述初始化图像特征进行迭代优化，得到所述伪特征集。
7.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，所述利用所述伪特征集对所述全局模型进行第二类别遥感图像的记忆增强包括：
获取所述伪特征集中属于第二类别的伪特征对偏差校准后的全局模型进行再次校准，增强所述偏差校准后的全局模型对所述第二类别遥感图像包含的知识的记忆。
8.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，
所述星载模型进行模型参数更新采用的损失函数包括类均衡损失函数和类语义关系蒸馏损失函数。
9.根据权利要求1所述的基于模型结构解耦的分布式协同增量更新方法，其特征在于，还包括：
利用与每一卫星对应的所述第一类别遥感图像对与该卫星对应的所述范例集进行更新。
10.一种基于模型结构解耦的分布式协同增量更新装置，其特征在于，星载模型包括特征提取器和分类器，所述装置包括：
观测模块，用于采用分布式多源卫星中每个卫星进行观测，获取与每个卫星分别对应的第一类别遥感图像；
获取模块，用于获取与每个卫星分别对应的范例集，其中，所述范例集包括第二类别遥感图像，所述第一类别遥感图像与所述第二类别遥感图像类别不同；
更新模块，将与每个卫星对应的所述第一类别遥感图像和所述第二类别遥感图像输入与该卫星对应的所述星载模型进行模型参数更新及梯度计算，得到各个所述星载模型的更新参数和各个类别图像的梯度信息；
融合模块，用于将各个所述星载模型的更新参数进行融合，得到全局模型以及用于基于各个类别图像的梯度信息确定伪特征集；
校准及增强模块，用于利用所述伪特征集对所述全局模型的分类器进行偏差校准以及对所述全局模型进行第二类别遥感图像的记忆增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311495686.1A CN117523409B (zh) | 2023-11-10 | 2023-11-10 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311495686.1A CN117523409B (zh) | 2023-11-10 | 2023-11-10 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523409A true CN117523409A (zh) | 2024-02-06 |
| CN117523409B CN117523409B (zh) | 2024-06-07 |
Family
ID=89750825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311495686.1A Active CN117523409B (zh) | 2023-11-10 | 2023-11-10 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523409B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529827A (zh) * | 2020-12-14 | 2021-03-19 | 珠海大横琴科技发展有限公司 | 遥感图像融合模型的训练方法及装置 |
| CN114399687A (zh) * | 2021-12-01 | 2022-04-26 | 西安电子科技大学 | 基于空间校正的半监督自训练的高光谱遥感图像分类方法 |
| CN115471700A (zh) * | 2022-09-16 | 2022-12-13 | 中国科学院计算技术研究所 | 一种基于知识传输的图像分类模型训练方法及分类方法 |
| US20230106530A1 (en) * | 2021-10-05 | 2023-04-06 | Mitsubishi Electric Research Laboratories, Inc. | Calibration System and Method for Calibrating an Industrial System Model using Simulation Failure |
| CN116258914A (zh) * | 2023-05-15 | 2023-06-13 | 齐鲁工业大学(山东省科学院) | 基于机器学习及局部和全局特征融合的遥感图像分类方法 |
| CN116343058A (zh) * | 2023-03-16 | 2023-06-27 | 同济大学 | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 |
| US20230237369A1 (en) * | 2022-01-27 | 2023-07-27 | GE Precision Healthcare LLC | Automated training of machine learning classification for patient missed care opportunities or late arrivals |
| CN116883815A (zh) * | 2023-07-18 | 2023-10-13 | 中国科学院空天信息创新研究院 | 遥感类增量语义分割模型的训练方法、装置、设备及介质 |
-
2023
- 2023-11-10 CN CN202311495686.1A patent/CN117523409B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529827A (zh) * | 2020-12-14 | 2021-03-19 | 珠海大横琴科技发展有限公司 | 遥感图像融合模型的训练方法及装置 |
| US20230106530A1 (en) * | 2021-10-05 | 2023-04-06 | Mitsubishi Electric Research Laboratories, Inc. | Calibration System and Method for Calibrating an Industrial System Model using Simulation Failure |
| CN114399687A (zh) * | 2021-12-01 | 2022-04-26 | 西安电子科技大学 | 基于空间校正的半监督自训练的高光谱遥感图像分类方法 |
| US20230237369A1 (en) * | 2022-01-27 | 2023-07-27 | GE Precision Healthcare LLC | Automated training of machine learning classification for patient missed care opportunities or late arrivals |
| WO2023146744A1 (en) * | 2022-01-27 | 2023-08-03 | GE Precision Healthcare LLC | Automated training of machine learning classification for patient missed care opportunities or late arrivals |
| CN115471700A (zh) * | 2022-09-16 | 2022-12-13 | 中国科学院计算技术研究所 | 一种基于知识传输的图像分类模型训练方法及分类方法 |
| CN116343058A (zh) * | 2023-03-16 | 2023-06-27 | 同济大学 | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 |
| CN116258914A (zh) * | 2023-05-15 | 2023-06-13 | 齐鲁工业大学(山东省科学院) | 基于机器学习及局部和全局特征融合的遥感图像分类方法 |
| CN116883815A (zh) * | 2023-07-18 | 2023-10-13 | 中国科学院空天信息创新研究院 | 遥感类增量语义分割模型的训练方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 何贵青, 郝重阳, 常根杰: "卫星多源遥感图像融合研究", 遥测遥控, no. 04, 20 July 2005 (2005-07-20), pages 1 - 6 * |
| 甘守飞;孙皓;: "改进主动形状模型的遥感图像飞机目标识别方法", 重庆大学学报, no. 09, 15 November 2014 (2014-11-15), pages 84 - 91 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523409B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110196443B (zh) | 一种飞行器的容错组合导航方法及系统 | |
| Moretti et al. | WINGS Data Release: a database of galaxies in nearby clusters | |
| Gray et al. | STAGES: the Space Telescope A901/2 Galaxy Evolution Survey | |
| Yang et al. | Large-scale block adjustment without use of ground control points based on the compensation of geometric calibration for ZY-3 images | |
| Cao et al. | In‐orbit geometric calibration and validation of ZY‐3 three‐line cameras based on CCD‐detector look angles | |
| Sushchenko et al. | Processing of redundant information in airborne electronic systems by means of neural networks | |
| NO307197B1 (no) | Apparat og metode for å kalibrere et sensorsystem | |
| Kraft et al. | Hybrid modeling: fusion of a deep approach and physics-based model for global hydrological modeling | |
| CN113341434B (zh) | 一种红外波段在轨传递定标方法及装置 | |
| CN114689047A (zh) | 基于深度学习的组合导航方法、装置、系统及存储介质 | |
| CN117523409B (zh) | 基于模型结构解耦的分布式协同增量更新方法及装置 | |
| Martínez‐Beltrán et al. | Multisensor comparison of NDVI for a semi‐arid environment in Spain | |
| Verrelst et al. | Prototyping vegetation traits models in the context of the hyperspectral CHIME mission preparation | |
| Miranda et al. | A new unconstrained approach to GNSS atmospheric water vapor tomography | |
| CN111637895B (zh) | 一种基于q学习的导航观测目标选取方法 | |
| Schumann | The need for scientific rigour and accountability in flood mapping to better support disaster response. | |
| CN108362307B (zh) | 星敏感器在轨姿态测量精度主成分因素的确定方法 | |
| Batista et al. | Mass measurement of a single unseen star and planetary detection efficiency for OGLE 2007-BLG-050 | |
| Jeong et al. | Geometric accuracy analysis of the geostationary ocean color imager (GOCI) level 1B (L1B) product | |
| Kim et al. | Estimation and improvement in the geolocation accuracy of rational polynomial coefficients with minimum GCPs using KOMPSAT-3A | |
| CN115618749A (zh) | 一种大型无人机实时定位的误差补偿方法 | |
| CN115356460A (zh) | 基于简化的四维变分同化获得高精度土壤湿度的方法 | |
| Emelyanov | Precision of natural satellite ephemerides from observations of different types | |
| CN112882483B (zh) | 星敏感器在轨标定方法、装置和存储介质 | |
| Longhetti et al. | Large Binocular Telescope/LUCIFER spectroscopy: kinematics of a compact early-type galaxy at z≃ 1.4 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |