CN115984647B - 面向星群的遥感分布式协同推理方法、装置、介质和卫星 - Google Patents

面向星群的遥感分布式协同推理方法、装置、介质和卫星 Download PDF

Info

Publication number
CN115984647B
CN115984647B CN202211648533.1A CN202211648533A CN115984647B CN 115984647 B CN115984647 B CN 115984647B CN 202211648533 A CN202211648533 A CN 202211648533A CN 115984647 B CN115984647 B CN 115984647B
Authority
CN
China
Prior art keywords
feature extractor
remote sensing
predictor
sensing data
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211648533.1A
Other languages
English (en)
Other versions
CN115984647A (zh
Inventor
付琨
孙显
赵良瑾
成培瑞
陈凯强
王智睿
段淑靖
胡琳
张汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211648533.1A priority Critical patent/CN115984647B/zh
Publication of CN115984647A publication Critical patent/CN115984647A/zh
Application granted granted Critical
Publication of CN115984647B publication Critical patent/CN115984647B/zh
Priority to EP23215426.0A priority patent/EP4390860A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021—Earth observation satellites
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1085—Swarms and constellations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及数据识别技术领域，特别是涉及面向星群的遥感分布式协同推理方法、装置、介质和卫星。所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述方法包括以下步骤：第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理。本发明能够基于同一观测区域的多幅不同成像方式的遥感数据提高观测的精度。

Description

面向星群的遥感分布式协同推理方法、装置、介质和卫星
技术领域
本发明涉及数据识别技术领域，特别是涉及面向星群的遥感分布式协同推理方法、装置、介质和卫星。
背景技术
目前，对地遥感观测进入到星上直接处理的发展阶段。单个卫星可针对某一观测区域获取对应的遥感数据，例如可见光遥感数据、雷达遥感数据或者高光谱遥感数据；但是，单个卫星对获取的遥感数据的处理能力不足，基于单个卫星对地观测的精度不高，已经无法满足当前的任务需求。
近些年在轨遥感卫星数量大幅度增长，一个星群包括多颗卫星，星群中的每颗卫星可针对同一观测区域获取具有互补信息的多幅遥感数据，如何基于同一观测区域的多幅遥感数据提高观测的精度，是亟待解决的问题。
发明内容
本发明目的在于，提供面向星群的遥感分布式协同推理方法、装置、介质和卫星，能够基于同一观测区域的多幅不同成像方式的遥感数据提高观测的精度。
根据本发明的第一方面，提供了第一种面向星群的遥感分布式协同推理方法，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述方法包括以下步骤：
第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果，所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第二深层特征提取器的输出为所述第一特征，所述第一特征用于获取概率。
第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
进一步的，所述第二预测分类结果和第二特征由第二卫星的经训练的第二神经网络模型获取，所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。
进一步的，所述第一神经网络模型还包括第二预测器，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第二神经网络模型还包括第四预测器，所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
进一步的，所述第一神经网络模型的训练过程包括：
利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
进一步的，所述第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
根据本发明的第二方面，提供了第二种面向星群的遥感分布式协同推理方法，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述方法包括以下步骤：
第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果，所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第四深层特征提取器的输出为所述第二特征，所述第二特征用于获取概率。
第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
进一步的，所述第一预测分类结果和第一特征由第一卫星的经训练的第一神经网络模型获取，所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果；所述第二深层特征提取器的输出为所述第一特征。
进一步的，所述第一神经网络模型还包括第二预测器，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第二神经网络模型还包括第四预测器，所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
进一步的，所述第二神经网络模型的训练过程包括：
利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。
根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
进一步的，所述根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
根据本发明的第三方面，提供了第一种面向星群的遥感分布式协同推理装置，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述装置包括：
第一获取模块，用于第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果，所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第二深层特征提取器的输出为所述第一特征，所述第一特征用于获取概率。
第一发送模块，用于第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
进一步的，所述第二预测分类结果和第二特征由第二卫星的经训练的第二神经网络模型获取，所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。
进一步的，所述第一神经网络模型还包括第二预测器，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第二神经网络模型还包括第四预测器，所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
进一步的，所述第一神经网络模型的训练过程包括：
利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
进一步的，所述第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
根据本发明的第四方面，提供了第二种面向星群的遥感分布式协同推理装置，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述装置包括：
第二获取模块，用于第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果，所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第四深层特征提取器的输出为所述第二特征，所述第二特征用于获取概率。
第二接收模块，用于第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
进一步的，所述第一预测分类结果和第一特征由第一卫星的经训练的第一神经网络模型获取，所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果；所述第二深层特征提取器的输出为所述第一特征。
进一步的，所述第一神经网络模型还包括第二预测器，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第二神经网络模型还包括第四预测器，所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
进一步的，所述第二神经网络模型的训练过程包括：
利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。
根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
进一步的，所述根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一种方法或第二种方法。
根据本发明的第六方面，提供了一种卫星，包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述第一种方法或第二种方法。
本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：
本发明中星群包括第一卫星和第二卫星，第一卫星和第二卫星对同一观测区域获取不同遥感数据；本发明中第一卫星上设置有经训练的第一神经网络模型，该第一神经网络模型为特定结构的神经网络模型，其包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器，第一预测器的输出为第一卫星获取的观测区域的第一遥感数据的第一预测分类结果，第二深层特征提取器的输出为第一卫星获取的观测区域的第一遥感数据的第一特征；第一卫星通过将第一预测分类结果和第一特征发送给第二卫星的方式，实现了第二卫星结合第一预测分类结果和第一特征进行推理的目的。本发明实现了第一卫星和第二卫星的信息交互，综合了第一卫星和第二卫星的特征表达能力，因此最终对观测区域的推理结果更为准确，提高了对上述观测区域的观测精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的第一种面向星群的遥感分布式协同推理方法的流程图；
图2为本发明提供的第一神经网络模型的训练方法的流程图；
图3为本发明实施例提供的多个卫星的神经网络模型的训练过程流程图；
图4为本发明提供的浅层特征提取器和深层特征提取器的结构示意图；
图5为本发明提供的Block1的结构示意图；
图6为本发明提供的通用任务头的结构示意图；
图7为本发明实施例提供的测试过程流程图；
图8为本发明提供的第二卫星的推理方法流程图；
图9为本发明实施例提供的推理过程示意图；
图10为本发明提供的第二种面向星群的遥感分布式协同推理方法的流程图；
图11为本发明提供的第二神经网络模型的训练方法流程图；
图12为本发明提供的第一种面向星群的遥感分布式协同推理装置的结构示意图；
图13为本发明提供的第一获取模块的结构示意图；
图14为本发明提供的第二种面向星群的遥感分布式协同推理装置的结构示意图；
图15为本发明提供的第二获取模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明适用于一个星群针对同一观测区域获取不同遥感数据的情况，星群包括n个卫星，n≥2，星群中的每颗卫星获取一幅遥感数据，星群中的不同卫星获取的遥感数据的成像方式相同或不同，成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
本发明中上述星群中的每一个卫星具有对获取的遥感数据进行处理的能力，可获取对应遥感数据的检测结果，检测结果包括预测分类结果和特征；该预测分类结果包括对应遥感数据中所包括的预设类型的对象的概率；特征不是概率，但是用于获取概率，且根据上述特征获取的概率与上述预测分类结果中包括的概率相同或不同。
本发明将星群中的卫星分为两类，第一类是只负责将自身检测结果上传，并不负责将星群中其他卫星的检测结果进行结合的卫星，第一类卫星的数量可以大于等于1；第二类是负责接收第一类卫星的检测结果，并将上述星群中各卫星的检测结果结合后给出最终检测结果的卫星，第二类卫星的数量为1。
本发明中的第一卫星属于第一类卫星，本发明中的第二卫星属于第二类卫星。如图1所示，一种面向星群的遥感分布式协同推理方法，包括以下步骤：
S100，第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率。
本发明第一卫星上设置有经训练的第一神经网络模型，所述第一神经网络模型包括第一子模型和第二子模型，所述第一预测分类结果由所述第一子模型获取，所述第一特征由所述第二子模型获取。
作为一个实施例，第一子模型包括第一浅层特征提取器、第一深层特征提取器和第一预测器，第二子模型包括第一浅层特征提取器、第二深层特征提取器和第二预测器。所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果。所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出。
根据本发明，如图2所示，所述第一神经网络模型的训练过程包括：
S110，利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
本发明的第二卫星上设置有经训练的第二神经网络模型，所述第二神经网络模型包括第三子模型和第四子模型，第三子模型包括第二浅层特征提取器、第三深层特征提取器和第三预测器；第四子模型包括第二浅层特征提取器、第四深层特征提取器和第四预测器。所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出。
所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
本发明在训练开始前，对第一卫星和第二卫星对应的神经网络模型的模型参数随机初始化，第一子模型和第三子模型的参数相同或不相同，第二子模型和第四子模型的参数相同。需要说明的是，如果除了第一卫星之外，还存在其他第一类卫星，应在训练开始前，使该星群中其他第一类卫星的第一个子模型的参数、第一子模型和第三子模型的参数相同或不相同，使该星群中其他第一类卫星的第二个子模型的参数、第二子模型和第四子模型的参数一样。
本领域技术人员知悉，现有技术中任何用于目标检测的损失均落入本发明的保护范围，作为现有技术的一种具体实现方式，在对第一神经网络模型进行训练的过程中，设置第一神经网络模型的损失L=Lper+Lshare，其中Lper为第一子模型的个性化损失，Lper=-∑M i=1(1-pi)γlog(pi)，γ是用户输入的预设参数，M为第一遥感数据训练样本数量，pi是第i个第一遥感数据训练样本的预测分类概率；Lshare为第二子模型的类别均衡损失，Lshare=Ls_share+Lg_share，Lg_share符合如下关系：
Lg_share=∑M i=1(1-IOUi+(ρ2(bi,bi gt)/di 2)+vi 2/((1-IOUi)+vi))
vi=4(arctan(wi gt/hi gt)-arctan(wi/hi))/π2
其中，
Figure SMS_1
，Ai和Bi分别表示第i个第一遥感数据训练样本的预测框和标注框，S表示面积， />
Figure SMS_2
表示Ai和Bi求交后的面积， />
Figure SMS_3
表示Ai和Bi求并后的面积，ρ(•)表示欧氏距离，bi和bi gt分别表示第i个第一遥感数据训练样本的预测框和标注框的中心点，di表示第i个第一遥感数据训练样本的预测框和标注框的最小包围矩形框的对角线长度，wi gt和hi gt分别为第i个第一遥感数据训练样本的标注框的宽和高，wi和hi分别为第i个第一遥感数据训练样本的预测框的宽和高。
Ls_share=∑N c=1∑i∈Sc[-qi(1-pi)γlog(pi)]
其中，qi=1/Nc,i，c=1,2,…,N，N为第一遥感数据训练样本的类别数量，Nc,i表示第i个第一遥感数据训练样本所属第c类包括的第一遥感数据训练样本的数量，Sc表示属于第c类的第一遥感数据训练样本集合。
在对第二卫星上设置的第二神经网络模型进行训练的过程中，采用与第一卫星的第一神经网络相同的损失，此处不再赘述。
根据本发明，所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。可选的，通用模型参数为第二深层特征提取器和第二预测器的模型参数与第四深层特征提取器和第四预测器的模型参数的平均值。
应当理解的是，如果第二卫星还接收了除第一卫星以外的其他第一类卫星对应的第二个子模型中深层特征提取器和预测器的模型参数，那么通用模型参数为第一卫星、第二卫星和上述其他第一类卫星对应的神经网络模型的第二个子模型中深层特征提取器和预测器的模型参数的平均值。
S120，接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
本发明的第一卫星的第一神经网络模型的训练过程中将第二深层特征提取器和第二预测器的模型参数发送给第二卫星进行参数均值化交流，获得跨卫星的知识补充，提升了第一神经网络的第二子模型的泛化能力。
作为本发明的一个实施例，如图3所示，星群包括三个卫星，三个卫星对同一观测区域分别获取光学、雷达和高光谱的遥感数据，这三个卫星分别记为第一卫星（即域1）、第二卫星（即域2）和第三卫星（即域3），其中第一卫星和第三卫星为上述第一类卫星，第二卫星为第二类卫星。本实施例中三个卫星上均设置有用于处理获取的遥感数据的神经网络模型，每个神经网络模型包括两个并行的分支和两分支共用的浅层特征提取器，第一分支和共用的浅层特征提取器构成神经网络模型的第一个子模型，第二分支和共用的浅层特征提取器构成神经网络模型的第二个子模型。第一分支包括个性化深层特征提取器和个性化任务头（即第一分支的预测器），第二分支包括通用深层特征提取器和通用任务头（即第二分支的预测器），第二分支与第一分支的主要区别在于第二分支与其他卫星的存在交互过程。
本发明第一子模型和第二子模型共用浅层特征提取器的优点在于：第一子模型和第二子模型的损失都可以对浅层特征提取器进行监督，使浅层特征提取器可以接触到更多的监督信息，更有利于浅层特征提取器提取到更多的遥感数据的特征；而且，将浅层特征提取器分别作为个性化深层特征提取器和通用深层特征提取器的输入，可以保证个性化深层特征提取器和通用深层特征提取器输入的是相同的信息，使得个性化深层特征提取器和通用深层特征提取器的输出存在一定的相关性，便于后续进行特征融合。
本领域技术人员知悉，现有技术中任何获取光学、雷达和高光谱的遥感数据的方法均落入本发明的保护范围。
本发明使用ResNet-50作为骨干网络进行特征提取，该骨干网络是第一神经网络模型和第二神经网络模型的一部分。如图4所示，浅层特征提取器包括3个Block1、4个Block2和6个Block3，个性化深层特征提取器包括3个Block4，通用深层特征提取器包括3个Block4，Block1-Block4均为残差块结构。在残差块结构中，输入特征矩阵以两个分支进入残差块，直线分支经过多个卷积层产生输出特征矩阵，与捷径分支（shortcut）进行矩阵的相加。如图5所示为Block1的结构，其余的Block2、Block3和Block4的结构与Block1的结构相同，只有维度不同。
本发明中通用任务头的结构如图6所示，通用任务头采用Mask R-CNN，Mask R-CNN由区域候选网络（RPN，region proposal network的缩写）、感兴趣区域对齐（ROI Align）和检测头（detection head）组成。区域候选网络的作用是在特征图上生成一系列候选边界框。感兴趣区域对齐将不同维度的候选框变换整合成相同维度的特征，尽最大可能减小量化取整对检测精度的影响，保留更多原始区域的特征。检测头部分由一系列全连接层构成，其一是两个多层感知器头（TwoMLP Head），对特征图进行展平操作后接两个全连接层；其二是两个并行的全连接层，分别预测类别分数和边界框回归参数。
本发明中个性化任务头直接采用全连接层输出类别分数。
本发明将通用深层特征提取器提取的特征送入对应的区域候选网络结构中，生成候选框，将区域候选网络生成的候选框投影到特征图上获得相应的特征矩阵，然后将每个特征矩阵通过感兴趣区域对齐层缩放到7x7大小的特征图，最后将特征图展平通过一系列全连接层得到预测结果。
S200，第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
作为本发明的一个实施例，如图7所示，第一卫星向第二卫星发送第一检测结果（即第一预测分类结果和第一特征），第三卫星向第二卫星发送第三检测结果（即第三预测分类结果和第三特征）；第二卫星接收第一卫星发送的第一检测结果以及接收第三卫星发送的第三检测结果，并根据接收的检测结果和自身的第二检测结果（即第二预测分类结果和第二特征）进行推理。
根据本发明，如图8所示，第二卫星根据第一预测分类结果、第一特征和第二检测结果进行推理，包括：
S210，根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵。
根据本发明，考虑K个卫星的神经网络模型的第一个子模型的个性化任务头，将其建模为f(hj,θj)，j=1,2,…,K，hj为第j个卫星对应的神经网络模型的第一个子模型的个性化深层特征提取器的输出，θj为第j个卫星对应的神经网络模型的第一个子模型的个性化任务头的参数。测试时第j个卫星对应的神经网络模型的第一个子模型对xj输出的预测分类结果为
Figure SMS_4
、 />
Figure SMS_5
、…/>
Figure SMS_6
， />
Figure SMS_7
表示xj对应的类型/>
Figure SMS_8
为第e个预设类型的概率，e的取值范围为1到Ej，Ej为第j个卫星对应的神经网络模型的第一个子模型xj输出的的预测分类结果包括的预设类型数量，xj为第j个卫星对应的被预测分类的遥感数据，第j个卫星对应的信息熵 />
Figure SMS_9
符合如下关系：/>
Figure SMS_10
；
例如，测试时第1个卫星对应的神经网络模型的第一个子模型对x1输出的预测分类结果为：x1对应的类型
Figure SMS_11
为第1个预设类型的概率为p1, x1对应的类型/>
Figure SMS_12
为第2个预设类型的概率为p2。那么E1=2，/>
Figure SMS_13
。第j个卫星对应的信息熵/>
Figure SMS_14
越小，表示第j个卫星对预测分类结果越准确。
S220，根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵。
S230，对所述第一信息熵和第二信息熵进行归一化处理，得到第一卫星对应的第一权重和第二卫星对应的第二权重。
S240，根据所述第一权重、第一特征、第二权重和第二特征获取融合特征。
S250，根据所述融合特征进行推理。
可选的，利用第四子模型中的通用任务头对融合特征进行推理。
应当理解的是，如果除了第一卫星和第二卫星之外，还存在其他第一类卫星，那么第二卫星根据第一预测分类结果、第一特征和第二检测结果进行目标检测的过程还包括：根据上述其他第一类卫星对应的预测分类结果获取对应的信息熵；S230就变为对所述第一信息熵、第二信息熵和所述其他第一类卫星对应的信息熵进行归一化处理，得到第一卫星对应的第一权重、第二卫星对应的第二权重和所述其他第一类卫星对应的权重；S240就变为根据所述第一权重、第一特征、第二权重、第二特征、其他第一类卫星对应的特征和权重获取融合特征。
作为本发明的一个实施例，如图9所示，三颗卫星对应的信息熵经统一的softmax实现归一化处理后，映射到（0，1）范围内；将映射后得到的值作为对应卫星上神经网络模型的第二个子模型提取的特征的权重，加权求和后得到融合特征。图9中C为图像通道数，H为图像高度，W为图像宽度。
本发明将检测同一观测区域的多个卫星对应的神经网络模型的第二个子模型的特征进行了融合，得到的融合特征的特征表达能力更强，因此基于融合特征获取的目标检测结果更加准确。
根据本发明的第二方面，提供了另一种面向星群的遥感分布式协同推理方法，如图10所示，包括以下步骤：
S101，第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率，所述第二特征用于获取概率。
本发明的第二卫星上设置有经训练的第二神经网络模型，所述第二神经网络模型包括第三子模型和第四子模型，第三子模型包括第二浅层特征提取器、第三深层特征提取器和第三预测器；第四子模型包括第二浅层特征提取器、第四深层特征提取器和第四预测器。所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出。
根据本发明，如图11所示，第二神经网络模型的训练过程包括：
S111，利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
本发明第一卫星上设置有经训练的第一神经网络模型，所述第一神经网络模型包括第一子模型和第二子模型，所述第一预测分类结果由所述第一子模型获取，所述第一特征由所述第二子模型获取。第一子模型包括第一浅层特征提取器、第一深层特征提取器和第一预测器，第二子模型包括第一浅层特征提取器、第二深层特征提取器和第二预测器。所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果。所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出。
本发明在训练开始前，对第一卫星和第二卫星对应的神经网络模型的模型参数随机初始化，第一子模型和第三子模型的参数相同或不相同，第二子模型和第四子模型的参数相同。需要说明的是，如果除了第一卫星之外，还存在其他第一类卫星，应在训练开始前，使该星群中其他第一类卫星的第一个子模型的参数、第一子模型和第三子模型的参数相同或不相同，使该星群中其他第一类卫星的第二个子模型的参数、第二子模型和第四子模型的参数一样。
在对第二卫星的第二神经网络模型进行训练的过程中，采用与第一卫星的第一神经网络模型相同的损失，此处不再赘述。
S121，接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。
所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
S131，根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。可选的，通用模型参数为第一卫星和第二卫星对应的神经网络模型的第二个子模型中深层特征提取器和预测器的模型参数的平均值。应当理解的是，如果第二卫星还接收了除第一卫星以外的其他第一类卫星对应的第二个子模型中深层特征提取器和预测器的模型参数，那么通用模型参数为第一卫星、第二卫星和上述其他第一类卫星对应的神经网络模型的第二个子模型中深层特征提取器和预测器的模型参数的平均值。
本发明的第二卫星的第二神经网络模型的训练过程中与第一卫星的第二子模型中深层特征提取器和预测器的模型参数进行了参数均值化交流，获得了跨卫星的知识补充，提升了第二神经网络的第四子模型的泛化能力。
S201，第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
第二卫星根据第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理的过程已经在S210-S250中进行了介绍，此处不再赘述。
根据本发明的第三方面，提供了一种面向星群的遥感分布式协同推理装置，如图12所示，包括：
第一获取模块，用于第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果，所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第二深层特征提取器的输出为所述第一特征，所述第一特征用于获取概率。
第一发送模块，用于第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
根据本发明，如图13所示，所述第一获取模块包括第一发送单元和第一接收单元，其中：
第一发送单元，用于利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
第一接收单元，用于接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
根据本发明，所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
根据本发明的第四方面，提供了一种面向星群的遥感分布式协同推理装置，如图14所示，包括：
第二获取模块，用于第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果，所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第四深层特征提取器的输出为所述第二特征，所述第二特征用于获取概率。
第二接收模块，用于第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。
根据本发明，如图15所示，第二获取模块包括：第一训练单元、第二接收单元和第三发送单元。
第一训练单元，用于利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。
第二接收单元，用于接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。
第三发送单元，用于根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述S100-S200或S101-S201。
根据本发明的第六方面，提供了一种卫星，卫星包括计算机设备，计算机设备包括处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述S100-S200或S101-S201。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

Claims (18)

1.一种面向星群的遥感分布式协同推理方法，其特征在于，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述方法包括以下步骤：
第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器的输出为所述第一预测分类结果，所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第二深层特征提取器的输出为所述第一特征，所述第一特征用于获取概率；
第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像；
所述第二预测分类结果和第二特征由第二卫星的经训练的第二神经网络模型获取，所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第一神经网络模型还包括第二预测器，所述第二神经网络模型还包括第四预测器；所述第一神经网络模型的训练过程包括：
利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同；
接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
2.根据权利要求1所述的面向星群的遥感分布式协同推理方法，其特征在于，所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。
3.根据权利要求2所述的面向星群的遥感分布式协同推理方法，其特征在于，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
4.根据权利要求3所述的面向星群的遥感分布式协同推理方法，其特征在于，所述第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
5.一种面向星群的遥感分布式协同推理方法，其特征在于，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述方法包括以下步骤：
第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器的输出为所述第二预测分类结果，所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第四深层特征提取器的输出为所述第二特征，所述第二特征用于获取概率；
第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像；
所述第一预测分类结果和第一特征由第一卫星的经训练的第一神经网络模型获取，所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一神经网络模型还包括第二预测器，所述第二神经网络模型还包括第四预测器；所述第二神经网络模型的训练过程包括：
利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同；
接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；
根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
6.根据权利要求5所述的面向星群的遥感分布式协同推理方法，其特征在于，所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果；所述第二深层特征提取器的输出为所述第一特征。
7.根据权利要求6所述的面向星群的遥感分布式协同推理方法，其特征在于，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
8.根据权利要求7所述的面向星群的遥感分布式协同推理方法，其特征在于，所述根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
9.一种面向星群的遥感分布式协同推理装置，其特征在于，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述装置包括：
第一获取模块，用于第一卫星使用经训练的第一神经网络模型获取观测区域的第一遥感数据的第一预测分类结果和第一特征；所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器的输出为所述第一预测分类结果，所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第二深层特征提取器的输出为所述第一特征，所述第一特征用于获取概率；
第一发送模块，用于第一卫星向第二卫星发送所述第一预测分类结果和第一特征，以便于第二卫星根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第二预测分类结果和第二特征为第二卫星获取的所述观测区域的第二遥感数据的预测分类结果和特征；所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第二特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像；
所述第二预测分类结果和第二特征由第二卫星的经训练的第二神经网络模型获取，所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第一神经网络模型还包括第二预测器，所述第二神经网络模型还包括第四预测器；所述第一神经网络模型的训练过程包括：
利用第一遥感数据训练样本对第一神经网络模型进行训练，并将训练后得到的所述第二深层特征提取器和第二预测器的模型参数发送给第二卫星，以便于第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，并将所述通用模型参数发送给第一卫星；所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；所述第四深层特征提取器和第四预测器的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的，所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同；
接收所述通用模型参数，并将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
10.根据权利要求9所述的面向星群的遥感分布式协同推理装置，其特征在于，所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器用于获取所述第二遥感数据包括的预设类型的对象的概率，所述第三预测器的输出为所述第二预测分类结果；所述第四深层特征提取器的输出为所述第二特征。
11.根据权利要求10所述的面向星群的遥感分布式协同推理装置，其特征在于，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
12.根据权利要求11所述的面向星群的遥感分布式协同推理装置，其特征在于，所述第二卫星根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
13.一种面向星群的遥感分布式协同推理装置，其特征在于，所述星群包括的卫星数量为n，n≥2，所述星群包括第一卫星和第二卫星，所述装置包括：
第二获取模块，用于第二卫星使用经训练的第二神经网络模型获取观测区域的第二遥感数据的第二预测分类结果和第二特征；所述第二神经网络模型包括第二浅层特征提取器、第三深层特征提取器、第三预测器和第四深层特征提取器；所述第二浅层特征提取器的输入为所述观测区域的第二遥感数据，所述第二浅层特征提取器用于提取所述第二遥感数据的视觉纹理信息，所述第二浅层特征提取器的输出为第三深层特征提取器和第四深层特征提取器的输入，所述第三深层特征提取器和第四深层特征提取器用于提取所述第二遥感数据的语义信息，所述第三深层特征提取器的输出为所述第三预测器的输入，所述第三预测器的输出为所述第二预测分类结果，所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率；所述第四深层特征提取器的输出为所述第二特征，所述第二特征用于获取概率；
第二接收模块，用于第二卫星接收第一卫星发送的第一预测分类结果和第一特征，并根据所述第一预测分类结果、第一特征、第二预测分类结果和第二特征进行推理；所述第一预测分类结果和第一特征为第一卫星获取的所述观测区域的第一遥感数据的预测分类结果和特征；所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率；所述第一特征用于获取概率；所述第一遥感数据与第二遥感数据的成像方式相同或不同，所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像；
所述第一预测分类结果和第一特征由第一卫星的经训练的第一神经网络模型获取，所述第一神经网络模型包括第一浅层特征提取器、第一深层特征提取器、第一预测器和第二深层特征提取器；所述第一神经网络模型还包括第二预测器，所述第二神经网络模型还包括第四预测器；所述第二神经网络模型的训练过程包括：
利用第二遥感数据训练样本对第二神经网络模型进行训练，得到所述第四深层特征提取器和第四预测器的模型参数；所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同；
接收第一卫星发送的第二深层特征提取器和第二预测器的模型参数，所述第二深层特征提取器和第二预测器的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的，所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同；
根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，将所述第四深层特征提取器和第四预测器的模型参数替换为所述通用模型参数，并将所述通用模型参数发送给第一卫星，以便于第一卫星将所述第二深层特征提取器和第二预测器的模型参数替换为所述通用模型参数。
14.根据权利要求13所述的面向星群的遥感分布式协同推理装置，其特征在于，所述第一浅层特征提取器的输入为所述观测区域的第一遥感数据，所述第一浅层特征提取器用于提取所述第一遥感数据的视觉纹理信息，所述第一浅层特征提取器的输出为第一深层特征提取器和第二深层特征提取器的输入，所述第一深层特征提取器和第二深层特征提取器用于提取所述第一遥感数据的语义信息，所述第一深层特征提取器的输出为所述第一预测器的输入，所述第一预测器用于获取所述第一遥感数据包括的预设类型的对象的概率，所述第一预测器的输出为所述第一预测分类结果；所述第二深层特征提取器的输出为所述第一特征。
15.根据权利要求14所述的面向星群的遥感分布式协同推理装置，其特征在于，所述第二预测器用于获取所述第一遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第一遥感数据中的位置，所述第二预测器的输入为所述第二深层特征提取器的输出；所述第四预测器用于获取所述第二遥感数据包括的预设类型的对象的概率和所述包括的预设类型的对象在所述第二遥感数据中的位置，所述第四预测器的输入为所述第四深层特征提取器的输出；所述第一浅层特征提取器、第一深层特征提取器、第一预测器和第二浅层特征提取器、第三深层特征提取器、第三预测器在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程，所述第二深层特征提取器、第二预测器和第四深层特征提取器、第四预测器在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。
16.根据权利要求15所述的面向星群的遥感分布式协同推理装置，其特征在于，所述根据所述第二深层特征提取器和第二预测器的模型参数和所述第四深层特征提取器和第四预测器的模型参数得到通用模型参数，包括：所述通用模型参数与所述第二深层特征提取器和第二预测器的模型参数正相关，所述通用模型参数与所述第四深层特征提取器和第四预测器的模型参数正相关。
17.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的面向星群的遥感分布式协同推理方法。
18.一种卫星，其特征在于，包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1-8中任一项所述的面向星群的遥感分布式协同推理方法。
CN202211648533.1A 2022-12-19 2022-12-19 面向星群的遥感分布式协同推理方法、装置、介质和卫星 Active CN115984647B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211648533.1A CN115984647B (zh) 2022-12-19 2022-12-19 面向星群的遥感分布式协同推理方法、装置、介质和卫星
EP23215426.0A EP4390860A1 (en) 2022-12-19 2023-12-11 Constellation-based distributed collaborative remote sensing determination method and apparatus, storage medium and satellite

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211648533.1A CN115984647B (zh) 2022-12-19 2022-12-19 面向星群的遥感分布式协同推理方法、装置、介质和卫星

Publications (2)

Publication Number Publication Date
CN115984647A CN115984647A (zh) 2023-04-18
CN115984647B true CN115984647B (zh) 2023-06-30

Family

ID=85960478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211648533.1A Active CN115984647B (zh) 2022-12-19 2022-12-19 面向星群的遥感分布式协同推理方法、装置、介质和卫星

Country Status (2)

Country Link
EP (1) EP4390860A1 (zh)
CN (1) CN115984647B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523410A (zh) * 2023-11-10 2024-02-06 中国科学院空天信息创新研究院 基于多终端协同感知分布式大模型的图像处理及构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256671A (zh) * 2017-12-26 2018-07-06 佛山科学技术学院 一种基于学习型遗传算法的多任务多资源滚动分配方法
CN111369142A (zh) * 2020-03-04 2020-07-03 中国电子科技集团公司第五十四研究所 一种自主遥感卫星任务生成方法
WO2021076084A1 (en) * 2019-10-16 2021-04-22 Istanbul Medipol Universitesi A system providing prediction of communication channel parameters
CN114531197A (zh) * 2022-04-24 2022-05-24 中国科学院空天信息创新研究院 在轨分布式信息资源应用服务系统
CN115240080A (zh) * 2022-08-23 2022-10-25 北京理工大学 一种多源遥感卫星数据智能解译与分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019513315A (ja) * 2016-02-29 2019-05-23 ウルグス ソシエダード アノニマ 惑星規模解析のためのシステム
EP3545466A4 (en) * 2016-12-29 2019-11-27 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR DETECTING OBJECTS IN IMAGES

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256671A (zh) * 2017-12-26 2018-07-06 佛山科学技术学院 一种基于学习型遗传算法的多任务多资源滚动分配方法
WO2021076084A1 (en) * 2019-10-16 2021-04-22 Istanbul Medipol Universitesi A system providing prediction of communication channel parameters
CN111369142A (zh) * 2020-03-04 2020-07-03 中国电子科技集团公司第五十四研究所 一种自主遥感卫星任务生成方法
CN114531197A (zh) * 2022-04-24 2022-05-24 中国科学院空天信息创新研究院 在轨分布式信息资源应用服务系统
CN115240080A (zh) * 2022-08-23 2022-10-25 北京理工大学 一种多源遥感卫星数据智能解译与分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
分布式星群网络组网技术研究;陈浩澜等;《通信技术》;第54卷(第7期);1647-1657 *
面向星群的遥感影像智能服务关键问题;王密等;《测绘学报》;第51卷(第6期);1008-1016 *

Also Published As

Publication number Publication date
EP4390860A1 (en) 2024-06-26
CN115984647A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN108399362B (zh) 一种快速行人检测方法及装置
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
Alsabhan et al. Automatic building extraction on satellite images using Unet and ResNet50
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN115984647B (zh) 面向星群的遥感分布式协同推理方法、装置、介质和卫星
CN113076969B (zh) 基于混合高斯损失函数的图像目标检测方法
CN115984646B (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN113793341B (zh) 一种自动驾驶场景语义分割方法、电子设备及可读介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN114463363A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
CN116110074A (zh) 一种基于图神经网络的动态小股行人识别方法
CN116977359A (zh) 图像处理方法、装置、设备、可读存储介质及程序产品
CN112598043B (zh) 一种基于弱监督学习的协同显著性检测方法
CN112233079B (zh) 多传感器图像融合的方法及系统
CN114581841A (zh) 一种复杂交通环境下利用深度学习法检测弱小目标的方法
CN114120056A (zh) 小目标识别方法、装置、电子设备、介质及产品
CN114332715A (zh) 气象自动观测积雪识别方法、装置、设备及存储介质
Khoshboresh-Masouleh et al. Uncertainty Estimation in Deep Meta-Learning for Crop and Weed Detection from Multispectral UAV Images
Babu et al. Development and performance evaluation of enhanced image dehazing method using deep learning networks
CN115170809B (zh) 图像分割模型训练、图像分割方法、装置、设备及介质
CN117746204B (zh) 一种基于图像和毫米波雷达融合的概率目标检测方法
CN117670527B (zh) 基于地块数据的农户贷款授信额度确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant