CN113297855B - 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 - Google Patents

一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 Download PDF

Info

Publication number
CN113297855B
CN113297855B CN202110714789.7A CN202110714789A CN113297855B CN 113297855 B CN113297855 B CN 113297855B CN 202110714789 A CN202110714789 A CN 202110714789A CN 113297855 B CN113297855 B CN 113297855B
Authority
CN
China
Prior art keywords
test model
network
model
quantized
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110714789.7A
Other languages
English (en)
Other versions
CN113297855A (zh
Inventor
夏鲁瑞
李森
林郁
陈雪旗
张占月
王鹏
薛武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202110714789.7A priority Critical patent/CN113297855B/zh
Publication of CN113297855A publication Critical patent/CN113297855A/zh
Application granted granted Critical
Publication of CN113297855B publication Critical patent/CN113297855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向卫星在轨应用的嵌入式遥感影像文本生成方法，包括：获取预设的测试模型，对预设的测试模型进行量化得到量化后的测试模型；对量化后的测试模型进行在线推理得到在线推理结果；当根据在线推理结果确认量化后的测试模型能正常执行且执行结果正确时，量化后的测试模型基于预设的模型接口自动生成离线模型；根据离线模型进行离线推理得到更新后的离线模型，根据更新后的离线模型生成遥感影像文本。将服务器上训练好的测试模型导入服务器上进行模型量化、在线推理和调试，生成离线模型，根据离线模型进行离线推理得到更新后的离线模型，然后将更新后的离线模型导入嵌入式平台上，实现遥感影像文本生成算法的嵌入式移植。

Description

一种面向卫星在轨应用的嵌入式遥感影像文本生成方法
技术领域
本发明属于航天遥感技术领域，尤其涉及一种面向卫星在轨应用的嵌入式遥感影像文本生成方法。
背景技术
现代航天遥感技术的高速进步，使得遥感卫星日趋成熟、遥感数据获取量成倍增长。然而，目前人们对航天遥感影像的推理与理解以检测和分类为主，其结果与高层语义信息之间仍存在较大差距。因此，面对海量的遥感影像数据，亟需具备与遥感影像获取速度相匹配的解译能力，如何在浩瀚的遥感影像中挖掘提取出高价值信息成为遥感领域进一步探索研究的方向。但为满足遥感影像在轨实时处理并生成文本信息下传的需求，需对遥感影像语义理解与文本生成算法的嵌入式移植方案进行研究。
发明内容
针对以上技术问题，本发明提供一种面向卫星在轨应用的嵌入式遥感影像文本生成方法。
本发明解决其技术问题采用的技术方案是：
在一个实施例中，一种面向卫星在轨应用的嵌入式遥感影像文本生成方法，方法包括以下步骤：
步骤S200：获取预设的测试模型，对预设的测试模型进行量化得到量化后的测试模型；
步骤S300：对量化后的测试模型进行在线推理得到在线推理结果；
步骤S400：当根据在线推理结果确认量化后的测试模型能正常执行且执行结果正确时，量化后的测试模型基于预设的模型接口自动生成离线模型；
步骤S500：根据离线模型进行离线推理得到更新后的离线模型，根据更新后的离线模型生成遥感影像文本。
优选地，步骤S200之前还包括：
步骤S100：获取初始测试模型，对初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型，其中初始测试模型为在服务器上已训练好的测试模型。
优选地，步骤S100中对初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型具体包括：
步骤S110：将初始测试模型中的ResNet152特征提取网络替换为ResNet101特征提取网络；
步骤S120：将初始测试模型中的GRU网络替换为LSTM网络，构建基于双层LSTM网络的文本生成模型。
优选地，步骤S200包括：
步骤S210：获取预设的测试模型中的网络文件，根据预设的网络参数对网络文件进行修改得到更新后的网络文件；其中，预设的测试模型中的网络文件包括ResNet101特征提取网络和LSTM网络；
步骤S220：加载预设的测试模型中的原始权重文件；
步骤S230：调用预设的量化接口，根据预设的量化接口将ResNet101特征提取网络和LSTM网络中的可量化层替换为预设的专用网络层；
步骤S240：获取原始网络代码，对原始网络代码进行调整，根据调整后的网络代码和原始权重文件对预设的测试模型进行逐层训练和测试，更新预设的测试模型的原始权重文件和网络参数，完成预设的测试模型的量化，得到量化后的测试模型，其中，量化后的测试模型中包括量化后的网络文件。
优选地，步骤S300包括：
步骤S310：获取量化后的网络文件；其中，量化后的网络文件包括量化后的ResNet101特征提取网络和量化后的LSTM网络；
步骤S320：调用预设的量化接口，根据预设的量化接口将量化后的ResNet101特征提取网络和量化后的LSTM网络的可量化层替换为预设的专用网络层；
步骤S330：获取量化后的测试模型的权重文件，将量化后的权重文件加载到量化后的测试模型中；
步骤S350：获取预设的数据集，根据预设的数据集和加载有量化后的权重文件的量化后的测试模型进行在线推理得到推理结果。
优选地，步骤S350之前还包括：
步骤S340：获取卫星遥感影像数据集，对卫星遥感影像数据集进行预处理，得到预处理后的数据集，作为预设的数据集。
优选地，步骤S400还包括：当根据在线推理结果确认量化后的测试模型无法正常执行或者执行结果错误时，输出量化后的测试模型的每段代码的运行日志，根据运行日志进行修改调试，直至量化后的测试模型正常执行并且执行结果正确。
上述面向卫星在轨应用的嵌入式遥感影像文本生成方法，首先将预设的测试模型导入服务器上进行模型量化和在线推理，根据在线推理结果确认量化后的测试模型能正常执行且执行结果正确时，量化后的测试模型基于预设的模型接口自动生成离线模型，根据离线模型进行离线推理得到更新后的离线模型，然后将更新后的离线模型导入嵌入式平台上进行算法测试，实现了遥感影像文本生成算法的嵌入式移植。
附图说明
图1为本发明第一种实施例提供的面向卫星在轨应用的嵌入式遥感影像文本生成方法的流程图；
图2为算法移植研究思路图；
图3为本发明另一种实施例提供的面向卫星在轨应用的嵌入式遥感影像文本生成方法的流程图；
图4为航天遥感影像语义理解与文本生成算法关系图；
图5为基于双层LSTM网络的文本生成模型结构示意图；
图6为遥感影像语义理解与文本生成算法移植流程示意图；
图7为嵌入式遥感影像语义理解与文本生成结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
航天遥感影像语义理解与文本生成技术即对星上数据预处理及切片后获得的遥感影像，进行特征提取、目标检测、区域关注和文本生成等一系列操作后，输出遥感影像的描述信息。对于嵌入式系统算法实现，设计需求需要满足以下5方面：(1)轻量化需求，神经网络由数以万计的参数组成，网络之间结构复杂、计算量大、且处理速度相对较慢，这些不足一定程度上制约了算法的嵌入式移植。随着算法网络结构复杂程度的加深，参数呈指数增长，如何轻量化网络结构，减小模型计算损耗是嵌入式移植的首要需求之一，具有重要的意义。(2)功耗需求，受限于卫星工作环境，星载处理器与地面大型计算设备的运行功耗之间存在较大差距，如何降低边缘计算平台运行功耗，减轻模型计算负担，是本发明算法移植过程中不可避免的问题，关系到该算法是否具有实际应用价值。(3)时耗需求，传统遥感影像处理模式尚停留在星上获取数据信息并将信息下传至地面站，地面进行人工处理与结果分发。这种处理手段难以满足空间信息直接支持动态目标识别、任务规划、行为预测等应用的时效性要求。而本发明无需将数据下传，通过星上智能处理生成情报信息，直接下传给用户单位，能够大幅提高时效性，因此对算法的时效性提出进一步的要求。(4)处理效率需求，传统的遥感影像数据处理通常将原始数据下发地面处理，由于星地数传链路带宽有限，随着数据量增大，传输延迟大幅增加。而星上实时成像并进行后续语义理解与文本生成，获取有效情报信息后下传至终端用户，可以大幅减少相应时间，从而提高处理效率。(5)数据传输需求，星地传输系统采用星上数传-星上数据存储-数据压缩-打包-星地数传链路-地面站解压的思路，但是星地传输速率有限，处理高分辨率宽幅遥感影像效率低下，遥感影像语义理解与文本生成在轨实时处理技术能够有效解决这一难题，将结果处理后转化为文本情报下传，能够有效缓解星地传输的压力。
基于以上嵌入式系统算法实现的设计需求，在一个实施例中，如图1所示，本发明提供一种面向卫星在轨应用的嵌入式遥感影像文本生成方法，步骤包括：
步骤S200：获取预设的测试模型，对预设的测试模型进行量化得到量化后的测试模型；
步骤S300：对量化后的测试模型进行在线推理得到在线推理结果；
步骤S400：当根据在线推理结果确认量化后的测试模型能正常执行且执行结果正确时，量化后的测试模型基于预设的模型接口自动生成离线模型；
步骤S500：根据离线模型进行离线推理得到更新后的离线模型，根据更新后的离线模型生成遥感影像文本。
具体地，航天遥感影像语义理解与文本生成算法流程较为复杂、计算量大，为满足星上在轨处理的计算能力及实时性和稳定性等要求，算法首先应该在地面服务器上进行训练和验证，其次将调试好的模型移植到嵌入式平台做测试，合理的移植验证方案保证算法的有效性和完整性，尽可能在保证算法效果的前提下，实现程序代码的管理、编译和移植等。
算法嵌入式移植主要分为两个阶段：首先将服务器上训练好的模型导入搭载某国产智能计算加速卡的服务器上进行模型量化、在线推理和调试，以发现和纠正移植过程中存在的各种问题，生成离线模型；然后将离线模型导入某国产嵌入式平台上进行算法测试，实现遥感影像文本生成算法的嵌入式移植。算法移植研究思路图如图2所示。
在一个实施例中，如图3所示，步骤S200之前还包括：
步骤S100：获取初始测试模型，对初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型，其中，初始测试模型为在服务器上已训练好的测试模型。
具体地，首先在搭载NVIDIA 2080GPU的服务器上完成本发明算法的理论设计，并通过训练和验证获得最佳模型参数，得到初始测试模型，其次在搭载NVIDIA 2080GPU服务器上对算法进行轻量化设计，得到轻量化处理后的测试模型作为预设的测试模型，由于嵌入式平台计算能力有限，因此要在保证算法性能的前提下尽可能减小算法体量，以缓解嵌入式平台的计算负担。
在一个实施例中，步骤S100中对初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型具体包括：
步骤S110：将初始测试模型中的ResNet(残差网络，Residual Network)152特征提取网络替换为ResNet101特征提取网络。
具体地，本发明采用的航天遥感影像语义理解与文本生成算法包含了三个主要部分：用于特征提取的深层残差网络、用于文本生成的LSTM(Long Short-Term Memory，长短期记忆网络)和GRU(Gated Recurrent Unit，门控循环单元网络)网络、用于模型优化训练的自强化学习方法，三者的关系如图4所示。
对于航天遥感影像语义理解与文本生成算法的三个部分，分别从以下角度考虑模型改进及轻量化设计：
遥感影像特征提取算法是能否充分挖掘影像特征信息，为遥感影像文本生成任务提供准确充分的特征数据的先决条件。本发明选用的残差网络结构较为简明，结构中每部分都有特定效果，故难以从网络结构上进行改进。经过对比VGG16、GoogLeNet、ResNet101、ResNet152四种特征提取算法在遥感影像文本生成任务中的效果，得出虽然ResNet101的特征提取效果弱于ResNet152网络，但是优于VGG16和GoogLeNet特征提取网络，因而在算力受限的情况下，可将ResNet152替换为ResNet101网络以减小特征提取部分的体量，轻量化处理后特征提取模型的参数减少了26％。
步骤S120：将初始测试模型中的GRU网络替换为LSTM网络，构建基于双层LSTM网络的文本生成模型。
具体地，基于GRU注意力机制的文本生成算法通过GRU网络计算输入特征向量和权重系数，增加对重点区域的关注程度，然后通过LSTM文本生成网络生成文本信息。但是目前某国产嵌入式平台的PyTorch框架暂不支持GRU算子，故将GRU网络替换为LSTM网络，构建基于双层LSTM网络的文本生成模型，模型结构如图5所示。
在基于双层LSTM的文本生成模型中，第一层LSTM网络的输入部分发生如下变化：
如图5所示，LSTM注意力网络的输入由三部分组成，分别是：(t-1)时刻LSTM语言网络的隐状态输入特征图的平均池化特征/>和已生成单词的编码Wd∏t，LSTM注意力网络的作用是对输入的特征向量和单词计算权重系数，增加对重点区域的关注度，进而获得更为准确的描述。SoftMax函数的作用是将语言LSTM网络的输出值映射到(0,1)区间，从而进行单词生成，最终输出的结果是对应的描述单词。
关于图5中，和/>分别代表LSTM注意力网络t时刻的输入和隐状态，/>表示LSTM注意力网络t-1时刻的隐状态，/>和/>分别代表语言LSTM网络t时刻的输入和隐状态，表示LSTM语言网络t-1时刻的隐状态，LSTM1表示注意力网络，LSTM2表示语言网络。
通过上述方法，使得遥感影像文本生成模型符合某国产嵌入式平台对算子的要求。
基于自强化学习的遥感影像语义理解与文本生成优化算法将文本生成的序列模型看作强化学习问题，通过构建策略网络和价值网络优化模型训练过程。由于基于自强化学习的训练过程是基于搭载NVIDIA 2080GPU的服务器进行的，而算法移植对象是训练后的测试模型，因此移植过程中不涉及强化学习技术。
通过对特征提取网络和文本生成网络的轻量化设计，使得模型符合嵌入式平台的基本要求，便于后续移植工作的开展。
在一个实施例中，步骤S200包括：
步骤S210：获取预设的测试模型中的网络文件，根据预设的网络参数对网络文件进行修改得到更新后的网络文件；其中，预设的测试模型中的网络文件包括ResNet101特征提取网络和LSTM网络。
具体地，获取网络文件，通过Cambricon PyTorch的torchvision库加载预训练网络，通过网络自定义修改网络结构。Cambricon PyTorch的torchvision库支持对网络进行重新编辑，通过修改特征提取网络的层数及输出，合并LSTM网络，以获得本发明中所需的网络。
步骤S220：加载预设的测试模型中的原始权重文件。具体地，通过net.load_state_dict(state_dict)加载模型的原始权重文件。
步骤S230：调用预设的量化接口，根据预设的量化接口将ResNet101特征提取网络和LSTM网络中的可量化层替换为预设的专用网络层。具体地，生成量化模型时调用预设的量化接口能够将网络中的可量化层替换为经某国产优化的专用网络层。
步骤S240：获取原始网络代码，对原始网络代码进行调整，根据调整后的网络代码和原始权重文件对预设的测试模型进行逐层训练和测试，更新原始权重文件，完成预设的测试模型的量化，得到量化后的测试模型，其中，量化后的测试模型中包括量化后的网络文件。
具体地，首先通过调整网络代码，将本来由服务器GPU上运行的层移植到CPU上处理，再导入预设的测试模型中的原始权重文件，通过逐层训练和测试更新模型的原始权重文件，以提高算法的效果。
在一个实施例中，步骤S300包括：
步骤S310：获取量化后的网络文件；其中，量化后的网络文件包括量化后的ResNet101特征提取网络和量化后的LSTM网络；
步骤S320：调用预设的量化接口，根据预设的量化接口将量化后的ResNet101特征提取网络和量化后的LSTM网络的可量化层替换为预设的专用网络层；
步骤S330：获取量化后的测试模型的权重文件，将量化后的权重文件加载到量化后的测试模型中；
步骤S350：获取预设的数据集，根据预设的数据集和加载有量化后的权重文件的量化后的测试模型进行在线推理得到推理结果。
具体地，使用量化后的pth权重文件执行在线推理，在线推理为算法移植过程关键的中间步骤，在线推理过程的优势是支持对算法进行即时修改，即服务器移植来的算法出现的问题，根据运行日志可进行适应性调整，当根据在线推理确认算法没问题后，再生成离线模型。
在一个实施例中，步骤S350之前还包括：
步骤S340：获取卫星遥感影像数据集，对卫星遥感影像数据集进行预处理，得到预处理后的数据集，作为预设的数据集。
具体地，这里的数据集指的是遥感影像语义理解与文本生成方法中专用的数据集，该数据集包含切片处理后的遥感影像和每幅影像对应的五条文本描述，预处理包括根据数据集的平均数和标准差进行均值处理，目的是调整输入图像的大小，让输入网络的数据集格式保持一致，另外，因为原始数据集中的文本描述是以txt格式存在一起的，不利于每个句子进行匹配，通过预处理对文本描述进行一个初步排序，精确挑出每张遥感图像对应的描述，以便于后面提取出图像特征后，将单词与特征进行匹配，进一步提高后续训练的效果。
在一个实施例中，如图6所示，步骤S400还包括：当根据在线推理结果确认量化后的测试模型无法正常运行或者结果错误时，输出量化后的测试模型的每段代码的运行日志，根据运行日志进行修改调试。
具体地，在线推理过程的优势是支持对算法进行即时修改，即服务器移植来的算法出现的问题，根据运行日志可进行适应性调整。
为便于定位算法运行过程中出现的问题或优化算法效果，在移植过程中输出量化后的测试模型的每段代码的运行日志，以便精准定位修改调试。
嵌入式移植的目的，是让文本生成算法可以在更小的体量，更小的功耗，更小的算力下运行，以满足将来进行遥感影像星上智能处理测试，因此需要将训练好的算法写成脚本形式或者说不可修改形式，即离线形式，因为在线过程只能在服务器上运行，只有将在线推理过程转换成更新后的离线模型，才能放到嵌入式平台运行。根据在线推理确认算法可以顺利运行后，离线模型将网络模型、模型稀疏度、模型精确度、一次处理的数据量、使用的内核数量、输入图片数量等变量预留出接口，特征提取和文本生成模型通过预设的模型接口即Cambricon catch中的torch_mlu.core.mlu_model.save_as_cambricon(model_name)接口，自动生成离线模型。
在一个实施例中，步骤S500：根据离线模型进行离线推理得到更新后的离线模型，根据更新后的离线模型生成遥感影像文本。具体地，离线推理就是把在线融合生成的中间代码保存成一个离线模型.cambricon文件，即把序列化的、经过编译的网络或算子(基本算子或融合算子)的文件加载到离线模型中，生成更新后的离线模型。更新后的离线模型不依赖于PyTorch框架，只基于CNRT(Cambricon Neuware Runtime Library，运行时库)单独运行。CNRT通过加载离线模型文件来驱动MLU core完成计算。进一步地，寒武纪离线模型包含模型版本、Core Version信息、MLU指令、权值数据、输入输出数据规模、参数信息等。离线模型文件通过CNML(中文新闻信息置标语言)生成，而离线模型的运行可以脱离CNML，基于CNRT单独运行。由于脱离了上层软件栈，离线模型的执行具有更好的性能和通用性。
上述过程完成后，将获得的pth模型输入到某国产嵌入式平台，运行程序即可获得遥感影像语义理解与文本生成结果。
遥感影像语义理解与文本生成算法移植完成后，在某国产嵌入式平台上运行该算法，使用ResNet101作为语义理解算法的特征提取网络，使用双层LSTM作为注意力网络和文本生成网络，从RSICD(The Remote Sensing Image Captioning Dataset，遥感影像数据集)数据集中随机抽取10％作为测试数据集，嵌入式遥感影像语义理解与文本生成结果如图7所示，图7中包括操场、城镇、桥梁、机场等典型场景及场景描述的呈现。
可以发现，本算法可以对实验所用的遥感影像包含操场、城镇、桥梁、机场等典型场景生成较为准确的描述。经测试，每秒可处理遥感影像约1.85张。通过主观评价对文本生成结果进行初步分析和验证，将能够准确找出目标并建立其和场景之间的关系记为Great；能够找出目标，但无法充分表达目标和场景之间的关系记为Normal；目标识别错误或者建立了错误的关系记为Poor，主观评价结果如表1所示。
表1嵌入式算法主观评价结果
由图6和表1可以发现，本移植方法可以有效地将航天遥感影像语义理解与文本生成算法移植到嵌入式平台中，并且基于嵌入式的航天遥感影像语义理解与文本生成算法描述具有一定的准确性和丰富性，有效验证了航天遥感影像语义理解与文本生成算法嵌入式移植的可行性和有效性。
本发明通过分析航天遥感影像智能处理算法嵌入式移植的需求，针对嵌入式平台的性能特点，分别对基于ResNet的遥感影像特征提取模型和基于LSTM的遥感影像区域关注模型进行轻量化设计，构建了航天遥感影像语义理解与文本生成模型嵌入式算法移植流程，在某国产嵌入式平台上实现了航天遥感影像语义理解与文本生成算法，并对算法移植结果进行分析，实验结果表明上述算法能够通过智能处理获得对应信息，有效验证了算法嵌入式移植的可行性和有效性。
以上对本发明所提供的一种面向卫星在轨应用的嵌入式遥感影像文本生成方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种面向卫星在轨应用的嵌入式遥感影像文本生成方法，其特征在于，所述方法包括以下步骤：
步骤S200：获取预设的测试模型，对所述预设的测试模型进行量化得到量化后的测试模型；
步骤S300：对所述量化后的测试模型进行在线推理得到在线推理结果；
步骤S400：当根据所述在线推理结果确认所述量化后的测试模型能正常执行且执行结果正确时，所述量化后的测试模型基于预设的模型接口自动生成离线模型；步骤S400还包括：当根据所述在线推理结果确认所述量化后的测试模型无法正常执行或者执行结果错误时，输出所述量化后的测试模型的每段代码的运行日志，根据所述运行日志进行修改调试，直至所述量化后的测试模型正常执行并且执行结果正确；
步骤S500：根据所述离线模型进行离线推理得到更新后的离线模型，根据所述更新后的离线模型生成遥感影像文本；
步骤S200之前还包括：
步骤S100：获取初始测试模型，对所述初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型，其中，所述初始测试模型为在服务器上已训练好的测试模型。
2.根据权利要求1所述的方法，其特征在于，步骤S100中对所述初始测试模型进行轻量化设计得到轻量化处理后的测试模型，作为预设的测试模型具体包括：
步骤S110：将所述初始测试模型中的ResNet152特征提取网络替换为ResNet101特征提取网络；
步骤S120：将所述初始测试模型中的GRU网络替换为LSTM网络，构建基于双层LSTM网络的文本生成模型。
3.根据权利要求2所述的方法，其特征在于，步骤S200包括：
步骤S210：获取所述预设的测试模型中的网络文件，根据预设的网络参数对所述网络文件进行修改得到更新后的网络文件；其中，所述预设的测试模型中的网络文件包括所述ResNet101特征提取网络和所述LSTM网络；
步骤S220：加载所述预设的测试模型中的原始权重文件；
步骤S230：调用预设的量化接口，根据所述预设的量化接口将所述ResNet101特征提取网络和所述LSTM网络中的可量化层替换为预设的专用网络层；
步骤S240：获取所述预设的测试模型的原始网络代码，对所述原始网络代码进行调整，根据调整后的网络代码和所述原始权重文件对所述预设的测试模型进行逐层训练和测试，更新所述预设的测试模型的原始权重文件以及所述更新后的网络文件中的网络参数，完成所述预设的测试模型的量化，得到量化后的测试模型，其中，所述量化后的测试模型中包括量化后的网络文件。
4.根据权利要求3所述的方法，其特征在于，步骤S300包括：
步骤S310：获取量化后的网络文件；其中，所述量化后的网络文件包括量化后的ResNet101特征提取网络和量化后的LSTM网络；
步骤S320：调用预设的量化接口，根据所述预设的量化接口将所述量化后的ResNet101特征提取网络和所述量化后的LSTM网络的可量化层替换为预设的专用网络层；
步骤S330：获取量化后的测试模型的权重文件，将所述量化后的权重文件加载到量化后的测试模型中；
步骤S350：获取预设的数据集，根据所述预设的数据集和加载有所述量化后的权重文件的量化后的测试模型进行在线推理得到推理结果；
步骤S350之前还包括：
步骤S340：获取卫星遥感影像数据集，对所述卫星遥感影像数据集进行预处理，得到预处理后的数据集，作为预设的数据集。
CN202110714789.7A 2021-06-25 2021-06-25 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 Active CN113297855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110714789.7A CN113297855B (zh) 2021-06-25 2021-06-25 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110714789.7A CN113297855B (zh) 2021-06-25 2021-06-25 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法

Publications (2)

Publication Number Publication Date
CN113297855A CN113297855A (zh) 2021-08-24
CN113297855B true CN113297855B (zh) 2023-08-18

Family

ID=77329684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110714789.7A Active CN113297855B (zh) 2021-06-25 2021-06-25 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法

Country Status (1)

Country Link
CN (1) CN113297855B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829035B (zh) * 2022-12-29 2023-12-08 苏州市欧冶半导体有限公司 一种分布式量化方法、系统及终端设备
CN117118495B (zh) * 2023-08-23 2024-05-28 中国科学院微小卫星创新研究院 天基通算一体化网络系统、遥感数据在轨处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784376A (zh) * 2018-12-26 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种遥感图像分类方法及分类系统
CN110619313A (zh) * 2019-09-20 2019-12-27 西安电子科技大学 遥感图像判别性描述生成方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110929640A (zh) * 2019-11-20 2020-03-27 西安电子科技大学 一种基于目标检测的宽幅遥感描述生成方法
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN111832504A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的空间信息智能一体化生成方法
CN112668552A (zh) * 2021-01-18 2021-04-16 江西省水土保持科学研究院 一种基于深度学习的水土保持措施图斑自动提取方法及系统
CN113011528A (zh) * 2021-04-28 2021-06-22 中国电子科技集团公司第五十四研究所 一种基于上下文和级联结构的遥感图像小目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417446B2 (en) * 2008-07-25 2013-04-09 Navteq B.V. Link-node maps based on open area maps
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784376A (zh) * 2018-12-26 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种遥感图像分类方法及分类系统
CN110619313A (zh) * 2019-09-20 2019-12-27 西安电子科技大学 遥感图像判别性描述生成方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN110929640A (zh) * 2019-11-20 2020-03-27 西安电子科技大学 一种基于目标检测的宽幅遥感描述生成方法
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN111832504A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的空间信息智能一体化生成方法
CN112668552A (zh) * 2021-01-18 2021-04-16 江西省水土保持科学研究院 一种基于深度学习的水土保持措施图斑自动提取方法及系统
CN113011528A (zh) * 2021-04-28 2021-06-22 中国电子科技集团公司第五十四研究所 一种基于上下文和级联结构的遥感图像小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yu Lin, Z.Dong,Lurui Xia,Junwei Wang.Remote sensing object detection based on YOLO and embedded systems.Applied Optics and Photonics China.2020,全文. *

Also Published As

Publication number Publication date
CN113297855A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113297855B (zh) 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法
CN112106081A (zh) 提供综合机器学习服务的应用开发平台和软件开发套件
KR102027141B1 (ko) 음성인식을 통한 인공지능 프로그램코딩 시스템 및 그 방법
CN117056531A (zh) 领域知识驱动的大语言模型精调方法、系统、设备及存储介质
CN115222950A (zh) 一种面向嵌入式平台的轻量化目标检测方法
WO2023236319A1 (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN111369430A (zh) 基于移动深度学习引擎的移动端人像智能背景替换方法
CN107480115B (zh) 一种caffe框架残差网络配置文件格式转换方法及系统
CN114972323A (zh) 一种用于模型训练的缺陷图片生成方法及系统
CN114913376A (zh) 基于图像的缺陷自动识别方法、装置、系统及存储介质
CN112508178A (zh) 神经网络结构搜索方法、装置、电子设备及存储介质
Liu et al. Improvement of pruning method for convolution neural network compression
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN111078886B (zh) 基于dmcnn的特殊事件提取系统
CN115240654A (zh) 语音识别模型训练方法、装置、设备及存储介质
CN111273901B (zh) 一种可快捷上线部署的机器学习模型的文件格式及部署方法
CN112633516B (zh) 性能预测和机器学习编译优化方法及装置
CN111241826A (zh) 实体名称识别方法、装置、设备及存储介质
CN116416531B (zh) 基于动态重参数化的遥感图像目标检测方法、设备及介质
CN115936115B (zh) 基于图卷积对比学习和XLNet的知识图谱嵌入方法
CN113762304B (zh) 图像处理方法、图像处理装置和电子设备
CN118012438B (zh) 客户端体验处置方法、装置、介质及设备
US12008445B2 (en) Black-box optimization using neural networks
CN116384457A (zh) 一种嵌入式设备神经网络模型推理方法
Majeed et al. An approach to the Optimization of menu-based Natural Language Interfaces to Databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant