CN108804616B - 一种空间有效载荷在轨图像数据挖掘的装置和方法 - Google Patents

Abstract

本发明实施例涉及一种空间有效载荷在轨图像数据挖掘的装置和方法，属于空间电子学领域。其中，该装置包括：计算管理模块和至少一个数据计算模块，计算管理模块用于：将接收到图像数据信息，发送至数据计算模块；数据计算模块用于：根据预设的神经网络模型对图像数据进行分析，得到特征信息，根据特征信息构建图数据库模型，然后将目标图像数据发送回计算管理模块传到地面。通过本实施例提供的技术方案，将在轨数据获取的手段由图像数据下行再处理转变成在轨智能实时处理，从而解决了海量数据和天地链路传输带宽受限之间的矛盾，同时满足时敏目标的实时检测与识别的需求。

Description

一种空间有效载荷在轨图像数据挖掘的装置和方法

技术领域

本发明实施例涉及空间电子学领域，尤其涉及一种空间有效载荷在轨图像数据挖掘的装置和方法。

背景技术

各类卫星、航天器布置大量的前端传感器采集高分辨率和高时效性遥感影像，系统产生的海量信息能够用于时间敏感目标的持续监测、识别预警以及应急指挥。目前，在轨数据的实时处理水平滞后于空间技术的发展，空间数据的生产能力大于传输能力及解析能力，从而造成空间数据资源不能得到充分利用。

在现有技术中，采用大量的传感器对数据信息进行获取。而传感器数据量巨大，原始的数据率与天地链路传输带宽不匹配，即使压缩后传输带宽仍然远远不够，因为带宽原因导致在轨预处理后的数据损失太多有效信息，在地面处理时无法真实还原原始信息进行精确的任务处理。其次由于经过众多的链路环节后再处理，任务响应的速度跟不上现代化的高实时性、高准确度、高可靠性需求，对于时敏目标的检测和识别没有较好的时效性。

随着技术的进展，空间领域已经开始向智能化方向发展，在轨数据实时处理是载荷智能化发展的最突出特点之一，处理后的信息产品数据量大大减少，在减小数传压力的同时也使得信息能够直接被终端用户接收。

美国NEMO卫星的高光谱数据处理采用自适应光谱识别系统ORASIS，其数据处理采用凸面集分析和正交投影变换技术，对特定场景分解生成10—20个端元，实现自动数据分析、特征提取和数据压缩。BIRD卫星ZG数据处理能力包括辐射校正、几何校正以及灾害预警和监测专题信息生产等。法国研制的下一代Pleiades卫星采用了可重构的现场可编程门阵列(Field Programmable Gate Arrays，FPGA)作为模块化的星上图像处理器(ModuleVideo Processor，MVP)，实现数据采集、像元对齐、热控、电控等功能。

由于天地链路传输带宽的限制，在轨原始数据无法及时下行，同时在轨原始数据中包含大量无效数据，因此在轨数据高效预处理需求迫切。一方面，去除冗余或无效数据，节约有限的带宽和能量；另一方面，研究海量图像数据的在轨高效组织与快捷应用、快速检索有效空间信息、提高图像分析识别的精度，更有效地进行在轨图像实时处理，提高信息处理的实时性和信息获取的有效性。

发明内容

为解决上述技术问题中的至少一个技术问题，本发明实施例提供了一种空间有效载荷在轨图像数据挖掘的装置和方法。

根据本发明实施例的一个方面，本发明实施例提供了一种空间有效载荷在轨图像数据挖掘的装置，所述装置包括：计算管理模块和至少一个数据计算模块，其中，

所述计算管理模块用于：将获取到的图像数据信息发送至所述数据计算模块；

所述数据计算模块用于：根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到所述图像的特征信息，根据所述特征信息生成XML文件，并根据所述XML文件构建图数据库模型。

根据本实施例提供的：由计算管理模块对图像数据信息进行发送，发送至数据计算模块，由数据计算模块根据神经网络模型对图像数据信息中的图像进行分析，以便得到特征信息，并根据特征信息生成XML文件，以便根据XML文件构建图数据库模型的技术方案，实现了对空间数据有效传输，加强了对空间数据的分析，从而实现了对空间数据资源的充分利用的技术效果。

根据本发明实施例的另一个方面，本发明实施例提供了一种空间有效载荷的在轨图像数据挖掘方法，所述方法基于上述装置，所述方法包括：

计算管理模块将获取到的图像数据信息发送至数据计算模块；

所述数据计算模块根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到所述图像的特征信息，根据所述特征信息生成XML文件，并根据所述XML文件构建图数据库模型。

进一步地，当所述数据计算模块包括：图像智能处理单元、图数据库单元时，则所述数据计算模块根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到所述图像的特征信息，根据所述特征信息生成XML文件，并根据所述XML文件构建图数据库模型，具体包括：

所述图像智能处理单元根据所述神经网络模型对所述图像进行分析，得到所述特征信息，根据所述特征信息生成所述XML文件；

所述图数据库单元对所述图像智能处理单元进行监测，当监测到所述图像智能处理单元生成所述XML文件时，则获取所述XML文件，并根据所述XML文件构建所述图数据库模型。

通过本实施例提供的：图像智能处理单元对图像进行分析，得到特征信息后，生成XML文件，图数据库单元对图像智能处理单元进行监测，以便判断图像智能处理单元是否有生成XML文件，如果监测到图像智能处理单元生成XML文件时，则直接获取该XML文件，以便根据该XML文件构建图数据库模型的技术方案，实现了快速且高效的对图像进行分析，且建立图数据库模型的技术效果。

进一步地，当所述特征信息包括：草地类别特征信息、树木类别特征信息、房屋类别特征信息和道路类别特征信息时，则所述图像智能处理单元根据预设的神经网络模型对图像数据信息中的图像进行分析，得到所述图像的特征信息，具体包括：

根据所述神经网络模型对所述图像中的草地进行预测，得到所述草地类别特征信息；

根据所述神经网络模型对所述图像中的道路进行预测，得到所述道路类别特征信息；

根据所述神经网络模型对所述图像中的房屋进行分析，得到所述房屋类别特征信息；

根据所述神经网络模型对所述图像中的树木进行分析，得到所述树木类别特征信息。

通过本实施例提供的：分别根据神经网络模型对草地和道路进行预测，以便分别得到草地类别特征信息和道路类别特征信息。分别根据神经网络模型对房屋和树木进行分析，以便分别得到房屋类别特征信息和树木类别特征信息的技术方案，实现了快速且高效的对图像进行处理，以便实现对空间数据资源的充分利用的技术效果。

进一步地，所述根据所述神经网络模型对所述图像中的房屋进行分析，得到所述房屋类别特征信息，具体包括：

根据所述神经网络模型将所述图像中的第一区域填充为第一颜色，将所述图像中的第二区域填充为第二颜色，得到房屋填充图像，其中，所述图像包括所述第一区域和所述第二区域，且所述第一区域与所述房屋对应；

将所述房屋填充图像转换为初始二值图像；

对所述初始二值图像进行开闭运算，得到预处理二值图像；

对所述预处理二值图像进行连通域标记处理，得到目标二值图像；

将所述目标二值图像对应的信息确定为所述房屋类别特征信息。

通过本实施例提供的：将与房屋对应的第一区域填充为第一颜色，并将第二区域填充为第二颜色，得到房屋填充图像，对房屋填充图像进行一系列处理，如图像转换、开闭运算等，最终得到房屋类别特征信息的技术方案，确保了得到的房屋类别特征信息的精准性。

进一步地，所述图像智能处理单元根据预设的所述神经网络模型对所述图像中的树木进行分析，得到所述树木类别特征信息，具体包括：

所述图像智能处理单元根据所述神经网络模型将所述图像中的第三区域填充为第三颜色，将所述图像中的第四区域填充为第四颜色，得到树木填充图像，其中，所述图像包括所述第三区域和所述第四区域，且所述第三区域与所述树木对应；

调用存储于图像智能处理单元的应用程序PIL；

根据所述应用程序PIL对所述第三颜色对应的像素数量进行统计，得到树木覆盖率，并将所述树木覆盖率确定为所述树木类别特征信息。

通过本实施例提供的：将与树木对应的第三区域填充为第三颜色，将第四区域填充为第四颜色，以便得到树木填充图像，通过调用应用程序PIL，以便对第三颜色对应的像素数量进行统计，得到树木覆盖率，以便图像智能处理单元根据该树木覆盖率确定树木类别特征信息的技术方案，实现了获取高精确度的树木覆盖率的技术效果。

进一步地，当所述图数据库单元包括：查询子单元时，则所述方法还包括：

所述计算管理模块对获取到的指令信息进行解析，并将解析后的指令信息发送至所述查询子单元；

所述查询子单元对指令信息进分析后得到查询条件，并将所述查询条件发送至所述图数据库单元；

所述图数据库单元根据所述查询条件在所述图数据库模型中进行查询，并向所述查询子单元反馈查询结果。

通过本实施例提供的：由计算管理模块根据指令信息进行首次解析，并将解析后的指令信息发送至查询子单元，以便查询子单元根据指令信息分析后得到查询条件，并将查询条件发送至图数据库单元，由图数据库单元根据查询条件在图数据库模型中进行查询并反馈查询结果的技术方案，实现了高效且精准的对相关数据信息进行查询的技术效果。

进一步地，当所述装置还包括外接存储模块时，则所述方法还包括：

所述计算管理模块从所述外接存储模块中调取预先缓存的加载程序，以便根据所述加载程序对所述指令信息进行解析。

进一步地，当所述装置还包括外接缓存模块时，则所述方法还包括：

当所述计算管理模块将接收到所述图像数据信息时，先将所述图像数据信息发送至所述外接缓存模块；

所述外接缓存模块对所述图像数据信息进行缓存，并转发至所述计算管理模块，以便所述计算管理模块将所述图像数据信息转发至所述数据计算模块。

根据本发明的另一个方面，本发明实施例还提供了一种空间有效载荷在轨图像数据挖掘的系统，所述系统包括：如上所述的装置，所述系统还包括：地检装置，

所述地检装置用于：将获取到的图像数据信息和/或指令信息发送至计算管理模块，并接收返回的目标图像数据信息。

附图说明

图1为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图；

图2为本发明另实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图；

图3为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的结构框图；

图4为本发明实施例提供的一种数据计算模块的示意图；

图5为本发明实施例提供的一种计算管理模块的示意图；

图6为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的结构框图；

图7为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的方法的流程示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供了一种空间有效载荷在轨图像数据挖掘的装置和方法。

根据本发明实施例的一个方面，本发明实施例提供了一种空间有效载荷在轨图像数据挖掘的装置。

第一实施例：

请参阅图1，图1为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图。

如图1所示，该装置包括：计算管理模块和至少一个数据计算模块，其中，

计算管理模块用于：将获取到的图像数据信息发送至数据计算模块；

数据计算模块用于：根据预设的神经网络模型对图像数据信息中的图像进行分析，得到图像的特征信息，根据特征信息生成XML文件，并根据XML文件构建图数据库模型。

装置主要包含一个计算管理模块和若干个数据计算模块，前者采用XilinxZynq7000系列SOC芯片，后者采用NVIDIA Tegra X2系列GPU，计算管理模块和数据计算模块之间通过PCIe进行通信。

在本实施例中，计算管理模块为包括Xilinx Zynq7000系列SOC芯片的计算管理模块。

其中，数据计算模块的数量可以为一个，也可以为多个。当数据计算模块的数量为一个时，则由一个数据计算模块对图像数据信息进行相应的处理。而当数据计算模块的数量为多个时，则由多个数据计算模块同时对图像数据信息进行处理。即，当为多个数据计算模块时，多个数据计算模块之间为并行处理机制。相互之间互不干扰。

可以理解的是，由多个数据计算模块并行对图像数据信息进行处理，节约了处理的时间，提高了处理的效率。且，由于多个数据计算模块之间互不干扰，使得处理结果比较精确。

其中，数据计算模块具体为NVIDIA Tegra X2系列的GPU。当数据计算模块的数量为多个时，则分别标记为数据计算模块GPU1、数据计算模块GPU2等等。

数据计算模块根据神经网络模型对图像进行分析，得到该图像对应的特征信息，并根据该特征信息生成XML文件，以便根据XML文件构建图数据库模型。

其中，当图像数据信息中包括2幅图像，且当数据计算模块为1个时，则由1个数据计算模块对2幅图像进行分析，得到2幅图像分别对应的特征信息，并生成2个XML文件。即，1幅图像对应1个XML文件。并根据2个XML文件构建图数据库模型。

而当图像数据信息中包括2幅图像，且分别为图像A和图像B，且当数据计算模块为2个，且分别为GPU1和GPU2时。则由GPU1对图像A进行分析，得到XML文件a，由GPU2对图像B进行分析，得到XML文件b。并根据XML文件a和XML文件b构建图数据库模型。

其中，计算管理模块和数据计算模块之间通过PCIe进行通信。

即，通过本实施例提供的技术方案，加强了对空间数据的分析能力，加快了对空间数据的传输速率，且降低了功耗，节约了资源。

通过采用Xilinx Zynq7000系列SOC芯片保证硬件架构的可扩展性(扩展多个数据计算模块以及其他种类的接口)，实现硬件健康监测和故障隔离功能(每个GPU有单独的开关机和加断电控制接口)，提高硬件平台可靠性。

通过采用Open VPX标准进行硬件板卡架构设计，保证处理板卡接口标准可扩展和力学加固设计。

本实施例提出了一种既能满足在轨高速数据处理需求，又具备低功耗、高可靠性的系统架构，该架构由Zynq7000SOC实现≮4Gbps高速数据接收和任务分发，并由多个嵌入式GPU协同完成任务。

面对不断提高的海量数据获取能力，传统的数据下传-处理-分发的应用严重制约数据应用的时效性。首次提出了以图数据库和图数据库结构为基础，结合深度学习技术的面向在轨图像处理的实时数据挖掘技术，采用GPU并行计算技术，在充分考虑在轨资源受限的情况下，可以满足用户多源、多任务模式、多处理算法的在轨数据挖掘处理需求，提供了超高性能的处理能力，同时具备低功耗、高可靠的特性。

根据OpenVPX标准实施标准化通用化硬件设计，装置内每个功能单元均设计为标准的3U Open VPX板卡，保证处理板卡接口标准可扩展和力学加固设计，最后通过VPX底板、后IO板和VPX机箱完成硬件集成。

针对GPU硬件及编程特点，研究GPU软硬件加固策略，针对单粒子闩锁和翻转引起的故障，提出三模冗余等有效应对措施。

结合在轨任务运行特点，可以在该装置上研究适应不同在轨处理需求的可重构基础软件平台，针对不同的信息处理场景，优化平台整体功耗与热耗，提高硬件寿命。

其中，图像数据信息的来源为：使用GE-4遥感图像数据集，该数据集原本包含多张从Google Earth采集的大小为500×300的三波段遥感图像，具体可参考文献：杨俊俐，姜志国，周全，等，基于条件随机场的遥感图像语义标注[J]，航空学报，2015，36(9):3069-3081。

通过本实施例提供的技术方案，实现了高性能数据挖掘平台架构的空间有效载荷在轨图像数据挖掘的装置。在实现在轨处理功能的基础上，可以满足各类性能指标的要求，提取用户最关注数据并以最快速度提供给用户，可以承担各种实时性应用任务。

且，将在轨数据获取的手段由图像数据下行再处理转变成在轨智能实时处理，从而解决了海量数据和天地链路传输带宽受限之间的矛盾，同时满足时敏目标的实时检测与识别的需求。另外，在轨数据挖掘装置可以在各类卫星、航天器中有效完成诸如云判、灾害应急等任务，引领我国空间信息获取与处理模式的转变。

第二实施例：

本实施例以第一实施例为基础。在本实施例中，数据计算模块包括：图像智能处理单元、图数据库单元，其中，

图像智能处理单元用于：根据神经网络模型对图像进行分析，得到特征信息，根据特征信息生成XML文件；

图数据库单元用于：对图像智能处理单元进行监测，当监测到图像智能处理单元生成XML文件时，则获取XML文件，并根据XML文件构建所述图数据库模型。

在本实施例中，数据计算模块具体包括图像智能处理单元和图数据库单元，由图像智能处理单元对图像进行分析，得到特征信息，并生成XML文件。

图数据库单元对图像智能处理单元进行监测，具体可以为实时监测，或者根据预设时间间隔进行监测，监测图像智能处理单元是否已经生成XML文件，如果监测到有XML文件生成，则直接从图像智能处理单元中对生成的XML文件进行获取，以便根据XML文件构建图数据库模型。从而实现及时对是否生成XML文件进行确定，从而实现及时构建图数据库模型。进一步确保图数据库模型中相关数据信息的有效性和准确性。

其中，图数据库单元具体为Neo4j数据库单元。

第三实施例：

本实施例以第一实施例或第二实施例为基础。在本实施例中，当特征信息包括：草地类别特征信息、树木类别特征信息、房屋类别特征信息和道路类别特征信息时，则图像智能处理单元具体用于：

根据神经网络模型对图像中的草地进行预测，得到草地类别特征信息；

根据神经网络模型对图像中的道路进行预测，得到道路类别特征信息；

根据神经网络模型对图像中的房屋进行分析，得到房屋类别特征信息；

根据神经网络模型对图像中的树木进行分析，得到树木类别特征信息。

在本实施例中，分别根据神经网络模型对草地和道路进行预测，以便分别得到草地类别特征信息和道路类别特征信息。分别根据神经网络模型对房屋和树木进行分析，以便分别得到房屋类别特征信息和树木类别特征信息的技术方案，实现了快速且高效的对图像进行处理，以便实现对空间数据资源的充分利用的技术效果。

第四实施例：

本实施例以第三实施例为基础。在本实施例中，图像智能处理单元具体用于：

根据神经网络模型将图像中的第一区域填充为第一颜色，将图像中的第二区域填充为第二颜色，得到房屋填充图像，其中，图像包括第一区域和第二区域，且第一区域与房屋对应；

将房屋填充图像转换为初始二值图像；

对初始二值图像进行开闭运算，得到预处理二值图像；

对预处理二值图像进行连通域标记处理，得到目标二值图像；

将目标二值图像对应的信息确定为房屋类别特征信息。

在本实施例中，由图像智能处理单元将与房屋对应的第一区域填充为第一颜色，并将第二区域填充为第二颜色，得到房屋填充图像，对房屋填充图像进行一系列处理，如图像转换、开闭运算等，最终得到房屋类别特征信息的技术方案，确保了得到的房屋类别特征信息的精准性。

第五实施例：

本实施例以第三实施例为基础。在本实施例中，图像智能处理单元具体用于：

根据神经网络模型将图像中的第三区域填充为第三颜色，将图像中的第四区域填充为第四颜色，得到树木填充图像，其中，图像还包括第三区域和第四区域，且第三区域与树木对应；

调用存储于所述图像智能处理单元的应用程序PIL；

根据应用程序PIL对第三颜色对应的像素数量进行统计，得到树木覆盖率，并将树木覆盖率确定为树木类别特征信息。

在本实施例中，树木覆盖率的算法实现原理为利用应用程序PIL，统计第三颜色对应的像素的个数，并用统计得到的像素的个数作为分子，将图像中的所有像素的个数作为分母，进行求商运算，最终得到树木覆盖率。

且，四类地物的整体准确率的具体公式如下：

nij表示类别i预测为类别j像素个数(类别包含树木、草地、房屋、道路)，ti＝∑_jnij表示像素类别为i像素总个数，准确率为∑_inii/∑_tti。

在本实施例中，图像智能处理单元将与树木对应的第三区域填充为第三颜色，将第四区域填充为第四颜色，以便得到树木填充图像，通过调用应用程序PIL，对第三颜色对应的像素数量进行统计，得到树木覆盖率，以便图像智能处理单元根据该树木覆盖率确定树木类别特征信息的技术方案，实现了获取高精确度的树木覆盖率的技术效果。

第六实施例：

本实施例以第二实施例至第五实施例中的任一实施例为基础。在本实施例中，图数据库单元还包括：查询子单元，其中，

计算管理模块还用于：对获取到的指令信息进行解析，并将解析后的指令信息发送至查询子单元；

查询子单元用于：对指令信息分析后得到查询条件，并将查询条件发送至图数据库单元；

图数据库单元还用于：根据查询条件在图数据库模型中进行查询，并向查询子单元反馈查询结果。

在本实施例中，由计算管理模块对获取到的指令信息进行首次解析，并将解析后的指令信息发送至查询子单元，查询子单元对解析后的指令信息分析后得到查询条件，并将查询条件发送至图数据库单元，由图数据库单元根据查询条件在图数据库模型中进行查询并反馈查询结果的技术方案，实现了高效且精准的对相关数据信息进行查询的技术效果。具体请参阅图2。具体地：

图像智能处理技术利用经过压缩的轻量化深度神经网络模型实现图像语义分割，完成图像地物分类，分类准确率达到94％，处理速率约1秒/张；并在语义分割的基础上提取森林覆盖率、房屋个数等高层图像语义信息。

采用图结构的信息组织形式，提供高性能准确的数据检索功能，从而提高在轨数据下行信道的利用率、在轨传输互联信道的利用率，以及在轨数据处理效率。特别适用于在轨数据处理过程中形成的多种中间数据的缓存、检索，以及处理后多源数据的融合表示与存储，进一步为在轨并行计算提供服务，提高数据利用有效性。

装置系统架构设计具备高性能处理能力，数据计算模块的数量可以为一个，也可以为多个。由多个数据计算模块并行对数据进行处理，节约了处理的时间，提高了处理的效率，在GPU数量为8个，可具有13.6TFLOPS计算能力，保证在不同应用场景下数据处理的实时性。

在轨数据挖掘处理方法实现了对资源的最优配置，以及灵活高效的调度，满足不同应用和不同载荷数据源的需求。

第七实施例：

本实施例以第一实施例至第六实施例中的任一实施例为基础。

请参阅图3，图3为本发明另一实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图。

如图3所示，该装置还包括：外接存储模块，其中，

计算管理模块用于：从外接存储模块中调取预先缓存的加载程序，以便根据加载程序对指令信息进行解析。

第八实施例：

本实施例以第一实施例至第七实施例中的任一实施例为基础。

请参阅图3，图3为本发明另一实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图。

如图3所示，该装置还包括：外接缓存模块，其中，

计算管理模块还用于：当接收到图像数据信息时，先将图像数据信息发送至外接缓存模块；

外接缓存模块用于：对图像数据信息进行存储，并转发至计算管理模块，以便计算管理模块将图像数据信息转发至数据计算模块。

其中，外接缓存模块为SATA盘。

但凡计算管理模块接收到图像数据信息时，都必须先在SATA盘中进行缓存，然后由SATA盘将图像数据信息转发至计算管理模块，再由计算管理模块将图像数据信息进行转发，转发至数据计算模块。

第九实施例：

本实施例以第一实施例至第八实施例中的任一实施例为基础。

请参阅图3，图3为本发明另一实施例提供的一种空间有效载荷在轨图像数据挖掘的装置的结构框图。

如图3所示，该装置还包括：看门狗。看门狗与计算管理模块进行通信，以便及时对计算管理模块进行复位等处理。以确保计算管理模块可靠的运行。

如图3所示，该装置从外部获取到系统内部交互所需的数据格式，在计算管理模块进行并行运算调度，根据有效载荷的不同数据分发给不同的数据计算模块，运算过程由计算管理模块进行监控，在计算过程中生成的待深度挖掘的数据将存入SATA存储介质，计算结束后数据将发回给计算管理模块，最终通过计算管理模块存入上层网络进行转发。每个数据计算模块的系统架构与基础软硬件设计均一致，每个数据计算模块根据计算管理模块的调度完成不同的计算任务，每个模块内置通用算法库并可通过软件上载实现算法库更新。

装置通过采用上面所述计算平台架构，可以完成高速数据接收(不小于4Gbps)，及多GPU协同处理相关任务，具有单节点计算能力1.7～13.6TFLOPS(当GPU数量为1～8个)。随着GPU的数量越多时，单节点计算能力也不断的增强。存储能力16Tb，支持扩展，内部PCIE高速互联物理层传输速率达到5.0Gbps，单节点工作功耗控制在40～90W(通过对1～8个GPU任务调度)以内。

通过装置的高性能系统架构设计，加强了对空间数据的分析能力，加快了对空间数据的传输速率，且降低了功耗，节约了资源。

通过采用Xilinx Zynq7000系列SOC芯片保证硬件架构的可扩展性(扩展多个数据计算模块以及其他种类的接口)，实现硬件健康监测和故障隔离功能(每个GPU有单独的开关机和加断电控制接口)，提高硬件平台可靠性。

针对GPU硬件及编程特点，研究GPU软硬件加固策略，针对单粒子闩锁和翻转引起的故障，提出三模冗余等有效应对措施。

结合在轨任务运行特点，可以在该装置上研究适应不同在轨处理需求的可重构基础软件平台，针对不同的信息处理场景，优化平台整体功耗与热耗，提高硬件寿命。

面对不断提高的海量数据获取能力，传统的数据下传-处理-分发的应用严重制约数据应用的时效性。首次提出了以图数据库和图数据库结构为基础，结合深度学习技术的面向在轨图像处理的实时数据挖掘技术，采用GPU并行计算技术，在充分考虑在轨资源受限的情况下，可以满足用户多源、多任务模式、多处理算法的在轨数据挖掘处理需求，提供了超高性能的处理能力，同时具备低功耗、高可靠的特性。

请参阅图4，图4为本发明实施例提供的一种数据计算模块的示意图。

上电启动时板卡执行uBoot启动程序，启动内容包括初始化CPU、分配存储空间、启动内核以及各个外设模块，包括串口驱动和PCIe驱动，该驱动可实现在uBoot启动阶段对内核的引导切换，以及对PCIe设备的扫描识别。

软件在系统启动后自动加载运行。各部分覆盖的功能如下表所示。

按功能需求及功能实现环境，将计算管理模块划分为处理器软件实现与逻辑实现两部分，整体结构划分如下图所示，其中FC/IPFC协议栈管理和PCIE协议栈管理分别由内核驱动和应用驱动共同实现。

请参阅图5，图5为本发明实施例提供的一种计算管理模块的示意图。

上电或复位后，首先进入引导程序，引导指定的处理器软件加载到DDR中运行。处理器软件启动后，经过初始化即开始正常工作，包括FC/IPF缓存管理、PCIE缓存管理、数据管理、任务管理、GPU控制、FLASH管理。

各部分覆盖的功能如下表所示。

装置通过采用上面所述计算平台架构，可以完成高速数据接收(不小于4Gbps)，及多GPU协同处理相关任务，具有单节点计算能力1.7～13.6TFLOPS(当GPU数量为1～8个)。随着GPU的数量越多时，单节点计算能力也不断的增强。存储能力16Tb，支持扩展，内部PCIE高速互联物理层传输速率达到5.0Gbps，单节点工作功耗控制在40～90W(通过对1～8个GPU任务调度)以内。

通过装置的高性能系统架构设计，加强了对空间数据的分析能力，加快了对空间数据的传输速率，且降低了功耗，节约了资源。

通过采用Xilinx Zynq7000系列SOC芯片保证硬件架构的可扩展性(扩展多个数据计算模块以及其他种类的接口)，实现硬件健康监测和故障隔离功能(每个GPU有单独的开关机和加断电控制接口)，提高硬件平台可靠性。

针对GPU硬件及编程特点，研究GPU软硬件加固策略，针对单粒子闩锁和翻转引起的故障，提出三模冗余等有效应对措施。

结合在轨任务运行特点，可以在该装置上研究适应不同在轨处理需求的可重构基础软件平台，针对不同的信息处理场景，优化平台整体功耗与热耗，提高硬件寿命。

根据本发明实施例的另一个方面，本发明实施例提供了一种空间有效载荷在轨图像数据挖掘的系统。

请参阅图6，图6为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的系统的结构框图。

如图6所示，该系统包括如第一实施例至第九实施例中任一实施例所述的装置，还包括：地检装置，

地检装置用于：将图像数据信息和/或指令信息发送至计算管理模块，并接收返回的目标图像数据信息。

其中，地检装置包括：空间层。空间层具体包括传感器和/或相机。即，传感器和/或相机为空间传感器和/或相机，用于获取图像数据信息，并将图像数据信息传输至计算管理模块。

地检装置还包括：地面层和天地链路。地面层用于通过天地链路将指令信息发送至计算管理模块。即，地面层经过天地链路层传输指令信息至空间有效载荷在轨图像数据挖掘的装置，空间有效载荷在轨图像数据挖掘的装置根据指令信息在轨完成注入图像检索类的功能，并将目标图像通过天地链路下传至地面层。

通过本实施例提供的技术方案可知，本实施例中的地检装置共包括三个部分，即空间层、天地链路和地面层。

结合现阶段在轨图像数据挖掘的应用需求，数据计算模块的数量为两个，由两个数据计算模块同时对图像数据信息进行处理，数据计算模块之间为并行处理机制，相互之间互不干扰。

在空间层，包括空间有效载荷在轨图像数据挖掘的装置和大量传感器和高速/高分辨率观测相机。其中计算管理模块实现数据调度、任务分配及系统管理，数据计算模块实现了图像智能处理(基于深度学习的目标检测/语义分割)和图数据库功能，对在轨图像进行识别和检索，当接收到地面层上传的指令信息后及时响应并检索出目标图像，下传给天地链路层。

在天地链路，通过FC-AE1553等链路通道，完成地面层注入的指令信息上传以及空间层的目标图像下行。

在地面层，实现指令信息注入和目标图像数据获取，并进行进一步处理、演示和评估等。

根据本发明实施例的另一个方面，本发明实施例提供了与上述装置相对应的一种空间有效载荷的在轨图像数据挖掘方法，该方法基于上述任一实施例所述的装置。

请参阅图7，图7为本发明实施例提供的一种空间有效载荷在轨图像数据挖掘的方法的流程示意图。

如图7所示，该方法包括：

S100：计算管理模块将获取到的图像数据信息发送至数据计算模块；

S200：数据计算模块根据预设的神经网络模型对图像数据信息中的图像进行分析，得到图像的特征信息，根据特征信息生成XML文件，并根据XML文件构建图数据库模型。

通过本实施例提供的技术方案，实现了在轨图像进行识别和检索，对地面需求的目标图像进行有效处理，隔离无效和非目标信息，节约有限的带宽和能量，将数据下传到地面的技术效果。

且，将在轨数据获取的手段由图像数据下行再处理转变成在轨智能实时处理，从而解决了海量数据和天地链路传输带宽受限之间的矛盾，同时满足时敏目标的实时检测与识别的需求。另外，该方法可以在各类卫星、航天器中有效完成诸如云判、灾害应急等任务，引领我国空间信息获取与处理模式的转变。

在一种可能实现的技术方案中，当数据计算模块包括：图像智能处理单元、图数据库单元时，则S200具体包括：

图像智能处理单元根据神经网络模型对图像进行分析，得到特征信息，根据特征信息生成XML文件；

图数据库单元对图像智能处理单元进行监测，当监测到图像智能处理单元生成XML文件时，则获取XML文件，并根据XML文件构建图数据库模型。

在一种可能实现的技术方案中，当特征信息包括：草地类别特征信息、树木类别特征信息、房屋类别特征信息和道路类别特征信息时，则图像智能处理单元根据预设的神经网络模型对图像数据信息中的图像进行分析，得到图像的特征信息，具体包括：

根据神经网络模型对图像中的草地进行预测，得到草地类别特征信息；

根据神经网络模型对图像中的道路进行预测，得到道路类别特征信息；

根据神经网络模型对图像中的房屋进行分析，得到房屋类别特征信息；

根据神经网络模型对图像中的树木进行分析，得到树木类别特征信息。

在一种可能实现的技术方案中，根据神经网络模型对图像中的房屋进行分析，得到房屋类别特征信息，具体包括：

根据神经网络模型将图像中的第一区域填充为第一颜色，将图像中的第二区域填充为第二颜色，得到房屋填充图像，其中，图像包括第一区域和第二区域，且第一区域与房屋对应；

将房屋填充图像转换为初始二值图像；

对初始二值图像进行开闭运算，得到预处理二值图像；

对预处理二值图像进行连通域标记处理，得到目标二值图像；

将目标二值图像对应的信息确定为房屋类别特征信息。

在一种可能实现的技术方案中，图像智能处理单元根据预设的神经网络模型对图像中的树木进行分析，得到树木类别特征信息，具体包括：

图像智能处理单元根据所述神经网络模型将图像中的第三区域填充为第三颜色，将图像中的第四区域填充为第四颜色，得到树木填充图像，其中，图像包括第三区域和第四区域，且第三区域与树木对应；

调用存储于图像智能处理单元的应用程序PIL；

根据应用程序PIL对第三颜色对应的像素数量进行统计，得到树木覆盖率，并将将树木覆盖率确定为树木类别特征信息。

在一种可能实现的技术方案中，当图数据库单元包括：查询子单元时，则该方法还包括：

计算管理模块对获取到的指令信息进行解析，并将解析后的指令信息发送至查询子单元；

查询子单元对解析后的指令信息进行分析后得到查询条件，并将查询条件发送至图数据库单元；

图数据库单元根据查询条件在图数据库模型中进行查询，并向查询子单元反馈查询结果。

在一种可能实现的技术方案中，当装置还包括外接存储模块时，则该方法还包括：

计算管理模块从外接存储模块中调取预先缓存的加载程序，以便根据加载程序对指令信息进行解析。

在一种可能实现的技术方案中，当装置还包括外接缓存模块时，则该方法还包括：

当计算管理模块将接收到图像数据信息时，先将图像数据信息发送至外接缓存模块；

外接缓存模块对图像数据信息进行缓存，并转发至计算管理模块，以便计算管理模块将图像数据信息转发至数据计算模块。

在一种可能实现的技术方案中，该方法还包括：地检装置将图像数据信息和/或指令信息发送至计算管理模块，并接收返回的目标图像数据信息。

具体地：由地检装置中的传感器和/或相机获取图像数据信息，并将图像数据信息传输至计算管理模块。

由地检装置中的地面层将指令信息发送至计算管理模块。具体地，地面层经过天地链路传输指令信息至空间有效载荷在轨图像数据挖掘的装置，空间有效载荷在轨图像数据挖掘的装置根据指令信息在轨完成注入图像检索类的功能，并将目标图像通过天地链路下传至地面层。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

还应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种空间有效载荷在轨图像数据挖掘的装置，其特征在于，所述装置包括：计算管理模块和至少一个数据计算模块，其中，

所述计算管理模块用于：将获取到的图像数据信息发送至所述数据计算模块；

所述数据计算模块用于：根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到图像的特征信息，根据特征信息生成XML文件，并根据所述XML文件构建图数据库模型；

所述数据计算模块包括：图像智能处理单元、图数据库单元，其中，

所述图像智能处理单元用于：根据所述神经网络模型对所述图像进行分析，得到所述特征信息，根据所述特征信息生成所述XML文件；

所述图数据库单元用于：对所述图像智能处理单元进行监测，当监测到所述图像智能处理单元生成所述XML文件时，则获取所述XML文件，并根据所述XML文件构建所述图数据库模型；

所述图数据库单元包括：查询子单元，其中，

所述计算管理模块还用于：对获取到的指令信息进行解析，并将解析后的指令信息发送至所述图数据库单元中的查询子单元；其中，地面层通过天地链路将指令信息发送至计算管理模块；

所述查询子单元用于：对指令信息分析后得到查询条件，并将所述查询条件发送至所述图数据库单元；

所述图数据库单元还用于：根据所述查询条件在所述图数据库模型中进行查询，并向所述查询子单元反馈查询结果，并将目标图像通过天地链路下传至地面层。

2.根据权利要求1所述的一种空间有效载荷在轨图像数据挖掘的装置，其特征在于，当所述特征信息包括：草地类别特征信息、树木类别特征信息、房屋类别特征信息和道路类别特征信息时，则所述图像智能处理单元具体用于：

根据所述神经网络模型对所述图像中的草地进行预测，得到所述草地类别特征信息；

根据所述神经网络模型对所述图像中的道路进行预测，得到所述道路类别特征信息；

根据所述神经网络模型对所述图像中的房屋进行分析，得到所述房屋类别特征信息；

根据所述神经网络模型对所述图像中的树木进行分析，得到所述树木类别特征信息。

3.根据权利要求2所述的一种空间有效载荷在轨图像数据挖掘的装置，其特征在于，所述图像智能处理单元具体用于：

根据所述神经网络模型将所述图像中的第一区域填充为第一颜色，将所述图像中的第二区域填充为第二颜色，得到房屋填充图像，其中，所述图像包括所述第一区域和所述第二区域，且所述第一区域与所述房屋对应；

将所述房屋填充图像转换为初始二值图像；

对所述初始二值图像进行开闭运算，得到预处理二值图像；

对所述预处理二值图像进行连通域标记处理，得到目标二值图像；

将所述目标二值图像对应的信息确定为所述房屋类别特征信息。

4.根据权利要求2所述的一种空间有效载荷在轨图像数据挖掘的装置，其特征在于，所述图像智能处理单元具体用于：

根据所述神经网络模型将所述图像中的第三区域填充为第三颜色，将所述图像中的第四区域填充为第四颜色，得到树木填充图像，其中，所述图像包括所述第三区域和所述第四区域，且所述第三区域与所述树木对应；

调用存储于所述图像智能处理单元的应用程序PIL；

根据所述应用程序PIL对所述第三颜色对应的像素数量进行统计，得到树木覆盖率，并将所述树木覆盖率确定为所述树木类别特征信息。

5.根据权利要求1-4中任一项所述的一种空间有效载荷在轨图像数据挖掘的装置，其特征在于，

所述计算管理模块包括Xilinx Zynq7000系列的SOC芯片；

所述数据计算模块包括NVIDIA Tegra X2系列的嵌入式GPU，且1≤GPU的数量≤8。

6.一种空间有效载荷在轨图像数据挖掘的方法，其特征在于，所述方法基于权利要求1-5中任一项所述的装置，所述方法包括：

计算管理模块将获取到的图像数据信息发送至数据计算模块；

所述数据计算模块根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到图像的特征信息，根据特征信息生成XML文件，并根据所述XML文件构建图数据库模型；

当所述数据计算模块包括：图像智能处理单元、图数据库单元时，则所述数据计算模块根据预设的神经网络模型对所述图像数据信息中的图像进行分析，得到所述图像的特征信息，根据所述特征信息生成XML文件，并根据所述XML文件构建图数据库模型，具体包括：

所述图像智能处理单元根据所述神经网络模型对所述图像进行分析，得到所述特征信息，根据所述特征信息生成所述XML文件；

所述图数据库单元对所述图像智能处理单元进行监测，当监测到所述图像智能处理单元生成所述XML文件时，则获取所述XML文件，并根据所述XML文件构建所述图数据库模型；

所述方法还包括：

地检装置将获取到的图像数据信息和/或指令信息发送至计算管理模块，并接收返回的目标图像数据信息，具体地：

所述地检装置中的传感器和/或相机将所述图像数据信息传输至计算管理模块；

所述地检装置中的地面层经过所述地检装置中的天地链路将所述指令信息发送至所述计算管理模块；并将目标图像通过天地链路下传至地面层。

Images