CN110276712A - 星载图像处理装置以及星载图像处理与决策平台 - Google Patents

Abstract

本发明提供了一种星载图像处理装置以及星载图像处理与决策平台，涉及星载设备技术领域。其中，该星载图像处理装置包括：收发处理单元以及并行计算引擎；其中，并行计算引擎包括第一并行计算引擎和第二并行计算引擎；第一并行计算引擎和第二并行计算引擎分别与收发处理单元相连接。本发明实施例提供的技术方案，通过采用多种并行计算引擎，可同时处理大量图像数据，缓解了现有的星上数据处理方法存在的星地链路传输资源紧张、图像处理时效性较低的技术问题，能够减轻星地链路负担，提高图像处理时效性。

Description

星载图像处理装置以及星载图像处理与决策平台

技术领域

本发明涉及卫星技术领域，尤其是涉及一种星载图像处理装置以及星载图像处理与决策平台。

背景技术

随着星载成像设备的探测能力愈来愈强，星上图像数据呈指数级别增长，然而星上图像实时处理能力不能跟上数据增长的步伐。

目前，传统的星上数据处理方法是将卫星上获取的图像数据通过星地链路传输至地面，地面对接收到的图像数据进行分析和计算，进一步调整载荷成像策略等。然而，上述通过地面分析与判读为主，辅以星上数据处理完成星上图像数据处理与分析的星上数据处理方式存在以下缺点：1、星地链路传输资源极其紧张，无法将海量数据传至地面；2、无法保证图像处理的时效性。

针对上述问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种星载图像处理装置以及星载图像处理与决策平台，以缓解或部分缓解现有技术中星上数据处理方法存在的星地链路传输资源紧张、图像处理时效性较低的技术问题。

第一方面，本发明实施例提供了一种星载图像处理装置，包括：收发处理单元以及并行计算引擎；其中，所述并行计算引擎包括第一并行计算引擎和第二并行计算引擎；

所述第一并行计算引擎和所述第二并行计算引擎分别与所述收发处理单元相连接。

其中，所述收发处理单元用于完成图像数据收发、图像预处理、任务规划以及任务管理等；

所述第一并行计算引擎用于进行图像处理算法加速处理，所述图像处理算法包括目标检测与跟踪算法、目标提取算法等；

所述第二并行计算引擎用于采用深度学习算法对输入的图像进行快速目标识别和精确目标检测等。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述收发处理单元包括第一接口和第二接口，所述第一接口包括数据收发接口以及测控接口，所述第二接口包括第一串行数据接口和第二串行数据接口。

其中，所述第一接口用于与地面测控站进行通信；所述第二接口用于与并行计算引擎进行通信。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述第一串行数据接口为高性能串行数据接口GTx(GigabitTransceiver x)；所述第二串行数据接口为高速串行接口PCIe(PCI-Express，peripheralcomponent interconnect express)。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述收发处理单元连接有第一数据缓存装置和/或第一数据存储装置。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述第一并行计算引擎连接有第二数据缓存装置和/或第二数据存储装置。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述第二并行计算引擎外接有第三数据缓存装置和/或第三数据存储装置。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，该装置还包括重构单元，所述重构单元设置于所述收发处理单元与所述第一并行计算引擎之间。

所述重构单元用于实现对第一并行计算引擎的在轨重构，所述收发处理单元还通过所述重构单元与所述第一并行计算引擎相连接。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述重构单元包括反熔丝FPGA。

第二方面，本发明实施例还提供一种星载图像处理与决策平台，包括：载荷装置以及如第一方面及其可能的实施方式中任一项所述的星载图像处理装置，所述载荷装置与所述星载图像处理装置的所述收发处理单元相连接。

该平台采用多个并行计算引擎，高速处理图像数据，利用计算出目标的准确信息，进一步反馈至其他载荷装置，提高对目标的识别率、跟踪准确率，形成成像与图像处理的正向反馈与任务模式闭环。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述载荷装置包括图像获取装置或位置更改装置。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种星载图像处理装置以及星载图像处理与决策平台，其中，该星载图像处理装置包括：收发处理单元以及并行计算引擎；其中，所述并行计算引擎包括第一并行计算引擎和第二并行计算引擎；所述第一并行计算引擎和所述第二并行计算引擎分别与所述收发处理单元相连接。本发明实施例提供的技术方案，通过采用多种并行计算引擎，可同时处理大量图像数据，缓解了现有的星上数据处理方法存在的星地链路传输资源紧张、图像处理时效性较低的技术问题，能够减轻星地链路负担，提高图像处理时效性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的星载图像处理装置的结构示意图；

图2为本发明实施例提供的星载图像处理装置的应用原理图；

图3为本发明实施例提供的星载图像处理与决策平台的结构框图；

图4为本发明实施例提供的星载图像处理与决策平台的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前传统的星上数据处理有以下缺点：1、星地链路传输资源极其紧张，无法将海量数据传至地面。由于采用地面分析与判读，而星地链路传输资源带宽较窄，大部分图像数据无法下传至地面，导致地面获取的空间数据并不全面，地面无法对空间场景和态势进行完整的分析；2、无法保证图像处理的时效性。基于此，本发明实施例提供的一种星载图像处理装置以及星载图像处理与决策平台，可以缓解现有的星上数据处理方法存在的星地链路传输资源紧张、图像处理时效性较低的技术问题，能够减轻星地链路负担，提高图像处理时效性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种星载图像处理装置进行详细介绍。

实施例一：

如图1所示，本发明实施例提供了一种星载图像处理装置，可设置于卫星上，该装置包括：收发处理单元100以及并行计算引擎；其中，并行计算引擎包括第一并行计算引擎200和第二并行计算引擎300；第一并行计算引擎和第二并行计算引擎分别与收发处理单元相连接。

其中，收发处理单元用于完成图像数据收发、图像预处理、任务规划以及任务管理等；第一并行计算引擎用于进行图像处理算法加速处理，图像处理算法包括目标检测与跟踪算法、目标提取算法等；第二并行计算引擎用于采用深度学习算法对输入的图像进行快速目标识别和精确目标检测等。

进一步的，收发处理单元包括第一接口(即外部接口)和第二接口(又称为内部接口)，第一接口用于与地面测控站进行通信；第二接口用于与并行计算引擎进行通信。

其中，第一接口包括数据收发接口以及测控接口，其中数据收发接口实现数据传输协议；测控接口用于接收、校验并解析地面测控站(或者说测控平台)的测控指令，响应测控平台的遥控遥测请求，输出图像处理的反馈信息等。

第二接口包括第一串行数据接口和第二串行数据接口，收发处理单元通过第一串行数据接口与第一并行计算引擎相连接；收发处理单元通过第二串行数据接口与第二并行计算引擎相连接，实现收发处理单元与第一并行并行计算引擎和第二并行计算引擎的数据交互。

收发处理单元通过第二接口实现对内承载图像数据的转发，进行任务规划和管理，启动并行计算引擎，配置并行计算引擎算法逻辑与算法参数等功能，监测并行计算引擎的任务状态。

进一步的，第一串行数据接口为高性能串行数据接口GTx(Gigabit Transceiverx)；第二串行数据接口为高速串行接口PCIe(PCI-Express，peripheral componentinterconnect express)。

第一并行计算引擎和收发处理单元之间通过高性能串行数据接口GTx(GigabitTransceiver x)完成数据交互，GTx是第一并行计算引擎集成的高速串行接口，数据传输速率最高可达58Gbps，满足高速图像传输需求。

第二并行计算引擎和收发处理单元之间通过高速接口PCIe完成数据交互，PCIe接口支持PCIe 3.0协议，PCIe 3.0协议可达8GT/s的数据传输带宽，满足高速图像传输的需求。

进一步的，收发处理单元连接有第一数据缓存装置301和/或第一数据存储装置400。

其中第一数据缓存装置用于扩展内存和数据缓存(例如加载诸如文件，对第一数据进行缓存)，第一数据存储装置用于存储诸如注入文件等的第一数据。

进一步的，第一并行计算引擎连接有第二数据缓存装置500和/或第二数据存储装置600。

其中，第二数据缓存装置用于扩展内存以及数据缓存(例如加载算法及其参数，对第二数据进行缓存)，第二数据存储装置用于存储诸如压缩算法、目标提取算法等算法以及算法参数等的第二数据。

进一步的，第二并行计算引擎外接有第三数据缓存装置700和/或第三数据存储装置800。

其中第三数据缓存装置用于扩展内存以及数据缓存(例如加载深度学习算法的模型参数，对第三数据进行缓存)，外接的数据存储装置用于存储诸如深度学习算法模型及其参数等的第三数据。

进一步的，该装置还包括重构单元，重构单元设置于收发处理单元与第一并行计算引擎之间；重构单元用于实现对第一并行计算引擎的在轨重构，收发处理单元还通过重构单元与第一并行计算引擎相连接。

通过重构单元实现星载图像处理装置的在轨重构功能，可将多个注入文件注入至收发处理单元的第一数据存储装置的数据存储文件区，通过不同的任务场景选择不同的配置文件对第一并行计算引擎进行重新配置，实现星载图像处理与决策功能的多元化。例如注入文件A实现目标提取功能，注入文件B实现数据压缩功能，按照上述重构步骤分别将配置文件A注入至收发处理单元数据存储的1号文件区，注入文件B注入至收发处理单元数据存储的2号文件区。在目标跟踪任务场景下，收发处理单元选择1号文件区的注入文件A对第一并行计算引擎进行配置，星载图像处理装置执行目标提取功能；在采集数据场景下，收发处理单元选择2号文件区的注入文件B对第一并行计算引擎进行配置，星载图像处理装置完成数据压缩功能，对图像数据进行压缩并下传至地面测控站。

进一步的，重构单元包括反熔丝FPGA。

考虑到反熔丝FPGA不易受高强度宇宙辐射的影响，为了提高可靠性，重构单元由可靠度更高的反熔丝FPGA实现。

具体的，参照图2，收发处理单元由SoC(System on Chip，系统级芯片)类型的现场可编程逻辑门阵列(Field Programmed Gate Array，简称FPGA)实现，收发处理单元包括中央处理单元(Central Process Unit，简称CPU)和FPGA，单元内部由CPU和FPGA协同完成图像数据收发、图像预处理和任务规划、任务管理功能。收发处理单元对外提供有高速数据收发接口，实现数据传输协议；对外还提供有测控接口，接收、校验并解析测控平台的测控指令，响应测控平台的遥控遥测请求，输出图像处理的反馈信息等；收发处理单元对内承载图像数据的转发，进行任务规划和任务管理，启动并行计算引擎，配置并行计算引擎算法逻辑与算法参数等功能，监测并行计算引擎的任务状态；收发处理单元还外接有第一数据存储装置用于存储注入文件、注入数据包(数据帧)等数据，还外接有第一数据缓存装置用于扩展内存和注入文件、注入数据包(数据帧)等数据的数据缓存，以避免重复从数据存储装置读取存储文件，提高了文件读取速度，提高处理效率。

并行计算引擎1(表示第一并行计算引擎)主要用于实现图像处理算法加速，如目标检测与跟踪算法、目标提取算法等。并行计算引擎1可由FPGA实现，并行计算引擎1与收发处理单元之间通过高性能串行数据接口GTx(Gigabit Transceiver x)完成数据交互，GTx是FPGA集成的一些高速串行接口，数据传输速率最高可达58Gbps，满足高速图像传输需求。

并行计算引擎2(表示第二并行计算引擎)由图形处理器(Graphics ProcessingUnit，简称GPU)实现，并行计算引擎2与数据收发处理单元之间通过高速接口PCIe完成数据交互，PCIe 3.0协议可达8GT/s的数据传输带宽，满足高速图像传输的需求；并行计算引擎2采用深度学习算法，实现快速目标识别与精确目标检测等功能。并行计算引擎2外接的数据缓存装置用于扩展内存和加载深度学习算法的模型参数，外接的数据存储装置用于存储深度学习算法模型参数。

本发明实施例提供的星载图像处理装置包括：收发处理单元以及并行计算引擎；其中，并行计算引擎包括第一并行计算引擎和第二并行计算引擎；第一并行计算引擎和第二并行计算引擎分别与收发处理单元相连接。本发明实施例提供的技术方案，通过采用多种并行计算引擎，可同时处理大量图像数据，缓解了现有的星上数据处理方法存在的星地链路传输资源紧张、图像处理时效性较低的技术问题，能够减轻星地链路负担，提高图像处理时效性。此外，该装置能够对图像数据进行实时处理、分析与判定，根据预设的目标特性，分析成像环境，提取目标特征。一方面具有自主决策能力，使用了多种并行计算引擎，可同时处理大量图像数据，实时的将图像处理的结果反馈至成像载荷，辅助成像载荷进行多模成像，提高成像系统的探测能力；另一方面，降低了下传的数据量。该装置可选择将图像的有效信息(例如目标的坐标、大小、灰度等)下传至地面，大大减小了下传图像的数据量，在地面获取有效信息的同时，降低了星地链路的负担。再者，星载图像处理装置配备有重构单元，具有在轨异构功能，可根据不同的在轨处理需求对并行计算引擎进行重新配置，适应不同的探测任务。

实施例二：

如图3所示，本发明实施例还提供一种星载图像处理与决策平台，包括：载荷装置1000以及如实施例一的星载图像处理装置900，载荷装置与星载图像处理装置的收发处理单元相连接。

具体的，载荷装置设置在卫星上，且星载图像处理装置中收发处理单元的第二接口还可以用于与载荷装置进行通信；其中第二接口还包括网口POE(Power Over Ethernet)端口，收发处理单元通过POE端口与载荷装置连接，实现星载图像处理装置与载荷装置之间的数据交互。需要说明的是，这里的内部和外部是指卫星上和地面。

平台通过采用多个并行计算引擎，高速处理图像数据，利用计算出目标的准确信息，进一步反馈至其他载荷装置，提高对目标的识别率、跟踪准确率，形成成像与图像处理的正向反馈与任务模式闭环。

进一步的，载荷装置包括图像获取装置或位置更改装置。

下面参照图4以载荷装置包括图像获取装置和位置更改装置，对星载图像处理装置900与图像获取装置20和位置更改装置30的正向反馈进行简要说明：

工作模式如下：

1)图像接收。星载图像处理装置的收发处理单元实现图像接收协议，完成对图像的接收。

2)图像预处理。星载图像处理装置的收发处理单元对图像数据进行初步统计和预处理，包括灰度统计、均值和方差计算、辐射矫正、云图判定等；

3)任务规划。星载图像处理装置的收发处理单元根据预处理后的图像数据传输速率和数据量大小，进行任务管理和规划，启动第一并行计算引擎和/或第二并行计算引擎协同处理预处理图像数据，同时通过高速数据传输通道，将预处理图像发送至相应的并行计算引擎；

4)输出图像处理结果。第一并行计算引擎和/或第二并行计算引擎对图像处理完成后，将图像处理结果反馈至收发处理单元，图像处理结果包括目标的统计信息(大小、分类、平均灰度等信息)、目标的位置信息等，分类是指将目标归类为行星、卫星、飞机、飞船的类别。

5)星载图像处理装置900将目标的统计信息发送至图像获取装置20，图像获取装置接收到目标的统计信息后，对目标统计信息进行判定(或分类)，并确定是否根据目标统计信息切换成像模式，更换成像策略等，形成星载图像处理装置与图像获取装置信息的正反馈。

6)星载图像处理装置将目标的位置信息发送至位置更改装置，位置更改装置接收到目标的位置后，结合星载图像处理装置所处的当前的拍摄位置进行判定，并确定是否更换位置指向等，形成星载图像处理装置与位置更改装置信息的正反馈。

7)多功能星载图像处理与决策平台还可与其他载荷装置形成信息正反馈，增强空间载荷的智能化。

本发明实施例提供了一种星载图像处理与决策平台，平台采用多个并行计算引擎，实时处理星上图像数据，可提取将空间关键信息下传至地面，很大程度减少了空间下传的数据量，减轻了星地链路负担。这些关键数据可包括运动目标的个数、每个运动目标的大小、形状、平均灰度、类别、质心坐标等信息。

本发明实施例所提供的平台，其实现原理及产生的技术效果和前述装置实施例相同，为简要描述，平台实施例部分未提及之处，可参考前述装置实施例中相应内容。

本发明实施例还提供了一种卫星，卫星包括：卫星本体；所述卫星本体上设置有上述的星载图像处理与决策平台。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种星载图像处理装置，其特征在于，包括：收发处理单元以及并行计算引擎；其中，所述并行计算引擎包括第一并行计算引擎和第二并行计算引擎；

所述第一并行计算引擎和所述第二并行计算引擎分别与所述收发处理单元相连接。

2.根据权利要求1所述的装置，其特征在于，所述收发处理单元包括第一接口和第二接口，其中所述第一接口包括数据收发接口以及测控接口，所述第二接口包括第一串行数据接口和第二串行数据接口。

3.根据权利要求2所述的装置，其特征在于，所述第一串行数据接口为高性能串行数据接口GTx；所述第二串行数据接口为高速串行接口PCIe。

4.根据权利要求1所述的装置，其特征在于，所述收发处理单元连接有第一数据缓存装置和/或第一数据存储装置。

5.根据权利要求1所述的装置，其特征在于，所述第一并行计算引擎连接有第二数据缓存装置和/或第二数据存储装置。

6.根据权利要求1所述的装置，其特征在于，所述第二并行计算引擎外接有第三数据缓存装置和/或第三数据存储装置。

7.根据权利要求1所述的装置，其特征在于，还包括重构单元，所述重构单元设置于所述收发处理单元与所述第一并行计算引擎之间。

8.根据权利要求7所述的装置，其特征在于，所述重构单元包括反熔丝FPGA。

9.一种星载图像处理与决策平台，其特征在于，包括：载荷装置以及如权利要求1-8任一项所述的星载图像处理装置，所述载荷装置与所述星载图像处理装置的所述收发处理单元相连接。

10.根据权利要求9所述的星载图像处理与决策平台，其特征在于，所述载荷装置包括图像获取装置或位置更改装置。