CN108564644A - 机载主被动三维影像实时成像装置及方法 - Google Patents

Abstract

本公开提供了一种机载主被动三维影像实时成像装置及方法。其中，所述机载主被动三维影像实时成像装置包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。本公开机载主被动三维影像实时成像装置及方法，采用FPGA与DSP相结合的并行拓扑处理架构，可根据影像数据量灵活调整DSP数量，有效实现了性能与功耗间的平衡，并具有良好的通用性和可扩展性。

Description

机载主被动三维影像实时成像装置及方法

技术领域

本公开涉及遥感技术领域，尤其涉及一种机载主被动三维影像实时成像装置及方法。

背景技术

近年来，利用遥感技术对观测目标的空间、纹理、光谱、材质等多维属性信息快速精准获取，已成为研究热点。激光雷达主动探测和多光谱/高光谱等光学相机被动成像技术作为近年来蓬勃发展的新型遥感探测手段，分别在目标几何空间、纹理光谱信息获取方面具有独特的技术特点，联合搭载激光雷达与高光谱成像仪这两类载荷同时获取地物的三维空间信息和光谱纹理信息，可以满足多种应用需求。然而，同平台搭载激光雷达与光学相机，存在数据配准问题，使得多维数据融合处理精度与信息提取效率都受到了较大的制约。因此，基于共用光路系统的主被动一体化迅捷成像系统应运而生，两类传感器共用光路、采用相同的扫描方式，能够保证高效匹配。

由于主被动一体化迅捷成像处理不仅要处理激光雷达、光学相机以及POS/IMU三种不同载荷产生的大量数据，而且其中的配准处理、激光点三维解算、三维融合处理等包含大量浮点运算，且算法复杂、数据交互繁琐，这都就对数据处理系统性能提出了很高的要求。另一方面，在机载平台上，体积、功耗都成为系统设计中必须要考虑的重要要素。因此，机载主被动三维影像实时成像系统应具备功耗到性能的高效转化能力。

目前，主被动一体化成像技术在成像算法方面开展了较多研究，但是在机载实时成像处理系统研制方面尚未见报道。传统的机载数据处理系统一般采用单个或多个单核DSP处理器，例如ADI公司的TS201、TI公司的TMS320C6701等。然而，单核DSP较低的运算能力往往难以满足海量数据实时处理的需求；同时单核DSP内较小的缓存空间也不利于遥感图像处理过程中的高速数据交互；另一方面，传统单核DSP的互联方式是将多个DSP用高速接口连接，随着DSP数量的增加，系统的传输带宽会受到极大制约，同时主控制器的资源消耗也会大大增加。因此，单核DSP的设计思路难以满足主被动一体化成像的应用需求，同时采用单核DSP的系统架构也会带来功耗和尺寸方面的问题。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本公开提供了一种机载主被动三维影像实时成像装置及方法，以实现共光路主被动一体化成像系统的机载实时成像处理。

(二)技术方案

根据本公开的一个方面，提供了一种机载主被动三维影像实时成像装置，包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。

在一些实施例中，所述数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、及动态/静态检校参数，并进行数据解析、粗差改正、内插、时间配准预处理；且将配准好的数据进行切分、打包，通过数据传输接口分发给所述并行处理模块中的各处理节点；所述并行处理模块中的各处理节点，分别通过数据传输接口接收所述数据管理模块发送的待处理数据，开展激光点云解算、像方匹配和融合处理，以获得三维影像；并通过数据传输接口，将三维影像数据上传给数据管理模块。

在一些实施例中，所述并行处理模块包括2片DSP，每片DSP作为一个独立的并行处理节点，处理节点间采用按数据划分的并行方式。

在一些实施例中，每片DSP与FPGA之间均采用多种方式互联，包括：串行快速输入输出口SRIO以及串行总线IIC；其中，利用SRIO实现原始数据的下传和三维影像数据的上传，利用IIC实现指令发送和状态监控。

在一些实施例中，所述DSP为多核DSP；所述FPGA包括：主控制器，用于控制FPGA的时序逻辑和状态转移；CCD数据接收单元，用于通过Camera Link接口接收CCD影像数据，并进行数据解析和有效数据提取；CCD数据缓存单元，用于利用Block RAM实现CCD影像数据的缓存；第一地址控制器，用于根据所述主控制器的控制提供CCD数据缓存的读写地址、使能信号；激光测距数据接收单元，用于通过RS422接口接收激光测距数据，并进行串并转换、数据解析；激光测距数据缓存单元，用于利用Block RAM实现激光测距数据的缓存；第二地址控制器，用于根据所述主控制器的控制提供激光测距数据缓存的读写地址、使能信号；激光测距数据粗差改正单元，用于根据距离阈值对激光测距数据中的粗差点进行滤除，并采用内插方法对漏点进行补充，以实现粗差改正；位置姿态数据接收单元，用于通过RS232接口接收位置姿态数据；位置姿态数据缓存单元，用于利用FIFO实现位置姿态数据的缓存；位置姿态数据处理单元，用于根据时间码，利用内插方法计算CCD影像获取时刻、激光雷达测距数据获取时刻所对应的位置姿态数据；时间配准及数据打包单元，用于根据时间同步关系，完成CCD影像数据、激光雷达测距数据以及位置姿态数据的配准；SRIO控制器，用于通过SRIO接口与多核DSP互联，以进行原始数据、结果数据的传输；以及PCIe控制器，用于通过PCIe总线实现通信，静态/动态检校辅助数据注入、指令发布、状态监控、结果数据上传。

在一些实施例中，所述DSP具有8个处理核，其中，0核作为主控核，用于通过SRIO接口与FPGA通信、数据缓存与分发、任务控制、状态监控；1-5核作为点云解算从核，用于利用激光测距值、位置姿态数据、检校参数进行激光点云解算处理，获得激光点云数据，5个核独立并行处理不同的数据块；6-7核作为融合从核，用于对激光点云进行高程内插，实现与CCD影像的像方匹配，并针对CCD像点，采用正解法按照共线条件方程逐点解算大地坐标，赋上像元CCD影像上的灰度/光谱值，即可得到三维影像。

在一些实施例中，核间通信利用MessageQ实现，数据访问采用增强型直接内存访问(Enhanced Direct Memory Access 3，EDMA3)方式。

在一些实施例中，所述FPGA利用PCIe总线与上位机进行数据传输，利用LVDS总线与扩展板卡进行互联，利用Camera Link总线接收光学相机的影像数据，利用RS422串行总线接收激光雷达的测距数据，利用RS232接收POS/IMU的位置姿态数据。

根据本公开的另一个方面，还提供了一种机载主被动三维影像实时成像方法，包括：数据管理模块进行外部接口通信、数据预处理及数据分发管理；以及并行处理模块接收所述数据管理模块发送的数据，并进行三维影像生成处理；其中，所述数据管理模块包括FPGA，所述并行处理模块包括DSP。

在一些实施例中，数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、动态/静态检校参数数据，进行数据解析、粗差改正、内插、时间配准预处理；并将配准好的数据进行切分、打包，通过数据传输接口分发给并行处理模块中的各处理节点；并行处理模块中的各处理节点，分别通过数据传输接口待处理数据，并开展激光点云解算、像方匹配和融合处理，最终获得三维影像，并通过数据传输接口，将三维影像数据上传给数据管理模块。

(三)有益效果

从上述技术方案可以看出，本公开机载主被动三维影像实时成像装置及方法具有以下有益效果：

(1)本公开采用FPGA与DSP相结合的并行拓扑处理架构，可以根据影像数据量灵活调整DSP数量，有效实现性能与功耗间的平衡，并具有良好的通用性和可扩展性。

(2)本公开装置中，由FPGA负责数据管理以及细粒度并行的数据预处理功能，DSP负责复杂算法处理，充分发挥不同处理器的处理优势，有利于降低系统功耗。

(3)本公开装置中的DSP具有8个处理核，根据三维影像生成算法特性，对每个核的处理任务、任务分配、核间通信、存储分配等都进行了合理分配，具有良好的并行性，能够有效降低电路面积和功耗。

附图说明

图1为本公开实施例机载主被动三维影像实时成像装置的结构示意图。

图2为本公开实施例机载主被动三维影像实时成像装置电学互联示意图。

图3为本公开实施例FPGA逻辑结构示意图。

图4为本公开实施例多核DSP任务映射示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开提供了一种基于FPGA和多核DSP硬件架构的机载主被动三维影像实时成像装置及方法，采用多核DSP可以克服单核DSP的性能及功耗限制；FPGA和DSP相结合的系统架构能够充分发挥不同特性处理器的处理优势。上述设计方法可大大提高系统运算能力，并且降低功耗和体积，满足机载遥感图像实时处理的要求。另外，该架构也具有良好的可伸缩性，可满足不同观测载荷的处理需求。

在本公开的一个示例性实施例中，提供了一种机载主被动三维影像实时成像装置。

如图1所示，本实施例机载主被动三维影像实时成像装置包括：数据管理模块和并行处理模块。其中，数据管理模块主要用于实现外部接口通信、数据预处理、数据分发管理等逻辑控制功能；并行处理模块用于承担主要的三维影像生成处理任务。

本实施例中机载主被动三维影像实时成像处理的工作流程如下：

S1，数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、动态/静态检校参数等数据，并进行数据解析、粗差改正、内插、时间配准等预处理；

S2，数据管理模块将配准好的数据进行切分、打包，通过高速数据传输接口分发给并行处理模块中的各处理节点；

S3，并行处理模块中的各处理节点，分别通过高速数据传输接口接收待处理数据，并开展激光点云解算、像方匹配和融合等处理，最终获得三维影像；

S4，并行处理模块中的各处理节点，通过高速数据传输接口，将三维影像数据上传给数据管理模块；

S5，数据管理模块将接收到的三维影像数据进行整理，进一步通过外部接口输出，例如可通过外部接口上传至上位机输出。

如图2所示，本实施例机载主被动三维影像实时成像装置中，数据管理模块包括1片FPGA、外部存储器1、接口协议芯片以及配置芯片Flash。在本公开的示例性实施例中，FPGA选择Xilinx Kintex-7系列的XC7K420T芯片。并行处理模块包括2片DSP以及外部存储器2和外部存储器3、以及配置芯片Flash。其中，每片DSP作为一个独立的并行处理节点，2片DSP并行运行，可大大提高系统处理性能，满足海量遥感数据的实时处理要求。在本公开的示例性实施例中，DSP可选择TI公司的TMS320C6678芯片。此外，该成像装置中还可包括1片配置芯片，实现装置上电控制等。在本公开的示例性实施例中，配置FPGA可选择SpartansXC3S200AN芯片。

所述FPGA具有丰富的逻辑资源，主要用于实现外部接口通信、数据收发及管理、数据预处理等功能。所述外部接口即本成像装置与其他设备之间连接接口的统称，包括Cameral link、422等。该FPGA利用PCIe总线与上位机进行高速数据传输；利用LVDS总线与扩展板卡进行互联；利用Camera Link总线接收光学相机的影像数据；利用RS422串行总线接收激光雷达的测距数据；利用RS232接收POS/IMU的位置姿态数据。该FPGA负责将接收数据进行解析、粗差改正、内插、时间配准等预处理，此后将数据切分、打包、下发。所述FPGA的内部逻辑架构可参照图3所示。

该外部存储器1用于原始数据缓存，每片FPGA都配备了两片外部存储芯片，在要求高数据吞吐率的情况下，两个外部存储芯片可支持乒乓作业方式。

所述多核DSP1和多核DSP2具有丰富的运算资源和缓存资源，主要用于承担三维影像生成处理的核心计算任务。该DSP内部集成8个独立的同构处理核，每个处理核配备L1、L2两级局部缓存，DSP内部还集成有大容量共享缓存。这种设计架构保证各个处理核高效、独立运行相同或不同的处理任务，并能够高速访问局部缓存，共享缓存一方面对局部缓存形成容量补充，也为多核通信提供了便利。该DSP利用不同的处理核负责数据收发、激光点云解算、图像融合等处理，其任务映射示意图可参考图4所示。

该外部存储器2和外部存储器3用于存储相应DSP计算过程中的中间数据。由于图像识别任务的处理数据量大，因此每片DSP都配备了四片外部存储芯片。DSP可通过EDMA方式对外部存储器进行快速突发数据读写。

2片多核DSP构成2个并行处理节点，能够有效增强装置的处理性能。三维影像生成算法复杂，处理单元间耦合性高，因此，运算节点间采用按数据划分的并行方式。

每一片DSP与FPGA之间都采用多种方式互联，包括：串行快速输入输出口SRIO、串行总线IIC以及通用输入输出口GPIO。其中，利用SRIO实现原始数据的下传和三维影像结果的上传；利用IIC实现指令发送和状态监控功能；GPIO作为备用接口可实现简单握手、状态监控等功能。SRIO作为一种非专用的、高带宽、系统级互联接口，每个传输通道可提供高达5Gbps的通信带宽，能够满足遥感图像处理过程中高速数据交互的需求。

该配置芯片主要用于产生FPGA和多核DSP启动所需要的上电时序，并对配置模式、启动状态、系统复位等进行灵活控制和实时监测。

图3为图2所示中FPGA的逻辑结构示意图。作为数据管理模块，FPGA内部构建了数据收发单元、主控制器、预处理单元和多个数据缓存单元等，以完成外部接口通信、数据预处理、数据分发管理等逻辑控制功能，主要包括：

主控制器：作为FPGA中的核心单元，实现各单元的时序逻辑和状态转移等控制；

CCD数据接收单元：通过Camera Link接口接收CCD载荷的影像数据，并实现据解析和有效数据提取功能；

CCD数据缓存单元：利用Block RAM实现CCD数据的缓存；

第一地址控制器：由主控制器控制，提供CCD数据缓存的读写地址、使能信号等；

激光测距数据接收单元：通过RS422接口接收激光雷达载荷的测距数据，并实现串并转换、数据解析功能；

激光测距数据缓存单元：利用Block RAM实现激光测距数据的缓存；

第二地址控制器：由主控制器控制，提供激光测距数据缓存的读写地址、使能信号等；

激光测距数据粗差改正单元：依据距离阈值对激光测距数据中的粗差点进行滤除，并采用内插方法对漏点进行补充，从而实现快速粗差改正；

位置姿态数据接收单元：通过RS232接口接收POS载荷的位置姿态数据；

位置姿态数据缓存单元：利用FIFO实现位置姿态数据的缓存；

位置姿态数据处理单元：依据时间码，利用内插方法计算CCD影像获取时刻、激光雷达测距数据获取时刻所对应的位置姿态数据；

时间配准及数据打包单元：依据时间同步关系，实现CCD影像数据、激光雷达测距数据以及位置姿态数据的配准；

SRIO控制器：通过SRIO接口实现与多核DSP的高速互联，实现原始数据、结果数据的高速传输；

PCIe控制器：通过PCIe总线实现与上位机的高速通信，实现静态/动态检校辅助数据注入、指令发布、状态监控、结果数据上传等功能；

图4为图2所示中多核DSP的任务映射示意图。本公开装置中的DSP TMS320C6678具有8个处理核，根据三维影像生成算法特性，对每个核的处理任务、任务分配、核间通信、存储分配等都进行了合理分配，保证各个核高效并行运行。核间通信利用MessageQ实现，能够提供灵活多样的消息通信方法。数据访问采用增强型直接内存访问(Enhanced DirectMemory Access 3，EDMA3)方式，可实现数据的高效传输、且该过程几乎不占用CPU时钟。各个核的任务映射情况为：

0核作为主控核，其主要功能包括：通过SRIO接口实现与FPGA高速通信、数据缓存与分发、任务控制、状态监控等；

1-5核作为点云解算从核，其主要功能是利用激光测距值、位置姿态数据、检校参数进行激光点云解算处理，获得激光点云数据，5个核独立并行处理不同的数据块。

6-7核作为快速融合从核，对激光点云进行高程内插，实现与CCD影像的像方匹配，并针对CCD像点，采用正解法按照共线条件方程逐点解算大地坐标，然后赋上该像元CCD影像上的灰度/光谱值，即可得到三维影像。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本公开机载主被动三维影像实时成像装置及方法有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施方式中提到的各种具体结构或形状，本领域的普通技术人员可对其进行简单地熟知地替换。

所述FPGA、DSP不限于上述实施例中所采用的芯片型号、片数，还可以采用其他型号、不同片数的芯片。

综上所述，本公开提供一种基于FPGA和多核DSP硬件架构的机载主被动三维影像实时成像装置及方法，可以克服单片芯片的性能限制，有效提高系统运算能力，并降低系统功耗和面积，有利于满足遥感图像的实时处理需求。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种机载主被动三维影像实时成像装置，包括：

数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及

并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。

2.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，

所述数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、及动态/静态检校参数，并进行数据解析、粗差改正、内插、时间配准预处理；且将配准好的数据进行切分、打包，通过数据传输接口分发给所述并行处理模块中的各处理节点；

所述并行处理模块中的各处理节点，分别通过数据传输接口接收所述数据管理模块发送的待处理数据，开展激光点云解算、像方匹配和融合处理，以获得三维影像；并通过数据传输接口，将三维影像数据上传给数据管理模块。

3.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述并行处理模块包括2片DSP，每片DSP作为一个独立的并行处理节点，处理节点间采用按数据划分的并行方式。

4.根据权利要求3所述的机载主被动三维影像实时成像装置，其中，每片DSP与FPGA之间均采用多种方式互联，包括：串行快速输入输出口SRIO以及串行总线IIC；其中，利用SRIO实现原始数据的下传和三维影像数据的上传，利用IIC实现指令发送和状态监控。

5.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述DSP为多核DSP；所述FPGA包括：

主控制器，用于控制FPGA的时序逻辑和状态转移；

CCD数据接收单元，用于通过Camera Link接口接收CCD影像数据，并进行数据解析和有效数据提取；

CCD数据缓存单元，用于利用Block RAM实现CCD影像数据的缓存；

第一地址控制器，用于根据所述主控制器的控制提供CCD数据缓存的读写地址、使能信号；

激光测距数据接收单元，用于通过RS422接口接收激光测距数据，并进行串并转换、数据解析；

激光测距数据缓存单元，用于利用Block RAM实现激光测距数据的缓存；

第二地址控制器，用于根据所述主控制器的控制提供激光测距数据缓存的读写地址、使能信号；

激光测距数据粗差改正单元，用于根据距离阈值对激光测距数据中的粗差点进行滤除，并采用内插方法对漏点进行补充，以实现粗差改正；

位置姿态数据接收单元，用于通过RS232接口接收位置姿态数据；

位置姿态数据缓存单元，用于利用FIFO实现位置姿态数据的缓存；

位置姿态数据处理单元，用于根据时间码，利用内插方法计算CCD影像获取时刻、激光雷达测距数据获取时刻所对应的位置姿态数据；

时间配准及数据打包单元，用于根据时间同步关系，完成CCD影像数据、激光雷达测距数据以及位置姿态数据的配准；

SRIO控制器，用于通过SRIO接口与多核DSP互联，以进行原始数据、结果数据的传输；以及

PCIe控制器，用于通过PCIe总线实现通信，静态/动态检校辅助数据注入、指令发布、状态监控、结果数据上传。

6.根据权利要求1所述的机载主被动三维影像实时成像装置，所述DSP具有8个处理核，其中，

0核作为主控核，用于通过SRIO接口与FPGA通信、数据缓存与分发、任务控制、状态监控；

1-5核作为点云解算从核，用于利用激光测距值、位置姿态数据、检校参数进行激光点云解算处理，获得激光点云数据，5个核独立并行处理不同的数据块；

6-7核作为融合从核，用于对激光点云进行高程内插，实现与CCD影像的像方匹配，并针对CCD像点，采用正解法按照共线条件方程逐点解算大地坐标，赋上像元CCD影像上的灰度/光谱值，即可得到三维影像。

7.根据权利要求6所述的机载主被动三维影像实时成像装置，其中，核间通信利用MessageQ实现，数据访问采用增强型直接内存访问(Enhanced Direct Memory Access 3，EDMA3)方式。

8.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述FPGA利用PCIe总线与上位机进行数据传输，利用LVDS总线与扩展板卡进行互联，利用Camera Link总线接收光学相机的影像数据，利用RS422串行总线接收激光雷达的测距数据，利用RS232接收POS/IMU的位置姿态数据。

9.一种机载主被动三维影像实时成像方法，包括：

数据管理模块进行外部接口通信、数据预处理及数据分发管理；以及

并行处理模块接收所述数据管理模块发送的数据，并进行三维影像生成处理；

其中，所述数据管理模块包括FPGA，所述并行处理模块包括DSP。

10.根据权利要求9所述的机载主被动三维影像实时成像方法，其中，

数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、动态/静态检校参数数据，进行数据解析、粗差改正、内插、时间配准预处理；并将配准好的数据进行切分、打包，通过数据传输接口分发给并行处理模块中的各处理节点；

并行处理模块中的各处理节点，分别通过数据传输接口待处理数据，并开展激光点云解算、像方匹配和融合处理，最终获得三维影像，并通过数据传输接口，将三维影像数据上传给数据管理模块。