CN104284079A - 星载遥感图像智能识别装置 - Google Patents
星载遥感图像智能识别装置 Download PDFInfo
- Publication number
- CN104284079A CN104284079A CN201310470434.3A CN201310470434A CN104284079A CN 104284079 A CN104284079 A CN 104284079A CN 201310470434 A CN201310470434 A CN 201310470434A CN 104284079 A CN104284079 A CN 104284079A
- Authority
- CN
- China
- Prior art keywords
- fifo
- external memory
- data
- controller
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种星载遥感图像智能识别装置。该星载遥感图像智能识别装置采用FPGA与DSP相结合的并行拓扑处理架构,具有良好的可扩展性,能够满足星载遥感图像识别处理中高算法复杂度、大数据量的要求。该装置中,以FPGA+4DSP为一个运算子核,可以根据处理任务的复杂度自主选择子核核个数,有效实现性能与功耗间的平衡。
Description
技术领域
本发明涉及遥感技术领域,尤其涉及一种星载遥感图像智能识别装置。
背景技术
遥感图像的智能识别技术能够利用预先成像载荷观测环境和地物目标,然后采用纹理、光谱等特征参数结合多特征决策机制,实现云雾环境和不同地物场景的自动实时判别。遥感图像具有分辨率高、数据量大的特点,因此星上智能识别设备要能够满足强大的运算能力、大容量存储、高速数据通信能力等要求。
目前,由于星上智能识别技术研究相对较少,传统星载计算机是其实现途径之一,但是通常需要牺牲体积与重量来满足性能要求和可靠性要求,因而不能满足现代航天器的发展需求。随着半导体技术的发展,采用可编程器件FPGA(Field Programmable Gate Array,现场可编程门阵列)、数字信号处理芯片DSP(Digital Signal Processor,数字信号处理器)和专用集成电路ASIC(Application Specific Integrated Circuits,专用集成电路)的设计方案越来越广泛。
FPGA实现了向面向复杂的计算密集型应用的转变,然而,FPGA芯片的优势在于逻辑运算和时序控制等,虽然越来越多的DSP内部集成了DSP单元,但是仍然很难满足复杂运算的要求,因而单片FPGA芯片的速度和性能仍然难以满足遥感图像实时处理的要求,并且高速器件的应用也带来系统信号完整性恶化、系统电磁兼容性难以保证等问题,因此利用多片FPGA实现并行处理的技术被提出。这种技术虽然能够满足实时处理的要求,但是由于FPGA设计需要采用专用的硬件描述语言VHDL(Very-High-Speed Integrated Circuit Hardware Description Language,超高速集成电路硬件描述语言)或Verilog HDL(Verilog Hardware DiscriptionLanguage),并且设计人员要具有较多的设计经验才能进行良好的结构设计和程序优化,从而实现系统的高速运行,因此高复杂度的处理算法会带来设计成本的大幅提高。
此外,为了满足特定需求的基于ASIC的专用芯片不断出现,这些芯片在配备相应的外部存储和外部接口后,也能获得较好的处理性能。不过这样的设计难以满足不同处理任务的通用性设计需求,另外这类产品多为商业级芯片,在可靠性和稳定性方面也存在一定隐患。
在实现本发明的过程中,申请人发现:单纯采用FPGA或DSP芯片的识别装置不能同时满足高效率的复杂数据运算和逻辑控制功能,导致星载遥感图像智能识别的效率较低。
发明内容
(一)要解决的技术问题
鉴于上述技术问题,本发明提供了一种星载遥感图像智能识别装置,以提高星载遥感图像智能识别的效率。
(二)技术方案
根据本发明的一个方面,提供了一种星载遥感图像智能识别装置。该星载遥感图像智能识别装置包括:主控制核和并行架构的N个子核。主控制核,用于(1)接收主机发送的辅助数据,解读当前的任务需求,并向子核发布该任务信息;(2)在接收预先成像载荷发送的图像数据后,根据任务需求完成图像数据的切分、串并转换、缓存处理,然后依照预设的数据分发规则将数据并行发送给N个子核;(3)将N个子核上传的识别结果进行统计后,获得最终的图像识别结果反馈至主机。所述N个子核中的每一子核包括FPGA芯片和M个DSP芯片,其中:所述FPGA芯片,用于(1)接收到主控制下发的任务信息后,下传至每一DSP芯片;(2)在接收到主控制核下发的待处理图像数据后,进一步切分图像数据,分发给该子核内的各个DSP芯片;所述DSP芯片,用于(1)依照任务信息完成内部运行程序的加载配置;(2)接收图像数据后,依照配置后的内部运行程序对图像数据进行识别,并将识别结果通过所在子核的FPGA芯片上传至所述主控制核。
(三)有益效果
从上述技术方案可以看出,本星载遥感图像智能识别装置具有以下有益效果:
(1)采用FPGA与DSP相结合的并行拓扑处理架构,具有良好的可扩展性,能够满足星载遥感图像识别处理中高算法复杂度、大数据量的要求,并且,以FPGA+MDSP为一个运算子核,可以根据处理任务的复杂度自主选择子核核个数,有效实现性能与功耗问的平衡;
(2)利用DSP承担主要的运算任务,在任务更改时,DSP可接收FPGA的任务指令,自动实现运行程序加载配置,设计简单,增强了系统的通用性,并且可以提高系统的容错性。
附图说明
图1为本发明实施例星载遥感图像智能识别装置的结构示意图;
图2为图1所示星载遥感图像智能识别装置中子核的结构示意图;
图3为图2所示子核中FPGA的逻辑结构示意图;
图4为图1所示主控制核中FPGA的逻辑结构示意图;
图5为图2所示子核中DSP的配置芯片Flash中的文件格式示意图。具体实施方式
本发明提供了一种基于FPGA和多DSP硬件架构的星载遥感图像智能识别装置,采用并行处理架构可以克服单片芯片的性能限制,有效提高系统运算能力,满足遥感图像实时处理的要求;并且FPGA和DSP都具有良好的可重构性,因此该架构也具有良好的通用性,可满足不同处理任务的应用需求。
在本发明的一个示例性实施例中,提供了一种星载遥感图像智能识别装置。在本实施例中,预设了紧急模式和常规模式两种任务模式。在紧急模式下,只进行云检测,输出结果为“有云”和“无云”两种情况;在常规模式下,要结合地物目标的纹理特性、光谱特征等判别地物类型,最终输出地物目标类型及覆盖率,因此在不同任务模式下,将运行不同的处理程序。在并行处理架构中,每个并行处理单元在执行识别运算时是以图像块为单位的,根据算法要求,在紧急模式下要求切分后图像块尺寸足够大,而在常规模式下则需要切分为小尺寸图像块,因此在数据管理方面也需要针对不同的任务模式采取不同的管理方法。
如图1所示,本实施例星载遥感图像智能识别装置包括:主控制核和并行架构的N个子核。
主控制核实现数据及任务管理、数据分发等功能,由一片FPGA芯片构成。该主控制核,用于接收主机发送的辅助数据,解读当前的任务需求,并向子核发布该任务需求中的配置信息,并在接收预先成像载荷发送的图像数据,根据任务需求完成图像数据的切分、串并转换、缓存处理,然后依照预设的数据分发规则将数据并行发送给N个子核;将子核上传的识别结果进行统计计算后,获得最终的图像识别结果反馈至主机。
所述N个子核中的每一个子核由一片FPGA芯片和M个DSP芯片实现。其中,FPGA芯片接收到主控制下发的配置信息后,下传至每一DSP芯片,该DSP芯片依照该配置信息完成内部运行程序的配置;在接收到主控制核FPGA芯片下发的待处理数据后,进一步切分图像数据,然后分发给该子核内的DSP。DSP芯片接收图像数据后,依照配置后的内部运行程序对图像数据进行识别,并将识别结果通过所在子核的FPGA芯片上传至所述主控制核。
以下分别对本实施例星载遥感图像智能识别装置的各个组成部分进行详细说明。
1、主控制核
主控制核负责与外部设备(包括接收预先成像载荷、主机及后端设备)进行通信,并完成任务管理、数据管理与分发等工作。具体来讲,主控制核通过异步串行总线RS-232与主机通信,获取处理任务、经纬度、拍摄时间、姿轨数据等辅助信息,并回传识别结果;通过Camera Link接口连接预先成像载荷,接收图像数据;通过LVDS(Low Voltage DifferentialSignaling,低压差分信号)总线与子核连接,采用自定义串行数据传输协议进行同步通信,下发图像数据并接收识别结果。
主控制核由一片FPGA及其附属外部存储器1和外部存储器2构成,其中FPGA实现逻辑控制功能,而两个外部存储器采用乒乓作业方式,实现图像数据缓存。
图2为图1所示主控制核中FPGA的逻辑结构示意图,其内部逻辑架构主要包括:主控制器、RS-232接口控制器、Camera Link接口控制器、下行缓存器、第一上行FIFO、第一下行FIFO、外部存储器控制器、第二上行FIFO、第二下行FIFO、LVDS串行总线接口控制器。
主控制器,连接多个FIFO及缓存器等;
RS-232接口控制器,该控制器实现主控制核与主机问的通信,完成数据双向传输,主要由锁相环、模式选择器、发送模块和接收模块构成。
Camera Link接口控制器,其输入端为预先成像载荷,输出端为下行缓存器,用于对外部Camera Link接口输入的数据进行初步的串并转换,然后转存到下行缓存器中。
下行缓存器,其输入接口连接至Camera Link接口控制器,其输出接口连接至所述主控制器,用于主控制器与预先成像载荷问的数据缓存,遥感图像数据通过Camera Link接口首先进入该缓存,然后再被主控制器读出、处理、分发;
第一上行FIFO和第一下行FIFO用于与外部存储器问交换数据的缓存,其中,第一下行FIFO,其输入接口连接至主控制器,其输出接口连接至外部存储器控制器;第一上行FIFO,其输入接口连接至外部存储器控制器,其输出接口连接至主控制器。
外部存储恭控制器,实现第一上行FIFO、第一下行FIFO与第一外部存储器1、第二外部存储器2的连接,其由DDR2SDRAM控制器构成,实现对DDR2SDRAM的高速读写。另外,为了实现外部存储器的乒乓操作,该控制器中设计了“输入选择单元”和“输出选择单元”,从而在外部存储器1和外部存储器2之间依次切换,保证数据流的连续操作,完成数据的无缝缓冲与处理。
第二上行FIFO和第二下行FIFO用于主控制核与子核问的数据缓存。第二下行FIFO,其输入接口连接至主控制器,其输出接口连接至LVDS串行总线接口控制器;第二上行FIFO,其输入接口通过至LVDS串行总线接口控制器,其输出接口连接至主控制器。
LVDS串行总线接口控制器,实现第二上行FIFO(First Input FirstOutput,先入先出队列数据缓存器)、第二下行FIFO与子核问的连接,主要实现自定义协议,提供FPGA之间的通信平台。主要包括时钟倍频器、编码器、解码器、传输控制状态机。
FPGA要实现与DSP的数据交互、对外部存储器的数据读写,这些传输接口都要辅以数据缓存才能实现。本设计中利用FIFO实现,主控制器通过FIFO标志位监控FIFO状态,从而及时进行FIFO读写,保证数据传输接口正常工作。
主控制器:主要实现数据及任务管理功能,包括图像数据的分块、串并转换、识别结果的统计计算等,其控制流程主要包括:
步骤S201,接收主机通过RS-232接口发送的辅助信息数据,解读出当前的处理任务信息,并写入第二下行FIFO,以备传输给子核;
步骤202,在下行缓存器非空时,读出待识别图像数据,根据任务需求对图像在列方向上进行切分,如果是“紧急模式”,则对图像进行大尺度切分,如果是“常规模式”,则进行小尺度切分。同时,对图像数据进行串并转换、加入标识符,然后将处理后的数据写入第一下行FIFO,供外部存储器读出;
步骤S203,在第二下行FIFO为非满时,从第一上行FIFO中读入数据,并填充到第二下行FIFO中;
步骤S204,在第二上行FIFO非空时,读出识别结果数据,此时的识别结果是以图像块为单位的;
步骤S205,主控制器在接收完当前处理图像所有图像块的结果数据后,进行统计计算获得整幅图像的识别结果,通过RS-232接口传送给主机。
2、子核
遥感图像的识别运算是在N个并行的子核中完成的。本实施例中的子核主要由一片FPGA芯片和4片DSP芯片构成,其中,FPGA负责逻辑控制,DSP负责识别运算。
子核中的FPGA接收到主控制核下发的待处理数据后,首先解读标识符中的任务信息,然后通过任务指令接口将当前任务信息传递给DSP,使DSP自动配置正确的运算程序;然后将图像数据在行方向上进一步进行切分,然后分发给该子核内的DSP。DSP在接收到图像数据后,开始执行识别运算,并将识别结果上传。
图3为图1所示星载遥感图像智能识别装置中子核的结构示意图。请参照图3,该子核包括:
FPGA芯片和附属的第一外部存储器1、第二外部存储器2;
第一DSP芯片DSP1及其附属的第三外部存储器3;
第二DSP芯片DSP2及其附属的第四外部存储器4;
第三DSP芯片DSP3及其附属的第五外部存储器5;
第四DSP芯片DSP4及其附属的第六外部存储器6;
FPGA和DSP问的数据传输是通过Link Port接口实现的,采用快速流水协议,支持DMA(Direct Memory Access,直接内存存取)传输模式。在识别过程中,FPGA下传的运算数据量大且传输速度高,因此DSP采用DMA传输模式,在不需要内核参与的情况下,直接实现数据在内存与LinkPort接口问的转移,既能提高数据传输速度,又不会影响内核计算效率。
本实例中,FPGA与DSP之间除了数据传输接口外,还有利用通用GPIO(General Purpose Input/Output,通用输入输出口)口构建的任务指令传输接口。FPGA在解析获得任务指令后,可通过任务指令传输接口将任务指令发送给DSP。
2.1子核中的FPGA芯片
图4为图3所示子核中FPGA的逻辑结构示意图。请参照图4,该FPGA的内部逻辑架构主要包括:主控制器、LVDS串行总线接口控制器、第一下行FIFO、第一上行FIFO、外部存储器控制器、第二上行FIFO、第二下行FIFO、第三下行FIFO、第三上行FIFO和Link Port接口控制器。其中,3组上行FIFO和下行FIFO,分别用于主控制器与LVDS总线、外部存储器以及Link Port接口问的数据缓存。
主控制器,连接多个FIFO及缓存器等。
LVDS串行总线接口控制器,实现主控制器与第一下行FIFO、第一上行FIFO问的连接。该控制器采用与主控制核中相同的设计方法,实现子核与主控制核问的通信。
第一下行FIFO,其输入接口连接至LVDS串行总线接口控制器,其输出接口连接至主控制器。
第一上行FIFO,其输入接口连接至主控制器,其输出接口连接至LVDS串行总线接口控制器。
外部存储器控制器,实现第二上行FIFO、第二下行FIFO与外部存储器1、外部存储器2的连接。该控制器采用与主控制核中相似的设计方法,实现对外部存储器的控制。
第二下行FIFO,其输入接口连接至主控制器,其输出接口连接至外部存储器控制器;
第二上行FIFO,其输入接口连接至外部存储器控制器,其输出接口连接至主控制器;
第三下行FIFO,其输入接口连接至主控制器,其输出接口连接至LinkPort接口控制器;
第三上行FIFO,其输入接口通过至Link Port接口控制器,其输出接口连接至主控制器。
本实施例中,主控制器主要实现对图像数据的二次管理以及DSP运行程序的控制,其控制流程主要包括:
步骤S301,接收主控制核发送的任务信息,然后通过任务指令传输接口向DSP发送任务指令,使DSP完成运行程序的自动配置;
步骤S302,在第一下行FIFO非空时,读出待识别图像数据,在行方向上进行等分,然后写入第二下行FIFO,供外部存储器读出;
步骤S303,在第三下行FIFO为非满时,从第二上行FIFO中读入数据,并填充到第三下行FIFO中,以备分发给各DSP;
步骤204,在第三上行FIFO非空时,读出DSP上传的识别结果数据,然后填充至第一上行FIFO,为向主控制核上传做准备。
2.2子核中的DSP芯片
子核中的DSP承担主要的识别运算任务。由于识别任务的处理数据量大,识别算法复杂且串行性强,因此,本实施例中采用按数据规划的分布式并行计算方法,4片DSP构成4个并行运算节点,能够有效增强子核的运算能力。
外部存储器3、外部存储器4、外部存储器5、外部存储器6是为每片DSP都配备的一片相同的存储器。ADI的Tiger Shark系列的DSP内部集成了大容量的eRAM,该大容量内存可以有效减少图像数据处理过程中的数据读写时间,适用于高速图像处理应用。然而,遥感图像识别运算数据量很大,DSP内部存储空间往往不能满足要求,因此可以借助外部存储器来实现图像数据以及计算中间数据的缓存。外部存储器的存储空间可以映射到DSP存储地址中,借助DSP内的外部存储器控制器可轻松实现无缝连接。在识别过程中,原始图像块数据量大,且调用频率低,因此将这部分数据分配到外部存储器,而直接参与计算的图像处理单元以及一些中间计算结果数据量小,但是读写比较频繁,将这部分缓存空间分配到内部存储器。这中分配方法可以有效减少数据搬运时间,提高大数量高速处理的能力。
DSP中的识别处理流程包括:
步骤S401,通过GPIO接收到FPGA下发的任务指令,自动完成运行程序配置,实现运行任务的快速切换;
步骤S402,通过Link Port接口接收FPGA下传的图像块数据,采用DMA方式,将数据从LinkPort口转移到外部存储器;
步骤S403,从外部存储器读取图像数据,开始基于二叉树的识别处理运算;
步骤S404,将本图像块的识别结果添加标识符打包,通过Link Port接口上传给FPGA。
ADI的Tiger Shark系列DSP芯片具有独特的加载程序内核支持,该加载程序内核能够对可执行程序文件进行语法分析,从而生成可烧写于Flash中的加载文件。这种程序加载方法不仅适用于一般的单任务程序加载,也可用于多任务加载管理。本实施例里中,每个子核中都为DSP都配备一片Flash芯片,用于存储配置文件,从而保证DSP在接收到任务指令后自动借助Flash完成程序配置。借助该功能,也能够轻松实现检错后的自动初始化,增强系统的容错能力。
图5为图3所示子核中DSP的配置芯片Flash中的文件格式示意图。如图5所示,首先利用紧急模式识别程序生成“应用程序1”加载文件,利用常规模式识别程序生成“应用程序2”加载文件,然后编写内核源文件,可将这两个文件以特定的形式排列于加载器命令行中,则整个加载文件中便同时包含了这两个不同任务模式下的应用程序,最后将该加载文件烧写到Flash中。另一方面,为了实现DSP能够根据不同的任务指令自动加载不同的应用程序,需要修改加载程序内核,实现利用任务指令引导加载相应的应用程序。
在装置运行过程中,如果DSP收到新的识别任务指令,则DSP就会在结束当前的运算任务后,跳转进入加载程序内核引导程序,根据任务指令读取Flash中相应位置的加载文件,并将该文件数据写到DSP相应位置中,在内核引导程序结束后开始执行新的识别运算,从而实现两种识别任务模式下的自由转换。
至此,已经结合附图对本实施例进行了详细描述。依据以上描述,本领域技术人员应当对本发明星载遥感图像智能识别装置有了清楚的认识。
此外,上述对各元件的定义并不仅限于实施方式中提到的各种具体结构或形状,本领域的普通技术人员可对其进行简单地熟知地替换,例如,本实施例子核中包括4个DSP芯片,但在本发明其他实施例中,该DSP芯片的数目可以为2~8个,本发明并不以此为限。
综上所述,本发明提供一种基于FPGA和多DSP硬件架构的星载遥感图像智能识别装置,采用并行处理架构可以克服单片芯片的性能限制,有效提高系统运算能力,满足遥感图像实时处理的要求。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种星载遥感图像智能识别装置,其特征在于,包括:主控制核和并行架构的N个子核,其中:
主控制核,用于(1)接收主机发送的辅助数据,解读当前的任务需求,并向子核发布该任务信息;(2)在接收预先成像载荷发送的图像数据后,根据任务需求完成图像数据的切分、串并转换、缓存处理,然后依照预设的数据分发规则将数据并行发送给N个子核;(3)将N个子核上传的识别结果进行统计后,获得最终的图像识别结果反馈至主机;
所述N个子核中的每一子核包括FPGA芯片和M个DSP芯片,其中:
所述FPGA芯片,用于(1)接收到主控制下发的任务信息后,下传至每一DSP芯片;(2)在接收到主控制核下发的待处理图像数据后,进一步切分图像数据,分发给该子核内的各个DSP芯片;
所述DSP芯片,用于(1)依照任务信息完成内部运行程序的加载配置;(2)接收图像数据后,依照配置后的内部运行程序对图像数据进行识别,并将识别结果通过所在子核的FPGA芯片上传至所述主控制核。
2.根据权利要求1所述的星载遥感图像智能识别装置,其特征在于,所述主控制核由一FPGA芯片及其附属第一外部存储器和第二外部存储器构成,其中FPGA芯片实现逻辑控制功能,而第一外部存储器和第二外部存储器采用乒乓作业方式,实现图像数据缓存。
3.根据权利要求2所述的星载遥感图像智能识别装置,其特征在于,所述FPGA芯片包括:
主控制器;
RS-232接口控制器,用于实现主控制核与主机问的通信;
Camera Link接口控制器,其输入端为预先成像载荷,输出端连接至主控制器,实现对输入数据的初步串并转换;
下行缓存器,其输入接口连接至Camera Link接口控制器,其输出接口连接至所述主控制器,用于主控制器与预先成像载荷问的数据缓存;
第一上行FIFO和第一下行FIFO用于主控制器与外部存储器问交换数据的缓存,其中,第一下行FIFO,其输入接口连接至主控制器,其输出接口连接至外部存储器控制器;第一上行FIFO,其输入接口连接至外部存储器控制器,其输出接口连接至主控制器;
外部存储器控制器,实现第一上行FIFO、第一下行FIFO与第一外部存储器、第二外部存储器的连接;
第二上行FIFO和第二下行FIFO用于主控制核与子核问的数据缓存,其中,第二下行FIFO,其输入接口连接至主控制器,其输出接口连接至LVDS串行总线接口控制器;第二上行FIFO,其输入接口通过LVDS串行总线接口控制器连接至子核,其输出接口连接至主控制器;
LVDS串行总线接口控制器,实现第二上行FIFO、第二下行FIFO与子核问的连接;
其中,所述主控制器的控制流程包括:
步骤S101,接收主机通过RS-232接口发送的辅助信息数据,解读出当前的处理任务信息,并写入第二下行FIFO,以备传输给子核;
步骤S102,在下行缓存器非空时,读出待识别图像数据,根据任务需求对图像在列方向上进行切分,对切分后的图像数据进行串并转换、加入标识符,然后将处理后的数据写入第一下行FIFO,供外部存储器读出;
步骤S103,在第二下行FIFO为非满时,从第一上行FIFO中读入数据,并填充到第二下行FIFO中;
步骤S104,在第二上行FIFO非空时,读出识别结果数据,此时的识别结果是以图像块为单位的;
步骤S105,在接收完当前处理图像所有图像块的结果数据后,进行统计计算,获得整幅图像的识别结果,通过RS-232接口传送给主机。
4.根据权利要求3所述的星载遥感图像智能识别装置,其特征在于,所述外部存储器控制器包括输入选择单元和输出选择单元,从而在外部存储器和外部存储器之间依次切换,实现外部存储器的乒乓操作,保证数据流的连续操作。
5.根据权利要求3所述的星载遥感图像智能识别装置,其特征在于,所述主控制器通过FIFO标志位监控第一上行FIFO、第一下行FIFO、第二下行FIFO和第二上行FIFO的状态,从而及时进行相应FIFO的读写。
6.根据权利要求3所述的星载遥感图像智能识别装置,其特征在于,所述主控制器在步骤S102中,如果是“紧急模式”,则对图像进行大尺度切分,如果是“常规模式”,则进行小尺度切分;
两种切分尺度是依据识别算法要求而定的,其中,大尺度切分的规则是图像块尺寸不小于512*512;小尺度切分的规则是图像块尺寸不小于32*32。
7.根据权利要求1所述的星载遥感图像智能识别装置,其特征在于,所述子核包括:
FPGA芯片和附属的第一外部存储器、第二外部存储器;以及若干个DSP芯片及其附属的外部存储器。
8.根据权利要求7所述的星载遥感图像智能识别装置,其特征在于,所述子核中FPGA芯片包括:
主控制器;
LVDS串行总线接口控制器,实现主控制器与第一下行FIFO、第一上行FIFO问的连接;
第一下行FIFO,其输入接口连接至LVDS串行总线接口控制器,其输出接口连接至主控制器;
第一上行FIFO,其输入接口连接至主控制器,其输出接口连接至LVDS串行总线接口控制器;
外部存储器控制器,实现第二上行FIFO、第二下行FIFO与第一外部存储器、第二外部存储器的连接;
第二下行FIFO,其输入接口连接至主控制器,其输出接口连接至外部存储器控制器;
第二上行FIFO,其输入接口连接至外部存储器控制器,其输出接口连接至主控制器;
第三下行FIFO,其输入接口连接至主控制器,其输出接口连接至LinkPort接口控制器;
第三上行FIFO,其输入接口通过至Link Port接口控制器,其输出接口连接至主控制器;
其中,主控制器的控制流程包括:
步骤S201,接收主控制核发送的配置信息,向各DSP发送任务指令,使各DSP芯片完成运行程序的自动配置;
步骤S202,在第一下行FIFO非空时,读出待识别图像数据,在行方向上进行等分,然后写入第二下行FIFO,供外部存储器读出;
步骤S203,在第三下行FIFO为非满时,从第二上行FIFO中读入数据,并填充到第三下行FIFO中,以备分发给各DSP;
步骤204,在第三上行FIFO非空时,读出DSP上传的识别结果数据,然后填充至第一上行FIFO,为向主控制核上传做准备。
9.根据权利要求7所述的星载遥感图像智能识别装置,其特征在于,所述子核中每个DSP芯片的识别处理流程包括:
步骤S301,通过GPIO接收到子核FPGA芯片下发的任务指令,自动完成运行程序配置,实现运行任务的快速切换;
步骤S302,通过Link Port接口接收子核FPGA芯片下传的图像块数据,采用DMA方式,将数据从Link Port口转移到外部存储器;
步骤S303,从外部存储器读取图像数据,开始基于二叉树的识别处理运算;
步骤S304,将本图像块的识别结果添加标识符打包,通过Link Port接口上传给子核FPGA芯片。
10.根据权利要求1至8中任一项所述的星载遥感图像智能识别装置,其特征在于,所述子核的数目N介于3~10之问;所述每一子核中DSP芯片的个数M介于2~8之间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310470434.3A CN104284079B (zh) | 2013-10-10 | 2013-10-10 | 星载遥感图像智能识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310470434.3A CN104284079B (zh) | 2013-10-10 | 2013-10-10 | 星载遥感图像智能识别装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104284079A true CN104284079A (zh) | 2015-01-14 |
CN104284079B CN104284079B (zh) | 2017-08-25 |
Family
ID=52258528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310470434.3A Active CN104284079B (zh) | 2013-10-10 | 2013-10-10 | 星载遥感图像智能识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104284079B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160284A (zh) * | 2015-09-21 | 2015-12-16 | 广东暨通信息发展有限公司 | 一种玻璃瓶瓶底模号识别装置 |
CN107911702A (zh) * | 2017-11-24 | 2018-04-13 | 北京空间机电研究所 | 一种多fpga协同星上实时闪电图像处理系统及方法 |
CN108564644A (zh) * | 2017-12-27 | 2018-09-21 | 中国科学院光电研究院 | 机载主被动三维影像实时成像装置及方法 |
CN109444886A (zh) * | 2018-12-30 | 2019-03-08 | 成都汇蓉国科微系统技术有限公司 | 一种双基sar实时成像的并行计算处理方法、系统及介质 |
CN109579795A (zh) * | 2018-11-20 | 2019-04-05 | 北京理工大学 | 用于星载相机的大画幅遥感图像实时处理系统 |
CN109840065A (zh) * | 2017-11-29 | 2019-06-04 | 上海宝康电子控制工程有限公司 | 基于dsp平台的图像识别处理方法和系统 |
CN111536991A (zh) * | 2020-04-26 | 2020-08-14 | 哈尔滨工业大学 | 遥感卫星多模式成像载荷模拟装置 |
CN112148667A (zh) * | 2020-09-04 | 2020-12-29 | 南京信息工程大学 | 一种基于fpga软核的缓存系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090009644A1 (en) * | 2007-07-06 | 2009-01-08 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
CN102946529A (zh) * | 2012-10-19 | 2013-02-27 | 华中科技大学 | 基于fpga和多核dsp的图像传输及处理系统 |
CN103116872A (zh) * | 2013-01-25 | 2013-05-22 | 西安电子科技大学 | 基于并行dsp的sar图像高速处理系统及其方法 |
-
2013
- 2013-10-10 CN CN201310470434.3A patent/CN104284079B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090009644A1 (en) * | 2007-07-06 | 2009-01-08 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
CN102946529A (zh) * | 2012-10-19 | 2013-02-27 | 华中科技大学 | 基于fpga和多核dsp的图像传输及处理系统 |
CN103116872A (zh) * | 2013-01-25 | 2013-05-22 | 西安电子科技大学 | 基于并行dsp的sar图像高速处理系统及其方法 |
Non-Patent Citations (1)
Title |
---|
任晓波: "基于ARM+FPGA+多DSP的嵌入式实时图像处理系统", 《计算机技术与应用》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160284A (zh) * | 2015-09-21 | 2015-12-16 | 广东暨通信息发展有限公司 | 一种玻璃瓶瓶底模号识别装置 |
CN107911702A (zh) * | 2017-11-24 | 2018-04-13 | 北京空间机电研究所 | 一种多fpga协同星上实时闪电图像处理系统及方法 |
CN107911702B (zh) * | 2017-11-24 | 2019-08-09 | 北京空间机电研究所 | 一种多fpga协同星上实时闪电图像处理系统及方法 |
CN109840065A (zh) * | 2017-11-29 | 2019-06-04 | 上海宝康电子控制工程有限公司 | 基于dsp平台的图像识别处理方法和系统 |
CN108564644B (zh) * | 2017-12-27 | 2022-04-08 | 中国科学院光电研究院 | 机载主被动三维影像实时成像装置及方法 |
CN108564644A (zh) * | 2017-12-27 | 2018-09-21 | 中国科学院光电研究院 | 机载主被动三维影像实时成像装置及方法 |
CN109579795A (zh) * | 2018-11-20 | 2019-04-05 | 北京理工大学 | 用于星载相机的大画幅遥感图像实时处理系统 |
CN109579795B (zh) * | 2018-11-20 | 2020-04-17 | 北京理工大学 | 用于星载相机的大画幅遥感图像实时处理系统 |
CN109444886A (zh) * | 2018-12-30 | 2019-03-08 | 成都汇蓉国科微系统技术有限公司 | 一种双基sar实时成像的并行计算处理方法、系统及介质 |
CN109444886B (zh) * | 2018-12-30 | 2020-06-26 | 成都汇蓉国科微系统技术有限公司 | 一种双基sar实时成像的并行计算处理方法、系统及介质 |
CN111536991A (zh) * | 2020-04-26 | 2020-08-14 | 哈尔滨工业大学 | 遥感卫星多模式成像载荷模拟装置 |
CN112148667A (zh) * | 2020-09-04 | 2020-12-29 | 南京信息工程大学 | 一种基于fpga软核的缓存系统及方法 |
CN112148667B (zh) * | 2020-09-04 | 2023-12-19 | 南京信息工程大学 | 一种基于fpga软核的缓存系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104284079B (zh) | 2017-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104284079A (zh) | 星载遥感图像智能识别装置 | |
US11677662B2 (en) | FPGA-efficient directional two-dimensional router | |
CN103116175B (zh) | 基于dsp和fpga的嵌入式导航信息处理器 | |
EP3298740B1 (en) | Directional two-dimensional router and interconnection network for field programmable gate arrays | |
US11893424B2 (en) | Training a neural network using a non-homogenous set of reconfigurable processors | |
CN111433758B (zh) | 可编程运算与控制芯片、设计方法及其装置 | |
CN105279133A (zh) | 基于SoC在线重构的VPX并行DSP信号处理板卡 | |
CN102306371B (zh) | 一种分层并行的模块化序列图像实时处理装置 | |
CN101477512B (zh) | 一种处理器系统及其访存方法 | |
CN102866980B (zh) | 用于多核微处理器片上互连网络的网络通信胞元 | |
CN114450661A (zh) | 用于可重配置架构的编译器流程逻辑 | |
CN101441616B (zh) | 基于寄存器文件的快速数据交换结构及其管理方法 | |
US11797311B2 (en) | Asynchronous pipeline merging using long vector arbitration | |
CN103544470A (zh) | 一种动平台对空目标双色红外异构并行自动目标识别器 | |
CN111736115A (zh) | 基于改进型sgdma+pcie的mimo毫米波雷达高速传输方法 | |
CN110766600B (zh) | 一种分布式架构的图像处理系统 | |
CN103544471B (zh) | 一种动平台对地固定目标异构并行自动目标识别器 | |
CN102541810A (zh) | 基于afdx网络小型化低功耗综合核心处理机 | |
CN100520748C (zh) | 数据处理系统 | |
CN105718349A (zh) | 跨管芯接口监听或全局观察消息排序 | |
CN103106174A (zh) | 一种复杂soc的片上通信方法 | |
CN108564644B (zh) | 机载主被动三维影像实时成像装置及方法 | |
US20220343144A1 (en) | Server and accelerator for neural network computations | |
CN113672549B (zh) | 一种基于非共享存储多核处理器的微系统架构 | |
CN115129657A (zh) | 一种可编程逻辑资源扩展装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |