CN116152307A - 一种基于fpga的sar图像配准预处理装置 - Google Patents

一种基于fpga的sar图像配准预处理装置 Download PDF

Info

Publication number
CN116152307A
CN116152307A CN202310347479.5A CN202310347479A CN116152307A CN 116152307 A CN116152307 A CN 116152307A CN 202310347479 A CN202310347479 A CN 202310347479A CN 116152307 A CN116152307 A CN 116152307A
Authority
CN
China
Prior art keywords
sar image
data
convolution
fpga
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310347479.5A
Other languages
English (en)
Other versions
CN116152307B (zh
Inventor
郭亮
张弛
李亚超
荆丹
许晴
郭交
陈帅霖
王根
苗昊春
黎海青
邢孟道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310347479.5A priority Critical patent/CN116152307B/zh
Publication of CN116152307A publication Critical patent/CN116152307A/zh
Application granted granted Critical
Publication of CN116152307B publication Critical patent/CN116152307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于FPGA的SAR图像配准预处理装置,利用FPGA对输入的SAR图像数据进行卷积运算和小波变换运算的并行处理,得到SAR图像增强结果和SAR图像压缩结果,基于FPGA的SAR图像配准预处理装置,包括:数据缓存器、地址计数器、图像卷积运算模块、小波变换运算模块、延时寄存器组和数据传输状态机。本发明的基于FPGA的SAR图像配准预处理装置,基于FPGA实现SAR成像的景象匹配预处理,通过FPGA实现对小波变换运算(图像压缩)和卷积运算(图像增强)的简单、快速、实时、流水及并行的运算方式,降低FPGA资源利用率,从而降低该装置成本,减少SAR成像实时图像预处理时间。

Description

一种基于FPGA的SAR图像配准预处理装置
技术领域
本发明属于SAR图像技术领域,具体涉及一种基于FPGA的SAR图像配准预处理装置。
背景技术
SAR图像匹配在测绘、导航、变化检测以及信息融合方面都有着广泛的用途。利用图像匹配的导航技术也逐渐受到人们的重视。在图像匹配导航中,可以通过图像匹配技术,反推出传感器所在位置,并用来修正其它导航方式的偏差,从而提高飞行器的导航精度。另外,在武器系统的末制导方面,由于SAR成像全天时、全天候、分辨率高的优点,通过与其它导航方式的组合,可以提高命中精度,并大大扩展飞行器应用范围。
在硬件实现中,传统的图像配准预处理操作都是通过DSP实现,图像匹配预处理过程主要是对SAR成像结果进行小波变换和图像滤波,数据量处理非常大,但是DSP适用于系统较低取样速率、低数据率、多条件操作、处理复杂的多算法任务,所以会大大增加处理时间,从而大大增加末制导过程中SAR成像周期,从而影响匹配结果。FPAG适用于系统高速取样速率、高数据率、框图方式编程、处理任务固定或重复、适合于高速采样频率下,特别是任务比较固定或重复的情况以及试制样机、系统开发的场合。
在现有的SAR景象匹配预处理中,FPGA都用来当作数据传输的接口,从而导致资源的浪费,只利用了DSP做相应的算法,如若DSP无法在规定的时间内完成预处理,将会增加DSP的个数来缩短处理时间,从而产生更高的成本。在现有的基于FPGA实现的小波变换和卷积运算中,没有考虑到信号处理机之间的通信问题,无法完成对多幅图像实时处理并传输。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于FPGA的SAR图像配准预处理装置。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于FPGA的SAR图像配准预处理装置,利用FPGA对输入的SAR图像数据进行卷积运算和小波变换运算的并行处理,得到SAR图像增强结果和SAR图像压缩结果,所述基于FPGA的SAR图像配准预处理装置,包括:数据缓存器、地址计数器、图像卷积运算模块、小波变换运算模块、延时寄存器组和数据传输状态机,其中,
所述数据缓存器,用于检测到有SAR图像数据传输时,对输入的SAR图像数据进行存储,在所述SAR图像数据全部缓存结束之后,将所述SAR图像数据同时输入至图像卷积运算模块和小波变换运算模块;
所述地址计数器,用于对输入的SAR图像数据进行地址编号,对SAR图像数据的起始点和终止点设置对应的标志信息;
所述图像卷积运算模块,用于对输入的所述SAR图像数据进行列补零操作,对列补零操作后的SAR图像数据利用多个卷积核分别进行卷积运算,得到SAR图像增强结果;
所述小波变换运算模块,用于根据小波变换运算的分解参数,对输入的所述SAR图像数据进行小波变换运算,得到SAR图像压缩结果;
所述延时寄存器组,用于在卷积运算和小波变换运算过程中储存需延迟处理的数据、运算过程中间值以及运算结果;
所述数据传输状态机,用于控制所述基于FPGA的SAR图像配准预处理装置按照SAR图像数据、SAR图像增强结果和SAR图像压缩结果的顺序进行数据输出。
在本发明的一个实施例中,所述基于FPGA的SAR图像配准预处理装置通过SRIO通信实现数据输入;
所述基于FPGA的SAR图像配准预处理装置的数据输入和输出均与SRIO通信数据保持一致,采用8字节的数据流。
在本发明的一个实施例中,所述数据缓存器将所述SAR图像数据存储至FPGA的BRAM。
在本发明的一个实施例中,所述标志信息包括起始点小波运算标志信息、终止点小波运算标志信息、起始点卷积运算标志信息和终止点卷积运算标志信息,其中,
所述小波变换运算模块,用于根据所述起始点小波运算标志信息和所述终止点小波运算标志信息,控制小波变换运算的数据始末位置;
所述图像卷积运算模块,用于根据所述起始点卷积运算标志信息和所述终止点卷积运算标志信息,控制卷积运算的数据始末位置。
在本发明的一个实施例中,所述延时寄存器组,包括小波变换运算寄存器组和卷积运算寄存器组,其中,
所述小波变换运算寄存器组的寄存器数量与小波变换运算的分解层数相等;
所述卷积运算寄存器组包括两组寄存器,对于大小为n×n的卷积核,每一组寄存器中包括n个寄存器,n为正整数。
在本发明的一个实施例中,所述小波变换运算模块,包括小波数据存储单元和小波分解运算单元,其中,
所述小波数据存储单元,用于将输入的所述SAR图像数据以8字节的数据流方式存入所述小波变换运算寄存器组的一个寄存器中,还用于将每一层分解运算结果存储至所述小波变换运算寄存器组的对应寄存器中;
所述小波分解运算单元,用于根据所述SAR图像数据进行第一层分解运算,还用于根据上一层分解运算结果进行下一层分解运算;
其中,在进行分解运算过程中,所有数据均以8字节的数据流按照流水方式进行传输。
在本发明的一个实施例中,所述图像卷积运算模块,包括卷积数据存储单元、补零操作单元、控制信号产生单元和卷积运算单元,其中,
所述卷积数据存储单元,用于将输入的所述SAR图像数据以8字节的数据流方式存入所述卷积运算寄存器组的第一组寄存器中;还用于在所述第一组寄存器存满后,将所述第一组寄存器中的数据按照存储顺序取出后存入至所述卷积运算寄存器组的第二组寄存器中;
所述补零操作单元,用于根据卷积核的大小计算得到所述SAR图像数据进行补零操作的行数和列数,对所述第一组寄存器中的所述SAR图像数据进行列方向的补零操作,得到列补零操作后的SAR图像数据;
控制信号产生单元,用于根据补零操作的行数生成行数控制信号;
所述卷积运算单元,用于将所述第二组寄存器中的数据分别与多个卷积核进行卷积运算,对每个卷积核的卷积运算结果进行融合得到SAR图像增强结果;其中,在进行卷积运算时,根据行数控制信号,去除与行补零操作的行数对应行的卷积核的值,仅对有效数据进行卷积运算。
在本发明的一个实施例中,所述延时寄存器组,还包括运算结果寄存器,所述运算结果寄存器用于暂存SAR图像压缩结果。
与现有技术相比,本发明的有益效果在于:
1. 本发明的基于FPGA的SAR图像配准预处理装置,基于FPGA实现SAR成像的景象匹配预处理,通过FPGA实现对小波变换运算(图像压缩)和卷积运算(图像增强)的简单、快速、实时、流水及并行的运算方式,降低FPGA资源利用率,从而降低该装置成本,减少SAR成像实时图像预处理时间。
2. 本发明的基于FPGA的SAR图像配准预处理装置,通过SRIO通信接口,接收到成像信号处理模块发送来的实时图数据,经过FPGA中BRAM进行临时存储,对实时图数据包解读及地址编码。其次,将数据分别送入到小波变换模块及卷积运算模块,进行并行处理。在此过程中,数据流保持了流水的方式,并且可根据设定的小波参数与卷积核参数进行运算步骤的调整,可灵活调整运算步骤,并且适应不同大小的图幅。最后,将实时图数据及预处理后的数据传输通过SRIO分别传输至DSP做精确匹配及定位。在整个SAR图像配准预处理装置中,有效避免了FPGA因存储而导致花费大量的处理时间,降低了DSP处理数据的压力,保证了SAR图像配准预处理装置的稳定性及可靠性,以8字节的数据流进行传输的,满足了实时、流水处理的方式,而且处理数据格式简单,传输速率可调节。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的一种基于FPGA的SAR图像配准预处理装置的总体框架图;
图2是本发明方法实施例提供的一种小波变换运算分解的流程图;
图3是本发明方法实施例提供的一种第一层小波运算寄存器
Figure SMS_1
数据流排列方式图;
图4是本发明方法实施例提供的一种第二层小波运算寄存器
Figure SMS_2
数据流排列方式图;
图5是本发明方法实施例提供的一种图像数据并行卷积运算流程图;
图6是本发明方法实施例提供的一种寄存器对图像数据补零及存储顺序处理图;
图7是本发明方法实施例提供的一种图像数据提取卷积特征图示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于FPGA的SAR图像配准预处理装置进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
实施例一
请参见图1,图1是本发明实施例提供的一种基于FPGA的SAR图像配准预处理装置的总体框架图,如图所示,本实施例的基于FPGA的SAR图像配准预处理装置,利用FPGA对输入的SAR图像数据进行卷积运算和小波变换运算的并行处理,得到SAR图像增强结果和SAR图像压缩结果。该基于FPGA的SAR图像配准预处理装置,包括:数据缓存器、地址计数器、图像卷积运算模块、小波变换运算模块、延时寄存器组和数据传输状态机。
其中,数据缓存器用于检测到有SAR图像数据传输时,对输入的SAR图像数据进行存储,在SAR图像数据全部缓存结束之后,将SAR图像数据同时输入至图像卷积运算模块和小波变换运算模块。
在本实施例中,基于FPGA的SAR图像配准预处理装置通过SRIO通信实现数据输入。输入缓存器通过SRIO通信链路检测到有SAR图像数据传输时,数据缓存器将接收的SAR图像数据存储至FPGA的BRAM然后根据通信协议解析出图像数据。
需要说明的是,为了保持数据的同步性,本实施例的基于FPGA的SAR图像配准预处理装置的数据输入和输出均与SRIO通信数据保持一致,采用8字节的数据流,保持流水的工作模式。
其中,地址计数器用于对输入的SAR图像数据进行地址编号,对SAR图像数据的起始点和终止点设置对应的标志信息。
在本实施例中,标志信息包括起始点小波运算标志信息、终止点小波运算标志信息、起始点卷积运算标志信息和终止点卷积运算标志信息。小波变换运算模块用于根据起始点小波运算标志信息和终止点小波运算标志信息,控制小波变换运算的数据始末位置;图像卷积运算模块用于根据起始点卷积运算标志信息和终止点卷积运算标志信息,控制卷积运算的数据始末位置。
其中,图像卷积运算模块用于对输入的SAR图像数据进行列补零操作,对列补零操作后的SAR图像数据利用多个卷积核分别进行卷积运算,得到SAR图像增强结果。小波变换运算模块用于根据小波变换运算的分解参数,对输入的SAR图像数据进行小波变换运算,得到SAR图像压缩结果。
其中,延时寄存器组用于在图像卷积运算和小波变换运算过程中储存需延迟处理的数据、运算过程中间值以及运算结果。
在一个可选地实施方式中,延时寄存器组包括小波变换运算寄存器组和卷积运算寄存器组。由于在卷积运算和小波变换运算过程中,需要调用乘法器和加法器,乘法器的输入要么是直接的,要么是延迟的,被延迟的数据被存储在对应的卷积运算寄存器组和小波变换运算寄存器组,延时寄存器组会根据地址计数器输入相对应的地址,卷积运算寄存器组和小波变换运算寄存器组还用来存储对应卷积运算和小波变换运算的中间值以及运算结果。
其中,数据传输状态机用于控制基于FPGA的SAR图像配准预处理装置按照SAR图像数据、SAR图像增强结果和SAR图像压缩结果的顺序进行数据输出。
在一个可选地实施方式中,数据传输状态机是一个控制数据输出先后顺序的可控制开关,共有三种状态分别为:空闲状态、卷积运算输出状态和小波变换运算输出状态。在没有数据输入时,保持在空闲状态;当卷积运算结果输出时,切换至卷积运算输出状态;当小波变换运算结果输出时,切换至小波变换运算输出状态,等待所有的数据都输出完毕,切换至空闲状态。
本实施例的基于FPGA的SAR图像配准预处理装置,基于FPGA实现SAR成像的景象匹配预处理(即,图像压缩处理和图像增强处理),通过FPGA实现对小波变换运算(图像压缩)和卷积运算(图像增强)简单、快速、实时、流水及并行的运算方式,降低FPGA资源利用率,从而降低该装置成本,减少SAR成像实时图像预处理时间。
进一步地,对本实施例的小波变换运算模块和图像卷积运算模块进行说明。
小波变换运算模块包括小波数据存储单元和小波分解运算单元,其中,小波数据存储单元用于将输入的SAR图像数据以8字节的数据流方式存入小波变换运算寄存器组的一个寄存器中,还用于将每一层分解运算结果存储至小波变换运算寄存器组的对应寄存器中。小波分解运算单元用于根据SAR图像数据进行第一层分解运算,还用于根据上一层分解运算结果进行下一层分解运算;其中,在进行分解运算过程中,所有数据均以8字节的数据流按照流水方式进行传输。
在本实施例中,小波变换运算寄存器组的寄存器数量与小波变换运算的分解层数相等。
示例性地,小波数据存储单元将输入的SAR图像数据以8字节的数据流方式存入小波变换运算寄存器组的第一个寄存器中,小波分解运算单元根据第一个寄存器中的数据进行第一层分解运算,小波数据存储单元将第一层分解运算结果存储至小波变换运算寄存器组的第二个寄存器中,小波分解运算单元根据第二个寄存器中的数据进行第二层分解运算,小波数据存储单元将第二层分解运算结果存储至小波变换运算寄存器组的第三个寄存器中,以此类推直至小波分解运算单元利用小波变换运算寄存器组的最后一个寄存器中的数据进行最后一层分解运算得到SAR图像压缩结果。
请结合参见图2所示小波变换运算分解的流程图,以哈尔小波变换为主,小波阈值为
Figure SMS_3
,分解层数为2层为例对小波变换运算模块的运算过程进行具体说明。由于预处理只需要将图像压缩,因此只需要图像小波变换后的低频信息,哈尔小波变换进行一层分解,相当于对图像进行数据压缩1/2,对于两层分解,对图像压缩1/4。通过算法原理,可以分解低频信息计算方法:假设大小为m×m的SAR图像数据,用/>
Figure SMS_4
表示SAR图像第i行第j列像素点的大小,用/>
Figure SMS_5
表示分解后第1行第1列像素点的低频信息,那么,
一层分解后的
Figure SMS_6
为:/>
Figure SMS_7
(1);
二层分解后的
Figure SMS_8
为:
Figure SMS_9
K层分解后的
Figure SMS_10
为:
Figure SMS_11
(3);
式中,k为分解层数。
根据上述计算方式可以定义相应的小波变换运算寄存器组进行小波运算,以两层分解为例,设计小波变换运算模块中,定义2个寄存器分别为
Figure SMS_12
Figure SMS_13
,用来寄存输入的SAR图像数据以及第一层分解的结果,将每个数据位定为12bit的数据,保证16个元素在最大为255时不被溢出。由于选择的是2层的小波分解运算,因此,第一个寄存器只需要存储至SAR图像数据的第2行数据的前8个字节数据就可以进行第一层分解运算,如图3所示的第一层小波运算寄存器/>
Figure SMS_14
数据流排列方式图。
小波变换的图像压缩与分解层数有关,满足条件
Figure SMS_15
,当分解层数为2时,只需要将4×4大小的单元数据压缩成一个数据。由于要满足数据是流水的条件,因此在FPGA中设计时,计算过程也需要设计成流水作业的方式,具体地第一层分解后的/>
Figure SMS_16
和/>
Figure SMS_17
计算方式为:
Figure SMS_18
(4);
式中,
Figure SMS_19
表示分解后第1行第2列像素点的低频信息;
因为是以8字节的流水方式进行传输的,所以第一次计算可以得出两组结果,然后将计算结果放至寄存器
Figure SMS_20
中,保存排列方式如附图4所示。
等待
Figure SMS_21
寄存器中数据都存满时,开始第二层分解,第二层分解后的/>
Figure SMS_22
和/>
Figure SMS_23
计算方式为:/>
Figure SMS_24
(5);
式中,
Figure SMS_25
表示第二层分解后的第1行第1列像素点的低频信息,/>
Figure SMS_26
表示第二层分解后的第1行第2列像素点的低频信息。
为了保持流水方式,数据总长度为8字节,因此,可选地,设计输出结果为一个数据流存放4个小波结果,即
Figure SMS_27
值得注意的是,在小波变换运算过程中,根据设定的小波基函数和小波阈值及分解层数,简化运算过程,并且避免了除法运算等,整个小波变换运算模块设计为流水的方式,计算过程为并行的,减少FPGA的资源利用。
在数据流传输到小波变换运算模块的同时,也同时传输至图像卷积运算模块进行卷积运算(图像增强处理)。为了保证流水方式,图像卷积运算模块也是以8字节的数据流进行运算,整个卷积运算的流程结合参见图5所示的本发明方法实施例提供的一种图像数据并行卷积运算流程图。
在一个可选地实施方式中,图像卷积运算模块包括卷积数据存储单元、补零操作单元、控制信号产生单元和卷积运算单元,其中,卷积数据存储单元用于将输入的SAR图像数据以8字节的数据流方式存入卷积运算寄存器组的第一组寄存器中;还用于在第一组寄存器存满后,将第一组寄存器中的数据按照存储顺序取出后存入至卷积运算寄存器组的第二组寄存器中;补零操作单元用于根据卷积核的大小计算得到SAR图像数据进行补零操作的行数和列数,对第一组寄存器中的SAR图像数据进行列方向的补零操作,得到列补零操作后的SAR图像数据;控制信号产生单元用于根据补零操作的行数生成行数控制信号;卷积运算单元用于将第二组寄存器中的数据分别与多个卷积核进行卷积运算,对每个卷积核的卷积运算结果进行融合得到SAR图像增强结果;其中,在进行卷积运算时,根据行数控制信号,去除与行补零操作的行数对应行的卷积核的值,仅对有效数据进行卷积运算。
在本实施例中,卷积运算寄存器组包括两组寄存器,对于大小为n×n的卷积核,每一组寄存器中包括n个寄存器,n为正整数。
需要说明的是,SAR图像配准为了提高精确度,会经过多次图像增强处理。因此,会有多个卷积核,多个卷积运算,每个卷积核的大小相同,且每个卷积核的卷积运算过程为并行处理。在本实施例中,设置有四个卷积核矩阵对同一幅SAR图像进行四次卷积运算。
示例性地,对本实施例卷积运算过程进行具体说明,在卷积计算过程中,每层的特征图卷积计算,都会根据输入特征图、卷积核和卷积步长,固定的降低特征图的大小,为实现特定大小的特征图输出,卷积计算开始前,部分算法会对输入特征图进行零填充处理,FPGA在处理这种填充方式时,会大量占用存储资源,增加FPGA的卷积计算总量,为此,在本实施例中,为了减少大量占用存储资源,在卷积运算时只对SAR图像数据进行列补零操作,省略行补零操作,根据补零操作的行数生成行数控制信号,在卷积运算时根据该行数控制信号去除与行补零操作的行数对应行的卷积核的值,仅对有效数据进行卷积运算。
请结合参见图6和图7,图6是本发明方法实施例提供的一种寄存器对图像数据补零及存储顺序处理图;图7是本发明方法实施例提供的一种图像数据提取卷积特征图示意图。当SAR图像数据输入图像卷积运算模块时,对SAR图像数据进行存储并且补零后的排序方式,假设SAR图像大小为m×m的二维矩阵,卷积核数据大小为n×n的二维矩阵。为了方便流水方式去处理,在FPGA中定义n个寄存器
Figure SMS_28
,数据按照8字节进行输入到寄存器中,如图6所示。
数据寄存器暂存过程中,因为是流水作业方式,因此等到全部寄存器暂存满之后就开始会有溢出,因此需要另外定义n个寄存器
Figure SMS_29
暂存数据,如图7所示,图像数据从左到右对应寄存器数从高位到低位,每一个元素占用8个字节。时钟打一拍,会更新一次,存入下一列数据,舍弃上一列数据,从而实现所有的数据都做卷积运算。
根据卷积核的大小,计算出补零操作的行数k,设定行数控制信号,当前k行图像数据与卷积核卷积时,控制卷积核的上半部分数据,只进行有效数据的运算,对于行补零部分将卷积核对应行的值直接丢弃。因此,前k行图像数据就只计算n-k行数据的卷积值,通过调用加法器和乘法器进行卷积运算。从k+1行图像数据时,开始叠加卷积核的行数,直至有效数据全部为图像数据,然后进行全卷积核运算,当图像运算至最后k行时,控制卷积核的下半部分数据,只对有效值进行运算,对于行补零部分将卷积核对应行的值直接丢弃。卷积运算直接调用IP核内部的乘法器和加法器进行运算。
当对输入的SAR图像数据全部进行卷积运算后,最终输出SAR图像增强结果,输出方式按照8字节数据流方式进行输出,保持流水方式。
需要说明的是,由于卷积核的值为定值,因此为了减少FPGA的资源利用,在本实施例中,根据已知的卷积核元素,按照从小到大的顺序排列,对相同元素只定义一次。在常规的计算中,卷积核与图像数据相对应位置进行相乘再相加,在本实施例中,对卷积核中元素相同位置的图像数据先进行相加,再进行与卷积核相乘,从而减少乘法器。
值得注意的是,在卷积运算过程中,直接忽略行补零操作过程,仅提取需要行补零以外的特征图矩阵,以及对应的卷积核矩阵,有效降低了卷积缓存所需的存储资源大小,减少了非必要的卷积计算过程,提高了图像卷积运算模块的利用率。
进一步地,通过小波变换运算模块和图像卷积运算模块并行处理数据后,根据数据传输状态机控制先发SAR图像数据,其次为SAR图像增强结果,最后为SAR图像压缩结果。由于小波变换运算与卷积运算是并行的,因此,延时寄存器组还包括运算结果寄存器,该运算结果寄存器用于暂存SAR图像压缩结果,SAR图像增强结果(卷积运算结果)直接以流水方式输出,最后以SRIO通信方式输出至后续其他信号处理单元模块进行相关操作。
本实施例的基于FPGA的SAR图像配准预处理装置,通过SRIO通信接口,接收到成像信号处理模块发送来的实时图数据,经过FPGA中BRAM进行临时存储,对实时图数据包解读及地址编码。其次,将数据分别送入到小波变换模块及卷积运算模块,进行并行处理。在此过程中,数据流保持了流水的方式,并且可根据设定的小波参数与卷积核参数进行运算步骤的调整,可灵活调整运算步骤,并且适应不同大小的图幅。最后,将实时图数据及预处理后的数据传输通过SRIO分别传输至DSP做精确匹配及定位。在整个SAR图像配准预处理装置中,有效避免了FPGA因存储而导致花费大量的处理时间,降低了DSP处理数据的压力,保证了SAR图像配准预处理装置的稳定性及可靠性,以8字节的数据流进行传输的,满足了实时、流水处理的方式,而且处理数据格式简单,传输速率可调节。
本实施例的基于FPGA的SAR图像配准预处理装置,采用的时钟范围可调,数据处理时间可调,数据的长度都可调,解决图像匹配预处理过程DSP无法实现快速、高效处理数据的任务。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于FPGA的SAR图像配准预处理装置,其特征在于,利用FPGA对输入的SAR图像数据进行卷积运算和小波变换运算的并行处理,得到SAR图像增强结果和SAR图像压缩结果,所述基于FPGA的SAR图像配准预处理装置,包括:数据缓存器、地址计数器、图像卷积运算模块、小波变换运算模块、延时寄存器组和数据传输状态机,其中,
所述数据缓存器,用于检测到有SAR图像数据传输时,对输入的SAR图像数据进行存储,在所述SAR图像数据全部缓存结束之后,将所述SAR图像数据同时输入至图像卷积运算模块和小波变换运算模块;
所述地址计数器,用于对输入的SAR图像数据进行地址编号,对SAR图像数据的起始点和终止点设置对应的标志信息;
所述图像卷积运算模块,用于对输入的所述SAR图像数据进行列补零操作,对列补零操作后的SAR图像数据利用多个卷积核分别进行卷积运算,得到SAR图像增强结果;
所述小波变换运算模块,用于根据小波变换运算的分解参数,对输入的所述SAR图像数据进行小波变换运算,得到SAR图像压缩结果;
所述延时寄存器组,用于在卷积运算和小波变换运算过程中储存需延迟处理的数据、运算过程中间值以及运算结果;
所述数据传输状态机,用于控制所述基于FPGA的SAR图像配准预处理装置按照SAR图像数据、SAR图像增强结果和SAR图像压缩结果的顺序进行数据输出。
2.根据权利要求1所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述基于FPGA的SAR图像配准预处理装置通过SRIO通信实现数据输入;
所述基于FPGA的SAR图像配准预处理装置的数据输入和输出均与SRIO通信数据保持一致,采用8字节的数据流。
3.根据权利要求1所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述数据缓存器将所述SAR图像数据存储至FPGA的BRAM。
4.根据权利要求1所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述标志信息包括起始点小波运算标志信息、终止点小波运算标志信息、起始点卷积运算标志信息和终止点卷积运算标志信息,其中,
所述小波变换运算模块,用于根据所述起始点小波运算标志信息和所述终止点小波运算标志信息,控制小波变换运算的数据始末位置;
所述图像卷积运算模块,用于根据所述起始点卷积运算标志信息和所述终止点卷积运算标志信息,控制卷积运算的数据始末位置。
5.根据权利要求1所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述延时寄存器组,包括小波变换运算寄存器组和卷积运算寄存器组,其中,
所述小波变换运算寄存器组的寄存器数量与小波变换运算的分解层数相等;
所述卷积运算寄存器组包括两组寄存器,对于大小为n×n的卷积核,每一组寄存器中包括n个寄存器,n为正整数。
6.根据权利要求5所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述小波变换运算模块,包括小波数据存储单元和小波分解运算单元,其中,
所述小波数据存储单元,用于将输入的所述SAR图像数据以8字节的数据流方式存入所述小波变换运算寄存器组的一个寄存器中,还用于将每一层分解运算结果存储至所述小波变换运算寄存器组的对应寄存器中;
所述小波分解运算单元,用于根据所述SAR图像数据进行第一层分解运算,还用于根据上一层分解运算结果进行下一层分解运算;
其中,在进行分解运算过程中,所有数据均以8字节的数据流按照流水方式进行传输。
7.根据权利要求5所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述图像卷积运算模块,包括卷积数据存储单元、补零操作单元、控制信号产生单元和卷积运算单元,其中,
所述卷积数据存储单元,用于将输入的所述SAR图像数据以8字节的数据流方式存入所述卷积运算寄存器组的第一组寄存器中;还用于在所述第一组寄存器存满后,将所述第一组寄存器中的数据按照存储顺序取出后存入至所述卷积运算寄存器组的第二组寄存器中;
所述补零操作单元,用于根据卷积核的大小计算得到所述SAR图像数据进行补零操作的行数和列数,对所述第一组寄存器中的所述SAR图像数据进行列方向的补零操作,得到列补零操作后的SAR图像数据;
控制信号产生单元,用于根据补零操作的行数生成行数控制信号;
所述卷积运算单元,用于将所述第二组寄存器中的数据分别与多个卷积核进行卷积运算,对每个卷积核的卷积运算结果进行融合得到SAR图像增强结果;其中,在进行卷积运算时,根据行数控制信号,去除与行补零操作的行数对应行的卷积核的值,仅对有效数据进行卷积运算。
8.根据权利要求5所述的基于FPGA的SAR图像配准预处理装置,其特征在于,所述延时寄存器组,还包括运算结果寄存器,所述运算结果寄存器用于暂存SAR图像压缩结果。
CN202310347479.5A 2023-04-04 2023-04-04 一种基于fpga的sar图像配准预处理装置 Active CN116152307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310347479.5A CN116152307B (zh) 2023-04-04 2023-04-04 一种基于fpga的sar图像配准预处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310347479.5A CN116152307B (zh) 2023-04-04 2023-04-04 一种基于fpga的sar图像配准预处理装置

Publications (2)

Publication Number Publication Date
CN116152307A true CN116152307A (zh) 2023-05-23
CN116152307B CN116152307B (zh) 2023-07-21

Family

ID=86350876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310347479.5A Active CN116152307B (zh) 2023-04-04 2023-04-04 一种基于fpga的sar图像配准预处理装置

Country Status (1)

Country Link
CN (1) CN116152307B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100012453A (ko) * 2008-07-29 2010-02-08 광운대학교 산학협력단 이산 웨이블릿 변환기의 LUT(Look UpTable) 기반 병렬 곱셈방법
KR20110020144A (ko) * 2009-08-21 2011-03-02 광운대학교 산학협력단 컨벌루션 기반 이산 웨이블릿 변환 장치
CN108960203A (zh) * 2018-08-01 2018-12-07 西安电子科技大学 一种基于fpga异构计算的车辆检测方法
CN109444886A (zh) * 2018-12-30 2019-03-08 成都汇蓉国科微系统技术有限公司 一种双基sar实时成像的并行计算处理方法、系统及介质
CN110119782A (zh) * 2019-05-14 2019-08-13 西安电子科技大学 基于fpga的sar图像变化检测方法
CN110598844A (zh) * 2019-08-06 2019-12-20 天津大学 一种基于fpga的并行卷积神经网络加速器及加速方法
WO2020029767A1 (zh) * 2018-08-06 2020-02-13 山东浪潮人工智能研究院有限公司 一种卷积神经网络的基本计算单元及计算方法
CN112134567A (zh) * 2020-08-28 2020-12-25 北京航空航天大学 一种吸收光谱数据的自适应实时压缩方法与系统
CN113610221A (zh) * 2021-06-29 2021-11-05 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统
CN114066713A (zh) * 2021-12-02 2022-02-18 华南理工大学 基于小波变换提升图像处理效率的系统及方法
WO2022110386A1 (zh) * 2020-11-30 2022-06-02 清华大学 数据处理方法及人工智能处理器
WO2022162216A1 (de) * 2021-02-01 2022-08-04 Recognitionfocus Gmbh Vorrichtung und verfahren zur korrespondenzanalyse in bildern

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100012453A (ko) * 2008-07-29 2010-02-08 광운대학교 산학협력단 이산 웨이블릿 변환기의 LUT(Look UpTable) 기반 병렬 곱셈방법
KR20110020144A (ko) * 2009-08-21 2011-03-02 광운대학교 산학협력단 컨벌루션 기반 이산 웨이블릿 변환 장치
CN108960203A (zh) * 2018-08-01 2018-12-07 西安电子科技大学 一种基于fpga异构计算的车辆检测方法
WO2020029767A1 (zh) * 2018-08-06 2020-02-13 山东浪潮人工智能研究院有限公司 一种卷积神经网络的基本计算单元及计算方法
CN109444886A (zh) * 2018-12-30 2019-03-08 成都汇蓉国科微系统技术有限公司 一种双基sar实时成像的并行计算处理方法、系统及介质
CN110119782A (zh) * 2019-05-14 2019-08-13 西安电子科技大学 基于fpga的sar图像变化检测方法
CN110598844A (zh) * 2019-08-06 2019-12-20 天津大学 一种基于fpga的并行卷积神经网络加速器及加速方法
CN112134567A (zh) * 2020-08-28 2020-12-25 北京航空航天大学 一种吸收光谱数据的自适应实时压缩方法与系统
WO2022110386A1 (zh) * 2020-11-30 2022-06-02 清华大学 数据处理方法及人工智能处理器
WO2022162216A1 (de) * 2021-02-01 2022-08-04 Recognitionfocus Gmbh Vorrichtung und verfahren zur korrespondenzanalyse in bildern
CN113610221A (zh) * 2021-06-29 2021-11-05 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统
CN114066713A (zh) * 2021-12-02 2022-02-18 华南理工大学 基于小波变换提升图像处理效率的系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAKHEE SANJAY BHOJAKAR 等: "A Novel Poly-Phase Architecture For High Performance Discrete Wavelet Transform In FPGA", 《INTERNATIONAL JOURNAL OF INNOVATIVE RESEARCH & DEVELOPMENT》, vol. 2, no. 7, pages 212 - 219 *
秦海轮: "基于空洞卷积和FPGA的SAR图像变化检测", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2020, no. 2, pages 135 - 772 *

Also Published As

Publication number Publication date
CN116152307B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11023801B2 (en) Data processing method and apparatus
CN110263909B (zh) 图像识别方法及装置
CN109886399B (zh) 一种张量处理装置及方法
US8766992B2 (en) Methods and apparatus for image processing at pixel rate
CN110688088A (zh) 一种面向神经网络的通用非线性激活函数计算装置和方法
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
CN110944201A (zh) 一种视频去重压缩的方法、装置、服务器及存储介质
CN108989731A (zh) 一种提高视频空间分辨率的方法
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN116152307B (zh) 一种基于fpga的sar图像配准预处理装置
US7298925B2 (en) Efficient scaling in transform domain
CN111047020B (zh) 支持压缩及解压缩的神经网络运算装置及方法
CN104639834A (zh) 一种摄像头图像数据传输的方法及系统
CN113688928B (zh) 图像匹配方法、装置、电子设备和计算机可读介质
CN113658041B (zh) 一种基于多图特征联合匹配的图像快速拼接方法
CN115130057A (zh) 一种基于fpga的通用矩阵相关计算实现系统及其方法
CN112308809B (zh) 一种图像合成方法、装置、计算机设备及存储介质
CN114219706A (zh) 基于网格分区特征点约减的图像快速拼接方法
WO2020134550A1 (zh) 数据压缩方法及相关装置
CN106530216B (zh) 全景影像文件处理方法及系统
CN112839230A (zh) 图像数据压缩装置及图像数据解压缩装置
CN112070211A (zh) 基于计算卸载机制的图像识别方法
CN110910312A (zh) 图像处理方法和装置、自动驾驶车辆、电子设备
CN110704022A (zh) 向量与矩阵的fpga并行快速乘法器模块及其计算方法
CN109714569B (zh) 多路视频图像实时融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant