CN102663666B - 基于fpga的二维图像重采样算法加速器 - Google Patents

Abstract

本发明公开了一种基于FPGA的二维图像重采样算法加速器，包括FPGA芯片和外部存储器，FPGA芯片将从外部采集的已知图像存储到外部存储器中；在进行重采样处理时，FPGA芯片从外部存储器中读取已知图像的数据进行计算，并将计算得到的结果图像存储到外部存储器中并输出到外部。本发明可实现存在刚性变换的二维图像的重采样处理。

Description

基于FPGA的二维图像重采样算法加速器

技术领域

本发明涉及数字图像处理、电路与系统领域，特指一种二维图像重采样算法加速器。

背景技术

随着图像获取技术和应用需求的高速发展，单幅图像的数据量和单位时间内的总图像数据量均呈现指数增长态势，从而给传统的基于软件实现的各类图像应用的处理速度提出了巨大挑战。传统的基于软件实现的图像处理途径主要有两种：①基于桌面PC计算机、工作站、服务器等实现的单机图像处理软件；②基于大规模并行处理机、集群系统等实现的多机并行图像处理软件。从用户使用的角度出发，方法①具有平台体积较小、用户使用便捷的特点，但受限于平台性能，其处理速度不能满足现代图像应用对大规模数据的实时或及时处理需求。方法②具有处理性能高、实时性强的优点，但受限于大规模并行计算平台较低的可用性以及并行算法较高的设计难度，普通用户使用极不方便。同时，上述两种方法还有一个共同的缺点：环境适用性较差，难以满足一些对体积、性能等有特殊要求的场合(例如星载遥感图像处理)的使用需求。

重采样算法是图像处理的一种基本方法，是由已知图像根据一定的变换规则产生目标结果图像的过程，广泛使用在图像校正、图像配准、图像融合、图像变换等应用领域。重采样算法主要包括两个前后衔接的计算处理过程：①根据变换规则计算结果图像中的每个像素点位在已知图像中的共轭位置，常见的变换规则包括刚性变换、仿射变换、透视变换、多项式变换等；②根据已知图像中以共轭位置为中心的某一范围内(称为插值像素窗口，一般为矩形窗口)的所有像素值确定结果图像中相应像素点位的像素值，常见的像素值确定方法有双三次卷积法、双线性插值法、最邻近像素法等，其中双三次卷积法的采样精度最高，但计算复杂度也最高。

计算机生产制造工艺的飞速发展使得芯片容量越来越大，工作频率越来越高，从而为采用硬件实现更为复杂的功能(例如各种复杂的应用算法)提供了器件基础。现代FPGA(Field-Programmable Gate Array，现场可编程门阵列)器件及相关设计技术的发展为快速逻辑设计、验证、实现提供了一种极为方便的设计途径。算法加速器是指针对具体的应用算法而专门优化设计的硬件实体，其具有较高的数据吞吐率，从而成为应对大规模数据实时或及时处理问题的有效技术途径。算法加速器不仅能够作为独立实体单独使用，而且能够作为协处理或者附加模块在现有平台上使用。由于FPGA内部集成的存储块容量通常只有几KB～几MB，不能满足大容量图像数据的处理需求，故现有的加速器设计中还未发现有基于FPGA芯片实现的图像重采样算法加速器。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种数据吞吐率高、处理速度快、使用便捷、实时性好和适用性广的基于FPGA的二维图像重采样算法加速器。

为解决上述技术问题，本发明采用以下技术方案：

一种基于FPGA的二维图像重采样算法加速器，包括FPGA芯片和外部存储器，所述FPGA芯片将从外部采集的已知图像存储到所述外部存储器中；在进行重采样处理时，所述FPGA芯片从所述外部存储器中读取已知图像的数据进行计算，并将计算得到的结果图像存储到所述外部存储器中并输出到外部。

作为本发明的进一步改进：

所述FPGA芯片包括存储控制模块、坐标计算模块、权重计算模块、结果像素值计算模块和总控模块；所述存储控制模块用于将从外部采集的已知图像和计算得到的结果图像存储到所述外部存储器中，并在重采样处理过程中读取插值像素窗口中的所有像素点；所述坐标计算模块用于计算结果图像中每个像素点位在已知图像中的共轭位置的坐标，将所得坐标分解成坐标整数部分和坐标小数部分，并将所述坐标整数部分输出给所述存储控制模块用以读取插值像素窗口中的所有像素点，将所述坐标小数部分输出给所述权重计算模块用以计算插值像素窗口中每个像素点的插值权重；

所述结果像素值计算模块根据插值像素窗口中的每个像素点及其相应的插值权重计算结果图像中对应像素点位的像素值，所得所有像素值通过所述存储控制模块按序输出到外部存储器存储为结果图像数据；

所述总控模块对所述存储控制模块、所述坐标计算模块、所述权重计算模块和所述结果像素值计算模块进行管理。

所述外部存储器为SDRAM或闪存。

与现有技术相比，本发明的优点在于：

1、本发明的基于FPGA的二维图像重采样算法加速器，采用FPGA芯片外接外部存储器的结构，使加速器具有更高的数据吞吐率、更快的数据处理速度，并能够满足海量图像数据的实时或及时处理需求。本发明的加速器与现有基于桌面PC计算机、工作站、服务器等实现的单机图像处理软件技术相比，采用FPGA芯片实现不仅能够获得较高的计算处理能力，而且具有体积小、使用方便、适用场合广等特点。与现有基于大规模并行处理机、集群系统等实现的多机并行图像处理软件技术相比，本发明具有体积小、造价低、使用便捷等优点。

2、本发明的基于FPGA的二维图像重采样算法加速器，采用坐标计算模块和权重计算模块实现插值权重即时计算，与传统基于查找表实现的权重确定方法相比，有效避免了存储权重系数所产生的存储容量以及访问存储器带来的存储延迟，具有低存储、低延迟的优点，可实现存在刚性变换的二维图像重采样处理。

3、本发明的基于FPGA的二维图像重采样算法加速器，不仅能够作为独立实体单独使用，而且能够作为协处理或者附加模块在现有平台上使用，能够满足多种环境的使用需求，特别是对性能、体积等有严格要求的星载遥感图像处理环境。

附图说明

图1是本发明的基于FPGA的二维图像重采样算法加速器的组成结构示意图。

图2是本发明具体实施方式的重采样数据处理单元的组成结构示意图。

图3是本发明具体实施方式的坐标计算模块的结构示意图。

图4是本发明具体实施方式的权重计算模块的结构示意图。

图5是本发明具体实施方式的sinc函数计算模块的结构示意图。

图6是本发明具体实施方式的结果像素值计算模块的结构示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明的基于FPGA的二维图像重采样算法加速器，包括FPGA芯片和外部存储器，FPGA芯片将从外部采集的已知图像存储到外部存储器中；在进行重采样处理时，FPGA芯片从外部存储器中读取已知图像的数据进行计算，并将计算得到的结果图像存储到外部存储器中并输出到外部。本实施例中，外部存储器为SDRAM或闪存。

本实施例中，如图2所示，FPGA芯片包括存储控制模块、坐标计算模块、权重计算模块、结果像素值计算模块和总控模块；存储控制模块用于将从外部采集的已知图像和计算得到的结果图像存储到外部存储器中，并在重采样处理过程中读取插值像素窗口中的所有像素点；坐标计算模块用于计算结果图像中每个像素点位在已知图像中的共轭位置的坐标，将所得坐标分解成坐标整数部分和坐标小数部分，并将坐标整数部分输出给存储控制模块用以读取插值像素窗口中的所有像素点，将坐标小数部分输出给权重计算模块用以计算插值像素窗口中每个像素点的插值权重；

结果像素值计算模块根据插值像素窗口中的每个像素点及其相应的插值权重计算结果图像中对应像素点位的像素值，所得所有像素值通过存储控制模块按序输出到外部存储器存储为结果图像数据；

总控模块对存储控制模块、坐标计算模块、权重计算模块和结果像素值计算模块进行管理。

本发明的基于FPGA的二维图像重采样算法加速器工作步骤如下：

1、输入已知图像和重采样的图像变换参数。

1.1存储控制模块在总控模块的控制下将从外部采集的待重采样的大小为W×H的已知图像存放至外部存储器中。

1.2用户将重采样的图像变换参数(X_off，Y_off，θ)传输给总控模块，其中X_off为水平方向的平移量，Y_off为垂直方向的平移量，θ为图像旋转角度。

2、坐标计算模块根据重采样的图像变换参数(X_off，Y_off，θ)以及重采样的图像变换规则，计算结果图像中当前点位(TX，TY)在已知图像中的共轭位置的坐标(X，Y)；由于二维图像是由离散的像素点组成，因此该共轭坐标一般为非整数点位。坐标计算模块在共轭位置的坐标(X，Y)计算出来之后，将所得坐标分解成坐标整数部分(X_int，Y_int)和坐标小数部分(X_fra，Y_fra)分别输出给存储控制模块和权重计算模块。

本实施例中，如图3所示，坐标计算模块的计算规则为如下式(1)的刚性变换规则：

$\left\{\begin{array}{c}X=\cos \mathrm{\θ}\×(\mathrm{TX}-X_{\mathrm{off}}-W/2)+\sin \mathrm{\θ}\×(\mathrm{TY}-Y_{\mathrm{off}}-H/2)+W/2\\ Y=-\sin \mathrm{\θ}\×(\mathrm{TX}-X_{\mathrm{off}}-W/2)+\cos \mathrm{\θ}\×(\mathrm{TY}-Y_{\mathrm{off}}-H/2)+H/2\end{array}\right.---\left(1\right).$

其中，sinθ、cosθ均在坐标计算模块启动之前计算得到，整个算法执行过程中保持不变，W/2、H/2只在需要时通过将W或H通过＞＞1(右移1位)操作即可完成。图3中为实现上述计算的逻辑电路结构，其中，A为有符号加法运算单元；B为有符号减法运算单元；C为有符号乘法运算单元。

3、存储控制模块根据坐标整数部分(X_int，Y_int)，从外部存储器中读取插值像素窗口中的所有像素点，并传给结果像素值计算模块。本实施例中，插值像素窗口的大小为4×4。

4、权重计算模块根据坐标小数部分(X_fra，Y_fra)计算插值像素窗口中每个像素点的插值权重并传给结果像素值计算模块。

如图4所示，步骤4中插值权重的计算采用双三次卷积法，具体为：

4.1计算X_fra、X_fra+1、X_fra-1、X_fra-2、Y_fra、Y_fra+1、Y_fra-1和Y_fra-2的sinc值。

4.2最后取步骤4.1中前四者中任一个的sinc值与后四者中任一个的sinc值(1个X和1个Y对应相乘)两两对应相乘，得到共计16个权重系数(同时计算得到)。

本实施例中，采用基于4×4插值像素窗口的重采样方法，即根据已知图像中以共轭坐标为中心的4×4像素窗口计算结果图像中相应点位的像素值，为保证重采样精度，窗口中每个像素值对结果像素值的贡献(权重系数)通过双三次卷积法确定，即插值像素窗口中(x，y)位置上的像素值的权重系数w(x，y)的计算公式为：

w(x，y)＝sinc(x)×sinc(y)(2)

其中，x∈{X_fra-2，X_fra-1，X_fra，X_fra+1}，y∈{Y_fra-2，Y_fra-1，Y_fra，Y_fra+1}，sinc函数的计算公式为：

$\sin c\left(x\right)=\left\{\begin{array}{cc}1-{2x}^2+{\left|x\right|}^3,& \left|x\right|<1\\ 4-8\left|x\right|+{5x}^2-{\left|x\right|}^3,& 1\&le;\left|x\right|<2\\ 0,& \left|x\right|\&GreaterEqual;2\end{array}\right.---\left(3\right)$

图5中为实现上述sinc函数计算的逻辑电路结构。由于sinc函数根据输入的取值范围而具有多个计算分支，传统实现方式为先判断而后计算，判断和计算只能顺序执行。为提高计算效率，本实施例的sinc模块采用判断和计算并行执行的实现方式，所有计算分支同时计算，最后根据输入|x|的取值范围选择相应的计算结果输出。

5、结果像素值计算模块根据读取的插值像素窗口中的像素值及其对应的插值权重进行计算，得到结果图像中当前点位的像素值。

如图6所示，本实施例中，结果像素计算模块的输入为存储控制模块读取的4×4插值像素窗口中的16个像素值(图6中标记为p0、p1、p2...p15)以及权重计算模块计算得到的对应16个权重值(图6中标记为w0、w1、w2...w15)，其计算过程为16个像素值与对应的16个权重值两两相乘，而后再累加即得到浮点形式的结果像素值，最后采用浮点定点转换部件对其进行截断，从而得到最终的结果像素值。

6、存储控制模块将得到的结果图像中当前点位的像素值按照其固定位置写入外部存储器。

7、重复步骤2～6计算结果图像中下一点位的像素值。

8、待结果图像中所有点位的像素值计算完毕，存储控制模块在总控模块的控制下将结果图像数据输出到外部。

坐标计算模块、权重计算模块、结果像素值计算模块均采用流水线设计，保证本发明的图像重采样算法加速器每拍能够计算得到结果图像中的一个像素点位的像素值。

本发明的图像重采样算法加速器采用FPGA芯片外接外部存储器实现，可以满足二维图像重采样算法的计算复杂度高且存储需求大的要求，不仅能够获得较高的计算处理能力，而且具有体积小、使用方便、适用场合广等特点。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (2)

1.一种基于FPGA的二维图像重采样算法加速器，其特征在于，包括FPGA芯片和外部存储器，所述FPGA芯片将从外部采集的已知图像存储到所述外部存储器中；在进行重采样处理时，所述FPGA芯片从所述外部存储器中读取已知图像的数据进行计算，并将计算得到的结果图像存储到所述外部存储器中并输出到外部；

所述FPGA芯片包括存储控制模块、坐标计算模块、权重计算模块、结果像素值计算模块和总控模块；所述存储控制模块用于将从外部采集的已知图像和计算得到的结果图像存储到所述外部存储器中，并在重采样处理过程中读取插值像素窗口中的所有像素点；即，存储控制模块在总控模块的控制下将从外部采集的待重采样的大小为W×H的已知图像存放至外部存储器中；用户将重采样的图像变换参数(X_off,Y_off,θ)传输给总控模块，其中X_off为水平方向的平移量，Y_off为垂直方向的平移量，θ为图像旋转角度；所述坐标计算模块用于计算结果图像中每个像素点位在已知图像中的共轭位置的坐标，将所得坐标分解成坐标整数部分和坐标小数部分，并将所述坐标整数部分输出给所述存储控制模块用以读取插值像素窗口中的所有像素点，将所述坐标小数部分输出给所述权重计算模块用以计算插值像素窗口中每个像素点的插值权重；对于结果图像中当前点位(TX,TY)在已知图像中的共轭位置的坐标(X,Y)而言，坐标计算模块在共轭位置的坐标(X,Y)计算出来之后，将所得坐标分解成坐标整数部分(X_int,Y_int)和坐标小数部分(X_fra,Y_fra)分别输出给存储控制模块和权重计算模块；坐标计算模块的计算规则为如下式（1）的刚性变换规则：

$\left\{\begin{array}{c}X=\cos \mathrm{\&theta;}\&times;(\mathrm{TX}-X_{\mathrm{off}}-W/2)+\sin \mathrm{\&theta;}\&times;(\mathrm{TY}-Y_{\mathrm{off}}-H/2)+W/2\\ Y=-\sin \mathrm{\&theta;}\&times;(\mathrm{TX}-X_{\mathrm{off}}-W/2)+\cos \mathrm{\&theta;}\&times;(\mathrm{TY}-Y_{\mathrm{off}}-H/2)+H/2\end{array}\right.---\left(1\right)$

其中，sinθ、cosθ均在坐标计算模块启动之前计算得到，W/2、H/2通过将W或H通过右移1位操作即可完成；A为有符号加法运算单元；B为有符号减法运算单元；C为有符号乘法运算单元；

所述结果像素值计算模块根据插值像素窗口中的每个像素点及其相应的插值权重计算结果图像中对应像素点位的像素值，所得所有像素值通过所述存储控制模块按序输出到外部存储器存储为结果图像数据；

所述总控模块对所述存储控制模块、所述坐标计算模块、所述权重计算模块和所述结果像素值计算模块进行管理。

2.根据权利要求1所述的基于FPGA的二维图像重采样算法加速器，其特征在于，所述外部存储器为SDRAM或闪存。

Images