CN115035128B - 基于fpga的图像重叠滑窗分割方法及系统 - Google Patents

Abstract

本发明公开一种基于FPGA的图像重叠滑窗分割方法及系统，该方法根据原始输入图像的列大小和分割子图的尺寸，确定FPGA片内BRAM存储资源开销，利用FPGA片内各块BRAM并行缓存各分割子图的像素数据，当BRAM接收到的像素数据达到预设值或是分割子图最后一个像素写入到片内BRAM，则以突发连续写方式从片内BRAM写到片外DDR存储；对于横向重叠滑窗分割产生的重复数据，采用同步并行写入到当前分割子图及其相邻分割子图分别对应的片内BRAM；对于纵向滑窗分割产生的重复数据，采取片外DDR存储起始地址回退偏移加拼接的方法。本发明可解决图像分割过程中低效率的数据访问引起的耗时严重问题。

Description

基于FPGA的图像重叠滑窗分割方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于FPGA的图像重叠滑窗分割方法及系统。

背景技术

图像分割是数字图像处理领域中的一项重要技术，尤其是在目标检测识别中更是具有重要作用。随着相机技术的迅猛发展，高清相机例如亿级像素的工业相机逐渐得到广泛应用，如何在超大尺寸中图像识别出关键敏感目标，逐渐成为当前研究的热点和难点。当前，采用深度学习方法进行目标检测识别是其中一项重要的主流技术，其流程是对原始输入大尺寸图像进行切片分割，转成适于深度学习算法处理且尺寸更小的若干分割子图输出，分割子图分别送给深度学习算法进行推理识别。为了降低待识别敏感目标刚好处于相邻分割子图之间而导致漏检识别的概率，重叠滑窗分割方法被大量采用。

但是，大尺寸图像分割由于涉及非连续寻址，特别是重叠滑窗分割产生的重复数据，造成片内存储和片外存储如DDR存储设备间频繁的低效率数据访问，导致分割效率明显降低并已成为影响整体目标检测识别实时性的一项重要瓶颈，亟待新的技术方案进行改进。针对大尺寸图像分割，当前主要有两种方法，一种是基于CPU软件程序执行方式，一种是基于FPGA的硬件并行处理方式。

申请号为CN201911037783.X提及了滑窗规格、滑窗步长设置、滑窗分割过程等，更注重基于滑窗方法进行小目标识别技术的整体流程，并没有对大尺寸图像滑窗分割过程中各分割子图的像素数据的详细处理提供方法以及进行相关描述。

申请号为CN201510253984.9，提及了基于FPGA对图像数据进行分割处理和显示的方法，利用FPGA内部存储进行图像分割并送给外部DSP处理并进行拼接显示，最终目的适用于整幅大尺寸图像显示。该发明但并没有对如何基于FPGA进行滑窗，尤其是带重叠区域的滑窗分割提供解决方法。

发明内容

为提升大尺寸图像目标检测识别的实时性能，解决大尺寸图像分割过程中耗时严重的瓶颈问题，本发明提出一种基于FPGA的图像重叠滑窗分割方法，通过FPGA片内BRAM对滑窗分割过程的各个子图进行缓存；对于横向重叠滑窗分割子图过程产生的重复数据，采用同步并行写入到当前分割子图及其相邻分割子图分别对应的片内BRAM；对于纵向重叠滑窗分割子图过程产生的k-s行k列重叠像素，采取起始地址回退偏移(k-s)*k个重叠像素的存储空间；片内BRAM与片外DDR存储间采用突发连续写方式。

本发明的目的通过如下的技术方案来实现：

一种基于FPGA的图像重叠滑窗分割方法，原始输入图像为m行×n列，分割子图尺寸为k行×k列；滑窗步长为s，且s<k，滑窗顺序先从左至右的横向，然后再从上到下的纵向，若边界不能整除，则通过向外填充全0像素进行扩展；所述FPGA共需⌈n/s⌉份BRAM存储，编号为0,1,2，…，⌈n/s⌉-1，其中，⌈ ⌉表示向上取整；

所述方法包括如下步骤：

S1：从原始图像的第1行开始，(1,1)至(1,s)像素数据按顺序写入BRAM_0，BRAM_0对应第(0,0)分割子图，(1,s+1)至(1,k)为第(0,0)与(0,1)分割子图在第1行横向滑窗过程的重叠区，重叠区的数据同步并行写入BRAM_0和BRAM_1，BRAM_1对应第(0,1)分割子图；

S2：执行横向重叠滑窗，并将第1行的(1,k+1)至(1,2s)像素数据写入BRAM_1，在横向重叠滑窗过程中，当各BRAM接收到的数据达到预设值或是各分割子图最后一个像素写入到各自对应的BRAM，则启动各片内BRAM向片外DDR存储的突发连续写操作；

S3：(1,2s+1)至(1,s+k)像素为第(0,1)和(0,2)分割子图在第1行横向滑窗过程产生的重叠，重叠的数据同步写入BRAM_1和BRAM_2，BRAM_2对应第(0,2)分割子图；

S4：以此类推，直至第1行所有像素横向重叠滑窗分割完毕；

S5：参照第1行，顺序执行第2行至第k行的横向重叠滑窗，直至第1次完整的横向重叠滑窗执行完毕且写入到片外DDR存储；

S6：执行纵向重叠滑窗处理，各分割子图(0,0)，(0,1)，…，(0, ⌈n/s⌉-1)最末尾的(k-s)行k列像素数据在片外DDR存储中作为下一批分割子图(1,0)，(1,1)，…，(1, ⌈n/s⌉-1)起始的(k-s)行k列像素数据，并与后续写入的各行像素数据进行拼接；

S7：原始图像第k+1行至第s+k行的横向重叠滑窗处理按照S1~S5执行，至此第2批分割子图(1,0)，(1,1)，…，(1, ⌈n/s⌉-1)分别写到对应的BRAM_0，BRAM_1，…，BRAM_⌈n/s⌉-1，并执行从片内BRAM向片外DDR存储的突发连续写操作；

S8：以此类推，重复横向重叠滑窗与纵向重叠滑窗的交叉处理，直至整幅原始输入图像重叠滑窗分割完毕并分别写入到外部DDR存储。

进一步地，步骤S6纵向重叠滑窗分割过程中，下一批分割子图与上一批分割子图分别使用各自对应的同一份BRAM存储，纵向滑窗形成的重叠区(k-s)*k个像素数据，在DDR外部存储中通过起始地址回退偏移与后续像素数据拼接，实现纵向重叠区域数据复用。

进一步地，步骤S2中的预设值等于突发连续写的最大容量，从而使得对外部DDR访问效率最高。

进一步地，步骤S8写入到外部DDR存储中的每个分割子图内部像素数据按行优先方式连续寻址，各分割子图间按列优先排序且地址连续，即子图存放顺序为(0,0)、(1,0)、(2,0)、…、(⌈m/s⌉-1,0)、(0,1)、(1,1)、…、(⌈m/s⌉-1, ⌈n/s⌉-1)。

一种基于FPGA的图像重叠滑窗分割系统，该系统包括一个或多个处理器，用于实现上述的基于FPGA的图像重叠滑窗分割方法。

一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现基于FPGA的图像重叠滑窗分割方法。

本发明的有益效果如下：

本发明通过FPGA片内BRAM对大尺寸图像滑窗分割产生的各个子图进行缓存，并以突发连续写方式写入到片外DDR存储，避免了图像分割过程对片外DDR存储频繁且低效率的读写访问；对于横向重叠滑窗产生的重复数据采取并行同步写到当前分割子图及其相邻分割子图分别对应的片内BRAM，对于纵向重叠滑窗产生的重复数据，通过对片外DDR存储执行起始地址回退偏移并与后续像素数据拼接，从而实现复用并节省存储空间占用；各分割子图在片外DDR存储中实现了连续寻址，利于后续深度学习算法的高效调用。本发明可以显著提高大尺寸图像分割尤其是重叠滑窗分割的执行效率，进而明显改善大尺寸图像目标检测识别整体实时性能。

附图说明

图1为m行×n列大尺寸图像重叠滑窗分割示意图；

图2为横向重叠滑窗分割时像素数据在FPGA片内BRAM存储示意图；

图3为纵向重叠滑窗时上下相邻分割子图在BRAM的数据存储图；

图4为各分割子图在外部DDR存储的整体寻址顺序图。

图5为本发明的基于FPGA的图像重叠滑窗分割系统的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先给出技术术语解释：

（1）FPGA：Field Programmable Gate Array 现场可编程门阵列

（2）BRAM：Block RAM，FPGA内部块状RAM

（3）AXI：Advanced eXtensible Interface，AXI总线接口

（4） DDR：Double Data Rate，这里特指DDR Synchronous Dynamic RandomAccess Memory，例如DDR3（或DDR4）SDRAM。

本发明具体实施例以亿级像素的原始大尺寸图像为例其尺寸11664行×8750列，分割子图尺寸为深度学习算法常用的1024行×1024列尺寸；横纵滑窗步长均为808，重叠区为216个像素，重叠率大于20%，整个重叠滑窗分割过程将产生11664/808+1=15行、8750/808+1=11列共计165个分割子图。选用Xilinx公司提供的VC707作为开发板，FPGA型号是XC7VX485T-2FFG1761C，共需11份片内BRAM缓存分别11列分割子图，BRAM缓存编号为BRAM_0，BRAM_1，…，BRAM_10。图片中的每1个像素占32比特，AXI总线位宽为512比特，每份片内BRAM缓存由8块36Kb的BRAM并行拼接组成，可以支持AXI总线协议最大256次的突发连续写长度且为双端口的BRAM并行流水线读写提供缓存余量，整个重叠滑窗分割子图任务仅需88块36Kb的BRAM。

本实施例具体的执行过程如下：

步骤1：从原始输入大尺寸图像的左上角即第1行开始，将像素(1,1)至(1,808)的数据按顺序写入BRAM_0，像素(1,809)至(1,1024)为第一行分割子图中的第(0,0)与(0,1)分割子图在第1行横向滑窗过程的重叠区，这216个像素数据在写入BRAM_0的同时，并行写入到BRAM_1，BRAM_1对应的是第(0,1)分割子图，如此实现了对横向滑窗重叠数据的并行处理；如图1所示，图中的m=11664，n=8750，k=1024，s=808重叠区为k-s=216；图中交叉条纹区域表示滑窗过程产生的重叠区，最右侧和最底侧是填充全0像素的区域，用于图片取整。

步骤2：将滑窗向右横向滑行，继续将第1行的像素(1,1025)至(1,1616)数据写入到BRAM_1，在本实施例中，将各份片内BRAM向片外DDR存储启动突发连续写预设值为最大256次的512比特突发连续写，因此需要执行超过4行及其以上的横向重叠滑窗才会启动向片外DDR存储的写操作。这里的预设值优先等于突发连续写的最大容量，从而使得对外部DDR访问效率最高。

步骤3：像素(1,1617)至(1,1832)区域是第(0,1)和(0,2)分割子图在第1行横向滑窗过程产生的重叠，类似步骤S1，重叠的数据同步写入BRAM_1和BRAM_2，其中BRAM_2对应第(0,2)分割子图。

步骤4：以此类推，直至第1行所有像素横向重叠滑窗分割完毕，横向滑窗过程各分割子图像素数据在BRAM缓存中存放示意图如图2所示，图中k=1024，s=808。

步骤5：参照第1行，顺序执行原始图像第2行至第1024行的横向重叠滑窗，直至第1次完整的横向重叠滑窗执行完毕；在此过程中，当执行完连续4行的横向滑窗，各份BRAM存储接收到的数据容量达到了最大256次突发连续写512比特的门限，将启动从片内BRAM读取并向片外DDR存储写操作，同时各份BRAM提供充足余量，保证后续滑窗分割并行流水线写入像素数据而不会覆盖上一批分割子图数据。

步骤6：执行纵向重叠滑窗处理，各分割子图(0,0)，(0,1)，…，(0,10)最末尾的216行1024列像素数据在片外DDR存储中作为下一批分割子图(1,0)，(1,1)，…，(1,10)起始的216行1024列像素数据，并与后续写入的各行像素数据进行拼接；如图3所示，以第1列的第（0,1）分割子图与（1,1）分割子图数据存储关系进行描述，图中k=1024，s=808。

步骤7：原始图像第1025行至第1832行的横向重叠滑窗处理按照步骤1~步骤5执行，至此第2批分割子图(1,0)，(1,1)，…，(1,10)分别写到对应的BRAM_0，BRAM_1，…，BRAM_10中存储空间的下半区，并执行片内BRAM向片外DDR存储的突发连续写操作；各分割子图在外部DDR存储的整体寻址顺序如图4所示，图中m=11664，n=8750，k=1024，s=808，共存放165张分割子图，每个分割子图内部像素数据按行优先方式连续寻址，各分割子图间按列优先方式排序且地址连续，即子图存放顺序为(0,0)、(1,0)、(2,0)、…、(14,0)、(0,1)、(1,1)、…、(14, 10)，非常适合后续深度学习算法模块对分割子图数据的高效调用。

步骤8：以此类推，重复执行步骤1~步骤7类似操作，执行横向重叠滑窗与纵向重叠滑窗交叉处理，直至整幅原始输入大尺寸图像重叠滑窗分割及写入到外部DDR存储；至此，实现11664行×8750列亿级像素规模的基于FPGA的大尺寸图像重叠滑窗分割所有流程。

通过本发明实施例可以发现，对于m行×n列大尺寸图像重叠滑窗分割，通过对于横向滑窗产生的重复数据采取并行同步写的方式，提高了横向重叠像素数据处理效率；对于纵向重叠滑窗产生的重复数据，通过对片外DDR存储执行起始地址回退偏移并与后续像素数据拼接，实现了数据复用并节了省存储空间占用；各分割子图以突发连续写方式写入到片外DDR存储，提高了数据访问效率；各分割子图在片外DDR存储连续寻址的方式，利于后续深度学习算法模块对分割子图数据的高效调用。因此，本发明可以实现大尺寸图像的高效率重叠滑窗分割，有助于大尺寸图像目标检测识别整体实时性能的显著提升。

与前述基于FPGA的图像重叠滑窗分割方法的实施例相对应，本发明还提供了一种基于FPGA的图像重叠滑窗分割系统的实施例。

参见图5，本发明实施例提供一种基于FPGA的图像重叠滑窗分割系统，包括一个或多个处理器，用于实现上述实施例中的基于FPGA的图像重叠滑窗分割方法。

本发明基于FPGA的图像重叠滑窗分割系统的实施例可以应用在任意具备数据处 理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或置。装置实 施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。

以软件实现为例，作 为一个逻辑意义上的系统，是通过其所在任意具备数据处理能力的设备的处理器将非易失 性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所 示，为本发明基于FPGA的图像重叠滑窗分割系统所在任意具备数据处理能力的设备的一种 硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中 系统所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实 际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于FPGA的图像重叠滑窗分割方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(SmartMedia card, SMC)、SD卡、闪存卡(Flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算仉程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储己经输出或者将要输出的数据。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于FPGA的图像重叠滑窗分割方法，其特征在于，原始输入图像为m行×n列，分割子图尺寸为k行×k列；滑窗步长为s，且s<k，滑窗顺序先从左至右的横向，然后再从上到下的纵向，若边界不能整除，则通过向外填充全0像素进行扩展；所述FPGA共需⌈n/s⌉份BRAM存储，编号为0,1,2，…，⌈n/s⌉-1，其中，⌈ ⌉表示向上取整；

所述方法包括如下步骤：

S1：从原始图像的第1行开始，(1,1)至(1,s)像素数据按顺序写入BRAM_0，BRAM_0对应第(0,0)分割子图，(1,s+1)至(1,k)为第(0,0)与(0,1)分割子图在第1行横向滑窗过程的重叠区，重叠区的数据同步并行写入BRAM_0和BRAM_1，BRAM_1对应第(0,1)分割子图；

S2：执行横向重叠滑窗，并将第1行的(1,k+1)至(1,2s)像素数据写入BRAM_1，在横向重叠滑窗过程中，当各BRAM接收到的数据达到预设值或是各分割子图最后一个像素写入到各自对应的BRAM，则启动各片内BRAM向片外DDR存储的突发连续写操作；

S3：(1,2s+1)至(1,s+k)像素为第(0,1)和(0,2)分割子图在第1行横向滑窗过程产生的重叠，重叠的数据同步写入BRAM_1和BRAM_2，BRAM_2对应第(0,2)分割子图；

S4：以此类推，直至第1行所有像素横向重叠滑窗分割完毕；

S5：参照第1行，顺序执行第2行至第k行的横向重叠滑窗，直至第1次完整的横向重叠滑窗执行完毕且写入到片外DDR存储；

S6：执行纵向重叠滑窗处理，各分割子图(0,0)，(0,1)，…，(0, ⌈n/s⌉-1)最末尾的(k-s)行k列像素数据在片外DDR存储中作为下一批分割子图(1,0)，(1,1)，…，(1, ⌈n/s⌉-1)起始的(k-s)行k列像素数据，并与后续写入的各行像素数据进行拼接；

S7：原始图像第k+1行至第s+k行的横向重叠滑窗处理按照S1~S5执行，至此第2批分割子图(1,0)，(1,1)，…，(1, ⌈n/s⌉-1)分别写到对应的BRAM_0，BRAM_1，…，BRAM_⌈n/s⌉-1，并执行从片内BRAM向片外DDR存储的突发连续写操作；

S8：以此类推，重复横向重叠滑窗与纵向重叠滑窗的交叉处理，直至整幅原始输入图像重叠滑窗分割完毕并分别写入到外部DDR存储。

2.根据权利要求1所述的基于FPGA的图像重叠滑窗分割方法，其特征在于，步骤S6纵向重叠滑窗分割过程中，下一批分割子图与上一批分割子图分别使用各自对应的同一份BRAM存储，纵向滑窗形成的重叠区(k-s)*k个像素数据，在DDR外部存储中通过起始地址回退偏移与后续像素数据拼接，实现纵向重叠区域数据复用。

3.根据权利要求1所述的基于FPGA的图像重叠滑窗分割方法，其特征在于，步骤S2中的预设值等于突发连续写的最大容量，从而使得对外部DDR访问效率最高。

4.根据权利要求1所述的基于FPGA的图像重叠滑窗分割方法，其特征在于，步骤S8写入到外部DDR存储中的每个分割子图内部像素数据按行优先方式连续寻址，各分割子图间按列优先排序且地址连续，即子图存放顺序为(0,0)、(1,0)、(2,0)、…、(⌈m/s⌉-1,0)、(0,1)、(1,1)、…、(⌈m/s⌉-1, ⌈n/s⌉-1)。

5.一种基于FPGA的图像重叠滑窗分割系统，其特征在于，该系统包括一个或多个处理器，用于实现权利要求1~4中任一项所述的基于FPGA的图像重叠滑窗分割方法。

6.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1~4中任一项的基于FPGA的图像重叠滑窗分割方法。

Images