CN105678682B - 一种基于fpga的二值图像连通区域信息快速获取系统及方法 - Google Patents

Abstract

本发明提出了一种基于FPGA的二值图像连通区域信息获取系统及方法，所述方法如下：采用帧同步信号、行同步信号、二值图像数据和像素同步时钟作为图像输入信号。第一个行有效期间检测第一行图像的游程信息。第二个行有效期间检测第二行图像的游程信息，把第一行游程信息合并，获取连通区域信息，建立第一行游程查找表。第三个行有效期间检测第二行图像的游程信息，利用第一行的游程查找表合并第二行游程信息，获取连通区域信息，建立第二行游程查找表。后续操作与第三行操作一致，图像输入完成即可得到连通区域信息。本发明采用流水线操作，充分利用FPGA的并行优势，可以实现高分辨率图像连通区域信息的实时获取。

Description

一种基于FPGA的二值图像连通区域信息快速获取系统及方法

【技术领域】

本发明提出了一种用于图像识别和目标信息提取的方法，具体涉及一种基于FPGA的二值图像连通区域信息的快速获取系统及方法。

【背景技术】

二值图像(binary image)是指每个像素由“0”或“1”来表示的图像。连通区域标记算法要求将二值图像中属于同一连通区域的所有像素使用唯一的标号进行标记，同时统计连通区域面积和外接矩形等信息。该过程是计算机视觉、模式识别和图像跟踪中一个非常重要的基础操作，有着广泛的应用领域。

连通区域标记分为基于4邻域和8邻域的两种统计结果，4邻域是指目标像素和上下左右四个像素组成的图像区域，8邻域是指中心像素和周围8个像素组成的区域。

传统的连通区域标记方法有：

1.基于合并查找表的连通区域标记算法，以像素或游程为单位，对图像进行扫描，建立等价关系表并确定合并关系，然后依据合并之后的等价关系表对图像进行第二次扫描，获取图像的连通区域信息。主要不足是：合并查找表需要占用较大储存空间，合并算法复杂，各个步骤之间多为串行操作，需要进行至少两次扫描，耗费时间长，不能做到实时处理。

2.基于区域生长的连通区域标记算法，以像素或游程为单对图像进行迭代扫描，判断像素、游程与周围像素或游程之间的连通关系，此重复直到遍历整幅图像，完成连通区域标记。主要不足是：算法复杂度高，需要外部存储器存储整幅图像，需要对图像在多个方向上迭代扫描，不能满足高实时性处理系统的需求。

【发明内容】

基于现有连通区域标记方法的缺点和不足，本发明使用FPGA处理，不需要外部存储器，FPGA可直接接收并处理来自图像传感器的图像数据，在图像输入过程中实时处理图像信息，图像输入完成即可得到图像的连通区域信息，适用于目标快速提取、实时跟踪系统。本发明能够解决现有技术存在的效率低、不适合并行化、不能对大分辨率图像实时处理的不足。

本发明采用以下技术方案：

一种基于FPGA的二值图像连通区域信息快速获取系统，包括用于检测游程信息的游程检测模块、用于对游程信息进行处理的游程合并模块，以及信息存储模块，其中，所述信息存储模块包括游程信息存储模块RUN_RAM1、游程信息存储模块RUN_RAM2、游程查找表存储模块LOOKUP_RAM1、游程查找表存储模块LOOKUP_RAM2，以及连通区域信息存储模块CONNECTED_DOMAIN_RAM。

优选地，所述游程合并模块包括有多个像素同步时钟，像素同步时钟分为：CLK1、CLK2、CLK3；在所述CLK1时钟，依据当前行游程和上一行的游程查找表的对应关系确定当前行下一个游程和游程查找表的地址，然后由CLK3获取的游程查找表中需要合并的连通区域地址，在CLK1中得到需要合并的连通区域信息，最后把游程信息合并到对应的连通区域信息中，确定当前合并的游程对应的游程查找表信息；在所述CLK2时钟，下一个需要处理的游程和游程查找表地址有效，将游程查找表的信息写入对应的存储模块中；在所述CLK3时钟，下一个需要处理的游程信息和游程查找表的信息有效，读取该游程信息和游程查找表的信息。

一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，包括以下步骤：

(1)采集图像数据作为输入信号；

(2)第一个行有效期间：检测第一行图像的游程信息，把游程信息存入片内存储模块；

(3)第二个行有效期间：检测第二行图像的游程信息，将信息存入片内存储模块；把第一行游程信息转化为连通区域信息写入对应的连通区域信息存储模块；建立第一行的游程查找表，游程查找表记录游程信息以及游程和连通区域的合并关系；

(4)第三个行有效期间：检测第三行的游程信息，将信息存储到第一行游程信息的存储位置，覆盖第一行的游程信息；利用第一行的游程查找表，根据上一行游程信息和当前游程信息的地址关系，把第二行的游程信息合并到对应的连通区域存储模块，或者建立新的连通区域和游程查找表；建立第二行游程查找表；

(5)从第四行图像开始，以后每一行的操作与第三行的操作相同，直到整幅图像处理完成。

优选地，步骤(2)中，检测游程信息的方法是：根据每行输入像素的像素值和像素坐标，确定游程的起始坐标、终止坐标、面积、X方向坐标的累加和、Y方向的像素坐标，存入游程信息存储RAM中。

优选地，步骤(2)中，游程信息存储采用乒乓操作，奇数行的游程信息写入游程存储RAM1，偶数行的游程信息写入游程存储RAM2。

优选地，游程合并采用乒乓操作：游程检测模块写入游程存储RAM1时，游程合并模块处理RAM2中的游程信息，建立RAM2中的游程查找表；游程检测模块写入游程存储RAM2时，游程合并模块处理RAM1的信息，建立RAM1中的游程查找表。

优选地，合并游程的方法为：

a)每一行游程合并开始时，游程查找表存储模块和游程存储模块的初始地址为0，获取游程信息和游程查找表信息；

b)CLK1：依据当前行游程和上一行的游程查找表的对应关系确定当前行下一个游程和游程查找表的地址，使用非阻塞赋值把游程地址或游程查找表地址加1；由CLK3获取的游程查找表中需要合并的连通区域地址，在CLK1中可以得到需要合并的连通区域信息，把游程信息合并到对应的连通区域信息中；确定当前合并的游程对应的游程查找表信息；

c)CLK2：下一个需要处理的游程和游程查找表地址有效；把游程查找表的信息写入对应的存储RAM中；

d)CLK3：下一个需要处理的游程信息和游程查找表信息有效，等待转入CLK1进行处理；下一个需要合并的连通区域地址有效，等待读出需要合并的连通区域信息，在CLK1处理。

优选地，正常状态下，每个游程合并需要3个CLK，遇到游程合并的目标连通区域在前面的操作中已近被合并，增加一个或多个CLK寻址到新的目标连通区域；连通区域信息存储在片内存储模块中，每次合并时依据CLK3确定的目标连通区域的地址，在CLK1把连通区域信息读出，依据游程和游程查找表的对应关系，把游程信息合并到目标连通区域，更新目标连通区域信息，在CLK2写回到连通区域存储RAM中。

优选地，游程合并结束时，采用以下方法：

第一种情况：游程和游程查找表同时处理完毕，将最后一个游程信息并入对应的连通区域；

第二种情况：游程查找表处理完毕，游程未处理完，此时，与游程查找表有连通关系的最后一个游程信息入对应的连通区域中，剩余的每一个游程分配一个新的连通区域；

第三种情况：游程处理完毕，游程查找表未处理完，此时，与游程查找表有连通关系的最后一个游程信息并入对应的连通区域中，然后判断剩余游程查找表对应的连通区域面积是否符合面积约束条件，把不符合面积约束条件的连通区域从连通区域存储模块中剔除，释放存储空间。

优选地，在连通区域合并时，使用如下两种方法压缩存储空间：

a)碰到两个或多个连通区域合并的情况，把被合并的连通区域信息合并到目标连通区域信息中，同时把被合并的连通区域信息所占用的存储空间释放，供新的连通区域信息使用；

b)依据需要找目标的面积范围设定面积约束条件，当某个连通区域合并完成后，依据其面积信息可以确定是否需要保留，把不需要保留的连通区域信息删除，释放存储空间，供新的连通区域使用。

与现有技术相比，本发明至少具有以下有益效果：本发明采用帧同步信号、行同步信号、二值图像数据和像素同步时钟作为图像输入信号。第一个行有效期间检测第一行图像的游程信息。第二个行有效期间检测第二行图像的游程信息，把第一行游程信息合并，获取连通区域信息，建立第一行游程查找表。第三个行有效期间检测第二行图像的游程信息，利用第一行的游程查找表合并第二行游程信息，获取连通区域信息，建立第二行游程查找表。后续操作与第三行操作一致，图像输入完成即可得到连通区域信息。本发明采用流水线操作，充分利用FPGA的并行优势，可以实现高分辨率图像连通区域信息的实时获取。

【附图说明】

图1本发明的流程示意图；

图2本发明的时序图；

图3图像坐标系示意图；

【具体实施方式】

本发明实施的技术方案如下：

1.图像数据采用图像传感器通用的输出格式，即采用帧同步信号、行同步信号、二值图像数据和像素同步时钟作为图像输入信号。

2.第一个行有效期间：检测第一行图像的游程信息，把游程信息存入片内存储空间。

3.第二个行有效期间：检测第二行图像的游程信息，将信息存入片内存储空间；把第一行游程信息转化为连通区域信息写入对应的连通区域信息存储空间；建立第一行的游程查找表，游程查找表记录游程信息以及游程和连通区域的合并关系。

4.第三个行有效期间：检测第三行的游程信息，将信息存储到第一行游程信息的存储位置，覆盖第一行的游程信息；利用第一行的游程查找表，根据上一行游程信息和当前游程信息的地址关系，把第二行的游程信息合并到对应的连通区域存储空间，或者建立新的连通区域和游程查找表；建立第二行游程查找表。

从第四行图像开始，以后每一行的操作与第三行的操作类似，直到整幅图像处理完成。这样只需要把图像扫描一遍即可完成连通区域的标记，且所有的操作均在行有效期间完成。

本发明的主要功能由游程检测模块和游程合并模块完成，下面分别介绍游程检测模块和游程合并模块的功能。

1.游程检测模块

游程检测模块负责实时检测每行图的游程信息，每幅图包含有多个游程信息，每个游程信息包含游程的起始坐标、终止坐标、在像素坐标系下X方向坐标的累加和、Y方向的像素坐标。

根据每行输入像素的像素值和像素坐标，确定游程的起始坐标、终止坐标、面积、X方向坐标的累加和、Y方向的像素坐标，存入游程信息存储RAM中。写入游程存储RAM时，采用乒乓操作，奇数行的游程信息写入游程存储RAM1，偶数行的游程信息写入游程存储RAM2。

2.游程合并模块

游程合并模块负责合并游程，统计连通区域信息。游程合并模块使用乒乓操作：游程检测模块写入游程存储RAM1时，游程合并模块处理RAM2中的游程信息，建立RAM2中的游程查找表；游程检测模块写入游程存储RAM2时，游程合并模块处理RAM1的信息，建立RAM1中的游程查找表。

游程合并模块的处理流程如下：

a)每一行游程合并开始时游程查找表存储RAM和游程存储RAM的初始地址为0，获取游程信息和游程查找表信息。

b)CLK1：依据当前行游程和上一行的游程查找表的对应关系确定当前行下一个游程和游程查找表的地址，使用非阻塞赋值把游程地址或游程查找表地址加1；由CLK3获取的游程查找表中需要合并的连通区域地址，在CLK1中可以得到需要合并的连通区域信息，把游程信息合并到对应的连通区域信息中；确定当前合并的游程对应的游程查找表信息。

c)CLK2：下一个需要处理的游程和游程查找表地址有效；把游程查找表的信息写入对应的存储RAM中。

d)CLK3：下一个需要处理的游程信息和游程查找表信息有效，等待转入CLK1进行处理；下一个需要合并的连通区域地址有效，等待读出需要合并的连通区域信息，在CLK1处理。

正常状态下每个游程合并需要3个CLK，遇到游程合并的目标连通区域在前面的操作中已近被合并，需要增加一个或多个CLK寻址到新的目标连通区域。连通区域信息存储在片内RAM中，每次合并时依据CLK3确定的目标连通区域的地址，在CLK1把连通区域信息读出，依据游程和游程查找表的对应关系，把游程信息合并到目标连通区域，更新目标连通区域信息，在CLK2写回到连通区域存储RAM中。

在连通区域合并时，使用如下两种方法压缩存储空间：

a)碰到两个或多个连通区域合并的情况，把被合并的连通区域信息合并到目标连通区域信息中，同时把被合并的连通区域信息所占用的存储空间释放，供新的连通区域信息使用。

b)依据需要找目标的面积范围设定面积约束条件，当某个连通区域合并完成后，依据其面积信息可以确定是否需要保留，把不需要保留的连通区域信息删除，释放存储空间，供新的连通区域使用。

通过上述两种方式压缩存储空间，在不使用外部存储器的情况下，使FPGA标记高分辨率像成为可能，在标记的过程中使用面积约束条件过滤，可以降低后续目标识别、目标目标提取、目标跟踪的难度，便于后续处理。

本发明利用FPGA进行二值图像连通区域标记和信息获取，充分利用FPGA的并行处理优势，实时获取处理结果。可以做到一幅图像传输完成时即可得到连通区域信息，完成实时处理，为目标识别、目标提取、目标跟踪、信息检索、信息分析等领域提供重要的方法。

下面结合附图对本发明做进一步详细描述：

1.如图1所示连通区域标记主要有游程检测模块(RUN_DETECT)和游程合并模块(RUN_COMBINE)组成。RUN_RAM1和RUN_RAM2存储游程信息，LOOKUP_RAM1和LOOKUP_RAM2存储游程查找表信息，CONNECTED_DOMAIN_RAM存储连通区域信息。

2.图像数据采用图像传感器通用的输出格式，即采用帧同步号(vsync)、图像行同步信号(hsync)、二值图像数据(b_data)和像素同步时钟(clk)作为图像输入信号，信号之间的时序关系如图2所示。使用帧同步信号、行同步信号、像素同步时钟和图像数据的输出方式是图像传感器输出的通用方式，便于处理系统与图像传感器集成并做到实时处理。

3.游程检测模块实时检测每行图的游程信息，游程信息包含游程的起始坐标、终止坐标、在像素坐标系下X方向坐标的累加和、Y方向的像素坐标。图像坐标系如图3所示，图像左上角像素坐标为(0.0)，水平方向坐标为X，垂直方向坐标为Y。奇数行游程信息存入RUN_RAM1，偶数行游程信息存入RUN_RAM2。

4.连通区域标记使用逐行处理的方式，采用流水线操作。具体操作流程如下：

a)第一个行有效期间：检测第一行图像的游程信息，把游程信息存入RUN_RAM1。

b)第二个行有效期间：检测第二行图像的游程信息，将游程信息存入RUN_RAM2；把第一行游程信息转化为连通区域信息写入CONNECTED_DOMAIN_RAM；建立第一行的游程查找表并把游程查找表信息存入LOOKUP_RAM1。

c)第三个行有效期间：检测第三行的游程信息，将信息存入RUN_RAM1，覆盖第一行的游程信息；利用LOOKUP_RAM1的游程查找表信息把RUN_RAM2中的游程信息写入CONNECTED_DOMAIN_RAM；建立第二行游程查找表把游程查找表的信息写入LOOKUP_RAM2。

d)第四行图像操作与第三行图像操作相同，遍历整幅图像完成连通区域标记。

本发明在说明时把目标像素设定为黑色把背景像素设定为白色，对目标像素为白色，背景像素为黑色的标记方式同样适用。为减小存储空间做到实时处理，本发明不需要外部存储器，使用面积约束条件对标记完成的连通区域进行过滤，释放存储空间，但是本发明并不局限于面积约束，使用连通区域的其它信息约束，应同样视为本发明的范围。本发明使用4连通的标记方式，同样可以扩展到8连通的情况，依据两行之间的游程关系建立查找表或其它链表的方法应被视为本发明的范围。

Claims (9)

1.一种基于FPGA的二值图像连通区域信息快速获取系统，其特征在于：包括用于检测游程信息的游程检测模块、用于对游程信息进行处理的游程合并模块，以及信息存储模块，其中，所述信息存储模块包括游程信息存储模块RUN_RAM1、游程信息存储模块RUN_RAM2、游程查找表存储模块LOOKUP_RAM1、游程查找表存储模块LOOKUP_RAM2，以及连通区域信息存储模块CONNECTED_DOMAIN_RAM；所述游程合并模块包括有多个像素同步时钟，每个像素同步时钟分为：CLK1、CLK2、CLK3；

在所述CLK1时钟，依据当前行游程和上一行的游程查找表的对应关系确定当前行下一个游程和游程查找表的地址，然后由CLK3获取的游程查找表中需要合并的连通区域地址，在CLK1中得到需要合并的连通区域信息，最后把游程信息合并到对应的连通区域信息中，确定当前合并的游程对应的游程查找表信息；

在所述CLK2时钟，下一个需要处理的游程和游程查找表地址有效，将游程查找表的信息写入对应的存储模块中；

在所述CLK3时钟，下一个需要处理的游程信息和游程查找表的信息有效，读取该游程信息和游程查找表的信息。

2.一种基于权利要求1所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：包括以下步骤：

(1)采集图像数据作为输入信号；

(2)第一个行有效期间：检测第一行图像的游程信息，把游程信息存入片内存储模块；

(3)第二个行有效期间：检测第二行图像的游程信息，将信息存入片内存储模块；把第一行游程信息转化为连通区域信息写入对应的连通区域信息存储模块；建立第一行的游程查找表，游程查找表记录游程信息以及游程和连通区域的合并关系；

(4)第三个行有效期间：检测第三行的游程信息，将信息存储到第一行游程信息的存储位置，覆盖第一行的游程信息；利用第一行的游程查找表，根据上一行游程信息和当前游程信息的地址关系，把第二行的游程信息合并到对应的连通区域存储模块，或者建立新的连通区域和游程查找表；建立第二行游程查找表；

(5)从第四行图像开始，以后每一行的操作与第三行的操作相同，直到整幅图像处理完成。

3.根据权利要求2所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：步骤(2)中，检测游程信息的方法是：根据每行输入像素的像素值和像素坐标，确定游程的起始坐标、终止坐标、面积、X方向坐标的累加和、Y方向的像素坐标，存入游程信息存储RAM中。

4.根据权利要求2所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：步骤(2)中，游程信息存储采用乒乓操作，奇数行的游程信息写入游程存储RAM1，偶数行的游程信息写入游程存储RAM2。

5.根据权利要求2所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：游程合并采用乒乓操作：游程检测模块写入游程存储RAM1时，游程合并模块处理RAM2中的游程信息，建立RAM2中的游程查找表；游程检测模块写入游程存储RAM2时，游程合并模块处理RAM1的信息，建立RAM1中的游程查找表。

6.根据权利要求2或5所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：合并游程的方法为：

a)每一行游程合并开始时，游程查找表存储模块和游程存储模块的初始地址为0，获取游程信息和游程查找表信息；

b)CLK1：依据当前行游程和上一行的游程查找表的对应关系确定当前行下一个游程和游程查找表的地址，使用非阻塞赋值把游程地址或游程查找表地址加1；由CLK3获取的游程查找表中需要合并的连通区域地址，在CLK1中可以得到需要合并的连通区域信息，把游程信息合并到对应的连通区域信息中；确定当前合并的游程对应的游程查找表信息；

c)CLK2：下一个需要处理的游程和游程查找表地址有效；把游程查找表的信息写入对应的存储RAM中；

d)CLK3：下一个需要处理的游程信息和游程查找表信息有效，等待转入CLK1进行处理；下一个需要合并的连通区域地址有效，等待读出需要合并的连通区域信息，在CLK1处理。

7.根据权利要求6所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：正常状态下，每个游程合并需要3个CLK，遇到游程合并的目标连通区域在前面的操作中已近被合并，增加一个或多个CLK寻址到新的目标连通区域；连通区域信息存储在片内存储模块中，每次合并时依据CLK3确定的目标连通区域的地址，在CLK1把连通区域信息读出，依据游程和游程查找表的对应关系，把游程信息合并到目标连通区域，更新目标连通区域信息，在CLK2写回到连通区域存储RAM中。

8.根据权利要求6所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：游程合并结束时，采用以下方法：

第一种情况：游程和游程查找表同时处理完毕，将最后一个游程信息并入对应的连通区域；

第二种情况：游程查找表处理完毕，游程未处理完，此时，与游程查找表有连通关系的最后一个游程信息入对应的连通区域中，剩余的每一个游程分配一个新的连通区域；

第三种情况：游程处理完毕，游程查找表未处理完，此时，与游程查找表有连通关系的最后一个游程信息并入对应的连通区域中，然后判断剩余游程查找表对应的连通区域面积是否符合面积约束条件，把不符合面积约束条件的连通区域从连通区域存储模块中剔除，释放存储空间。

9.根据权利要求2所述的一种基于FPGA的二值图像连通区域信息快速获取系统的获取方法，其特征在于：在连通区域合并时，使用如下两种方法压缩存储空间：

a)碰到两个或多个连通区域合并的情况，把被合并的连通区域信息合并到目标连通区域信息中，同时把被合并的连通区域信息所占用的存储空间释放，供新的连通区域信息使用；

b)依据需要寻找目标的面积范围设定面积约束条件，当某个连通区域合并完成后，依据其面积信息可以确定是否需要保留，把不需要保留的连通区域信息删除，释放存储空间，供新的连通区域使用。