CN110533678B - 基于fpga帧并行连通域筛选特征目标的图像处理方法 - Google Patents

Abstract

本发明公开基于FPGA帧并行连通域筛选特征目标的图像处理方法。本发明首次引入了连通域处理方法(连通域处理是将具有特征信息的连通物体于背景下将该特征目标提取出来的处理方法)。在对于稍复杂、干扰物较多的背景下，连通域处理可以将特征目标与背景的干扰物分开，从而筛选出正确的目标信息，为后续的识别提供较大的正确率。

Description

基于FPGA帧并行连通域筛选特征目标的图像处理方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于FPGA帧并行连通域筛选特征目标的处理方法。

背景技术

近年来，通过软件来实现目标物体识别的技术已经相当成熟，但是，由于图像处理中有些算法处理的数据量大，用一般的软件来实现会比较慢。现今集成电子技术已不再陌生，它被广泛应用于各个领域。FPGA作为现今流行的可编辑逻辑器件，也是数字图像处理的理想器件。FPGA不仅可以提高图像处理的速度，并且开发较为灵活，具有实时性，使系统设计的通用性、灵活性得到较大提高。目标识别是图像处理领域一个比较热门的技术，其识别的准确性取决于目标在复杂的、干扰比较大的背景下能否将正确的目标信息提取出来，因此需要对复杂环境下的目标进行处理，将背景与目标分离开，但是做好这一过程并不容易，

目前在用FPGA进行对于稍复杂的背景下筛选目标物体时，存在较多缺陷：一是整个筛选过程的正确率低；二是处理速度慢：以1024*768分辨率的图像为例，处理一个像素的时钟约为15ns，处理完帧图像至少需要10ms；三是占用资源多：由于每次处理都是对整帧图像进行处理，后续的识别需要较大的计算量，即需要消耗较大的资源。特别是资源欠缺的低成本FPGA(如ALTERA公司的AX301A)实现整个识别过程就更加困难。故现在大部分人选择资源多，处理速度快的FPGA支持(如XILINX公司的XC7A35T)，该芯片硬件性能更好但是其价格昂贵，增加生产成本。

表1

资源种类\FPGA种类	AX301	AX7035	AC7100
				逻辑单元(LEs)	6272	33280	101440
内存(Kbits)	270	1800	4860

如表1所示：第一栏为目前主流的F的3款FPGA。其中型号AX301为ALTERA公司生产的一款FPGA。其余两款为XILINX公司生产型号为AX7035以及AC7100。左边一栏为主要的资源参数，分别为逻辑资源与内存容量。从表1中可知：AX301较其余两款FPGA，其逻辑资源少，内存小，故价格低，因此为成本低的FPGA。对于计算量及存储量有要求的工程来说，其适用性低；而其余两款FPGA逻辑资源与内存均明显较高，故价格也高，因此为成本高的FPGA，其适用于对计算量与存储量有要求的工程。

发明内容

针对上述技术中存在的不足之处，本发明采用一种帧并行连通域筛选特征目标的处理方法。首先，对数据进行并行的处理速度相比串行会较大提高。更重要的是，本发明首次引入了连通域处理方法(连通域处理是将具有特征信息的连通物体于背景下将该特征目标提取出来的处理方法)。在对于稍复杂、干扰物较多的背景下，连通域处理可以将特征目标与背景的干扰物分开，从而筛选出正确的目标信息，为后续的识别提供较大的正确率。

本发明所采用的技术方案为：

基于FPGA帧并行连通域筛选特征目标的图像处理方法，基于以下系统，该系统包括FPGA芯片、图像传感器、SDRAM模块、图像处理模块、VGA模块；FPGA芯片的信号端与图像传感器信号端双向连接，FPGA芯片的信号输出端与SDRAM模块的信号输入端连接，SDRAM模块的信号输出端与图像处理模块的信号输入端连接，图像处理模块的信号输出端与VGA模块的信号输入端连接；

FPGA芯片为低成本或高成本芯片，优选为低成本芯片。

图像传感器，用于采集一定分辨率下，n帧组成的视频信息，将二维图像数据传给FPGA芯片；

SDRAM模块，用于存储FPGA芯片传送的一帧一帧图像信息；

图像处理模块，采用基于FPGA帧并行连通域筛选特征目标的图像处理方法处理SDRAM模块存储的图像；

VGA模块，其功能是将图像处理过后的目标图像显示出来，便于观察。

该方法具体包括以下步骤：

步骤(1)、滤波去噪：

图像处理模块接收图像传感器实时采集的原始图像，对其进行滤波去噪，去除图像传感器本身带来的噪声；并将处理后的图像分为两路同时转至步骤(2)、(3)；

步骤(2)、边缘检测：

对步骤(1)处理后的图像通过现有技术检测出目标的边缘信息并提取，用以突出目标的结构信息，简化图像信息；然后对提取出的目标边缘进行形态学处理；

上述形态学处理可以采用平滑目标边缘的轮廓、断开较窄的狭颈并消除细的突出物。弥合目标边缘中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。

步骤(3)、颜色分割：

对步骤(1)处理后的图像通过目标颜色的聚类特性(聚类特性即指目标物体的颜色值聚集在某一个颜色值范围内)，将目标与背景进行初步的分离；然后对初步分离后的图像进行形态学处理；

此处的形态学处理可以采用平滑目标和背景的轮廓、断开较窄的狭颈并消除细的突出物。弥合目标和背景中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。

步骤(4)、连通域处理：

4.1构建一个2*3的结构算子，即2行3列的结构算子，设定结构算子中各像素点位置为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)，其中(2,2)为讨论点，(1,1)、(1,2)、(1,3)、(2,1)均为判定点；

4.2利用步骤4.1构建的结构算子在步骤(3)处理后图像上从左至右、从上至下依次扫描，每次扫描移动一个像素点；其中结构算子中的讨论点必须为目标中的像素点(记目标点)，若扫描过程中讨论点所在位置为非目标中的像素点时则再次移动一个像素点，直至讨论点所在位置为目标中的像素点；

当结构算子进行扫描时判定点需要判断是否为目标中的像素点：若四个判定点均判断为非目标点，认为讨论点是一个新连通域的起始点，则讨论点标记为一个新的标号；若判定点(1,3)和(2,1)均为目标，但是标号不同，认为讨论点的标号与判定点(2,1)相同，同时将判定点(1,3)的标号修正为判定点(2,1)的标号；若判定点(1,3)和(1,1)均为目标，但是标号不同，认为讨论点的标号与判定点(1,1)相同，同时将判定点(1,3)的标号修正为判定点(1,1)的标号；若判定点有2、3或4个为相同标记的目标点，其余为非目标点，则将讨论点的标号与判定点相同；若判定点只有1个是目标点，其余为非目标点，则讨论点标记为上述是目标点的判定点标号；当从左至右扫描结束时，发现未出现目标点，则表示当前连通域标记结束。

4.3统计步骤(2)标记过程中每一个相同标记连通域的所有像素点数目(面积)、边缘像素点数目(周长)，以及所有像素点数目与边缘像素点数目的比(几何比)。

步骤(5)、筛选

由于特征目标连通域的所有像素点数目(面积)、边缘像素点数目(周长)，以及所有像素点数目与边缘像素点数目的比具有一定范围的数值区间，即可筛选出所需特征目标。

步骤(6)、时间同步和信息同步，最终获取完整目标信息：

将步骤(2)处理后目标边缘图像与步骤(5)筛选出目标图像进行时间同步和信息同步操作。

时间同步操作办法是：通过逻辑分析仪可知两路操作在处理完最后一个像素相差的时钟个数为n。然后将处理速度稍快的一路整体延迟n*T的时间，T为时钟周期；

由于每一路得到的图像均为二值图像，信息同步操作办法是：将时间同步后的两路图像进行相与操作即可完成信息同步，得到最终用于识别的完整目标。

本发明的有益效果：

本发明只需要使用低成本的FPGA(如ALTERA公司的AX301A)便可以在较复杂背景下筛选出目标物体，整个筛选过程的正确率较高；在图像处理过程中，连通域的引入使得处理速度加快：在进行连通域处理时，根据本发明设置的目标特征值，FPGA会在复杂环境中框定目标所在区域并锁定该范围，在之后的图像识别处理中，扫描的区域便是上述框定的区域。假设目标区域为400*300大小的区域，处理一个像素的时钟约为15ns，处理完整帧图像则只需1.8ms，相比未加连通域处理，处理速度有较大的提升。不仅如此，所消耗资源减少(由于目标区域在复杂环境下被连通域处理所框定，因此后续识别处理的对象是被框定的小区域，而不是整帧图像，因此后续识别所消耗的资源量有较大的降低。弥补了芯片本身配置较低的不足。因此，用低成本的FPGA也就可以在较复杂的环境下筛选出目标，处理速度更快，占用资源更少。

附图说明

图1为本发明整个发明内容的整体框图。

图2为本发明图像处理模块的内部整体框图。

图3为本发明连通域处理的标记情况。

图4为本发明连通域标记流程图。

图5为图像传感器采集的原始图像。

图6为对图5图像进行未结合连通域筛选处理后的结果。

图7为本发明方法对图5处理后的结果。

具体实施方式

下面参照附图所示，通过具体实施方式对本发明进一步说明：

如图1所示，一种基于FPGA帧并行连通域筛选特征目标的图像处理方法，基于以下系统，该系统包括FPGA芯片、图像传感器、SDRAM模块、图像处理模块、VGA模块；FPGA芯片的信号端与图像传感器信号端双向连接，FPGA芯片的信号输出端与SDRAM模块的信号输入端连接，SDRAM模块的信号输出端与图像处理模块的信号输入端连接，图像处理模块的信号输出端与VGA模块的信号输入端连接。

首先，FPGA芯片通过IIC通信协议，发送图像传感器初始化所需寄存器数据，包括配置采集分辨率，数据格式，时钟，白平衡等，图像传感器配置成功后，图像传感器便可以设定好的分辨率下开始采集图像，然后FPGA芯片接收图像数据。然后FPGA芯片将采集视频信息存入SDRAM模块中。

如图2所示，为本发明的图像处理模块内部流程图。

步骤(1)、滤波去噪：

将来自SDRAM的图像进行滤波去噪，除去图像传感器本身带来的噪声。具体方法为：构建一个3*3的结构算子，即3行3列的结构算子，设定结构算子中各像素点位置为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)(3,1)、(3,2)、(3,3)，其中(2,2)为讨论点，其余均为排序点；结构算子将来自SDRAM的图像上从左至右、从上至下依次扫描，每次扫描移动一个像素点。本发明采用现已成熟的技术：中值滤波法，对每一个结构算子中8个排序点进行灰度值的大小排序，排序后的中间值即为讨论点的灰度值。一帧图像完成滤波去噪后，将滤波去噪后的图像分为两路同时转至步骤(2)、(3)；

步骤(2)、边缘检测：

对步骤(1)处理后的图像进行边缘检测，用以突出目标的结构信息，简化图像信息；具体方法为：构建一个3*3的结构算子，即3行3列的结构算子，设定结构算子中各像素点位置为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)(3,1)、(3,2)、(3,3)，其中(2,2)为讨论点。结构算子将来自步骤(1)处理后的图像从左至右、从上至下依次扫描，每次扫描移动一个像素点。本发明采用现已成熟的技术：sobel法。设a11、a12、a13、a21、a22、a23、a31、a32、a33分别为结构算子中像素点(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)(3,1)、(3,2)、(3,3)的灰度值。

设G1＝(a11+2*a12+a13)-(a31+2*a32+a33)；G2＝(a11+2*a21+a31)-(a13+2*a23+a33)。若G1+G2的值大于100(100为人为设定值，可根据经验进行调整)，则讨论点检测为边缘像素点，并进行二值化处理：边缘像素点为白色，非边缘像素点为黑色。对提取边缘的图像进行形态学处理。具体方法为：构建一个3*3的结构算子，即3行3列的结构算子，设定结构算子中各像素点位置为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)(3,1)、(3,2)、(3,3)。结构算子将来自边缘检测后的图像从左至右、从上至下依次扫描，每次扫描移动一个像素点。本发明采用现已成熟的技术：将结构算子内的9个黑或白像素进行相与或者相或逻辑运算。用于平滑目标的轮廓、断开较窄的狭颈，弥补细小的漏洞。

步骤(3)、颜色分割：

对步骤(1)处理后的图像进行颜色分割，将目标与背景进行初步的分离。具体方法为：设目标物体颜色值为M，M∈[a,b]，即目标颜色的值介于a和b之间，a，b分别为目标物体颜色值的上下界。对于在颜色在该范围内的像素点，均判定为目标像素点，不在该范围内的像素点，判定为非目标像素点，并进行二值化处理，目标像素点为白色，非目标像素点为黑色，从而将目标与非目标进行初步的分割。对颜色分割的图像进行形态学处理。具体方法与步骤(2)形态学处理的方法类似，这里不再详述。

步骤(4)、连通域处理：

如图3的(1)所示，构建一个2*3的结构算子，即2行3列的结构算子，设定结构算子中各像素点位置为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)，其中(2,2)为讨论点，(1,1)、(1,2)、(1,3)、(2,1)均为判定点；

利用步骤4.1构建的结构算子在步骤(3)处理后图像上从左至右、从上至下依次扫描，每次扫描移动一个像素点；其中结构算子中的讨论点必须为目标中的像素点，若扫描过程中讨论点所在位置为非目标中的像素点时则再次移动一个像素点，直至讨论点所在位置为目标中的像素点；

当对图像从左往右逐行扫描时，正在被扫描的这个点应该被标上什么标记，只和它邻域中的四个点有关，也就是左边，左上，正上，右上这四个点。用这样一个2x3的算子扫描图像，就能得到标记结果。对邻域这4个点的情况进行判断来确定当前这个点该怎么标记，一共有三大种情况。

第一种情况：如图3的(2)所示，前邻域这4个点都是非目标点，说明这是一个新连通域的起始点，给它标上一个新的标号。

第二种情况：如图3的(3)和(4)所示，4个点中有两个点的目标标号不同，这个情况只有两种，一种是Right_Up点和Left点的标号不同，如图3的(3)所示，(1,3)和(2,1)点的标号不同，则把当前讨论点标记为和(2,1)一样的标记，并把(1,3)的标记合并归为和(2,1)一样的标记。另一种是(1,3)和(1,1)标号不同。如图3的(4)所示，(1,3)和(1,1)标号不同，则把当前讨论点标记为和(1,1)一样的标记，并把(1,3)的标记合并归为和(1,1)一样的标记。

第三种情况：如图3的(5)所示，4个点中有2、3或4个已标点，他们具有相同的目标标记，就把当前讨论点标上这个标号。若判定点只有1个是目标点，其余为非目标点，则讨论点标记为上述是目标点的判定点标号。

如图3的(6)所示，当扫描到讨论点这一行，发现未出现目标点，则表示着该连通域的标记结束。

然后统计每一个相同标记连通域的所有像素点数目(面积)、边缘像素点数目(周长)，以及所有像素点数目与边缘像素点数目的比(几何比)。对于同一种标记下的物体，即为连通物体。类似的，对每一帧图像中的其余连通物体做相同的检测标记操作，即完成了整幅图像的标记。

步骤(5)、筛选

由于特征目标连通域的所有像素点数目(面积)、边缘像素点数目(周长)，以及所有像素点数目与边缘像素点数目的比具有一定范围的数值区间，即可筛选出所需特征目标。

步骤(6)、时间同步和信息同步，最终获取完整目标信息：

将步骤(2)处理后目标边缘图像与步骤(5)筛选出目标图像进行时间同步和信息同步操作。

时间同步操作办法是：通过逻辑分析仪可知两路操作在处理完最后一个像素相差的时钟个数为n。然后通过计算n*T，(T为时钟周期)，将处理速度稍快的一路整体延迟n*T的时间；

由于每一路得到的图像均为二值图像，信息同步操作办法是：将时间同步后的两路图像进行相与操作即可完成信息同步，得到最终用于识别的完整目标。

最后，将从复杂背景下筛选出的特征目标显示于显示器上，便于用户查看当前处理的图像。

如图5所示，图5是目标手掌在背景下的RGB565图。其中手掌为所需分割出的目标物体，在背景中，有与手掌肤色相同的箱子、仪器构成干扰物体。这种稍复杂背景中与目标颜色相近的干扰物在颜色分割过程中会与手势一起被分离出来，造成分割结果的错误。

图6是在低成本，资源少的型号为AX301下，经过步骤1、2、3、6，但没有步骤4、5，即未加连通域处理和筛选的效果图。如图所示，以手掌为所需筛选目标，背景环境为上述较复杂背景下。该未加连通域的处理方法不仅筛选出了手掌目标，而且将与肤色相近的物体也筛选了出来，造成结果错误，为后续识别增加了困难。而且，由于步骤1、2、3、6本身需要消耗了一部分FPGA的资源，故对于资源小，成本低的FPGA来说，留给后续识别运算的资源空间有限。故该方法并不适用于如AX301这种成本低、资源少的FPGA。

图7是在低成本，资源少的型号为AX301下，经过步骤1、2、3、4、5、6，即相比图6处理过程，增加了连通域处理和筛选的效果图。显然，在同一背景下，把目标成功的筛选了出来，并去除了与肤色类似的干扰背景，为后续识别增加了成功率。如本发明中有益效果所述，对于每帧的图像，增加连通域处理可以加快图像处理速度。并且由于目标区域在复杂环境下被连通域处理所框定，因此后续识别处理的对象是被框定的小区域，而不是整帧图像，故降低了后续识别所消耗的资源量，这样一来，低成本的FPGA便也可以适用于对计算量与存储量有要求的工程了。

Claims (5)

1.基于FPGA帧并行连通域筛选特征目标的图像处理方法，基于以下系统，该系统包括FPGA芯片、图像传感器、SDRAM模块、图像处理模块、VGA模块；FPGA芯片的信号端与图像传感器信号端双向连接，FPGA芯片的信号输出端与SDRAM模块的信号输入端连接，SDRAM模块的信号输出端与图像处理模块的信号输入端连接，图像处理模块的信号输出端与VGA模块的信号输入端连接；其特征在于该方法包括以下步骤：

步骤（1）、滤波去噪：

图像处理模块接收图像传感器实时采集的原始图像，对其进行滤波去噪，去除图像传感器本身带来的噪声；并将处理后的图像分为两路同时转至步骤（2）、（3）；

步骤（2）、边缘检测：

对步骤（1）处理后的图像检测出目标的边缘信息并提取，然后对提取出的目标边缘进行形态学处理，最后跳转至步骤（6）；

步骤（3）、颜色分割：

对步骤（1）处理后的图像通过目标颜色的聚类特性，将目标与背景进行初步的分离；然后对初步分离后的图像进行形态学处理；

步骤（4）、连通域处理：

4.1构建一个2*3的结构算子，即2行3列的结构算子，设定结构算子中各像素点位置为（1,1）、（1,2）、（1,3）、（2,1）、（2,2）、（2,3），其中（2,2）为讨论点，（1,1）、（1,2）、（1,3）、（2,1）均为判定点；

4.2利用步骤4.1构建的结构算子在步骤（3）处理后图像上从左至右、从上至下依次扫描，每次扫描移动一个像素点；其中结构算子中的讨论点必须为目标点，若扫描过程中讨论点所在位置为非目标点时则再次移动一个像素点，直至讨论点所在位置为目标点；

当结构算子进行扫描时，首先判断判定点是否为目标点：若四个判定点均判断为非目标点，认为讨论点是一个新连通域的起始点，则讨论点标记为一个新的标号；若判定点（1,3）和（2,1）均为目标点，但是标号不同，则讨论点标记为判定点（2,1）标号，同时将判定点（1,3）的标号修正为判定点（2,1）的标号；若判定点（1,3）和（1,1）均为目标点，但是标号不同，则讨论点标记为判定点（1,1）标号，同时将判定点（1,3）的标号修正为判定点（1,1）标号；若判定点有2、3或4个为相同标记的目标点，其余为非目标点，则讨论点标记为上述是目标点的判定点标号；若判定点只有1个是目标点，其余为非目标点，则讨论点标记为上述是目标点的判定点标号；当从左至右扫描结束时，发现未出现目标点，则表示当前连通域标记结束；

4.3统计步骤（2）标记过程中每一个相同标记连通域的所有像素点数目、边缘像素点数目，以及所有像素点数目与边缘像素点数目的比；

步骤（5）、筛选

由于特征目标连通域的所有像素点数目、边缘像素点数目，以及所有像素点数目与边缘像素点数目的比具有一定范围的数值区间，即可筛选出所需特征目标；

步骤（6）、时间同步和信息同步，最终获取完整目标信息：

将步骤（2）处理后目标边缘图像与步骤（5）筛选出目标图像进行时间同步和信息同步操作。

2.如权利要求1所述的基于FPGA帧并行连通域筛选特征目标的图像处理方法，其特征在于步骤（2）形态学处理采用平滑目标边缘的轮廓、断开较窄的狭颈并消除细的突出物，弥合目标边缘中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。

3.如权利要求1所述的基于FPGA帧并行连通域筛选特征目标的图像处理方法，其特征在于步骤（3）形态学处理可以采用平滑目标和背景的轮廓、断开较窄的狭颈并消除细的突出物；弥合目标和背景中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。

4.如权利要求1所述的基于FPGA帧并行连通域筛选特征目标的图像处理方法，其特征在于步骤（6）时间同步操作办法是：通过逻辑分析仪可知两路操作在处理完最后一个像素相差的时钟个数为n；然后将处理速度稍快的一路整体延迟n*T的时间，T为时钟周期。

5.如权利要求1所述的基于FPGA帧并行连通域筛选特征目标的图像处理方法，其特征在于步骤（6）由于每一路得到的图像均为二值图像，信息同步操作办法是：将时间同步后的两路图像进行相与操作即可完成信息同步，得到最终用于识别的完整目标。

Images