CN106447597A - 一种基于并行流水机制的高分辨图像加速处理方法 - Google Patents

Abstract

本发明公开了一种基于并行流水机制的高分辨图像加速处理方法，其利用FPGA并行流水线处理机制实现，该方法包含以下步骤：S1、用双线性法的3×3模板对经过拜耳彩色滤波阵列CFA产生的RAW格式图像进行色彩插值，得到RGB图像数据；再将RGB图像数据转换成YUV色彩空间，提取其中的Y分量以获得灰度图像；S2、用中值滤波法去除步骤S1中获得的灰度图像中的点噪声；S3、采用sobel算子对去除点噪声后的灰度图像上每一个点进行灰度梯度计算，对梯度幅值结果进行非极大抑制，细化边缘，最后对其结果进行二值化提取出灰度图像的边缘信息。其优点是：结合FPGA并行处理和流水结构特点，利用Verilog HDL硬件描述语言编写FPGA的图像处理单元，实现图像处理算法的高效高速执行。

Description

一种基于并行流水机制的高分辨图像加速处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于并行流水机制的高分辨率图像加速处理方法。

背景技术

图像处理技术广泛地应用于工业生产、工程应用、航空航天、军事、医学等诸多领域，并取得了巨大的成功和显著的经济效益，随着图像采集芯片分辨率的显著提高以及图像处理系统高精度、高速化和高度集成化的持续发展，其对数据处理速度的要求越来越高，单纯使用DSP的图像处理系统已很难满足上述需求。

而图像处理中经常用到图像求和、求差、梯度运算、目标分割、区域特征提取等不同层次、不同种类的运算，其中，很多运算本身结构比较简单，但是数据量大，计算速度要求高，适于用FPGA或ASIC硬件实现。

发明内容

本发明的目的在于提供一种基于并行流水机制的高分辨图像加速处理方法，结合FPGA的并行处理和流水结构特点，采用模块化设计思路，利用Verilog HDL硬件描述语言编写FPGA的图像处理单元，实现图像处理算法的高效、高速执行。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于并行流水机制的高分辨图像加速处理方法，其特征是，利用FPGA并行流水线处理机制实现，该方法包含以下步骤：

S1、用双线性法的3×3模板对经过拜耳彩色滤波阵列CFA产生的RAW格式图像进行色彩插值，得到RGB图像数据；再将RGB图像数据转换成YUV色彩空间，提取其中的Y分量以获得灰度图像；

S2、用中值滤波法去除步骤S1中获得的灰度图像中的点噪声；

S3、采用sobel算子对去除点噪声后的灰度图像上每一个点进行灰度梯度计算，对梯度幅值结果进行非极大抑制，细化边缘，最后对其结果进行二值化提取出灰度图像的边缘信息，即边缘图像。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述的步骤S1具体包含：

S11、根据经过拜耳彩色滤波阵列CFA产生的RAW格式图像的像素的排列规律和3×3模板的位置，分成3×3模板左上角的元素位于图像数据的奇数行奇数列、奇数行偶数列、偶数行奇数列和偶数行偶数列四种情况，分别采用不同的公式计算当前像素的R、G和B三个颜色分量的值：

3×3模板左上角的元素位于图像数据的奇数行奇数列，则插值后的像素点的R、G、B分量分别为：

其中，a_i,j为3×3模板中第i行第j列的元素。

3×3模板左上角的元素位于图像数据的奇数行偶数列，则插值后的像素点的R、G、B分量分别为：

3×3模板左上角的元素位于图像数据的偶数行奇数列，则插值后的像素点的R、G、B分量分别为：

3×3模板左上角的元素位于图像数据的偶数行偶数列，则插值后的像素点的R、G、B分量分别为：

S12、用整数算法，使用16位精度，运用等式Y＝(19595R+38469G+7471B)>>16将步骤S11处理获得的RGB图像数据转换成YUV色彩空间，获得灰度图像。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述的步骤S2具体包含：

对步骤S1中获得的灰度图像作为初始灰度图像，运用中值滤波模板将初始灰度图像中所有的像素点用该点一个领域中所有像素排序得到的中值代替：

f₂(x,y)＝med{f(x-k,y-l),(k,l∈W)}，

式中，f₂(x,y)、f(x,y)分别为中值滤波后灰度图像和初始灰度图像，W为中值滤波模板，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，k为像素在W模板中的横向坐标，l为像素在W模板中的纵向坐标。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述的步骤S3具体包含：

S31、对经过步骤S2去噪声处理后获得的灰度图像进行3×3阶sobel算子滤波求解每个点的梯度，计算公式为：

X方向：

g_x(x,y)＝-f₂(x-1,y-1)-2·f₂(x-1,y)-f₂(x-1,y+1)+

f₂(x+1,y-1)+2·f₂(x+1,y)+f₂(x+1,y+1)

Y方向：

g_y(x,y)＝f₂(x-1,y-1)+2·f₂(x,y-1)+f₂(x+1,y-1)-

f₂(x-1,y+1)-2·f₂(x,y+1)-f₂(x+1,y+1)

输出每个点的梯度幅值：

g(x,y)＝|g_x(x,y)+g_y(x,y)|

式中，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，g_x(x,y)为该像素沿x方向上的梯度、，g_y(x,y)为该像素沿y方向上的梯度。

S32、对每一个点的梯度方向进行梯度幅值比较以细化边缘，如果此点的梯度比它相邻的两个点梯度幅值都大，则不变，否则将其排除出边缘点置0；

S33、设定一个梯度幅值阈值，对每一个像素点如果其梯度幅值大于阈值则此像素点梯度幅值设为1，否则设置为0，最终得到边缘提取结果G(x,y)。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述步骤S32中：

梯度方向可以分为四种情况：大于0°小于45°、大于45°小于90°、大于90°小于135°以及大于135°小于180°。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述的步骤S33具体包含：

S331、对整个图像梯度幅值进行统计，按照从小到大排列，设梯度幅值范围为Gmin～Gmax，其中Gmin为最小梯度幅值，Gmax为最大梯度幅值；

S332、计算梯度幅值阈值为：

T＝(Gmax-Gmin)×0.79。

上述的基于并行流水机制的高分辨图像加速处理方法，其中，所述的步骤S32具体包含：

一个点在梯度方向上相邻的两点为dTmp1、dTmp2，则极大值抑制结果为：如果C点梯度幅值比dTmp1、dTmp2点都大，则C点梯度幅值不变；否则，将C点梯度幅值置0；

dTmp1、dTmp2点的梯度幅值用插值由g1、g2、g3、g4的灰度值求出：

dTmp1＝w·g1+(1-w)·g2

dTmp2＝w·g3+(1-w)·g4

式中，g1、g2、g3、g4分别为像素点的邻域中靠近该像素点梯度方向的四个像素的梯度，w为权重，w由以下计算公式获得：

当g_x(x,y)＞g_y(x,y)时，

当g_x(x,y)＜g_y(x,y)时，

上述的基于并行流水机制的高分辨图像加速处理方法，其中：

在FPGA中用g(x,y)和dTmp1、dTmp2进行比较大小时，将两边同时乘以分母，用三个乘法器在一个周期内得到三个相乘结果，第二个周期完成比较，得到实时的非极大值抑制后的图像数据，以避免进行除法运算。

本发明与现有技术相比具有以下优点：结合FPGA的并行处理和流水结构特点，采用模块化设计思路，利用Verilog HDL硬件描述语言编写FPGA的图像处理单元，实现图像处理算法的高效、高速执行。

附图说明

图1为本发明的FPGA并行流水处理的方法流程图；

图2为本发明中使用3×3模板处理图像时的数据缓冲原理；

图3为本发明中的梯度方向大于90°小于135°的示意图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图1所示，本发明提供了一种基于并行流水机制的高分辨图像加速处理方法，其利用FPGA并行流水线处理机制实现，主要利用Verilog HDL硬件描述语言编写FPGA的图像处理单元，所述的图像处理方法包括以下步骤：

S1：用FPGA接收彩色图像探测器采集到的经过拜耳彩色滤波阵列(Color FilterArray，CFA)产生的RAW格式图像数据，选用算法简单、运算量小的双线性法的3×3模板，在FPGA中实现对RAW格式图像进行彩色插值，把RAW格式图像数据转换成RGB图像数据；然后，将RGB彩色图像转换成YUV色彩空间，提取其中的Y分量即为灰度图像。

S2：为了消除步骤S1处理获得的灰度图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，在FPGA中实现采用中值滤波方法去除实际图像中的点噪声。

S3：边缘图像可以有效的提取物体的边缘，是进行特征提取的必要前提。这里，采用sobel算子在FPGA中实现对图像上每一个点进行灰度梯度计算，对梯度幅值结果进行非极大抑制，细化边缘，最后对其结果进行二值化提取出图像的边缘信息。

进一步地，所述步骤S1具体包括如下步骤：

S11，用FPGA接收图像探测器采集到的图像数据。本系统中使用的图像探测器为Aptina公司的MT9T001彩色探测器，该图像探测器采用的是拜耳模型滤光片，输出的是拜耳色彩滤波阵列CFA格式图像数据。在拜耳模式下，每个像素点仅包含R、G和B三个颜色分量(R为红色分量，G为绿色分量，B为蓝色分量)中的一个颜色分量，而RGB彩色图像每个像素包含R、G和B三个颜色分量。要想从Bayer模式下的图像数据恢复出RGB彩色图像，其他颜色分量必须由邻域点生成。通过邻域点生成欠缺的两种颜色分量的过程即色彩插值。

为降低算法实现难度，选用算法简单、运算量小的双线性法的3×3模板对拜耳色彩滤波阵列进行彩色插值。根据拜耳色彩滤波阵列格式图像数据的排列规律和3×3模板的位置，可以分成以下四种情况：

(1)3×3模板左上角的元素位于图像数据的奇数行奇数列，则插值后的像素点的R、G、B分量分别为：

其中，a_i,j为3×3模板中第i行第j列的元素。

(2)3×3模板左上角的元素位于图像数据的奇数行偶数列，则插值后的像素点的R、G、B分量分别为：

(3)3×3模板左上角的元素位于图像数据的偶数行奇数列，则插值后的像素点的R、G、B分量分别为：

(4)3×3模板左上角的元素位于图像数据的偶数行偶数列，则插值后的像素点的R、G、B分量分别为：

上述式中，a_i,j为3×3模板中第i行第j列的元素，

本步骤在FPGA中实现，其实现过程是：如图2所示，在FPGA中，对第一行像素数据和第二行像素数据用双口RAM进行缓存，而对第三行进行2个最新像素的缓存。当第三行的第三个像素到达时，构成3×3结构的缓存数据，代入式中求得R、G、B分量值。使用这种方式，每两个像素周期得到一个计算后的输出结果。

S12，由于图像处理是基于灰度图像的，因此需要将RGB彩色图像转换成YUV色彩空间，而其中Y分量包含了颜色的亮度信息，即为灰度图像。

从RGB到YUV的色度空间转换中的Y分量用到如下的等式：

Y＝0.299R+0.587G+0.114B (5)

而用FPGA实际处理时，应避免浮点运算，需要整数算法。这里使用16位精度，2的16次幂是65536，所以这样计算系数：

则从RGB到YUV的色度空间转换中的Y分量表达式可以变为：

Y＝(19595R+38469G+7471B)>>16 (7)

进一步地，所述步骤S2包括如下步骤：

为了消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高特征抽取、图像分割、匹配和识别的可靠性，需要对获取的图像进行平滑滤波。

考虑到实际图像中点噪声居多，平滑技术选用中值滤波方法：对图像中所有的像素点用该点一个领域中所有像素排序得到的中值代替：

f₂(x,y)＝med{f(x-k,y-l),(k,l∈W)} (8)

式中，f₂(x,y)、f(x,y)分别为中值滤波后的灰度图像和初始灰度图像，W为中值滤波模板，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，k为像素在W模板中的横向坐标，l为像素在W模板中的纵向坐标。中值滤波的原理是在初始图像上W模板大小内的像素取中间像素的值作为整个模板的像素值。中值滤波可以有效的滤掉孤立的噪声点，对图像中的点噪声抑制比较有效。

本步骤在FPGA中实现，其实现过程是：在FPGA中，开始图像传输时，对中值滤波后的灰度图像的第一行像素数据和第二行像素数据用双口RAM进行缓存，而对第三行进行2个最新像素的缓存。当第三行的第三个像素到达时，构成3×3结构的缓存数据。对该结构中的9个像素进行排序。其排序过程是：在第一个时钟周期到来时，对9个像素，每个像素分配一个初值为0的计数器，并将该像素分别与其他8个像素进行比较，若大于，则该像素的计数值+1，否则计数值不变。在第二个时钟周期到来时，对每个像素计数器进行统计。统计后，取排序后中间的计数值对应的像素，作为输出像素。上述过程中，两个时钟的计算过程通过流水线实现，通过这种方式，保证每当有一个图像像素数据达到时，都会有一个计算后得到的中值输出。

进一步地，所述步骤S3包括如下步骤：

S31，边缘图像可以有效的提取物体的边缘，是进行特征提取的必要前提。对图像上每一个点进行灰度梯度计算，对其结果进行二值化提取图像的边缘信息。具体实施如下：

对图像进行3×3阶sobel算子滤波求解图像每个点的梯度，计算公式为：

X方向：

Y方向：

输出幅值：

g(x,y)＝|g_x(x,y)+g_y(x,y)| (11)

式中，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，g_x(x,y)为该像素沿x方向上的梯度，g_y(x,y)为该像素沿y方向上的梯度；

本步骤在FPGA中实现，其实现过程是：在FPGA中，当图像平滑滤波步骤中开始输出，对第一行像素数据和第二行像素数据用双口RAM进行缓存，而对第三行进行2个最新像素的缓存。当第三行的第三个像素到达时，构成3×3结构的缓存数据，代入式中求得g(x,y)。使用这种方式，每个像素周期得到一个计算后的输出结果。

S32，对梯度幅值结果进行非极大抑制。此步为边缘细化过程，可以使边缘更加清晰细致。每一个点的梯度方向进行梯度幅值比较，如果此点的梯度比它相邻的两个点梯度幅值都大，则不变；否则将其排除出边缘点置0。

如图3所示，θ表示像素点的梯度与x方向之间的夹角(小于90°)，梯度方向可以分为四种情况：

(1)梯度方向大于0°小于45°：

		g1
			g3	C	g2
g4

(2)梯度方向大于45°小于90°：

	g1	g2
				C
g3	g4

(3)梯度方向大于90°小于135°：

g1	g2
				C
	g3	g4

(4)梯度方向大于135°小于180°：

g1
			g2	C	g3
		g4

选择梯度方向大于90°小于135°为例说明，参见梯度方向示意图。

C点在梯度方向上相邻的两点为dTmp1、dTmp2，则极大值抑制结果为：如果C点梯度幅值比dTmp1、dTmp2点都大，则C点梯度幅值不变；否则，将C点梯度幅值置0。

dTmp1、dTmp2点的梯度幅值用插值由g1、g2、g3、g4的灰度值求出：

dTmp1＝w·g1+(1-w)·g2

dTmp2＝w·g3+(1-w)·g4 (12)

式中，g1、g2、g3、g4分别为像素点的邻域中靠近该像素点梯度方向的四个像素的梯度；

其中，w为权重，其计算公式为：

当g_x(x,y)＞g_y(x,y)时，

当g_x(x,y)＜g_y(x,y)时，

在FPGA中用g(x,y)和dTmp1、dTmp2进行比较大小时，为避免进行除法运算，将两边同时乘以分母，用三个乘法器在一个周期内得到三个相乘结果，第二个周期完成比较，得到实时的非极大值抑制后的图像数据。

S33，梯度幅值二值化。此步的目的是提高边缘和其他位置的对比度，突出边缘。步骤为设定一个梯度幅值阈值，对每一个像素点如果其梯度幅值大于阈值则此像素点梯度幅值设置为1，否则设置为0。最终得到边缘提取结果G(x,y)。

阈值选择采用的是统计梯度幅值直方图的方法计算而来：首先对整个图像梯度幅值进行统计，按照从小到大排列，设梯度幅值范围为Gmin～Gmax，其中Gmin为最小梯度幅值，Gmax为最大梯度幅值；然后计算梯度幅值阈值为：

T＝(Gmax-Gmin)×0.79 (15)

此步骤在FPGA中实现，实现过程是：在每一帧的数据传输过程中，设置两个变量Gmin和Gmax。每个像素到达时，对其判断是否大于Gmax，是否小于Gmin。若是，更新相应的Gmax或Gmin的值，否则Gmax和Gmin保持不变。完成图像传输后，计算T值，作为下一帧的灰度阈值。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于并行流水机制的高分辨图像加速处理方法，其特征在于，利用FPGA并行流水线处理机制实现，该方法包含以下步骤：

S1、用双线性法的3×3模板对经过拜耳彩色滤波阵列CFA产生的RAW格式图像进行色彩插值，得到RGB图像数据；再将RGB图像数据转换成YUV色彩空间，提取其中的Y分量以获得灰度图像；

S2、用中值滤波法去除步骤S1中获得的灰度图像中的点噪声；

S3、采用sobel算子对去除点噪声后的灰度图像上每一个点进行灰度梯度计算，对梯度幅值结果进行非极大抑制，细化边缘，最后对其结果进行二值化提取出灰度图像的边缘信息，即边缘图像。

2.如权利要求1所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述的步骤S1具体包含：

S11、根据经过拜耳彩色滤波阵列CFA产生的RAW格式图像像素的排列规律和3×3模板的位置，分成3×3模板左上角的元素位于图像数据的奇数行奇数列、奇数行偶数列、偶数行奇数列和偶数行偶数列四种情况，分别采用不同的公式计算当前像素的R、G和B三个颜色分量的值：

3×3模板左上角的元素位于图像数据的奇数行奇数列，则插值后的像素点的R、G、B分量分别为：

$\left\{\begin{array}{c}R=(a_{12}+a_{32})/2\\ G=a_{22}\\ B=(a_{21}+a_{23})/2\end{array}\right.$

其中，a_i,j为3×3模板中第i行第j列的元素。

3×3模板左上角的元素位于图像数据的奇数行偶数列，则插值后的像素点的R、G、B分量分别为：

$\left\{\begin{array}{c}R=(a_{11}+a_{13}+a_{31}+a_{33})/4\\ G=(a_{21}+a_{23})/2\\ B=a_{22}\end{array}\right.$

3×3模板左上角的元素位于图像数据的偶数行奇数列，则插值后的像素点的R、G、B分量分别为：

$\left\{\begin{array}{c}R=a_{22}\\ G=(a_{21}+a_{23})/2\\ B=(a_{11}+a_{13}+a_{31}+a_{33})/4\end{array}\right.$

3×3模板左上角的元素位于图像数据的偶数行偶数列，则插值后的像素点的R、G、B分量分别为：

$\left\{\begin{array}{c}R=(a_{12}+a_{32})/2\\ G=a_{22}\\ B=(a_{21}+a_{23})/2\end{array}\right.$

S12、用整数算法，使用16位精度，运用等式Y＝(19595R+38469G+7471B)>>16将步骤S11处理获得的RGB图像数据转换成YUV色彩空间，获得灰度图像。

3.如权利要求1所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述的步骤S2具体包含：

对步骤S1中获得的灰度图像作为初始灰度图像，运用中值滤波模板将初始灰度图像中所有的像素点用该点一个领域中所有像素排序得到的中值代替：

f₂(x,y)＝med{f(x-k,y-l),(k,l∈W)}，

式中，f₂(x,y)、f(x,y)分别为中值滤波后的灰度图像和初始灰度图像，W为中值滤波模板，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，k为像素在W模板中的横向坐标，l为像素在W模板中的纵向坐标。

4.如权利要求1所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述的步骤S3具体包含：

S31、对经过步骤S2去噪声处理后获得的灰度图像进行3×3阶sobel算子滤波求解每个点的梯度，计算公式为：

X方向：

g_x(x,y)＝-f₂(x-1,y-1)-2·f₂(x-1,y)-f₂(x-1,y+1)+

f₂(x+1,y-1)+2·f₂(x+1,y)+f₂(x+1,y+1)

Y方向：

g_y(x,y)＝f₂(x-1,y-1)+2·f₂(x,y-1)+f₂(x+1,y-1)-

f₂(x-1,y+1)-2·f₂(x,y+1)-f₂(x+1,y+1)

输出每个点的梯度幅值：

g(x,y)＝|g_x(x,y)+g_y(x,y)|

式中，x为像素在图像中的横向坐标，y为像素在图像中的纵向坐标，g_x(x,y)为该像素沿x方向上的梯度，g_y(x,y)为该像素沿y方向上的梯度。

S32、对每一个点的梯度方向进行梯度幅值比较以细化边缘，如果此点的梯度比它相邻的两个点梯度幅值都大，则不变，否则将其排除出边缘点置0；

S33、设定一个梯度幅值阈值，对每一个像素点如果其梯度幅值大于阈值则此像素点梯度幅值设为1，否则设置为0，最终得到边缘提取结果G(x,y)。

5.如权利要求4所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述步骤S32中：

梯度方向可以分为四种情况：大于0°小于45°、大于45°小于90°、大于90°小于135°以及大于135°小于180°。

6.如权利要求4所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述的步骤S33具体包含：

S331、对整个图像梯度幅值进行统计，按照从小到大排列，设梯度幅值范围为Gmin～Gmax，其中Gmin为最小梯度幅值，Gmax为最大梯度幅值；

S332、计算梯度幅值阈值为：

T＝(Gmax-Gmin)×0.79。

7.如权利要求4所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于，所述的步骤S32具体包含：

一个点在梯度方向上相邻的两点为dTmp1、dTmp2，则极大值抑制结果为：如果C点梯度幅值比dTmp1、dTmp2点都大，则C点梯度幅值不变；否则，将C点梯度幅值置0；

dTmp1、dTmp2点的梯度幅值用插值由g1、g2、g3、g4的灰度值求出：

dTmp1＝w·g1+(1-w)·g2

dTmp2＝w·g3+(1-w)·g4

式中，g1、g2、g3、g4分别为像素点的邻域中靠近该像素点梯度方向的四个像素的梯度，w为权重，w由以下计算公式获得：

当g_x(x,y)＞g_y(x,y)时，

当g_x(x,y)＜g_y(x,y)时，

8.如权利要求7所述的基于并行流水机制的高分辨图像加速处理方法，其特征在于：

在FPGA中用g(x,y)和dTmp1、dTmp2进行比较大小时，将两边同时乘以分母，用三个乘法器在一个周期内得到三个相乘结果，第二个周期完成比较，得到实时的非极大值抑制后的图像数据，以避免进行除法运算。