CN102496136A - 基于图形处理单元的相位编组直线提取方法 - Google Patents

Abstract

本发明提供一种基于GPU硬件加速的相位编组直线提取方法。基本原理是，对原始图像进行边缘提取后，建立图像编码图，从中选取种子，然后从各种子出发，寻找得到直线段。技术方案包括：第一步，计算并存储原始图像的梯度方向图；第二步，计算并存储图像编码图；第三步，得到种子坐标队列；第四步，得到直线段支撑区域列表；第五步，拟合直线。本发明运用GPU的像素着色器和几何体着色器的并行计算能力，实现基于像素点的并行运算，缩短计算时间，弥补了直线提取算法效率低的问题。

Description

基于图形处理单元的相位编组直线提取方法

技术领域

本发明涉及图像处理与分析技术领域，特别涉及一种直线提取方法，具体是一种基于图形处理单元(graphics processing units，简称GPU)硬件加速的相位编组直线提取方法。

背景技术

直线提取是图像处理领域的重要技术，是计算机视觉技术的基础。随着卫星图像的广泛使用，快速图像处理的需求日趋强烈。在此类处理中，特征提取占有重要地位，而直线提取又是用得最多的特征之一。提取的直线描述了图像的主要结构信息，在许多应用如图像配准、图像矢量化和自动目标识别中都得到了广泛应用。

直线提取至今已经提出了Hough变换法，层次编组，相位编组等多种直线提取算法。这些算法都是在普通CPU上串行实现的。由于其处理主要是在像素级上，数据量大，因此算法耗时长，实时处理困难。为了减少运算时间，有些研究者提出了简化算法，但是稳健性也有所减弱。另外还有研究者运用专用并行硬件，如DSP和FPGA来设计实时直线提取算法。例如，Wang等提出了用FPGA+DSP实现宽带图像信号的实时直线提取。但是这类算法依赖具体硬件的设计，移植性不强。

最近，GPU的可编程能力和计算能力发展迅猛。它们不仅可以快速完成图形编程工作，而且可以加速很多非图形学方面的应用，如图像处理和计算机视觉算法。Simon Harding和Wolfgang Banzhaf运用GPU来加速图像滤波。AnisRahman等运用GPU来实现视觉显著性模型的动态路径。Fung等建立了一个Hough变换直线提取GPU加速算法。但是基于Hough变换的算法是以边缘检测为基础，会漏检弱对比度的灰度变化点。而且算法仅利用了边缘幅度信息，丢失了边缘的相位信息。实际上相位信息携带了大量构成直线的相关性像素点空间信息。目前，依赖相位信息的基于GPU的直线快速算法尚未见报道。

发明内容

本发明要解决的技术问题是针对现有图像中直线提取算法耗时长，实时处理困难等不足，利用GPU具有高速的实数运算特性和流式并行架构，提供一种基于GPU硬件加速的相位编组直线提取方法。

本发明技术方案的基本思路是：本发明基于GPU高速实数运算特性和流式并行架构，在GPU上实现图像直线特征提取。其基本原理是，对原始图像进行边缘提取后，建立图像编码图，从中选取种子，然后从各种子出发，寻找得到直线段。

本发明的技术方案是：一种基于图形处理单元的相位编组直线提取方法，其特征在于，包括下述步骤：

第一步，计算并存储原始图像的梯度方向图；

将原始图像存储于GPU的帧缓存中，运用GPU的像素着色器对原始图像中的各个像素点并行地执行可分离Sobel算子，得到原始图像的梯度方向图，存储于GPU的纹理存储器中。

为表述方便，设在原始图像中第k个像素点的梯度方向值为f_k。

第二步，计算并存储图像编码图；

运用GPU的像素着色器对梯度方向图中的各梯度方向值并行地执行下述步骤，得到图像编码图，存储于GPU的纹理存储器中：

设原始图像中第k个像素点的八邻域像素点集合为{k_i，i＝0，1，L，7}，第k个像素点对应的一个九元序列为 $C_k=\{C_k^i,i=\mathrm{0,1},L,8\},$ $C_k^i(i=\mathrm{0,1},L,7)$ 的取值方式如下：

如果 $f_k=f_{k_i},$ 则 $C_k^i=1;$ 否则， $C_k^i=0(i=\mathrm{0,1},L,7).$

上式中

为像素点k_i的梯度方向值，k_i为原始图像中第k_i个像素点，并且是第k个像素点的八邻域像素点。

的取值方式如下：

如果

满足下列公式，则称原始图像的第k个像素点为种子， $C_k^8=1,$ 否则， $C_k^8=0:$

$1\≤\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{C}_k^i\≤4$

将第k个像素点对应的九元序列C_k，作为图像编码图的第k个元素。

第三步，得到种子坐标队列；

运用GPU的几何体着色器扫描图像编码图，依次对图像编码图中的各个元素执行下述步骤，得到种子坐标队列：

设图像编码图中的第k个元素为C_k，如果则将该元素的位置坐标输出到GPU的帧缓存中。这样得到的坐标集合为种子坐标队列。

第四步，得到直线段支撑区域列表；

运用GPU的几何体着色器并行地对种子坐标队列中的所有种子坐标进行如下操作，得到直线段支撑区域列表，存储于GPU的帧缓存中：

以任意一个种子坐标作为其所属直线段支撑区域的起始点坐标，在图像编码图中搜索属于该直线段支撑区域的所有元素，这些元素的位置坐标形成一个直线段支撑区域。所有直线段支撑区域形成直线段支撑区域列表。

如果种子坐标对应图像编码图中的第k个元素，求以该元素位置坐标(x_k，y_k)为起点的直线段支撑区域l_k的步骤如下：

步骤(一)：令j＝k；

步骤(二)：如果图像编码图中第j个元素的

且在原始图像中第j个像素点位置坐标(x_j，y_j)满足下式：

y_j＜y_k或者(y_j＝y_k且x_j＜x_k)

则从直线段支撑区域列表中删除l_k，终止搜索。

否则，执行步骤(三)；

步骤(三)：如果存在i＝0，1，L，7，使得

则：

将图像编码图中第j个元素的邻域点j_i作为l_k上的点，其位置坐标存储到l_k中；令j＝j_i，重新执行步骤(二)。

第五步，拟合直线；

运用GPU的像素着色器并行地对直线段支撑区域列表的每个直线段支撑区域进行直线拟合，得到原始图像的直线提取结果。

本发明的效益效果是：

(1)运用GPU的像素着色器和几何体着色器的并行计算能力，实现基于像素点的并行运算，缩短计算时间，弥补了直线提取算法效率低的问题。

(2)通过提出的种子增长策略，将基于相位编组的直线提取方法改进为可并行的方法。

(3)在提取直线的过程中应用原始图像的梯度方向图信息，即充分利用边缘的相位信息，从而会降低漏检的概率。

附图说明

图1是本发明的总体流程图；

图2是图像编码图的示例说明。

图3为各种方法对一幅图像进行直线提取的结果图。

具体实施方式

图1是本发明的总体流程图。整个流程分为五个大的步骤。

第一步，计算并存储原始图像的梯度方向图；

将原始图像存储于GPU的帧缓存中，运用GPU的像素着色器对原始图像中的各个像素点并行地执行可分离Sobel算子，得到原始图像的梯度方向图，存储于纹理存储器的一个纹理中。

第二步，计算并存储图像编码图；

运用GPU的像素着色器对梯度方向图中的各梯度方向值并行地计算，得到图像编码图，存储于纹理存储器的一个纹理中，此处的纹理与梯度方向图所在的纹理不同。

图2是图像编码图的示例说明。

图2为一个9行9列共81个方块组成的图像，每个方块代表图像的一个像素点，方块中的箭头代表该像素点的梯度方向。用斜纹填充的方块表示属于一个直线段支撑区域l₁的像素点，用灰色填充的方块表示属于另一个直线段支撑区域l₂的像素点。坐标为(3，5)的像素点在图中标为a，坐标为(6，2)的像素点在图中标为b，坐标为(3，6)的像素点在图中标为c，坐标为(5，8)的像素点在图中标为d。应用提出的生成图像编码图方法，从每个像素点的右上邻域点开始按顺时针方向形成八邻域像素点集合，则标号为a，b，c，d的四个像素点对应于图像编码图中的四个元素分别为：

C_a＝{1，1，0，0，0，0，0，0，1}

C_b＝{1，1，1，1，0，0，0，0，1}

C_c＝{0，1，1，1，0，0，0，0，1}

C_d＝{0，1，1，1，1，1，1，1，0}

由

可知，标号为a，b，c的三个像素点为种子。

第三步，得到种子坐标队列；

运用GPU的几何体着色器扫描图像编码图，通过一趟扫描得到种子坐标队列，存储于GPU的帧缓存中。

第四步，得到直线段支撑区域列表；

运用GPU的几何体着色器并行地从种子坐标队列中的所有种子坐标出发，搜索图像编码图，得到直线段支撑区域列表，存储于GPU的帧缓存中。

图2说明了删除直线段支撑区域列表中重复直线段支撑区域的原理。

在图2中，从标号为a，b的种子分别生长成的直线段支撑区域是同一个直线段支撑区域l₁，即直线段支撑区域列表中分别以a，b种子为起始点的直线段支撑区域所包含的位置坐标是一样的，而a号种子的纵坐标大于b号种子，因此删除直线段支撑区域列表中以a号种子为起始点的直线段支撑区域。

第五步，拟合直线参数；

运用GPU的像素着色器并行地对直线段支撑区域列表的每个直线段支撑区域进行可分离的加权最小二乘方法拟合直线参数，得到原始图像的直线提取结果。GPU的像素着色器输入是上一步得到的直线段支撑区域列表，输出是每个直线段支撑区域对应的直线段参数。

采用本发明方法对图像进行直线提取后的实验结果如图3所示。实验环境为：英特尔酷睿i5 760，Nvidia的GeForce 465。图3(a)为一幅512×512的原始图像，图3(b)为用本文方法提取出来的长度大于15的直线段提取结果，长度小于15的直线段没有显示。图3(c)为用Burns等提出的相位编组CPU算法得到的结果，图3(d)为用Fung等提出的Hough变换GPU直线提取方法得到的结果。可以看出，本文的提取效果与Burns等的方法相似，而Hough变换方法则漏检了对比度较低的直线段。

我们比较了本发明与Burns等提出的基于相位编组CPU算法运行时间。表1显示了不同大小的图像用两种方法实现的时间开销。表的第一列表示图像尺寸，第二列表示用Burns提出的CPU算法所耗时间，第三列表示本文的GPU算法所耗时间。由表1可以看出，GPU算法相对于CPU算法的绝对提速幅度随着图像尺寸的增大而提高，相对加速程度也随着图像尺寸的增大而提高。

表1.时间代价的比较

图像尺寸	CPU时间(毫秒)	GPU时间(毫秒)
			512×512	78	16
1024×1024	370	63
			10069×7105	101203	9921

Claims (1)

1.一种基于图形处理单元的相位编组直线提取方法，其特征在于，包括下述步骤：

第一步，计算并存储原始图像的梯度方向图；

将原始图像存储于GPU(graphics processing units，图形处理单元)的帧缓存中，运用GPU的像素着色器对原始图像中的各个像素点并行地执行可分离Sobel算子，得到原始图像的梯度方向图，存储于GPU的纹理存储器中；

设在原始图像中第k个像素点的梯度方向值为f_k；

第二步，计算并存储图像编码图；

运用GPU的像素着色器对梯度方向图中的各梯度方向值并行地执行下述步骤，得到图像编码图，存储于GPU的纹理存储器中：

设原始图像中第k个像素点的八邻域像素点集合为{k_i，i＝0，1，L，7}，第k个像素点对应的一个九元序列为 $C_k=\{C_k^i,i=\mathrm{0,1},L,8\},$ $C_k^i,i=\mathrm{0,1},L,7$ 的取值方式如下：

如果 $f_k=f_{k_i},$ 则 $C_k^i=1;$ 否则， $C_k^i=0;$

上式中

为像素点k_i的梯度方向值；

的取值方式如下：

如果

满足

则称原始图像的第k个像素点为种子， $C_k^8=1;$ 否则， $C_k^8=0:$

将第k个像素点对应的九元序列C_k，作为图像编码图的第k个元素；

第三步，得到种子坐标队列；

运用GPU的几何体着色器扫描图像编码图，依次对图像编码图中的各个元素执行下述步骤，得到种子坐标队列：

设图像编码图中的第k个元素为C_k，如果

则将该元素的位置坐标输出到GPU的帧缓存中；这样得到的坐标集合为种子坐标队列；

第四步，得到直线段支撑区域列表；

运用GPU的几何体着色器并行地对种子坐标队列中的所有种子坐标进行如下操作，得到直线段支撑区域列表，存储于GPU的帧缓存中：

以任意一个种子坐标作为其所属直线段支撑区域的起始点坐标，在图像编码图中搜索属于该直线段支撑区域的所有元素，这些元素的位置坐标形成一个直线段支撑区域；所有直线段支撑区域形成直线段支撑区域列表；

如果种子坐标对应图像编码图中的第k个元素，求以该元素位置坐标(x_k，y_k)为起点的直线段支撑区域l_k的步骤如下：

步骤(一)：令j＝k；

步骤(二)：如果图像编码图中第j个元素的且在原始图像中第j个像素点位置坐标(x_j，y_j)满足下式：

y_j＜y_k或者(y_j＝y_k且x_j＜x_k)

则从直线段支撑区域列表中删除l_k，终止搜索；

否则，执行步骤(三)；

步骤(三)：如果存在i＝0，1，L，7，使得

则：

将图像编码图中第j个元素的邻域点j_i作为l_k上的点，其位置坐标存储到l_k中；令j＝j_i，重新执行步骤(二)；

第五步，拟合直线；

运用GPU的像素着色器并行地对直线段支撑区域列表的每个直线段支撑区域进行直线拟合，得到原始图像的直线提取结果。

Images