CN102831633A - 一种基于线性纹理滤波的卷积滤波优化方法 - Google Patents

Abstract

本发明是一种基于线性纹理滤波的卷积滤波优化方法：若卷积滤波器可分离，则分离为两个一维滤波器；考察卷积核中的权重，将相邻两个均不为0且同号的权重配对，使整个卷积核中有尽可能多的配对权重；对配对权重进行计算，得到线性纹理滤波所需的坐标偏移量和新的权重；按坐标偏移量以线性纹理滤波方式进行纹理查找，得到的纹理值再乘以对应的新的权重，得到该配对权重在卷积滤波中的作用结果；对未配对权重进行正常的卷积滤波，将它们的滤波结果与配对权重的结果相加，得到整个卷积滤波的结果。本发明利用现代GPU的线性纹理滤波功能，减少在实时图像渲染中进行卷积滤波时所需进行的纹理查找、乘法和加法的次数，达到提高卷积滤波效率的目的。

Description

一种基于线性纹理滤波的卷积滤波优化方法

技术领域

本发明属于计算机图形学领域，涉及在实时图像渲染中进行卷积滤波时，如何利用图形硬件的线性纹理滤波功能减少所需进行的纹理查找、乘法和加法的次数，以达到提高卷积滤波效率的目的。

背景技术

纹理映射是图形渲染中最常用的技术之一，在进行纹理映射的过程中，纹理查找是必不可少的一步。纹理查找就是根据给定的纹理坐标，在纹理中查找出相应的纹素(对应于图像中的像素)的值，供后续的映射使用。大多数情况下，纹理查找所用到的纹理坐标并不是整数，即该坐标对应着的不是纹理中某个特定的纹素而是某些相邻纹素中的某个位置，进行这样的纹理查找时就要进行纹理滤波。纹理滤波通常有“最近滤波”和线性滤波两种方式。“最近滤波”是最简单和最快速的方法，它直接取与纹理坐标最近的纹素的值作为纹理查找的结果，但效果不是很好。通常使用的是线性滤波方法，它对纹理坐标对应的相邻纹素进行线性插值处理，插值的结果作为纹理查找的结果。以一维纹理为例，设坐标分别为i和i+1的两个相邻纹素的值分别为f(i)和f(i+1)，i为整数，则对纹理坐标为i+x以线性滤波方式进行纹理查找时，其结果为f(i)和f(i+1)的线性插值，插值公式为式(1)：

f(i+x)＝(1-x)f(i)+xf(i+1)        (1)

其中，x为进行纹理查找所用的纹理坐标相对于纹素f(i)的坐标的偏移量，x∈(0，1)。由式(1)可以看出，对坐标i+x进行一次线性滤波方式的纹理查找，其结果包含了相邻两个纹素f(i)和f(i+1)的值，而通常要得到纹素f(i)和f(i+1)的值则需要进行两次纹理坐标为整数的纹理查找。现代图形处理单元(GPU，Graphics Processing Unit)具有固定的线性纹理滤波功能，使得进行需要插值的纹理查找相比于纹理坐标为整数的纹理查找，并没有增加额外的处理时间，这位后面提到的卷积滤波的优化提供了基础。

卷积滤波是一种功能强大的图像处理技巧，它是像素滤波器，本质上是一个存储了像素权重的数组，它根据这些权重在图像中进行像素处理，这个权重数组也称为卷积核。对于每一个像素，卷积滤波用这个像素及其邻近像素的加权平均值作为结果图像对应像素的值。对一个M行N列(M和N通常为大于1的奇数)卷积滤波器，其卷积公式表示如下：

$g(s,t)={\mathrm{\Σ}}_{i=-(M-1)/2}^{(M-1)/2}{\mathrm{\Σ}}_{j=-(N-1)/2}^{(N-1)/2}w(i,j)f(s+i,t+j)$

其中f(s，t)为坐标(s，t)处像素的值，g(s，t)为对坐标(s，t)处像素进行卷积滤波的结果，w(i，j)为卷积滤波器中坐标(i，j)对应的权重值，卷积滤波器中心处坐标为(0，0)。

在进行实时图形渲染时，对图像的卷积滤波通常是将图像保存为纹理后进行。对于一个M行N列的卷积滤波器(M和N通常为大于1的奇数)，(不妨假设此滤波器中没有权重为0的项，若存在，则需要进行的纹理查找、乘法和加法的次数都相应减少)，按照式(2)进行卷积滤波时，对每个像素的卷积滤波都要进行MN次纹理查找，同时还需进行MN次乘法和M(N-1)次加法。有的卷积滤波器可以分离为X和Y方向上的两个一维卷积滤波器，先进行一个方向上的卷积滤波再进行另一个方向上的，对每个像素的卷积滤波所需的纹理查找次数减少为M+N次，乘法减少为M+N次，加法减少为M+N-2次。

发明内容

本发明要解决的技术问题是：设计一种基于线性纹理插值的卷积滤波优化方法，使得在实时图像渲染中进行卷积滤波时，利用图形硬件的线性纹理滤波功能减少所需进行的纹理查找、乘法和加法的次数，以达到提高卷积滤波效率的目的。

本发明的一种基于线性纹理滤波的卷积滤波优化的技术解决方案包括以下步骤：

步骤S1：对一个M行、N列卷积滤波器，若其卷积核能分离为两个一维卷积滤波器，则将其分离得到一个M行、1列的一维卷积滤波器和一个1行、N列的一维卷积滤波器；若M行、N列卷积滤波器的卷积核不能分离为两个一维卷积滤波器，则直接进入步骤S2；M和N为大于1的奇数；

步骤S2：若M行、N列卷积滤波器不能分离为两个一维卷积滤波器，则对M行、N列卷积滤波器的卷积核进行考察；若M行、N列卷积滤波器能分离为两个一维卷积滤波器，则对这两个一维卷积滤波器的卷积核进行考察；将相邻的两个都不为0且同号的权重分为一个配对，使得得到最多的配对权重；

步骤S3：对每一对配对权重进行计算，得到每一配对权重相对应的线性纹理滤波所需要的坐标偏移量和新的权重；以上步骤S1至步骤S3只需要在进行图像卷积滤波之前进行一次；

步骤S4：利用现代图形处理单元GPU的线性纹理滤波功能，按坐标偏移量以线性纹理滤波方式，对每一配对权重进行纹理查找，得到对应的纹理值，并将纹理值乘以其对应的新的权重，就得到了对应卷积滤波器中组成该配对权重的两个权重的卷积滤波结果；

步骤S5：对卷积核中剩余的没有配对的权重进行卷积滤波，得到所有未配对权重的卷积滤波结果值，并将所有未配对权重的卷积滤波结果值与所有配对权重的卷积滤波结果相加，得到整个M行、N列卷积滤波器的卷积滤波结果。

所述步骤S3中对每一配对权重进行计算的步骤如下：设某一配对权重的权重值分别为w_i和w_i+1，则新的权重为w_i+w_i+1，坐标偏移量为w_i+1/(w_i+w_i+1)，当配对权重为X或Y方向上时，此坐标偏移量为该配对权重进行线性纹理滤波所需的纹理坐标相对于进行一般卷积滤波时权重w_i所对应的纹理坐标在X或Y方向上的偏移量。

本发明与现有技术相比的有益效果是：充分利用现代图形处理单元GPU的线性纹理滤波功能，在对图像进行卷积滤波之前对卷积滤波器进行处理，减少了卷积滤波过程中所需进行的纹理查找、乘法和加法的次数，提到了卷积滤波的效率，且原理简单，便于实现。

附图说明

图1为本发明的实现步骤流程图；

图2为某具体实施例中未进行卷积滤波的原始图像；

图3为某具体实施例中原始图像经过正常卷积滤波的结果图像；

图4为某具体实施例中原始图像通过本发明进行卷积滤波的结果图像；

具体实施方式

以下说明本发明的实施例。但以下的实施例仅限于解释本发明，本发明的保护范围应包括权利要求的全部内容，而且通过以下实施例，该领域的技术人员即可以实现本发明权利要求的全部内容。

本发明的基于线性纹理滤波的卷积滤波优化可以硬件方式实现，也可以软件方式实现。例如在个人计算机、工控机及服务器上以软件的形式安装并执行，也可本发明的方法做成嵌入式芯片以硬件的形式来体现。

考察式(2)，设卷积滤波器在X方向上某两个相邻权重的值分别为w_i和w_i+1，则它们在卷积滤波中的最终作用结果为：

w_if(i)+w_i+1f(i+1)            (3)

当此相邻权重值w_i和w_i+1均不为0且同号时，有w_i+w_i+1≠0，则式(3)可改写为：

令

则有α∈(0，1)，则式(4)可改写为：

(w_i+w_i+1)[(1-α)f(i)+αf(i+1)]    (5)

比较线性纹理插值公式式(1)和式(5)可知，二者具有相同的形式，式(5)只是在式(1)的基础上多乘了一个权重(w_i+w_i+1)。由此可得到如下的结论：当权重w_i和w_i+1满足均不为0且同号的条件时，它们在卷积滤波中的作用结果可以通过一次线性纹理滤波乘上一个相应的权重来实现，从而使得本来都需要两次的纹理查找和乘法均减少为一次，所需加法次数也减少了一次。对一个1行N列的一维卷积滤波器而言，若其权重满足条件，其对每个像素进行卷积滤波所需的纹理查找和乘法次数均从N次减少到了(N+1)/2，所需的加法次数也相应减少。下面参照附图对本发明的具体实施方式进行说明。

本发明的实现步骤流程图如图1所示，基于线性纹理滤波的卷积滤波优化的步骤如下：

步骤S1：对一个M行、N列卷积滤波器，若其卷积核能分离为两个一维卷积滤波器，则将其分离得到一个M行、1列的一维卷积滤波器和一个1行、N列的一维卷积滤波器；若M行、N列卷积滤波器的卷积核不能分离为两个一维卷积滤波器，则直接进入步骤S2；M和N为大于1的奇数；

步骤S2：若M行、N列卷积滤波器不能分离为两个一维卷积滤波器，则对M行、N列卷积滤波器的卷积核进行考察；若M行、N列卷积滤波器能分离为两个一维卷积滤波器，则对这两个一维卷积滤波器的卷积核进行考察；将相邻的两个都不为0且同号的权重分为一个配对，使得得到最多的配对权重；

步骤S3：对每一对配对权重进行计算，得到每一配对权重相对应的线性纹理滤波所需要的坐标偏移量和新的权重；以上步骤S1至步骤S3只需要在进行图像卷积滤波之前进行一次；

步骤S4：利用现代图形处理单元GPU的线性纹理滤波功能，按坐标偏移量以线性纹理滤波方式，对每一配对权重进行纹理查找，得到对应的纹理值，并将纹理值乘以其对应的新的权重，就得到了对应卷积滤波器中组成该配对权重的两个权重的卷积滤波结果；

步骤S5：对卷积核中剩余的没有配对的权重进行卷积滤波，得到所有未配对权重的卷积滤波结果值，并将所有未配对权重的卷积滤波结果值与所有配对权重的卷积滤波结果相加，得到整个M行、N列卷积滤波器的卷积滤波结果。

下面以一个具体的5行5列的高斯模糊卷积滤波器M来进行说明，高斯模糊卷积滤波器M的卷积核如式(6)所示，其它的卷积滤波器可以按照此过程类似进行。

$M=\left[\begin{array}{ccccc}1/256& 4/256& 6/256& 4/256& 1/256\\ 4/256& 16/256& 24/256& 16/256& 4/256\\ 6/256& 24/256& 36/256& 24/256& 6/256\\ 4/256& 16/256& 24/256& 16/256& 4/256\\ 1/256& 4/256& 6/256& 4/256& 1/256\end{array}\right]---\left(6\right)$

具体实现步骤如下：

步骤S1：卷积滤波器分离：对式(6)所示的卷积滤波器为5行5列高斯模糊卷积滤波器M，考察其内核后发现其可以进行分离，分离后得到两个一维卷积滤波器，分别为X和Y方向上，高斯模糊卷积滤波器M的分离结果如式(7)。

$M=\left[\begin{array}{c}1/16\\ 4/16\\ 6/16\\ 4/16\\ 1/16\end{array}\right]\left[\begin{array}{ccccc}1/16& 4/16& 6/16& 4/16& 1/16\end{array}\right]---\left(7\right)$

步骤S2：权重配对：对步骤S1中分离得到的X方向上的一维卷积滤波器M_x＝[1/16 4/16 6/16 4/16 1/16]，考察其卷积核中的权重，将相邻的两个都不为0且同号的权重分为一对，一种配对方法为将前两个权重配为一对，末尾两个权重配为一对。

步骤S3：计算坐标偏移量和新的权重：对步骤S2中的每一对权重，按照式(1)和式(5)计算其进行相应线性纹理滤波所需要的坐标偏移量和新的权重，对前两个权重组成的一对，新的权重为1/16+4/16＝5/16，坐标偏移量为此坐标偏移量是相对第一个权重1/16而言；对末尾两个权重组成的一对，新的权重为5/16，坐标偏移量为

此偏移量是相对第四个权重4/16而言。

步骤S4：配对权重的纹理查找：将第一对权重的坐标偏移量0.8加上第一个权重对应的纹理坐标，得到所需的纹理坐标，以此纹理坐标进行纹理查找，并将得到的结果乘以5/16，得到前两个权重在此卷积滤波中的总的作用结果；将第二对权重的坐标偏移量0.2加上第四个权重对应的纹理坐标，得到所需的纹理坐标，以此纹理坐标进行纹理查找，并将得到的结果乘以5/16，得到末尾两个权重在此卷积滤波中的总的作用结果；将这两个结果相加即得到第一、二、四、五个权重在卷积滤波中的总的作用值，相比正常卷积滤波过程需要进行四次纹理查找，这里只进行了两次纹理查找，同时乘法和加法次数也相应减少。

步骤S5：未配对权重的处理：对剩余的第三个权重，按其纹理坐标进行纹理查找，将结果乘以其权重6/16得到第三个权重在此卷积滤波中的作用结果，再加上步骤S4中的最终结果，得到此卷积滤波的最终结果。

以上进行完了X方向的一维卷积滤波，接下来在Y方向上按步骤S2至步骤S5进行与X方向相同的处理，从而完成整个卷积滤波的过程。

如果忽略处理过程中的舍入误差，则经过以上两次一维卷积滤波得到的结果与直接通过5×5的卷积滤波器M进行卷积滤波得到的结果是一样的，但对每个像素进行卷积滤波所需的纹理查找和乘法的次数均从5×5＝25次减少到了3+3＝6次，加法数也从24次减少到了4次，效率大大提高。

利用上述高斯模糊卷积滤波器在某具体实施例中对图像进行卷积滤波的实验，实验中使用实时三维视景仿真软件Vega渲染出场景图像，场景图像大小为1024×1024，然后利用OpenGL着色语言编写的着色器实现对整个场景图像的卷积滤波。图2为某具体实施例中未进行卷积滤波的原始场景图像，图3为某具体实施例中直接用上述5×5高斯模糊卷积滤波器对场景图像进行10次卷积滤波的结果图像，图4为某具体实施例中通过本发明对原始场景图像进行10次卷积滤波的结果图像。因为共经过了10次卷积滤波处理，若本发明的处理结果不正确而导致与正常卷积滤波结果有所差异的话，则经过10次放大后差异会很明显，但仔细比较图4和图5的细节后发现，二者基本是一致的，说明了本发明的正确性。同时通过Vega的统计绘制时间功能，得到图2、图3和图4相应的绘制时间分别约为1.7毫秒、20毫秒和8.3毫秒，则10次正常卷积滤波所用时间为20-1.7＝18.3毫秒，本发明所用时间则为8.3-1.7＝6.6毫秒。这里统计得到的卷积滤波时间并不完全准确，还包括了其它一些操作如纹理操作等的时间，但在其它条件都不变的情况下，绘制时间的大幅度减少清楚地反映了本发明对渲染效率的提升作用。

以上所述是一种基于线性纹理滤波的卷积滤波优化方法，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于线性纹理滤波的卷积滤波优化方法，其特征在于包括以下步骤：

步骤S1：对一个M行、N列卷积滤波器，若其卷积核能分离为两个一维卷积滤波器，则将其分离得到一个M行、1列的一维卷积滤波器和一个1行、N列的一维卷积滤波器；若M行、N列卷积滤波器的卷积核不能分离为两个一维卷积滤波器，则直接进入步骤S2；M和N为大于1的奇数；

步骤S2：若M行、N列卷积滤波器不能分离为两个一维卷积滤波器，则对M行、N列卷积滤波器的卷积核进行考察；若M行、N列卷积滤波器能分离为两个一维卷积滤波器，则对这两个一维卷积滤波器的卷积核进行考察；将相邻的两个都不为0且同号的权重分为一个配对，使得得到最多的配对权重；

步骤S3：对每一对配对权重进行计算，得到每一配对权重相对应的线性纹理滤波所需要的坐标偏移量和新的权重；以上步骤S1至步骤S3只需要在进行图像卷积滤波之前进行一次；

步骤S4：利用现代图形处理单元GPU的线性纹理滤波功能，按坐标偏移量以线性纹理滤波方式，对每一配对权重进行纹理查找，得到对应的纹理值，并将纹理值乘以其对应的新的权重，就得到了对应卷积滤波器中组成该配对权重的两个权重的卷积滤波结果；

步骤S5：对卷积核中剩余的没有配对的权重进行卷积滤波，得到所有未配对权重的卷积滤波结果值，并将所有未配对权重的卷积滤波结果值与所有配对权重的卷积滤波结果相加，得到整个M行、N列卷积滤波器的卷积滤波结果。

2.如权利要求1所述基于线性纹理滤波的卷积滤波优化方法，其特征在于，所述对每一配对权重进行计算的步骤如下：

设某一配对权重的权重值分别为w_i和w_i+1，则新的权重为w_i+w_i+1，坐标偏移量为w_i+1/(w_i+w_i+1)，当配对权重为X或Y方向上时，此坐标偏移量为该配对权重进行线性纹理滤波所需的纹理坐标相对于进行一般卷积滤波时权重w_i所对应的纹理坐标在X或Y方向上的偏移量。

Images