CN107808370A

CN107808370A - 一种基于区域求和的立方体图的图像滤波方法

Info

Publication number: CN107808370A
Application number: CN201710871132.5A
Authority: CN
Inventors: 肖懿; 朱贤益
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2016-11-30
Filing date: 2017-09-24
Publication date: 2018-03-16
Anticipated expiration: 2037-09-24
Also published as: CN107808370B

Abstract

区域求和表(summed area table，SAT)技术原本是用来处理二维矩形的数据。根据球面函数的特性，SAT并不能直接处理球面函数和立方体图。本发明针对立方体图，设计了一个新SAT的表示方式，将立方体图看作三维辅助函数的一部分，这个三维辅助函数定义在三维矩形空间内。其主要思路是将立方体上的二维积分过程转换为三维辅助函数上的三维积分。本发明实际上为三维辅助函数创建了一个三维的SAT，然后利用这个三维的SAT实现三维积分。这个三维的SAT并不是球面的SAT，但是它具有一些良好的特性使其能保存在本发明的数据结构中，这个数据结构就是区域求和立方体图(summed‑area cube map，SACM)。而SACM适用于标准的立方体图纹理当中，SACM的取值方法能被高效地应用在现有的图形设备中，同时继承了原始的SAT的特性。

Description

一种基于区域求和的立方体图的图像滤波方法

技术领域

本发明涉及计算机图像渲染和计算机视觉领域，可以应用于图像渲染中环境映射、全局光照和阴影绘制过程，视觉领域的目标识别过程。

背景技术

环境贴图(environment map)是将离散图像组成的数字化图像，在场景的渲染过程中需要对环境贴图进行滤波，以实现反走样、柔和阴影、高光反射等效果。在这些应用中，滤波算法的速度和质量直接决定了渲染的速度与图像的质量。图像滤波需要对环境贴图上任意的一个区域进行积分。对于区域长宽为w像素的滤波，直接采用点采样方式进行滤波的时间复杂度为O(w²)。当区域滤波较大时，这在要求实时速度的应用中是不可行的。对于二维图像可行的常数时间滤波方法，有基于预计算的Mipmap方法和区域求和法(summed areatable,SAT)。这类方法一般通过读取一个预先计算的数据结构中的相应位置并进行简单运算，得到最终需要的滤波结果，从而实现对任意大小的区域的固定时间的滤波。

然而，与二维图像不同的是，环境贴图是对球面(闭合曲面)函数的参数化采样，其数据连续无边界。其中最常用的立方体图(cube map)，环境的信息会分布在立方体的六个面上，相邻面之间的内容是连续的。当滤波区域分布在多个面上时，直接利用Mipmap或者SAT方法分别对每个面进行滤波会忽视内容的连续性，从而导致滤波失真。

本发明保证了滤波内容连续的基础上，利用预计算的思想设计了立方体图和SAT相结合的数据结构和读取方法，实现高质量的实时常数时间滤波。将立方体图定义为在三维矩形空间中的三维辅助函数的一部分，把立方体图上的二维积分过程转换为三维辅助函数上的三维积分。事实上，本发明为三维辅助函数定义了三维SAT，利用三维的SAT完成三维积分。这种特殊的三维的SAT被称为区域求和立方体图(summed-area cube map,SACM)，能被存储在标准的立方体图纹理中。SACM的滤波方法可以有效地应用在现有的图形硬件当中，并且拥有原始SAT的良好特性。

发明内容

在保证滤波内容连续的基础上，本发明将立方体图与SAT相结合，定义了一个新的数据结构SACM和对应的滤波方法。新的数据结构SACM继承了原始SAT的特性，能够在固定时间内快速完成区域积分，并且利用数据冗余可以这个数据结构存储在标准的立方体纹理中，其滤波方法可以高效地应用在现有的GPU图形设备上，实现高质量的实时的O(1)时间内滤波。

本发明内容由两个部分组成，首先是SACM数据结构的生成过程，然后是基于SACM的滤波技术。

1.SACM数据结构的生成

SACM数据结构的生成由两个部分组成：二维SAT的生成，以及SACM数据结构的生成。

1.1二维SAT的生成

二维SAT生成过程是一项基本步骤，在SACM数据结构生成时将用到这个基本步骤。这个过程的输入为一维的闭合函数，如图1所示一维的闭合函数；输出为二维的SAT。其流程如算法1所示：

1.2 SACM数据结构的生成

与生成二维SAT的过程类似，生成SACM过程需要生成6个二维SAT。给出一个立方体图，需要分别生成6个二维SAT，其原点在面的中心。在生成的过程中，这6个二维SAT必须与三维SAT的方向一致。生成过程如算法2所示。

计算相邻公共边的值为两个邻接的SAT的边界上的和，计算相邻角点的值为三个邻接的SAT的角点的和。如图3所示，SACM由6个独立的面组成，这6个二维的SAT面必须与三维的SAT方向一致。立方体图的采样点位于纹素的中心，而且SAT的采样点位于立方体图纹素的角落。如图4所示，SACM一个面的局部结构。

2.基于SACM的滤波技术

在滤波的时候，对于一个给定的立方体图上的滤波核(filter kernel)，本方法将在三维空间定义一个矩形长方体(即三维滤波壳，3D filter box)，如图5所示基于SACM滤波的简略流程。下面将详细说明基于SACM的滤波技术。

令Ω为立方体上的滤波核，F(Ω)为对应的滤波值。本方法将核Ω转换为一个定义在三维空间上的轴对齐的长方体B，使得长方体B和SAT立方的相交之处尽可能近的覆盖核Ω。令H(B)为SACM的滤波值。如果能找出这样的一个长方体B，使得F(Ω)＝H(B)，那么问题变为如何定义B。在得到B的八个顶点之后，需要一种读取方式从SACM中读取SAT的值。

长方体B定义取决于核Ω的位置和大小，下面分为三种情况。对于每种情况都满足以下的三个条件：

●核Ω的中心c位于立方体图的+Y面上，即c＝(x_c,1,z_c)；

●核Ω为正方形，边长为2w_c；

●|x_c|＞|z_c|。

2.1滤波核位于一个面上

如图6(a)所示，滤波核Ω的足迹位于一个面上。图6(b)所示，长方体的中心c_B位于区间[(x_c,1-w_c,z_c),(x_c,1+w_c,z_c)]之内，长方体B正好覆盖了滤波核Ω。令c_B＝(x_c,1-+w_c,z_c)，其中1-表示比1略小的数，则滤波值可以通过如下公式计算：

其中{v_i}为长方体B的顶点。可以通过长方体的中心和边宽计算得到。

由于三维SAT的H(v)定义在三维空间，但是SACM却存放在一个立方体图的纹理当中，根据SACM的定义，对于{v₅,…,v₈}，H(v_i)＝0。而{v₁,…,v₄}，将其映射到SACM的+Y面上的灰色区域(图6(c))，通过下式获取H(v_i)的值：

其中texCUBE为标准的立方体纹理读取函数，tex3d为SACM纹理，为坐标矫正因子。2.2滤波核位于两个面上

当滤波核Ω靠近边界的时候，其足迹如图7(a)所示覆盖了立方体图上的两个面，是一个折叠后的矩形。为了达到平滑过渡的效果，令长方体的中心c_B＝(x_c,1+(1-|x_c|),z_c)，如图7(b)所示长方体B的中心与滤波核Ω中心的距离为(1-|x_c|)，B正好覆盖Ω。

SAT的值可以通过如下方式获得。对于{v₅,v₈}，H(v_i)＝0。对于其他的顶点，需要从SACM中获取。其中{v₁,v₄}，将其映射到+Y面上的灰色区域，如图7(c)，按照下式计算：

其中{v₆,v₇}，将其映射至+X面上的灰色区域，如图7(c)，按照下式计算：

其中{v₂,v₃}，需将其映射至+Y面上黄色区域的外框边上，如图7(c)，对SAT立方体公共边的采样保存在外框边上，按照下式计算：

式(5)中的因子表示SAT立方体上公共边，sign函数表示取正负符号。

2.3滤波核位于多个面上

当滤波核Ω靠近角落的时候，或者当其尺寸非常大的时候，这个核的足迹将至少跨跃立方体图上的3个面。这种情形存在多种分布的可能，图8所示两种可能分布，一个是重复覆盖图8(a)，另一个是缺失图8(b)。重复覆盖不适合GPU的应用，本方法只考虑缺失的情况。

当滤波Ω靠近角落，其足迹跨域三个面如图9所示，由于足迹的形状过于复杂，很难找到了一个长方体B正好覆盖住滤波Ω。令长方体的中心c_B＝(x_c,1+(1-|x_c|),z_c)，长方体B与SAT立方体相交的部分包含了一个多余的区域R，如图9(b)。令L为由顶点v₉,v₁₀,v₁₁,v₁₂四个顶点组成的区域，如图10(a)和(b)。

由于区域R相对整个相交部分而言很小，F(Ω)可用下式近似得到：

F(Ω)≈H(B)-γF(I)；式(6)

其中γ是区域R和I的比例，由下面的式子计算：

为了计算F(I)，定义一个新的矩形长方体如图10(b)。新的长方体由这8个顶点组成而且顶点v₁₃(的投影)和v₁₂()之间的距离为1个像素大小。由于三维函数的值(并不是三维SAT的值)在SAT立方体12条边上的值为0，F(I)可由下面的式子计算得到：

利用式(6)和式(8)可得：

考虑式(9)中的一个项如果三维SAT的读取H(·)函数能够在z轴上进行线性插值，那么能引入一个新的顶点v′₁₁＝(1-γ)v₁₁+γv₁₄，如图10(b)所示。则H(v′₁₁)由下式计算得到：

如图10(c)所示，将顶点v′₁₁投影到长方体上，得到对其他顶点使用用类似的方法，式(9)可以简化如下：

式(11)在应用时，SAT的值H(v₈)等于0，其他顶点的SAT值需要从SACM中获取，如图10(d)。对于顶点v₄和v₇的SAT值可分别使用式(2)和式(4)计算，对于顶点v₃可以使用式(5)计算。对于顶点v′₁、v′₂和v′₆的SAT值可以在立方体纹理上进行插值计算得到：

其中因子表示公共边SAT值上的采样和公共边邻接的采样。顶点v′₅可以由下面的式子计算得到：

在上述讨论足迹跨越3个面的情况中，需要重新调整顶点一次。如果滤波核的尺寸非常大，那么其足迹将会覆盖多于3个面。可以使用相同方法，近似计算来自第4个和第5个面的贡献。这样情况下需要重新整理顶点2到3次。如图11所示，对应的重新整理的结果。

通过枚举所有的情况，下面总结了一个通用的计算公式：

对于给定的B的2个斜对角，对其重新调整：

v′＝v+βsign(v)max(abs(v)-1,0)；式(14)

可以计算出8个重新调整的顶点，{v′₁,…,v′₈}。

通过下列式子计算SAT的值：

其中

对应的读取点v_i″的计算方法如下：

其中

附图说明

图1为一维闭合函数示意图。

图2为二维SAT的生成实例示意图，(a)生成4段一维的SAT，(b)将相邻的一维SAT的两个端点相加。

图3为SACM数据结构生成示意图，(a)三维SAT的坐标轴，(b)立方体图的局部，(c)SACM的局部。

图4为SACM一个面的结构示意图，(a)SAT取值的采样位置，(b)原始立方体图的采样位置，(c)从原始立方体图+Y面得到的SAT取值，(d)从原始立方体图的+Y面和一个邻接面得到的SAT取值，(e)从原始立方体图的+Y面和两个邻接面得到的SAT取值。

图5为基于SACM滤波的简略流程图，(a)立方体图上滤波，(b)三维滤波过程，(c)从SACM中读取SAT的值。

图6为滤波核位于一个面上的示意图，(a)滤波核Ω，(b)长方体B，(c)从SACM上读取SAT的值。

图7为滤波核跨越两个面的示意图，(a)滤波核Ω，(b)长方体B，其中心c_B离核Ω中心，(c)SACM对应的映射。

图8为跨越多个面的两种分布情况示意图，(a)多重覆盖的折叠,(b)缺失的折叠。

图9为跨域三个面的滤波核示意图，(a)滤波核Ω，(b)长方体B。

图10为长方体的顶点重新分布情况示意图，(a)第三个面的尺寸，(b)为插值而添加的新顶点，(c)投影新的顶点到长方体B，(d)映射顶点到SACM上获取对应的SAT值。

图11为跨越多个面的滤波核和顶点重新分布示意图，第一行表示滤波核跨越4个面，第二行表示滤波核跨越5个面，(a)(b)中深色区域表示滤波核Ω，虚线部分表示由矩形长方体B构建的滤波核；(c)顶点重新整理后的俯视图。

图12为本发明的基本流程及一个应用实例，(a)—个展开的立方体图，(b)构造一个三维辅助函数，(c)设计基于三维区域求和表的预计算方法对辅助函数进行预计算，(d)设计一个可以储存在立方体图中的数据结构，(e)需要被渲染的物体，(f)根据应用需求确定滤波区域，(g)设计读取算法对预计算的数据结构进行滤波,把不规则区域积分转化为规则区域体积分，(h)渲染的结果。其中图(b)(c)(g)中的栅格无物理意义，只是为了展示离散效果。

具体实施方式

实施方式由两个步骤构成：SACM数据结构的生成，基于SACM数据结构进行滤波。

输入一个立方体图，这个面的大小为m×m，按照下面两个步骤处理：

步骤1、对立方体图的每一个面，在面的中心以及面的边上插入一行和一列“0”，如图3(b)(c)，以面的中心为原点生成二维的SAT；

步骤2、对每个面，利用二维SAT的值，计算相邻公共边和相邻角点的值(如图3(c))。

得到一个SACM数据结构，每个面的大小为(m+3)×(m+3)。

而后基于SACM数据结构进行滤波，虽然滤波的情况多种，但是可以利用通用公式进行计算：

对于给定的B的2个斜对角，利用式(14)和式(15)对其重新调整，可以计算出8个重新调整的顶点，{v′₁,…,v′₈}；

利用式(16)和式(17)计算H(v′_i)的SAT值。

Claims

1.一种基于区域求和的立方体图的图像滤波方法，其特征在于，包括如下两个步骤：

步骤1、SACM数据结构的生成；

步骤2、基于SACM的滤波技术。

2.根据权利要求1所述的基于区域求和的立方体图的图像滤波方法，其特征在于，步骤1中，SACM数据结构的生成，具体包括如下两个步骤：

步骤2.1、对立方体图的每一个面，在面的中心以及面的边上插入一行和一列“0”，以面的中心为原点生成二维的SAT；

步骤2.2、对每个面，利用二维SAT的值，计算相邻公共边和相邻角点的值。

3.根据权利要求1所述的基于区域求和的立方体图的图像滤波方法，其特征在于，步骤2中，基于SACM的滤波技术，其通用计算公式包括如下两步骤：

步骤3.1、对于给定的B的2个斜对角，对其重新调整：

v′＝v+βsign(v)max(abs(v)-1,0)；

可以计算出8个重新调整的顶点，{v′₁,…,v′₈}。

步骤3.2、通过下列式子计算SAT的值：

<mrow> <mi>H</mi> <mrow> <mo>(</mo> <msubsup> <mi>v</mi> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>C</mi> <mi>U</mi> <mi>B</mi> <mi>E</mi> <mrow> <mo>(</mo> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mn>3</mn> <mi>d</mi> <mo>,</mo> <msubsup> <mi>v</mi> <mi>i</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>x</mi> <mo>></mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

其中

对应的读取点v″_i的计算方法如下：

<mrow> <msubsup> <mi>v</mi> <mi>i</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msubsup> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>v</mi> <msub> <mi>i</mi> <mn>0</mn> </msub> <mo>&prime;</mo> </msubsup> <mo>(</mo> <mfrac> <mrow> <mi>n</mi> <mo>-</mo> <mn>3</mn> </mrow> <mi>n</mi> </mfrac> <mo>)</mo> <mo>+</mo> <mfrac> <msubsup> <mover> <mi>v</mi> <mo>~</mo> </mover> <mi>i</mi> <mo>&prime;</mo> </msubsup> <mover> <mi>x</mi> <mo>~</mo> </mover> </mfrac> <mo>(</mo> <mfrac> <mn>2</mn> <mi>n</mi> </mfrac> <mo>)</mo> <mo>+</mo> <msubsup> <mi>v</mi> <msub> <mi>i</mi> <mn>1</mn> </msub> <mo>&prime;</mo> </msubsup> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

其中