CN103577575A - 基于自然纹理的二维多元数据可视化方法 - Google Patents

Abstract

基于自然纹理的二维多元数据可视化方法，包括如下步骤：步骤1：数据处理阶段，为可视化映射做准备工作。转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操;步骤2：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色；步骤3：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果。

Description

基于自然纹理的二维多元数据可视化方法

技术领域

本发明涉及一种数据可视化方法。

背景技术

信息可视化技术通过图形的方式呈现抽象的数据，从而帮助人们快速有效地理解和分析数据。本专利技术可视化的二维多元数据是分布于二维空间的多元数据（Multivariate Data），即每个多元数据基于x,y轴坐标进行定位，并且每个多元数据包含多个数据属性项。二维多元数据是较为常见的一种数据类型，如天气数据，海洋气候数据，油田分析数据等，这类数据跟我们的生产和生活密切相关，对二维多元数据可视化的研究具有重要的意义。

二维多元数据的可视化技术很多，包含基于图形符号、颜色和纹理等不同可视化元素的可视化技术。图形符号的颜色，大小，形状和拓扑结构可以展示多元数据的属性。使用按照二维位置排列的图形符号可以表示二维分布的多元数据。然而，图形符号有很大的局限性，因为它可以有效可视化的数据的个数很有限。颜色是可视化技术最为常用的可视化元素，使用颜色的变化表示数据的变化最为直观，但是颜色的视觉感知维度有限且互相干扰，不适合单独表示多元数据。自然纹理无处不在，且纹理的观察通常只涉及低级视觉系统，因此人们可以快速准确地根据纹理包含的视觉信息来区分纹理。自然纹理的视觉感知维度非常高，包括色调、亮度、缩放性、规律性、周期性、方向性、同质性、透明性、模糊性和抽象程度等不同的视觉维度，所以纹理本身的多个视觉维度可以自然地对应多元数据的多个数据属性从而用于多元数据可视化。

另一方面，快速纹理合成技术的发展，为纹理在可视化中的应用提供了技术基础。纹理合成的技术很多，其中基于样图的纹理合成根据小块样本纹理生成视觉上类似的大块纹理，可以比较方便的生成各种自然纹理。目前基于样图的纹理合成技术不仅可以生成类似的纹理，还可以在合成时控制纹理的视觉特征，如纹元的大小、方向等。这为可视化中数据属性变化到纹理视觉特征变化的映射提供了可能。此外，基于GPU加速的快速纹理合成技术可用于实现可视化中用户交互的操作，通过快速合成对应不同数据分辨率的纹理使得用户可以动态观察不同层次的数据，从而更好地掌握数据变化的规律。

发明内容

为了克服现有文理合成技术的上述不足，本发明要提供一种新的二维多元数据可视化方法，使用视觉友好的自然纹理展示二维多元数据，纹理的方向、颜色和大小分别编码数据的三个属性，通过可控纹理合成技术生成二维多元数据的可视化结果；本发明进一步基于GPU加速纹理合成从而提供用户动态交互缩放操作，使得用户可以从整体到细节多个层次交互观察数据。

基于自然纹理的二维多元数据可视化方法，包括如下步骤：

步骤1：数据处理阶段，为可视化映射做准备工作。转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操作。

1.1预处理可视化数据。包含数据的去噪、数据、格式转换等；不同数据处理的方式不同，目标都是使其符合可视化映射输入格式。

可视化输入格式使用一个结构体定义。该结构体中除了有存储数据值的变量，还有表示数据覆盖的二维空间的大小，由变量W和H表示，即数据的分辨率为W×H。为了实现可视化交互，数据的结构体中还需要定义4个变量表示当前显示的数据范围。这4个变量组成显示数据的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y。初始时，s_x=0，s_y=0，o_x=W，o_y=H。

1.2预处理纹理样图。

1.2.1生成样图E的高斯图像栈，E₀,E₁,...,E_L。当样图大小为m×m，L=log₂m。

1.2.2使用全局邻域匹配处理高斯图像栈每层的图像，为图像内的每个像素找到最相似的k（k通常取值为2或3）个像素，得到一系列扩展一致性搜索（k-coherence search）的候选集

1.2.3收集高斯图像栈每层的图像中像素u的n×n邻域（n通常取值为5或7），得到每层的邻域集合

主成分分析样图每层的邻域并对其进行降维，得到d维的邻域

（d通常取值为4到8）和投影矩阵P_d。

步骤2：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色。

2.1将二维多元数据D和纹理样图E及样图的预处理结果高斯图像栈E₀,E₁,...,E_L、候选集

d维的邻域

和投影矩阵P_d载入显存。

2.2在显存中初始化坐标图S₀，初始值为(0,0)，S₀=(0,0)^T。

2.3循环迭代，从粗糙层0层到精细层L层。对于当前迭代层l层：

2.3.1使用数据的两个属性D₁和D₂生成雅可比矩阵场。当前l层将合成坐标图表示为S_l。在S_l中的每个点被对应到在显示范围内的一个数据。S_l与数据显示范围的分辨率不一定相同，对于S_l中的点p使用双线性插值取得对应数据的属性值D₁(p)和D₂(p)。然后如公式（1）所示，基于D₁(p)和D₂(p)分别生成缩放矩阵（公式（1）中的左矩阵）和旋转矩阵（公式（1）中的右矩阵），最后将它们相乘得到雅克比矩阵J(p)。

公式(1)中的z决定纹元大小变化范围，a决定纹元方向的变化范围。這两个参数在可视化映射前设定。在0到1范围内变化的数据D₁(p)控制纹元从原始纹元的z（小于1的正数）倍变化到原始纹元的1倍。在0到1范围内变化的数据D₂(p)控制纹元方向从0度变化到a度。本发明z默认取0.3，也可以做适当调整，适当调整是在保证最小纹元至少包含4×4个像素的前提下，尽可能的使z接近0。本发明中a取值90度。

2.3.2上采样上一层坐标图S_l-1得到当前层较精细的坐标图S_l。当前层的四个子像素继承于在前一层中的一个父像素。四个子像素存储的坐标等于父像素存储的坐标加上位置相关的偏移量与雅克比矩阵的乘积。具体如公式（2）所示：

当前层p位置的子像素继承前一层p/2位置的父像素，

表示向下取整的操作，如当前层(0,0)，(0,1)，(1,0)，(1,1)位置的四个子像素都继承前一层(0,0)位置的父像素。子像素的偏移量由h_l和Δ组成。h_l=2^L-l其中L=log₂m,m为样图的大小。Δ=pmod2，mod表示取模。不同子像素加上的偏移量不同。为了使用数据控制纹理的大小和方向，偏移量在使用前要乘上雅可比矩阵。J(p)表示p点对应的雅可比矩阵。

2.3.3采用扩展一致性搜索的邻域匹配修正坐标图S_l。对于S_l点的p先收集其直接邻域，与候选集

一起确定邻域匹配的范围U_l(p)，具体如公式（3）（4）所示：

U_l(p)={u_l(p,Δ,i)|||Δ||<2,i=1...k}   (3)

对于坐标图中要修正的点p，只考虑预测集U_l(p)中的点。预测集U_l(p)的选取，如公式(3)所示，先要取得p点的直接邻域(3×3邻域)中的点，S_l[p+Δ]。然后根据直接邻域中的点获取对应的候选点，在获取候选点前坐标要近邻取整，因为在本发明中纹理合成中合成坐标为连续的值。近邻取整的偏差由后面两项

补上。J(p)h_lΔ是补偿近邻的偏移。

接着收集p的n×n邻域

，并进行雅可比矩阵扭曲和PCA降维，得到d维的邻域

具体如公式（5）（6）所示：

${\tilde{N}}_{S_l}\left(p\right)=P_d{N}_{S_l}\left(p\right)---\left(6\right)$

公式(5)的

表示雅克比矩阵扭曲邻域，

该计算中使用雅克比矩阵的逆乘以邻域收集的偏移量，然后标准化处理。

表示点p的8个直接相邻点中的一个。

获取在样图中的坐标，再减去雅克比矩阵与雅克比转换邻域的方向分量的乘积

最后加上样图邻域空间的偏移量h_lΔ。公式(6)中用于PCA降维的投影矩阵P_d乘上邻域

得到d维的邻域

最后根据距离

确定最佳像素的坐标替换p，具体如公式（7）（8）所示：

$i_{\min },{\mathrm{\&Delta;}}_{\min }=\underset{i=1...k,\left|\right|\mathrm{\&Delta;}\left|\right|<2}{\arg \min }\left|\right|N_{S_l}\left(p\right)-N_{E_l}\left(u_l(p,i,\mathrm{\&Delta;})\right)\left|\right|---\left(7\right)$

S_l(p)=u_l(p,i_min,Δ_min)   (8)

上述公式(7)表示先计算p点邻域与预测集中点邻域的欧氏距离，然后取得欧氏距离最小时i和Δ的取值。欧氏距离最小表示邻域最匹配。使用最匹配的点替换当前待修正点，具体如公式(8)所示。

2.4达到最精细层跳出循环迭代，得到坐标图S_L。

2.5根据坐标图S_L访问样图转化为颜色图，得到可视化图像。这里使用数据的第三个属性控制坐标图到颜色图的转换。根据坐标图S_L中点p存储的坐标u访问样图E得到RGB彩色空间的像素pixel={r，g，b}。将pixel从RGB颜色空间转化到HSL颜色空间pixel={h，s，l}。然后用点p对应的第三个属性D₃(p)根据公式（9）修改pixel的h值；最后pixel转回RGB彩色空间并填充到颜色图中。

h=(1-D₃(p))×4/6;   （9）

步骤3：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果。

3.1创建OpenGL绘制环境，使用OpenGL的纹理贴图方法绘制可视化图像。

3.2接受用户鼠标滚轮的操作控制可视化图像的缩放。如果鼠标滑轮向上滚动，就减少显示数据的范围，利用这较小范围的数据重新可视化映射和绘制，实现放大的效果。缩小则是增加显示数据的范围，再重新可视化映射和绘制。

3.2.1先根据鼠标滚轮操作改变数据的显示范围。前面在数据结构体中定义了数据显示的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y。数据显示的坐标范围是(s_x,s_x+o_x)，(s_y,s_y+o_y)。那么在鼠标操作后，根据公式（10）（11）（12）（13）重新计算数据显示的范围，得到新的坐标范围为(s_x',s_x'+o_x')，(s_y',s_y'+o_y')。在公式（10）（11）（12）（13）中，(x_center,y_center)表示缩放时光标的位置，w和h表示显示窗口的宽和高，t表示每次鼠标滑轮滚动时缩放的倍数。0<t<1是为放大，t>1是为缩小。

$s\_x^{\&prime;}=s\_x+(\frac{x_{\mathrm{center}}}{w}-\frac{x_{\mathrm{center}}}{w}\&times;t)\&times;o\_x---\left(10\right)$

$s\_y^{\&prime;}=s\_y+(\frac{y_{\mathrm{center}}}{h}-\frac{y_{\mathrm{center}}}{h}\&times;t)\&times;o\_y---\left(11\right)$

o_x'=t×o_x   （12）

o_x'=t×o_x   （13）

本发明在鼠标向上滚动时t默认取0.8，在鼠标向上滚动时t默认取1.2。

3.2.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。

3.3接受用户鼠标平移的操作控制可视化图像的平移。鼠标移到可视化窗口上，按住左键后左右移动，控制可视化结果的左右移动。

3.3.1先根据鼠标平移操作改变数据的显示范围。根据公式（14）（15）计算新的起始坐标(s_x',s_y')，其中x_r为鼠标沿x轴方向移动的距离，y_r为鼠标沿y轴方向移动距离。根据新的起始坐标可以确定平移后数据新的显示范围。

$s\_x^{\&prime;}=s\_x+\frac{x\_r}{w}\&times;o\_x---\left(14\right)$

$s\_y^{\&prime;}=s\_y+\frac{y\_r}{h}\&times;o\_y---\left(15\right)$

3.3.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。

本发明在综合上述技术提出了基于自然纹理的二维多元数据的可视化方法。为了使用自然纹理展示数据，提出了一种将数据映射到纹理的特征方法，数据的变化控制纹理特征的变化。同时设计了一种缩放交互操作，使得用户可以从整体到细节多个层次观察数据。为了保证缩放操作的交互性，本发明使用GPU并行加速用于多层数据可视化的纹理合成计算。

本发明的优点是：（1）思路新颖。使用纹理合成技术实现二维多元数据的可视化。根据数据属性控制雅克比矩阵的生成，使得数据可以控制纹理的视觉特征，具有较大的创新意义。（2）实现简单。本发明采用的纹理合成技术是一种基于样图的纹理合成，主要思想是通过邻域匹配生成与样图相似的图，本方法具有可并行性，采用的CUDA可以方便地编写GPU程序实现加速，无需复杂的性能优化。（3）方便易行。用户只需提供一张纹理样图和二维多元数据，执行算法即能生成纹理视觉特征随着数据变化的纹理图。更换纹理样图，用户可以得到更多个性化的可视化结果。（4）表现力强。自然纹理的视觉感知友好性和多维性使得本发明相较其它可视化方法具有更好的可视化效果。同时提供的交互操作可以让用户通过鼠标控制输入数据的范围，缩放可视化结果，使得用户可以从不同细节程度来观察数据。

附图说明

图1是本发明的技术方案的总流程

图2是本发明的技术方案的详细流程图

图3中a是本发明的一般图片缩放示意图，b是本发明的本文的缩放示意图

图4是本发明的交互操作过程的示意图

具体实施方式

参照图1、图2，本发明的总流程如图1所示，共有三个阶段，分别是数据处理、可视化映射和用户感知。先数据处理；接着可视化映射；然后绘制可视化结果展示给用户，用户通过观察图形图像了解数据；用户还可以通过交互界面传达意图，控制可视化映射改变可视化的显示结果。图2展示了更详细的流程图：数据处理阶段的操作包括可视化数据和纹理样图的预处理。可视化映射阶段使用数据属性控制纹理合成，将数据的变化映射到属性的变化。用户感知阶段是可视化结果的绘制和展示，及用户交互控制。

本发明采用数据控制纹理合成算法实现二维多元数据到纹理特征的映射，通过根据用户的鼠标操作改变显示数据的范围并重新进行可视化映射以实现可视化的交互。本发明的数据可视化技术输入为二维多元数据D和纹理样图E。

具体步骤如下：

第一步：数据处理阶段，为可视化映射做准备工作。转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操作。

1.1预处理可视化数据。包含数据的去噪、数据、格式转换等；不同数据处理的方式不同，目标都是使其符合可视化映射输入格式。

可视化输入格式使用一个结构体定义。该结构体中除了有存储数据值的变量，还有表示数据覆盖的二维空间的大小，由变量W和H表示，即数据的分辨率为W×H。为了实现可视化交互，数据的结构体中还需要定义4个变量表示当前显示的数据范围。这4个变量组成显示数据的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y。初始时，s_x=0，s_y=0，o_x=W，o_y=H。

1.2预处理纹理样图。

1.2.1生成样图E的高斯图像栈，E₀,E₁,...,E_L。当样图大小为m×m，L=log₂m。

1.2.2使用全局邻域匹配处理高斯图像栈每层的图像，为图像内的每个像素找到最相似的k（k通常取值为2或3）个像素，得到一系列扩展一致性搜索（k-coherence search）的候选集

1.2.3收集高斯图像栈每层的图像中像素u的n×n邻域（n通常取值为5或7），得到每层的邻域集合

主成分分析样图每层的邻域并对其进行降维，得到d维的邻域

（d通常取值为4到8）和投影矩阵P_d。

第二步：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色。

2.1将二维多元数据D和纹理样图E及样图的预处理结果高斯图像栈E₀,E₁,...,E_L、候选集

d维的邻域

和投影矩阵P_d载入显存。

2.2在显存中初始化坐标图S₀，初始值为(0,0)，S₀=(0,0)^T。

2.3循环迭代，从粗糙层0层到精细层L层。对于当前迭代层l层：

2.3.1使用数据的两个属性D₁和D₂生成雅可比矩阵场。当前l层将合成坐标图表示为S_l。在S_l中的每个点被对应到在显示范围内的一个数据。S_l与数据显示范围的分辨率不一定相同，对于S_l中的点p使用双线性插值取得对应数据的属性值D₁(p)和D₂(p)。然后如公式（1）所示，基于D₁(p)和D₂(p)分别生成缩放矩阵（公式（1）中的左矩阵）和旋转矩阵（公式（1）中的右矩阵），最后将它们相乘得到雅克比矩阵J(p)。

公式(1)中的z决定纹元大小变化范围，a决定纹元方向的变化范围。這两个参数在可视化映射前设定。在0到1范围内变化的数据D₁(p)控制纹元从原始纹元的z（小于1的正数）倍变化到原始纹元的1倍。在0到1范围内变化的数据D₂(p)控制纹元方向从0度变化到a度。本发明z默认取0.3，也可以做适当调整，适当调整是在保证最小纹元至少包含4×4个像素的前提下，尽可能的使z接近0。本发明中a取值90度。

2.3.2上采样上一层坐标图S_l-1得到当前层较精细的坐标图S_l。当前层的四个子像素继承于在前一层中的一个父像素。四个子像素存储的坐标等于父像素存储的坐标加上位置相关的偏移量与雅克比矩阵的乘积。具体如公式（2）所示：

当前层p位置的子像素继承前一层p/2位置的父像素，

表示向下取整的操作，如当前层(0,0)，(0,1)，(1,0)，(1,1)位置的四个子像素都继承前一层(0,0)位置的父像素。子像素的偏移量由h_l和Δ组成。h_l=2^L-1其中L=log₂m,m为样图的大小。Δ=pmod2，mod表示取模。不同子像素加上的偏移量不同。为了使用数据控制纹理的大小和方向，偏移量在使用前要乘上雅可比矩阵。J(p)表示p点对应的雅可比矩阵。

2.3.3采用扩展一致性搜索的邻域匹配修正坐标图S_l。对于S_l点的p先收集其直接邻域，与候选集

一起确定邻域匹配的范围U_l(p)，具体如公式（3）（4）所示：

U_l(p)={u_l(p,Δ,i)|||Δ||<2,i=1...k}   (3)

对于坐标图中要修正的点p，只考虑预测集U_l(p)中的点。预测集U_l(p)的选取，如公式(3)所示，先要取得p点的直接邻域(3×3邻域)中的点，S_l[p+Δ]。然后根据直接邻域中的点获取对应的候选点，

在获取候选点前坐标要近邻取整，因为在本发明中纹理合成中合成坐标为连续的值。近邻取整的偏差由后面两项

补上。J(p)h_lΔ是补偿近邻的偏移。

接着收集p的n×n邻域

，并进行雅可比矩阵扭曲和PCA降维，得到d维的邻域

，具体如公式（5）（6）所示：

${\tilde{N}}_{S_l}\left(p\right)=P_d{N}_{S_l}\left(p\right)---\left(6\right)$

公式(5)的

表示雅克比矩阵扭曲邻域，该计算中使用雅克比矩阵的逆乘以邻域收集的偏移量，然后标准化处理。

表示点p的8个直接相邻点中的一个。

获取在样图中的坐标，再减去雅克比矩阵与雅克比转换邻域的方向分量的乘积最后加上样图邻域空间的偏移量h_lΔ。公式(6)中用于PCA降维的投影矩阵P_d乘上邻域

得到d维的邻域

最后根据距离

确定最佳像素的坐标替换p，具体如公式（7）（8）所示：

$i_{\min },{\mathrm{\&Delta;}}_{\min }=\underset{i=1...k,\left|\right|\mathrm{\&Delta;}\left|\right|<2}{\arg \min }\left|\right|N_{S_l}\left(p\right)-N_{E_l}\left(u_l(p,i,\mathrm{\&Delta;})\right)\left|\right|---\left(7\right)$

S_l(p)=u_l(p,i_min,Δ_min)   (8)

上述公式(7)表示先计算p点邻域与预测集中点邻域的欧氏距离，然后取得欧氏距离最小时i和Δ的取值。欧氏距离最小表示邻域最匹配。使用最匹配的点替换当前待修正点，具体如公式(8)所示。

2.4达到最精细层跳出循环迭代，得到坐标图S_L。

2.5根据坐标图S_L访问样图转化为颜色图，得到可视化图像。这里使用数据的第三个属性控制坐标图到颜色图的转换。根据坐标图S_L中点p存储的坐标u访问样图E得到RGB彩色空间的像素pixel={r，g，b}。将pixel从RGB颜色空间转化到HSL颜色空间pixel={h，s，l}。然后用点p对应的第三个属性D₃(p)根据公式（9）修改pixel的h值；最后pixel转回RGB彩色空间并填充到颜色图中。

h=(1-D₃(p))×4/6;   （9）

第三步：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果。

3.1创建OpenGL绘制环境，使用OpenGL的纹理贴图方法绘制可视化图像。

3.2接受用户鼠标滚轮的操作控制可视化图像的缩放。如果鼠标滑轮向上滚动，就减少显示数据的范围，利用这较小范围的数据重新可视化映射和绘制，实现放大的效果。缩小则是增加显示数据的范围，再重新可视化映射和绘制。本发明使用如图3（b）展示的缩放形式，不改变纹理的大小，只改变可视化数据的数量。如图3（a）是一般图像的缩放方式。

3.2.1先根据鼠标滚轮操作改变数据的显示范围。前面在数据结构体中定义了数据显示的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y。数据显示的坐标范围是(s_x,s_x+o_x)，(s_y,s_y+o_y)。那么在鼠标操作后，根据公式（10）（11）（12）（13）重新计算数据显示的范围，得到新的坐标范围为(s_x',s_x'+o_x')，(s_y',s_y'+o_y')。在公式（10）（11）（12）（13）中，(x_center,y_center)表示缩放时光标的位置，w和h表示显示窗口的宽和高，t表示每次鼠标滑轮滚动时缩放的倍数。0<t<1是为放大，t>1是为缩小。

$s\_x^{\&prime;}=s\_x+(\frac{x_{\mathrm{center}}}{w}-\frac{x_{\mathrm{center}}}{w}\&times;t)\&times;o\_x---\left(10\right)$

$s\_y^{\&prime;}=s\_y+(\frac{y_{\mathrm{center}}}{h}-\frac{y_{\mathrm{center}}}{h}\&times;t)\&times;o\_y---\left(11\right)$

o_x'=t×o_x   （12）

o_x'=t×o_x   （13）

本发明在鼠标向上滚动时t默认取0.8，在鼠标向上滚动时t默认取1.2。

3.2.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。

3.3接受用户鼠标平移的操作控制可视化图像的平移。鼠标移到可视化窗口上，按住左键后左右移动，控制可视化结果的左右移动。

3.3.1先根据鼠标平移操作改变数据的显示范围。根据公式（14）（15）计算新的起始坐标(s_x',s_y')，其中x_r为鼠标沿x轴方向移动的距离，y_r为鼠标沿y轴方向移动距离。根据新的起始坐标可以确定平移后数据新的显示范围。

$s\_x^{\&prime;}=s\_x+\frac{x\_r}{w}\&times;o\_x---\left(14\right)$

$s\_y^{\&prime;}=s\_y+\frac{y\_r}{h}\&times;o\_y---\left(15\right)$

3.3.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。

图4为实现交互操作过程的示意图，第一次映射到第二次映射是一次放大操作：第一次映射选取了整个数据集，得到全局的可视化结果；第二次选取了部分数据，得到局部的更细致的可视化结果。第二次映射到第三次映射是一次平移操作。

Claims (1)

1.基于自然纹理的二维多元数据可视化方法，包括如下步骤： 

步骤1：数据处理阶段，为可视化映射做准备工作。转换数据的类型和格式，使其符合可视化映射模块的输入；预处理纹理样图，完成一些无需每次可视化映射重新计算的操; 

1.1预处理可视化数据。包含数据的去噪、数据、格式转换等；不同数据处理的方式不同，目标都是使其符合可视化映射输入格式； 

可视化输入格式使用一个结构体定义。该结构体中除了有存储数据值的变量，还有表示数据覆盖的二维空间的大小，由变量W和H表示，即数据的分辨率为W×H；为了实现可视化交互，数据的结构体中还需要定义4个变量表示当前显示的数据范围；这4个变量组成显示数据的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y；初始时，s_x=0，s_y=0，o_x=W，o_y=H； 

1.2预处理纹理样图； 

1.2.1生成样图E的高斯图像栈，E₀,E₁,...,E_L，当样图大小为m×m，L=log₂m； 

1.2.2使用全局邻域匹配处理高斯图像栈每层的图像，为图像内的每个像素找到最相似的k（k通常取值为2或3）个像素，得到一系列扩展一致性搜索（k-coherence search）的候选集

1.2.3收集高斯图像栈每层的图像中像素u的n×n邻域（n通常取值为5或7），得到每层的邻域集合主成分分析样图每层的邻域并对其进行降维，得到d维的邻域

（d通常取值为4到8）和投影矩阵P_d； 

步骤2：可视化映射阶段，将二维多元数据的三个属性分别映射到纹理的大小，方向和颜色； 

2.1将二维多元数据D和纹理样图E及样图的预处理结果高斯图像栈E₀,E₁,...,E_L、候选集

d维的邻域

和投影矩阵P_d载入显存； 

2.2在显存中初始化坐标图S₀，初始值为(0,0)，S₀=(0,0)^T； 

2.3循环迭代，从粗糙层0层到精细层L层；对于当前迭代层l层： 

2.3.1使用数据的两个属性D₁和D₂生成雅可比矩阵场；当前l层将合成坐标图表示为S_l；在S_l中的每个点被对应到在显示范围内的一个数据；S_l与数据显示范围的分辨率不一定相同，对于S_l中的点p使用双线性插值取得对应数据的属性值D₁(p)和D₂(p)；然后如公式（1）所 示，基于D₁(p)和D₂(p)分别生成缩放矩阵（公式（1）中的左矩阵）和旋转矩阵（公式（1）中的右矩阵），最后将它们相乘得到雅克比矩阵J(p)； 

公式(1)中的z决定纹元大小变化范围，a决定纹元方向的变化范围；這两个参数在可视化映射前设定；在0到1范围内变化的数据D₁(p)控制纹元从原始纹元的z（小于1的正数）倍变化到原始纹元的1倍；在0到1范围内变化的数据D₂(p)控制纹元方向从0度变化到a度；z默认取0.3，也可以做适当调整，适当调整是在保证最小纹元至少包含4×4个像素的前提下，尽可能的使z接近0，a取值90度； 

2.3.2上采样上一层坐标图S_l-1得到当前层较精细的坐标图S_l；当前层的四个子像素继承于在前一层中的一个父像素；四个子像素存储的坐标等于父像素存储的坐标加上位置相关的偏移量与雅克比矩阵的乘积；具体如公式（2）所示： 

当前层p位置的子像素继承前一层p/2位置的父像素，

表示向下取整的操作，如当前层(0,0)，(0,1)，(1,0)，(1,1)位置的四个子像素都继承前一层(0,0)位置的父像素；子像素的偏移量由h_l和Δ组成；h_l=2^L-1其中L=log₂m,m为样图的大小；Δ=pmod2，mod表示取模；不同子像素加上的偏移量不同；为了使用数据控制纹理的大小和方向，偏移量在使用前要乘上雅可比矩阵；J(p)表示p点对应的雅可比矩阵； 

2.3.3采用扩展一致性搜索的邻域匹配修正坐标图S_l；对于S_l点的p先收集其直接邻域，与候选集

一起确定邻域匹配的范围U_l(p)，具体如公式（3）（4）所示： 

U_l(p)={u_l(p,Δ,i)|||Δ||<2,i=1...k}(3) 

对于坐标图中要修正的点p，只考虑预测集U_l(p)中的点；预测集U_l(p)的选取，如公式(3)所示，先要取得p点的直接邻域(3×3邻域)中的点，S_l[p+Δ]；然后根据直接邻域中的点获取对应的候选点， 

在获取候选点前坐标要近邻取整，因为在本发明中纹理合成中合成坐标为连续的值；近邻取整的偏差由后面两项 

补上。J(p)h_lΔ是补偿近邻的偏移； 

接着收集p的n×n邻域

，并进行雅可比矩阵扭曲和PCA降维，得到d维的邻域

，具体如公式（5）（6）所示： 

公式(5)的

表示雅克比矩阵扭曲邻域，该计算中使用雅克比矩阵的逆乘以邻域收集的偏移量，然后标准化处理； 

表示点p的8个直接相邻点中的一个；获取在样图中的坐标，再减去雅克比矩阵与雅克比转换邻域的方向分量的乘积 

最后加上样图邻域空间的偏移量h_lΔ；公式(6)中用于PCA降维的投影矩阵P_d乘上邻域

得到d维的邻域

最后根据距离

确定最佳像素的坐标替换p，具体如公式（7）（8）所示： 

S_l(p)=u_l(p,i_min,Δ_min)   (8) 

上述公式(7)表示先计算p点邻域与预测集中点邻域的欧氏距离，然后取得欧氏距离最小时i和Δ的取值；欧氏距离最小表示邻域最匹配；使用最匹配的点替换当前待修正点，具体如公式(8)所示； 

2.4达到最精细层跳出循环迭代，得到坐标图S_L； 

2.5根据坐标图S_L访问样图转化为颜色图，得到可视化图像；这里使用数据的第三个属性控制坐标图到颜色图的转换；根据坐标图S_L中点p存储的坐标u访问样图E得到RGB彩色空间的像素pixel={r，g，b}；将pixel从RGB颜色空间转化到HSL颜色空间pixel={h，s，l}。然后用点p对应的第三个属性D₃(p)根据公式（9）修改pixel的h值；最后pixel转回RGB彩色空间并填充到颜色图中； 

h=(1-D₃(p))×4/6;   （9） 

步骤3：可视化感知阶段，绘制可视化图像展示给用户，接受用户的反馈并相应改变可视化显示结果； 

3.1创建OpenGL绘制环境，使用OpenGL的纹理贴图方法绘制可视化图像； 

3.2接受用户鼠标滚轮的操作控制可视化图像的缩放；如果鼠标滑轮向上滚动，就减少显示数据的范围，利用这较小范围的数据重新可视化映射和绘制，实现放大的效果；缩小则是增加显示数据的范围，再重新可视化映射和绘制； 

3.2.1先根据鼠标滚轮操作改变数据的显示范围；前面在数据结构 体中定义了数据显示的起始坐标(s_x,s_y)、x轴方向的显示范围o_x和y轴方向的显示范围o_y；数据显示的坐标范围是(s_x,s_x+o_x)，(s_y,s_y+o_y)；那么在鼠标操作后，根据公式（10）（11）（12）（13）重新计算数据显示的范围，得到新的坐标范围为(s_x',s_x'+o_x')，(s_y',s_y'+o_y')；在公式（10）（11）（12）（13）中，(x_center,y_center)表示缩放时光标的位置，w和h表示显示窗口的宽和高，t表示每次鼠标滑轮滚动时缩放的倍数。0<t<1是为放大，t>1是为缩小； 

o_x'=t×o_x   （12） 

o_x'=t×o_x   （13） 

在鼠标向上滚动时t默认取0.8，在鼠标向上滚动时t默认取1.2； 

3.2.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤； 

3.3接受用户鼠标平移的操作控制可视化图像的平移。鼠标移到可视化窗口上，按住左键后左右移动，控制可视化结果的左右移动； 

3.3.1先根据鼠标平移操作改变数据的显示范围；根据公式（14）（15）计算新的起始坐标(s_x',s_y')，其中x_r为鼠标沿x轴方向移动的距离，y_r为鼠标沿y轴方向移动距离；根据新的起始坐标可以确定平移后数据新的显示范围； 

3.3.2使用拥有新的显示范围的数据，重新执行第二步的2.2至2.5步骤和第三步的3.1步骤。 

Images