CN102789490A - 一种数据可视化方法及系统 - Google Patents

Abstract

本发明提供了一种数据可视化方法，包括：获取第一数据集并计算所述第一数据集中每个数据的可视化坐标，得到与所述第一数据集对应的可视化坐标集，其中，所述第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；获取第二数据集并利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标加入到与所述第一数据集对应的可视化坐标集中，其中，N为大于n的正整数；输出与所述第一数据集对应的可视化坐标集。本发明还提供了一种数据可视化系统。本发明提供的数据可视化方法和系统提高了数据处理速度。

Description

一种数据可视化方法及系统

技术领域

本发明涉及数据可视化技术领域，尤其涉及一种数据可视化方法及系统。

背景技术

由于人们获得关于外在世界的信息，80%以上是通过视觉器官获得的，因此，提供人眼能感知的可视化数据是非常重要的。数据可视化技术指的是运用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。

目前，降维是数据可视化的一种有效手段，降维的有效方法为局部线性嵌入(Locally Linear Embedding，LLE)方法，然而，由于局部线性嵌入LLE方法是在批处理模式下运作的，在获取新样本后，要重新运行整个方法，因此，时间复杂度会随样本的增加而增加，即局部线性嵌入LLE方法处理数据的速度慢。

发明内容

有鉴于此，本发明提供了一种数据可视化方法和系统，用以解决现有的局部线性嵌入LLE方法处理数据的速度慢的问题，其技术方案如下：

一种数据可视化方法，包括：

A:获取第一数据集并计算与所述第一数据集对应的可视化坐标集，其中，所述第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；

B:获取第二数据集并利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标加入到与所述第一数据集对应的可视化坐标集中，其中，N为大于n的正整数；

C:输出与所述第一数据集对应的可视化坐标集。

所述计算与所述第一数据集对应的可视化坐标集具体为：

利用局部线性嵌入LLE方法计算与所述第一数据集对应的可视化坐标集。

所述利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标加入到与所述第一数据集对应的可视化坐标集中具体为：

B1：从所述第二数据集中获取一个数据；

B2：在所述第一数据集中查找当前获取的数据的K个邻近点，K个邻近点组成邻近点集；

B3：在与所述第一数据集对应的可视化坐标集中查找与所述邻近点集对应的可视化坐标集；

B4：利用所述邻近点集线性表示所述当前获取的数据；

B5：利用所述当前获取的数据的线性表示依据预设规则计算对应所述当前获取的数据的稀疏加权系数；

B6：利用所述稀疏加权系数及与所述邻近点集对应的可视化坐标集计算所述当前获取的数据的可视化坐标；

B7：将所述当前获取的数据添加至所述第一数据集中，将所述当前获取的数据的可视化坐标添加至与所述第一数据集对应的可视化坐标集中；

B8：判断所述第二数据集中是否还有未获取的数据，如果是，则转入步骤B1；如果否，则执行步骤C。

所述当前获取的数据的线性表示具体为：

$x_t=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_t^j{x}_t^j,$

其中，x_t为当前获取的数据，

为所述当前获取的数据的K个邻近点中的一个，是

的稀疏加权系数。

所述利用所述当前获取的数据的线性表示依据预设规则计算对应所述当前获取的数据的稀疏加权系数，具体为通过最小化下式计算对应所述当前计算的数据的稀疏加权系数：

${\left|\right|A_t{w}_t-x_t\left|\right|}_2^2+\mathrm{\λ}{\left|\right|w_t\left|\right|}_1,$

其中，A_t为由当前获取的数据的K个邻近点组成的D行K列的矩阵，w_t为由对应所述当前获取的数据的K个稀疏加权系数组成的K行1列的矩阵，λ为大于0的正则因子，||·||₂和||·||₁分别表示2范数和1范数。

一种数据可视化系统，包括：第一数据获取模块、第一数据处理模块、第二数据获取模块、第二数据处理模块和输出模块；

所述第一数据获取模块，用于获取第一数据集，其中，所述第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；

所述第一数据处理模块，计算与所述第一数据集对应的可视化坐标集；

所述第二数据获取模块，用于获取第二数据集，其中，所述第二数据集包括N-n个D维数据，其中，N为大于n的正整数；

所述第二数据处理模块，用于利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标添加至与所述第一数据集对应的可视化坐标集中；

所述输出模块，用于输出与所述第一数据集对应的可视化坐标集。

所述第二数据处理模块包括：数据获取子模块、第一数据查找子模块、第二数据查找子模块、线性表示子模块、第一计算子模块、第二计算子模块、数据添加子模块和判断子模块；

所述数据获取子模块，用于从所述第二数据集中获取一个数据；

所述第一数据查找子模块，用于在所述第一数据集中查找当前获取的数据的K个邻近点，所述K个邻近点组成邻近点集；

所述第二数据查找子模块，用于在与所述第一数据集对应的可视化坐标集中查找与所述邻近点集对应的可视化坐标集；

所述线性表示子模块，用于利用所述邻近点集线性表示所述当前获取的数据；

所述第一计算子模块，用于利用所述当前获取的数据的线性表示依据预设规则计算对应当前获取的数据的稀疏加权系数；

所述第二计算子模块，用于利用所述稀疏加权系数及与所述邻近点集对应的可视化坐标集计算当前获取的数据的可视化坐标；

所述数据添加子模块，用于将所述当前获取的数据添加至所述第一数据集中，并将当前获取的数据的可视化坐标添加至与所述与第一数据集对应的可视化坐标集中；

所述判断模块，用于判断所述第二数据集中是否还有未获取的数据。

本发明提供一种数据可视化方法及系统，该方法和系统首先获取第一数据集并计算与第一数据集对应的可视化坐标集，然后获取第二数据集并利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标加入到与所述第一数据集对应的可视化坐标集中，最后输出与所述第一数据集对应的可视化坐标集。本发明提供的方法和系统，利用稀疏矩阵求加权值的方法增量式地处理数据集的数据，与批处理LLE方法相比，本发明的数据处理速度明显提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的数据可视化方法的流程图；

图2为本发明实施例一提供的数据可视化方法的流程图；

图3为现有的线性化LLE推广法的可视化结果图；

图4为现有的基于迭代的增量LLE方法的可视化结果图；

图5为本发明实施例一提供的数据可视化方法的可视化结果图；

图6为本发明实施例二提供的数据可视化系统的结构示意图；

图7为本发明实施例二提供的第二数据处理模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种数据可视化方法，图1为该方法的流程图，包括：

S11:获取第一数据集，其中，第一数据集包括n个D维数据，其中，n为大于等于1的正整数，D为大于等于1的正整数。

S12:计算与第一数据集对应的可视化坐标集。

S13:获取第二数据集，其中，第二数据集包括N-n个数据，N为大于n的正整数。

S14:利用稀疏矩阵求加权值的方法增量式地进行处理第二数据集中的每个数据，得到每个数据的可视化坐标，将处理得到的每个数据的可视化坐标添加至与第一数据集对应的可视化坐标集中。

S15:输出与第一数据集对应的可视化坐标集。

实施例一

本发明实施例一提供了一种数据可视化方法，图2为本发明实施例一提供的方法的流程图，该方法包括：

S101：获取第一数据集X_n，其中，所述第一数据集包括n个数据，令X_n={x₁,x₂,..,x_n}，其中，n为大于等于1的正整数，x_i∈R^D，D是数据的维数，D为大于等于1的正整数。

S102：用LLE方法计算与第一数据集X_n对应的可视化坐标集Y_n，Y_n={y₁,y₂,...,y_n}，其中，y_i∈R²是x_i可视化坐标。

S103：获取第二数据集X_N-n，其中，第二数据集X_N-n包括N-n个数据，N为大于n的正整数，令X_N-n={x_n+1,x_n+2,...,x_N}。

S104：增量式地处理第二数据集X_N-n中的每个数据。

在本实施例中步骤104具体为：

S1041：从第二数据集X_N-n中获取一个数据x_t。

S1042：在第一数据集X_n中查找当前获取的数据x_t的K个邻近点，K个邻近点组成邻近点集X^t，令

S1043：在与第一数据集X_n对应的可视化坐标集Y_n中查找与邻近点集X^t对应的可视化坐标集Y^t，令

S1044：用邻近点集X^t线性表示当前获取的数据x_t：

$x_t=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_t^j{x}_t^j---\left(1\right)$

S1045：利用当前获取的数据的线性表示依据预设规则计算对应当前获取的数据的稀疏加权系数。

在本实施例中，通过最小化下式(2)计算对应所述当前获取的数据的稀疏加权系数：

${\left|\right|A_t{w}_t-x_t\left|\right|}_2^2+\mathrm{\λ}{\left|\right|w_t\left|\right|}_1---\left(2\right)$

其中，

是

的稀疏加权系数， $A_t=[x_t^1,x_t^2,\·\·\·,x_t^K]\∈R^{D\×K},$ λ>0是正则因子，||·||₂和||·||₁分别表示2范数和1范数。

S1046：利用稀疏加权系数与邻近点集对应的可视化坐标集Y^t根据下式(3)计算当前获取的数据的x_t的可视化坐标y_t：

$y_t=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_t^j{y}_t^j---\left(3\right)$

S1047：将当前获取的数据x_t添加至第一数据集X_n中，将当前获取的数据x_t的可视化坐标y_t添加至与第一数据集X_n对应的可视化坐标集Y_n中。

S1048：判断第二数据集中是否还有未获取的数据，如果是，则转入步骤S1041；如果否，则执行步骤S105。

S105：输出与第一数据集X_n对应的可视化坐标集Y_n。

在上述本发明提供的实施例的基础上，现列举一具体实例作为说明。将本发明实施例提供的方法在MATLAB软件中进行实验，实验数据是Renderedface数据集，Renderedface数据集共有698个数据，数据的维数为4098。

(1)获取第一数据集X₁₀₀，X₁₀₀={x₁,x₂,...,x₁₀₀}，其中，x_i∈R^D，D是数据的维数，且D=4098。

(2)用LLE方法计算与第一数据集X₁₀₀对应的可视化坐标集Y₁₀₀，令Y₁₀₀={y₁,y₂,...,y₁₀₀}，其中，y_i∈R²是x_i可视化坐标。

(3)获取第二数据集X₅₉₈，X₅₉₈={x₁₀₁,x₁₀₂,...,x₆₉₈}。

(4)从第二数据集X₅₉₈中获取一个数据x_t，其中，101≤t≤698。

(5)在第一数据集X₁₀₀中查找数据x_t的6个邻近点，6个邻近点组成邻近点集X^t，令 $X^t=\{x_t^1,x_t^2,...,x_t^6\}.$

(6)在与第一数据集X₁₀₀对应的可视化坐标集Y₁₀₀中查找与邻近点集X^t对应的可视化坐标集Y^t，令

(7)用邻近点集X^t线性表示x_t：

$x_t=\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{w}_t^j{x}_t^j.$

(8)通过最小化下式计算对应x_t的稀疏加权系数：

${\left|\right|A_t{w}_t-x_t\left|\right|}_2^2+\mathrm{\λ}{\left|\right|w_t\left|\right|}_1$

其中，

是

的稀疏加权系数， $A_t=[x_t^1,x_t^2,\·\·\·,x_t^6]\∈R^{4098\×6},$

λ=0.02||(X^t)^Tx_t||_∞，其中，||·||_∞指无穷范数，||·||₂和||·||₁分别表示2范数和1范数。

(9)利用稀疏加权系数及与邻近点集X^t对应的可视化坐标集Y^t根据下式计算x_t的可视化坐标y_t：

$y_t=\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{w}_t^j{y}_t^j$

(10)将当前获取的数据x_t添加至第一数据集X₁₀₀中，将当前获取的数据x_t的可视化坐标y_t添加至与第一数据集X₁₀₀对应的可视化坐标集Y₁₀₀中。

(11)判断t是否等于698，如果是，则转入步骤(3)；如果否，则输出与第一数据集X₁₀₀对应的可视化坐标集Y₁₀₀。

实验结果表明，Renderedface数据集上，利用本发明提供的方法处理数据的时间为41.2秒，而利用批处理LLE方法处理数据的时间为549.11秒，显然，本发明实施例处理数据的速度明显快于批处理LLE方法。

此外，将现有的两种增量处理方法即线性化LLE推广法和基于迭代的增量LLE方法的可视化结果也在MATLAB软件中进行实验，实验数据与本发明使用的数据相同。通常使用误差衡量数据可视化方法的性能，误差计算公式如下：

${\mathrm{\ϵ}}_n=\sqrt{\frac{1}{N-n}\underset{t=n+1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\‾}{y}}_t-y_t\left|\right|}^2/\underset{t=n+1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|y_t\left|\right|}^2}$

其中，y_t是x_t的估计的二维可视化坐标，

是x_t真实二维可视化坐标。重复实验二十次，得到线性化LLE推广法的误差为0.0524，基于迭代的增量LLE方法的误差为0.0558，而本发明提供的方法的误差为0.0506，因此，本发明提供的方法的误差比线性化LLE推广法和基于迭代的增量LLE方法的误差都要小，即本发明提供的数据可视化方法的可视化效果较好。图3和图4分别给出了线性化LLE推广法和基于迭代的增量LLE的可视化结果，图5为本发明提供的方法的可视化结果，其中，“.”代表LLE处理的样本点，“○”代表增量处理的样本点，对比三个图也可知，本发明提供的方法的可视化效果较好。

实施例二

本发明实施例二提供了一种数据可视化系统，图6为该系统的结构示意图，包括：第一数据获取模块101、第一数据处理模块102、第二数据获取模块103、第二数据处理模块104和输出模块105。

其中，第一数据获取模块101，用于获取第一数据集，其中，第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；第一数据处理模块102，用于计算与第一数据集对应的可视化坐标集；第二数据获取模块103，用于获取第二数据集，其中，所述第二数据集包括N-n个D维数据，其中，N为大于n的正整数；第二数据处理模块104，用于利用稀疏矩阵求加权值的方法增量式地处理第二数据集中的每个数据，得到第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标添加至与第一数据集对应的可视化坐标集中；输出模块105，用于输出与第一数据集对应的可视化坐标集。

图7为图6中第二数据处理模块104的结构示意图，本实施例中的第二数据处理模块104包括：数据获取子模块1041、第一数据查找子模块1042、第二数据查找子模块1043、线性表示子模块1044、第一计算子模块1045、第二计算子模块1046、数据添加子模块1047和判断子模块1048。

其中，数据获取子模块1041，用于从第二数据集中获取一个数据；第一数据查找子模块1042，用于在第一数据集中查找当前获取的数据的K个邻近点，K个邻近点组成邻近点集；第二数据查找子模块1043，用于在与第一数据集对应的可视化坐标集中查找与邻近点集对应的可视化坐标集；线性表示子模块1044，用于利用邻近点集线性表示当前获取的数据；第一计算子模块1045，用于利用当前获取的数据的线性表示依据预设规则计算对应当前获取的数据的稀疏加权系数；第二计算子模块1046，用于利用稀疏加权系数计算当前获取的数据的可视化坐标；数据添加子模块1047，用于将当前获取的数据添加至第一数据集中，并将当前获取的数据的可视化坐标添加至与第一数据集对应的可视化坐标集中；判断子模块1048，用于判断第二数据集中是否还有未获取的数据。

在本实施例中，判断模块1048判断第一数据集中是否还有未获取的数据，如果是，则第一数据获取模块1041从第二数据集中再获取一个数据，并由第一数据查找子模块1042、第二数据查找子模块1043、线性表示子模块1044、第一计算子模块1045、第二计算子模块1046、数据添加子模块1047和判断子模块1048进行上述处理，直至第二数据集中的数据全部处理完，然后由输出模块105输出与第一数据集对应的可视化坐标集。

本发明实施例二提供的数据化系统，利用稀疏矩阵求加权值的方法增量式地处理数据集的数据，与批处理LLE方法相比，本发明的数据处理速度明显提高。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种数据可视化方法，其特征在于，包括：

A:获取第一数据集并计算与所述第一数据集对应的可视化坐标集，其中，所述第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；

B:获取第二数据集并利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标添加至与所述第一数据集对应的可视化坐标集中，其中，所述第二数据集包括N-n个数据，N为大于n的正整数；

C:输出与所述第一数据集对应的可视化坐标集。

2.根据权利要求1所述的方法，其特征在于，所述计算与所述第一数据集对应的可视化坐标具体为：

利用局部线性嵌入LLE方法计算与所述第一数据集对应的可视化坐标集。

3.根据权利要求1或2所述的方法，其特征在于，所述利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标加入到与所述第一数据集对应的可视化坐标集中具体为：

B1：从所述第二数据集中获取一个数据；

B2：在所述第一数据集中查找当前获取的数据的K个邻近点，K个邻近点组成邻近点集;

B3：在与所述第一数据集对应的可视化坐标集中查找与所述邻近点集对应的可视化坐标集；

B4：利用所述邻近点集线性表示所述当前获取的数据；

B5：利用所述当前获取的数据的线性表示依据预设规则计算对应所述当前获取的数据的稀疏加权系数；

B6：利用所述稀疏加权系数及与所述邻近点集对应的可视化坐标集计算所述当前获取的数据的可视化坐标；

B7：将所述当前获取的数据添加至所述第一数据集中，将所述当前获取的数据的可视化坐标添加至与所述第一数据集对应的可视化坐标集中；

B8：判断所述第二数据集中是否还有未获取的数据，如果是，则转入步骤B1；如果否，则执行步骤C。

4.根据权利要求3所述的方法，其特征在于，所述当前获取的数据的线性表示具体为：

$x_t=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{w}_t^j{x}_t^j,$

其中，x_t为当前获取的数据，

为所述当前获取的数据的K个邻近点中的一个，是

的稀疏加权系数。

5.根据权利要求4所述的方法，其特征在于，所述利用所述当前获取的数据的线性表示依据预设规则计算对应所述当前获取的数据的稀疏加权系数，具体为通过最小化下式计算对应所述当前获取的数据的稀疏加权系数：

${\left|\right|A_t{w}_t-x_t\left|\right|}_2^2+\mathrm{\λ}{\left|\right|w_t\left|\right|}_1,$

其中，A_t为由当前获取的数据的K个邻近点组成的D行K列的矩阵，w_t为由对应所述当前获取的数据的K个稀疏加权系数组成的K行1列的矩阵，λ为大于0的正则因子，||·||₂和||·||₁分别表示2范数和1范数。

6.一种数据可视化系统，其特征在于，包括：第一数据获取模块、第一数据处理模块、第二数据获取模块、第二数据处理模块和输出模块；

所述第一数据获取模块，用于获取第一数据集，其中，所述第一数据集包括n个D维数据，n为大于等于1的正整数，D为大于等于1的正整数；

所述第一数据处理模块，用于计算与所述第一数据集对应的可视化坐标集；

所述第二数据获取模块，用于获取第二数据集，其中，所述第二数据集包括N-n个D维数据，其中，N为大于n的正整数；

所述第二数据处理模块，用于利用稀疏矩阵求加权值的方法增量式地处理所述第二数据集中的每个数据，得到所述第二数据集中每个数据的可视化坐标，并将每次处理得到的每个数据的可视化坐标添加至与所述第一数据集对应的可视化坐标集中；

所述输出模块，用于输出与所述第一数据集对应的可视化坐标集。

7.根据权利要求6所述的系统，其特征在于，所述第二数据处理模块包括：数据获取子模块、第一数据查找子模块、第二数据查找子模块、线性表示子模块、第一计算子模块、第二计算子模块、数据添加子模块和判断子模块；

所述数据获取子模块，用于从所述第二数据集中获取一个数据；

所述第一数据查找子模块，用于在所述第一数据集中查找当前获取的数据的K个邻近点，所述K个邻近点组成邻近点集；

所述第二数据查找子模块，用于在与所述第一数据集对应的可视化坐标集中查找与所述邻近点集对应的可视化坐标集；

所述线性表示子模块，用于利用所述邻近点集线性表示所述当前获取的数据；

所述第一计算子模块，用于利用所述当前获取的数据的线性表示依据预设规则计算对应当前获取的数据的稀疏加权系数；

所述第二计算子模块，用于利用所述稀疏加权系数及与所述邻近点集对应的可视化坐标集计算当前获取的数据的可视化坐标；

所述数据添加子模块，用于将所述当前获取的数据添加至所述第一数据集中，并将当前获取的数据的可视化坐标添加至与所述与第一数据集对应的可视化坐标集中；

所述判断子模块，用于判断所述第二数据集中是否还有未获取的数据。

Images