CN109271567B

CN109271567B - 一种面向全排列数据的多变量可视分析方法

Info

Publication number: CN109271567B
Application number: CN201810860167.3A
Authority: CN
Inventors: 孙国道; 周志秀; 赵银; 刘义鹏; 蒋莉; 梁荣华
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2018-08-01
Filing date: 2018-08-01
Publication date: 2022-07-26
Anticipated expiration: 2038-08-01
Also published as: CN109271567A

Abstract

一种面向全排列数据的多变量可视分析方法，包括以下步骤：(1)对原始数据集合中的有限项目使用全排列算法得出所有排序方案；(2)根据原始数据中各个项目两两之间的连接属性，分别对排序方案添加连接属性信息；(3)通过MDS算法将所有排序方案降维聚类；(4)可视化分析：MDS view聚类视图、PCP View平行坐标视图、Perm View矩阵视图，各个视图之间交互分析，引导用户选择自己感兴趣的方案集群和排序方案。本发明从大量的全排列方案中挖掘出特殊的集群模式，将排列方案之间的相似性和差异性通过可视化让用户从中分析并结合自己的需求得出最佳的排序方案。

Description

一种面向全排列数据的多变量可视分析方法

技术领域

本发明涉及一种面向全排列数据的多变量可视分析方法。

背景技术

全排列是组合学中最常见和最基本的主题之一，在科学，工程和商业领域出现了许多问题。而且也出现在数学、组合数学、计算机科学、运筹学、计算分子生物学、自然语言处理、甚至配色方案等许多基础和应用学科中。

最常见的情况是许多现实世界的问题在数学上是难以处理的。在这些情况下，需要排列组合技术来计算，枚举或表示解决应用程序问题过程中的可能解决方案。由于在实际应用中的基本性质和重要性，研究者们广泛研究了组合序列的产生，例如排列和组合。

我们在日常生活或工作要求中遇到一些规则的排列项目。如旅行计划的最佳旅行顺序，音乐创作中音符的最佳组合，还有最有效的电路组合设计等。大多数情况下，排列的目的是根据要求找到最佳的解决方案或模式。通过排列一个集合中不同项目，获得不同排列序列的方案，用户通过测试筛选，选择心目中最优的结果。但是，全排列问题是一个NP问题，排列集合的数目伴随着项目的增加呈现指数级别的增长。这将会耗费用户大量的时间去手动测试衡量所有排列的方案，与此同时增加了用户探索不同序列变化带来不同的复杂度。

发明内容

为了解决上述缺点，使用可视化分析技术来解决多变量全排列数据的分析问题应运而生，通过可视化技术，探索从排列中搜索最佳序列的过程，比较序列之间的差异和从排列中找出一些模式，以帮助用户做出决策；本发明从多变量全排列数据中获得排序信息和统计属性，理解每个排列方案的含义，便于用户视觉上比较，帮助用户决策找出最佳排序方案，本发明提供了一种面向全排列旅游数据的多变量可视分析方法，通过d3.js进行可视化组件的设计。与当前关于全排列的研究不同，本发明通过对全排列聚类算法的改进，帮助用户发现模式，从可视化的角度出发，呈现所有排序方案。用户可以根据自己的要求选择排序方案，同时可以查看排序的多变量信息，用以辅助用户比较理解排序的顺序不同，导致的连接属性的不同。

为了解决上述技术问题本发明提供如下的技术方案：

一种面向全排列数据的多变量可视分析方法，包括以下步骤：

1)、对原始数据集合中的有限项目使用全排列算法得出所有排序方案；假设原始数据为一组集合，集合包含n个需要排列的项目item：S＝{item-1，item-2，item-3…item-n}，对每个item 设置id，然后全排列得出所有目的地的不同排序P＝{P1{1，2，3…n},P2{1，3，2…n},…,Pn！{n，n-1，n-2…1}}，不同排序P中方案的数量为Sum＝n！；

2)、根据原始数据中各个项目两两之间的连接属性，分别对上一步得到的排序方案添加其对应的连接属性信息；假设原始数据中项目之间连接的有三个属性分别用T，P，D来表示，则排序方案{1，2，3…n}对应的连接属性向量为：

L1＝{T1-2，P1-2，D1-2，T2-3，P2-3，D2-3，T3-4，P3-4，D3-4…T(n-1)-n，P(n-1)-n，D(n-1)-n}；

3)、通过MDS算法(Multi-Dimensional Scaling)将所有排序方案降维聚类，在MDS算法构建特征向量的过程中，使用序列的排序信息和属性连接信息来构建特征向量，构建方法如图1所示；在MDS算法计算相异度矩阵的过程中，采用欧氏距离来计算向量之间的相似度，这里，本发明针对序列的独特性，使用Kendall tau距离和欧氏距离结合的方法，计算排列方案之间的相似度；如排列方案1和排列方案2之间的相似度距离：

D＝Kendall tau(P1,P2)+Euclidean(L1,L2)

通过相似度，将全排列的所有结果一一映射到二维空间，使用展示，可以展示排列方案的聚类结果，如图2所示。

在散点图(MDS View)视图中，将全排列的所有结果一一映射到二维空间，随着集合内项目数量n的增多，全排列集合的数量Sum＝n！指数级别增长，在浏览器页面全部展示将会导致浏览器过载崩溃。因此当项目数量超过8个，即全排列集合数量Sum超过4万多项时，我们对二维空间内的点选择性投影展示：通过DBSCAN算法，基于密度，确定集群数量以及核心点，然后分别对各个集群中的点，合并距离小于一定阈值或者重合的点，来减少系统界面绘制点的数量。散点图(MDS View)视图中的点的数量虽然减少了，但减少点的信息仍然在散点图(MDS View)空间中保留。通过这样的方法，我们的散点图(MDS View)视图较好地展示4万多项的全排列方案，较好地解决了全排列的可拓展性问题。

通过DBSCAN算法得到的核心点为每个排序方案集群的中心位置，对每个排序中心做了进一步的处理。对每个核心点对应的集群做了进一步的统计，通过设计的聚类字形图展现。核心点上的聚类字形设计由两个部分组成：内圈和外圈。内圈的圆的大小描绘了集群中排序方案的数量，内圆越大表示集群内排序方案的数量越多。外部扇形表示集群中某一个用户感兴趣的连接属性的统计分布，以便用户可以从聚类字形图中快速识别所有排序方案基于自身排序属性和连接属性通过MDS算法在二维平面投影后的集群模式，发现特殊集群或者感兴趣的集群。

外部扇形统计方法如下：

针对用户感兴趣的某个连接属性Lx，对原始集合S中的项目两两组合

得到一组属性Lx的值{Lx12，Lx13，Lx14，…}，对这组属性值取平均Lavg。全排列后的排列方案有n个项目组成，对应会产生n-1个Lx，通过多对n-1个Lx与Lavg比较，计算大于Lavg的Lx的个数，将此个数作为排列方案关于属性Lx的等级。在聚类集群中，对每个全排列方案关于某个兴趣属性通过上述方法评级，然后统计各个等级对应的全排列方案的数量。外部扇形图的可视化编码如下：扇形从内圆12点位置顺时针分布，顺着逆时针方向的扇形表示排列方案关于某个兴趣属性的等级，扇形的长度表示对应等级的全排列方案的数量大小。

上述方法得到的聚类字形图对用户提供了对于集群的整体了解，同时也便于用户去选择。用户可以通过点击聚类字形图的内圆选择对应的聚类的所有排序方案，也可以点击外部扇形图选择感兴趣属性某个等级对应的排序方案。同时用户也可以以MDS View为向导，框选散点图来选择自己兴趣的序列群，查看详细的排序信息和属性统计信息，并比较分析；

4)、选择感兴趣序列以后，用可视化组件PCP View的平行坐标高亮展示感兴趣序列的属性信息，如图4所示，这里通过计算序列项目之间的属性值总和来展示序列的属性信息，如旅行数据可以展示的便有方案的总花费时间，价格，距离三个属性，不同方案，序列不同，连接属性不同，属性总和不同；

5)、进一步，可视化组件Perm View的矩阵视图高亮展示感兴趣序列的详细信息；采用n ×n！矩阵的表现方式展示所有的全排列集合，n等于项目的数量，n！为全排列集合的数量。在矩阵中，每一列表示一个排序方案，排序方案从上至下由n个项目组成。采用不同颜色的小矩形来编码映射示不同的项目，通过不同颜色的矩形块在纵轴方向的不同分布来表示排序方案排序的不同。PermView视图就是由这些不同色块排列的排序方案组合而成一个巨大矩阵，展示所有的全排列方案，为用户提供关于所有排序方案的排序映射。采用焦点+上下文 (focus+contex)可视化交互技术，将用户感兴趣框选的序列详细信息一一焦点扩大，嵌入在原来的矩阵视图中，其他序列信息视图压缩；

6)、用户对感兴趣的序列可以展开(如图6所示)，查看具体的连接属性，展开序列方案中的项目连接属性使用不同形状的图标表示，虚线连接，由上到下，映射属性值由小变大。用户通过展开序列，比较序列方案之间的差异性，选择符合自己要求的最佳序列方案。

本发明的技术构思是：通过对全排方案的序列和连接属性构建的特征向量，使用MDS算法，降维聚类映射到二维散点图，以此为基础，引导用户选择自己感兴趣的方案集群，结合 PCP View的平行坐标视图和Perm View的矩阵视图，探索排序方案的统计信息特点和详细排序方案以及连接属性，通过比较，得到最佳的排序方案。

本发明的有益效果为：能够从大量的全排列方案中挖掘出特殊的集群模式，可视分析技术能将排列方案之间的相似性和差异性通过可视化，让用户从中分析并结合自己的需求得出最佳的排序方案。

附图说明

图1为排列方案相似度距离计算示意图。

图2为排列方案经过MDS算法降维后的散点图MDS View。

图3为聚类字形图。

图4为可视化组件PCP View的平行坐标视图。

图5为可视化系统交互流程图。

图6为可视化组件Perm View中框选排列方案的展开细节视图

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1～图6，一种面向全排列数据的多变量可视分析方法，包括以下步骤：

1)、对原始数据集合中的有限项目使用全排列算法得出所有排序方案；假设原始数据为一组集合，集合包含n个需要排列的项目item：S＝{item-1，item-2，item-3…item-n}，对每个item 设置id，然后全排列得出所有目的地的不同排序P＝{P1{1，2，3…n},P2{1，3，2…n},…,Pn！{n， n-1，n-2…1}}，不同排序P中方案的数量为Sum＝n！；

所述原始数据为多目的地的旅行数据，那么原始集合中包含的项目为旅行中的N个目的地：

2)、根据原始数据中各个项目两两之间的连接属性，分别对上一步得到的排序方案添加其对应的连接属性信息；假设原始数据中项目之间连接的有三个属性分别用T，P，D来表示(在旅行数据中，两个目的地之间穿行的属性有往来时间、价格花费和距离三个属性分别用T，P， D来表示)，则排序方案{1，2，3…n}对应的连接属性向量为：

3)、通过MDS算法(Multi-Dimensional Scaling)将所有排序方案降维聚类，在MDS算法构建特征向量的过程中，使用序列的排序信息和属性连接信息来构建特征向量，构建方法如图1所示。在MDS算法计算相异度矩阵的过程中，一般采用欧氏距离来计算向量之间的相似度，这里，本发明针对序列的独特性，使用Kendall tau距离和欧氏距离结合的方法，计算排列方案之间的相似度；如排列方案1和排列方案2之间的相似度距离：

D＝Kendall tau(P1,P2)+Euclidean(L1,L2)

通过相似度，将全排列的所有结果一一映射到二维空间，使用散点图(MDS View)展示，可以展示排列方案的聚类结果，如图2所示。

外部扇形统计方法如下：

4)、选择感兴趣序列以后，用可视化组件PCP View的平行坐标高亮展示感兴趣序列的属性信息，如图4所示，这里通过计算序列项目之间的属性值总和来展示序列的属性信息，如旅行数据展示的便有方案的总花费时间，价格，距离三个属性，不同方案，序列不同，连接属性不同，属性总和不同；

本发明采用d3.js来绘制前端可视化组件，数据处理主要采用Java进行编写。

以上阐述的是本发明的一个实施案例，展示了通过可视化分析技术来解决全排列问题的过程，显然本发明不只是局限于上述实施案例，各个学科中关于全排列的相关问题有很多，可根据本发明提供的思路提取数据的排列和连接属性，来解决实际中关于全排列评估抉择问题。

本发明提出的可视化方案，通过聚类，统计信息分析，关联排序信息和连接信息，能够有效地根据用户的需求，帮助解决全排列优选问题，发现排列聚类，比较分析，选择最佳排序方案。

Claims

1.一种面向全排列数据的多变量可视分析方法，其特征在于，所述方法包括以下步骤：

1)、对原始数据集合中的有限项目使用全排列算法得出所有排序方案；假设原始数据为一组集合，集合包含n个需要排列的项目item：S＝{item-1，item-2，item-3…item-n}，对每个item设置id，然后全排列得出所有目的地的不同排序P＝{P1{1，2，3…n},P2{1，3，2…n},…,Pn！{n，n-1，n-2…1}}，不同排序P中方案的数量为Sum＝n！；

2)、根据原始数据中各个项目两两之间的连接属性，分别对上一步得到的排序方案添加其对应的连接属性信息；假设原始数据中项目之间连接的有三个属性分别用T，Q，D来表示，则排序方案{1，2，3…n}对应的连接属性向量为：

L1＝{T1-2，Q1-2，D1-2，T2-3，Q2-3，D2-3，T3-4，Q3-4，D3-4…T(n-1)-n，Q(n-1)-n，D(n-1)-n}；

3)、通过MDS算法将所有排序方案降维聚类，在MDS算法构建特征向量的过程中，使用序列的排序信息和属性连接信息来构建特征向量；

4)、选择感兴趣序列以后，用可视化组件PCP View的平行坐标高亮展示感兴趣序列的属性信息，旅行数据展示的便是方案的总花费时间，价格，距离三个属性，不同方案，序列不同，连接属性不同，属性总和不同；

5)、可视化组件PCP View的矩阵视图高亮展示感兴趣序列的详细信息；采用n×n！矩阵的表现方式展示所有的全排列集合，n等于项目的数量，n！为全排列集合的数量；在矩阵中，每一列表示一个排序方案，排序方案从上至下由n个项目组成；采用不同颜色的小矩形来编码映射示不同的项目，通过不同颜色的矩形块在纵轴方向的不同分布来表示排序方案排序的不同；可视化组件PCP View视图就是由这些不同色块排列的排序方案组合而成一个巨大矩阵，展示所有的全排列方案，为用户提供关于所有排序方案的排序映射；采用焦点+上下文可视化交互技术，将用户感兴趣框选的序列详细信息一一焦点扩大，嵌入在原来的矩阵视图中，其他序列信息视图压缩；

6)、用户对感兴趣的序列展开，查看具体的连接属性，展开序列方案中的项目连接属性使用不同形状的图标表示，虚线连接，由上到下，映射属性值由小变大；用户通过展开序列，比较序列方案之间的差异性，选择符合自己要求的最佳序列方案。

2.如权利要求1所述的一种面向全排列数据的多变量可视分析方法，其特征在于，所述步骤3)中，在MDS算法计算相异度矩阵的过程中，使用Kendall tau距离和欧氏距离结合的方法，计算排列方案之间的相似度；排列方案1和排列方案2之间的相似度距离：

D＝Kendall tau(W1,W2)+Euclidean(W1,W2)

通过相似度，将全排列的所有结果一一映射到二维空间，展示排列方案的聚类结果。

3.如权利要求2所述的一种面向全排列数据的多变量可视分析方法，其特征在于，所述步骤3)中，在散点图视图中，将全排列的所有结果一一映射到二维空间，当项目数量超过8个，对二维空间内的点选择性投影展示：通过DBSCAN算法，基于密度，确定集群数量以及核心点，然后分别对各个集群中的点，合并距离小于一定阈值或者重合的点。

4.如权利要求3所述的一种面向全排列数据的多变量可视分析方法，其特征在于，所述步骤3)中，对每个核心点对应的集群做了进一步的统计，通过设计的聚类字形图展现，核心点上的聚类字形设计由两个部分组成：内圈和外圈；内圈的圆的大小描绘了集群中排序方案的数量，内圆越大表示集群内排序方案的数量越多；外部扇形表示集群中某一个用户感兴趣的连接属性的统计分布，以便用户从聚类字形图中快速识别所有排序方案基于自身排序属性和连接属性通过MDS算法在二维平面投影后的集群模式，发现特殊集群或者感兴趣的集群。

5.如权利要求4所述的一种面向全排列数据的多变量可视分析方法，其特征在于，所述步骤3)中，外部扇形统计方法如下：

得到一组属性Lx的值{Lx12，Lx13，Lx14，…}，对这组属性值取平均Lavg；全排列后的排列方案有n个项目组成，对应会产生n-1个Lx，通过多对n-1个Lx与Lavg比较，计算大于Lavg的Lx的个数，将此个数作为排列方案关于属性Lx的等级；在聚类集群中，对每个全排列方案关于某个兴趣属性通过上述方法评级，然后统计各个等级对应的全排列方案的数量；

外部扇形图的可视化编码如下：扇形从内圆12点位置顺时针分布，顺着逆时针方向的扇形表示排列方案关于某个兴趣属性的等级，扇形的长度表示对应等级的全排列方案的数量大小。