CN110866075B - 基于可视分析的管道臭味问题的模式发现方法 - Google Patents

Abstract

本发明涉及一种基于可视分析的管道臭味问题的模式发现方法，包括下列步骤：将投诉点投影到地图上，生成四叉树；前序遍历四叉树，将叶节点或到达某一深度的子节点按遍历的顺序排列成一维切；把相同时间间隔内的投诉点可视化为一个个时间切片，将同一时间间隔内的投诉点汇总到一个时间切片，统计每一个时间切片对应的一维切片上各个位置发生投诉的数量，如果数量大于0就在一维切片对应的位置涂上颜色，颜色映射投诉的数量，将这些一维的切片按时间顺序纵向排列，形成新的方格图；计算投诉点间的实际距离，应用dbscan聚类，将聚类后的点集用凹包围起来，和新的方格图形成对照，用以找到凹包中点集发生的时间段。

Description

基于可视分析的管道臭味问题的模式发现方法

技术领域

本发明采用一种可视分析和交互技术手段研究污水管道的臭味问题，具体涉及一种对投诉数据的可视分析方法，从时间，空间角度研究局部地区投诉的变化情况以探索管道臭味问题的潜在模式。

背景技术

污水管道如同人体的经脉构成城市的循环系统，日夜担负着各种废污的排放，是城市赖以生存和发展的重要基础设施，被称为城市的生命线。污水管道的臭味问题由来已久，由于城市增长速度过快以及人为破坏等因素会导致各种各样的基础设施问题出现，许多城市的居民经常遭受管道中臭味问题的困扰[1-2]。污水管道中容易产生各种有气味的化合物，并通过检查井释放的大气中，对附近居民造成滋扰[3]。且管道较为隐蔽，人们对其的重视程度不足，臭味形成的机理很复杂，对其的理解目前还很有限。

大部分相关研究是关于污水管网(跌水井)内污水流动的物理特性或水利条件，从生物和化学的角度分析臭味的成因机理。污水管道系统中与硫化氢相关的气味问题取决于污水管道与地面大气的空气通风速率，因此很多研究污水管道内的空气流量，提高通风系统设计的有效性，改善管内的空气循环。

对地理相关的信息进行分析常常使用ArcGis之类的软件，它们提供了丰富的功能，可以对数据使用多种分析方法。然而其相对固定的分析功能难以满足用户个性化的分析方式，存在一定的局限性。

可视分析是一项近几年发展起来的新技术，是信息可视化和科学可视化领域发展的产物，是人们理解和诠释大规模复杂情况的重要手段和途径。它主要借助于交互式用户界面对复杂数据对象进行分析推理决策，从海量和动态的数据中整合信息，获取对复杂信息的更深层的理解。信息可视化技术是在现代信息处理平台的基础上，根据用户对信息的需要，利用适当的可视化符号表示各种信息和信息内外部的关系，使人们更方便、快速地与信息源进行交互，发现隐藏在信息中的各类知识，进行更有效的交流。计算机对于信息的可视化展示与人的观察和分析结合，形成了高效地可视分析方法用来解决各种难题。

目前针对管道臭味问题主要是哪里发现问题就去哪里解决，治标不治本，也给住户带来了不便。由于以下原因，挖掘投诉数据的潜在模式具有挑战性。首先，数据集包含发生投诉的位置，但是臭味的具体来源和臭味的剧烈程度等信息很少，无法得到有效的结论。其次，只知道某一天接到了投诉，但是不知道具体的时间(精确到小时)，因此无法从更细的时间粒度来查看投诉发生的周期模式，只能从天，周，月，年等角度呈现数据。第三，投诉发生在整个城市，且横跨了15年，数据很离散，增大了分析难度。第四，在数据可视化中，通常使用基于点的可视化来描述离散的投诉位置，虽然能使用户观察到每一个投诉发生的位置，但是当数据量变得庞大时，过多的点会造成画面混乱和互相遮挡的问题。本发明的主要贡献在于利用四叉树(图1)建立二维到一维的映射，四叉树是一种树状数据结构，在每一个节点上最多会有四个子节点，每个节点表示一块方形区域，它将二维平面等分成四个相等的子区域，如此递归下去，直至树的层次达到一定深度或者满足某种要求后停止分割，叶节点包含对应区域内点(即图1中的黄色点)的属性。本发明为用户提供了一种从时空角度分析投诉数据的可视化方法，探索投诉的潜在模式，便于城市管理者有效的分配资源在适合的地方，同时提高居民的生活质量。

参考文献

[1]AE(Associated Engineering).Odour control program report.City ofEdmonton,Edmonton,AB,2008.

[2]US Environmental Protection Agency.Air emission models for wasteand wastewater[J].EPA-453/R-94-080A-Part 1,1994.

[3]Pérez A,Manjón C,Martínez J V,et al.Odours in sewer networks:nuisance assessment[J].Water Science and Technology,2013,67(3):543-548.

[4]Buchmüller J,

D,Cakmak E,et al.MotionRugs:Visualizingcollective trends in space and time[J].IEEE transactions on visualization andcomputer graphics,2018,25(1):76-86.

发明内容

为了解决上述问题，本发明为用户提供一种从时空角度分析投诉数据的可视化方法，可以让用户在地图上框选一块区域，进而分析该区域内投诉点随时间的演化情况。该方法包括以下步骤：

一种基于可视分析的管道臭味问题的模式发现方法，包括下列步骤：

步骤1：将投诉点投影到地图上，通过交互在地图上框选一块区域，区域内的投诉点的位置用于生成四叉树；

步骤2：前序遍历四叉树，将叶节点或到达某一深度的子节点按遍历的顺序排列成一维切，一维切片中的每个方格表示一个叶节点，两个相邻方格的位置在地图上的距离也较近；

步骤3：把相同时间间隔内的投诉点可视化为一个个时间切片，将同一时间间隔内的投诉点汇总到一个时间切片，统计每一个时间切片对应的一维切片上各个位置发生投诉的数量，如果数量大于0就在一维切片对应的位置涂上颜色，颜色映射投诉的数量，将这些一维的切片按时间顺序纵向排列，形成新的方格图。

步骤4：计算投诉点间的实际距离，应用dbscan聚类，通过扫描距离Eps，时间间隔timeEps和最小包含点数来调节聚类的大小，将聚类后的点集用凹包围起来，和新的方格图形成对照，用以找到凹包中点集发生的时间段；

步骤5：可视化，并从时空角度分析投诉数据。

附图说明

图1是四叉树的原理图

图2是可视分析方法的流程图

图3是四叉树二维到一维的映射的示意图

图4是按时间顺序排列一维切片的示意图

图5是总的设计图

(a)是maxDepth＝3，interval＝7的结果图

(b)是maxDepth＝4，interval＝7的结果图

(c)是maxDepth＝3，interval＝30的结果图

图6是聚类的过程

(a)是定量计算投诉点间距离的示意图

(b)是用凸包显示聚类点集

具体实施方式

本发明设计采用d3.js来绘制前端可视化组件，使用Leaflet和Mapbox这两个JavaScript库来创建可交互式地图，Hull.js是一个开源的Javascript库，用于绘制凹包，投诉数据存储为json格式。

下面结合附图和具体实施流程对本发明进行详细的说明，本发明方法包含以下步骤：

步骤1：将所有投诉点投影到地图上，投诉点包含日期信息。由于地图数据表示的范围很大，而屏幕所展示的空间是有限的，用户通过缩放和拖动可以在地图上选择感兴趣的区域，再画框选择这片区域，根据该区域内投诉点的位置会生成四叉树，图5(a)左边显示了生成的四叉树。为了防止“拖动地图”和“框选区域”这两个操作冲突，本发明设计了一个开关(图5(a)中的rugs)，当用户点开开关时，禁止拖动地图，此时用户可以框选目标区域并调整选区的大小和位置，关闭开关，恢复原样。

四叉树将一个二维平面递归细分，它使用方形划分实现，将每一块区域等分成了四个相同大小的子区域。从根节点开始深度遍历，只要当前节点有子节点就绘制该节点的轮廓。当该层节点已经遍历完成就回退到上一层，并依次遍历该层节点，最后回退到根节点，完成所有节点的遍历并完成四叉树空间的划分。四叉树可用于加速各种空间操作。

步骤2：前序遍历四叉树，将叶节点(或到达某一深度的子节点)按遍历的顺序排列成一维切片，图3是简化的示意图，其中地图上的用带颜色的框表示四叉树的叶节点，一维切片中的每个方格表示一个叶节点，16个方格对应16个叶节点，可以看出每个叶节点表示的区域面积大小不一，但一维切片中每个方格是一样的，这样的好处是离散的点在一维切片中占据的方格较少，密集处的点占据的方格较多。在一维切片上，两个相邻方格的位置在原始地图上的距离一般不会太远，但受到降维的影响，不可避免的损失了一部分信息，一维切片上相邻方格之间表示的原始距离大小不一。使用四叉树的优势在于，如果一些相关的投诉发生的距离比较近，那么它们在一维切片上的位置会比较靠近。

步骤3：本发明把相同时间间隔内的投诉点弄成一个个时间切片，将同一时间间隔内的投诉汇总到一个时间切片，统计每一个时间切片对应的一维切片上各个位置发生投诉的数量，如果数量大于0就在一维切片对应的位置涂上颜色，将这些一维的切片按时间顺序纵向排列，形成方格图。图4是简化的示意图，同一个位置可能会发生多次投诉，可以看出图4右侧的方格图中每一列表示的是相同的位置，第3列每隔一段时间就会发生一次投诉，这就是典型的周期模式。右边几列的投诉比较密集，如果对应位置在地图上呈现点集，则可能是发生了比较严重的事件。

图5右边是实际生成的方格图，去掉了略显杂乱的网格，将底色换成黑色突出对比度，方格的颜色映射的是投诉点的数量，当鼠标悬停在某个方格上时，原始地图中的对应投诉点会高亮显示，方便用户确定位置。如果点很密集，生成的四叉树的深度会比较大，此时一维切片上的方格会比较多，原本聚在一起的点可能会分散开，不利于分析，因此本发明设计了一个滑块(图5(a)中的maxDepth)，来调节遍历的最大深度。在原本生成的四叉树中，每个叶节点只包含一个投诉点，重叠在一起的点会在叶节点内部形成链表。设置最大遍历深度后，一个节点(非叶节点)会包含多个投诉点。图5(a)和5(b)分别是设置maxDepth＝3和maxDepth＝4的结果图，5(a)中靠下位置比较密集的方格在5(b)中分散开了，而这块比较密集的方格对应地图上选区左下角的点集。因此，用户可以根据框选区域的范围来调整遍历的最大深度来获得较好的结果。

本发明也设计了滑块(图5(a)中的interval)来调节间隔的天数，图5(a)和5(c)分别是interval＝7和interval＝30的结果图，interval设置的越大，显示的时间跨度越大，相应的方格也会越密集，用户根据需求选择不同的时间跨度来了解某一区域投诉变化的走向。方格图为大量时空数据提供了一种静态，节省空间的概览可视化，可以较为清楚地识别大量投诉的趋势和模式。

步骤4：地图上的投诉点的位置都是像素位置，为了定量的度量投诉点间的距离有必要进行数据预处理，转换为实际距离。如图6(a)所示，投诉点都是在同一个svg下，svg指可伸缩矢量图形，相当于一个容器。获取该svg左上角a和左下角b的像素坐标，根据Leaflet提供的接口，将a，b的像素坐标转为地理坐标(经纬度)，并计算a，b之间的实际距离(单位米)，再用d3.js的线性比例尺，以a，b间的像素距离为定义域，实际距离为值域建立映射关系。b，c之间同样如此，这样对于图中的每个点，只要获取它到svg边界的像素距离，就可以将其像素坐标转为实际距离的坐标。

接下来应用dbscan聚类，与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在有噪声的数据中发现任意形状的聚类。相比通常的dbscan算法，我们增加了间隔时间timeEps这个参数来过滤附近的投诉点。算法的步骤如下：

选择一个未被访问的投诉点开始，以Eps为扫描半径，找出与其距离不超过Eps并且间隔时间不超过timeEps的所有临近的投诉点。

若临近点的数量大于等于minPts，则建立一个新的簇，包含出发点和其所有临近点，并且出发点被标记为已访问。之后递归，对所有临近点以相同的方法处理，进而对簇进行拓展。

若临近点的数量小于minPts，则该点暂时被标记为噪声点。

若簇充分地被扩展，即簇内的所有点都被标记为已访问，则任选未被访问的投诉点重复上诉步骤。

用户通过调节滑块Eps，timeEps和minPts(图5(a)中所示)的值改变聚类的大小，对于聚类后得到的每一类点集，使用Hull.js提供的函数将点集最外围的点连起来形成凹包(图6(b)地图中的多边形)，凹包中的点集在方格图中也容易聚集在一起，这样可以和方格图形成对照，快速找到凹包中点集发生的时间段。

相比于现有的管道臭味问题的研究方法，本发明的优势在于使用了可视分析这个正在兴起的技术，从时空的角度快速发现问题，以更加直观的方式，帮助研究人员确定哪些地方的问题更严重，发现问题的规律，从而合理的分配资源，对有问题的地方做预防处理。

Claims (1)

1.一种基于可视分析的管道臭味问题的模式发现方法，包括下列步骤：

步骤1：将投诉点投影到地图上，通过交互在地图上框选一块区域，区域内的投诉点的位置用于生成四叉树；

步骤2：前序遍历四叉树，将叶节点或到达某一深度的子节点按遍历的顺序排列成一维切，一维切片中的每个方格表示一个叶节点，两个相邻方格的位置在地图上的距离也较近；

步骤3：把相同时间间隔内的投诉点可视化为一个个时间切片，将同一时间间隔内的投诉点汇总到一个时间切片，统计每一个时间切片对应的一维切片上各个位置发生投诉的数量，如果数量大于0就在一维切片对应的位置涂上颜色，颜色映射投诉的数量，将这些一维的切片按时间顺序纵向排列，形成新的方格图；

步骤4：计算投诉点间的实际距离，应用dbscan聚类，通过扫描距离Eps，时间间隔timeEps和最小包含点数来调节聚类的大小，将聚类后的点集用凹包围起来，和新的方格图形成对照，用以找到凹包中点集发生的时间段；

步骤5：可视化，并从时空角度分析投诉数据。

Images