CN109446264A - 一种基于流可视化的城市移动数据分析方法 - Google Patents
一种基于流可视化的城市移动数据分析方法 Download PDFInfo
- Publication number
- CN109446264A CN109446264A CN201811051523.3A CN201811051523A CN109446264A CN 109446264 A CN109446264 A CN 109446264A CN 201811051523 A CN201811051523 A CN 201811051523A CN 109446264 A CN109446264 A CN 109446264A
- Authority
- CN
- China
- Prior art keywords
- base station
- data
- probability
- value
- lcsf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 title claims abstract description 14
- 238000007405 data analysis Methods 0.000 title claims abstract description 12
- 230000007704 transition Effects 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000005856 abnormality Effects 0.000 claims abstract description 4
- 238000013506 data mapping Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000001427 coherent effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 3
- 238000005183 dynamical system Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于流可视化的城市移动数据分析方法，步骤为：1）数据预处理，解决基站信号不稳定造成的乒乓效应，并剔除异常数据以及轨迹记录过少的数据城市轨迹移动数据；2）数据映射和建模，得到基于基站的概率系统；3）算法实现，计算基于基站的转移概率的LCSF值；4）高维语义结构可视化：根据步骤3）得到的LCSF值以及基站Voronoi图划分，对每块基站区域的LCSF值进行颜色编码，使用三角插值进行渲染，渲染结果显示变化程度越大处高维语义结构越明显，同时为增加对比度，颜色映射可进行相应调节。该方法提供了有效的模型和算法，能从复杂的人群运动中提取潜在的高维语义结构，动态揭示城市地区人群流动背后隐藏的移动模式。
Description
技术领域
本发明涉及城市移动基站数据的分析方法，具体是一种基于流可视化的城市移动数据分析方法。
背景技术
随着传感技术的迅猛发展，移动数据的大量采集变得越来越方便和快捷，为城市研究提供了有力的支持。对城市移动数据分析可以有效地帮助城市规划者分析人群移动规律、了解城市交通状况、规划城市路线、指导商业广告投放、建立社会公共机制等。传统城市移动数据分析方法主要分为三类：1)直接绘制，主要适用于OD(Origin and Destination)形式的数据，如出租车数据等。但是当数据量过大时，这种方式就会造成数据发生混叠，形成视觉干扰；2)聚合，使用聚类、热力图、抽象交通网络等方式可视化移动数据，可以解决数据量过大，直接绘制方式不适用的情况；3)模式提取，主要与深度学习、图理论、语义分析相结合来提取人群移动模式。
实际上，大量的轨迹数据分析是一项难度很大的工作，城市移动数据往往具有丰富的时空信息，大多数的大数据可视化手段难以呈现出数据的内在规律和结构，可视化程度较低。而人群活动中又往往隐藏着动态变化的高维结构。这种结构随时空变化而改变，受地理形态影响并且与人群自发性的社会活动密切相关。因此需要合适的方法来挖掘这种潜在的高维结构。现有的研究方法难以解决上述问题，原因在于现有的方法主要受到三个方面的限制：数据、模型和算法。在城市移动数据中，交通数据，如出租车轨迹数据，最常用于城市移动数据分析。然而，交通数据往往不能代表整个城市人群的出行方式。因此，在本方法中，我们选择覆盖范围更全面，数据粒度更高的手机信令数据。这种数据通过手机信号采集，记录不同时刻同时手机用户经由不同基站的轨迹。由于基站数据具有不可逆的特点(即，不可通过基站点反向求取用户在基站覆盖范围内的精确位置)，我们将数据建模为一个基于基站的概率系统。采用一种基于流可视化的思想来对基站附近的人流进行相干性度量(Coherence Measure)，即，基站附近人流移动行为的一致性或相关联性的度量。具体的做法是计算基于基站的转移概率的局部相干值(Local coherence of sparse field,LCSF)，从而挖掘人群移动中潜在的高维结构。
发明内容
本发明的目的在于克服现有技术的不足，而提供一种基于流可视化的城市移动数据分析方法，该方法与现有城市移动数据研究技术相比提供了有效的模型和算法，能从复杂的人群运动中提取潜在的高维语义结构，动态揭示城市地区人群流动背后隐藏的移动模式。
实现本发明目的的技术方案是：
一种基于流可视化的城市移动数据分析方法，具体包括如下步骤：
1)数据预处理：提供数据接口，读取城市轨迹移动数据，对数据进行预处理，解决基站信号不稳定造成的乒乓效应，并剔除异常数据以及轨迹记录过少的数据城市轨迹移动数据；
2)数据映射和建模：对步骤1)预处理完成的城市轨迹移动数据进行建模，得到基于基站的概率系统；
3)算法实现：从步骤2)得到的概率系统中，可知每个基站到其相邻基站的转移概率，基于转移概率对基站附近的人流进行相干性度量(Coherence Measure)，即基站附近人流移动行为的一致性或相关联性的度量，计算基于基站的转移概率的局部相干值(Localcoherence of sparse field，LCSF)；
4)高维语义结构可视化：根据步骤3)得到的LCSF值以及基站Voronoi图划分，对每块基站区域的LCSF值进行颜色编码，使用三角插值进行渲染，渲染结果显示变化程度越大处高维语义结构越明显，同时为增加对比度，颜色映射可进行相应调节。
步骤2)中，所述的概率系统，是根据基站点创建Delaunay三角网格，具有直接边相连的基站互为相邻关系，根据输入的轨迹数据及时间，计算各个基站至其邻居基站的转移概率，得到时间相关的概率系统。
步骤3)中，所述的LCSF值的计算，具体做法是先计算基于基站p的雅可比矩阵，雅可比矩阵定义为：
其中p0表征初始时刻t0轨迹所经过的基站，为保证公式的严谨性，公式中用p0而在正文中p表示基站；是基站p从t0时刻开始经过Δt段时间后的概率，表示对基站p处的概率计算梯度值。那么从t0时刻开始经过Δt段时间后，在基站p附近转移概率的局部相干值LCSF的度量值为：
其中Jp(t0,Δt,p0)T表示为雅可比矩阵Jp(t0,Δt,p0)的转置。λmax表示求取最大的特征值，求出得到的最大σ(t0,Δt,p0)即为LCSF值；
基站p的雅可比矩阵Jp(t0,Δt,p0)计算的是与其周围基站概率矢量的梯度值，因此可用基站p与其相邻基站概率矢量的线性最小二乘拟合得到，最小二乘法如下：
上述公式实际上解决的是超定方程组Ax＝Θt的最小二乘拟合问题，令x表示x(p)-x(q)，Θt表示x(p)表示基站p的地理坐标，由经纬度唯一确定，表示基站p处的概率，N(p)代表与基站p具有直接相邻关系的所有基站的集合，基站分布及其相邻关系由Delaunay三角网格和Voronoi图划分确定；
最后结果Ap即为基站p附近概率梯度在最小二乘下的最优解，即雅可比矩阵的最优解。
步骤4)中，所述的Voronoi图与Delaunay三角网格具有对偶关系。
本发明提供的一种基于流可视化的城市移动数据分析方法，该方法提供了有效的模型和算法，能从复杂的人群运动中提取潜在的高维语义结构，动态揭示城市地区人群流动背后隐藏的移动模式。可以通过可视方法来帮助专家和用户对城市移动大数据进行有效整合和分析，从杂乱庞大的时空移动数据中提取出人群移动的规律。这种规律通过人群移动过程中内在变动的高维结构揭示。
附图说明
图1城市移动数据高维结构可视化流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明，但不是对本发明的限定。
实施例：
一种基于流可视化的城市移动数据分析方法，如图1所示，包括如下步骤：
步骤1：数据预处理
根据提供的数据接口读取数据，数据格式通常为.csv或json数据，对数据进行预处理，具体是处理因基站信号覆盖不稳定而造成的乒乓效应，剔除异常数据，舍弃无用的轨迹数据和一部分质量较低的数据；
步骤2：数据映射和建模
通过步骤1)预处理得到的数据，从数据库中读取，我们的数据格式如下：Γk＝{k,t0,cell0,t1,cell1,t2,...,celln,tn}，移动数据由逐条轨迹记录组成，Γk代表用户k轨迹记录，在tn时刻经过基站celln，根据分析需求我们需要将离散的轨迹数据建模为动态系统，典型地，一个动态系统由矢量场f定义：
初始时刻状态x(t0)＝x0，且可得到任意时刻t＝t0+Δt的系统状态，通常从轨迹数据构造矢量是不可逆过程，这是因为基站数据只能记录用户某个时刻进入某基站，无法精确得出用户在该基站覆盖范围内的具体轨迹位置；根据城市基站数据的特性，我们将人群移动建模为基于基站的概率系统P(t0,Δt,p0)，该系统给出某个用户t0时刻在cell0出现后经过Δt后在另一个基站出现的概率；
步骤3：算法实现
对于步骤2得到的概率系统，我们采用流可视化中度量粒子运动状态的思想来计算此概率系统中转移概率空间变化的最大值。具体的实施方法是，基于转移概率对基站附近的人流进行相干性度量(Coherence Measure)，即，基站附近人流移动行为的一致性或相关联性的度量。具体是计算基于基站的转移概率的局部相干值(Local coherence ofsparse field,LCSF)。首先计算基于基站p(注：p0表征初始时刻t0轨迹所经过的基站，为保证公式的严谨性，公式中用p0而在正文中p表示基站)的雅可比矩阵，雅可比矩阵定义如下：
其中是基站p从t0时刻开始经过Δt段时间后的概率，表示对基站p处的概率计算梯度值。从t0时刻开始经过Δt段时间后，在基站p附近转移概率的局部相干值LCSF的度量值如下：
其中Jp(t0,Δt,p0)T表示为雅可比矩阵Jp(t0,Δt,p0)的转置。λmax表示求取最大的特征值。求出得到的最大σ(t0,Δt,p0)即为LCSF值。
公式(2)中基站p的雅可比矩阵Jp(t0,Δt,p0)计算的是与其周围基站概率矢量的梯度值，因此可用基站p与其相邻基站概率矢量的线性最小二乘拟合得到，最小二乘法如下：
上述公式实际上解决的是超定方程组Ax＝Θt的最小二乘拟合问题。令x表示x(p)-x(q)，Θt表示x(p)表示基站p的地理坐标，由经纬度唯一确定，表示基站p处的概率。由经纬度唯一确定。N(p)代表与基站p具有直接相邻关系的所有基站的集合，基站分布及其相邻关系由Delaunay三角网格和Voronoi图划分确定。
最终的计算结果Ap即为基站p附近概率梯度在最小二乘下的最优解，即雅可比矩阵的最优解。
步骤4：高维语义结构可视化
对步骤3求出的概率空间变化的值进行颜色编码，并使用Webgl进行三角插值渲染；由于通过基站计算的高维语义结构与基站分布以及人群密度有着十分重要的联系，不同密度的人群概率空间变化的最大值往往具有一定的差距，易造成了对局部区域的高维语义结构的揭示不是那么明显。因此，可对整个高维值域进行非线性的映射，同时设置可调节的值域映射范围以更好地显示和分析全局和局部的高维语义结构。
Claims (4)
1.一种基于流可视化的城市移动数据分析方法，其特征在于，包括如下步骤：
1)数据预处理：提供数据接口，读取城市轨迹移动数据，对数据进行预处理，解决基站信号不稳定造成的乒乓效应，并剔除异常数据以及轨迹记录过少的数据城市轨迹移动数据；
2)数据映射和建模：对步骤1)预处理完成的城市轨迹移动数据进行建模，得到基于基站的概率系统；
3)算法实现：从步骤2)得到的概率系统中，可知每个基站到其相邻基站的转移概率，基于转移概率对基站附近的人流进行相干性度量，即基站附近人流移动行为的一致性或相关联性的度量，计算基于基站的转移概率的LCSF值；
4)高维语义结构可视化：根据步骤3)得到的LCSF值以及基站Voronoi图划分，对每块基站区域的LCSF值进行颜色编码，使用三角插值进行渲染，渲染结果显示变化程度越大处高维语义结构越明显，同时为增加对比度，颜色映射可进行相应调节。
2.根据权利要求1所述的一种基于流可视化的城市移动数据分析方法，其特征在于，步骤2)中，所述的概率系统，是根据基站点创建Delaunay三角网格，具有直接边相连的基站互为相邻关系，根据输入的轨迹数据及时间，计算各个基站至其邻居基站的转移概率，得到时间相关的概率系统。
3.根据权利要求1所述的一种基于流可视化的城市移动数据分析方法，其特征在于，步骤3)中，所述的LCSF值的计算，是先计算基于基站p的雅可比矩阵，雅可比矩阵定义为：
其中p0表征初始时刻t0轨迹所经过的基站，是基站p从t0时刻开始经过Δt段时间后的概率，表示对基站p处的概率计算梯度值，基站p附近转移概率的局部相干值LCSF的度量公式为：
其中Jp(t0,Δt,p0)T表示为雅可比矩阵Jp(t0,Δt,p0)的转置。λmax表示求取最大的特征值，则最后求出得到的最大σ(t0,Δt,p0)即为LCSF值；
基站p的雅可比矩阵Jp(t0,Δt,p0)计算的是与其周围基站概率矢量的梯度值，因此可用基站p与其相邻基站概率矢量的线性最小二乘拟合得到，最小二乘法如下：
上述公式解决的是超定方程组Ax＝Θt的最小二乘拟合问题，令x表示x(p)-x(q)，Θt表示x(p)表示基站p的地理坐标，由经纬度唯一确定，表示t0开始到t0+Δt时间基站p处的概率，N(p)代表与基站p具有直接相邻关系的所有基站的集合，基站分布及其相邻关系由Delaunay三角网格和Voronoi图划分确定；
最后结果Ap即为基站p近概率梯度在最小二乘下的最优解，即雅可比矩阵的最优解。
4.根据权利要求1所述的一种基于流可视化的城市移动数据分析方法，其特征在于，步骤4)中，所述的Voronoi图与Delaunay三角网格具有对偶关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811051523.3A CN109446264B (zh) | 2018-09-10 | 2018-09-10 | 一种基于流可视化的城市移动数据分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811051523.3A CN109446264B (zh) | 2018-09-10 | 2018-09-10 | 一种基于流可视化的城市移动数据分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109446264A true CN109446264A (zh) | 2019-03-08 |
| CN109446264B CN109446264B (zh) | 2021-09-10 |
Family
ID=65532606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811051523.3A Active CN109446264B (zh) | 2018-09-10 | 2018-09-10 | 一种基于流可视化的城市移动数据分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109446264B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625591A (zh) * | 2020-05-15 | 2020-09-04 | 深圳市甲易科技有限公司 | 一种实现信息可视化的轨迹规律分析方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100162146A1 (en) * | 2008-12-18 | 2010-06-24 | Microsoft Corporation | Visually processing instance data |
| CN102711174A (zh) * | 2011-03-28 | 2012-10-03 | 英特尔移动通信有限公司 | 通信终端和设备、交换数据的方法及建立通信连接的方法 |
| CN105023086A (zh) * | 2015-01-07 | 2015-11-04 | 泰华智慧产业集团股份有限公司 | 一种基于云计算的数字城市管理数据共享系统 |
| CN106931974A (zh) * | 2017-03-29 | 2017-07-07 | 清华大学 | 基于移动终端gps定位数据记录计算个人通勤距离的方法 |
| CN107610222A (zh) * | 2017-09-12 | 2018-01-19 | 北京市地震局 | 一种城市建筑物三维自动建模与可视化方法 |
| CN108154557A (zh) * | 2017-12-21 | 2018-06-12 | 桂林电子科技大学 | 一种基于家居环境的静音区域的三角面片化方法 |
-
2018
- 2018-09-10 CN CN201811051523.3A patent/CN109446264B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100162146A1 (en) * | 2008-12-18 | 2010-06-24 | Microsoft Corporation | Visually processing instance data |
| CN102711174A (zh) * | 2011-03-28 | 2012-10-03 | 英特尔移动通信有限公司 | 通信终端和设备、交换数据的方法及建立通信连接的方法 |
| CN105023086A (zh) * | 2015-01-07 | 2015-11-04 | 泰华智慧产业集团股份有限公司 | 一种基于云计算的数字城市管理数据共享系统 |
| CN106931974A (zh) * | 2017-03-29 | 2017-07-07 | 清华大学 | 基于移动终端gps定位数据记录计算个人通勤距离的方法 |
| CN107610222A (zh) * | 2017-09-12 | 2018-01-19 | 北京市地震局 | 一种城市建筑物三维自动建模与可视化方法 |
| CN108154557A (zh) * | 2017-12-21 | 2018-06-12 | 桂林电子科技大学 | 一种基于家居环境的静音区域的三角面片化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李致昊 等: "一个基于基站轨迹数据的城市移动模式可视分析系统", 《计算机辅助设计与图形学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625591A (zh) * | 2020-05-15 | 2020-09-04 | 深圳市甲易科技有限公司 | 一种实现信息可视化的轨迹规律分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109446264B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saghapour et al. | Measuring cycling accessibility in metropolitan areas | |
| Wang et al. | Measuring temporal variation of location-based accessibility using space-time utility perspective | |
| Cheng et al. | Measuring urban job accessibility with distance decay, competition and diversity | |
| Han et al. | Application of an integrated system dynamics and cellular automata model for urban growth assessment: A case study of Shanghai, China | |
| Costabile et al. | Terrestrial and airborne laser scanning and 2-D modelling for 3-D flood hazard maps in urban areas: New opportunities and perspectives | |
| Shen et al. | Discovering spatial and temporal patterns from taxi-based Floating Car Data: A case study from Nanjing | |
| Vajakas et al. | Trajectory reconstruction from mobile positioning data using cell-to-cell travel time information | |
| Geurs et al. | Advances in the measurement of transport impedance in accessibility modelling | |
| Zhang et al. | Research on the relationship between Urban economic development level and urban spatial structure—A case study of two Chinese cities | |
| CN117408173B (zh) | 一种基于机器学习的水文流量整编智能模型构建方法 | |
| Chaoxu et al. | Research on the application of mobile phone location signal data in earthquake emergency work: A case study of Jiuzhaigou earthquake | |
| Yamagata et al. | Evaluating walkability using mobile GPS data | |
| CN109446264A (zh) | 一种基于流可视化的城市移动数据分析方法 | |
| Pacheco-Guerrero et al. | Flooding in ephemeral streams: incorporating transmission losses | |
| CN107121143B (zh) | 一种协同poi数据的道路选取方法 | |
| Murakami et al. | A new areal interpolation method based on spatial statistics | |
| Reddy et al. | Flood estimation at ungauged catchments of western catchments of Karnataka, West coast of India | |
| Lee et al. | Delimiting boundaries of market areas of central places using the density of retail facilities in an urban space | |
| Claudel et al. | Guaranteed bounds on highway travel times using probe and fixed data | |
| Mali et al. | Experimental and numerical study of flood in a river-network-floodplain set-up | |
| Liu et al. | Suitability of S factor algorithms for soil loss estimation at gently sloped landscapes | |
| Bartosiewicz et al. | The use of modern information technology in research on transport accessibility | |
| CN205068800U (zh) | 船舶适航预警系统 | |
| CN104699906A (zh) | 一种结合车载轨迹数据及地形的空间可达性测度方法 | |
| Andrieu et al. | Estimation of space-speed profiles: A functional approach using smoothing splines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |