CN111241167B - 一种大数据量的时空数据可视化方法 - Google Patents
一种大数据量的时空数据可视化方法 Download PDFInfo
- Publication number
- CN111241167B CN111241167B CN202010041073.0A CN202010041073A CN111241167B CN 111241167 B CN111241167 B CN 111241167B CN 202010041073 A CN202010041073 A CN 202010041073A CN 111241167 B CN111241167 B CN 111241167B
- Authority
- CN
- China
- Prior art keywords
- data
- line data
- line
- grid
- spatio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000013079 data visualisation Methods 0.000 title claims description 13
- 238000012800 visualization Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000007794 visualization technique Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001983 electron spin resonance imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种大数据量的时空数据可视化方法，具体步骤为：S1：上传时空数据；S2：判断上传的时空数据是否为线数据，筛选出为线数据的时空数据；S3：根据线数据两个端点和经纬度落点，并连接每条数据的起点、终点组成线数据；S4：将所有的线数据看作是落在一张画布上，根据线数据的数量和画布大小将该画布定制成许多个长宽一样的细小栅格；S5：起点落在同一个小栅格里面且终点也落在同一个小栅格里面的多条线数据合并为一条线数据；S6：将处理之后的时空数据进行可视化处理。本发明的可视化效果更加丰富美观，且速度更快，更有助于对数据进行分析解译，提高数据的使用价值。
Description
技术领域
本发明涉及一种数据可视化方法，具体涉及一种大数据量的时空数据可视化方法。
背景技术
目前大数据量的可视化方法有不少，针对地图数据，主要有三类可视化库、框架或者软件。第一类是Echarts、Highcharts和D3等可视化库，它们被用于实现数据可视化，属于普适性的可视化工具，但是不一定有针对数据量大时的优化处理，因此也不一定适合大数据量的可视化；第二类是如ArcGIS、QGIS类型的桌面软件，它们通常有良好的交互体验，但是不一定适合批量处理，实现可视化的灵活性也有一定局限；第三类是像Spark这样的通用大数据计算平台，对于大数据量它有得天独厚的优势，但问题是它不是专门用于可视化的，运用它的学习成本比较高。下一个部分各用一个例子，对三类可视化工具的优缺点进行更为详细的讨论。
Echarts是一个使用JavaScript实现的开源可视化库，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器(IE8/9/10/11，Chrome，Firefox，Safari等)，底层依赖轻量级的矢量图形库ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。Echarts由百度开发，主要面向商业数据可视化，使用原生JavaScript，支持自定义构建，像bootstrap那样可以选择自己需要的图表，然后集成一个js包。这个产品简洁美观，交互性好，对于开发者来说入门容易，操作较简单，但是它可定制性较差。对于地理数据而言，数据的直接落点效果不好，而且数据量达到一定程度后，前端压力大，浏览器易卡死，数据吞吐量不够大，数据集成度不够好。
ArcGIS作为ESRI公司推出的GIS行业领先的桌面端全平台，制作地图专业性较强，ArcMap的地图可视化功能较为完善。在制图过程中，有地理数据库做支撑，方便灵活的要素编辑修饰、自制符号库、地图标注样式多样、符号优先级设置等都带来了良好的交互制作体验。但是对于地图样式基本固定，需要批量自动化出图的应用场景，或对渲染速度、渲染质量要求高的应用场景，ArcMap则不太适合。并且其在场景美观方面还有所欠缺，可视化效果不够好，还有提升空间。
Spark是一个最初由加州大学伯克利分校AMPLab开发的开源集群运算框架，它可看作是一个通用大数据计算平台,可以解决大数据计算中的批处理、交互查询及流式计算等核心问题。在数据可视化方面，Zeppelin可以作为Spark的解释器,进一步提供基于Web页面的数据分析和可视化协作。可视化结果可以输出表格、柱状图、折线图、饼状图、点图等，但是无法提供更为复杂的交互分析手段，并且Spark相关技术搭建麻烦，可处理大量数据但不是专业作图工具，可视化效果不一定好。
发明内容
针对现有技术的不足，本发明的目的旨在提供一种大数据量的时空线数据可视化方法，解决了超大线数据量在可视化方面难以全部加载的问题，同时保证全局层面的可视化效果和全量数据加载出来效果的一致性。
为实现上述目的，本发明采用如下技术方案：
一种大数据量的时空数据可视化方法，具体步骤为：
S1：上传大数据量的时空数据；
S2：依据线数据特点判断上传的时空数据是否为线数据，对时空数据进行筛选，筛选出为线数据的时空数据；
S3：根据线数据两个端点和经纬度落点，并连接每条数据的起点、终点组成线数据；
S4：将所有的线数据看作是落在一张画布上，所述画布的大小由线数据的经纬度范围决定，并根据线数据的数量在画布上绘制不同规格的栅格；
S5：起点落在同一个小栅格里面且终点也落在同一个小栅格里面的多条线数据合并为一条线数据，且合并后线数据的起点在原先起点小栅格的中间位置，合并后的终点在原先终点小栅格的中间位置，合并后的权重为小栅格里面所有线数据的权重之和；
S6：将处理之后的时空数据进行可视化处理，对处理之后的时空数据采用开源的ECharts框架进行可视化，使可视化效果更加丰富美观，且速度更快，更有助于对数据进行分析解译，提高数据的使用价值。
进一步地，所述S1中上传的时空数据必须包括经纬度。
进一步地，所述S2中线数据包含起点的经纬度、终点的经纬度，起点终点连接的权重字段。
进一步地，所述S4中规划栅格的原则为：根据线数据的数量在画布上绘制不同规格的栅格，若数据量超过70万，包括70万，则每个栅格大小设为8×8，数据量低于70万，则每个栅格大小设为4×4。
进一步地，所述S5中合并后线数据的起点在原先起点小栅格的中间位置，合并后的终点在原先终点小栅格的中间位置，合并后的权重为小栅格里面所有线数据的权重之和。
本发明的有益效果在于：本发明采用首先大数据量时空数据的上传，识别线数据，如果不是线数据则删除掉该条数据，若是线数据则连接数据的起点、终点，使单独的点数据变为线数据，然后定制栅格，判断线数据中起终点是否在同一个栅格位置，如果在同一个栅格位置，则合并它们，最终将返回的线数据进行数据可视化，解决了超大线数据量在可视化方面难以全部加载的问题，同时保证了数据直观美观的可视化效果，且可视化的速度更快，更有助于对数据进行分析解译，提高数据的使用价值。
附图说明
附图1为本发明的方法流程图；
附图2为ArcGIS软件直接落点；
附图3为ArcGIS软件调整可视化之后的图；
附图4为本发明方法做的可视化图(一)；
附图5为本发明方法做的可视化图(二)
附图6为本发明方法的技术展示图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
实施例一
如图1所示，一种大数据量的时空数据可视化方法，具体步骤为：
第一步：上传大数据量的时空数据；因为是时空数据，所以上传的时空数据中的每条数据必须包括经纬度和连接的权重字段信息，可以上传几百万、几千万的数据量；
第二步：判别上传的时空数据中哪些数据是线数据；线数据判别原则：线数据包含起点、终点、经纬度和连接的权重，如果该条数据未包含起点、终点、经纬度和连接权重，则删除该条数据，其中连接权重主要表示起点和终点之间连接线的粗细；该步骤的主要作用是清除掉上传的时空数据里面的脏数据，若是线数据，则进行下一步的操作；
第三步：经过第二步的筛选之后，根据线数据起点、终点的经纬度落点，落完点之后连接每条数据的起点和终点，组成线数据群；此时落点完的数据是杂乱无章，且无任何规律的，可视化效果极差，如图2所示；
第四步：定制栅格；定制栅格的目的是为了后续步骤中合并那些起点落在同一个栅格上且终点在同一个栅格上的线数据；如下图6所示，将整个线数据看作都落在一张画布上，则根据数据量的多少和画布大小将该画布定制成许多个长宽一样的细小栅格，提升可视化效果，让用户可以进行数据分析，如下图6中间的图所示。
第五步：得到定制后的栅格之后，则将那些起点在同一个栅格里面且终点也在同一个小栅格里面的多条线数据合并为同一条线数据；例如有十条线数据的起点在同一个小栅格内，终点都落在了另外一个小栅格内，则将该十条线数据合并为一条线数据，合并后线数据的起点在原先起点小栅格的中间位置，合并后的终点在原先终点小栅格的中间位置，合并后的权重为小栅格里面所有线数据的权重之和，其中每个格子大小可以是4×4或者8×8，若数据量超过或包括70万，则每个栅格大小设为8×8，数据量低于70万，则每个栅格大小设为4×4，以此达到了将数据量压缩的目的，因此通过该种方法，数据量会大大减少了。且通过此方法有效减少了超大线数据量在可视化方面难以全部加载的问题；
得到定制后的栅格之后，那些起点或终点不在同一个小栅格里面的线数据不做合并处理；第六步：将处理完之后的数据返回给前端进行可视化处理，处理完之后的数据量大大减少，极大地降低了前端可视化的压力；前端可视化图表框架采用开源的Echarts，可视化效果很好，同时保证了数据直观美观的可视化效果，且可视化的速度更快，更有助于对数据进行分析解译，提高数据的使用价值；最终的可视化效果如图4所示。
附图2、附图3、附图4是使用同一份数据绘制，图2是直接落点的图，图3是现有作图软件做的图，图4是使用本方法做的图；
图5是另外一份数据，使用本方法绘制的图，体现出本方法可视化的效果很好。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (4)
1.一种大数据量的时空数据可视化方法，其特征在于，具体步骤为：
S1：上传大数据量的时空数据；
S2：依据线数据特点判断上传的时空数据是否为线数据，对时空数据进行筛选，筛选出为线数据的时空数据；
S3：根据线数据两个端点和经纬度落点，并连接每条数据的起点、终点组成线数据；
S4：将所有的线数据看作是落在一张画布上，所述画布的大小由线数据的经纬度范围决定，并根据线数据的数量在画布上绘制不同规格的栅格；
S5：起点落在同一个小栅格里面且终点也落在同一个小栅格里面的多条线数据合并为一条线数据，合并后线数据的起点在原先起点小栅格的中间位置，合并后的终点在原先终点小栅格的中间位置，合并后的权重为小栅格里面所有线数据的权重之和；
S6：将处理之后的时空数据进行可视化处理，对处理之后的时空数据采用开源的ECharts框架进行可视化，使可视化效果更加丰富美观，且速度更快，更有助于对数据进行分析解译，提高数据的使用价值。
2.如权利要求1所述的一种大数据量的时空数据可视化方法，其特征在于，所述S1中上传的时空数据必须包括经纬度。
3.如权利要求1所述的一种大数据量的时空数据可视化方法，其特征在于，所述S2中线数据包含起点的经纬度、终点的经纬度，起点终点连接的权重字段。
4.如权利要求1所述的一种大数据量的时空数据可视化方法，其特征在于，所述S4中规划栅格的原则为：根据线数据的数量在画布上绘制不同规格的栅格，若数据量超过70万，则每个栅格大小设为8×8，数据量低于70万，则每个栅格大小设为4×4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010041073.0A CN111241167B (zh) | 2020-01-15 | 2020-01-15 | 一种大数据量的时空数据可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010041073.0A CN111241167B (zh) | 2020-01-15 | 2020-01-15 | 一种大数据量的时空数据可视化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241167A CN111241167A (zh) | 2020-06-05 |
| CN111241167B true CN111241167B (zh) | 2020-09-01 |
Family
ID=70876807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010041073.0A Active CN111241167B (zh) | 2020-01-15 | 2020-01-15 | 一种大数据量的时空数据可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241167B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782745B (zh) * | 2020-06-28 | 2021-08-03 | 中国矿业大学(北京) | 一种时空大数据网格编码高效可视化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045532A (zh) * | 2017-01-20 | 2017-08-15 | 中国科学院电子学研究所 | 时空地理空间可视化的分析方法 |
| CN110119482A (zh) * | 2019-05-13 | 2019-08-13 | 杭州电子科技大学 | 基于poi和多源移动数据集的人群出行模式可视分析方法 |
| CN110299063A (zh) * | 2018-03-22 | 2019-10-01 | 阿里巴巴集团控股有限公司 | 轨迹数据的可视化展示方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672258B2 (en) * | 2012-05-10 | 2017-06-06 | Pitney Bowes Inc. | Systems and methods for dynamically selecting graphical query result display modes |
-
2020
- 2020-01-15 CN CN202010041073.0A patent/CN111241167B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045532A (zh) * | 2017-01-20 | 2017-08-15 | 中国科学院电子学研究所 | 时空地理空间可视化的分析方法 |
| CN110299063A (zh) * | 2018-03-22 | 2019-10-01 | 阿里巴巴集团控股有限公司 | 轨迹数据的可视化展示方法及装置 |
| CN110119482A (zh) * | 2019-05-13 | 2019-08-13 | 杭州电子科技大学 | 基于poi和多源移动数据集的人群出行模式可视分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 城市道路交通数据可视分析综述;姜晓睿等;《中国图象图形学报》;20150430;第20卷(第4期);第0454-0467页 * |
| 大规模出租车起止点数据可视分析;姜晓睿等;《计算机辅助设计与图形学学报》;20151031;第27卷(第10期);第1908-1917页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241167A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190354278A1 (en) | Representation of digital map styling properties across zoom levels | |
| US20160266766A1 (en) | Three dimensional conditional formatting | |
| CN110706314B (zh) | 元素布局方法、装置、电子设备及可读存储介质 | |
| CN113495542A (zh) | 一种基于WebGL的工业机器人智能生产线仿真系统 | |
| Halim et al. | Quantifying and optimizing visualization: An evolutionary computing-based approach | |
| CN112348954A (zh) | 一种建筑模型处理方法、装置、计算机设备以及存储介质 | |
| CN106469220A (zh) | 一种生成动态效果页面的方法及系统 | |
| CN111241167B (zh) | 一种大数据量的时空数据可视化方法 | |
| CN117372570A (zh) | 广告图像生成方法、装置 | |
| US11232470B2 (en) | Customer flow line and customer flow hot zone determining method and apparatus | |
| CN113626129B (zh) | 一种页面颜色的确定方法、装置及电子设备 | |
| CN113345048B (zh) | 地理信息图像编辑方法、装置及计算机设备 | |
| CN117763644A (zh) | 设计图自适应调整的方法和装置 | |
| JP6838167B2 (ja) | ウェブページメイン画像認識方法及び装置 | |
| CN112163175A (zh) | 一种网站移动端速度优化方法 | |
| CN111324575A (zh) | 一种om运营活动管理系统 | |
| CN116954605A (zh) | 页面生成方法、装置及电子设备 | |
| US20240292052A1 (en) | Page display method and apparatus, electronic device and storage medium | |
| CN110609927A (zh) | 一种可视化家谱布局方法、终端设备及存储介质 | |
| CN115964037A (zh) | 一种工程数据可视化低代码配置方法及系统 | |
| US20230115855A1 (en) | Machine learning approaches for interface feature rollout across time zones or geographic regions | |
| JP2004362539A (ja) | 閲覧コンテンツ変更装置、閲覧コンテンツ変更方法、閲覧コンテンツ変更プログラム、および閲覧コンテンツ変更プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Begum et al. | Comparative Study of Big Data Visualization Tools and Techniques | |
| US11954802B2 (en) | Method and system for generating polygon meshes approximating surfaces using iteration for mesh vertex positions | |
| US20230394767A1 (en) | Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510290 No. 483, Nanzhou Road, Haizhu District, Guangzhou City, Guangdong Province Patentee after: Guangdong urban and rural planning and Design Institute Co.,Ltd. Address before: 510290 No. 483, Nanzhou Road, Haizhu District, Guangzhou City, Guangdong Province Patentee before: GUANGDONG URBAN & RURAL PLANNING AND DESIGN INSTITUTE |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP03 | Change of name, title or address |
Address after: 510290 No. 483, Nanzhou Road, Haizhu District, Guangzhou City, Guangdong Province Patentee after: Guangdong Urban and Rural Planning and Design Institute Technology Group Co.,Ltd. Country or region after: China Address before: 510290 No. 483, Nanzhou Road, Haizhu District, Guangzhou City, Guangdong Province Patentee before: Guangdong urban and rural planning and Design Institute Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |