CN108228772A - 一种基于gis信息的人群行为分布的可视化方法 - Google Patents
一种基于gis信息的人群行为分布的可视化方法 Download PDFInfo
- Publication number
- CN108228772A CN108228772A CN201711452704.2A CN201711452704A CN108228772A CN 108228772 A CN108228772 A CN 108228772A CN 201711452704 A CN201711452704 A CN 201711452704A CN 108228772 A CN108228772 A CN 108228772A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- gis information
- visualizing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2101/00—Indexing scheme associated with group H04L61/00
- H04L2101/60—Types of network addresses
- H04L2101/69—Types of network addresses using geographic information, e.g. room number
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于GIS信息的人群行为分布的可视化方法，包括：通过logstash对用户访问网站的信息进行标准化，并将标准化后的数据传输到kafka中存储；利用storm实时分布式框架处理数据，从kafka中读取数据，根据采集到的用户数据，查询对应gis信息，对信息进行处理后存储到hdfs中；利用hadoop对信息化的数据进行统计分析，将分析得到的数据保存到mysql数据库中；前端请求后台api接口，读取mysql数据库中的统计数据，并根据具体的页面展示需求，将数据转化为option对象，通过在页面添加所需的option对象对数据进行可视化展示。有益效果：解决了图形过大产生的遮盖问题和地区密度两级分化的可视化效果较差的情况，避免了由于内存不够而加载过慢的现象，使得人群位置更加精准。
Description
技术领域
本发明涉及数据可视化领域，具体来说，涉及一种基于GIS信息的人群行为分布的可视化方法。
背景技术
地图由于自带经纬度信息，历来受广大可视化项目的欢迎，但是目前基于地图的可视化方法仍然比较单一，而且由于大数据时代的到来，对大数据的处理和可视化方法提出了更大的挑战。
在基于地图的可视化方法中，一种为用形状大小表示某区域某种数量的大小，如北京人口大于天津人口，则地图上北京的圆的半径大于天津的圆。这种基于地图的方法在小数据量及较稀疏的区域统计时可行，但当统计区域精确到街道等更加精细的区域时，用形状表示数量的大小的方法则会产生困难，形状过小，影响可视化的辨识度，形状过大，由于地图面积有限，形状会相互之间发生覆盖，甚至形成大面积的覆盖情况，使可视化图丢失大量信息。
另一种为点密度图，其中一个点可以表示一个或多个个体，但该图仅表示某一区域密度，并不精确定位到每个个体的经纬度，而是在某计算区域均匀分布；其次由于每个点代表的个体数量相等，当数据量较大且各区域差异较大是，会发生全覆盖或过稀疏情况，降低可视化效果。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于GIS信息的人群行为分布的可视化方法，能够改善现有可视化方法在展示大数据时可能存在的由于内存不够而加载过慢，数据展示方法选择困难等问题。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于GIS信息的人群行为分布的可视化方法，包括以下步骤：
S1 通过logstash对用户访问网站的信息进行标准化，并将标准化后的数据传输到kafka中存储；
S2 利用storm实时分布式框架处理数据，从kafka中读取数据，根据采集到的用户数据，查询对应gis信息，对信息进行处理后存储到hdfs中；
S3 利用hadoop对信息化的数据进行统计分析，将分析得到的数据保存到mysql数据库中；
S4 前端请求后台api接口，读取mysql数据库中的统计数据，并根据具体的页面展示需求，将数据转化为option对象，通过在页面添加所需的option对象对数据进行可视化展示。
进一步的，S2中采集用户的ip地址，根据所述ip地址查询出相对应的gis信息。
进一步的，S3中根据用户的gis信息，访问网页的路径path，统计出不同的数据，将分析后的结果保存到mysql数据库中。
进一步的，分析后的结果包括用户访问网站的信息、用户的gis信息以及用户访问数。
进一步的，S4具体包括：
S41 前端通过js的ajax请求后台api接口，取回保存到mysql中的统计数据，根据可视化页面展示的需求，将取回的数据转为页面展示所需要的option对象；
S42 根据不同的展示数据方式选择相对应的图标option对象，将处理好的数据json对象，添加到相对应图标的option对象中；
S43 调用已经封装好的api方法，将处理好的option对象添加的页面上布局好的div中，进行数据可视化显示。
作为优选，S4进一步包括通过setTimeInterval、setTimeOut，让数据图标进行动态展示。
作为优选，进一步包括：用不同颜色展示不同量级的数据。
本发明的有益效果：采用不同颜色的点代表不同的点密度，解决了图形过大产生的遮盖问题和地区密度两级分化的可视化效果较差的情况，同时采用不同密度的点和地图分层技巧减小内存，避免了由于内存不够而加载过慢的现象，最后基于IP地址获取更加精细的GIS信息，使得人群位置更加精准。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的一种基于GIS信息的人群行为分布的可视化方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的一种基于GIS信息的人群行为分布的可视化方法，包括以下步骤：
S1 通过logstash对用户访问网站的信息进行标准化，并将标准化后的数据传输到kafka中存储；
S2 利用storm实时分布式框架处理数据，从kafka中读取数据，根据采集到的用户数据，查询对应gis信息，对信息进行处理后存储到hdfs中；
S3 利用hadoop对信息化的数据进行统计分析，将分析得到的数据保存到mysql数据库中；
S4 前端请求后台api接口，读取mysql数据库中的统计数据，并根据具体的页面展示需求，将数据转化为option对象，通过在页面添加所需的option对象对数据进行可视化展示。
进一步的，S2中采集用户的ip地址，根据所述ip地址查询出相对应的gis信息。
进一步的，S3中根据用户的gis信息，访问网页的路径path，统计出不同的数据，将分析后的结果保存到mysql数据库中。
进一步的，分析后的结果包括用户访问网站的信息、用户的gis信息以及用户访问数。
进一步的，S4具体包括：
S41 前端通过js的ajax请求后台api接口，取回保存到mysql中的统计数据，根据可视化页面展示的需求，将取回的数据转为页面展示所需要的option对象；
S42 根据不同的展示数据方式选择相对应的图标option对象，将处理好的数据json对象，添加到相对应图标的option对象中；
S43 调用已经封装好的api方法，将处理好的option对象添加的页面上布局好的div中，进行数据可视化显示。
作为优选，S4进一步包括通过setTimeInterval、setTimeOut，让数据图标进行动态展示。
作为优选，进一步包括：用不同颜色展示不同量级的数据。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的一种基于GIS信息的人群行为分布的可视化方法，包括如下步骤：
1.用户访问网站，网站会在访问记录中保存用户的访问信息，然后利用logstash进行数据标准化，并将数据传输到kafka中，作为临时保存。
2.利用storm实时分布式框架处理数据，从kafka中读取数据，然后根据采集到的用户数据，如用户的ip地址，然后根据ip信息查询出相应的gis信息，信息处理后，将数据存储到hdfs中。
3.利用hadoop对信息化的数据进行统计分析，如根据用户的gis信息，访问网页的路径path，统计出不同的数据，将分析后的结果，即用户访问网站的信息，用户的gis信息，用户访问数保存到mysql数据库中。
4.前端通过js的ajax请求后台api接口，取回保存到mysql中的统计数据。然后根据可视化页面展示的需求，将取回的数据转为页面展示所需要的option对象。
5.根据不同的展示数据方式选择相对应的图标option对象，将之前处理好的数据json对象，添加到相对应的图标的option对象中。
6.然后通过调用已经封装好的api方法，将已经处理好的option对象添加的页面上布局好的div中，此时就初步实现了数据的可视化展示。以此同时也会通过setTimeInterval、setTimeOut（定时器）等js前端技术，让数据图标动态的进行变化展示。
综上所述，借助于本发明的上述技术方案，通过采用不同颜色的点代表不同的点密度，解决了图形过大产生的遮盖问题和地区密度两级分化的可视化效果较差的情况，同时采用不同密度的点和地图分层技巧减小内存，避免了由于内存不够而加载过慢的现象，最后基于IP地址获取更加精细的GIS信息，使得人群位置更加精准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于GIS信息的人群行为分布的可视化方法，其特征在于，包括以下步骤：
S1 通过logstash对用户访问网站的信息进行标准化，并将标准化后的数据传输到kafka中存储；
S2 利用storm实时分布式框架处理数据，从kafka中读取数据，根据采集到的用户数据，查询对应gis信息，对信息进行处理后存储到hdfs中；
S3 利用hadoop对信息化的数据进行统计分析，将分析得到的数据保存到mysql数据库中；
S4 前端请求后台api接口，读取mysql数据库中的统计数据，并根据具体的页面展示需求，将数据转化为option对象，通过在页面添加所需的option对象对数据进行可视化展示。
2.根据权利要求1所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，S2中采集用户的ip地址，根据所述ip地址查询出相对应的gis信息。
3.根据权利要求1所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，S3中根据用户的gis信息，访问网页的路径path，统计出不同的数据，将分析后的结果保存到mysql数据库中。
4.根据权利要求3所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，分析后的结果包括用户访问网站的信息、用户的gis信息以及用户访问数。
5.根据权利要求1所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，S4具体包括：
S41 前端通过js的ajax请求后台api接口，取回保存到mysql中的统计数据，根据可视化页面展示的需求，将取回的数据转为页面展示所需要的option对象；
S42 根据不同的展示数据方式选择相对应的图标option对象，将处理好的数据json对象，添加到相对应图标的option对象中；
S43 调用已经封装好的api方法，将处理好的option对象添加的页面上布局好的div中，进行数据可视化显示。
6.根据权利要求5所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，S4进一步包括通过setTimeInterval、setTimeOut，让数据图标进行动态展示。
7.根据权利要求5所述的基于GIS信息的人群行为分布的可视化方法，其特征在于，进一步包括：用不同颜色展示不同量级的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711452704.2A CN108228772A (zh) | 2017-12-28 | 2017-12-28 | 一种基于gis信息的人群行为分布的可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711452704.2A CN108228772A (zh) | 2017-12-28 | 2017-12-28 | 一种基于gis信息的人群行为分布的可视化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108228772A true CN108228772A (zh) | 2018-06-29 |
Family
ID=62649193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711452704.2A Pending CN108228772A (zh) | 2017-12-28 | 2017-12-28 | 一种基于gis信息的人群行为分布的可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108228772A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947826A (zh) * | 2019-03-29 | 2019-06-28 | 山东浪潮云信息技术有限公司 | 一种运用大数据技术构建区域画像分析模型的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504671A (zh) * | 2009-03-05 | 2009-08-12 | 阿里巴巴集团控股有限公司 | 用户访问网页行为的可视化处理方法、装置及系统 |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| US20150186910A1 (en) * | 2013-12-31 | 2015-07-02 | Statebook LLC | Geographic Information System For Researching, Identifying and Comparing Locations for Economic Development |
| CN105069113A (zh) * | 2015-08-11 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种数据流量实时可视化的方法及系统 |
| CN105512261A (zh) * | 2015-12-02 | 2016-04-20 | 广州华多网络科技有限公司 | 前端轻量统计数据展现方法及系统 |
| CN107515927A (zh) * | 2017-08-24 | 2017-12-26 | 深圳市云房网络科技有限公司 | 一种房地产用户行为分析平台 |
-
2017
- 2017-12-28 CN CN201711452704.2A patent/CN108228772A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504671A (zh) * | 2009-03-05 | 2009-08-12 | 阿里巴巴集团控股有限公司 | 用户访问网页行为的可视化处理方法、装置及系统 |
| US20150186910A1 (en) * | 2013-12-31 | 2015-07-02 | Statebook LLC | Geographic Information System For Researching, Identifying and Comparing Locations for Economic Development |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105069113A (zh) * | 2015-08-11 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种数据流量实时可视化的方法及系统 |
| CN105512261A (zh) * | 2015-12-02 | 2016-04-20 | 广州华多网络科技有限公司 | 前端轻量统计数据展现方法及系统 |
| CN107515927A (zh) * | 2017-08-24 | 2017-12-26 | 深圳市云房网络科技有限公司 | 一种房地产用户行为分析平台 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947826A (zh) * | 2019-03-29 | 2019-06-28 | 山东浪潮云信息技术有限公司 | 一种运用大数据技术构建区域画像分析模型的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106484693B (zh) | 地图显示方法、图片块存储方法以及图片显示终端 | |
| CN104065672B (zh) | 广告推送方法、客户端及广告推送系统 | |
| DE202012013434U1 (de) | Vorabruf von Kartenkacheldaten entlang einer Route | |
| CN106599217B (zh) | 路况显示方法以及装置 | |
| DE202014010903U1 (de) | System für die Angabe des Benutzerstandortes und der Blickrichtung einer digitalen Karte | |
| CN107908677B (zh) | 基于智能终端的小区房源展示方法及装置 | |
| DE202015009184U1 (de) | Wegbeschreibung zwischen automatisch bestimmten Ausgangspunkten und ausgewählten Zielen | |
| CN104281701B (zh) | 分布式多尺度空间数据查询方法及系统 | |
| DE202012013435U1 (de) | Vorrichtung zum Vorabruf von Ortsseitendaten zur darauffolgenden Anzeige auf einem mobilen Computergerät | |
| KR20190090014A (ko) | 이동 디바이스 생성 이벤트 분석에 기초한 맵 타일 데이터 선-인출 방법 | |
| CN104504106B (zh) | 一种地图覆盖物区域渲染方法及相关设备 | |
| DE202014010881U1 (de) | Bereitstellen von Indooreinrichtungs-Informationen auf einer digitalen Karte | |
| CN105119809A (zh) | 动态信息显示方法和装置 | |
| Chung et al. | Cloud computing system based on wireless sensor network | |
| CN107562861A (zh) | 一种基于WebGL的WebGIS三维模型系统 | |
| DE202014010892U1 (de) | Personalisierung des Karteninhalts über eine Anwendungsprogrammierschnittstelle | |
| CN110580273B (zh) | 地图gis数据处理存储方法、装置、可读存储介质 | |
| DE202014010894U1 (de) | System zur Disambiguierung der Objektauswahl | |
| CN103699615B (zh) | 一种基于点矢量数据多层存储的快速地图表示方法及系统 | |
| CN110990612A (zh) | 一种矢量大数据快速显示的方法及终端 | |
| CN105893401A (zh) | 天气信息的展示方法和装置 | |
| CN108228772A (zh) | 一种基于gis信息的人群行为分布的可视化方法 | |
| CN106682167A (zh) | 用户行为数据的统计装置及方法 | |
| CN104731703B (zh) | 基于页面操作的刷新测试方法和装置 | |
| US20160170611A1 (en) | Map with different degrees of overlapping geocoded pixels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |