CN116431937A - 基于地理信息云平台的时空大数据系统 - Google Patents
基于地理信息云平台的时空大数据系统 Download PDFInfo
- Publication number
- CN116431937A CN116431937A CN202310710520.0A CN202310710520A CN116431937A CN 116431937 A CN116431937 A CN 116431937A CN 202310710520 A CN202310710520 A CN 202310710520A CN 116431937 A CN116431937 A CN 116431937A
- Authority
- CN
- China
- Prior art keywords
- data
- space
- module
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000011161 development Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 39
- 238000003908 quality control method Methods 0.000 claims description 28
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000013475 authorization Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012271 agricultural production Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提出了一种基于地理信息云平台的时空大数据系统，涉及大数据技术领域，包括有数据采集模块、数据处理模块、数据库管理模块、应用开发服务模块、可视化分析模块、安全隐私保护模块，数据采集模块用于获取待测地区的时空数据；数据处理模块用于对时空数据进行数据清洗、数据去重和数据分类处理；数据库管理模块用于将数据处理模块处理后的时空数据存储在分布式数据库中；应用开发服务模块用于提供与多种应用服务分别对应的接口；可视化分析模块，用于将时空数据进行可视化处理；安全隐私保护模块用于对时空数据进行数据加密处理。由此，提高数据利用效率及价值，并同时注重数据的安全和隐私控制，可以有效的对待测地区的时空数据进行挖掘。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种基于地理信息云平台的时空大数据系统。
背景技术
“时空大数据”是指由时间和地理位置信息组成的大规模数据集合，具有广泛的应用价值。随着移动互联网和物联网技术的迅猛发展，人们采集、传输和存储的时空数据呈爆炸式增长，如何高效地管理和利用这些数据成为了当前亟待解决的问题。
相关技术中，在对这些爆炸式的地理信息大数据进行管理时，缺乏对数据的有效挖掘和展示，因此导致对地理信息的时空大数据的数据利用率很低，且没有高效的对其进行管理。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出了一种基于地理信息云平台的时空大数据系统，包括有数据采集模块、数据处理模块、数据库管理模块、应用开发服务模块、可视化分析模块、安全隐私保护模块，其中，
所述数据采集模块，用于获取待测地区的时空数据，所述时空数据包含有遥感数据、社交媒体数据、卫星影像数据、传感器数据；
所述数据处理模块，用于对所述时空数据进行数据清洗、数据去重和数据分类处理；
所述数据库管理模块，用于将所述数据处理模块处理后的所述时空数据存储在分布式数据库中；
所述应用开发服务模块，用于提供与多种应用服务分别对应的API接口；
所述可视化分析模块，用于将所述时空数据基于热力图、散点图、柱状图、折线图的图表可视化方式进行可视化处理；
所述安全隐私保护模块，用于对所述时空数据进行数据加密、数据备份、数据权限控制和数据访问控制处理。
可选的，所述数据处理模块还包括质量控制单元，其中，
对所述时空数据进行数据采集质量控制、数据加工质量控制、数据发布质量控制，其中，所述数据采集质量控制包括有对所述遥感数据、所述卫星影像数据和所述传感器数据进行测量误差分析；
所述数据加工质量控制包括有对所述时空数据进行去噪处理和检查所述时空数据是否有缺失值和异常值；
所述数据发布质量控制包括有对所述时空数据进行合规性验证，将所述时空数据转化为预设规范格式的数据。
可选的，该系统还包括天气预报模块，所述天气预报模块用于：
对所述待测地区内的所述时空数据进行测量与统计，以获取所述待测地区的气象信息；
将所述气象信息进行统计发送至信息终端；
按照指定的周期，对所述气象信息进行更新。
可选的，该系统还包括交通管理模块，所述交通管理模块具体用于：
根据所述待测地区对应的时空数据，确定所述待测地区对应的土地利用特征；
根据所述社交媒体数据，确定所述待测地区的用户的交通需求信息；
根据所述交通需求信息和所述土地利用特征，生成对所述待测地区的交通管理方式。
可选的，所述根据所述交通需求信息和所述土地利用特征，生成对所述待测地区的交通管理方式，包括：
根据所述交通需求信息，确定所述待测地区的交通拥挤时间段和交通拥挤时间点、人群出行习惯信息和主要交通方式；
根据所述土地利用特征，确定所述待测地区的土地区域规划信息、交通道路可行性信息、住宅区域信息和商业区域信息；
对所述交通需求信息和所述土地利用特征进行数据分析，以得到与所述待测地区对应的道路交通疏导方案和交通信号实施信息。
可选的，所述可视化分析模块还包括：农业信息可视化单元，所述农业信息可视化单元具体用于：
获取所述时空数据中与农业关联的目标数据；
构建农业功能区块，所述农业功能区块包括农业专题区块，农业数据区块，农业统计图区块以及农业年份进度区块；
将所述目标数据根据所述农业功能区块进行分类划分和展示处理；
实时的对多个信息终端中的所述农业功能区块中的数据进行更新。
可选的，所述数据处理模块在对所述时空数据进行数据解码和数据格式转换时，可以使用以下至少一项算法：
GDAL、GeoServer、FME、PostGIS、OGR。
可选的，所述应用开发服务模块，具体用于：
提供与数据库服务对应的面向对象或关系型数据库设计的API接口；
提供与文件存储服务对应的文件存储和访问的API接口；
提供与认证服务对应的用户身份认证、授权管理和会话管理的API接口；
提供与地图服务对应的工具箱、开放框架的API接口；
提供与通信服务对应的短信、邮件、电话的API接口。
可选的，该系统还包括监控模块，其中，所述监控模块还用于：
在所述待测地区中的多个监控区域设置监控器；
并基于监控器与云服务器进行无线网络通讯，并监测所述监控区域的空间数据，如果监测到所述空间数据满足预设的异常条件的情况下，则向所述云服务器发送报警信号。
可选的，所述数据处理模块还包括标准化单元，其中，所述标准化单元用于：对所述时空数据进行标准化处理。
本申请中的基于地理信息云平台的时空大数据系统包括有数据采集模块、数据处理模块、数据库管理模块、应用开发服务模块、可视化分析模块和安全隐私保护模块，其有益效果如下：数据采集模块可以帮助收集待测地区的时空数据，从遥感、社交、卫星、传感器等多种渠道获取数据，提高数据的质量、准确性和完整性。数据处理模块可以对获得的时空数据进行清洗、去重和分类，从而提高数据的可用性和有效性，使后续的数据分析和应用变得更加精确和有效。数据库管理模块可以将经过处理后的时空数据存储在分布式数据库中，以便实现数据的快速查询、访问和共享，提高数据处理的效率和准确度。应用开发服务模块可以提供与不同类型应用对应的API接口，方便开发人员快速构建相应的应用程序，简化了开发流程和成本，提高了应用部署的效率和灵活性。可视化分析模块可以将时空数据通过热力图、散点图、柱状图、折线图等图表进行可视化处理，帮助用户更直观地理解数据的含义和趋势，发现数据的规律性。安全隐私保护模块可以对时空数据进行加密、备份、权限控制和访问控制处理，保护数据的安全性和隐私性，防止数据泄露和滥用。总的来说，基于地理信息云平台的时空大数据系统集中了多种功能，能够实现数据采集、处理、存储、分析和应用等多项任务，提高数据利用效率及价值，并同时注重数据的安全和隐私控制，可以有效的对待测地区的时空数据进行挖掘，提高了利用率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于地理信息云平台的时空大数据系统的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于地理信息云平台的时空大数据系统。
如图1所示，该基于地理信息云平台的时空大数据系统10，包括有数据采集模块11、数据处理模块12、数据库管理模块13、应用开发服务模块14、可视化分析模块15、安全隐私保护模块16，其中，
数据采集模块用于获取待测地区的时空数据，所述时空数据包含有遥感数据、社交媒体数据、卫星影像数据、传感器数据。
其中，遥感数据可以通过卫星遥感影像等方式获取，可以使用第三方数据提供商的API接口或自行搭建遥感数据采集服务。其中，社交媒体数据：主要包括多个社交平台的数据，可以通过这些平台提供的API接口实现数据爬取和采集。其中，卫星影像数据可以从卫星获取高分辨率的图像数据，可通过卫星数据提供商的API接口或直接购买数据进行获取。
其中，待测地区的时空数据指该地区在一段时间范围内的相关时空数据集合，包括在特定时间点或时间段内获取的地理位置、环境参数、社交媒体数据等数据。此外，它也可以包括历史时空数据以用于分析长期趋势。具体内容可能因不同研究目的和领域而异，例如气象、地质、自然资源管理、城市规划等。
其中，传感器数据可以采用各类传感器以及物联网设备采集数据，使用专业硬件设备或自行开发具有数据采集功能的应用程序进行采集。
其中，数据处理模块用于对时空数据进行数据清洗、数据去重和数据分类处理。其中，数据库管理模块用于将数据处理模块处理后的时空数据存储在分布式数据库中。
其中，应用开发服务模块用于提供与多种应用服务分别对应的API接口。
其中，可视化分析模块用于将时空数据基于热力图、散点图、柱状图、折线图的图表可视化方式进行可视化处理。
其中，安全隐私保护模块用于对时空数据进行数据加密、数据备份、数据权限控制和数据访问控制处理。
其中，所述遥感数据包含有光学遥感数据、雷达遥感数据、激光雷达遥感数据，其中，所述遥感数据包含有反射率、温度、湿度、风速、高程、地表覆盖类型的数据。
可选的，数据采集模块还可以对时空数据进行数据聚类、数据关联、数据回归分析、数据解码、数据格式转换和脱敏处理。
可选的，所述数据处理模块还包括质量控制单元，其中，
对所述时空数据进行数据采集质量控制、数据加工质量控制、数据发布质量控制，其中，所述数据采集质量控制包括有对所述遥感数据、所述卫星影像数据和所述传感器数据进行测量误差分析；
所述数据加工质量控制包括有对所述时空数据进行去噪处理和检查所述时空数据是否有缺失值和异常值；
所述数据发布质量控制包括有对所述时空数据进行合规性验证，将所述时空数据转化为预设规范格式的数据。
其中，数据采集质量控制是指在数据采集过程中，应保证数据的准确性、完整性和时效性。
具体可以进行以下方面的质量控制：
采集设备的校准和维护；
采集任务的规划和设计；
数据的实时监测和回访；
数据的去重、脏数据清理和异常值处理。
其中，数据加工质量控制是指在数据加工过程中，应保证数据转换、格式化和处理的正确性和一致性。
具体需要进行以下方面的质量控制：
格式转换、坐标转换的正确性和一致性；
数据筛选、过滤和属性映射的正确性和一致性；
模型拟合、插值和分析的正确性和可靠性。
其中，数据发布质量控制是指在数据发布过程中，应保证数据的易用性、可访问性和数据安全。
具体通常需要进行以下方面的质量控制：
数据格式、元数据和文档的准确性和一致性；
数据访问权限的设置和数据保密措施；
数据发布的服务质量和数据更新周期的管理。
可选的，该系统还包括天气预报模块，所述天气预报模块用于：
对所述待测地区内的所述时空数据进行测量与统计，以获取所述待测地区的气象信息；
将所述气象信息进行统计发送至信息终端。
按照指定的周期，对所述气象信息进行更新。
需要说明的是，在获取待测地区的气象信息时，可以首先确定需要获取的气象信息种类和时间范围，例如温度、风速、湿度和降雨量等，之后可以从气象台，卫星或传感器等环境监测设备中，获取表征所述气象的原始数据，之后可以通过数据处理模块对原始数据进行去重、异常值处理、时间序列插补等预处理，确保数据的准确性和完整性，然后可以利用插值算法将已有观测数据在空间上插值，插值方法根据数据的特点采用合适的算法，包括 Kriging、IDW等来拟合它们所代表的真实现象。
其中，信息终端可以为手机、电脑，或者其他终端设备，在此不做限定。
其中，指定的周期可以为15分钟，或者半个小时，在此不做限定。
其中，气象信息可以为天气信息，或者温度、湿度、空气信息，在此不做限定。
可选的，该系统还包括交通管理模块，所述交通管理模块具体用于：
根据待测地区对应的时空数据，确定待测地区对应的土地利用特征；
根据社交媒体数据，确定待测地区的用户的交通需求信息；
根据交通需求信息和土地利用特征，生成对待测地区的交通管理方式。
其中，土地利用特征可以为待测地区的可行道路信息，比如有的道路是可以走的，有的是需要进行修路，或者存在一定的障碍物。土地利用特征还可以包括待测地区的土地区域规划信息和住宅信息，从而可以分析得到待测地区的道路的出行信息，比如每个道路的交通拥堵状况，拥挤时间段和不同地区的不同人群的出行情况，以及待测地区的人们的主要交通方式。
需要说明的是，社交媒体数据可以反映人们对交通的需求，比如交通拥挤的时间、道路交通拥堵的状况，以及人们对出行的意见和建议。
可选的，所述根据所述交通需求信息和所述土地利用特征，生成对所述待测地区的交通管理方式，包括：
根据所述交通需求信息，确定所述待测地区的交通拥挤时间段和交通拥挤时间点、人群出行习惯信息和主要交通方式；
根据所述土地利用特征，确定所述待测地区的土地区域规划信息、交通道路可行性信息、住宅区域信息和商业区域信息；
对所述交通需求信息和所述土地利用特征进行数据分析，以得到与所述待测地区对应的和交通信号实施信息。
具体的，在根据所述交通需求信息，确定所述待测地区的交通拥挤时间段和交通拥挤时间点、人群出行习惯信息和主要交通方式时，可以根据所涉及的位置点或区域划分，并进行空间分析。例如，将交通流量数据显示为热力图以表示拥挤程度，或通过聚类算法或分类器识别不同的出行类别（例如通勤、购物、休闲等），了解不同类型地区的行动模式。例如，利用时间序列数据，通过聚类来识别常见的拥堵时间段；还可以使用传统的回归分析方法，分析出行时间和路线因素之间的关系。或者，还可以针对分析结果建立模型，如交通模型、出行模型等，并用模型预测未来的交通流量和出行模式。使用预测结果可以帮助城市规划者和交通管理部门优化方案以解决交通拥堵问题。
其中，道路交通疏导方案为对待测地区每个道路的交通疏导安排信息，比如安排好交通管理部门的交通管理方案，比如交警人数，道路执警布局，以及行车的要求，在此不做限定。
需要说明的是，通过交通需求信息和土地利用特征，生成对待测地区的交通管理方式，由此，可以有效的对待测地区的交通进行管理，提高对时空数据的利用率，充分的对时空数据进行挖掘。
可选的，所述可视化分析模块，还包括：农业信息可视化单元，所述农业信息可视化单元具体用于：
获取所述时空数据中与农业关联的目标数据；
构建农业功能区块，所述农业功能区块包括农业专题区块，农业数据区块，农业统计图区块以及农业年份进度区块；
将所述目标数据根据所述农业功能区块进行分类划分和展示处理；
实时的对多个信息终端中的所述农业功能区块中的数据进行更新。
其中，农业专题区块用于集中展示农业生产的数据和分析结果，其中包括气象、土壤、水文等环境指标，以及农作物的种植面积、生长状态、收成情况等农业生产信息。其中，农业数据区块用于管理、存储、更新农业数据，并提供数据查询、筛选、导出等功能。此外，该区块还支持在线编辑和数据更新，为数据质量控制和业务运营提供帮助。其中，农业统计图区块用于将数据以直观化图表形式呈现，例如折线图、柱状图、地理信息图等，以帮助用户更好地理解数据和趋势，从而应对农业生产等方面的挑战。其中，农业年份进度区块通过可视化技术展示当前农业年度的任务进度和生产过程，包括耕种、施肥、种植、浇灌、收获等环节。此外，该区块还可结合安排模块，实现计划重点区域的动态调整和生产调配等功能。具体的，可以将时空数据分配到对应的农业功能区块中进行对应的划分和展示处理。
可选的，所述数据处理模块在对所述时空数据进行数据解码和数据格式转换时，可以使用以下至少一项算法：
GDAL、GeoServer、FME、PostGIS、OGR。
其中，GDAL(地理空间数据抽象库)是一个用于读写地理空间数据的开源软件库，支持多种数据格式，包括栅格和矢量数据。其中，GeoServer是用于发布地理空间数据服务的开源服务器软件。它可以将存储在数据库中的数据、本地磁盘上的文件或其他GIS 数据源发布为标准的 WMS、WFS 和 WCS 服务。其中，FME（Feature Manipulation Engine，功能操作引擎）是一种商业级别的 ETL 工具，可以进行数据格式转换、数据集成以及数据处理等操作。其中，PostGIS是一个用于 PostgreSQL 数据库的空间数据库扩展，它提供支持空间对象的存储和查询，支持多种空间数据格式。其中，OGR (OpenGIS Simple FeaturesReference Implementation，OpenGIS简单特性参考实现)是 GDAL 中的一个子项目，主要用于读写矢量格式数据，支持多种常见的矢量数据格式，例如Shapefile、GeoJSON、KML 等。这些工具都提供了API接口和命令行实用程序来实现数据解码和数据格式转换。通常使用这些工具时，需要指定输入格式和输出格式以及转换参数，比如投影变换、数据筛选、属性映射等。
可选的，所述应用开发服务模块，具体用于：
提供与数据库服务对应的面向对象或关系型数据库设计的API接口；
提供与文件存储服务对应的文件存储和访问的API接口；
提供与认证服务对应的用户身份认证、授权管理和会话管理的API接口；
提供与地图服务对应的工具箱、开放框架的API接口；
提供与通信服务对应的短信、邮件、电话的API接口。
其中，数据库服务模块用于提供面向对象或关系型数据库设计的API接口，以帮助开发人员进行数据库操作、数据存储和访问等功能。例如，ORM框架可以帮助开发人员快速实现面向对象的数据访问和持久化操作。其中，文件存储服务模块：提供文件上传、下载和管理等API接口，支持多种文件格式存储和访问。例如，云存储服务可以提供可扩展性高、可靠性强的文件存储管理服务。其中，认证服务模块：提供用户身份认证、授权管理和会话管理等API接口。例如，SSO单点登录方案可以帮助企业将多个系统的认证机制整合起来，从而提高用户的使用效率和安全性。其中，地图服务模块：提供地图API接口，可以在应用程序中集成地图元素和定位功能，以及其他与地图相关的工具箱和开放框架等。例如，百度地图API可以用于开发基于位置的服务应用。其中，通信服务模块：提供短信、邮件、电话等通信API接口，以便应用程序开发人员与客户进行沟通和互动。例如，短信服务API可以用于应用程序的验证码、提醒消息等通知功能。应用开发服务模块的具体实现方法会因情况而异，所选工具和手段也会有所不同。这些模块可以帮助开发人员快速构建应用程序，降低开发难度和风险，并且具有可扩展性和可重用性等特点。
可选的，该系统还包括监控模块，其中，所述监控模块还用于：
在所述待测地区中的多个监控区域设置监控器；
并基于监控器与云服务器进行无线网络通讯，并监测所述监控区域的空间数据，如果监测到所述空间数据满足预设的异常条件的情况下，则向所述云服务器发送报警信号。本申请实施例中，监控器用于监测监控区域的图像信息。可以理解的是，监控器可以将监控区域的图像信息发送至云服务器中进行处理，其中，云服务器可以对图像进行处理，从而得到监控区域的空间数据。需要说明的是，对于不同的监控区域设置的异常条件也是不相同的。也即监控区域的空间数据只有在达到对应的异常条件的情况下，才可以进行报警。其中，异常条件可以为，比如某一监控区域对应的交通拥堵程度变大，则说明此时该监控区域异常，若某一监控区域对应的建筑物被破坏，则说明该监控区域为异常。
可选的，数据处理模块还包括标准化单元，其中，标准化单元用于：
对时空数据进行标准化处理。其中，时空数据标准化处理是指将原始的时空数据按照一定规则或方法转换成具有统一度量单位和分布特征的数据，以便进行数据比较、距离计算和建模预测等操作。比如，数据中心化，数据中心化是将数据按照时间维度或空间维度移动平均或加权平均，让数据近似于以“零”为中心点的正态分布形式，即均值为0。数据缩放：对数据进行线性变换，使其数值范围在预定的范围内（例如[0,1]），同时保持原始数据分布的形态不变，也可以采用z-score标准化方法，将数据标准化为以1为标准差和以0为平均值的分布形态。数据归一化：将所有数据缩放至相同的尺度内。例如，将数据按照最大值和最小值进行归一化，把所有数据缩放到[0,1]区间内。时间序列平稳化：若数据呈现出具有趋势、季节性变化等特征，需要通过差分技术、季节分解等方法进行处理，以消除这些变化的影响。
本申请实施例中的基于地理信息云平台的时空大数据系统包括有数据采集模块、数据处理模块、数据库管理模块、应用开发服务模块、可视化分析模块和安全隐私保护模块，其有益效果如下：数据采集模块可以帮助收集待测地区的时空数据，从遥感、社交、卫星、传感器等多种渠道获取数据，提高数据的质量、准确性和完整性。数据处理模块可以对获得的时空数据进行清洗、去重和分类，从而提高数据的可用性和有效性，使后续的数据分析和应用变得更加精确和有效。数据库管理模块可以将经过处理后的时空数据存储在分布式数据库中，以便实现数据的快速查询、访问和共享，提高数据处理的效率和准确度。应用开发服务模块可以提供与不同类型应用对应的API接口，方便开发人员快速构建相应的应用程序，简化了开发流程和成本，提高了应用部署的效率和灵活性。可视化分析模块可以将时空数据通过热力图、散点图、柱状图、折线图等图表进行可视化处理，帮助用户更直观地理解数据的含义和趋势，发现数据的规律性。安全隐私保护模块可以对时空数据进行加密、备份、权限控制和访问控制处理，保护数据的安全性和隐私性，防止数据泄露和滥用。总的来说，基于地理信息云平台的时空大数据系统集中了多种功能，能够实现数据采集、处理、存储、分析和应用等多项任务，提高数据利用效率及价值，并同时注重数据的安全和隐私控制，可以有效的对待测地区的时空数据进行挖掘，提高了利用率。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于地理信息云平台的时空大数据系统，其特征在于，包括有数据采集模块、数据处理模块、数据库管理模块、应用开发服务模块、可视化分析模块、安全隐私保护模块，其中，
所述数据采集模块，用于获取待测地区的时空数据，所述时空数据包含有遥感数据、社交媒体数据、卫星影像数据、传感器数据；
所述数据处理模块，用于对所述时空数据进行数据清洗、数据去重和数据分类处理；
所述数据库管理模块，用于将所述数据处理模块处理后的所述时空数据存储在分布式数据库中；
所述应用开发服务模块，用于提供与多种应用服务分别对应的API接口；
所述可视化分析模块，用于将所述时空数据基于热力图、散点图、柱状图、折线图的图表可视化方式进行可视化处理；
所述安全隐私保护模块，用于对所述时空数据进行数据加密、数据备份、数据权限控制和数据访问控制处理。
2.根据权利要求1所述的系统，其特征在于，所述数据处理模块还包括质量控制单元，其中，
对所述时空数据进行数据采集质量控制、数据加工质量控制、数据发布质量控制，其中，所述数据采集质量控制包括有对所述遥感数据、所述卫星影像数据和所述传感器数据进行测量误差分析；
所述数据加工质量控制包括有对所述时空数据进行去噪处理和检查所述时空数据是否有缺失值和异常值；
所述数据发布质量控制包括有对所述时空数据进行合规性验证，将所述时空数据转化为预设规范格式的数据。
3.根据权利要求1所述的系统，其特征在于，还包括天气预报模块，所述天气预报模块用于：
对所述待测地区内的所述时空数据进行测量与统计，以获取所述待测地区的气象信息；
将所述气象信息进行统计发送至信息终端；
按照指定的周期，对所述气象信息进行更新。
4.根据权利要求1所述的系统，其特征在于，还包括交通管理模块，所述交通管理模块具体用于：
根据所述待测地区对应的时空数据，确定所述待测地区对应的土地利用特征；
根据所述社交媒体数据，确定所述待测地区的用户的交通需求信息；
根据所述交通需求信息和所述土地利用特征，生成对所述待测地区的交通管理方式。
5.根据权利要求4所述的系统，其特征在于，所述根据所述交通需求信息和所述土地利用特征，生成对所述待测地区的交通管理方式，包括：
根据所述交通需求信息，确定所述待测地区的交通拥挤时间段和交通拥挤时间点、人群出行习惯信息和主要交通方式；
根据所述土地利用特征，确定所述待测地区的土地区域规划信息、交通道路可行性信息、住宅区域信息和商业区域信息；
对所述交通需求信息和所述土地利用特征进行数据分析，以得到与所述待测地区对应的道路交通疏导方案和交通信号实施信息。
6.根据权利要求1所述的系统，其特征在于，所述可视化分析模块，还包括：农业信息可视化单元，所述农业信息可视化单元具体用于：
获取所述时空数据中与农业关联的目标数据；
构建农业功能区块，所述农业功能区块包括农业专题区块，农业数据区块，农业统计图区块以及农业年份进度区块；
将所述目标数据根据所述农业功能区块进行分类划分和展示处理；
实时的对多个信息终端中的所述农业功能区块中的数据进行更新。
7.根据权利要求1所述的系统，其特征在于，所述数据处理模块在对所述时空数据进行数据解码和数据格式转换时，可以使用以下至少一项算法：
GDAL、GeoServer、FME、PostGIS、OGR。
8.根据权利要求1所述的系统，其特征在于，所述应用开发服务模块，具体用于：
提供与数据库服务对应的面向对象或关系型数据库设计的API接口；
提供与文件存储服务对应的文件存储和访问的API接口；
提供与认证服务对应的用户身份认证、授权管理和会话管理的API接口；
提供与地图服务对应的工具箱、开放框架的API接口；
提供与通信服务对应的短信、邮件、电话的API接口。
9.根据权利要求1所述的系统，其特征在于，还包括监控模块，其中，所述监控模块还用于：
在所述待测地区中的多个监控区域设置监控器；
并基于监控器与云服务器进行无线网络通讯，并监测所述监控区域的空间数据，如果监测到所述空间数据满足预设的异常条件的情况下，则向所述云服务器发送报警信号。
10.根据权利要求1所述的系统，其特征在于，所述数据处理模块还包括标准化单元，其中，所述标准化单元用于：
对所述时空数据进行标准化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710520.0A CN116431937A (zh) | 2023-06-15 | 2023-06-15 | 基于地理信息云平台的时空大数据系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710520.0A CN116431937A (zh) | 2023-06-15 | 2023-06-15 | 基于地理信息云平台的时空大数据系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116431937A true CN116431937A (zh) | 2023-07-14 |
Family
ID=87084103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310710520.0A Pending CN116431937A (zh) | 2023-06-15 | 2023-06-15 | 基于地理信息云平台的时空大数据系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431937A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881383A (zh) * | 2023-09-06 | 2023-10-13 | 北京国遥新天地信息技术股份有限公司 | 一种实现网络动态地理信息服务的方法 |
| CN117786027A (zh) * | 2023-11-27 | 2024-03-29 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 长时间序列地上生物量时空变化分析方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665578A (zh) * | 2016-07-27 | 2018-02-06 | 上海宝康电子控制工程有限公司 | 基于大数据研判的交通综合管控系统及方法 |
| CN111708776A (zh) * | 2020-05-27 | 2020-09-25 | 威海精讯畅通电子科技有限公司 | 一种基于gis技术开发的农业数据平台 |
| CN113628088A (zh) * | 2020-05-07 | 2021-11-09 | 上海鹭航科技有限公司 | 一种路侧交通可视化三维运控系统 |
-
2023
- 2023-06-15 CN CN202310710520.0A patent/CN116431937A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665578A (zh) * | 2016-07-27 | 2018-02-06 | 上海宝康电子控制工程有限公司 | 基于大数据研判的交通综合管控系统及方法 |
| CN113628088A (zh) * | 2020-05-07 | 2021-11-09 | 上海鹭航科技有限公司 | 一种路侧交通可视化三维运控系统 |
| CN111708776A (zh) * | 2020-05-27 | 2020-09-25 | 威海精讯畅通电子科技有限公司 | 一种基于gis技术开发的农业数据平台 |
Non-Patent Citations (1)
| Title |
|---|
| 严国泰: "《历史城镇旅游规划理论与实务》", 中国旅游出版社, pages: 30 - 34 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881383A (zh) * | 2023-09-06 | 2023-10-13 | 北京国遥新天地信息技术股份有限公司 | 一种实现网络动态地理信息服务的方法 |
| CN116881383B (zh) * | 2023-09-06 | 2023-11-21 | 北京国遥新天地信息技术股份有限公司 | 一种实现网络动态地理信息服务的方法 |
| CN117786027A (zh) * | 2023-11-27 | 2024-03-29 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 长时间序列地上生物量时空变化分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9495099B2 (en) | Space-time-node engine signal structure | |
| Wan et al. | A cloud-based global flood disaster community cyber-infrastructure: Development and demonstration | |
| CN116431937A (zh) | 基于地理信息云平台的时空大数据系统 | |
| CN104851043B (zh) | 基于地理信息系技术的税源核查监控方法 | |
| US11514670B2 (en) | Quantitative geospatial analytics of device location data | |
| CN103703458A (zh) | 创建并监视针对地理区域的警告 | |
| de Araujo et al. | End-to-end prediction of parcel delivery time with deep learning for smart-city applications | |
| US20190361847A1 (en) | Spatial Linking Visual Navigation System and Method of Using the Same | |
| US11748817B2 (en) | Systems and methods for generating an assessment of safety parameters using sensors and sensor data | |
| Zhu et al. | Urban event detection with big data of taxi OD trips: A time series decomposition approach | |
| CN103714185A (zh) | 主题事件更新方法库及城市多源时空信息并行更新方法 | |
| US11544298B2 (en) | System and method of geographic data aggregation and analysis | |
| Xu et al. | Web-based geospatial platform for the analysis and forecasting of sedimentation at culverts | |
| Resch et al. | Live Geography--Embedded Sensing for Standarised Urban Environmental Monitoring | |
| Bimonte et al. | A new Spatial OLAP approach for the analysis of Volunteered Geographic Information | |
| Wang et al. | Digital roadway interactive visualization and evaluation network applications to WSDOT operational data usage. | |
| US20230245002A1 (en) | Stationary Classifier for Geographic Route Trace Data | |
| Salanova Grau et al. | Multisource data framework for road traffic state estimation | |
| Diván | Processing architecture based on measurement metadata | |
| Kyung et al. | Spatial data warehouse design and spatial OLAP implementation for decision making of geospatial data update | |
| Wang et al. | Grid mapping for road network abstraction and traffic congestion identification based on probe vehicle data | |
| Maranzano et al. | ARPALData: an R package for retrieving and analyzing air quality and weather data from ARPA Lombardia (Italy) | |
| Gunda | Network-wide traffic congestion visual analytics: A case study for Brisbane Bluetooth MAC scanner data | |
| US11686590B2 (en) | Correcting speed estimations using aggregated telemetry data | |
| Kasprzyk et al. | A raster SOLAP designed for the emergency services of Brussels agglomeration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230714 |
|
| RJ01 | Rejection of invention patent application after publication |