CN110990726A - 时空大数据智能服务系统 - Google Patents
时空大数据智能服务系统 Download PDFInfo
- Publication number
- CN110990726A CN110990726A CN201911042863.4A CN201911042863A CN110990726A CN 110990726 A CN110990726 A CN 110990726A CN 201911042863 A CN201911042863 A CN 201911042863A CN 110990726 A CN110990726 A CN 110990726A
- Authority
- CN
- China
- Prior art keywords
- data
- management
- service
- model
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims description 118
- 238000012544 monitoring process Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 31
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000007792 addition Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010205 computational analysis Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 4
- 230000008520 organization Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Library & Information Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种时空大数据智能服务系统，该服务系统突破了传统时空数据的组织管理方式，由基础设施层、资源管理与服务层以及应用层三层组成，基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给资源管理与服务层进行使用和管理，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，应用层，基于通用应用模板调用资源管理与服务层的各类标准网络服务，进行应用定制；支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与可视化，可应用在智慧城市各智能化服务中。
Description
技术领域
本发明属于大数据处理与服务技术领域，具体地涉及一种时空大数据智能服务系统。
背景技术
进入21世纪以来，世界数据量呈爆炸式增长，“大数据”一词受到社会的广泛关注，GIS也从地理信息系统(Geographic Information System,GISystem)逐渐向地理信息服务(Geographic Information Service,GIService)发展。许多时空相关的信息可以通过网络连接获得，包括互联网、传感网和物联网。时空数据的多样性和相关性日益增强，成为了时空大数据，给GIS在访问、采集、存储、管理、分析和可视化等方面带来了诸多挑战，包括但不限于：(1)如何利用不同的数据源和数据模型收集和访问时空大数据？(2)如何组织时空大数据和其元数据，以提供高质量的数据服务？(3)如何在分布式计算环境中部署时空大数据模型和服务？(4)如何利用各种时空大数据相关的数据服务和处理服务开发时空大数据在线分析应用？
GIS可以利用许多最新的技术来提高它的能力。本世纪初，谷歌公司实现并提出了GFS谷歌分布式文件系统、Bigtable分布式存储架构和MapReduce分布式处理方法，为大数据文件的分布式管理、大数据表的可扩展存储、大数据集的并行分析提供了新的范式。之后，出现了各种针对大数据基础设施的开源解决方案，如HDFS、HBase、Spark、Hive、Storm等。由于时空大数据具有其独特的结构特征，因此在将常用的大数据技术应用于GIS时需要一些特殊的策略。利用这些技术的集成系统可以在大数据环境中提供先进的、智能的地理空间信息服务。
然而，现有的地理空间信息服务系统仍存在一些问题：(1)用户使用入门门栏高，系统复杂，学习系统操作需要具备较高的基础；(2)支持接入时空数据源有限；(3)传统空间数据索引方法在分布式环境下效率较低；(4)时空大数据分布式计算发展不成熟，分布式GIS算子匮乏，仅能满足部分应用场景；(5)web工程应用开发效率低，难以复用。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与服务、索引效率高、应用场景广泛的时空大数据智能服务系统。
本发明提供了一种时空大数据智能服务系统，其特征在于，该服务系统架构由基础设施层、资源管理与服务层以及应用层组成，其中，基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给资源管理与服务层进行使用和管理，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，应用层，基于通用应用模板调用资源管理与服务层的各类标准网络服务，从而进行应用定制。
在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，资源管理与服务层具有数据中心模块和模型中心模块，数据中心模块，负责注册和梳理各类时空数据集，按照主题进行编目，支持分布式海量异构数据统一管理，构建内容索引，并至少提供数据浏览、检索、统计、监控功能和标准网络数据服务发布功能，模型中心模块，负责时空数据处理、智能分析、机器学习等异构模型的统一注册和统一管理，将模型与具体参数绑定形成计算任务，并至少提供模型浏览、检索、统计、监控功能和标准网络处理服务发布功能，应用层具有应用中心功能模块，应用中心模块，负责管理所有的应用模板，可调用由数据中心和模型中心管理与发布的标准数据服务和处理服务，支持各种项目需求进行相应的应用定制、部署，并至少提供应用浏览、检索、统计、监控功能，基础设施层具有系统管理功能模块，系统管理模块，负责管理生产的服务资源信息，对整个系统的运行进行有效监控，及时发现并记录问题，为解决问题提供支持。
在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，模型中心模块包含：模型目录组件，以目录的形式管理各种类型的模型资源，可以对模型目录项进行增删改；模型注册组件，对系统支持的各种类型的模型进行注册，将不同类型的模型部署在不同的运行环境中，并按主题登记到某个模型目录下面进行管理，同时获取模型描述等元数据；模型元数据库组件，对所有模型的元数据进行统一管理，定时更新；模型库组件，管理基础的时空数据处理、智能分析、机器学习模型，支持基于MapReduce、MPI、GPU的计算模型；模型定制组件，能够按某个处理流程将模型进行组合，生成工作流作为新模型注册到模型库组件中；模型管理组件，对模型进行统计、监控、注销，能够基于元数据检索模型，并对相关信息进行可视化；模型服务管理组件，支持OGC标准将模型发布成网络处理服务，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，应用中心模块包含：应用目录组件，以目录的形式按主题分类管理不同的应用；应用模板库组件，对应用模板进行存储管理，至少包括居民时空行为分析应用、城市交通分析应用、自然灾害分析应用、大气污染分析应用；应用元数据库组件，对所有应用的元数据进行统一管理，定时更新；应用管理组件，支持新应用的创建和已有应用的浏览、检索、统计、监控。
在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，系统管理模块包含：系统概况组件，统计系统的运行概况，至少包括数据量、数据时空分布、模型数、服务请求数、用户访问量；监控管理组件，提供针对系统服务器软硬件资源包括网络、CPU、内存、数据库进行监控管理，支持各种监控任务的增删改查，提供对各监控项进行图表预览；日志管理组件，提供用户日志管理分析、系统日志管理分析、错误日志管理分析、调试日志管理分析、以及日志查询与导出功能；用户管理组件，支持系统用户进行注册、登录、密码修改、用户信息管理、用户权限管理的功能；
配置管理组件，提供系统基本参数的查询与修改、数据备份设置、配置文件的查询与修改功能。
发明的作用与效果
根据本发明所涉及的时空大数据智能服务系统，该服务系统架构由基础设施层、资源管理与服务层以及应用层组成，基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给所述资源管理与服务层进行使用和管理，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，应用层，基于通用应用模板调用所述资源管理与服务层的各类标准网络服务，从而进行应用定制；突破了传统时空数据、算法和模型的组织管理方式，以三层架构统一管理系统基础设施、时空数据、计算分析模型、应用服务，支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与可视化，可以在智慧城市各行业智能化服务中推广应用，例如城市管理、社会管理、国土规划等相关市场应用，提高公共服务水平和公众生活便利性，推动智慧城市行业技术发展。
附图说明
图1是本发明的实施例中时空大数据智能服务系统的总体架构图。
图2是本发明的实施例中数据中心模块的结构框图。
图3是本发明的实施例中模型中心模块的结构框图。
图4是本发明的实施例中应用中心模块的结构框图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
<实施例>
图1是本发明的实施例中时空大数据智能服务系统的总体架构图。
如图1所示，本实施例提供了一种时空大数据智能服务系统，该服务系统由基础设施层、资源管理与服务层、应用层三层架构组成，并且包含了数据中心(Data Store)、模型中心(Model Store)、应用中心(Application Store)、系统管理(System Management)四大功能模块。
基础设施层，将经过OpenStack等私有云软件虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给资源管理与服务层进行使用和管理。基础设施层部署了系统管理功能模块。
系统管理(System Management)模块，可以管理生产的服务资源信息，对整个系统的运行进行有效监控，能够及时发现问题并记录问题，为解决问题提供协助。
系统管理模块由系统概况组件、监控管理组件、日志管理组件、用户管理组件以及配置管理组件组成。各组件的功能为：(1)系统概况组件，统计系统的运行概况，包括数据量、数据时空分布、模型数、服务请求数、用户访问量等；(2)监控管理组件，提供针对系统服务器软硬件资源包括网络、CPU、内存、数据库进行监控管理，支持各种监控任务的增删改查，提供对各监控项进行图表预览；(3)日志管理组件，提供用户日志管理分析、系统日志管理分析、错误日志管理分析、调试日志管理分析、以及日志查询与导出功能；(4)用户管理组件，支持系统用户进行注册、登录、密码修改、用户信息管理、用户权限管理的功能；(5)配置管理组件，提供系统基本参数的查询与修改、数据备份设置、配置文件的查询与修改功能。
又如图1所示，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务。
资源管理与服务层部署了数据中心模块和模型中心模块。
数据中心(Data Store)模块，能够注册和梳理现有的各类时空数据集，按照主题进行编目，支持分布式海量异构数据统一管理，构建高效的内容索引，并提供数据浏览、检索、统计、监控等基本功能和标准网络数据服务发布功能。
图2是本发明的实施例中数据中心模块的结构框图。
如图2所示，数据中心模块由数据资源目录组件、数据源接入组件、数据注册组件、数据元数据库组件、分布式数据存储组件、数据资源管理组件以及数据服务管理组件组成。各组件的功能为：(1)数据资源目录组件，以主题目录的形式管理各种类型的数据资源，基于PostgreSQL/MySQL数据库的数据表支持对数据目录项进行增删改；(2)数据源接入组件，能够接入已有的各种类型的数据来源，包括互联网数据、传感网数据、物联网数据，对已接入的数据源进行管理和监控，并可以将数据抽取、转换、加载到分布式数据存储组件中；(3)数据注册组件，将已接入数据源中的某个具体数据集进行注册，作为一个数据资源登记到某个数据资源目录下面进行管理，同时也支持将传统GIS数据资源，如来自空间数据文件、空间关系型数据库、空间数据引擎的数据，注册到系统中进行管理；(4)数据元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有数据资源的元数据，包括数据类型、数据源类型、数据量、数据源地址等，进行统一管理，定时更新；(5)分布式数据存储组件，基于分布式文件系统HDFS、列式数据库HBase等对时空数据进行存储，对时空数据按网格进行划分，同时使用希尔伯特空间填充曲线将二维空间降为一维线进行编码，以提供高效的分布式时空索引从而提高检索效率；(6)数据资源管理组件，对数据资源进行统计、监控、注销，能够基于元数据检索数据资源，支持对数据资源包含的数据进行结构化查询，并对结果进行预览；(7)数据服务管理组件，使用Spring-boot框架开发，支持基于开放地理空间信息联盟(Open Geospatial Consortium，OGC)提出的国际标准将时空数据发布成标准数据服务，包括网络地图服务(Web Map Service,WMS)、网络要素服务(Web Feature Service,WFS)、网络栅格服务(Web Coverage Service)、网络地图瓦片服务(Web Map Tile Service,WMTS)，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
又如图1所示，模型中心(Model Store)模块，负责时空数据处理、智能分析、机器学习等异构模型的统一注册和统一管理，可以将模型与具体参数绑定形成计算任务，并提供模型浏览、检索、统计、监控等基本功能和标准网络处理服务发布功能。
图3是本发明的实施例中模型中心模块的结构框图。
如图3所示，模型中心模块由模型目录组件、模型注册组件、模型元数据库组件、模型库组件、模型管理组件以及模型服务管理组件组成。各组件的功能为：(1)模型目录组件，以目录的形式管理各种类型的模型资源，基于PostgreSQL/MySQL数据库的数据表可以对模型目录项进行增删改；(2)模型注册组件，对系统支持的各种类型的模型进行注册，将不同类型的模型如原生算子、MPI并行算子、GPU并行算子、MapReduece并行算子等，部署在不同的运行环境中，并按主题登记到某个模型目录下面进行管理，同时获取模型描述等元数据；(3)模型元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有模型的元数据进行统一管理，定时更新；(4)模型库组件，管理基础的时空数据处理、智能分析、机器学习模型，支持基于MapReduce、MPI、GPU开发的高性能计算模型；(5)模型定制组件，能够按某个处理流程将模型进行组合，生成工作流作为新模型注册到模型库中；(6)模型管理组件，对模型进行统计、监控、注销，能够基于元数据检索模型，并对相关信息进行可视化；(7)模型服务管理组件，使用Spring-boot框架开发，支持基于OGC提出的国际标准将模型发布成网络处理服务(Web Processing Service,WPS)，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
又如图1所示，应用层，基于通用应用模板调用资源管理与服务层的各类标准网络服务，从而使系统可针对各种项目需求进行相应的应用定制。应用层部署了应用中心功能模块。
应用中心(Application Store)模块，管理若干典型的应用模板，可以调用由数据中心和模型中心管理和发布的标准数据服务和模型服务，支持各种项目需求进行相应的应用定制、部署，并提供应用浏览、检索、统计、监控等功能。
图4是本发明的实施例中应用中心模块的结构框图。
如图4所示，应用中心模块由应用目录组件、应用模板库组件、应用元数据库组件以及应用管理组件组成。各组件的功能为：(1)应用目录组件，以目录的形式按主题分类管理不同的应用，基于PostgreSQL/MySQL数据库的数据表进行管理；(2)应用模板库组件，根据项目经验将典型的应用模板存入到PostgreSQL/MySQL数据库的数据表中进行存储管理，包括居民时空行为分析应用、城市交通分析应用、自然灾害分析应用、大气污染分析应用等；(3)应用元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有应用的元数据进行统一管理，定时更新；(4)应用管理组件，支持新应用的创建和已有应用的浏览、检索、统计、监控。
实施例的作用与效果
根据本实施例所涉及的时空大数据智能服务系统，突破了传统时空数据、算法和模型的组织管理方式，以三层架构四大功能模块统一管理系统基础设施、时空数据、计算分析模型、应用服务，支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与可视化，可以在智慧城市各行业智能化服务中推广应用，包括城市管理、社会管理、国土规划等相关市场应用，提高公共服务水平和公众生活便利性，推动智慧城市行业技术发展。
本实施例以数据中心(Data Store)、模型中心(Model Store)和应用中心(Application Store)的形式，以统一服务接口将数据和模型进行发布并组合生成应用，让用户像在商店进行购物一样对数据、模型、应用进行简单方便的查询、浏览、获取和组合，减小用户对系统进行操作的学习门栏，提高系统的易用性。
本实施例优化了对关系型数据库、非关系型数据库、大数据仓库等多种异构时空数据源的读取，通过建立统一的数据抽象层，配置式选择数据源，使系统支持PostGIS数据库，Oracle Spatial数据库，HBase分布式数据库，ArcGIS存储，shp、geojson、csv等文件格式读写，以及多种大数据分布式存储直接读写。
本实施例优化了分布式环境下的空间数据索引与查询性能，针对大地坐标系与投影坐标系数据，基于球面立方体投影、四叉树空间网格划分、希尔伯特空间填充曲线和空间网格覆盖计算获取最佳网格编码列表存入列式数据库对空间数据进行索引，并通过开发用户自定义函数提供高效的空间查询接口，降低对硬件配置的要求并提高了时空大数据存储和检索性能。
本实施例基于Apache Beam框架，将分布式GIS算子用统一的编程接口进行封装，使其能够在任意的分布式计算引擎上进行执行，最终实现一套代码到处执行，可以兼容单机执行，Spark集群执行，Flink集群执行，兼容批计算与流式计算，迁移执行环境无需重复开发，极大地提高了开发效率和分布式GIS算子的可复用能力。
本实施例以工程大数据的形式，对基于系统开发的一系列Web工程应用进行统一管理、监控、分析，针对各种场景案例提供一系列可复用的开发模板，并能直接与系统中的数据服务和模型服务进行绑定，极大提高了web工程应用的开发效率，降低开发成本。
本发明的技术方案可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作，适于与计算机系统/服务器一起使用的众所周知的计算系统、环境或配置，包括但不限于：个人计算机系统、服务器计算机系统、基于微处理器的系统、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (6)
1.一种时空大数据智能服务系统，其特征在于：
该服务系统架构由基础设施层、资源管理与服务层以及应用层组成，
其中，所述基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给所述资源管理与服务层进行使用和管理，
所述资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，
所述应用层，基于通用应用模板调用所述资源管理与服务层的各类标准网络服务，从而进行应用定制。
2.根据权利要求1所述的时空大数据智能服务系统，其特征在于，
其中，所述资源管理与服务层具有数据中心模块和模型中心模块，
所述数据中心模块，负责注册和梳理各类时空数据集，按照主题进行编目，支持分布式海量异构数据统一管理，构建内容索引，并至少提供数据浏览、检索、统计、监控功能和标准网络数据服务发布功能，
所述模型中心模块，负责时空数据处理、智能分析、机器学习等异构模型的统一注册和统一管理，将模型与具体参数绑定形成计算任务，并至少提供模型浏览、检索、统计、监控功能和标准网络处理服务发布功能，
所述应用层具有应用中心功能模块，
所述应用中心模块，负责管理所有的应用模板，可调用由所述数据中心和所述模型中心管理与发布的标准数据服务和处理服务，支持各种项目需求进行相应的应用定制、部署，并至少提供应用浏览、检索、统计、监控功能，
所述基础设施层具有系统管理功能模块，
所述系统管理模块，负责管理生产的服务资源信息，对整个系统的运行进行有效监控，及时发现并记录问题，为解决问题提供支持。
3.根据权利要求2所述的时空大数据智能服务系统，其特征在于：
其中，所述数据中心模块包含：
数据资源目录组件，以主题目录的形式管理各种类型的数据资源，支持对数据目录项进行增删改；
数据源接入组件，能够接入已有的各种类型的数据来源，包括互联网数据、传感网数据、物联网数据，对已接入的数据源进行管理和监控，并可以将数据抽取、转换、加载到分布式数据存储组件中；
数据注册组件，将已接入数据源中的某个具体数据集进行注册，作为一个数据资源登记到某个数据资源目录下面进行管理，同时也支持将传统GIS数据资源注册到系统中进行管理；
数据元数据库组件，对所有数据资源的元数据进行统一管理，定时更新；
分布式数据存储组件，基于分布式文件系统、列式数据库对时空数据进行存储，对时空数据按网格进行划分，同时使用希尔伯特空间填充曲线将二维降为一维进行编码；
数据资源管理组件，对数据资源进行统计、监控、注销，能够基于元数据检索数据资源，支持对数据资源包含的数据进行结构化查询，并对结果进行预览；
数据服务管理组件，支持将时空数据发布成标准数据服务，包括网络地图服务、网络要素服务、网络栅格服务、网络地图瓦片服务，同时支持RESTful服务接口，并对这些服务进行统一管理。
4.根据权利要求3所述的时空大数据智能服务系统，其特征在于：
其中，所述模型中心模块包含：
模型目录组件，以目录的形式管理各种类型的模型资源，可以对模型目录项进行增删改；
模型注册组件，对系统支持的各种类型的模型进行注册，将不同类型的模型部署在不同的运行环境中，并按主题登记到某个模型目录下面进行管理，同时获取模型描述等元数据；
模型元数据库组件，对所有模型的元数据进行统一管理，定时更新；
模型库组件，管理基础的时空数据处理、智能分析、机器学习模型，支持基于MapReduce、MPI、GPU的计算模型；
模型定制组件，能够按某个处理流程将模型进行组合，生成工作流作为新模型注册到所述模型库组件中；
模型管理组件，对模型进行统计、监控、注销，能够基于元数据检索模型，并对相关信息进行可视化；
模型服务管理组件，支持OGC标准将模型发布成网络处理服务，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
5.根据权利要求4所述的时空大数据智能服务系统，其特征在于：
其中，所述应用中心模块包含：
应用目录组件，以目录的形式按主题分类管理不同的应用；
应用模板库组件，对应用模板进行存储管理，至少包括居民时空行为分析应用、城市交通分析应用、自然灾害分析应用、大气污染分析应用；
应用元数据库组件，对所有应用的元数据进行统一管理，定时更新；
应用管理组件，支持新应用的创建和已有应用的浏览、检索、统计、监控。
6.如权利要求5所述的时空大数据智能服务系统，其特征在于：
其中，所述系统管理模块包含：
系统概况组件，统计系统的运行概况，至少包括数据量、数据时空分布、模型数、服务请求数、用户访问量；
监控管理组件，提供针对系统服务器软硬件资源包括网络、CPU、内存、数据库进行监控管理，支持各种监控任务的增删改查，提供对各监控项进行图表预览；
日志管理组件，提供用户日志管理分析、系统日志管理分析、错误日志管理分析、调试日志管理分析、以及日志查询与导出功能；
用户管理组件，支持系统用户进行注册、登录、密码修改、用户信息管理、用户权限管理的功能；
配置管理组件，提供系统基本参数的查询与修改、数据备份设置、配置文件的查询与修改功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911042863.4A CN110990726A (zh) | 2019-10-30 | 2019-10-30 | 时空大数据智能服务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911042863.4A CN110990726A (zh) | 2019-10-30 | 2019-10-30 | 时空大数据智能服务系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110990726A true CN110990726A (zh) | 2020-04-10 |
Family
ID=70082652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911042863.4A Pending CN110990726A (zh) | 2019-10-30 | 2019-10-30 | 时空大数据智能服务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990726A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782743A (zh) * | 2020-06-08 | 2020-10-16 | 上海飞未信息技术有限公司 | 一种云计算环境下空间数据管理方法和系统 |
| CN111911997A (zh) * | 2020-07-30 | 2020-11-10 | 瑞纳智能设备股份有限公司 | 基于边缘计算框架组件的供热控制方法 |
| CN112148718A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的大数据支撑管理系统 |
| CN112163827A (zh) * | 2020-09-16 | 2021-01-01 | 武汉大学 | 一种卫星遥测智能服务系统 |
| CN112395340A (zh) * | 2020-11-16 | 2021-02-23 | 青岛海信网络科技股份有限公司 | 一种数据资产管理方法及装置 |
| CN112489210A (zh) * | 2020-11-12 | 2021-03-12 | 广东省国土资源技术中心(广东省基础地理信息中心) | 一种自主可控的三维立体自然资源一张图系统构建方法 |
| CN112542049A (zh) * | 2020-12-29 | 2021-03-23 | 四川高路交通信息工程有限公司 | 智慧交通综合管控平台 |
| CN112860689A (zh) * | 2021-01-11 | 2021-05-28 | 北京旋极伏羲科技有限公司 | 一种基于时空网格数据的平台系统 |
| CN113076308A (zh) * | 2021-03-22 | 2021-07-06 | 航天精一(广东)信息科技有限公司 | 一种时空大数据服务系统 |
| CN113127532A (zh) * | 2021-03-30 | 2021-07-16 | 北方工业大学 | 一种基于服务工作流的时空大数据统计分析应用构建方法 |
| CN113190634A (zh) * | 2021-04-16 | 2021-07-30 | 广州全成多维信息技术有限公司 | 一种智能高效的时空大数据分析方法 |
| CN114443798A (zh) * | 2022-02-10 | 2022-05-06 | 数字广东网络建设有限公司 | 一种面向地理信息数据的分布式管理系统及方法 |
| CN114676978A (zh) * | 2022-03-03 | 2022-06-28 | 北京中科智上科技有限公司 | 一种面向油气领域的生产智能决策系统及方法 |
| CN115344628A (zh) * | 2022-08-15 | 2022-11-15 | 北京索为云网科技有限公司 | 一种时空信息系统 |
| CN117851529A (zh) * | 2023-12-27 | 2024-04-09 | 泰瑞数创科技(北京)股份有限公司 | 一种基于地理实体的对象化时空数据库管理系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7904909B1 (en) * | 2006-03-31 | 2011-03-08 | Emc Corporation | Architecture for using a model-based approach for managing resources in a networked environment |
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| KR20130083004A (ko) * | 2011-12-27 | 2013-07-22 | 주식회사 엘지씨엔에스 | Ｇｉｓ 서비스 제공을 위한 클라이언트 장치 및 ｇｉｓ 서비스 제공 방법과 컴퓨터로 읽을 수 있는 기록매체 |
| CN103259872A (zh) * | 2013-05-31 | 2013-08-21 | 江苏物联网研究发展中心 | 基于开放式网格体系的多源异构地理信息服务平台 |
| CN104463472A (zh) * | 2014-12-12 | 2015-03-25 | 江阴中科今朝科技有限公司 | 电子政务平台系统 |
| CN105897887A (zh) * | 2016-04-08 | 2016-08-24 | 武汉邮电科学研究院 | 基于云计算平台的遥感卫星大数据处理系统及方法 |
| CN106897954A (zh) * | 2017-01-19 | 2017-06-27 | 湖北省基础地理信息中心（湖北省北斗卫星导航应用技术研究院） | 智慧城市时空信息云平台 |
| CN107257369A (zh) * | 2017-06-09 | 2017-10-17 | 广州海聊信息科技有限公司 | 一种北斗短报文云计算平台系统 |
| CN107360225A (zh) * | 2017-07-07 | 2017-11-17 | 沈云海 | 一种融媒体公共服务云系统 |
| CN107528735A (zh) * | 2017-09-01 | 2017-12-29 | 苏州云联智慧信息技术应用有限公司 | 基于空间分析的大数据分析平台 |
| CN107894990A (zh) * | 2017-10-09 | 2018-04-10 | 中国电子科技集团公司第二十八研究所 | 一种城市通用功能平台 |
| CN109710381A (zh) * | 2018-12-27 | 2019-05-03 | 北京联创信安科技股份有限公司 | 高性能计算、大数据、虚拟化特殊容器管理系统及方法 |
| US20190278640A1 (en) * | 2018-03-12 | 2019-09-12 | Amazon Technologies, Inc. | Machine learning repository service |
| CN110287168A (zh) * | 2019-06-26 | 2019-09-27 | 南京冰鉴信息科技有限公司 | 一种可配置的模型计算分析自定义方法 |
-
2019
- 2019-10-30 CN CN201911042863.4A patent/CN110990726A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7904909B1 (en) * | 2006-03-31 | 2011-03-08 | Emc Corporation | Architecture for using a model-based approach for managing resources in a networked environment |
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| KR20130083004A (ko) * | 2011-12-27 | 2013-07-22 | 주식회사 엘지씨엔에스 | Ｇｉｓ 서비스 제공을 위한 클라이언트 장치 및 ｇｉｓ 서비스 제공 방법과 컴퓨터로 읽을 수 있는 기록매체 |
| CN103259872A (zh) * | 2013-05-31 | 2013-08-21 | 江苏物联网研究发展中心 | 基于开放式网格体系的多源异构地理信息服务平台 |
| CN104463472A (zh) * | 2014-12-12 | 2015-03-25 | 江阴中科今朝科技有限公司 | 电子政务平台系统 |
| CN105897887A (zh) * | 2016-04-08 | 2016-08-24 | 武汉邮电科学研究院 | 基于云计算平台的遥感卫星大数据处理系统及方法 |
| CN106897954A (zh) * | 2017-01-19 | 2017-06-27 | 湖北省基础地理信息中心（湖北省北斗卫星导航应用技术研究院） | 智慧城市时空信息云平台 |
| CN107257369A (zh) * | 2017-06-09 | 2017-10-17 | 广州海聊信息科技有限公司 | 一种北斗短报文云计算平台系统 |
| CN107360225A (zh) * | 2017-07-07 | 2017-11-17 | 沈云海 | 一种融媒体公共服务云系统 |
| CN107528735A (zh) * | 2017-09-01 | 2017-12-29 | 苏州云联智慧信息技术应用有限公司 | 基于空间分析的大数据分析平台 |
| CN107894990A (zh) * | 2017-10-09 | 2018-04-10 | 中国电子科技集团公司第二十八研究所 | 一种城市通用功能平台 |
| US20190278640A1 (en) * | 2018-03-12 | 2019-09-12 | Amazon Technologies, Inc. | Machine learning repository service |
| CN109710381A (zh) * | 2018-12-27 | 2019-05-03 | 北京联创信安科技股份有限公司 | 高性能计算、大数据、虚拟化特殊容器管理系统及方法 |
| CN110287168A (zh) * | 2019-06-26 | 2019-09-27 | 南京冰鉴信息科技有限公司 | 一种可配置的模型计算分析自定义方法 |
Non-Patent Citations (3)
| Title |
|---|
| F51B694BF8: "张江长三角科技城智慧城市信息栅格遥感云服务平台建设", Retrieved from the Internet <URL:https://www.docin.com/p-1815975476.html> * |
| 乐鹏等: "空间数据溯源的概念、模型与服务", 《地理与地理信息科学》, vol. 31, no. 6 * |
| 姚闯: "基于集群的高性能GIS系统研究", 《中国硕士学位论文库》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782743A (zh) * | 2020-06-08 | 2020-10-16 | 上海飞未信息技术有限公司 | 一种云计算环境下空间数据管理方法和系统 |
| CN111782743B (zh) * | 2020-06-08 | 2024-03-22 | 上海飞未信息技术有限公司 | 一种云计算环境下空间数据管理方法 |
| CN111911997A (zh) * | 2020-07-30 | 2020-11-10 | 瑞纳智能设备股份有限公司 | 基于边缘计算框架组件的供热控制方法 |
| CN111911997B (zh) * | 2020-07-30 | 2022-02-15 | 瑞纳智能设备股份有限公司 | 基于边缘计算框架组件的供热控制方法 |
| CN112163827A (zh) * | 2020-09-16 | 2021-01-01 | 武汉大学 | 一种卫星遥测智能服务系统 |
| CN112148718A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的大数据支撑管理系统 |
| CN112489210A (zh) * | 2020-11-12 | 2021-03-12 | 广东省国土资源技术中心(广东省基础地理信息中心) | 一种自主可控的三维立体自然资源一张图系统构建方法 |
| CN112395340A (zh) * | 2020-11-16 | 2021-02-23 | 青岛海信网络科技股份有限公司 | 一种数据资产管理方法及装置 |
| CN112542049A (zh) * | 2020-12-29 | 2021-03-23 | 四川高路交通信息工程有限公司 | 智慧交通综合管控平台 |
| CN112860689A (zh) * | 2021-01-11 | 2021-05-28 | 北京旋极伏羲科技有限公司 | 一种基于时空网格数据的平台系统 |
| CN112860689B (zh) * | 2021-01-11 | 2024-02-20 | 北斗伏羲信息技术有限公司 | 一种基于时空网格数据的平台系统 |
| CN113076308A (zh) * | 2021-03-22 | 2021-07-06 | 航天精一(广东)信息科技有限公司 | 一种时空大数据服务系统 |
| CN113127532A (zh) * | 2021-03-30 | 2021-07-16 | 北方工业大学 | 一种基于服务工作流的时空大数据统计分析应用构建方法 |
| CN113190634A (zh) * | 2021-04-16 | 2021-07-30 | 广州全成多维信息技术有限公司 | 一种智能高效的时空大数据分析方法 |
| CN114443798A (zh) * | 2022-02-10 | 2022-05-06 | 数字广东网络建设有限公司 | 一种面向地理信息数据的分布式管理系统及方法 |
| CN114443798B (zh) * | 2022-02-10 | 2024-07-05 | 数字广东网络建设有限公司 | 一种面向地理信息数据的分布式管理系统及方法 |
| CN114676978A (zh) * | 2022-03-03 | 2022-06-28 | 北京中科智上科技有限公司 | 一种面向油气领域的生产智能决策系统及方法 |
| CN115344628A (zh) * | 2022-08-15 | 2022-11-15 | 北京索为云网科技有限公司 | 一种时空信息系统 |
| CN115344628B (zh) * | 2022-08-15 | 2023-03-31 | 北京索为云网科技有限公司 | 一种时空信息系统 |
| CN117851529A (zh) * | 2023-12-27 | 2024-04-09 | 泰瑞数创科技(北京)股份有限公司 | 一种基于地理实体的对象化时空数据库管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110990726A (zh) | 时空大数据智能服务系统 | |
| Li et al. | Just: Jd urban spatio-temporal data engine | |
| Sasaki | A survey on IoT big data analytic systems: Current and future | |
| Bakli et al. | HadoopTrajectory: a Hadoop spatiotemporal data processing extension | |
| Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
| CN111680033A (zh) | 一种高性能gis平台 | |
| US10909114B1 (en) | Predicting partitions of a database table for processing a database query | |
| Al Naami et al. | GISQF: An efficient spatial query processing system | |
| US10558665B2 (en) | Network common data form data management | |
| Ding et al. | SeaCloudDM: a database cluster framework for managing and querying massive heterogeneous sensor sampling data | |
| CN110147377A (zh) | 大规模空间数据环境下基于二级索引的通用查询算法 | |
| CN108268614B (zh) | 一种森林资源空间数据的分布式管理方法 | |
| CN115238015A (zh) | 一种基于微服务的时空大数据平台 | |
| Shangguan et al. | Big spatial data processing with Apache Spark | |
| Al Jawarneh et al. | Big spatial data management for the Internet of Things: A survey | |
| CN111209323A (zh) | 一种空间地理信息大数据处理系统 | |
| Xiong et al. | Data vitalization's perspective towards smart city: a reference model for data service oriented architecture | |
| WO2020192225A1 (zh) | 一种面向Spark的遥感数据索引方法、系统及电子设备 | |
| CN117033504A (zh) | 国土空间基础信息平台海量数据分布式管理系统 | |
| Tripathi et al. | A comparative analysis of conventional hadoop with proposed cloud enabled hadoop framework for spatial big data processing | |
| Hou et al. | Design and achievement of cloud geodatabase for a sponge city | |
| Pan et al. | An open sharing pattern design of massive power big data | |
| Xiong et al. | HiGIS: An open framework for high performance geographic information system | |
| Savant et al. | Hadoop based weblog analysis: a review | |
| Xiao | A big spatial data processing framework applying to national geographic conditions monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |