CN113779353B - 高速铁路时空大数据分析服务引擎系统及方法 - Google Patents

高速铁路时空大数据分析服务引擎系统及方法 Download PDF

Info

Publication number
CN113779353B
CN113779353B CN202110873192.7A CN202110873192A CN113779353B CN 113779353 B CN113779353 B CN 113779353B CN 202110873192 A CN202110873192 A CN 202110873192A CN 113779353 B CN113779353 B CN 113779353B
Authority
CN
China
Prior art keywords
space
big data
speed railway
time big
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110873192.7A
Other languages
English (en)
Other versions
CN113779353A (zh
Inventor
王遥遥
王万齐
封博卿
李聪旭
刘文斌
王虎
崔梦真
贺晗
王小利
罗年有
徐晓磊
杨峰雁
刘唯佳
刘阳学
魏小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
China State Railway Group Co Ltd
Institute of Computing Technologies of CARS
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
China State Railway Group Co Ltd
Institute of Computing Technologies of CARS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, China State Railway Group Co Ltd, Institute of Computing Technologies of CARS filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202110873192.7A priority Critical patent/CN113779353B/zh
Publication of CN113779353A publication Critical patent/CN113779353A/zh
Application granted granted Critical
Publication of CN113779353B publication Critical patent/CN113779353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种高速铁路时空大数据分析服务引擎系统及方法，该方法包括：对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对其进行存储和排序；将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；基于前端RestFul服务接口，实现海量数据服务共享；利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。通过本发明可以对时空大数据进行快速存储、快速读取、快速查询。

Description

高速铁路时空大数据分析服务引擎系统及方法
技术领域
本发明涉及高速铁路数据处理领域，更具体地，涉及一种高速铁路时空大数据分析服务引擎系统及方法。
背景技术
高速铁路时空大数据是一种有时间属性和空间属性两个维度的且具有海量、多源异构特点的地理信息数据，包括空间位置坐标数据、地理实体之间空间拓扑关系以及相应于空间位置的属性数据三个方面的内容。随着对地观测技术的发展、定位技术的普及以及基于位置服务的地理信息系统在各行业中的广泛应用，使得人们以前所未有的速度和规模获取时空大数据，时空数据库更新速度加快，且存储数据量巨大，为时空大数据的组织、处理、存储、传输、检索、高性能分析计划以及计算结果的实时可视化等问题带来了新的挑战。通常时空大数据以一定的逻辑结构存放在数据库中，空间数据来源比较复杂，随着研究对象不同，范围不同，类型不同。数据服务引擎的出现不仅使不同平台和数据库实现数据共享，还对数据的高效存储、快速检索、空间分析等功能在各种业务场景中的应用带来高效的方法手段。利用空间数据服务引擎，对存储在各类关系型和非关系型数据库中的空间数据进行更好地管理和分析空间数据。
目前主要的数据服务引擎有Esri公司的ArcSDE、MapInfo公司的MapInfoSpatialWare、超图公司的SuperMap SDX、GeoStar4.0企业版空间数据引擎、通用空间数据引擎，这些数据引擎在一定程度上满足了用户对空间数据管理和集成的需要。而这些数据服务引擎都不是开源的，目前高速铁路时空大数据服务都是基于以上引擎，未实现高速铁路时空大数据服务引擎技术的完全自主，应用成本也较高且对软件依赖性较大，稳定性高但应用安全性不强，灵活定制性不高。同时，商用的数据服务引擎对于高速铁路的普适性不高，高速铁路在空间上具有线形条带特点，目前使用的数据服务引擎对高速铁路时空大数据的检索效率较低，未根据高速铁路自身特征制定相应的检索策略与方法。因此拥有自主知识产权的数据服务引擎是实现高速铁路时空大数据高效应用的关键技术，实现高速铁路时空大数据服务引擎的自主可控也直接关系着高速铁路空间信息的技术发展与应用安全，同时，能够有效降低高速铁路时空大数据服务引擎未来扩容建设成本。
发明内容
针对现有技术中的不足，本发明提供了一种高速铁路时空大数据分析服务引擎系统及方法，可以通过对高速铁路时空大数据进行重新统一编码并确定存储方式，将高速铁路时空大数据发布为切片服务并提供服务接口，并且利用网格划分的空间索引方法，实现对时空大数据的快速存储、快速读取、快速查询，同时普适性较高且成本较低。
具体地，本发明是通过以下技术方案来实现的：
第一方面，本发明提供了一种高速铁路时空大数据分析服务方法，包括：
对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；
将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；
利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；
基于前端RestFul服务接口，实现海量数据服务共享；
利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
进一步地，所述高速铁路时空大数据包括：结构化数据和非结构化数据，其中
所述结构化数据的存储方式为：在所述结构化数据中添加版本号、时间戳、编号字段信息，并利用分布式存储技术将所述结构化数据存储至Oracle数据库；
所述非结构化数据的存储方式为：以key-value形式利用所述分布式存储技术将所述非结构化数据存储至MongoDB、Redis数据库，其中key中包含版本号、时间戳、编号字段信息，value为属性数据。
进一步地，所述对所述高速铁路时空大数据进行存储和排序，包括：
建立时间库，将所述高速铁路时空大数据存储到相应的时间库中，并按照入库时间进行排序。
进一步地，所述通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源，包括：
利用docker虚拟化镜像与自动同步设计弹性化的MPP数据库，实现数据库远程镜像与自动同步。
进一步地，所述网格划分的原则包括：对我国的西部地区进行大网格划分，对我国的东部地区进行小网格划分。
进一步地，所述利用网格划分的空间索引方法，来缩小检索范围，从而对空间位置进行快速访问与更新，包括：
若所获取的高速铁路时空大数据包括经纬度信息，则根据所述经纬度信息确定所述目标对象所在的网格；
若所获取的高速铁路时空大数据不包括所述经纬度信息，则将里程信息通过线性里程参考系统转换为所述经纬度信息，然后根据所述经纬度信息确定所述目标对象所在的网格。
进一步地，所述方法还包括：基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积。
进一步地，所述基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积包括：
假设获取的地图点数量为N，其中N≥1，每个点的平面坐标分别为(Xi，Yi)，其中i＝1,2,3,...,N，经度和纬度坐标分别为(Li，Bi)，其中i＝1,2,3,...,N，当N＝1时，距离、周长、面积均为0；
当N＝2时，距离与周长相等均为或R×arccos[cos(B1)×cos(B2)×(L1-L2)+sin(B1)×sin(B2)]，面积为0；
当N≥3时，周长为或面积为或/>
其中，R＝6371km，XN+1＝X1,YN+1＝Y1，LN+1＝L1,BN+1＝B1。
第二方面，本发明提供了一种高速铁路时空大数据分析服务引擎系统，其特征在于，包括：
数据组织及存储模块，对高速铁路时空大数据进行重新统一编码,确定时空大数据的存储方式，并且对所述高速铁路时空大数据进行存储和排序；
服务发布与接口模块，将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源，利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合，并且基于前端RestFul服务接口，实现海量数据服务共享；
空间位置访问与更新模块，利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面中的任一项所述的高速铁路时空大数据分析服务方法的步骤。
第四方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面中的任一项所述的高速铁路时空大数据分析服务引擎方法的步骤。
综上所述，本发明通过对高速铁路时空大数据进行重新统一编码并确定存储方式，将高速铁路时空大数据发布为切片服务并提供服务接口，并且利用网格划分的空间索引方法，实现对时空大数据的快速存储、快速读取、快速查询，同时普适性较高且成本较低。另外还提供了一种空间量算方法来计算空间距离、周长和面积。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明的一个实施例的高速铁路时空大数据分析方法的流程图；
图2是根据本发明的一个实施例的高速铁路时空大数据分析服务引擎系统的示意图；
图3是根据本发明的又一实施例的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明的一个实施例的高速铁路时空大数据分析服务方法的流程图。参照图1，该方法可以包括如下步骤：
步骤101：对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；
步骤102：将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；
步骤103：利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；
步骤104：基于前端RestFul服务接口，实现海量数据服务共享；
步骤105：利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
具体地，高速铁路时空大数据主要包括二维地图数据、遥感影像数据、BIM数据、点云数据、三维建模数据以及铁路业务数据等，包含从微观到宏观、从地表到地下的各类空间数据资源，同时其空间数据的描述性文字、历史性的概括数据以及其他元数据也都应包含在内。可分为结构数据和非结构化数据，如下表：
在步骤101中，可以对高速铁路时空大数据进行重新统一编码、建立空间数据模型和空间-实体关系模型(即，确定存储方式)。在结构化数据的数据源中记录添加版本号、时间戳、编号字段；而非结构化数据采用key-value形式，key中包含版本号、时间戳、编号字段，value为存储数据。利用这种在数据模型的属性信息中增加版本号、时间戳和编号的方式，可以很好的实现数据与版本一一对应的存储管理关系，而且方法简单高效。
另外，在对高速铁路时空大数据进行存储时，可以首先建立一个时间库，将数据存储到对应的时间库中，并按照入库时间进行排序。然后，利用分布式存储技术，将高速铁路的结构化数据快速存储于Oracle数据库、非结构化数据快速存储于MongoDB和Redis数据库。
在步骤102中，可以将高速铁路时空大数据发布为切片服务。具体地，将高速铁路时空大数据发布为切片服务(也叫缓存地图服务)，使地图服务更快运行。创建地图缓存时，服务器会在若干个不同的比例级别上绘制整个地图并存储地图图像的副本。然后，服务器可在请求使用地图时分发这些图像，对于服务器来说，每次请求使用地图时，返回缓存的图像要比绘制地图快得多。
另外，在步骤102至步骤104中，可以利用docker虚拟化镜像与自动同步技术，设计弹性化的MPP数据库，实现数据库远程镜像与自动同步，能够根据可用的总资源量及查询复杂度动态分配可计算的资源弹性执行引擎，构建可伸缩型、高并发、灵活性强的空间信息服务引擎，进而对外提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合，提供目前主流前端RestFul服务接口，实现WMS、WFS、WCS、WPS等海量数据服务共享，满足高速铁路各类型业务应用的使用需求。同时，设置缓存数据库，将频繁访问的数据存储在缓存数据库中，在缓存数据库中可以进行请求、索引、查询等，降低数据库服务器的请求压力，缩短索引范围，提高索引效率。
步骤105中，可以利用基于网格的空间索引方法实现高速铁路空间位置快速访问与更新，其中对高速铁路空间位置快速访问包括对高速铁路空间位置的快速读取和快速查询。
网格划分：根据我国高速铁路东部地区密集、西部地区稀疏的空间分布特点，对西部地区进行大网格、东部地区进行小网格的划分原则，将我国高速铁路在空间上分为22个网格，具体划分方式可以为：
1)网格1：经度73°33′E～103°40′E范围内。
2)网格2：经度103°40′E～135°05′E，且纬度40°29′N～53°33′N范围内。
3)将经度在103°40′E～135°05′E、纬度在3°51′N～40°29′N，按照经度差为6°17′，纬度差9°9.5′进行空间网格划分，有20个网格：
网格3：经度103°40′E～109°57′E，且纬度31°19.5′N～40°29′N范围内。
网格4：经度109°57′～216°14′E，且纬度31°19.5′N～40°29′N范围内。
网格5：经度116°14′E～122°31′E，且纬度31°19.5′N～40°29′N范围内。
网格6：经度122°31′E～128°48′E，且纬度31°19.5′N～40°29′N范围内。
网格7：经度128°48′E～135°05′E，且纬度31°19.5′N～40°29′N范围内。
网格8：经度103°40′E～109°57′E，且纬度22°10′～31°19.5′N范围内。
网格9：经度109°57′～216°14′E，且纬度22°10′～31°19.5′N范围内。
网格10：经度116°14′E～122°31′E，且纬度22°10′～31°19.5′N范围内。
网格11：经度122°31′E～128°48′E，且纬度22°10′～31°19.5′N范围内。
网格12：经度128°48′E～135°05′E，且纬度22°10′～31°19.5′N范围内。
网格13：经度103°40′E～109°57′E，且纬度13°0.5′N～22°10′N范围内。
网格14：经度109°57′～216°14′E，且纬度13°0.5′N～22°10′N范围内。
网格15：经度116°14′E～122°31′E，且纬度13°0.5′N～22°10′N范围内。
网格16：经度122°31′E～128°48′E，且纬度13°0.5′N～22°10′N范围内。
网格17：经度128°48′E～135°05′E，且纬度13°0.5′N～22°10′N范围内。
网格18：经度103°40′E～109°57′E，且纬度3°51′～13°0.5′N范围内。
网格19：经度109°57′～216°14′E，且纬度3°51′～13°0.5′N范围内。
网格20：经度116°14′E～122°31′E，且纬度3°51′～13°0.5′N范围内。
网格21：经度122°31′E～128°48′E，且纬度3°51′～13°0.5′N范围内。
网格22：经度128°48′E～135°05′E，且纬度3°51′～13°0.5′N范围内。
需要说明的是，上述的网格划分方式仅是示例，本发明不限于此。
确定检索范围：1)若获取的是高速铁路时空大数据有经纬度信息，那么根据经纬度确定所在网格，即为搜索范围。2)若获取的是高速铁路时空大数据无经纬度信息，那么将里程信息通过线性里程参考系统转换为经纬度信息，然后根据经纬度确定所在网格，即为搜索范围。
另外，本发明还提供了一种空间量算方法，可以通过该空间量算方法基于得到的地图点的平面坐标以及经纬度信息，计算空间距离、周长和面积。该空间量算方法包括：
假设获取的地图点数量为N，其中N≥1，每个点的平面坐标分别为(Xi，Yi)，其中i＝1,2,3,...,N，经度和纬度坐标分别为(Li，Bi)，其中i＝1,2,3,...,N，当N＝1时，距离、周长、面积均为0；
当N＝2时，距离与周长相等均为或R×arccos[cos(B1)×cos(B2)×(L1-L2)+sin(B1)×sin(B2)]，面积为0；
当N≥3时，周长为或面积为或/>
其中，R＝6371km，XN+1＝X1,YN+1＝Y1，LN+1＝L1,BN+1＝B1。
由上述实施例可知，本发明通过对高速铁路时空大数据进行重新统一编码并分别确定结构化数据和非结构化数据的存储方式；将高速铁路时空大数据发布为切片服务并通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；基于前端RestFul服务接口实现海量数据服务共享；并且使用网格划分的空间索引方法；实现了对时空大数据的快速存储、快速读取、快速查询，同时普适性较高且成本较低。另外还提供了一种空间量算方法来计算空间距离、周长和面积。
图2是根据本发明的另一实施例的高速铁路时空大数据分析服务引擎系统的示意图。
在本实施例中，需要说明的是，参照图2，根据本发明的高速铁路时空大数据分析服务引擎系统，包括：
数据组织及存储模块201，对高速铁路时空大数据进行重新统一编码,确定时空大数据的存储方式，并且对所述高速铁路时空大数据进行存储和排序；
服务发布与接口模块202，将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源，利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合，并且基于前端RestFul服务接口，实现海量数据服务共享；
空间位置访问与更新模块203，利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
由于本发明实施例提供的高速铁路时空大数据分析服务引擎系统，可以用于执行上述实施例所述的高速铁路时空大数据分析服务方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
在本实施例中，需要说明的是，本发明实施例的装置中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图3，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信。
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述的高速铁路时空大数据分析服务方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；基于前端RestFul服务接口，实现海量数据服务共享；利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的高速铁路时空大数据分析服务方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；基于前端RestFul服务接口，实现海量数据服务共享；利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现上述的高速铁路时空大数据分析服务方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；基于前端RestFul服务接口，实现海量数据服务共享；利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的高速铁路时空大数据分析服务方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种高速铁路时空大数据分析服务方法，其特征在于，包括：
对高速铁路时空大数据进行重新统一编码，确定时空大数据的存储方式，并对所述高速铁路时空大数据进行存储和排序；
将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源；
利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合；
基于前端RestFul服务接口，实现海量数据服务共享；
利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新；并且
基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积，其中所述基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积包括：
假设获取的地图点数量为N，其中N≥1，每个点的平面坐标分别为(Xi，Yi)，其中i＝1,2,3,...,N，经度和纬度坐标分别为(Li，Bi)，其中i＝1,2,3,...,N，当N＝1时，距离、周长、面积均为0；
当N＝2时，距离与周长相等均为或R×arccos[cos(B1)×cos(B2)×(L1-L2)+sin(B1)×sin(B2)]，面积为0；
当N≥3时，周长为或
面积为或/>
其中，R＝6371km，XN+1＝X1,YN+1＝Y1，LN+1＝L1,BN+1＝B1。
2.根据权利要求1所述的高速铁路时空大数据分析服务方法，其特征在于，所述高速铁路时空大数据包括：结构化数据和非结构化数据，其中
所述结构化数据的存储方式为：在所述结构化数据中添加版本号、时间戳、编号字段信息，并利用分布式存储技术将所述结构化数据存储至Oracle数据库；
所述非结构化数据的存储方式为：以key-value形式利用所述分布式存储技术将所述非结构化数据存储至MongoDB、Redis数据库，其中key中包含版本号、时间戳、编号字段信息，value为属性数据。
3.根据权利要求1所述的高速铁路时空大数据分析服务方法，其特征在于，所述对所述高速铁路时空大数据进行存储和排序，包括：
建立时间库，将所述高速铁路时空大数据存储到相应的时间库中，并按照入库时间进行排序。
4.根据权利要求1所述的高速铁路时空大数据分析服务方法，其特征在于，所述通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源，包括：
利用docker虚拟化镜像与自动同步设计弹性化的MPP数据库，实现数据库远程镜像与自动同步。
5.根据权利要求1所述的高速铁路时空大数据分析服务方法，其特征在于，所述网格划分的原则包括：对我国的西部地区进行大网格划分，对我国的东部地区进行小网格划分。
6.根据权利要求1所述的高速铁路时空大数据分析服务方法，其特征在于，所述利用网格划分的空间索引方法，来缩小检索范围，从而对空间位置进行快速读取与更新，包括：
若所获取的高速铁路时空大数据包括经纬度信息，则根据所述经纬度信息确定所述目标对象所在的网格；
若所获取的高速铁路时空大数据不包括所述经纬度信息，则将里程信息通过线性里程参考系统转换为所述经纬度信息，然后根据所述经纬度信息确定所述目标对象所在的网格。
7.一种高速铁路时空大数据分析服务引擎系统，其特征在于，包括：
数据组织及存储模块，对高速铁路时空大数据进行重新统一编码,确定时空大数据的存储方式，并且对所述高速铁路时空大数据进行存储和排序；
服务发布与接口模块，将高速铁路时空大数据发布为切片服务，通过docker虚拟化镜像与自动同步来动态分配高速铁路时空大数据的分析服务引擎资源，利用构建的可伸缩型、高并发、灵活性强的空间信息服务引擎，提供标准化、多类型服务接口，支撑高速铁路虚拟化环境多源异构空间信息服务融合，并且基于前端RestFul服务接口，实现海量数据服务共享；
空间位置读取与更新模块，利用网格划分的空间索引方法，来缩小检索范围，从而对目标对象的空间位置进行快速访问和/或更新；并且
基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积，其中所述基于得到的地图点的平面坐标以及经纬度信息，通过空间量算方法计算空间距离、周长和面积包括：
假设获取的地图点数量为N，其中N≥1，每个点的平面坐标分别为(Xi，Yi)，其中i＝1,2,3,...,N，经度和纬度坐标分别为(Li，Bi)，其中i＝1,2,3,...,N，当N＝1时，距离、周长、面积均为0；
当N＝2时，距离与周长相等均为或R×arccos[cos(B1)×cos(B2)×(L1-L2)+sin(B1)×sin(B2)]，面积为0；
当N≥3时，周长为或
面积为或/>
其中，R＝6371km，XN+1＝X1,YN+1＝Y1，LN+1＝L1,BN+1＝B1。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的高速铁路时空大数据分析服务方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的高速铁路时空大数据分析服务方法的步骤。
CN202110873192.7A 2021-07-30 2021-07-30 高速铁路时空大数据分析服务引擎系统及方法 Active CN113779353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873192.7A CN113779353B (zh) 2021-07-30 2021-07-30 高速铁路时空大数据分析服务引擎系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873192.7A CN113779353B (zh) 2021-07-30 2021-07-30 高速铁路时空大数据分析服务引擎系统及方法

Publications (2)

Publication Number Publication Date
CN113779353A CN113779353A (zh) 2021-12-10
CN113779353B true CN113779353B (zh) 2023-11-17

Family

ID=78836301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873192.7A Active CN113779353B (zh) 2021-07-30 2021-07-30 高速铁路时空大数据分析服务引擎系统及方法

Country Status (1)

Country Link
CN (1) CN113779353B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220481A (zh) * 2017-05-09 2017-09-29 中国地质大学（武汉） 一种面状要素地图综合质量的定量评价方法
CN108230433A (zh) * 2018-02-07 2018-06-29 中译语通科技股份有限公司 3d地图散点数据展示方法及系统、信息数据处理终端
CN109491758A (zh) * 2018-10-11 2019-03-19 深圳市网心科技有限公司 docker镜像分发方法、系统、数据网关及计算机可读存储介质
WO2021031747A1 (zh) * 2019-08-22 2021-02-25 中国移动通信有限公司研究院 网络系统、小区的接入方法、终端及网络设备
CN112860689A (zh) * 2021-01-11 2021-05-28 北京旋极伏羲科技有限公司 一种基于时空网格数据的平台系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220481A (zh) * 2017-05-09 2017-09-29 中国地质大学（武汉） 一种面状要素地图综合质量的定量评价方法
CN108230433A (zh) * 2018-02-07 2018-06-29 中译语通科技股份有限公司 3d地图散点数据展示方法及系统、信息数据处理终端
CN109491758A (zh) * 2018-10-11 2019-03-19 深圳市网心科技有限公司 docker镜像分发方法、系统、数据网关及计算机可读存储介质
WO2021031747A1 (zh) * 2019-08-22 2021-02-25 中国移动通信有限公司研究院 网络系统、小区的接入方法、终端及网络设备
CN112860689A (zh) * 2021-01-11 2021-05-28 北京旋极伏羲科技有限公司 一种基于时空网格数据的平台系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于PSR的勘探成果数据共享方案;呼和;张云飞;;计算机应用(第S2期);150-153 *
基于出租车数据的城市居民出行时空特征分析 ————以长沙市主城区为例;张显源;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑(第06期);C034-951 *
时空大数据服务平台建设模式及应用研究――以重庆市为例;曹春华;张泽烈;程宇翔;袁超;梁星;;测绘通报(第10期);138-141+159 *

Also Published As

Publication number Publication date
CN113779353A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Mahmood et al. Spatio-temporal access methods: a survey (2010-2017)
CN111930767B (zh) 一种基于多层缓存的矢量瓦片实时切片和更新方法
CN111639075B (zh) 一种基于扁平化r树的非关系数据库矢量数据管理方法
CN109582678B (zh) 基于叶子节点的多粒度分布式读写锁的r树索引优化方法
CN115238015A (zh) 一种基于微服务的时空大数据平台
Li et al. Method for managing and querying geo-spatial data using a grid-code-array spatial index
Bakli et al. Distributed moving object data management in MobilityDB
Tian et al. A survey of spatio-temporal big data indexing methods in distributed environment
Jhummarwala et al. Parallel and distributed GIS for processing geo-data: an overview
Chaudhry et al. Indexing of real time geospatial data by IoT enabled devices: Opportunities, challenges and design considerations
Makris et al. Database system comparison based on spatiotemporal functionality
CN113742505B (zh) 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法
de Souza Baptista et al. NoSQL geographic databases: an overview
CN113779353B (zh) 高速铁路时空大数据分析服务引擎系统及方法
Nanjappan R*-Tree index in Cassandra for geospatial processing
Wang et al. HBase storage schemas for massive spatial vector data
Liu et al. Analysis of spatial indexing mechanism and its application in data management: A case study on spatialite database
Nidzwetzki et al. BBoxDB streams: scalable processing of multi-dimensional data streams
Xu et al. GeoMapViz: a framework for distributed management and geospatial data visualization based on massive spatiotemporal data streams
CN116303249B (zh) 基于湖仓一体式的多源遥感时空大数据处理方法和装置
Chen et al. Large vector spatial data storage and query processing using Clickhouse
Yan et al. Efficient location-based search of trajectories with location importance
Gong et al. Object-oriented and integrated spatial data model for managing image, DEM, and vector data
CN117874301B (zh) 基于网格数据金字塔切片的处理、存储、调用的实现方法
Yu et al. Massive GIS spatio-temporal data storage method in cloud environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant