CN113641883A - 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 - Google Patents

一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 Download PDF

Info

Publication number
CN113641883A
CN113641883A CN202110580690.2A CN202110580690A CN113641883A CN 113641883 A CN113641883 A CN 113641883A CN 202110580690 A CN202110580690 A CN 202110580690A CN 113641883 A CN113641883 A CN 113641883A
Authority
CN
China
Prior art keywords
file
underlying surface
cache
surface space
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110580690.2A
Other languages
English (en)
Other versions
CN113641883B (zh
Inventor
王小东
熊政辉
张安宇
宫婷
宋圣楠
方平治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinore Catastrophe Risk Management Co ltd
China Reinsurance Group Co ltd
Original Assignee
Sinore Catastrophe Risk Management Co ltd
China Reinsurance Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinore Catastrophe Risk Management Co ltd, China Reinsurance Group Co ltd filed Critical Sinore Catastrophe Risk Management Co ltd
Priority to CN202110580690.2A priority Critical patent/CN113641883B/zh
Publication of CN113641883A publication Critical patent/CN113641883A/zh
Application granted granted Critical
Publication of CN113641883B publication Critical patent/CN113641883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据处理技术领域，特别涉及一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及装置。本发明提供一种新的针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口，在外部程序访问分片数据时，通过参数形式将位置信息传递给统一文件接口，且根据位置信息检索索引，在索引中检索对应的分片文件，接着，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据通过统一文件接口发送给外部程序，此时访问分片的数据时就像访问一个文件一样，既能节约大量的数据预处理工作，又能最大程度的保证数据读取的速度。

Description

一种针对大量多元异构的复杂下垫面空间数据的快速读取方 法及接口
技术领域
本发明属于数据处理技术领域，特别涉及一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口。
背景技术
在台风巨灾模型中，台风风场模型是模型的重要环节。由于下垫面的复杂性，针对复杂下垫面典型特征，考虑地面高程、地形起伏和地貌变化，开发适合不同下垫面特征的台风风场模型对于研发台风巨灾模型至关重要。
然而，高精度的高程、地形、地貌数据体量相当庞大，因此业内通常分片存储其数据文件，如每100平方公里(或每1经纬度)存储到一个文件中。考虑复杂下垫面的大尺度的台风风场模型算法，在计算某地点风速时，往往需要考虑周围若干距离的高程、地形、地貌等数据。因其数据的分类、分片存储的原因，对风场的计算造成了极大的困难。
通常的做法往往是将分片存储的数据拼接成一个大文件，再将不同的数据(如高程、地形、地貌等)按空间位置进行融合。这将大大降低算法计算效率，并对内存、存储提出了更高的要求，往往需要使用超算才能完成计算任务
发明内容
针对上述问题，本发明提供一种新的针对大量多元异构的复杂下垫面空间数据的快速读取方法及系统。
本发明具体技术方案如下：
本发明提供一种针对大量多元异构的复杂下垫面空间数据的快速读取方法，包括如下步骤：
S1：访问接口步骤，在外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；
S2：检索索引步骤，根据位置信息检索索引，在索引中检索对应的分片文件；
S3：读取文件步骤，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。
一种针对大量多元异构的复杂下垫面空间数据的快速读取的接口，包括如下部分：
访问接口模块，用于在外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；
检索索引模块，用于根据位置信息检索索引，在索引中检索对应的分片文件；
读取文件模块，用于根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。
本发明的有益效果如下：
本发明提供一种新的针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口，在外部程序访问分片数据时，通过参数形式将位置信息传递给统一文件接口，且根据位置信息检索索引，在索引中检索对应的分片文件，接着，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据通过统一文件接口发送给外部程序，此时访问分片的数据时就像访问一个文件一样，既能节约大量的数据预处理工作，又能最大程度的保证数据读取的速度。
附图说明
图1为本发明中针对大量多元异构的复杂下垫面空间数据的快速读取方法的接口框图；
图2为本发明中针对大量多元异构的复杂下垫面空间数据的快速读取方法流程图；
图3为本发明中外部程序访问分片数据的结构框图；
图4为本发明中计算两个相邻地点的风速信息时分片数据的示意图；
图5为本发明中缓存文件的结构框图；
图6为本发明中步骤S2的流程图；
图7为本发明中文件读取顺序的示意图；
图8为本发明中步骤S21的流程图；
图9为本发明中步骤S22的流程图；
图10为本发明中矢量转换的结构框图；
图11为本发明中统一数据接口的结构框图；
图12为本发明中针对大量多元异构的复杂下垫面空间数据的快速读取的接口的结构框图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
在一些实施例中，本发明提供一种针对大量多元异构的复杂下垫面空间数据的快速读取方法，如图2所示，包括如下步骤：
S1：访问接口步骤，外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；如图1所示，台风模型程序通过统一文件接口来访问数据，从台风模型程序的视角来看，数据不再是分片的零散文件，而是一个文件或者一个程序API。
S2：检索索引步骤，根据位置信息检索索引，在索引中检索对应的分片文件；以等经纬度分片的高程geotiff数据为例，经纬度分别为 (120.05,23.14)的点，其对应的数据必定在文件名为dem_120023.tiff的文件中
S3：读取文件步骤，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。如图3所示，通过统一的文件接口，外部程序访问大量分片的高程数据(或地形、地貌数据)就像访问一个文件一样。例如，当检索(120.05,23.14)的点数据时，只需通过参数形式将位置信息传递给统一的文件接口。接口将根据步骤S2的方法，找到对应的分片文件，再根据经纬度信息读取文件内具体的信息。
本发明提供一种新的针对大量多元异构的复杂下垫面空间数据的快速读取方法，在外部程序访问分片数据时，获取参数形式的位置信息，且根据位置信息检索索引，在索引中检索对应的分片文件，接着，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据通过统一文件接口发送给外部程序，此时访问分片的数据时就像访问一个文件一样，既能节约大量的数据预处理工作，又能最大程度的保证数据读取的速度。
考虑到计算两个相邻地点的风速信息时，需要考虑的地形、地貌、高程数据有大量重复。例如图4中黑色点与灰色点，需要考虑的数据有相当的重复，即图4中黑色框与灰色框重复的部分。为了避免反复读取文件，而降低数据读取的速度，如图5、图6所示，本实施例中步骤S2包括如下步骤：
S21：将最近访问的文件放在内存中作为缓存文件；
S22：在接收到位置信息时，判断内存中是否有对应的缓存文件，若有，则直接向外部程序发送内存中相应的缓存文件，若没有，则根据位置信息检索索引，在索引中检索对应的分片文件。
当被需要计算的地点总是随机传递给统一文件接口时候，第5步方案将产生大量的缓存文件，或导致缓存总是被击穿。从而降低读取速度。为此，本发明中程序读取位置的顺序设计如下，以提高缓存的利用率：
如图7所示，本实施例中步骤S3中，当总是接收到外部访问程序随机发送的被需要计算地点的位置信息时，根据各地点的经纬度信息按照从左至右，从上至下的顺序读取文件内的多元异构的复杂下垫面空间数据。
由于考虑复杂下垫面的大尺度的台风风场模型算法将对大范围 (如全国或东南亚沿海区域)的位置点计算风速，随着程序的执行，缓存会快速增大，短时间超过普通计算机或者服务器内存。因此本发明提出了一种可配置缓存大小、考虑时间局部性的缓存机制来达到高效利用计算资源，又能提高缓存击中率的目的。其方法如下：
如图8所示，本实施例中步骤S21包括如下步骤：
S211：对内存中的缓存文件编制文件序号；
S212：将文件序号放入缓存队列中，且缓存队列的大小根据配置决定；
S213：当文件序号从缓存队列中移除时，将文件序号对应的文件从内存的缓存中移除。
本实施例中步骤S22中，在判断内存中是否有对应的缓存文件时，根据文件序号在缓存队列中查询，若缓存队列中有相应的文件序号，则内存中有对应的缓存文件并发送文件序号对应的缓存文件，若没有，则内存中没有对应的缓存文件。
考虑到多元数据的存储格式往往不一致，如高程信息往往是30米精度的栅格数据，然而土地占用性质等数据往往是矢量数据，为此，如图10所示，本发明在统一文件接口内，封装了栅格矢量转换组件。当发现缓存中无被查询点对应的文件缓存时，则从索引中查询栅格文件，如仍然无栅格文件时，则根据索引规则将指定区域的矢量信息转成栅格信息并缓存到内存中；具体内容如下：
本实施例中步骤S21还包括如下步骤：
S214：封装栅格矢量转换组件。
如图9所示，本实施例中步骤S32包括如下步骤：
S221：在内存中没有对应的缓存文件时，在索引中查询栅格文件；
S222：判断是否查询到栅格文件，若没有，则根据索引规则，通过栅格矢量转换组件，将指定区域的矢量信息转换成栅格信息形成栅格文件并发送至内存中作为缓存文件，并进行步骤S221。
台风风场模型往往需要考虑多元数据，如果高程数据、地形数据、地貌数据等。为此，如图11所示，本发明将为每一类数据建立一个统一数据接口。再在所有的文件接口外封装一个对外的统一文件接口。程序或者UI只需和最外层统一文件接口对接，最外层统一文件接口将返回给定位置的所有下垫面信息；具体内容如下所示：
本实施例中步骤S1包括如下步骤：
S11：在获取位置信息后，判断需要读取的数据类别；
S12：将位置信息发送至相应数据类别对应的统一数据接口。
另一实施例中，提供一种针对大量多元异构的复杂下垫面空间数据的快速读取的接口，如图12所示，包括如下部分：
访问接口模块，用于在外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；
检索索引模块，用于根据位置信息检索索引，在索引中检索对应的分片文件；
读取文件模块，用于根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。
本发明中的接口为开发的接口，为一个文件或者一个程序API。
本发明提供一种新的针对大量多元异构的复杂下垫面空间数据的快速读取的接口，在外部程序访问分片数据时，获取参数形式的位置信息，且根据位置信息检索索引，在索引中检索对应的分片文件，接着，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据通过统一文件接口发送给外部程序，此时访问分片的数据时就像访问一个文件一样，既能节约大量的数据预处理工作，又能最大程度的保证数据读取的速度。
本实施例中所述检索索引模块包括如下部分：
缓存单元：用于将最近访问的文件放在内存中作为缓存文件；
判断管理单元：用于在接收到位置信息时，判断内存中是否有对应的缓存文件，若有，则直接向外部程序发送内存中相应的缓存文件，若没有，则根据位置信息检索索引，在索引中检索对应的分片文件。
本实施例的所述检索索引模块中，当总是接收到外部访问程序随机发送的被需要计算地点的位置信息时，根据各地点的经纬度信息按照从左至右，从上至下的顺序读取文件内的多元异构的复杂下垫面空间数据。
本实施例中所述缓存单元包括如下部分：
序号编制子模块：用于对内存中的缓存文件编制文件序号；
移动子模块：用于将文件序号放入缓存队列中，且缓存队列的大小根据配置决定；
移出子模块：用于当文件序号从缓存队列中移除时，将文件序号对应的文件从内存的缓存中移除。
本实施例的判断管理单元中，在判断内存中是否有对应的缓存文件时，根据文件序号在缓存队列中查询，若缓存队列中有相应的文件序号，则内存中有对应的缓存文件并发送文件序号对应的缓存文件，若没有，则内存中没有对应的缓存文件。
本实施例中所述缓存单元还包括如下部分：
转换组件封装子模块：用于封装栅格矢量转换组件。
本实施例中判断管理单元包括如下部分：
栅格文件查询子模块：用于在内存中没有对应的缓存文件时，在索引中查询栅格文件；
转换子模块：用于判断是否查询到栅格文件，若没有，则根据索引规则，通过栅格矢量转换组件，将指定区域的矢量信息转换成栅格信息形成栅格文件并发送至内存中作为缓存文件，并向栅格文件查询子模块发送查询指令。
本实施例中所述访问接口模块包括如下部分：
类别判断单元，用于在获取位置信息后，判断需要读取的数据类别；
信息发送单元，用于将位置信息发送至相应数据类别对应的统一数据接口。
以上所述实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (10)

1.一种针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，包括如下步骤：
S1：访问接口步骤，在外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；
S2：检索索引步骤，根据位置信息检索索引，在索引中检索对应的分片文件；
S3：读取文件步骤，根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。
2.根据权利要求1所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S2包括如下步骤：
S21：将最近访问的文件放在内存中作为缓存文件；
S22：在接收到位置信息时，判断内存中是否有对应的缓存文件，若有，则直接向外部程序发送内存中相应的缓存文件，若没有，则根据位置信息检索索引，在索引中检索对应的分片文件。
3.根据权利要求2所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S3中，当总是接收到外部访问程序随机发送的被需要计算地点的位置信息时，根据各地点的经纬度信息按照从左至右，从上至下的顺序读取文件内的多元异构的复杂下垫面空间数据。
4.根据权利要求2所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S21包括如下步骤：
S211：对内存中的缓存文件编制文件序号；
S212：将文件序号放入缓存队列中，且缓存队列的大小根据配置决定；
S213：当文件序号从缓存队列中移除时，将文件序号对应的文件从内存的缓存中移除。
5.根据权利要求4所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S22中，在判断内存中是否有对应的缓存文件时，根据文件序号在缓存队列中查询，若缓存队列中有相应的文件序号，则内存中有对应的缓存文件并发送文件序号对应的缓存文件，若没有，则内存中没有对应的缓存文件。
6.根据权利要求5所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S21还包括如下步骤：
S214：封装栅格矢量转换组件。
7.根据权利要求6所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S22包括如下步骤：
S221：在内存中没有对应的缓存文件时，在索引中查询栅格文件；
S222：判断是否查询到栅格文件，若没有，则根据索引规则，通过栅格矢量转换组件，将指定区域的矢量信息转换成栅格信息形成栅格文件并发送至内存中作为缓存文件，并进行步骤S221。
8.根据权利要求1所述的针对大量多元异构的复杂下垫面空间数据的快速读取方法，其特征在于，步骤S1包括如下步骤：
S11：在获取位置信息后，判断需要读取的数据类别；
S12：将位置信息发送至相应数据类别对应的统一数据接口。
9.一种针对大量多元异构的复杂下垫面空间数据的快速读取的接口，其特征在于，包括如下部分：
访问接口模块，用于在外部程序访问分片数据时，获取参数形式的位置信息，所述位置信息包括经纬度信息；
检索索引模块，用于根据位置信息检索索引，在索引中检索对应的分片文件；
读取文件模块，用于根据经纬度信息读取检索到的分片文件中具体的多元异构的复杂下垫面空间数据，并将多元异构的复杂下垫面空间数据发送给外部程序。
10.根据权利要求9所述的针对大量多元异构的复杂下垫面空间数据的快速读取的接口，其特征在于，所述访问接口模块包括如下部分：类别判断单元，用于在获取位置信息后，判断需要读取的数据类别；信息发送单元，用于将位置信息发送至相应数据类别对应的统一数据接口。
CN202110580690.2A 2021-05-26 2021-05-26 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 Active CN113641883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110580690.2A CN113641883B (zh) 2021-05-26 2021-05-26 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110580690.2A CN113641883B (zh) 2021-05-26 2021-05-26 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口

Publications (2)

Publication Number Publication Date
CN113641883A true CN113641883A (zh) 2021-11-12
CN113641883B CN113641883B (zh) 2024-05-24

Family

ID=78415944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110580690.2A Active CN113641883B (zh) 2021-05-26 2021-05-26 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口

Country Status (1)

Country Link
CN (1) CN113641883B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879980B1 (en) * 2001-06-29 2005-04-12 Oracle International Corporation Nearest neighbor query processing in a linear quadtree spatial index
JP2006172380A (ja) * 2004-12-20 2006-06-29 Mitsubishi Electric Corp 空間データの検索用インデックス作成装置および空間データ検索装置および空間データの検索用インデックス作成方法
CN101739460A (zh) * 2009-12-16 2010-06-16 中国科学院对地观测与数字地球科学中心 基于网格的空间数据源统一化服务系统和方法
US20130091138A1 (en) * 2011-10-05 2013-04-11 Microsoft Corporation Contextualization, mapping, and other categorization for data semantics
CN107066505A (zh) * 2017-01-10 2017-08-18 郑州云海信息技术有限公司 一种性能优化的小文件存储访问的系统及方法
US20170337229A1 (en) * 2016-05-19 2017-11-23 Oracle International Corporation Spatial indexing for distributed storage using local indexes
CN107423422A (zh) * 2017-08-01 2017-12-01 武大吉奥信息技术有限公司 基于网格的空间数据分布式存储及检索方法和系统
CN109446252A (zh) * 2018-09-05 2019-03-08 中国电力科学研究院有限公司 一种用于电网调控的统一访问方法及系统
CN110008293A (zh) * 2019-02-02 2019-07-12 阿里巴巴集团控股有限公司 地理位置查询方法及装置
WO2019144159A1 (en) * 2018-01-22 2019-07-25 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
CN110599490A (zh) * 2019-09-02 2019-12-20 广州市城市规划勘测设计研究院 一种遥感影像数据存储方法和系统
CN111125119A (zh) * 2019-12-30 2020-05-08 中科星图股份有限公司 一种基于HBase的时空数据存储与索引方法
CN111680033A (zh) * 2020-04-30 2020-09-18 广州市城市规划勘测设计研究院 一种高性能gis平台

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879980B1 (en) * 2001-06-29 2005-04-12 Oracle International Corporation Nearest neighbor query processing in a linear quadtree spatial index
JP2006172380A (ja) * 2004-12-20 2006-06-29 Mitsubishi Electric Corp 空間データの検索用インデックス作成装置および空間データ検索装置および空間データの検索用インデックス作成方法
CN101739460A (zh) * 2009-12-16 2010-06-16 中国科学院对地观测与数字地球科学中心 基于网格的空间数据源统一化服务系统和方法
US20130091138A1 (en) * 2011-10-05 2013-04-11 Microsoft Corporation Contextualization, mapping, and other categorization for data semantics
US20170337229A1 (en) * 2016-05-19 2017-11-23 Oracle International Corporation Spatial indexing for distributed storage using local indexes
CN107066505A (zh) * 2017-01-10 2017-08-18 郑州云海信息技术有限公司 一种性能优化的小文件存储访问的系统及方法
CN107423422A (zh) * 2017-08-01 2017-12-01 武大吉奥信息技术有限公司 基于网格的空间数据分布式存储及检索方法和系统
WO2019144159A1 (en) * 2018-01-22 2019-07-25 Spredfast, Inc. Temporal optimization of data operations using distributed search and server management
CN109446252A (zh) * 2018-09-05 2019-03-08 中国电力科学研究院有限公司 一种用于电网调控的统一访问方法及系统
CN110008293A (zh) * 2019-02-02 2019-07-12 阿里巴巴集团控股有限公司 地理位置查询方法及装置
CN110599490A (zh) * 2019-09-02 2019-12-20 广州市城市规划勘测设计研究院 一种遥感影像数据存储方法和系统
CN111125119A (zh) * 2019-12-30 2020-05-08 中科星图股份有限公司 一种基于HBase的时空数据存储与索引方法
CN111680033A (zh) * 2020-04-30 2020-09-18 广州市城市规划勘测设计研究院 一种高性能gis平台

Also Published As

Publication number Publication date
CN113641883B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
US11816083B2 (en) Method and system for indexing of time-series data
Emmanouil et al. Big data analytics in prevention, preparedness, response and recovery in crisis and disaster management
CN108804576B (zh) 一种基于链接分析的域名层级结构探测方法
CN103812939A (zh) 一种大数据存储系统
CN104281701A (zh) 分布式多尺度空间数据查询方法及系统
JP2004516552A (ja) エンティテイを検索する方法
CN102254004A (zh) 一种网络日志挖掘中的Web建模方法及系统
CN115827907B (zh) 基于分布式内存的跨云多源数据立方体发现与集成方法
Mitra et al. Stash: Fast hierarchical aggregation queries for effective visual spatiotemporal explorations
CN106649882A (zh) 一种应用于电信领域的空间数据管理中间件及其实现方法
CN116739336A (zh) 基于多源异构数据融合模型的电网灾害预警方法及系统
CN115586536A (zh) 一种基于激光点云的森林资源调查监测系统及方法
CN117608476A (zh) 矢量数据分块存储方法、装置、电子设备及介质
CN113641883A (zh) 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口
Böckling et al. A Planet Scale Spatial-Temporal Knowledge Graph Based On OpenStreetMap And H3 Grid
CN116775934A (zh) 基于数字化孪生的三维可视化数据索引方法及系统
CN113157628B (zh) 存储系统、数据处理方法、装置、存储系统及电子设备
CN102708109B (zh) 栅格数据的读取方法和装置，栅格数据的写入方法和装置
Hong et al. A recommendation framework for remote sensing images by spatial relation analysis
CN118467664B (zh) 基于格网缓存的多域融合仿真数据处理方法、系统及设备
CN113157609B (zh) 存储系统、数据处理方法、装置、电子设备及存储介质
CN117115380B (zh) 多源空间数据处理方法和系统
CN116010677B (zh) 空间索引方法、装置及其电子设备
Magalhaes et al. An Efficient Algorithm to Compute the Viewshed on DEM Terrains Stored in the External Memory.
CN114448976B (zh) 网络报文的组装方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant