CN115934759B - 一种面向海量多源异构卫星数据查询的加速计算方法 - Google Patents
一种面向海量多源异构卫星数据查询的加速计算方法 Download PDFInfo
- Publication number
- CN115934759B CN115934759B CN202211520788.XA CN202211520788A CN115934759B CN 115934759 B CN115934759 B CN 115934759B CN 202211520788 A CN202211520788 A CN 202211520788A CN 115934759 B CN115934759 B CN 115934759B
- Authority
- CN
- China
- Prior art keywords
- data
- query
- acceleration
- space
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 102
- 238000004364 calculation method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 93
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 230000006399 behavior Effects 0.000 claims description 50
- 238000004220 aggregation Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种面向海量多源异构卫星数据查询的加速计算方法，应用于计算机大数据索引技术领域，该方法根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库；然后根据数据查询加速方法构建加速计算模型；最后根据加速计算模型、用户行为数据库、卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询；本发明通过建立加速计算模型和择优策略，让用户在进行数据查询服务时，可以根据数据量、数据特性等动态适配管理，根据择优策略和加速计算模型，快速获取数据，实现毫秒内的数据查询，并通过获取用户查询特征迭代计算，实现择优策略的动态调整和加速计算模型的自我优化。
Description
技术领域
本发明涉及计算机大数据索引技术领域，尤其涉及一种面向海量多源异构卫星数据查询的加速计算方法。
背景技术
随着经济全球化发展，多源异构遥感卫星数据资源和影像产品的市场需求旺盛，以互联网和大数据技术为依托，已呈现卫星遥感产业的全球化趋势。目前，全球对源异构遥感卫星数据需求持续增长，但在数据获取、数据产品和空间信息解译与分析以及应用服务等方面均显的时效性不足，在海量数据中获取有效数据困难，无法实现空间遥感信息的快速获取与应用，严重制约了遥感技术与商业服务的一体化发展。
现有技术存在以下问题：第一，基于数据分布式存储或索引技术，通过硬件、存储介质或数据库本身的特性，在业务层面缺少计算加速手段。第二，只对用户习惯和查询行为进行了记录，未进行用户行为分析并迭代到平台系统中进行闭环优化管理，以通过自我学习的方式不断提升。
发明内容
本发明提供了一种面向海量多源异构卫星数据查询的加速计算方法，通过建立加速算法的组合策略和择优策略，让用户进行数据查询服务时，根据数据量、数据特性等动态适配管理，择优查询策略，适配加速手段，快速获取数据，实现毫秒内的数据查询，并通过获取用户查询特征迭代计算，实现数据查询策略的动态调整和加速算法的自我优化。
第一方面，本发明的实施例提供了一种面向海量多源异构卫星数据查询的加速计算方法,包括：
根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库；
根据数据查询加速方法构建加速计算模型，数据查询加速方法包括如下一项或多项：空间预索引方法、查询优化方法、空间抽稀方法、并行加速方法、削峰调整方法、或查询习惯方法；
根据加速计算模型、用户行为数据库、卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询；
其中，择优策略根据用户查询行为和加速计算模型确定。
上述技术方案，通过建立加速计算模型和择优策略，让用户在进行数据查询服务时，可以根据数据量、数据特性等动态适配管理，根据择优策略和加速计算模型，快速获取数据，实现毫秒内的数据查询。
可选地，查询优化方法，包括：
建立条件解析器，解析时间与卫星数据源条件；
若时间跨年且卫星数据源为多个，则执行查询优化方法，将时间与卫星数据源条件拆分成多个单卫星数据源单时相条件，匹配到单卫星数据源单时相索引。
可选地，并行加速方法，包括：
拆分查询命中的数据集，将检索结果合并，若合并后的检索结果的空间面积值超过空间面积阈值，则先检索不含空间操作的查询，
统计包含获取卫星名和年份的聚合操作，得到聚合结果；
遍历聚合结果的卫星名和年份，依次对聚合结果的卫星名和年份的索引进行对应的空间检索操作，并将检索结果合并存入缓存。
可选地，削峰调整方法，包括：
将当前页数设置为数据结果量阈值；
当数据量超过数据结果量阈值，则采用索引结果按页分解余额，当索引结果数据量达到一页的数据量时，结合消息缓存进行削峰异步返回。
可选地，查询习惯方法，包括：
根据用户的查询习惯方法，确定采用的数据查询加速方法；
若有相同查询行为时，则直接定位成型的加速算法步骤，根据成型的加速算法步骤返回检索结果。
可选地，择优策略，包括：
若为单年单卫星数据源无空间简单检索，则直接根据用户查询行为进行检索；
若为跨时相多卫星数据源无空间简单检索，则使用加速计算模型中的查询优化方法；
若为单年单卫星数据源复杂空间检索，则使用加速计算模型中的空间抽稀方法；
若为跨时相多卫星数据源复杂空间检索，则使用加速计算模型中的空间抽稀方法和查询优化方法；
若返回结果超过设置返回阈值时，则使用加速计算模型中的削峰调整方法。
可选地，该加速计算方法还包括：
记录用户的查询行为，并存入数据库；
分析查询行为，并根据分析结果更新所述择优策略。
本发明提供了一种面向海量多源异构卫星数据查询的加速计算方法，该方法根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库；然后根据数据查询加速方法构建加速计算模型；最后根据加速计算模型、用户行为数据库、卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询；本发明通过建立加速计算模型和择优策略，让用户在进行数据查询服务时，可以根据数据量、数据特性等动态适配管理，根据择优策略和加速计算模型，快速获取数据，实现毫秒内的数据查询，并通过获取用户查询特征迭代计算，实现择优策略的动态调整和加速计算模型的自我优化。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1为本发明实施例的一种面向海量多源异构卫星数据查询的加速计算方法的流程图；
图2为本发明另一实施例的一种面向海量多源异构卫星数据查询的加速计算方法的流程图；
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1为本发明实施例的一种面向海量多源异构卫星数据查询的加速计算方法的流程图。如图1所示，该方法包括：
S101、根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库。
可选地，根据空间索引数据和空间数据构建卫星数据索引库，包括：
基于Elasticsearch建立卫星数据索引库，构建卫星数据索引模板，用于存储包含所有空间编目数据索引，借助卫星数据时空特性，每颗卫星一年拍摄数据不超过20万景，索引模板以单卫星数据源单时相为最小单元，索引至少包含空间范围、时相、卫星数据源、分辨率等属性。
将空间数据录入，建立采集入库程序，采集国内外遥感卫星服务商多源异构卫星数据源编目数据入到索引库，数据存储以单卫星数据源(分辨率)的每一年数据为一个索引。
可选地，根据行为数据构建用户行为数据库，包括：
基于结构化数据库，构建用户行为数据存储，包含用户查询数据应用的开始时间、结束时间、空间范围、空间复杂度、卫星数据源(分辨率)条件，以及查询所用时长。
S102、根据数据查询加速方法构建加速计算模型。
可选地，数据查询加速方法包括如下一项或多项：空间预索引方法、查询优化方法、空间抽稀方法、并行加速方法、削峰调整方法、或查询习惯方法。
可选地，空间预索引方法，包括：
将全球行政区划分数据或常用复杂边界数据，导入卫星数据索引库建立预索引，可以减少复杂空间数据上传消耗。
可选地，查询优化方法，包括：
建立条件解析器，解析时间与卫星数据源条件；
若时间跨年且卫星数据源为多个，则执行查询优化方法，将时间与卫星数据源条件拆分成多个单卫星数据源单时相条件，匹配到单卫星数据源单时相索引。
可选地，空间抽稀方法，包括：
根据道格拉斯－普克抽稀算法，确定每个空间复杂度区间的抽稀点数阈值和抽稀点位距离值。
示例性地，基于现有基础设施与亿级空间数据，设置查询效率指标、查询精确度指标为常量值，查询效率指标为K(假设K＝3S)秒，查询精确度指标为Y(假设Y＝95％)，推算每个空间复杂度区间Z(假设Z＝1000)的抽稀点数阈值V和抽稀点位距离值参数D。
以空间点数Z作为空间复杂度区间，每个区间应用N个空间范围直接查询索引数据，得出查询结果数A0…An作为基础衡量值。每个空间范围应用普克抽稀算法进行范围抽稀，采用枚举法，先以1个点位为间隔，再以0.1点位距离为间隔，逐步增加X次，得出查询结果B0…Bn，以B0/A0…Bn/An作为查询结果精确度，当查询精确度大于等于Y且查询效率小于等于K时，确认V值为最佳点位间隔，D为最佳点位距离。
具体步骤如下：
原始空间范围查询计算结果数量，如下表1所示：
表1
| 空间范围 | 空间0 | 空间1 | 空间2 | 空间N |
| 原始查询结果 | A0 | A1 | A2 | An |
采用枚举法0.1为点位距离间隔，抽稀点数阈值每次加1，计算结果精确度与效率，如下表2所示：
表2
当空间复杂度Z点位间隔(假设Z＝1000)，且满足查询效率小于等于K，查询精度大于等于Y，得出每个空间复杂度段对应的最佳抽稀点位与点位距离参数。如下表3所示：
表3
| 空间范围复杂度 | 点位阈值 | 点位距离 |
| 0-1000 | V0 | D0 |
| 1001-2000 | V1 | D1 |
| 2001-3000 | V2 | D2 |
| 3001-4000 | V3 | D4 |
| 4001-…… | Vn | Dn |
可选地，并行加速方法，包括：
拆分查询命中的数据集，将检索结果合并，若合并后的检索结果的空间面积值超过空间面积阈值，则先检索不含空间操作的查询，
统计包含获取卫星名和年份的聚合操作，得到聚合结果；
遍历聚合结果的卫星名和年份，依次对聚合结果的卫星名和年份的索引进行对应的空间检索操作，并将检索结果合并存入缓存。
可选地，削峰调整方法，包括：
将当前页数设置为数据结果量阈值；
当数据量超过数据结果量阈值，则采用索引结果按页分解余额，当索引结果数据量达到一页的数据量时，结合消息缓存进行削峰异步返回。
可选地，查询习惯方法，包括：
根据用户的查询习惯方法，确定采用的数据查询加速方法；
若有相同查询行为时，则直接定位成型的加速算法步骤，根据成型的加速算法步骤返回检索结果。
示例性地，记录时空等组合条件行为习惯，当有相同查询行为时，直接定位成型的加速算法步骤，跳过中间阈值判断规则，减少业务逻辑，快速返回计算结果。
需要说明的是，在使用加速计算模型时，可以调用空间预索引方法、查询优化方法、空间抽稀方法、并行加速方法、削峰调整方法、或查询习惯方法中的一项或多项实现数据查询的加速计算。
S103、根据加速计算模型、用户行为数据库、卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询。
可选地，择优策略根据用户查询行为和加速计算模型确定。
可选地，通过查询行为存储记录的用户查询的时间、空间、卫星(分辨率)条件，与查询结果时长，设置返回结果时间阈值，定时查找超过返回结果时间阈值的行为记录，获取空间范围，记录空间范围WKT点数，执行阈值抽稀方法，优化点位阈值与点位距离参数，不断丰富空间范围WKT复杂度与点位阈值、点位距离的对应关系。
同时结合查询优化方法、空间抽稀方法、并行加速方法、削峰调整方法等多种查询加速方法，根据查询行为记录，在预设时间内的效率指标，以单年单卫星数据源无空间、跨时相多卫星数据源无空间、单年单卫星数据源复杂空间、跨时相多卫星数据源复杂空间检索为基础策略，确定择优策略。
可选地，择优策略，包括：
若为单年单卫星数据源无空间简单检索，则直接根据用户查询行为进行检索；
若为跨时相多卫星数据源无空间简单检索，则使用加速计算模型中的查询优化方法；
若为单年单卫星数据源复杂空间检索，则使用加速计算模型中的空间抽稀方法；
若为跨时相多卫星数据源复杂空间检索，则使用加速计算模型中的空间抽稀方法和查询优化方法；
若返回结果超过设置返回阈值时，则使用加速计算模型中的削峰调整方法。
可选地，该加速计算方法还包括：
记录用户的查询行为，并存入数据库；
分析查询行为，并根据分析结果更新所述择优策略。
通过对用户查询行为的分析进行用户查询特征迭代计算，实现择优策略的动态调整和加速计算模型的自我优化。
图2为本发明另一实施例的一种面向海量多源异构卫星数据查询的加速计算方法的流程图。如图2所示，该方法包括：
可选地，时空查询时，首先根据查询习惯判断查询内容是否符合查询习惯，若是符合就根据择优策略对卫星数据库中的数据进行检索，得到检索结果后判断数据的规模，若是达到预设的规则就将部分数据存入到消息缓存中在进行结果返回，反之就直接返回结果。
可选地，若不符合查询习惯则判断是否符合空间预索引方法，若是则计算空间复杂度判断空间复杂度是否符合要求，若是符合则得到预索引结果，反之则进行聚合和抽稀操作；
可选地，若是符合空间预索引方法，则判断查询内容是否是单卫星数据源单时相，若是则执行查询优化方法。
可选地，若查询内容不是单卫星数据源单时相，则判断空间面积是否符合阈值控制，若是则进行粗检索、聚合遍历得到聚合结果，再执行择优策略进行检索；反之则直接执行择优策略进行检索。
下面以一较优的实施例对本发明的有益效果进行说明；
示例性地，构建数据存储环境；
环境集群：应用两台虚拟服务器，配置全部为8核，16G内存，200G硬盘。在一台服务器基于容器化，搭建ELK环境，另一台服务器作为业务数据库，用于记录用户的行为习惯与空间抽稀对应关系等数据。
索引模板：创建单卫星数据源单时相索引模板，ds_卫星数据源_时相.json，例如ds_bj_2022.json，索引包含空间范围(geo_shp)、数据ID(keyword)、云量(float)、时相(date)、轨道号(text)、卫星数据源(text)、侧摆(float)、传感器(text)、分辨率(float)、添加时间(date)等空间编目属性。
数据入库：将公司北京系列卫星数据源编目、切片编目、公益哨兵系列卫星编目，数据量在亿级以上，通过数据采集和入库程序，以单卫星数据源(分辨率)单年为单位索引导入ElasticSearch索引库。
示例性地，将全球行政区划分数据或常用复杂边界数据，导入索引库建立预索引，减少复杂空间数据上传消耗。
可选地，提供业务界面，支持用户基于预生成的空间或自定义时空等条件，获取数据结果，提供数据查询接口，支持时空等组合条件查询、计算。
示例性地，当用户基于时间、空间与卫星数据源(分辨率)条件查询统计数据时，根据加速计算模型和择优策略，包含空间预索引、查询优化、空间抽稀、并行加速、削峰调整、查询习惯等加速方法，削减空间复杂度，当匹配到择优策略时逐步缩小或定位索引范围，达到毫秒级实时数据返回的效果。
示例性地，设置执行效率阈值为3秒，每天一次，定时获取行为记录数据，当行为记录数据返回结果时间超过3秒时，自动执行空间抽稀，得出WKT复杂度对应的抽稀点位与点位距离参数，在下次执行查询时，若满足WKT复杂度区间，直接根据参数抽稀空间范围。
示例性地，设置执行效率阈值为3秒，每天一次，定时获取行为记录数据，当行为记录数据返回结果时间小于3秒时，归类存储到择优策略，按单年单卫星数据源无空间简单检索、跨时相多卫星数据源无空间简单检索、单年单卫星数据源复杂空间检索、跨时相多卫星数据源复杂空间检索四种策略，分配加速方法。在下次执行查询时，通过最新择优策略，加速查询效率。
示例性地，设置阈值控制与并行加速规则，拆分查询命中数据集，将检索结果合并，设置空间面积阈值，当超过阈值时，先检索不含空间操作的查询，同时统计包含获取卫星名和年份的聚合操作，称之为“粗检索”，获取初步检索结果，在获得“粗检索”聚合结果后，遍历聚合结果的卫星名和年份，依次对遍历结果的卫星名和年份的索引做相应的空间检索操作，返回检索结果并合并，实现快速检索的目标。
示例性地，设置异步削峰调整规则，设置数据结果量阈值，当数据量超过数据结果量阈值时，采用索引结果按页分解，当满足一页时，结合消息缓存，削峰异步返回。
本发明实施例提供了一种面向海量多源异构卫星数据查询的加速计算方法，该方法根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库；然后根据数据查询加速方法构建加速计算模型；最后根据加速计算模型、用户行为数据库、卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询；本发明通过建立加速计算模型和择优策略，让用户在进行数据查询服务时，可以根据数据量、数据特性等动态适配管理，根据择优策略和加速计算模型，快速获取数据，实现毫秒内的数据查询，并通过获取用户查询特征迭代计算，实现择优策略的动态调整和加速计算模型的自我优化。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (4)
1.一种面向海量多源异构卫星数据查询的加速计算方法,其特征在于，包括：
根据空间索引数据和空间数据构建卫星数据索引库，根据行为数据构建用户行为数据库；
根据数据查询加速方法构建加速计算模型，所述数据查询加速方法包括如下一项或多项：空间预索引方法、查询优化方法、空间抽稀方法、并行加速方法、削峰调整方法、或查询习惯方法；
所述空间预索引方法，包括：
将全球行政区划分数据或常用复杂边界数据，导入卫星数据索引库建立预索引；
所述查询优化方法，包括：
建立条件解析器，解析时间与卫星数据源条件；
若时间跨年且卫星数据源为多个，则执行所述查询优化方法，将所述时间与卫星数据源条件拆分成多个单卫星数据源单时相条件，匹配到单卫星数据源单时相索引；
所述查询习惯方法，包括：
根据用户的查询习惯方法，确定采用的数据查询加速方法；
若有相同查询行为时，则直接定位成型的加速算法步骤，根据所述成型的加速算法步骤返回检索结果；
根据所述加速计算模型、所述用户行为数据库、所述卫星数据索引库和择优策略，实现对多源异构卫星数据的加速查询；所述择优策略根据用户查询行为和所述加速计算模型确定；
所述择优策略，包括：
若为单年单卫星数据源无空间简单检索，则直接根据所述用户查询行为进行检索；
若为跨时相多卫星数据源无空间简单检索，则使用所述加速计算模型中的查询优化方法；
若为单年单卫星数据源复杂空间检索，则使用所述加速计算模型中的空间抽稀方法；
若为跨时相多卫星数据源复杂空间检索，则使用所述加速计算模型中的空间抽稀方法和查询优化方法；
若返回结果超过设置返回阈值时，则使用所述加速计算模型中的削峰调整方法。
2.根据权利要求1所述的加速计算方法，其特征在于，所述并行加速方法，包括：
拆分查询命中的数据集，将检索结果合并，若合并后的检索结果的空间面积值超过空间面积阈值，则先检索不含空间操作的查询，
统计包含获取卫星名和年份的聚合操作，得到聚合结果；
遍历所述聚合结果的卫星名和年份，依次对所述聚合结果的卫星名和年份的索引进行对应的空间检索操作，并将检索结果合并存入缓存。
3.根据权利要求2所述的加速计算方法，其特征在于，所述削峰调整方法，包括：
将当前页数设置为数据结果量阈值；
当数据量超过所述数据结果量阈值，则采用索引结果按页分解余额，当索引结果数据量达到一页的数据量时，结合消息缓存进行削峰异步返回。
4.根据权利要求1-3任一项所述的加速计算方法，其特征在于，还包括：
记录用户的查询行为，并存入数据库；
分析所述查询行为，并根据分析结果更新所述择优策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211520788.XA CN115934759B (zh) | 2022-11-30 | 2022-11-30 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211520788.XA CN115934759B (zh) | 2022-11-30 | 2022-11-30 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115934759A CN115934759A (zh) | 2023-04-07 |
| CN115934759B true CN115934759B (zh) | 2023-12-22 |
Family
ID=86653610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211520788.XA Active CN115934759B (zh) | 2022-11-30 | 2022-11-30 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115934759B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899282A (zh) * | 2015-06-02 | 2015-09-09 | 北京博阳世通信息技术有限公司 | 一种多源多时相卫星影像瓦片数据的处理方法及检索方法 |
| CN106294550A (zh) * | 2016-07-22 | 2017-01-04 | 黎海纤 | 一种遥感图像智能检索方法 |
| CN108153887A (zh) * | 2017-12-28 | 2018-06-12 | 上海氪信信息技术有限公司 | 一种依据gps坐标快速查询行政区域的方法 |
| US10044575B1 (en) * | 2011-10-05 | 2018-08-07 | Cumulus Systems Inc. | System for organizing and fast searching of massive amounts of data |
| CN109284338A (zh) * | 2018-10-25 | 2019-01-29 | 南京航空航天大学 | 一种基于混合索引的卫星遥感大数据优化查询方法 |
| CN110110107A (zh) * | 2019-03-18 | 2019-08-09 | 中国地质大学（武汉） | 一种基于云存储的多源遥感影像数据多维度组织方法 |
| CN110442444A (zh) * | 2019-06-18 | 2019-11-12 | 中国科学院计算机网络信息中心 | 一种面向海量遥感影像的并行数据访问方法与系统 |
| CN112269797A (zh) * | 2020-10-28 | 2021-01-26 | 国家卫星气象中心(国家空间天气监测预警中心) | 一种卫星遥感数据在异构计算平台上的多维查询方法 |
| CN112364188A (zh) * | 2020-11-12 | 2021-02-12 | 中国地质大学（武汉） | 一种遥感影像的索引建立方法、遥感影像检索方法及装置 |
| CN112395453A (zh) * | 2020-11-25 | 2021-02-23 | 华中科技大学 | 一种自适应分布式遥感影像缓存及检索方法 |
| CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN114328508A (zh) * | 2021-11-19 | 2022-04-12 | 北京遥测技术研究所 | 一种星载固态存储器的快速检索方法 |
| CN114491108A (zh) * | 2021-12-30 | 2022-05-13 | 中科星通(廊坊)信息技术有限公司 | 一种基于多源遥感应用数据的在线分类系统及方法 |
| CN115033728A (zh) * | 2022-05-10 | 2022-09-09 | 湖南省第二测绘院 | 全球卫星影像搜索引擎数据爬取与归一化方法及系统 |
| CN115203234A (zh) * | 2022-07-14 | 2022-10-18 | 北京数慧时空信息技术有限公司 | 一种遥感数据的查询系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11416528B2 (en) * | 2016-09-26 | 2022-08-16 | Splunk Inc. | Query acceleration data store |
| US10997180B2 (en) * | 2018-01-31 | 2021-05-04 | Splunk Inc. | Dynamic query processor for streaming and batch queries |
-
2022
- 2022-11-30 CN CN202211520788.XA patent/CN115934759B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10044575B1 (en) * | 2011-10-05 | 2018-08-07 | Cumulus Systems Inc. | System for organizing and fast searching of massive amounts of data |
| CN104899282A (zh) * | 2015-06-02 | 2015-09-09 | 北京博阳世通信息技术有限公司 | 一种多源多时相卫星影像瓦片数据的处理方法及检索方法 |
| CN106294550A (zh) * | 2016-07-22 | 2017-01-04 | 黎海纤 | 一种遥感图像智能检索方法 |
| CN108153887A (zh) * | 2017-12-28 | 2018-06-12 | 上海氪信信息技术有限公司 | 一种依据gps坐标快速查询行政区域的方法 |
| CN109284338A (zh) * | 2018-10-25 | 2019-01-29 | 南京航空航天大学 | 一种基于混合索引的卫星遥感大数据优化查询方法 |
| CN110110107A (zh) * | 2019-03-18 | 2019-08-09 | 中国地质大学（武汉） | 一种基于云存储的多源遥感影像数据多维度组织方法 |
| CN110442444A (zh) * | 2019-06-18 | 2019-11-12 | 中国科学院计算机网络信息中心 | 一种面向海量遥感影像的并行数据访问方法与系统 |
| CN112269797A (zh) * | 2020-10-28 | 2021-01-26 | 国家卫星气象中心(国家空间天气监测预警中心) | 一种卫星遥感数据在异构计算平台上的多维查询方法 |
| CN112364188A (zh) * | 2020-11-12 | 2021-02-12 | 中国地质大学（武汉） | 一种遥感影像的索引建立方法、遥感影像检索方法及装置 |
| CN112395453A (zh) * | 2020-11-25 | 2021-02-23 | 华中科技大学 | 一种自适应分布式遥感影像缓存及检索方法 |
| CN113486005A (zh) * | 2021-06-09 | 2021-10-08 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN114328508A (zh) * | 2021-11-19 | 2022-04-12 | 北京遥测技术研究所 | 一种星载固态存储器的快速检索方法 |
| CN114491108A (zh) * | 2021-12-30 | 2022-05-13 | 中科星通(廊坊)信息技术有限公司 | 一种基于多源遥感应用数据的在线分类系统及方法 |
| CN115033728A (zh) * | 2022-05-10 | 2022-09-09 | 湖南省第二测绘院 | 全球卫星影像搜索引擎数据爬取与归一化方法及系统 |
| CN115203234A (zh) * | 2022-07-14 | 2022-10-18 | 北京数慧时空信息技术有限公司 | 一种遥感数据的查询系统 |
Non-Patent Citations (3)
| Title |
|---|
| "基于ENVI/IDL的多源遥感数据覆盖范围快速查询技术及实现";苗立新 等;《遥感技术与应用》;第25卷(第04期);502-509 * |
| "大规模分布式遥感数据管理方法研究";马轩;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第03期);C028-290 * |
| "海洋环境监测数据建模及索引技术研究";孙乐;《中国优秀硕士学位论文全文数据库 基础科学辑》(第02期);A010-41 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115934759A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132388B2 (en) | Efficient spatial queries in large data tables | |
| CN107943952B (zh) | 一种基于Spark框架进行全文检索的实现方法 | |
| CN102193973B (zh) | 呈现回答 | |
| US9747349B2 (en) | System and method for distributing queries to a group of databases and expediting data access | |
| CN106528787B (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
| CN110837520A (zh) | 一种数据处理方法、平台及系统 | |
| CN112269816B (zh) | 一种政务预约事项相关性检索方法 | |
| CN103970902A (zh) | 一种大量数据情况下的可靠即时检索方法及系统 | |
| JP3953295B2 (ja) | 情報検索システム、情報検索方法、情報検索を実行させるためのプログラムおよび情報検索を実行させるためのプログラムが記録された記録媒体 | |
| Gupta et al. | Faster as well as early measurements from big data predictive analytics model | |
| US20090327339A1 (en) | Partition templates for multidimensional databases | |
| CN111813849A (zh) | 数据抽取方法、装置及设备、存储介质 | |
| CN110795613A (zh) | 商品搜索方法、装置、系统及电子设备 | |
| CN117971873A (zh) | 一种生成结构化查询语言sql的方法、装置及电子设备 | |
| CN115934759B (zh) | 一种面向海量多源异构卫星数据查询的加速计算方法 | |
| CN117217933A (zh) | 用于保险行业的数据多维分析方法及装置 | |
| CN112100177A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN117033744A (zh) | 数据查询方法、装置、存储介质以及电子设备 | |
| WO2008055202A2 (en) | System and method for distributing queries to a group of databases and expediting data access | |
| CN114880393A (zh) | 基于多维索引的海量时空数据可视化性能优化方法及系统 | |
| Kontakis et al. | Spatial indexing of complex virtual reality scenes in the web | |
| US11023485B2 (en) | Cube construction for an OLAP system | |
| JP2004192657A (ja) | 情報検索システム、情報検索方法および情報検索用プログラムを記録した記録媒体 | |
| CN111639099A (zh) | 全文索引方法及系统 | |
| CN117688032B (zh) | 基于物化视图的查询加速方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |