CN114461826A - 一种基于改进的z曲线编码的切片检索方法及系统 - Google Patents

一种基于改进的z曲线编码的切片检索方法及系统 Download PDF

Info

Publication number
CN114461826A
CN114461826A CN202111681723.9A CN202111681723A CN114461826A CN 114461826 A CN114461826 A CN 114461826A CN 202111681723 A CN202111681723 A CN 202111681723A CN 114461826 A CN114461826 A CN 114461826A
Authority
CN
China
Prior art keywords
slice
query
information
metadata
target space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111681723.9A
Other languages
English (en)
Other versions
CN114461826B (zh
Inventor
余涛
赵小明
黄祥志
扈子豪
臧文乾
王宝玉
王帅
刘川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Xingtong Langfang Information Technology Co ltd
Original Assignee
Zhongke Xingtong Langfang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Xingtong Langfang Information Technology Co ltd filed Critical Zhongke Xingtong Langfang Information Technology Co ltd
Priority to CN202111681723.9A priority Critical patent/CN114461826B/zh
Publication of CN114461826A publication Critical patent/CN114461826A/zh
Application granted granted Critical
Publication of CN114461826B publication Critical patent/CN114461826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于改进的Z曲线编码的切片检索方法及系统,方法包括:步骤S100:将遥感图像拼接或者分割成若干切片图像,根据切片图像的行号、列号、层级构建改进的Z曲线编码;步骤S200:设每一个切片图像对应有若干个切片元数据,将切片元数据存储至数据库;步骤S300:在数据库中建立复合索引;步骤S400:在数据库内建立目标空间和空的元数据集合;步骤S500:当目标空间内的格网数大于设定的格网数阈值时,将目标空间进行划分并转步骤S600;当格网数小于格网数阈值时转步骤S700;步骤S600:对子目标空间进行处理;步骤S700:建立编码集合,对格网进行处理;步骤S800:利用编码集合构建查询;步骤S900:返回元数据集合。

Description

一种基于改进的Z曲线编码的切片检索方法及系统
技术领域
本发明涉及遥感数据存储检索技术领域,具体为一种基于改进的Z曲线编码的切片检索方法及系统。
背景技术
人类已有半个多世纪全球尺度的历史遥感数据积累,且随着遥感技术迅速发展,空间分辨率、时间分辨率、光谱分辨率等技术指标也不断提高,遥感数据不断增加,随着带来的就是对遥感数据的管理难度逐渐增加;常规海量遥感数据的存储采用文件+关系型数据库实现,空间信息和其他属性信息等切片元数据存储在关系型数据库中,范围查询通过利用空间信息构建的R树索引实现快速查找。
Z曲线编码是空间填充曲线,他能够把二维的空间点数据编码成一个正整数,并且保持局部有序性;相对一维B+树索引,多维的R树索引所占存储空间更大,查询效率更低;随着元数据量增加时,关系型数据库的存储容量和查询性能就会快速下降,查询耗时较多。
R树索引中因为包含不同层级,不同分辨率,不同卫星的切片空间信息,导致R树索引过大,但通常一次查询,切片的层级和传感器类型往往是固定的而且是单一的,如果不对这些条件优化,往往导致遍历过多索引数据;同时,一个大的范围查询会导致单计算机节点负担过大,引起延迟,且关系型数据库扩展能力较弱,难以满足海量元数据的存储和快速检索任务;但Z曲线编码只能保持局部有序性,但不具备全局有序性,所以不能进行范围查找。
发明内容
本发明的目的在于提供一种基于改进的Z曲线编码的切片检索方法及系统,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于改进的Z曲线编码的切片检索方法,方法包括:
步骤S100:将遥感图像拼接或者分割成大小相同的若干切片图像,并将若干切片图像进行分层存放,不同层级的切片图像具有不同的分辨率;分别对若干切片图像的行号和列号进行确认;根据若干切片图像的层级、行号、列号分别对若干切片图像构建改进的Z曲线编码;
上述步骤将若干切片图像进行分层存放,不同层级的切片图像具有不同的分辨率的过程相当于是往Z曲线的编码中融入层级信息,不同层表示范围大小不同;在同一层级下每个切片的空间范围固定,可以由该行号和列号计算出;上述步骤意味着可以根据改进的Z曲线编码计算得到切片的空间信息和分辨率信息;本申请中的切片图像为遥感图像切片;
步骤S200:设每一个切片图像对应有若干个切片元数据,切片元数据包括但不限于传感器信息、时间信息、云量信息;将切片元数据存储至数据库;根据编码对数据进行哈希分区,使瓦片元数据存储在不同的计算机节点上;分区函数利用改进的Z曲线编码的前48位,使4096个空间相邻的瓦片元数据在同一个分区,避免数据倾斜;
上述步骤可实现当并发查询量大时,避免数据倾斜导致的单个计算机节点负载过重,同时也保持了切片元数据的局部有序性;
步骤S300:在数据库中使用改进的Z曲线编码、时间信息、云量信息建立复合索引;
步骤S400:当用户输入查询范围在数据库内进行窗口查询的同时建立目标空间和空的元数据集合;目标空间是指与查询范围存在交集的区域,初始化为整个地球空间;元数据集合为并发集合,用来存放数据查询得到的查询结果;
步骤S500:对目标空间内的格网数进行获取;当格网数大于设定的格网数阈值时,将目标空间进行划分得到若干个子目标空间并转步骤S600;当格网数小于格网数阈值时转步骤S700;
步骤S600:基于若干个子目标空间和查询范围之间的关系对子目标空间进行处理;
步骤S700:建立编码集合,遍历当前目标空间内所含格网;基于格网与查询范围之间的关系对格网进行处理;
步骤S800:利用编码集合构建查询;其中,空间查询为in子句,条件语句顺序与复合索引内数据顺序一致,将查询得到的返回结果加入元数据集合;
此步骤使得此编码集合内编码不再是一个连续序列,且当子目标空间大时,每次范围查询连续序列的时间不会太长;
步骤S900:返回元数据集合,完成对切片元数据的快速检索。
进一步的,步骤S300中建立复合索引的过程包括:
步骤S301:获取各所述切片图像改进的Z曲线编码以及各所述切片图像对应的切片元数据;
步骤S302:将步骤S301中获取到的数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引;
上述步骤是将层级相同的切片元数据索引在空间上实现聚集,同一层下按照Z曲线编码进行排序,保持局部有序性,提高查询性能;
建立复合索引时,切片的二维空间信息转化为一维的改进的Z曲线编码后,可以与其他属性信息如分辨率,传感器,云量,时间建立复合索引,就像字典是按第一个字母,第二个字母...那样建立索引,这其实是根据用户的查询习惯和数据本身特性决定的,能反应用户的习惯和规律特性,加速对切片元数据的查询;这种方法摆脱了切片元数据存储对空间数据库的依赖,使得实际应用中可以使用MongoDB等水平扩展性更强的NoSQL数据库进行存储。
进一步的,步骤S500中将目标空间进行划分是指分别对目标空间从水平方向和垂直方向上进行划分,得到若干个大小相同的不存在重叠区域的子目标空间。
进一步的,步骤S600中基于若干个子目标空间和查询范围之间的关系对子目标空间进行处理的过程包括:
步骤S601:当某个子目标空间与用户输入的查询范围不相交,丢弃该子目标空间;
步骤S602:当用户输入的查询范围包含子目标空间,将子目标空间内的最小编码和最大编码同分辨率信息、云量信息、时间信息一起构建范围查询;其中空间查询为between子句,条件语句顺序与复合索引内数据顺序一致;将范围查询得到的返回结果加入元数据集合;
在上述步骤S602中正是因为Z曲线编码局部有序,所以只需提取子目标空间内最小编码和最大编码就可以知道子目标空间编码范围;
步骤S603:当用户输入的查询范围与子目标空间相交但是不包含,将该子目标空间设为当前目标空间,在另一个线程中执行S500及其后步骤;
上述步骤相当于是将二维空间查询转化为多个一维子查询的过程,且由于一维查询性能高于二维空间查询性能,上述步骤有利于提高数据查询效率;上述步骤还能使得切片元数据不再依赖于空间数据库,相比Polygon表示空间范围,本发明中编码所占存储空间更少,所以可实现对一个大的范围查询进行多线程并发查询,同样利于提升查询效率;此步骤使得此子目标空间内的所有格网在查询范围内,且子目标空间内所有编码是一个连续的序列。
进一步的,步骤S700中基于格网与查询范围之间的关系对格网进行处理的过程包括:
步骤S701:当格网与户输入的查询范围之间不相交,丢弃该格网;
步骤S702:若格网与户输入的查询范围之间相交,将该格网的编码加入编码集合;否则,舍弃该格网。
为更好的实现上述方法还提出了一种基于改进的Z曲线编码的切片检索方法的检索系统;检索系统包括:切片信息处理模块、信息存储模块、复合索引建立模块、数据检索模块;
切片信息处理模块,用于将遥感图像拼接或者分割成大小相同的若干切片图像,分别对若干切片图像的行号和列号进行确认;根据若干切片图像的行号、列号、层级分别对若干切片图像构建改进的Z曲线编码;
信息存储模块,用于分别对若干切片图像的切片元数据进行获取;切片元数据包括但不限于传感器信息、时间信息、云量信息;将切片元数据进行信息存储;
复合索引建立模块,用于接收信息存储模块中的数据库信息,在数据库中对各切片元数据建立复合索引;
数据检索模块,用于当用户对数据库输入查询范围时完成目标数据的检索查询。
进一步的,复合索引建立模块包括:信息提取单元、索引建立单元;
信息提取单元,用于对各切片图像的改进的Z曲线编码以及各切片图像对应的切片元数据进行提取;
索引建立单元,用于接收信息提取单元中的数据,将数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引。
进一步的,据数据检索模块包括:目标空间建立单元、元数据集合建立单元、信息辨别单元、空间划分单元、目标空间处理单元、格网处理单元;
目标空间建立单元,用于建立与查询范围存在交集的区域;
元数据集合建立单元,用于建立用来存放数据查询得到的查询结果的集合;
信息辨别单元,用于对目标空间内的格网数信息进行获取,将获取到的格网数信息与系统设定的格网数阈值进行辨别比对得到辨别比对结果;
空间划分单元,用于接收信息辨别单元中的辨别比对结果,基于辨别比对结果将目标空间按照预设的规则进行划分得到若干个子目标空间;
空间处理单元,用于接收空间划分单元中得到的若干个子目标空间的数据,对若干个子目标空间和查询范围之间的关系进行比辨别得到辨别结果,基于辨别结果对子目标空间执行相应的处理步骤;
格网处理单元,用于建立编码集合,对目标空间内所含格网进行遍历;基于格网与查询范围之间的关系对各格网执行相应的处理步骤;
查询构建单元,用于接收格网处理单元中的编码集合信息,基于编码集合构建查询,得到对应的查询结果,将查询结果传输至元数据集合建立单元中建立的元数据集合。
与现有技术相比,本发明所达到的有益效果是:本发明在空间范围查询时将二维空间信息转换为一维的改进的Z曲线编码集合查询,并将一个大的范围查询分解为多个有序的子查询,利用了Z曲线局部有序进行范围查找,同时不同子查询之间利用多线程技术可以加速查询;
本发明能够解决空间数据存储时对空间数据库的依赖,利用多线程查询提高查询性能;且本发明通过对Z曲线编码方法的改进克服了Z曲线编码是空间填充曲线编码只能保持局部有序性但不具备全局有序性,所以无法直接进行范围查找的缺点,实现了基于改进的Z曲线编码方法对遥感数据进行快速范围查找;
本申请与现有技术方法而言不用建立空间索引和映射表,查找时对查找窗口分解;且相较于大多现有技术方法而言本申请做出的改进是针对遥感瓦片元数据规则进行的改进,在性能方面上提升较大,而大多现有技术方法的适用领域是任何不规则的空间对象,本申请的方法在提升的技术效果上更具有针对性
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于改进的Z曲线编码的切片检索方法的流程示意图;
图2是本发明一种基于改进的Z曲线编码的切片检索系统的结构示意图;
图3是本发明一种基于改进的Z曲线编码的切片检索方法的实施例一;
图4是本发明一种基于改进的Z曲线编码的切片检索方法的实施例二;
图5是本发明一种基于改进的Z曲线编码的切片检索方法的实施例三;
图6是本发明一种基于改进的Z曲线编码的切片检索方法的实施例四。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图6,本发明提供技术方案:一种基于改进的Z曲线编码的切片检索方法,方法包括:
步骤S100:将遥感图像拼接或者分割成大小相同的若干切片图像,并将若干切片图像进行分层存放,不同层级的切片图像具有不同的分辨率;分别对若干切片图像的行号和列号进行确认;根据若干切片图像的层级、行号、列号分别对若干切片图像构建改进的Z曲线编码;
步骤S200:设每一个切片图像对应有若干个切片元数据,切片元数据包括但不限于传感器信息、时间信息、云量信息;将切片元数据存储至数据库,如NoSQL数据库MongoDB;根据编码对数据进行哈希分区,使瓦片元数据存储在不同的计算机节点上;分区函数利用改进的Z曲线编码的前48位,使4096个空间相邻的瓦片元数据在同一个分区,避免数据倾斜;
步骤S300:在数据库中使用改进Z曲线编码、时间信息、云量信息建立复合索引;
其中,建立复合索引的过程包括:
步骤S301:获取各切片图像的层级信息、Z曲线编码以及各切片图像对应切片元数据集内的切片元数据;
步骤S302:将步骤S301中获取到的数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引;
步骤S400:当用户输入查询范围在数据库内进行窗口查询的同时建立目标空间和空的元数据集合;目标空间是指与查询范围存在交集的区域,初始化为整个地球空间;元数据集合为并发集合,用来存放数据查询得到的查询结果;设目标空间为[(-180,-90),(180,90)],如图3所示,[(-180,-90),(180,90)]指全体空间范围,里面包含64个格网;
步骤S500:对目标空间内的格网数进行获取;当格网数超过100,将目标空间进行划分得到若干个子目标空间并转步骤S600;当格网数小于格网数阈值时转步骤S700;
其中,步骤S500中将目标空间进行划分是指分别对目标空间(-180,-90),(180,90)]从水平方向和垂直方向上进行划分,得到四个大小相同的不存在重叠区域的子目标空间;
步骤S600:基于若干个子目标空间和查询范围之间的关系对子目标空间进行处理;
其中,基于若干个子目标空间和查询范围之间的关系对子目标空间进行处理的过程包括:
步骤S601:当某个子目标空间与用户输入的查询范围不相交,丢弃该子目标空间;
步骤S602:当用户输入的查询范围包含子目标空间,将子目标空间内的最小编码和最大编码同分辨率信息、云量信息、时间信息一起构建范围查询;其中空间查询为between子句,条件语句顺序与复合索引内数据顺序一致;将范围查询得到的返回结果加入元数据集合;
步骤S603:当用户输入的查询范围与子目标空间相交但是不包含,将该子目标空间设为当前目标空间,在另一个线程中执行S500及其后步骤,如图4所示,查询窗口为图中粗框窗口,粗框窗口内编码是从8至59,但其中16至31都不在粗框窗口内部,所以不能进行一次范围查询;将粗框窗口按照步骤S500中的方法,分成六个小窗口,如图5所示,每个小窗口内编码有序,只需计算小窗口内最大编码和最小编码即可,然后用六个线程并发查询;在前16位中存储层级信息,后48位存储行号和列号信息,行号和列号使用Z曲线编码的组织方式,行号和列号转换为二进制后,组成Z曲线编码,其中经度占偶数位,纬度占奇数位;查询窗口可以是任意图形,为了方便,在本实施例中举例为矩形;
步骤S700:建立编码集合,遍历当前目标空间内所含格网;基于格网与查询范围之间的关系对格网进行处理;
其中,基于格网与查询范围之间的关系对格网进行处理的过程包括:
步骤S701:当格网与户输入的查询范围之间不相交,丢弃该格网;
步骤S702:若格网与户输入的查询范围之间相交,将该格网的编码加入编码集合;否则,舍弃该格网;
步骤S800:利用编码集合构建查询;其中,空间查询为in子句,条件语句顺序与复合索引内数据顺序一致,将查询得到的返回结果加入元数据集合;
步骤S900:返回元数据集合,完成对切片元数据的快速检索;
如图6所示,数据量表示查询窗口中格网数量,空间索引采用PostgreSQL的空间索引(R Tree)和MongoDB数据库自带的空间索引(2dsphere)建立,B Tree索引使用Z曲线编码构建;根据图6可看出,空间索引采用PostgreSQL的空间索引(R Tree)和MongoDB数据库自带的空间索引(2dsphere)在进行海量数据查询时,性能差距巨大。
为更好的实现上述方法还提出了一种基于改进的Z曲线编码的切片检索方法的检索系统;检索系统包括:切片信息处理模块、信息存储模块、复合索引建立模块、数据检索模块;
切片信息处理模块,用于将遥感图像拼接或者分割成大小相同的若干切片图像,分别对若干切片图像的行号和列号进行确认;根据若干切片图像的行号、列号、层级分别对若干切片图像构建改进的Z曲线编码;
信息存储模块,用于分别对若干切片图像的切片元数据进行获取;切片元数据包括但不限于传感器信息、时间信息、云量信息;将切片元数据进行信息存储;
复合索引建立模块,用于接收信息存储模块中的数据库信息,在数据库中对各切片元数据建立复合索引;
其中,复合索引建立模块包括:信息提取单元、索引建立单元;
信息提取单元,用于对各切片图像的改进的Z曲线编码以及各切片图像对应的切片元数据进行提取;
索引建立单元,用于接收信息提取单元中的数据,将数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引;
数据检索模块,用于当用户对数据库输入查询范围时完成目标数据的检索查询;
其中,据数据检索模块包括:目标空间建立单元、元数据集合建立单元、信息辨别单元、空间划分单元、目标空间处理单元、格网处理单元;
目标空间建立单元,用于建立与查询范围存在交集的区域;
元数据集合建立单元,用于建立用来存放数据查询得到的查询结果的集合;
信息辨别单元,用于对目标空间内的格网数信息进行获取,将获取到的格网数信息与系统设定的格网数阈值进行辨别比对得到辨别比对结果;
空间划分单元,用于接收信息辨别单元中的辨别比对结果,基于辨别比对结果将目标空间按照预设的规则进行划分得到若干个子目标空间;
空间处理单元,用于接收空间划分单元中得到的若干个子目标空间的数据,对若干个子目标空间和查询范围之间的关系进行比辨别得到辨别结果,基于辨别结果对子目标空间执行相应的处理步骤;
格网处理单元,用于建立编码集合,对目标空间内所含格网进行遍历;基于格网与查询范围之间的关系对各格网执行相应的处理步骤;
查询构建单元,用于接收格网处理单元中的编码集合信息,基于编码集合构建查询,得到对应的查询结果,将查询结果传输至元数据集合建立单元中建立的元数据集合。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进的Z曲线编码的切片检索方法,其特征在于,所述方法包括:
步骤S100:将遥感图像拼接或者分割成大小相同的若干切片图像,并将所述若干切片图像进行分层存放,不同层级的切片图像具有不同的分辨率;分别对所述若干切片图像的行号和列号进行确认;根据若干切片图像的层级、行号、列号分别对若干切片图像构建改进的Z曲线编码;
步骤S200:设每一个切片图像对应有若干个切片元数据,切片元数据包括但不限于传感器信息、时间信息、云量信息;将切片元数据存储至数据库;根据编码对数据进行哈希分区,使瓦片元数据存储在不同的计算机节点上;分区函数利用改进的Z曲线编码的前48位,使4096个空间相邻的瓦片元数据在同一个分区,避免数据倾斜;
步骤S300:在数据库中使用改进的Z曲线编码、时间信息、云量信息建立复合索引;
步骤S400:当用户输入查询范围在数据库内进行窗口查询的同时建立目标空间和空的元数据集合;所述目标空间是指与查询范围存在交集的区域,初始化为整个地球空间;所述元数据集合为并发集合,用来存放数据查询得到的查询结果;
步骤S500:对所述目标空间内的格网数进行获取;当所述格网数大于设定的格网数阈值时,将所述目标空间进行划分得到若干个子目标空间并转步骤S600;当所述格网数小于所述格网数阈值时转步骤S700;
步骤S600:基于所述若干个子目标空间和查询范围之间的关系对子目标空间进行处理;
步骤S700:建立编码集合,遍历当前目标空间内所含格网;基于格网与查询范围之间的关系对格网进行处理;
步骤S800:利用所述编码集合构建查询;其中,空间查询为in子句,条件语句顺序与复合索引内数据顺序一致,将查询得到的返回结果加入元数据集合;
步骤S900:返回元数据集合,完成对切片元数据的快速检索。
2.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索方法,其特征在于,所述步骤S300中建立复合索引的过程包括:
步骤S301:获取各所述切片图像改进的Z曲线编码以及各所述切片图像对应的切片元数据;
步骤S302:将步骤S301中获取到的数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引。
3.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索方法,其特征在于,所述步骤S500中将所述目标空间进行划分是指分别对所述目标空间从水平方向和垂直方向上进行划分,得到若干个大小相同的不存在重叠区域的子目标空间。
4.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索方法,其特征在于,所述步骤S600中基于所述若干个子目标空间和查询范围之间的关系对子目标空间进行处理的过程包括:
步骤S601:当某个子目标空间与用户输入的查询范围不相交,丢弃该子目标空间;
步骤S602:当用户输入的查询范围包含子目标空间,将子目标空间内的最小编码和最大编码同分辨率信息、云量信息、时间信息一起构建范围查询;其中空间查询为between子句,条件语句顺序与复合索引内数据顺序一致;将范围查询得到的返回结果加入元数据集合;
步骤S603:当用户输入的查询范围与子目标空间相交但是不包含,将该子目标空间设为当前目标空间,在另一个线程中执行S500及其后步骤。
5.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索方法,其特征在于,所述步骤S700中基于格网与查询范围之间的关系对所述格网进行处理的过程包括:
步骤S701:当格网与户输入的查询范围之间不相交,丢弃该格网;
步骤S702:若格网与户输入的查询范围之间相交,将该格网的编码加入编码集合;否则,舍弃该格网。
6.一种应用于权利要求1-5中任一项的所述基于改进的Z曲线编码的切片检索方法的检索系统;其特征在于,所述检索系统包括:切片信息处理模块、信息存储模块、复合索引建立模块、数据检索模块;
所述切片信息处理模块,用于将遥感图像拼接或者分割成大小相同的若干切片图像,分别对所述若干切片图像的行号和列号进行确认;根据若干切片图像的层级、行号、列号分别对若干切片图像构建改进的Z曲线编码;
所述信息存储模块,用于分别对所述若干切片图像的切片元数据进行获取;所述切片元数据包括但不限于传感器信息、时间信息、云量信息;将所述切片元数据进行信息存储;
所述复合索引建立模块,用于接收所述所述信息存储模块中的数据库信息,在数据库中对各切片元数据建立复合索引;
所述数据检索模块,用于当用户对数据库输入查询范围时完成目标数据的检索查询。
7.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索系统,其特征在于,所述复合索引建立模块包括:信息提取单元、索引建立单元;
所述信息提取单元,用于对各切片图像的层级信息、改进的Z曲线编码以及各切片图像对应的切片元数据进行提取;
所述索引建立单元,用于接收所述信息提取单元中的数据,将所述数据按照从左到右分别为传感器信息、改进的Z曲线编码、云量信息、时间信息的顺序建立复合索引。
8.根据权利要求1所述的一种基于改进的Z曲线编码的切片检索系统,其特征在于,所述据数据检索模块包括:目标空间建立单元、元数据集合建立单元、信息辨别单元、空间划分单元、目标空间处理单元、格网处理单元;
所述目标空间建立单元,用于建立与所述查询范围存在交集的区域;
所述元数据集合建立单元,用于建立用来存放数据查询得到的查询结果的集合;
所述信息辨别单元,用于对目标空间内的格网数信息进行获取,将获取到的格网数信息与系统设定的格网数阈值进行辨别比对得到辨别比对结果;
所述空间划分单元,用于接收所述信息辨别单元中的辨别比对结果,基于所述辨别比对结果将所述目标空间按照预设的规则进行划分得到若干个子目标空间;
所述空间处理单元,用于接收所述空间划分单元中得到的若干个子目标空间的数据,对所述若干个子目标空间和查询范围之间的关系进行比辨别得到辨别结果,基于所述辨别结果对子目标空间执行相应的处理步骤。
所述格网处理单元,用于建立编码集合,对目标空间内所含格网进行遍历;基于格网与查询范围之间的关系对各格网执行相应的处理步骤;
所述查询构建单元,用于接收所述格网处理单元中的编码集合信息,基于编码集合构建查询,得到对应的查询结果,将查询结果传输至所述元数据集合建立单元中建立的元数据集合。
CN202111681723.9A 2021-12-30 2021-12-30 一种基于改进的z曲线编码的切片检索方法及系统 Active CN114461826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111681723.9A CN114461826B (zh) 2021-12-30 2021-12-30 一种基于改进的z曲线编码的切片检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111681723.9A CN114461826B (zh) 2021-12-30 2021-12-30 一种基于改进的z曲线编码的切片检索方法及系统

Publications (2)

Publication Number Publication Date
CN114461826A true CN114461826A (zh) 2022-05-10
CN114461826B CN114461826B (zh) 2023-07-04

Family

ID=81406876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111681723.9A Active CN114461826B (zh) 2021-12-30 2021-12-30 一种基于改进的z曲线编码的切片检索方法及系统

Country Status (1)

Country Link
CN (1) CN114461826B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874301A (zh) * 2024-03-11 2024-04-12 浙江省气象台 基于网格数据金字塔切片的处理、存储、调用的实现方法
CN118312474A (zh) * 2024-06-06 2024-07-09 华侨大学 基于时空特性的车牌识别数据分布式存储索引方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831171A (zh) * 2012-07-26 2012-12-19 北京世纪天宇科技发展有限公司 一种空间数据查询方法和装置
CN104572908A (zh) * 2014-12-26 2015-04-29 中国科学院电子学研究所 一种基于地理编码及动态索引的智能检索方法
CN108009265A (zh) * 2017-12-15 2018-05-08 中国公路工程咨询集团有限公司 一种云计算环境下的空间数据索引方法
CN109635068A (zh) * 2018-12-20 2019-04-16 中国地质大学(武汉) 云计算环境下的海量遥感数据高效组织及快速检索方法
CN109992636A (zh) * 2019-03-22 2019-07-09 中国人民解放军战略支援部队信息工程大学 时空编码方法、时空索引及查询方法及装置
WO2021068347A1 (zh) * 2019-10-12 2021-04-15 平安科技(深圳)有限公司 自适应位置查询方法、装置、计算机设备及存储介质
CN113626550A (zh) * 2021-08-05 2021-11-09 生态环境部卫星环境应用中心 基于三元组双向索引与优化缓存的影像瓦片地图服务方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831171A (zh) * 2012-07-26 2012-12-19 北京世纪天宇科技发展有限公司 一种空间数据查询方法和装置
CN104572908A (zh) * 2014-12-26 2015-04-29 中国科学院电子学研究所 一种基于地理编码及动态索引的智能检索方法
CN108009265A (zh) * 2017-12-15 2018-05-08 中国公路工程咨询集团有限公司 一种云计算环境下的空间数据索引方法
CN109635068A (zh) * 2018-12-20 2019-04-16 中国地质大学(武汉) 云计算环境下的海量遥感数据高效组织及快速检索方法
CN109992636A (zh) * 2019-03-22 2019-07-09 中国人民解放军战略支援部队信息工程大学 时空编码方法、时空索引及查询方法及装置
WO2021068347A1 (zh) * 2019-10-12 2021-04-15 平安科技(深圳)有限公司 自适应位置查询方法、装置、计算机设备及存储介质
CN113626550A (zh) * 2021-08-05 2021-11-09 生态环境部卫星环境应用中心 基于三元组双向索引与优化缓存的影像瓦片地图服务方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴晨: "一种基于Hilbert曲线的HBase遥感影像检索方法", 《科技视界》 *
祝琳莹: "基于HBase与静态多级格网索引的地表覆盖数据高效检索方法", 《浙江大学学报(理学版)》 *
聂云峰: "基于Z 曲线的瓦片地图服务空间索引", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874301A (zh) * 2024-03-11 2024-04-12 浙江省气象台 基于网格数据金字塔切片的处理、存储、调用的实现方法
CN117874301B (zh) * 2024-03-11 2024-05-31 浙江省气象台 基于网格数据金字塔切片的处理、存储、调用的实现方法
CN118312474A (zh) * 2024-06-06 2024-07-09 华侨大学 基于时空特性的车牌识别数据分布式存储索引方法及系统
CN118312474B (zh) * 2024-06-06 2024-08-09 华侨大学 基于时空特性的车牌识别数据分布式存储索引方法及系统

Also Published As

Publication number Publication date
CN114461826B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109992636B (zh) 时空编码方法、时空索引及查询方法及装置
Snoeyink Point location
CN109165215B (zh) 一种云环境下时空索引的构建方法、装置及电子设备
CN114461826A (zh) 一种基于改进的z曲线编码的切片检索方法及系统
Arge et al. Scalable sweeping-based spatial join
CN106796589B (zh) 空间数据对象的索引方法和系统
CN110781325A (zh) 一种高分辨率遥感数据格网精细化管理模型及其构建方法
CN113946700A (zh) 一种时空索引构建方法、装置、计算机设备及存储介质
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
CN113434736A (zh) 一种面向遥感大数据的多维混合索引方法及系统
CN111078634A (zh) 一种基于r树的分布式时空数据索引方法
Zhang et al. Effectively indexing the uncertain space
CN107633068A (zh) 滑动窗口下基于位置top‑k关键词查询的快速索引方法及系统
CN112035586A (zh) 基于可扩展学习索引的空间范围查询方法
Singla et al. The raptor join operator for processing big raster+ vector data
CN116775661A (zh) 基于北斗网格技术的空间大数据存储与管理方法
CN115269893A (zh) 基于湖仓一体的遥感影像存储系统及方法
Liu et al. HistSFC: Optimization for nD massive spatial points querying
CN111414445A (zh) 一种应用地理信息的地址反解析方法
CN113407542B (zh) 一种城市路网车辆出行轨迹的检索方法及系统
CN114372034A (zh) 一种基于遥感影像地图服务的存取方法
Faloutsos et al. Analysis of n-dimensional quadtrees using the Hausdorff fractal dimension
Van Le et al. A scalable spatio-temporal data storage for intelligent transportation systems based on HBase
US20180149485A1 (en) Road distance systems and methods
CN111026817B (zh) 一种多维计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant