CN103092775A - 一种基于键值结构的空间数据双缓存方法及机制 - Google Patents

Abstract

本发明公开了一种基于键值结构的空间数据双缓存方法及机制，属于空间数据存储与管理技术领域。本发明基于键值结构提出了内存缓存和文件缓存的双缓存机制，内存缓存为第一级缓存，使用B+树组织数据，并采用缓存回写机制以异步方式写入文件缓存；文件缓存为第二级缓存，使用大文件构建，并构建基于B+树的缓存索引以加快检索速度；文件缓存的空闲空间使用基于B+树的空闲空间管理管理。本发明保持了键值存储模式自由、查询速度快和并发性能高等优点，提高了网络环境下空间数据缓存的存储和访问效率，可用于网络GIS中遥感影像、矢量数据、DEM等类空间数据的缓存。

Description

一种基于键值结构的空间数据双缓存方法及机制

 

技术领域

    本发明涉及一种基于键值结构的空间数据双缓存方法及机制，属于空间数据存储与管理技术领域。

背景技术

    随着网络技术的发展，网络GIS在越来越多的领域得到应用，并取得良好的效果。网络GIS涉及的空间数据来源广泛、种类繁多，结构复杂，数据量极大，具有明显的空间特征。海量空间数据的存取代价和网络传输代价是影响网络GIS性能的重要因素。大量用户的并发请求将给服务器端极大的压力，数据的传输效率也很大程度上影响系统的性能。缓存机制是解决上述问题、提高网络GIS性能的一种有效有段。

    缓存机制将需要频繁访问的数据保存在本地，以减少数据的请求频率和网络传输量，从而提高系统性能。使用文件目录缓存数据的方式虽简便易行，却存在数据保密性差、空间利用率低、检索效率低下、硬盘I/O频繁等缺点。

发明内容

针对现有技术存在的问题，本发明结合键值结构存储的优点，提出了一种基于键值结构的空间数据双缓存方法及机制，旨在高效管理所缓存的空间数据。

为了解决上述技术问题，本发明采用如下的技术方案：

一种基于键值结构的空间数据双缓存机制，用于网络GIS客户端上遥感影像、DEM（数字高程模型）等空间数据的缓存，包括：

提供一级缓存的空间数据内存缓存，用来负责空间数据内存缓存的缓存空间申请、分配与回收，以及组织和管理缓存块；

提供二级缓存的空间数据文件缓存，用来负责空间数据文件缓存的缓存空间申请、分配与回收，以及缓存块的组织与管理。

空间数据文件缓存的信息传递一是由空间数据内存缓存通过缓存回写机制将其中的空间数据写入空间数据文件缓存中，二是由空间数据内存缓存和空间数据文件缓存中使用相同的键进行关联。

一种基于键值结构的空间数据双缓存方法，用于网络GIS客户端上遥感影像、DEM（数字高程模型）等空间数据的缓存，当空间数据需要缓存时，包括步骤：

S1：空间数据内存缓存管理模块基于键值结构使用唯一键值标记离散的空间数据，并以字节数组的形式存储空间数据，形成具有键值结构的缓存块；

S2：空间数据内存缓存管理模块构建缓存块索引；具体为：根据缓存块的存储地址、缓存块大小、数据类型、压缩方式、加密方式、存储时间和地理范围等信息构建缓存块索引；

S3：当空间数据内存缓存达到容量阈值或预设定时保存时间到达，空间数据内存缓存管理模块采用缓存回写机制将空间数据内存缓存中存储的缓存块及缓存块索引传输到空间数据文件缓存进行持久化存储，所述的空间数据文件缓存包括存储空间数据的、体积较大的数据文件和存储索引空间数据的、体积较小的索引文件，数据文件和索引文件均由文件头和数据存储区构成；

S4：空间数据文件缓存管理模块将接收到的缓存块存储在数据文件的数据存储区，键值结构的缓存块首先序列化为字节数组，然后整体、连续地写入数据文件的数据存储区的空闲空间；使用空闲空间管理模块为缓存块分配存储空间；

S5：空间数据文件缓存管理模块将缓存块索引以顺序方式存储到索引文件的数据存储区。

上述步骤S3步骤进一步包括子步骤：

S31：到达定时保存时间，空间数据内存缓存管理模块将所有的缓存块及缓存块索引传输至空间数据文件缓存，但空间数据内存缓存内的缓存块及缓存块索引不被移除；

S32：当空间数据内存缓存容量达到容量阈值时，空间数据内存缓存管理模块使用先进先出法进行缓存置换，每次缓存置换均从空间数据内存缓存内剔除指定比例的缓存块及对应的缓存索引，缓存块及对应的缓存索引被剔除前写入空间数据文件缓存中进行持久化存储。

    上述步骤S4中分配缓存块的存储空间包括：

S41：空闲空间和存储空间均由空间地址和空间大小构成，使用64位整数表示空闲空间和存储空间；

S42：空闲空间管理模块按空间地址使用B+树组织空闲空间；

S43：空闲空间管理模块每次均将大小最为合适的空闲空间分配给缓存块；

S44：若包含多个大小最为合适的空闲空间，空间地址最小的空闲空间将被分配给缓存块；

S45：若多个连续空闲空间均不足时，空间数据文件缓存内的部分缓存块将被移除以释放出足够的连续空闲空间，然后将缓存块写入此空闲空间。

上述步骤S5包括： 

S51：更新缓存块索引内缓存块的存储地址和数据大小等描述信息；

S52：将缓存块索引序列化为字节数组；

S53：将序列化后的缓存块索引写入索引文件的数据存储区；

S54：更新索引文件的文件头内的索引个数和单个索引字节大小信息。

一种基于键值结构的空间数据双缓存方法，用于网络GIS客户端上遥感影像、DEM（数字高程模型）等空间数据的缓存，当读取缓存的空间数据时，包括以下步骤：

S6：空间数据内存缓存初始化，将其中索引文件内的所有缓存块索引加载到空间数据内存缓存中并以B+树方式进行组织；

S7：空间数据内存缓存接受读数据请求；

S8：空间数据内存缓存依据键值在空间数据内存缓存的缓存块索引中进行匹配查找，若存在匹配的缓存块，则返回匹配的缓存块；若不存在匹配的缓存块，则将读数据请求传输给空间数据文件缓存；

S9：空间数据文件缓存依据键值在缓存块索引中进行匹配查找，若存在匹配的缓存块，则依据缓存块索引所记录的缓存块存储地址和空间大小，直接在空间数据文件缓存的数据文件中读取，并返回匹配的缓存块；若不存在匹配的缓存块，则提示所请求的数据不存在。

 

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出了内存缓存和文件缓存的双缓存机制，内存缓存为第一级缓存，使用B+树组织数据，并采用缓存回写机制以异步方式写入文件缓存；文件缓存为第二级缓存，使用大文件构建，并构建基于B+树的缓存索引以加快检索速度；文件缓存的空闲空间使用基于B+树的空闲空间管理管理。

本发明可用于网络GIS中遥感影像、矢量数据、DEM等类空间数据的缓存，本发明在保持键值存储模式自由、查询速度快和并发性能高等优点的同时，还提高了GIS网络环境下空间数据缓存的存储和访问效率。

附图说明

图1为本发明双缓存机制的结构示意图；

图2为本发明实施例中缓存块及缓存块索引的结构示意图，其中，图（a）为缓存块结构示意图，图（b）为缓存块索引结构示意图；

图3为本发明中数据文件和索引文件结构示意图；

图4为本发明实施例中空间数据缓存的写入方法流程图；

图5为本发明实施例中空间数据缓存的读取方法流程图；

图6为本发明实施例中空间数据文件缓存的空闲空间分配示意图。

具体实施方式

下面将结合具体实施例对本发明做详细说明。应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明：

本发明的构思在于提高网络GIS读写空间数据的效率，将需要缓存的空间数据分别写入空间数据内存缓存和空间数据文件缓存中，构建两级缓存系统，系统结构图见图1。空间数据内存缓存为第一级缓存，其读写速度远高于空间数据文件缓存，但容量较小；空间数据文件缓存为第二级缓存，容量较大，但读写速度低于空间数据内存缓存。空间数据首先写入空间数据内存缓存，然后再以异步方式写入空间数据文件缓存进行持久化存储。读取空间数据时，则首先在空间数据内存缓存中查找，若无法找到所需数据则从空间数据文件缓存中查找。

本实施例是采用本发明的双缓存机制缓存影像金字塔瓦片，瓦片数据缓存的基本单位为缓存块和缓存块索引。如图2所示，缓存块基于键值结构构建，是空间数据内存缓存和空间数据文件缓存的基本构成的单元，键值Key为缓存块的唯一标识，使用字符串或整数，其值在写入缓存时由用户提供，键值基于瓦片所属数据集名称、行列号、层级等构造。在不同的缓存应用中，键值的数据类型和长度均是可变的，但在同一缓存应用中键值的数据类型和长度必须一致。单个瓦片数据均以可变长度的字节数组形式存储在键值结构的值内。各缓存块的索引与缓存块一一对应，缓存块索引同样基于键值结构构建，用来描述缓存块，并使用唯一键值与缓存块关联。缓存块索引采用可扩展结构存储缓存块的描述信息，其基本结构包括存储地址、数据大小、数据类型、压缩方式、加密方式、存储时间和地理范围。存储地址和数据大小用来定位空间数据文件缓存中的缓存块；数据类型、压缩方式、加密方式用来说明所存储的空间数据缓存块的类型。

依据本发明实施例，双缓存机制由空间数据内存缓存和空间数据文件缓存两部分构成。空间数据内存缓存初始化时并不立即分配其容量，仅指定其所能使用的最大容量（即，容量阈值），空间数据内存缓存使用B+树结构存储缓存块，使用键值查找所需缓存块，并采用缓存回写机制将空间数据内存缓存中的空间数据缓存块写入空间数据文件缓存中。

上述缓存回写机制的执行包括步骤：

（1）设定空间数据内存缓存容量阈值；

（2）设定空间数据内存缓存执行缓存回写的定时间隔，定时间隔的大小依据用户对数据可靠性和性能的具体要求而设定；

（3）当到达定时间隔时，将空间数据内存缓存中所有未写入空间数据文件缓存的缓存块及其对应的缓存块索引写入空间数据文件缓存进行持久化存储，但并不删除空间数据内存缓存中的缓存块和缓存块索引；

（4）当空间数据内存缓存的容量达到容量阈值时，使用先进先出法确定待删除的缓存块，然后将待删除缓存块及其对应的缓存块索引写入空间数据文件缓存进行持久化存储，最后删除待删除的缓存块及其对应的缓存块索引。

空间数据文件缓存包括瓦片数据文件和瓦片数据索引文件两个存储区域，瓦片数据文件存储区域用来存储瓦片数据缓存块，瓦片数据索引文件存储区域用来存储瓦片数据缓存块索引。瓦片数据文件和瓦片数据索引文件存储区域均由文件头和数据存储区两部分构成，如图3所示。

瓦片数据文件使用单个大文件构建，可使用几GB至几十GB大小的文件构建，其大小在初始化时分配，并在整个运行期间保持不变。缓存块存储在瓦片数据文件的数据存储区，缓存块在写入时首先被序列化为字节数组，然后整体、连续地写入数据文件中数据存储区的空闲空间，与此同时更新被写入的缓存块对应的缓存块索引结构中的存储地址和数据大小；缓存块个数、已用空间大小、空闲空间记录和更新时间等信息被写入瓦片数据文件的文件头区。

索引文件使用一个小文件创建，其大小依据缓存块索引的数量动态调整。所有缓存块索引的大小均一致，以顺序方式存储在索引文件的数据存储区，缓存块及其对应的缓存块索引通过缓存块的唯一键值进行关联。瓦片数据索引文件的数据存储区的索引个数、单个索引大小和更新时间存储在索引文件的文件头区。空间数据文件缓存在初始化时读取索引文件内存储的所有缓存块索引，并构建基于B+树的缓存索引。

依据本发明的实施例，空间数据双缓存方法分为将影像金字塔瓦片数据写入空间数据双缓存系统和从空间数据双缓存系统中读取影像金字塔瓦片数据两种情况，下面简称为“缓存写入过程”和“缓存读取过程”。

向空间数据双缓存系统中写入金字塔瓦片数据的过程如图4所示，包括以下步骤：

S11：空间数据内存缓存管理模块基于瓦片数据所属数据集名称、行列号、层级等信息生成瓦片数据的键值，以字节数组形式存储瓦片数据，并形成键值结构的瓦片数据缓存块；

S12：空间数据内存缓存管理模块根据瓦片数据缓存块的存储地址、数据大小、数据类型、压缩方式、加密方式、存储时间和地理范围的结构构建瓦片数据缓存块对应的缓存块索引；

S13：空间数据内存缓存管理模块按照预设的定时保存时间和容量阈值进行判断，当达到空间数据内存缓存达到容量阈值或达到定时保存时间时，空间数据内存缓存管理模块使用缓存回写机制将存储的缓存块及其对应的缓存块索引传输到空间数据文件缓存进行持久化存储；

S14：空间数据文件缓存管理模块将接收的瓦片数据缓存块序列化为字节数组后，整体、连续地存入空间数据文件缓存中数据文件的数据存储区内，并更新数据文件的文件头区的缓存块个数、已用空间大小、空闲空间记录和更新时间等信息；本发明中，空间数据文件缓存初始化时分配空间数据文件空间，支持几GB至几十GB大小的单文件存储缓存数据；

S15：空间数据文件缓存管理模块将瓦片数据缓存块对应的缓存块索引顺序写入空间数据文件缓存中索引文件的数据存储区，并更新索引文件的文件头区的索引个数和单个索引大小；

S16：空间数据文件缓存管理模块读取其中所有缓存块索引，并构建基于B+树的缓存块索引结构，用来组织管理瓦片数据索引文件。

上述步骤S13包括：

S141：定时保存时间到达，内存缓存管理模块将存储的未写入空间数据文件缓存的缓存块及其对应的缓存块索引全部传输至空间数据文件缓存，但空间数据内存缓存内的缓存块和缓存块索引数据不被移除；

S142：当空间数据内存缓存容量达到容量阈值时，内存缓存管理模块使用先进先出算法对空间数据内存缓存进行缓存置换，即，基于先进先出原则剔除指定比例的缓存块及其对应的缓存块索引，并在剔除前写入空间数据文件缓存进行存储.

读取空间数据双缓存系统中金字塔瓦片数据的过程如图5所示，包括以下步骤：

S21：空间数据内存缓存模块接受读数据请求；

S22：空间数据内存缓存管理模块依据请求数据的键值，在空间数据内存缓存内进行匹配查找，若存在匹配的瓦片数据缓存块索引，则返回该瓦片数据缓存块；若不存在匹配的瓦片数据缓存块索引，则将读数据请求发送给空间数据文件缓存；

S23：空间数据文件缓存管理模块依据请求数据的键值在空间数据文件缓存的缓存索引中进行匹配查找，若存在匹配的瓦片数据缓存块，则依据缓存块索引所记录的存储地址和数据大小，直接在空间数据文件缓存的数据文件中直接读取，并返回读取的瓦片数据缓存块；如果不存在匹配的瓦片缓存块，则提示不存在所需数据。

空间数据双缓存系统写入缓存的过程中，采用空闲空间管理模块为空间数据分配存储空间，具体为：

采用空闲空间管理模块管理空间数据文件缓存中的数据文件的空闲空间，并为待写入的空间数据分配存储空间。单个空闲空间由空间地址和空间大小构成，可使用64位整数表示。空闲空间管理模块基于B+树构建，并按照地址的大小排列。如图6所示，当瓦片数据缓存块写入空间数据文件缓存时，若仅包含一个连续空闲空间，则将缓存块数据写入该空闲空间的起始位置；若存在多个连续空闲空间，缓存块将被写入大小最合适的空闲空间内，若包含多个大小最为合适的空闲空间，则地址最小的空闲空间将被分配给缓存块数据进行存储；若连续空闲空间均不足时，首先依据指定的缓存置换算法移除部分缓存块以释放出足够的连续空闲空间，然后将数据写入此空闲空间。

 

以上所述实施例仅表达了本发明的针对一种空间数据的两种实施方式，其描述较为具体和详细，但并不能因此而理解对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些都属于本发明专利的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于键值结构的空间数据双缓存机制，用于网络GIS客户端上空间数据的缓存，其特征在于，包括：

提供第一级缓存的空间数据内存缓存和提供第二级缓存的空间数据文件缓存，空间数据内存缓存采用缓存回写机制以异步方式将其中的空间数据传输给空间数据文件缓存，且空间数据内存缓存和空间数据文件缓存内的相同空间数据基于数据键值进行关联。

2.如权利要求1所述的基于键值结构的空间数据双缓存机制，其特征在于：

所述的空间数据内存缓存和空间数据文件缓存的基本构成单元为缓存块和缓存块索引；缓存块是基于键值结构的空间数据，缓存块索引是基于键值结构的缓存块描述信息，缓存块及其对应的缓存块索引基于键值关联。

3.如权利要求2所述的基于键值结构的空间数据双缓存机制，其特征在于：

所述的空间数据文件缓存包括数据文件和索引文件两个存储区域，数据文件用来存储空间数据缓存块，索引文件用来存储缓存块对应的缓存块索引。

4.一种基于键值结构的空间数据双缓存方法，用于网络GIS客户端上空间数据的缓存，其特征在于，当空间数据需要缓存时，包括步骤：

初始化时指定空间数据内存缓存的容量阈值，但不分配容量；

空间数据内存缓存管理模块基于键值结构使用唯一键值标记离散的空间数据，形成基于键值结构的缓存块； 

空间数据内存缓存管理模块根据缓存块的描述信息构建缓存块对应的缓存块索引；

空间数据内存缓存管理模块采用缓存回写机制将空间数据内存缓存中的缓存块及其对应的缓存块索引写入空间数据文件缓存；

空间数据内存缓存管理模块以B+树结构组织空间数据内存缓存内的所有缓存块索引。

5.如权利要求4所述的基于键值结构的空间数据双缓存方法，其特征在于：

所述的空间数据内存缓存管理模块采用缓存回写机制将空间数据写入空间数据文件缓存，进一步包括步骤：

预设容量阈值和定时保存时间；

定时保存时间到达时，空间数据内存缓存管理模块将空间数据内存缓存内未写入空间数据文件缓存的缓存块及其对应的缓存块索引全部传输至空间数据文件缓存，但空间数据内存缓存内的缓存块和缓存块索引不被移除；

空间数据内存缓存容量达到容量阈值时，内存缓存管理模块使用先进先出法对空间数据内存缓存进行缓存置换。

6.如权利要求4所述的基于键值结构的空间数据双缓存方法，其特征在于：

在所述的空间数据内存缓存中的缓存块及其对应的缓存块索引写入空间数据文件缓存之前，采用空闲空间管理模块为待写入的缓存块分配存储空间。

7.如权利要求6所述的基于键值结构的空间数据双缓存方法，其特征在于：

所述的空闲空间管理模块按空间地址使用B+树组织空间数据文件缓存的空闲空间，空闲空间管理模块为待写入的缓存块分配存储空间进一步包括： 

空间数据文件缓存的每个空闲空间由空间地址和空间大小构成，空闲空间管理模块将与缓存块大小最合适的空闲空间分配给缓存块；若存在多个大小最合适的空闲空间，则将空间地址最小的空闲空间分配给缓存块；若空闲空间大小均不大于缓存块，则移除已存储的缓存块以获得足够存储缓存块的空闲空间，并将缓存块写入此空闲空间。

8.一种基于键值结构的空间数据双缓存方法，用于网络GIS客户端上空间数据的读取，其特征在于，当读取缓存的空间数据时，包括步骤：

空间数据内存缓存管理模块以B+树方式对空间数据内存缓存内的所有缓存块索引进行组织；

空间数据内存缓存管理模块接受读数据请求；

空间数据内存缓存管理模块依据请求数据的键值在空间数据内存缓存内进行匹配查找，若存在匹配的缓存块，则直接返回匹配的缓存块；若不存在匹配的缓存块，则将读数据请求发送给空间数据文件缓存；

依据请求数据的键值在空间数据文件缓存的缓存块索引中进行匹配查找，若存在匹配的缓存块，则依据缓存块索引所记录的缓存块存储地址和数据大小，直接在空间数据文件缓存的数据文件中直接读取，并返回读取的缓存块；如果不存在匹配的缓存块，则提示不存在所需数据。

Images