CN103118132A - 一种面向时空数据的分布式缓存系统及方法 - Google Patents

Abstract

本发明实施例公开了一种面向时空数据的分布式缓存系统及方法。其中一实施例中，一种面向时空数据的分布式缓存系统包括多个分布式缓存集群，每个集群对应于一定空间特征范围的数据，不同集群负责的缓存范围有相互重叠，每个集群内部由若干缓存节点组成，同一集群内每个缓存节点所对应的空间特征范围信息都相同，但是每个缓存节点对应于不同时间范围内的空间数据信息。本发明用于提供一种面向时空数据的分布式缓存系统及方法，此系统工作在用户对数据中心访问的中间层，能够在不改变用户原有访问方式的情况下，实现对时空特征的数据的缓存，以加快时空特征数据访问速度。

Description

一种面向时空数据的分布式缓存系统及方法

技术领域

本发明属于缓存技术领域，特别地涉及一种面向时空数据的分布式缓存系统及方法。

背景技术

缓存技术诞生于上世纪70年代，最初是为了解决CPU与外部存储设备之间的速率不平衡问题。随着计算机技术的发展，缓存技术已经成为现代计算机体系结构技术的关键技术之一。

在大规模的企业级应用系统中，缓存一般介于用户访问接口和数据存储服务器之间，以缓冲者的角色出现，其作用是为了降低数据中心存储服务器访问的频率，从而提高系统的运行性能。缓存内的数据是对数据库中经常会访问到的数据进行副本。对这类数据的请求，如果命中缓存，则不需要再去对数据进行查询，从而大大减轻了存储服务器的压力，提升了系统性能。

通常情况下采用单点的缓存，缓存数据置于服务器内存内部。缓存的所有数据都通过一定组织放在单台节点上。但在处理大量用户的并发访问时，单点的结构导致系统响应负载加重，响应延迟增加，出现性能瓶颈，并且也有缓存容量受限，无法有效扩充的问题。

因此分布式缓存的出现解决了这个问题。分布式缓存是高性能网络计算的一个热点研究方向，分布式缓存一般是以传统的网络通信协议为基础，在网路由中的关键节点集中部署缓存节点，保存整个网络中的热点信息副本，从而在用户最终访问时减少数据传输记录，降低网络延迟和带宽消耗。 缓存节点之间通过特定的协议或数据调度算法进行信息的交互、共享访问，并且不会产生层次式缓存体系结构带来的高层往来节点的延迟和性能瓶颈问题。另外分布式缓存作为一个独立的中间件，避免了用户访问与缓存实现之间的耦合。

空间和时间是现实世界最基本、最重要的属性。许多空间应用系统，尤其是地理信息系统都需要表达地学对象的时空属性。例如在地籍变更、环境监测、城市演化等领域都需要管理历史变化数据，以便重建历史、跟踪变化、预测未来。人类对地学中时空概念的认知可以追溯到19世纪末2O 世纪初，文献中有当时对地貌循环、历史地理学的研究和对地域差异的研究的记载。说明了人类很早就认识到地学中时空相互作用的重要性。

空间和时间是地学对象的两个基本特征，是反映地学对象状态和演变过程的重要组成部分。在时空数据模型中，空间刻画了地学对象的空间位置分布和空间相关性；时间则刻画了地学对象的存在时间、变化状况和时间相关性。地学对象之间的空间关系往往随着时间而变化，与时间关系交织在一起就形成了多种时空关系。

时空数据面向专业性的特征决定了其应用的特殊性，首先时空数据需要遵循明确的标准规范；另外，时空数据一般是通过卫星传感器等数据采集设备采集而来的，因此对某一特定时空区间内的时空数据在生成后一般不会有改动操作，所以时空数据具有一次写入、多次读取的特征。

 传统的地理位置信息系统使用一些如四分树或者R-Tree来做地理位置索引。这些数据结构的内容需要被在适当的位置更新，并且如果数据量很大的话，操作成本会很高。另一个方法是可以遍历一个n维的数据结构并将其扁平成一个列表。一个众所周知的例子是由Universal B-Tree生成的地理哈希。一个地理哈希使用“之字形”的路线扫描一个n维空间最终可以将空间中的每一个点对应一个一维度的数值。

由此可见，时空数据具有许多专业性很强的组织特性，采用传统的缓存方式无法有效地对其进行索引缓存，即使通过修改使之能适应传统的缓存策略，缓存的存储结构也与时空特性无关。如果能有效地利用数据的时空特征，将时间或空间特征相近的数据缓存放置的物理位置相近，由数据访问的局部性原理可知，这样设计缓存的利用率较高，整个系统的吞吐量与响应速度也有较大提升。

发明内容

为解决上述问题，本发明的目的在于提供一种面向时空数据的分布式缓存系统，工作在用户对数据中心访问的中间层，能够在不改变用户原有访问方式的情况下，实现对时空特征的数据的缓存，以加快时空特征数据访问速度。

本发明的又一目的在于提供一种面向时空数据的分布式缓存方法，能够有效地解决时空特征数据的缓存问题。

为实现上述目的，本发明的技术方案为：

一种面向时空数据的分布式缓存系统，该分布式缓存系统包括多个分布式缓存集群，每个集群对应于一定空间特征范围的数据，不同集群负责的缓存范围有相互重叠，每个集群内部由若干缓存节点组成，同一集群内每个缓存节点所对应的空间特征范围信息都相同，但是每个缓存节点对应于不同时间范围内的空间数据信息。

优选地，当数据读取速度要求较高时，将请求的空间范围划分为若干段，将各段数据分配到不同的分发集群处理。

一种面向时空数据的分布式缓存方法，包括以下步骤：

S1，针对要处理的时空数据范围，对集群负责处理的范围进行划分，以及

S2，针对时空数据，在分布式缓存系统中选择适合的缓存节点，以及

S3，包括当用户访问数据命中与未命中时各种情况的处理，

其中S1包括以下子步骤，

S11，时空数据的空间索引范围确定，具体为，首先对整个系统中所存储的空间数据进行建模，分析其使用的维度范围，建立全局的Universal B-Tree用对多维空间进行划分，并使用Universal B-Tree中的Z值作为索引值，对每一个空间数据的特征点可以得到唯一的索引标识；

S12，对缓存集群与集群中的缓存节点的索引范围分配，具体为，对于缓存集群，首先根据空间数据特征索引有可能的范围，对当前系统中所有集群统一分配其对应空间范围，要求各个集群分配到的范围相互有重叠，并且其范围之并集覆盖整个空间范围；

其中S2包括以下子步骤，

S21，空间特征点选取，具体为，空间特征点提取可以根据空间数据元信息中表示空间信息的具体描述来选取； 

S22，目标缓存集群的选取，具体为，由S21中选择的空间特征点，根据S11中建立的Universal B-Tree确定该特征点所对应的空间索引标识，然后将S12中所有包含该索引的集群确定为备选集群；

S23，从备选集群中选择一个集群作为操作集群，用于承担此次的缓存操作；

S24，时间特征点提取，从空间数据的元信息中选取相应的时间特征点；

S25，目标缓存节点的选取，具体为，对S23中选取的时间特征点对某特定数值取模，将得到的结果作为选取集群内节点的索引号；

S3包括以下子步骤：

S31，缓存命中时的处理，在带操作集群中根据时间特征选择出待操作节点后，通过该节点间所需数据是否存在，若存在则直接返回；

S32，缓存未命中时的处理，缓存未命中时的处理分为两步，从数据中心直接向用户返回数据和将选取出数据分配到缓存系统中。

优选地，S21中，针对任意维度的空间信息，可以选取某一个向量作为其特征值向量，然后通过Universal B-Tree算法,将该特征值向量转化为单维度的索引值。

优选地，S23中从备选集群中选择一个集群作为操作集群，其选择方式可以分为随机选取和按条件选取，其中随机选取是在集群状态未知或状态参数没有更新时，采用的选取方法；按条件选取则是在各集群状态已知的情况下，通过选取负载最小的集群作为待操作集群的方法。

优选地，S24中，对于给定时空数据，若该时空数据的时间对应的为某一时刻，则选取该时刻的时间戳作为时间索引，否则若时空数据的时间为某一段时间，则选取这段时间的起点作为时间索引。

优选地，S32中，当用户所指定的时空特征数据在缓存中没用命中时，从数据中心取出该数据后，将该数据广播分发到每一个根据该数据空间特征选择出的备选集群中的每一个集群。

与现有技术相比，本发明的有益效果如下：

1、步骤S22及S24中，本发明实施例利用时空数据本身的元信息确定其缓存索引，而不依赖手工编目等操作，应用简单方便；

2、有效地利用了Universal B-Tree的划分算法，解决了高维度空间数据的编目索引问题，降低了计算索引的复杂度；

3、同一个索引值由多个目标集群负责，步骤S2中根据索引选出的缓存集群组后，再从中选择一个集群负责缓存任务，这样可以有效地根据网络环境等因素选择最佳处理集群，提高系统效率。

附图说明

图1为本发明实施例中面向时空数据的分布式缓存系统的结构图；

图2为本发明实施例中面向时空数据的分布式缓存方法的流程图；

图3为图2中S1的流程图；

图4为图2中S2的流程图；

图5为图2中S3的流程图；

图6为本发明实施例中面向时空数据的分布式缓存系统中的集群的对应空间范围分配图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

本发明中面向时空数据的分布式缓存系统体系结构如图1所示。其中整个分布式缓存系统由若干个分布式缓存集群构成。这些分布式集群本身可以置于同一位置，也可以异地分布，实际操作时，根据系统用户地理位置分布，可以在用户较多的地方放置缓存集群，以平衡整个系统的平均访问时间。另外如图1所示，每一个分布式缓存集群内部由若干缓存节点组成，这些节点按序编号，以便于根据时空数据中的时间特征可以直接选出唯一的一个缓存节点。

从图1中可以看出，该分布式系统从物理上分为两层，首先该分布式缓存系统由若干个分布式的缓存集群组成，而每个分布式缓存集群内含若干个缓存节点。该分布式系统从逻辑角度上也分为两层，首先该分布式系统根据时空特征中的空间特征划分为若干区段，这些区段互有重叠，并且所有区段的交集覆盖整个空间范围；其次对于每个空间区段内的节点，每一个负责离散的某些时间戳，具体地，对于一个时间戳，可以唯一地找到一个节点与之对应，而每一个节点可能会对应多个时间戳。

进一步地，该系统的物理层次与逻辑层次一一相对应。首先，逻辑上由空间特征划分的区段对应与物理上的一个集群；而逻辑上负责某一个时间戳的节点则对应物理集群中的某个具体节点。

由于每一个给缓存集群分配的空间特征区段有相互重叠，这就决定了对应于任何一份时空特征数据，在系统中都有多份缓存副本；当某一特定范围数据访问较为密集导致某一集群负载较重时，可以选择由另一包含相同空间区间范围数据的集群来处理数据访问请求。从而达到了整个缓存系统上负载均衡的效果。

在系统投入应用之前，首先要确定系统所面向的时空数据的范围，并针对空间特征信息 ，给系统中每一个缓存集群分配相应的空间索引范围段，以便通过根据空间特征信息选取一系列的可用的缓存集群。

进一步地，在其它应用实例中，当数据读取速度要求较高时，可以将请求的空间范围划分为若干段，将各段数据分配到不同的分发集群处理。这样可以防止单个集群的数据物理出口被过度占用，充分利用整个系统的带宽。

一种面向时空数据的分布式缓存方法，参考图2至图5，包括以下步骤：

S1，针对要处理的时空数据范围，对集群负责处理的范围进行划分，以及

S2，针对时空数据，在分布式缓存系统中选择适合的缓存节点，以及

S3，包括当用户访问数据命中与未命中时各种情况的处理，

其中S1包括以下子步骤，

S11，时空数据的空间索引范围确定，具体为，首先对整个系统中所存储的空间数据进行建模，分析其使用的维度范围后，建立全局的Universal B-Tree用对多维空间进行划分，并使用Universal B-Tree中的Z值作为索引值，对每一个空间数据的特征点可以得到唯一的索引标识；

S12，对缓存集群与集群中的缓存节点的索引范围分配，具体为，对于缓存集群，首先根据空间数据特征索引有可能的范围，对当前系统中所有集群统一分配其对应空间范围，要求各个集群分配到的范围相互有重叠，并且其范围之并集覆盖整个空间范围。

在一具体应用实例中，索引范围为Z0至Z5，而系统中总共有5个缓存集群，先将Z0至Z5的范围等分为4等分，其中间的索引值分别为Z1、Z2、Z3，取好这些值之后开始将空间一次分配给5个缓存集群，如图6所示，给5个集群依次分配上[Z0,Z2)、[Z1,Z3)、[Z2,Z4)、[Z3,Z5)、[Z4,Z5]U[Z0,Z1)，这样5个集群分配到的索引范围大小相等、两两相互重叠，并且并集覆盖整个空间索引区间的范围。

其中S2包括以下子步骤，

S21，空间特征点选取，具体为，空间特征点提取可以选取该数据某一个向量作为其特征值向量，然后通过Universal B-Tree算法,将该特征值向量转化为单维度的索引值； 

S22，目标缓存集群的选取，具体为，由S21中选择的空间特征点，根据S11中建立的Universal B-Tree确定该特征点所对应的空间索引标识，然后将S12中所有包含该索引的集群确定为备选集群；

S23，从备选集群中选择一个集群作为操作集群，其选择方式可以分为随机选取和按条件选取，其中随机选取是在集群状态未知或状态参数没有更新时，采用的选取方法；按条件选取则是在各集群状态已知的情况下，通过选取负载最小的集群作为待操作集群的方法；

S24，时间特征点提取，从空间数据的元信息中选取相应的时间特征点, 若该时空数据的时间对应的为某一时刻，则选取该时刻的时间戳作为时间索引，否则若时空数据的时间为某一段时间，则选取这段时间的起点作为时间索引；

S25，目标缓存节点的选取，具体为，对S23中选取的时间特征点对某特定数值取模，将得到的结果作为选取集群内节点的索引号；

S3包括以下子步骤：

S31，缓存命中时的处理，在带操作集群中根据时间特征选择出待操作节点后，通过该节点间所需数据是否存在，若存在则直接返回；

S32，缓存未命中时的处理，当用户所指定的时空特征数据在缓存中没用命中时，从数据中心取出该数据后，将该数据广播分发到每一个根据该数据空间特征选择出的备选集群中的每一个集群。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向时空数据的分布式缓存系统，其特征在于，该分布式缓存系统包括多个分布式缓存集群，每个集群对应于一定空间特征范围的数据，不同集群负责的缓存范围有相互重叠，每个集群内部由若干缓存节点组成，同一集群内每个缓存节点所对应的空间特征范围信息都相同，但是每个缓存节点对应于不同时间范围内的空间数据信息。

2.根据权利要求1所述的面向时空数据的分布式缓存系统，其特征在于，当数据读取速度要求较高时，将请求的空间范围划分为若干段，将各段数据分配到不同的分发集群处理。

3.一种面向时空数据的分布式缓存方法，其特征在于，包括以下步骤：

S1，针对要处理的时空数据范围，对集群负责处理的范围进行划分，以及

S2，针对时空数据，在分布式缓存系统中选择适合的缓存节点，以及

S3，包括当用户访问数据命中与未命中时各种情况的处理，

其中S1包括以下子步骤，

S11，时空数据的空间索引范围确定，具体为，首先对整个系统中所存储的空间数据进行建模，分析其使用的维度范围，建立全局的Universal B-Tree用对多维空间进行划分，并使用Universal B-Tree中的Z值作为索引值，对每一个空间数据的特征点可以得到唯一的索引标识；

S12，对缓存集群与集群中的缓存节点的索引范围分配，具体为，对于缓存集群，首先根据空间数据特征索引有可能的范围，对当前系统中所有集群统一分配其对应空间范围，要求各个集群分配到的范围相互有重叠，并且其范围之并集覆盖整个空间范围；

S2包括以下子步骤，

S21，空间特征点选取，具体为，空间特征点提取可以根据空间数据元信息中表示空间信息的具体描述来选取； 

S22，目标缓存集群的选取，具体为，由S21中选择的空间特征点，根据S11中建立的Universal B-Tree确定该特征点所对应的空间索引标识，然后将S12中所有包含该索引的集群确定为备选集群；

S23，从备选集群中选择一个集群作为操作集群，用于承担此次的缓存操作；

S24，时间特征点提取，从空间数据的元信息中选取相应的时间特征点；

S25，目标缓存节点的选取，具体为，对S23中选取的时间特征点对某特定数值取模，将得到的结果作为选取集群内节点的索引号；

S3包括以下子步骤：

S31，缓存命中时的处理，在带操作集群中根据时间特征选择出待操作节点后，通过该节点间所需数据是否存在，若存在则直接返回；

S32，缓存未命中时的处理，缓存未命中时的处理分为两步，从数据中心直接向用户返回数据和将选取出数据分配到缓存系统中。

4.根据权利要求3所述的面向时空数据的分布式缓存方法，其特征在于，S21中，针对任意维度的空间信息，可以选取某一个向量作为其特征值向量，然后通过Universal B-Tree算法,将该特征值向量转化为单维度的索引值。

5.根据权利要求3所述的面向时空数据的分布式缓存方法，其特征在于，S24中，对于给定时空数据，可以选取其时间维度上某一个点作为该数据的特征时间戳，并作为时间特征索引。

6.根据权利要求3中所述的面向时空数据的分布式缓存方法，其特征在于，S23中选择缓存节点时，首先根据待缓存的空间特征选取目的缓存集群，然后根据时间特征选取该集群中的某个节点将数据进行缓存。

7.根据权利要求6中所述的面向时空数据的分布式缓存方法，其特征在于，

根据待缓存数据的空间特征选取缓存集群时，首先提取出一个单维度的索引值，然后将包含该索引值的所有集群都纳入选择范围。

8.根据权利要求6中所述的面向时空数据的分布式缓存方法，其特征在于，根据用户指定空间特征选择目标数据时，首先根据空间特征选出满足要求的备选集群，然后根据集群的位置、负载情况等信息从备选集群中选择出一个理想的目标集群负责此次缓存的读取操作。

9.根据权利要求3所述的面向时空数据的分布式缓存方法，其特征在于，S25中，在根据空间特征选定某缓存集群之后，根据时间特征唯一地选定该集群中的某一个节点作为缓存的目标节点。

10.根据权利要求3所述的面向时空数据的分布式缓存方法，其特征在于，S32中，当用户所指定的时空特征数据在缓存中没用命中时，从数据中心取出该数据后，将该数据广播分发到每一个根据该数据空间特征选择出的备选集群中的每一个集群。

Images