CN107450860A - 一种基于分布式存储的地图文件预读方法 - Google Patents

Abstract

本发明公开了一种基于分布式存储的地图文件预读方法，实施步骤包括：存储服务器在响应地图客户端的请求时记录用户的屏幕中心点位置和时间戳，根据地图客户端最近N次请求的屏幕中心点位置预测下一次请求的屏幕中心点位置，基于floodfill算法连接所有下一次请求的屏幕中心点位置对应的屏幕区域的所有图像文件中未读取的图像文件作为预测的地图文件并向后端存储发读请求，将预测的地图文件提前读取并传送到地图客户端的缓存中。本发明将预测的地图文件读取并传送到地图客户端的缓存中，地图客户端在浏览当前地图页面的同时，已经从存储服务器预读并缓存了部分将要读取的页面对应的文件，提高了缓存利用率，从而减少了用户操作时的延迟。

Description

一种基于分布式存储的地图文件预读方法

技术领域

本发明涉及互联网地图浏览加速技术，具体涉及一种基于分布式存储的地图文件预读方法，用于通过设计分布式存储的预读算法加速地图浏览速度。

背景技术

计算机通过文件系统来管理数据，随着数据量的增长，无论是在存储量上还是并发性上，单点文件系统都不能满足需求，分布式存储应运而生。分布式存储不仅存储空间大，而且不受地域限制，物理介质可以分布在不同地点，通过良好的负载均衡算法，可以将文件均匀地分散到各存储服务器上，有利于减小大规模并行访问时的压力。另外，通过对关键数据进行备份，可以有效防止数据丢失。但是，相比于本地文件系统，分布式存储也存在限制，比如要访问一个文件时，需要经过网络进行传输，相比于从本地磁盘读取需要有较长的等待时间，尤其是在处理海量小文件时延迟更加明显。

海量小文件问题又称LOSF（Lots of Small Files），而且通常小文件的大小不一、混合存储，所以对文件元数据管理以及存取效率等造成挑战。随着社交类网站和电子商务网站的兴起，它们经常需要在服务器上存储上亿级别数量的地图文件，所以不得不设计针对于小文件的系统进行存储。但是，就现有的文件系统而言，无论是本地存储、分布式存储还是对象存储，都是针对大文件设计的，在数据管理策略上也侧重于大文件，在管理海量小文件时效率明显下降。

元数据管理、缓存管理、数据分布以及网络开销等都可以影响小文件读取效率，针对这些问题对应的优化思路主要有两种，其一是减少数据访问次数，其二是减少每次访问占用的时间，对应的解决方式就是合并小文件、优化元数据管理方式、增大缓存命中率等。提到缓存命中率，不得不说的就是预读算法，好的预读算法就能大幅度提高缓存命中率。现有的预读方法主要是顺序预读，采用的流水线式的方法，在顺序读取一个远大于页大小的文件时效果明显，未针对小文件做改进。

地图通常将投影技术，将地球近似为标准球体，然后投影到与地球赤道相切的圆柱面上，将圆柱面展开后就得到一个矩形的投影面。地图会将投影面均等化分成偶数个子区域，划分为多少个子区域就会对应有多少地图图像数据文件，然后将地图图像数据读取到对应区域便可在地图客户端中显示。以Google Map为例，就是采用Spherical Mercator投影，并根据缩放倍数将地图进行分割，并把分割出的每个子区域都由256*256像素的地图文件来存储和显示，可见地图图像文件符合上述的海量小文件的特点。同时，因为地图图像数据是对整个地图对应得地图文件进行均等化分，其大小一致，并且可以按照合理的方式进行规则命名，一般可以将地图上的地图文件映射的矩形上，然后矩形横向和纵向都可以从一个数字递增，比如(x_013,y_008)可以代表横向第13、纵向第8张地图文件，所以其有不同于其他小文件的特有特点。

综上所述，现有的分布式存储中储存大规模的地图文件由于海量小文件问题以及网络传输所占时间，导致读取地图时存在延迟，影响互联网地图浏览的体验。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种结合分布式存储系统和地图文件的特点实现预读，能够缓解海量地图文件读取和传输的造成的网络延迟的基于分布式存储的地图文件预读方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于分布式存储的地图文件预读方法，实施步骤包括：

1）存储服务器在响应地图客户端的请求时记录用户的屏幕中心点位置和时间戳；

2）根据地图客户端最近N次请求的屏幕中心点位置预测下一次请求的屏幕中心点位置；

3）根据预测的下一次请求的屏幕中心点位置对应地图文件的读取情况来确定起点，并基于floodfill算法连接所有下一次请求的屏幕中心点位置对应的屏幕区域的所有图像文件中未读取的图像文件作为预测的地图文件并向后端存储发读请求；

4）将预测的地图文件提前读取并传送到地图客户端的缓存中。

优选地，步骤1）的详细步骤包括：

1.1）存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕分辨率将地图客户端的屏幕抽象为一个矩形，且根据矩形的大小、地图文件的图片分辨率及大小计算矩形所能够覆盖的地图文件的地图文件数量；

1.2）根据所述矩形四个角的地图文件名称以及预设的命名规则计算出矩形中间的地图文件的文件名称，并获取该文件名称对应的坐标作为屏幕中心点位置；

1.3）保存屏幕中心点位置以及对应的时间戳。

优选地，步骤1.3）中保存屏幕中心点位置以及对应的时间戳具体是指将屏幕中心点位置以及对应的时间戳保存在该地图客户端的用户对应的一条元组里，如果地图客户端超过指定时间未发送请求或者地图客户端关闭则自动删除该地图客户端的用户对应的元组。

优选地，所述元组的元素以时间戳为主键、屏幕中心点位置为值进行保存，且元组的元素按照时间倒序排列。

优选地，步骤2）的详细步骤包括：

2.1）获取地图客户端最近N次请求的屏幕中心点位置；

2.2）计算最近N次请求中相邻请求的屏幕中心点位置之间的位移矢量；

2.3）根据前述位移矢量推算本次请求和下一次请求的位移矢量；

2.4）根据本次请求时的屏幕中心点位置、本次请求和下一次请求的位移矢量计算得到下一次请求的屏幕中心点位置。

优选地，步骤2.1）中的N取值为3。

优选地，步骤2.3）中推算本次请求和下一次请求的位移矢量的函数表达式如式（1）所示；

v3=（x*v1+y*v2）/z （1）

式（1）中，v3为本次请求和下一次请求的位移矢量，v2为本次请求和上一次请求的位移矢量，v1为上上次请求和上一次请求的位移矢量，x,y,z为系数，其中x为上上次请求和上一次请求的位移的影响因子，y为本次请求和上一次请求的位移的影响因子，z为最近两次位移对整个预测过程的影响因子，分母z的值应该大于x和y的和。

优选地，系数x取值为1，系数y取值为4，系数z取值为10。

优选地，存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕抽象的矩形所能够覆盖的地图文件的地图文件数量创建一个动态二维数组且初始置0，所述动态二维数组中的每一个元素对应地图客户端的屏幕覆盖的一个地图文件；步骤3）的详细步骤包括：

3.1）根据预测的下一次请求的屏幕中心点位置获取下一次请求的屏幕中心点位置对应地图文件的文件名称，根据该文件名称确定预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素，判断预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素的值是否为1，如果值为0则跳转执行步骤3.2）；否则，跳转执行步骤3.3）；

3.2）以预测的下一次请求的屏幕中心点位置作为起点，跳转执行步骤3.4）；

3.3）按照本次请求和下一次请求的位移矢量的方向，移动到第一个值为0的动态二维数组中的对应的元素对应的位置作为起点，跳转执行步骤3.4）；

3.4）使用floodfill算法依次连接起动态二维数组中所有值为0的元素对应的点；

3.5）就连接的点所对应的地图文件向后端的存储发出请求；

3.6）将从后端存储读取的地图文件在动态二维数组中对应的位置的值置1。

本发明基于分布式存储的地图文件预读方法具有下述优点：当地图客户端向存储服务器读取地图照片文件时，针对地图照片文件的特点，本发明通过存储服务器在响应地图客户端的请求时记录用户的屏幕中心点位置和时间戳，根据地图客户端最近N次请求的屏幕中心点位置预测下一次请求的屏幕中心点位置，根据预测的下一次请求的屏幕中心点位置对应地图文件的读取情况来确定起点，并基于floodfill算法连接所有下一次请求的屏幕中心点位置对应的屏幕区域的所有图像文件中未读取的图像文件作为预测的地图文件并向后端存储发读请求，将预测的地图文件提前读取并传送到地图客户端的缓存中，地图客户端在浏览当前地图页面的同时，已经从存储服务器预读并缓存了部分将要读取的页面对应的文件，提高了缓存利用率，从而减少了用户操作时的延迟。

附图说明

图1为本发明实施例的基本原理示意图。

图2为本发明实施例的详细流程示意图。

具体实施方式

如图1所示，本实施例基于分布式存储的地图文件预读方法的实施步骤包括：

1）存储服务器在响应地图客户端的请求时记录用户的屏幕中心点位置和时间戳；

2）根据地图客户端最近N次请求的屏幕中心点位置预测下一次请求的屏幕中心点位置；

3）根据预测的下一次请求的屏幕中心点位置对应地图文件的读取情况来确定起点，并基于floodfill算法连接所有下一次请求的屏幕中心点位置对应的屏幕区域的所有图像文件中未读取的图像文件作为预测的地图文件并向后端存储发读请求；

4）将预测的地图文件提前读取并传送到地图客户端的缓存中。

如图2所示，步骤1）的详细步骤包括：

1.1）存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕分辨率将地图客户端的屏幕抽象为一个矩形，且根据矩形的大小、地图文件的图片分辨率及大小计算矩形所能够覆盖的地图文件的地图文件数量；

1.2）根据所述矩形四个角的地图文件名称以及预设的命名规则计算出矩形中间的地图文件的文件名称，并获取该文件名称对应的坐标作为屏幕中心点位置；

1.3）保存屏幕中心点位置以及对应的时间戳。

本实施例中，步骤1.3）中保存屏幕中心点位置以及对应的时间戳具体是指将屏幕中心点位置以及对应的时间戳保存在该地图客户端的用户对应的一条元组里，如果地图客户端超过指定时间（2分钟）未发送请求或者地图客户端关闭则自动删除该地图客户端的用户对应的元组。本实施例中，元组的元素以时间戳为主键、屏幕中心点位置为值进行保存，且元组的元素按照时间倒序排列。保存屏幕中心点位置是为了预测下一个中心点，从而判定要预读的图像文件，因为用户的操作是具有连续性的，所以越是临近的点指导性越强，这里将用户一次划动地图时产生的中心点和时间戳保存在一条元组里，以时间戳为主键，并按照时间倒序排列，从而快速地取出最近记录。尽管所保存的一条中心点和时间戳数据占有存储很小，但持续性保存依然会占用大量资源，这里设计有两种原因会将其清零，超过2分钟未移动任何图像以及关闭地图应用都会清理。

本实施例中，步骤2）的详细步骤包括：

2.1）获取地图客户端最近N次请求的屏幕中心点位置；

2.2）计算最近N次请求中相邻请求的屏幕中心点位置之间的位移矢量；

2.3）根据前述位移矢量推算本次请求和下一次请求的位移矢量；

2.4）根据本次请求时的屏幕中心点位置、本次请求和下一次请求的位移矢量计算得到下一次请求的屏幕中心点位置。

因为经过试验，当N=3时的效率最高，所以本实施例中，步骤2.1）中的N取值为3，即步骤2.1）中获取地图客户端最近3次请求的屏幕中心点位置，即根据用户过去三次划动地图在屏幕上看到的中心位置，步骤2.2）中计算最近3次请求中相邻请求的屏幕中心点位置之间的位移矢量，以便步骤2.3）根据前述位移矢量推算本次请求和下一次请求的位移矢量。

本实施例中，步骤2.3）中推算本次请求和下一次请求的位移矢量的函数表达式如式（1）所示；

v3=（x*v1+y*v2）/z （1）

式（1）中，v3为本次请求和下一次请求的位移矢量，v2为本次请求和上一次请求的位移矢量，v1为上上次请求和上一次请求的位移矢量，x,y,z为历史位移对预测下次位移的影响因数，其中x为上上次请求和上一次请求的位移的影响因子，y为本次请求和上一次请求的位移的影响因子，z为最近两次位移对整个预测过程的影响因子，且z的值大于x和y的和（用于避免历史操作对预测结果影响过大）。且根据N取值的不同，各个请求之间的位移的影响因子取值也会有所不同，各个请求之间的位移的影响因子取值根据经验或试验才能找到最佳值。本实施例中，系数x取值为1，系数y取值为4，系数z取值为10。

设时间距离最近的三个显示中心坐标为A，B，C，则可求得两个操作间的显示中心位移矢量，设为v1 = B-A ，v2 = C-B，下一次移动的位移矢量用v3=（x*v1+y*v2）/z来表示。依据局部性原理，离下次操作越近的操作参考价值也越大，本实施例中确定系数x、y分别为1和4。同时，依据日常生活经验，常人在地图上寻找特定位置时，通常连续的平移操作距离会越来越小，即移动越来越精确，这里设定每次移动的距离会减半，即z为10，C + v3即为预测下一次操作后的显示中心；如图2所示，本实施例中选取最近三次屏幕中心点对应的图片的坐标分别记为(x1,y1),(x2,y2),(x3,y3)，根据坐标求出这三个点之间的矢量距离，分别为v1 = (x2-x1,y2-y1)，v2 = (x3-x2,y3-y2)。之后，通过公式v3 = (v1+v2*4)/10计算出的矢量值作为下一次移动方向和距离的估算值，再加上当前的位置（x0,y0）即为下一次中心点坐标。

本实施例中，存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕抽象的矩形所能够覆盖的地图文件的地图文件数量创建一个动态二维数组且初始置0，所述动态二维数组中的每一个元素对应地图客户端的屏幕覆盖的一个地图文件。动态二维数组并在创建时将数组取值默认置0，当地图端从后端存储读取文件时会更新动态二维数组的相应位置为1，所以虽然动态二维数组初始置0，但在运行过程中是随时改变的。如图2所示，步骤3）的详细步骤包括：

3.1）根据预测的下一次请求的屏幕中心点位置获取下一次请求的屏幕中心点位置对应地图文件的文件名称，根据该文件名称确定预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素，判断预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素的值是否为1，如果值为0则跳转执行步骤3.2）；否则，跳转执行步骤3.3）；

3.2）以预测的下一次请求的屏幕中心点位置作为起点，跳转执行步骤3.4）；

3.3）按照本次请求和下一次请求的位移矢量的方向，移动到第一个值为0的动态二维数组中的对应的元素对应的位置作为起点，跳转执行步骤3.4）；

3.4）使用floodfill算法依次连接起动态二维数组中所有值为0的元素对应的点；

3.5）就连接的点所对应的地图文件向后端的存储发出请求；

3.6）将从后端存储读取的地图文件在动态二维数组中对应的位置的值置1。

如图2所示，当中心点对应位置取值为0时，本实施例中直接以预测的中心点为起点，使用floodfill算法依次连接起动态二维数组所有为0的点，否则就按照矢量v3的方向移动到第一个为0的位置并以此位置代替预测的中心点为起点。使用floodfill算法涵盖的动态二维数组中的点对应的图像文件即是实际需要预取的图片，据此向后端存储发请求。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于分布式存储的地图文件预读方法，其特征在于实施步骤包括：

1）存储服务器在响应地图客户端的请求时记录用户的屏幕中心点位置和时间戳；

2）根据地图客户端最近N次请求的屏幕中心点位置预测下一次请求的屏幕中心点位置；

3）根据预测的下一次请求的屏幕中心点位置对应地图文件的读取情况来确定起点，并基于floodfill算法连接所有下一次请求的屏幕中心点位置对应的屏幕区域的所有图像文件中未读取的图像文件作为预测的地图文件并向后端存储发读请求；

4）将预测的地图文件提前读取并传送到地图客户端的缓存中。

2.根据权利要求1所述的基于分布式存储的地图文件预读方法，其特征在于，步骤1）的详细步骤包括：

1.1）存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕分辨率将地图客户端的屏幕抽象为一个矩形，且根据矩形的大小、地图文件的图片分辨率及大小计算矩形所能够覆盖的地图文件的地图文件数量；

1.2）根据所述矩形四个角的地图文件名称以及预设的命名规则计算出矩形中间的地图文件的文件名称，并获取该文件名称对应的坐标作为屏幕中心点位置；

1.3）保存屏幕中心点位置以及对应的时间戳。

3.根据权利要求2所述的基于分布式存储的地图文件预读方法，其特征在于，步骤1.3）中保存屏幕中心点位置以及对应的时间戳具体是指将屏幕中心点位置以及对应的时间戳保存在该地图客户端的用户对应的一条元组里，如果地图客户端超过指定时间未发送请求或者地图客户端关闭则自动删除该地图客户端的用户对应的元组。

4.根据权利要求3所述的基于分布式存储的地图文件预读方法，其特征在于，所述元组的元素以时间戳为主键、屏幕中心点位置为值进行保存，且元组的元素按照时间倒序排列。

5.根据权利要求2所述的基于分布式存储的地图文件预读方法，其特征在于，步骤2）的详细步骤包括：

2.1）获取地图客户端最近N次请求的屏幕中心点位置；

2.2）计算最近N次请求中相邻请求的屏幕中心点位置之间的位移矢量；

2.3）根据前述位移矢量推算本次请求和下一次请求的位移矢量；

2.4）根据本次请求时的屏幕中心点位置、本次请求和下一次请求的位移矢量计算得到下一次请求的屏幕中心点位置。

6.根据权利要求5所述的基于分布式存储的地图文件预读方法，其特征在于，步骤2.1）中的N取值为3。

7.根据权利要求6所述的基于分布式存储的地图文件预读方法，其特征在于，步骤2.3）中推算本次请求和下一次请求的位移矢量的函数表达式如式（1）所示；

v3=（x*v1+y*v2）/z （1）

式（1）中，v3为本次请求和下一次请求的位移矢量，v2为本次请求和上一次请求的位移矢量，v1为上上次请求和上一次请求的位移矢量，x,y,z为系数，其中x为上上次请求和上一次请求的位移的影响因子，y为本次请求和上一次请求的位移的影响因子，z为最近两次位移对整个预测过程的影响因子，分母z的值应该大于x和y的和。

8.根据权利要求7所述的基于分布式存储的地图文件预读方法，其特征在于，系数x取值为1，系数y取值为4，系数z取值为10。

9.根据权利要求5所述的基于分布式存储的地图文件预读方法，其特征在于，存储服务器预先在首次响应地图客户端的请求时根据地图客户端的屏幕抽象的矩形所能够覆盖的地图文件的地图文件数量创建一个动态二维数组且初始置0，所述动态二维数组中的每一个元素对应地图客户端的屏幕覆盖的一个地图文件；步骤3）的详细步骤包括：

3.1）根据预测的下一次请求的屏幕中心点位置获取下一次请求的屏幕中心点位置对应地图文件的文件名称，根据该文件名称确定预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素，判断预测的下一次请求的屏幕中心点位置在动态二维数组中对应的元素的值是否为1，如果值为0则跳转执行步骤3.2）；否则，跳转执行步骤3.3）；

3.2）以预测的下一次请求的屏幕中心点位置作为起点，跳转执行步骤3.4）；

3.3）按照本次请求和下一次请求的位移矢量的方向，移动到第一个值为0的动态二维数组中的对应的元素对应的位置作为起点，跳转执行步骤3.4）；

3.4）使用floodfill算法依次连接起动态二维数组中所有值为0的元素对应的点；

3.5）就连接的点所对应的地图文件向后端的存储发出请求；

3.6）将从后端存储读取的地图文件在动态二维数组中对应的位置的值置1。