CN103812934A

CN103812934A - 基于云存储系统的遥感数据发布方法

Info

Publication number: CN103812934A
Application number: CN201410040809.7A
Authority: CN
Inventors: 吴朝晖; 刘娜; 陶金火; 陈华钧; 杨建华; 郑国轴
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2014-01-28
Filing date: 2014-01-28
Publication date: 2014-05-21
Anticipated expiration: 2034-01-28
Also published as: CN103812934B

Abstract

本发明公开了一种基于云存储系统的遥感数据发布方法，该遥感数据发布方法中选定最佳数据服务器，将待发布遥感数据划分为若干个分段遥感数据，客户端将每个分段遥感数据上传至一个相应的最佳数据服务器，且各个最佳数据服务器的分段遥感数据与对应的数据ID在数据服务器中的存储位置连续。本发明的遥感数据发布方法中利用云存储系统，采用分布式的、共享的遥感数据发布方法，让不同单位的数据以分布式共享的方式进行数据发布，各个用户可以方便的共享的数据服务器上的数据，同时采用顺序读写，大大提高的数据发布、存储及同步的效率。

Description

基于云存储系统的遥感数据发布方法

技术领域

本发明涉及遥感影像技术领域，尤其涉及一种基于云存储系统遥感数据的发布方法。

背景技术

遥感信息技术是随着空间技术的进步兴起的一种探测技术，是根据电磁波的理论，应用各种传感仪器对远距离目标所辐射和反射的电磁波信息，进行收集、处理，并最后成像，从而对地面各种景物进行探测和识别的一种综合技术。该技术可以宏观地、远距离地对地球及其外围空间进行感知和信息获取。

遥感影像是空间信息的重要数据之一，广泛用于地质与洪涝灾害监测、农业与森林资源调查、土地利用与城市规划和军事领域。该数据依靠人造卫星、飞机或其他飞行器上获取，因此获取成本较高。近年来，随着空间科学和对地观测技术的发展，遥感影像数据的数据年呈现指数增长的趋势，对海量遥感影像数据的有效管理变得日益重要。遥感影像数据作为一种有重要研究价值的数据。当前由多个专门且互相独立的国家单位进行采集与生产。各个单位对数据进行采集与再生产后，均需要将数据发布出去以供各行各业有需要的人进行下载与使用。

遥感数据发布具有批量性、单个数据大、数据流量高、数据总量大的特点；同时具备删除与更新操作较少的特点。

当前国内的遥感数据发布状况，是一种集中的、独立的发布方法。各个单位独立发布，各家数据集中式存储在各自的服务器中，当用户需要获取数据时，需要去查询各个不同的单位上的数据，且需要去特定单位的服务器上进行下载。

为此，迫切需要一种分布式的、共享的遥感数据发布方法，让不同单位的数据以分布式共享的方式进行数据发布；同时为数据使用者提供统一的访问方式，用户可到该分布式系统中查询到所有单位的数据，同时需考虑到数据发布的效率与可靠性，以及用户获取数据的快捷与高效性。

发明内容

针对现有技术的不足，本发明提供了一种基于云存储系统的遥感数据发布方法。

一种基于云存储系统的遥感数据发布方法，所述的云存储系统包括若干个数据服务器和客户端，以及一个目录服务器，所述的发布方法包括：

（1）用户向客户端输入发布请求和待发布遥感数据，所述的发布请求携带有用户信息以及待发布遥感数据的数据名称和数据大小；

（2）客户端根据发布请求以及客户端接收该发布请求的时间生成相应的数据ID，并根据所述的数据大小、云存储系统的网络状态以及各个数据服务器的工作状态选择N个最佳数据服务器；

（3）客户端将待发布遥感数据的数据ID和各个最佳数据服务器的地址发送到目录服务器中；

（4）客户端根据最佳数据服务器的个数、待发布遥感数据的数据大小以及数据大小阈值，获取各个分段遥感数据的分段偏移量，并根据分段偏移量将待发布遥感数据划分为N个分段遥感数据；

（5）客户端将数据ID上传至N个最佳数据服务器中，并按照分段遥感数据的分段偏移量将分段遥感数据上传至对应的最佳数据服务器；

（6）最佳数据服务器接收到数据ID和数据分段后，将分段遥感数据连续存储于最佳数据服务器中，并保存数据ID与分段遥感数据在该最佳数据服务器中的存储地址的对应关系；

（7）用户通过客户端向目录服务器发送操作命令和数据ID，完成下载操作、删除操作和更新操作。

所述步骤（4）中的分段偏移量指分段数据起始位置距离整个数据开始位置的字节数。

所述步骤（5）中的存储地址指分段遥感数据在相应的最佳数据服务器的存储空间中位置。

所述步骤（5）中将数据ID上传至所有最佳数据服务器中，N个分段遥感数据分别上传至N个最佳数据服务器中，一个分段遥感数据上传至一个最佳数据服务器中，各个分段遥感数据与最佳数据服务一一对应，上传时将分段遥感数据的分段偏移量与最佳服务器的地址按照一定的顺序相互对应。

所述步骤（6）中的连续存储是指分段数据上传至相应的最佳数据服务器时，实际上可理解为是一份份的上传的，数据服务器根据接收到的时间，将每一份存储自身存储空间中的连续位置。

本发明中所述的云存储系统的网络状态指客户端与各个数据服务器之间的通信状态。

数据ID是客户端根据数据发布的时间，用户信息，以及数据的属性（包括数据名称，数据大小等）生成的一个字符串，生成规则可以自己定义，比如说把发布时间、用户信息、数据属性拼接后再进行加密。

本发明的遥感数据发布方法中选定最佳数据服务器，将待发布遥感数据划分为若干个分段遥感数据，客户端按照分段遥感数据的分段地址将每个分段遥感数据上传至一个相应的最佳数据服务器，且各个最佳数据服务器的分段遥感数据与对应的数据ID在数据服务器中的存储位置连续。由于文件系统的顺序读写效率约为随机读写效率的10000倍，而且数据发布是一个流式的过程，本发明的遥感数据发布方法中分片遥感数据按照时间戳顺序进行顺序存储，顺序读写，能够大大提高的数据发布及存储效率。

为提高系统的可靠性，本发明的遥感数据发布方法在发布完成后，还对分段遥感数据进行备份，即各个最佳数据服务器将自身存储的分段遥感数据发送到其他最佳数据服务器，使每个最佳数据服务器上最终都保存有一个完整的遥感数据，作为备份。

所述步骤（2）中确定最佳数据服务器包括：

（2-1）客户端向所述的云存储系统中所有数据服务器发送测试信号；

（2-2）数据服务器接收到的测试信号后根据自身的业务量判断是否响应该测试信号，确定响应测试信号的数据服务器向客户端发送相应的响应信号；

（2-3）客户端接收数据服务器发送的响应信号，选择在设定时间内接收到的响应信号作为有效响应信号；

（2-4）根据有效响应信号的个数，以及响应时间确定最佳数据服务器的个数N，并选择接收到的前N个有效响应信号对应的数据服务器作为最佳数据服务器。

当客户端与数据服务器不能正常通信时，客户端不能成功的将待发布遥感数据能够顺利上传至数据服务器上。所谓的不能正常通信有2中情况，以后总是网络状态不好，另一种是服务器繁忙。因此，为保证待发布遥感数据能够顺利发布，只有处于空闲状态的数据服务器且与客户端的网络状态良好的数据服务器才能存储待发布遥感数据。此外，为提高发布效率，首先确定可以接收客户端发送的测试信号，并且自身状态空闲的数据服务器，然后优选响应该测试信号较快（即选择前接收到的前N个响应信号对应的数据服务器）的作为最佳数据服务器存储待发布遥感数据。

本发明中若有效响应信号的个数为零，即在设定的时间内客户端没有接收到响应信号，则认为网络状态不佳或者所有服务器繁忙，发布失败。因为需要重新进行发布流程。

所述步骤（2-2）中若数据服务器的业务量大于50，则认为数据服务器繁忙，不响应所述的测试信号；

数据服务器的工作状态包括繁忙和空闲两种，繁忙时不执行新的任务。数据服务器是否繁忙取决于的业务量以及数据服务器自身性能。

所述步骤（2-3）中设定的时间为10～200ms。

能够在这个时间范围内进行响应，就说明客户端与数据服务器之间的网络状况良好，那么数据发布效率会比较高。

所述步骤（2-4）中N的取值如下：

（a）若D≤S，则N=1；

（b）若D>S，且K≤M，则N=K；

否则，N=M，其中D为待发布遥感数据的数据大小，S为数据大小阈值，K=[D/S]，[D/S]表示对[D/S]向下取整，M为有效响应信号的个数。

S可根据数据服务器的存储性能（主要是数据服务器的存储器的磁盘容量）设定，为提高发布效率和各个数据服务器的利用率，S最好设置为磁盘块容量大小的整数倍，以便于提高寻址和数据读写速度。

所述步骤（4）包括以下步骤：

（4-1）确定分段遥感数据的个数和分段遥感数据的数据大小：

若N=1，则不划分，

若N=K，则将待发布遥感数据顺序划分为N个分段遥感数据，前N-1的分段遥感数据的数据大小为S，最后一个分段遥感数据的数据大小为D-(N-1)×S，

若N=M，则将数待发布遥感数据顺序划分为N个分段遥感数据，每个分段遥感数据的数据大小D/N；

（4-2）根据分段遥感数据的数据大小确定各个分段遥感数据的分段偏移量：

（4-3）根据分段遥感数据的分段偏移量将所述的待发布分段遥感数据划分为N个分段遥感数据。

N=1时直接将整个遥感数据上传至最佳数据服务器中，此时也相应功能的不存在分段偏移量。否则，根据将遥感数据划分为N个分段遥感数据，各个遥感数据的大小根据实际情况确定。划分时，先确定各个分段遥感数据的大小，然后根据大小，按照寻顺序对遥感数据划分，可以从遥感数据的头部开始也可以从尾部开始，依次分割得到各个分段遥感数据。分段偏移量由分段遥感数据在整个遥感数据中所处的位置决定。

所述步骤（7）中的下载操作包括：

（7-11）用户向客户端输入下载请求以及待下载遥感数据的数据ID；

（7-12）客户端根据下载请求和待下载遥感数据的数据ID，从目录服务器中获取待下载遥感数据的数据ID对应的数据服务器的地址；

（7-13）客户端根据获取的数据服务器的地址，将数据ID以及下载请求发送到各个与获取的数据服务器的地址对应的数据服务器，数据服务器根据该数据ID与存储地址数据ID的对应关系获取该数据ID对应的分段遥感数，并返回给客户端；

（7-14）客户端根据（7-12）获取的数据服务器的地址将所有返回的分段遥感数据合并得到待下载遥感数据，完成下载操作。

发布时，各个分段遥感数据是按顺序存储在各个数据服务器中，因此只要获取遥感数据对应的最佳数据服务器的地址，即能够根据最佳数据服务器的地址将各个最佳数据服务器中的分段遥感数据的组合还原得到完整的遥感数据。

所述步骤（7）中的删除操作包括：

（7-21）用户向客户端输入删除请求和待删除遥感数据的数据ID；

（7-22）客户端根据输入删除请求和待删除遥感数据的数据ID从目录服务器中获取待删除遥感数据的数据ID对应的数据服务器地址，删除该数据ID对应的数据服务器地址，并将删除请求和待删除遥感数据的数据ID发送给对应的数据服务器地址；

（7-23）各个数据服务器根据删除请求和待删除遥感数据的数据ID将相同的数据ID标记为删除；

（7-24）各个数据服务器分别统计所有标记为删除的数据ID对应的分段遥感数据的数据总量，若数据总量达到设定的容量阈值，删除标记为删除的数据ID以及各个标记为删除的数据ID对应的分段遥感数据和对应关系。

由于遥感数据发布具有批量性、单个数据大、数据流量高、数据总量大且删除操作较少的特点，因此为了避免数据服务器，频繁执行删除操作，可以待数据量达到特定值后在执行删除操作。

作为优选，为保证数据服务器的工作效率，可以在数据总量达到设定的容量阈值后继续检测数据服务器自身的工作状态，若空闲则删除，否则，就等待，每个一定时间检测数据服务器的状态，空闲时再删除。

由于删除后，数据服务器坑内存在不连续的空间，不利于下一次遥感数据的发布，数据服务器完成删除操作后还整理数据服务器的存储空间。其中整理存储空间即通常的磁盘碎片整理，使空出的存储空间形成连续存储空间，为下一次遥感数据发布作准备。

所述步骤（7）中的更新操作依次执行所述的删除操作和发布操作。

先通过删除操作该待更新遥感数据对应的数据服务器中相应的内容删掉，然后再进行发布操作，重新将新遥感数据存储到对应的数据服务器。

所述步骤（7-24）设定的容量阈值为数据服务器的总容量的25%～45%。

容量阈值为数据服务器的总容量的百分比小，则数据服务器的存储器（存储空间，即磁盘）的利用率会比较高，但是整理的频次会增加；范围大，整理的频次会降低，但是磁盘利用率也会降低。综合考虑整理频次与磁盘利用率，作为优选，容量阈值为数据服务器的总容量的25%～45%。

为便于用户查询和检索，本发明还提供了各个遥感数据的元数据，完成遥感数据发布后，并将元数据上传至目录服务器，且目录服务器将该元数据存储在与数据ID对应的存储单元中，并根据目录服务器中存储的最佳数据服务器的地址和待发布遥感数据对应的元数据生成相应的门户信息并通过门户网站进行显示。这样克服了遥感数据查询和检索困难的问题。

本发明的遥感数据发布方法中利用云存储系统，采用分布式的、共享的遥感数据发布方法，让不同单位的数据以分布式共享的方式进行数据发布，各个用户可以方便的共享的数据服务器上的数据，同时采用顺序读写，大大提高的数据发布、存储及同步的效率。

具体实施例

下面将结合具体实施例对本发明的基于云存储系统的遥感数据发布方法进行详细说明。

本发明的基于云存储系统的遥感数据发布方法，基于云存储系统，本实施例中的云存储系统包括100个数据服务器，50个客户端和一个目录服务器。

本实施例的基于云存储系统的遥感数据发布方法，包括：

（1）用户向客户端输入发布请求和待发布遥感数据，该发布请求携带有用户信息和待发布遥感数据的数据名称和数据大小；

（2）客户端根据发布请求以及客户端接收该发布请求的时间生成相应的数据ID，并根据所述的数据大小、云存储系统的网络状态以及各个数据服务器的工作状态选择N个最佳数据服务器，具体如下：

（2-1）客户端向云存储系统中所有数据服务器发送测试信号；

（2-2）数据服务器接收到的测试信号后根据自身的业务量判断是否响应该测试信号，确定响应测试信号的数据服务器向客户端发送相应的响应信号：

若数据服务器的业务量大于50，则认为数据服务器繁忙，不响应该测试信号；

否则，则认为数据服务器空闲，响应该测试信号。

（2-3）客户端接收数据服务器发送的响应信号，选择在设定时间内（本实施例中1s内）接收到的响应信号作为有效响应信号；

（2-4）根据有效响应信号的个数，以及响应时间确定最佳数据服务器的个数N，并选择接收到的前N个有效响应信号对应的数据服务器作为最佳数据服务器，若：

（a）D≤S，则N=1；

（b）D>S，且K≤M，则N=K；

否则，N=M，其中D为待发布遥感数据的数据大小，S为数据大小阈值，K=[D/S]，[D/S]表示对[D/S]向下取整，。

本实施例中D=2048M，S=64M，M=50，确定得到的N=32。

（4）客户端根据最佳数据服务器的个数、待发布遥感数据的数据大小以及数据大小阈值，获取各个分段遥感数据的分段偏移量，并根据分段偏移量将待发布遥感数据划分为N个分段遥感数据，具体如下：

若N=1，则不划分，

本实施例中将待发布遥感数据划分为32个分段遥感数据，各个分段遥感数据的大小分别为64M。

（5）客户端将数据ID上传至N个最佳数据服务器中，并按照分段遥感数据的分段偏移量将分段遥感数据上传至对应的最佳数据服务器，即将数据ID上传至所有最佳数据服务器中，N个分段遥感数据分别上传至N个最佳数据服务器中，一个分段遥感数据上传至一个最佳数据服务器中，各个分段遥感数据与最佳数据服务一一对应，上传时将分段遥感数据的分段偏移量与最佳服务器的地址按照一定的顺序相互对应。

（7）用户通过客户端向目录服务器发送操作命令和数据ID，完成下载操作、删除操作和更新操作，其中：

下载操作包括：

（7-13）客户端根据获取的数据服务器的地址，将数据ID以及下载请求发送到各个与获取的数据服务器的地址对应的数据服务器，数据服务器将与数据ID对应的分段遥感数据返回给客户端；

（7-14）客户端根据（7-12）获取的数据服务器地址将所有返回的分段遥感数据合并得到待下载遥感数据，完成下载操作。

删除操作包括：

（7-22）客户端根据输入删除请求和待删除遥感数据的数据ID从目录服务器中获取待删除遥感数据的数据ID对应的数据服务器地址，删除该数据ID对应的数据服务器的地址，并将删除请求和待删除遥感数据的数据ID发送给对应的数据服务器的地址；

（7-24）各个数据服务器分别统计所有标记为删除的数据ID对应的分段遥感数据的数据总量，若数据总量达到数据服务器的总容量的45%，删除标记为删除的数据ID以及各个标记为删除的数据ID对应的分段遥感数据。

更新操作包括执行所述的删除操作和发布操作。先通过删除操作该待更新遥感数据对应的数据服务器中相应的内容去掉，然后再进行发布操作，重新将新遥感数据存储到对应的数据服务器。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于云存储系统的遥感数据发布方法，所述的云存储系统包括若干个数据服务器和客户端，以及一个目录服务器，其特征在于，所述的发布方法包括：

2.如权利要求1所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（2）中确定最佳数据服务器包括：

3.如权利要求2所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（2-2）中若数据服务器的业务量大于50，则认为数据服务器繁忙，不响应所述的测试信号；

否则，则认为数据服务器空闲，响应所述的测试信号。

4.如权利要求3所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（2-3）中设定的时间为10～200ms。

5.如权利要求4所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（2-4）中N的取值如下：

（a）若D≤S，则N=1；

（b）若D>S，且K≤M，则N=K；

6.如权利要求5所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（4）包括以下步骤：

若N=1，则不划分，

7.如权利要求6所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（7）中的下载操作包括：

8.如权利要求7所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（7）中的删除操作包括：

9.如权利要求8所述的基于云存储系统的遥感数据发布方法，其特征在于，步骤（7）中的更新操作依次执行所述的删除操作和发布操作。

10.如权利要求9所述的基于云存储系统的遥感数据发布方法，其特征在于，所述步骤（7-24）设定的容量阈值为数据服务器的总容量的25%～45%。