CN103020325A - 基于NoSQL数据库的分布式遥感数据组织查询方法 - Google Patents

Abstract

本发明属于生态及遥感信息学技术领域,涉及一种基于NoSQL数据库的分布式遥感数据组织查询方法，其步骤包括：对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据；将所述非结构化数据存储于NoSQL分布式数据库中，并建立查询索引；根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。本发明能够有效地进行海量遥感数据的存储和管理，可以应用于遥感生态监测、物种分布预测以及遥感数据反演等相关领域。

Description

基于NoSQL数据库的分布式遥感数据组织查询方法

技术领域

本发明属于生态及遥感信息学技术领域，涉及遥感数据的组织与管理，具体涉及一种基于NoSQL数据库的分布式遥感数据组织查询方法，主要应用于遥感生态监测、物种分布预测以及遥感数据反演等相关领域的针对海量遥感数据的组织和管理技术。

背景技术

NoSQL，指的是非关系型的数据库，是在Web2.0时代下用于存储海量非关系型数据，满足并发访问性能、存储量、扩展性以及可靠性需求的数据存储模式。NoSQL数据库相比于传统的关系型数据库有以下特点：1.需要满足相应高并发读写的需求；2.需要满足对海量数据的高效存储和访问的需求；3.需要满足数据库高可扩展性及高可用性的需求。这些特点使得NoSQL数据库成为构成海量云存储环境的必要技术（Chang et al.2006,Bigtable:A DistributedStorage System for Structured Data;Dynamo:Giuseppe et al.2007Amazon’s Highly Available Key-value Store;Christof Strauch,NoSQL Database.Available at http://www.christof-strauch.de/nosqldbs.pdf）。

遥感(Remote Sensing)是通过地物目标的电磁辐射信息，判认地球环境和资源的技术。遥感技术通过人造卫星或飞机等飞行器所携带的传感器，从不同高度、不同地理空间范围快速地、多谱段地对地球进行感测，周期性地获取地物目标的电磁辐射信息，从而对目标进行探测和识别。通过遥感技术获取的影像数据是地理信息系统(Geographic Information System)重要的数据源，通过遥感技术可以快速、准确地获取大面积、连续、周期性、综合的各种地理信息和专题信息。遥感技术在国民经济、国防军事以及生态保护等很多领域获得了广泛的应用，如气象观测、资源考察、地图测绘、军事侦察、野生动物保护以及生态状况评估等（C.L.Parkinson,A.Ward,M.D.King(Eds.)Earth Science Reference Handbook–A Guide to NASA’s Earth Science Program andEarth Observing Satellite Missions,National Aeronautics and Space Administration Washington,D.C.；Schowengerdt,Robert A.(2007).Remote sensing:models and methods for image processing(3rd ed.).AcademicPress.p.2.；Schott,John Robert(2007).Remote sensing:the image chain approach(2nd ed.).Oxford UniversityPress.p.1.）。遥感影像是传感器记录的各种地物电磁波能量大小的胶片、相片或数字图像，经由数字图像处理技术校正、变换和分类形成的具有地理信息的图像。遥感影像具有空间分辨率、光谱分辨率、辐射分辨率以及时间分辨率的影像特征，数据通常在数字化后以影像文件的方式存储，将不同波段，同一地理、时间范围的影像数据存储于一个或多个文件当中，每个数据文件是由一个或多个带有同一套地理坐标信息的二维矩阵构成，矩阵中的每个元素都对应一个地理坐标。遥感文件的分析和处理，如投影转换、镶嵌、拼接等关键操作均涉及专业的地理、遥感知识，需要专业的软件工具（《遥感技术与导论》，常庆瑞、蒋平安等编，科学出版社，2004.2，第一版；环境教育软件及其多媒体设计，《学科教育》2004年，朱良，王瑛，王静爱）。

遥感卫星在飞行的过程中传感器不断接收地物的电磁辐射信号并产生遥感数据，所拍摄的遥感影像必须达到一定的空间分辨率(Spatial Resolution)要求（一般为30m-1000m，高分辨率的遥感影像能够达到1m-5m）才具有使用价值，因此遥感影像数据的数据量都非常大，以美国地质调查局(United States Geological Survey，简称USGS)的Landsat系列卫星为例，每天会产生TB级数据量的遥感影像数据，这对数据存储和管理能力是一个巨大的挑战(LandsatHomepage,http://landsat.usgs.gov/;Short,N.M.."The LANDSAT Tutorial Workbook:Basics ofSatellite Remote Sensing".NASA Reference Publication1078.NASA.Retrieved20September2011.)。

遥感影像数据大数据量和专业性强的特点使得遥感数据的使用，特别是跨领域、跨学科的使用存在诸多不便。因此，需要提供一种方法能够解决海量遥感数据的存储和管理，并且能够克服专业知识门槛进而为跨领域的应用提供一种便捷的遥感数据使用方式。

发明内容

从以上的分析可以看出，因为数据量非常大，对遥感数据的存储和有效管理提出了难题，同时因为遥感数据文件的使用涉及较高的专业性知识，这两个方面的问题日益突出。本发明结合NoSQL数据库高并发、大容量、高扩展以及高可靠的特点存储遥感数据实体而不是遥感影像文件，提供一种基于非结构化数据库的分布式遥感数据组织和查询方法。

本发明的基于NoSQL数据库的分布式遥感数据组织和查询方法，其步骤包括：

第一步，遥感图像数据预处理：对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；

第二步，遥感图像数据的抽取：抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；

第三步，遥感数据的重构：将抽取出的元信息和每个像素点的数据重构为非结构化的文本数据；

第四步，基于NoSQL数据库存储并管理重构的遥感数据：将所述非结构化数据存储于NoSQL分布式数据库中，并建立查询索引；

第五步，遥感数据的查询和影像文件的重生成：根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。

上述方法中，第一步所述的预处理包括投影坐标系转换、图像镶嵌、拼接等。预处理是将不同的遥感数据集(Landsat、MODIS、DEM等)整理成为统一格式的文件（.GIF或.img），并且将同一时间拍摄的多张图像拼接成为覆盖整个目标区域的数据集合文件。以Landsat30m分辨率的数据集为例，一个时间段覆盖整个中国区域需要561景图像，共计约160GB数据量。

上述方法中，第二步所述数据元信息包括文件名称、地理位置信息和时间信息等。该步骤是通过解析第一步得到的图像文件，将文件中的二维矩阵中每一个元素(对应遥感图像每一个像素)的数值连同地理坐标信息和拍摄时间信息等一同抽取出来，为下一步的数据重构做准备。

上述方法中，第三步所述的遥感数据重构是将第二步抽取出的每一个像素的值与其相关的地理坐标信息、时间信息以及其他信息重构成为非结构化的文本数据，在此过程中可以以单个像素为单位组织成一条记录，也可以以多个像素(一般是图像文件中一行或多行)组织成为一条记录以减少冗余信息。具体来说，是将遥感数据二维矩阵中每个元素的值以及其相关的时间、空间和其他信息构成大表(Big Table)的存储形式。大表中的每一行由一个键、值对(Key-Value Pair)构成。其中键(Key)对应原始遥感影像文件名、数据所在行标签、数据所在列标签、拍摄时间等基本查找元素构成的一个查找键（Query-Key）；而值(Value)则对应一个或多个像素的值，其中像素的数量通过查找键中的列标签指定。通过列标签可以将存储模式设定为存储单个点或是存储多个点以根据不同的原始文件确定不同的存储策略。

上述方法中，第四步是将第三步中重构出的非结构化数据存储于NoSQL分布式数据库(HBase、Mongodb等)中，并且建立索引，比如为地理坐标和时间信息建立查询索引，还可以包括其它索引，提高查询使用效率。在一个优选的实施方式中，可以将重构的大表存储于Hadoop+HBase的分布式存储架构中，HBase也采用大表的存储模式，因此可以同重构数据很好的结合。另外NoSQL可以用其他面向非结构化数据库进行实现，并不特指Hadoop+HBase的组合。

上述方法中，第五步是将NoSQL数据库中存储的经过重构的遥感数据按照查询条件返回结果的过程。根据查找类型的不同可以分为点查询和区域查询。其中点查询是根据查询条件中给出的地点坐标和拍摄时间信息查询对应像素点的值，而区域查询则是根据查询条件中的区域信息(例如矩形等规则区域边界坐标或不规则形状的区域掩膜)以及拍摄时间信息返回遥感格式的数据文件。用户可以通过给出地理坐标和/或时间信息查询具体的遥感数据值；或者通过指定矩形或任意形状的地理空间范围。本发明能够完成快速重新生成遥感数据文件并返回，针对不同的应用场景具有通用性。

本发明的基于非结构化数据库的分布式遥感数据组织和管理方法，结合NoSQL数据库高并发、大容量、高扩展以及高可靠的特点，存储遥感数据实体而不是遥感影像文件，能够有效地进行海量遥感数据的存储和管理，并且能够克服专业知识门槛进而为跨领域、跨学科的应用提供便捷的遥感数据使用方式。

附图说明

图1是实施例中基于NoSQL数据库的分布式遥感数据组织查询方法的工作流程图。

图2是图1所示流程的具体处理步骤示意图，该处理过程使用Hadoop+HBase作为NoSQL数据库完成实现。

图3是实施例中遥感数据重构示意图，该实施例将遥感图像文件转换为非结构化的文本数据。

具体实施方式

下面通过具体实施例，并配合附图，对本发明做详细的说明。

本实施例的基于NoSQL数据库的分布式遥感数据组织和查询方法，其流程如图1所示，与该流程相应的具体处理步骤如图2所示，具体说明如下：

A.遥感图像数据预处理：将原始遥感数据集(Landsat、MODIS、DEM等)所提供的原始遥感影像文件通过投影转换、图像拼接以及格式转换等数据预处理步骤生成.GIF或.img的初始影像文件；后文表1是.GIF格式原始遥感文件元数据示例；

B.遥感图像数据抽取：对A步骤中获得的初始影像文件进行数据抽取，包括遥感影像的名称、投影坐标系、空间分辨率、边界坐标、拍摄时间等元数据信息，还包括图像中具体的遥感影像数据(按像素为单位抽取)，接下来执行步骤C；

C.遥感数据的重构：根据B步骤中抽取出的遥感数据元信息以及每个像素点的数据构造非结构化大表，首先根据位置和时间元信息构造查找键，同时根据列标记所确定的存储方式将抽取出的遥感数据重新组织成按照单点或多点为记录单元的HDFS（Hadoop DistributedFile System）存储格式，如表2所示的遥感数据重构后的NoSQL数据存储模式示例；然后进入步骤D；

D.基于NoSQL的分布式遥感数据存储：使用Hadoop+HBase的NoSQL实现存储步骤C中构造的非结构化大表，并根据地理信息及时间信息构造查询索引，进入步骤E；

E.遥感数据查询及影像重生成：通过本发明，用户可以选择以单点的方式或是区域方式来获得存储的遥感数据。如果选择点查询的方式，本发明将通过输入的时间和位置参数映射到数据库中对应的存储记录，取出并返回目标点的遥感数据值；如果选择的是区域，本发明将通过输入的区域边界以及目标分辨率构造出遥感数据矩阵并返回.GIF或.img格式的遥感数据文件。

图3是采用上述方法的遥感数据重构示意图，是将遥感图像文件转换为非结构化的文本数据。图中Raster Grid是经过可视化技术展示的.GIF格式的遥感影像文件，类型是月平均温度，具体实施时可以采用冷至暖色调的颜色来表示图像中每个像素遥感数值的大小（图3未示出）。因此，整个遥感图像就是一张具有地理坐标信息的二维矩阵。经过本发明中遥感数据抽取及重构步骤之后，矩阵中的每个元素连同地理坐标及相关信息被重新构造成为Text Instance形式的非结构化文本数据并存储于NoSQL数据库中。当需要使用这些遥感数据值时，可以根据给出的地理坐标及时间信息返回某一条Instance，也可以在给出目标区域边界的条件下从NoSQL数据库中查找出相应元素的集合并生成遥感格式文件返回。

表1是.GIF格式原始遥感文件元数据示例。该表中，数字1至34表示行号，其中第4行表示该影像大小；第6-13行表示该影像文件投影坐标系信息；第14行表示该影像起始点(左上角点)坐标；第15行表示该影像文件空间分辨率信息；第21-25行表示该文件边界范围及中心点坐标；第26行表示数据存储类型。

表1.原始遥感文件数据元信息（.GIF）

表2为遥感数据重构后的NoSQL数据存储模式示例，其中加粗字体所示内容为数据元信息。

表2.遥感数据重构后的NoSQL数据存储模式

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于NoSQL数据库的分布式遥感数据组织和查询方法，其步骤包括：

1）对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；

2）抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；

3）将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据；

4）将所述非结构化的文本数据存储于NoSQL分布式数据库中，并建立查询索引；

5）根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。

2.如权利要求1所述的方法，其特征在于：所述预处理包括投影坐标系转换、图像镶嵌和拼接；所述指定格式为tif格式或img格式。

3.如权利要求1所述的方法，其特征在于：所述数据元信息包括遥感影像的名称、投影坐标系、空间分辨率、边界坐标和拍摄时间。

4.如权利要求1所述的方法，其特征在于：所述重构将抽取出的数据元信息和每个像素点的数据构成非结构化大表的存储形式，该大表中的每一行由一个键、值对构成，其中键对应基本查找元素构成的一个查找键，值对应一个或多个像素的值。

5.如权利要求4所述的方法，其特征在于：通过列标签将存储模式设定为存储单个点或者存储多个点，以根据不同的原始文件确定不同的存储策略。

6.如权利要求4所述的方法，其特征在于：所述NoSQL采用Hadoop+HBase的分布式存储架构。

7.如权利要求1所述的方法，其特征在于：根据地理坐标和时间信息建立所述查询索引。

8.如权利要求1所述的方法，其特征在于：步骤5）所述查询条件是点查询或者区域查询。

9.如权利要求8所述的方法，其特征在于：所述点查询根据地理坐标和拍摄时间信息查询对应像素点的值；所述区域查询根据查询条件中的区域信息以及拍摄时间信息返回遥感格式的数据文件，所述区域信息是规则区域边界坐标或不规则形状的区域掩膜。

10.如权利要求1所述的方法，其特征在于：所述原始遥感数据文件来自下列原始遥感数据集中的一种或多种：Landsat、MODIS、DEM。

Images