CN102411616A - 一种数据存储方法和系统及数据管理方法 - Google Patents

Abstract

本发明提供了一种数据存储方法，用于存储一组数据，预先确定待存储的一组数据的取值范围，该方法包括：根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；分别将待存储的一组数据中各数据转换为m位二进制数；将所得到的有效二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；按照预定规则保存所述若干个L进制数。本发明还提供了相应的数据读取方法；以及一种数据存储系统，用于存储一组数据，该系统包括：位数确定单元，第一转换单元，分割处理单元和存储单元。本发明提供的数据存储方法，通过设计栅格数据结构，不拘泥于现有技术中惯用的采用字节为单位来存储数据的方式，而是根据待存储数据的最大值所需的最少位数来确定二进制数位数，紧凑排列存储，避免了空间的浪费。

Description

一种数据存储方法和系统及数据管理方法

技术领域

本发明涉及数据存储及信息处理技术领域，尤其涉及一种数据存储方法和系统及数据管理方法。

背景技术

地理信息系统(Geographic Information System，GIS)是一种具有采集空间数据并存储、管理、分析与表现空间信息的计算机系统。采用GIS技术使高效管理具有空间分布特征的原始数据及其制图输出成为可能，并逐步成为现代企业管理和政府决策的有力助手。数据则是地理信息系统的基础，在现有的系统开发设计中，投入成本最大的就是数据处理，其投入费用占系统建立和维护的70％以上。从应用的角度来看，近几年GIS的应用领域不断扩大，出现了大量成熟的商业GIS平台，空间数据的建设越来越受到重视。基于空间数据基础设施的建设，人们开始了空间数据共享和互操作的研究。但是多种数据格式的互相转换，均需要以栅格图像矢量化为前提。

采用栅格图像，取消矢量化数据的步骤是对GIS数据处理的发展趋势，提出了一些基于栅格数据的地理信息系统技术体系，并得到了应用实践。

基于栅格数据的地理信息系统，根据地理信息系统所采用的数据类型，可以将地理信息系统分为基于矢量数据的地理信息系统(简称矢量地理信息系统，Vector GIS)、基于栅格数据的地理信息系统(简称栅格地理信息系统，Raster GIS)、以及基于混合数据的地理信息系统。栅格数据是指在空间和亮度上都已经离散化了的图像，常见的数据有IFF、BMP、PCX、JPEG等格式的数据。基于栅格数据的地理信息系统，是指系统所利用的数据模型以栅格数据为主，基于栅格数据实现地理信息系统的功能。

矢量数据结构和栅格数据结构是GIS中常用的两种数据结构；在栅格数据结构中，对每个网格给出相应的属性值来表示地理实体的一种数据组织形式；譬如，对每个网格用一高度值h来表示该网格的地面高度，h用实数来保存；再例如，对每个网格用一整数t来表示该网格所在的土地类型，1表示草地，2表示沼泽地，3表示林地，…，等等；所以，在实际工作中，对栅格数据的存储与读写应用非常广泛。

由于GIS等系统中数据量巨大，存储这些数据所需的存储空间也相当庞大。除了现有的压缩等手段节约存储空间之外，如何充分利用存储空间，是业内所面临的急需解决的问题。

发明内容

有鉴于此，本发明提供一种数据存储方法和系统及数据管理方法，可充分利用存储空间。

本发明提供的一种数据存储方法，用于存储一组数据，预先确定待存储的一组数据的取值范围，该方法包括：

根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

分别将待存储的一组数据中各数据转换为m位二进制数；

将所得到的有效二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

按照预定规则保存所述若干个L进制数。

所述待存储的一组数据为地理信息系统GIS中的栅格数据。

本发明提供的一种数据存储系统，用于存储一组数据，预先确定待存储的一组数据的取值范围，该系统包括：

位数确定单元，用于根据待存储数据的最大值V确定其用二进制数表示时所需的最少位数m；

第一转换单元，用于分别将待存储的一组数据中各数据转换为m位二进制数字；

分割处理单元，用于将所得到的二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数字进行分割，得到若干个数，k为正整数，8k≥m；

存储单元，按照预定规则保存所述若干个数。

该系统，还包括：

第二转换单元，用于将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

所述存储单元按照预定规则保存所述若干个L进制数。

其中，更适宜地，待存储的一组数据为地理信息系统GIS中的栅格数据。

本发明还相应的数据读取方法，包括：

读取按照预定规则保存的若干个数，将每个数转换成二进制数，并顺序排列；

根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所述顺序排列的二进制数进行重新分割，得到若干个位数为m的二进制数；

将所述若干个位数为m的二进制数转换为预定格式的数。

本发明还提供一种数据管理方法，包括：

数据存储：

根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

分别将待存储的一组数据中各数据转换为m位二进制表示；

将所得到的二进制数顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

按照预定规则保存所述若干个L进制数数；

数据提取：

读取按照预定规则保存的若干个数，并转换为二进制数字，按顺序排列；

根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所述顺序排列的二进制数进行重新分割，得到若干个位数为m的二进制数；

将所述若干个位数为m的二进制数转换为预定格式的数。

综上所述，本发明提供的数据存储方法，通过设计栅格数据结构，不拘泥于现有技术中惯用的采用一字节或者二字节或者四字节来存储数据的方式，而是根据根据待存储数据的最大值所需的最少位数来确定二进制数位数，紧凑排列存储，避免了空间的浪费。提出最小存储空间方法，与采用压缩技术等减少数据量不是一个层次概念。对于采用本发明方法建立的栅格文件，也同样可以继续采用压缩技术等方法做进一步处理。

本发明提供的方案中，在读写栅格文件时，会进行数据的位移和位或处理，基于目前的计算机处理能力，这些位操作执行效率比较高，所以，采用本方法，相比于传统做法，以损失很小的运行效率，但能得到更大存储空间的节省，这在一些应用中具有重要的使用价值。

附图说明

图1为本发明提供的数据存储方法的流程图；

图2为本发明实施例中提供的数据处理原理示意图；

图3为本发明实施例中提供的数据存储系统架构示意图；

图4为本发明提供的数据读取方法的流程图；

图5为本发明应用实例中GIS地图。

具体实施方式

在GIS的应用中，经常有大量的栅格类型的数据，栅格类型是由大量的小方格子组成，每个方格里都存放着相应的数据。由于数据量巨大，存储这些数据所需的存储空间也相当庞大。有鉴于此，本发明提出一种新的“数据存储与读取的方法”，利用该方法，可充分利用存储空间，可以使用最小的存储空间，来保存栅格数据；目前已有的读写栅格数据的方法，使用了过大的存储空间；这在海量栅格数据时，相比较于，本发明可以节省大量的存储空间。

目前，栅格文件的每个网格里存储的数据类型一般是单精度值或者双精度值或者是整数值。在写入栅格数据之前，知道该栅格的所有网格值的最大值，最大值不超过64位能表示的范围。这个最大值在应用中通常可预先可以确定下来。比如，用栅格文件来保存全国数字高程模型(DEM，DigitalElevation Model)，在不需要高精度值来保存地面海拔高度情况下，用整数来保存每个网格的高度值。在这个应用中，根据常识，已知最高峰的海拔高度最大值为8848米，可以明确所有的网格的数值的最大值不超过9000米。再比如，用栅格文件来保存土地类型，那这个最大值也是可以确定的。

具体地，通常GIS系统中栅格文件中的数据取值范围是可以确定的。假设栅格中最大值为V。目前一般的做法是，根据V值的大小，每个网格采用1字节大小(0≤V≤255)或者2字节(256≤V≤65535)或者4字节(65536≤V＜2³²)或者8字节(2³²≤V＜2⁶⁴)。比如，V＝380，传统方法则每个网格需要2字节来保存；本专利提出的方法，是根据最大值V的实际位数来存储每个网格数据。由于最大值V在每个栅格里是不同的，所以采用的实际位数也是不固定的，本发明的方法就是根据最大值所需二进制数位数采用相应位数来存储栅格数据的方法。例如V＝380，则9位就可以存储V值。这样，每个网格，就比一般做法节省7位存储空间；这样对整个栅格，就可以节省大量的存储空间。

本发明提供的一种数据存储方法，用于存储一组数据，预先确定待存储的一组数据的取值范围，参照图1，该方法包括如下步骤：

S01，根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

S02，分别将待存储的一组数据中各数据转换为m位二进制数字；

S03，将所得到的有效二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

假定待存储的一组数据中有n个数据，将所得到的二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数字进行分割，具体包括：

计算确定需要用w个数来存储原先一组数据：

如果m＜8，w＝[m*n/8]+1；

如果m＞8并且m＜16；w＝[m*n/16]+1；

如果m＞16并且m＜32；w＝[m*n/32]+1；

如果m＞32并且m＜64；w＝[m*n/64]+1；[]表示取整；

例如，最小位数是13位的话，对原先的一组数据，将每个数用16位来存储，这样有利于存储；当然也可以用8位来存储，若用8位来存储，则所需存储/读取2w个数据，访问效率低于用16位存储方式；

如果m＝8，16，32，64，将待存储的一组数据直接存储或者转换成L进制数再保存。

S04，按照预定规则保存所述若干个L进制数。

在此，L进制数是根据具体所需的数据格式确定，如，通常采用十进制，也有的采用16进制等。

为了是本发明的原理、特性和优点更加清楚，下面结合具体实施方案对本发明进行详细描述。

实施例一

本实施例中以待存储的一组数据为地理信息系统GIS中的栅格数据为例进行描述，其他数组的存储也适用。

假设来自栅格的一组网格数据a，b，c，d，e，f，…一数组n个，序号从0开始，直到n-1。

如果表示栅格数据的最大值需要的二进制数的最少位数m≤8；

首先，计算输出结果字节数量w＝[m*n/8]+1，[]表示取整；

然后对每个字节进行计算值，具体计算每个字节值方法，如下：分情况处理：

(I)对于m＝1、m＝2，m＝4，m＝8的情况

对w个字节的第i个字节(i从0开始计数，到w-1结束)，取数组中的对应8个(m＝1情况)或者4个(m＝2情况)数据或者2个(m＝4情况)或者1个(m＝8情况)，序号从8*i----8*i+7(m＝1情况)或者4*i---4*i+3(m＝2情况)或者2*i---2*i+1(m＝4情况)或者i(m＝8情况).

对于m＝1情况，将序号从8*i----8*i+7的8个数组的数据，依次分别做移7位、6位、5位、4位、3位、2位、1位、0位，分别得到8位大小的A1、A2、A3、A4、A5、A6、A7、A8，对这8个数字进行位或运算，得到8位大小的A值。对于m＝2情况，将序号从4*i----4*i+3的4个数组的数据，依次分别做移6位、4位、2位、0位，分别得到8位大小的A1、A2、A3、A4，对这4个数字进行位或运算，得到8位大小的D1值。

将D1值写入该字节中。

对于m＝4情况，将序号从2*i----2*i+1的2个数组的数据，依次分别做移4位、0位，分别得到8位大小的A1、A2，对这2个数字进行位或运算，得到8位大小的D2值。

将D2值写入该字节中。

对于m＝8情况，其实就是已知数组与输出结果字节一对一的复制过程。

(II)对于m＝3、m＝5的情况，方法均是顺序采用数组的m位来填充8位的字节组。以m＝3为例进行说明，m＝5原理完全一样。

取当前数组的第i＝0个数据，左移5位，得到8位的A1值，再取数组的第i＝1个数据，左移2位，得到8位的A2值，再取数组的第i＝2个数据，右移1位，得到8位的A3值。对这3个数字进行位或运算，得到8位二进制数值，作为第1个字节；

取数组的第i＝2个数据，与0x1(为了取出i＝2数据的3位的最后一位)进行位与运算，再左移7位，得到8位的A1值，再取数组的第i＝3个数据，左移4位，得到8位的A2值，再取数组的第i＝4个数据，左移1位，得到8位的A3值，再取数组的第i＝5个数据，右移2位，得到8位的A4值，对这4个数字进行位或运算，得到8位二进制数值，为第2个字节。

对该数组后续的数据也进行类似的处理，得到第3个，……，w-1字节；

对于最后一个处理的字节，如果连续的二进制数取不到8位，则在后面位补0处理。

对于m＞8的情况，基本思想与前述相同，例如，m＝9，传统做法用16位来存储每个数值，本方法是用16位来存储，但是具体做法是取第一个16位的9位，第2个16位的9位有效二进制的前7位，这样得到一个新的16位的数据，作为存储的数值，以此类推后面的存储数值。

如图2所示，已知的待存储的数组为5，2，3，0，4，6，7，1，2，3，5，……。每个数值最大值小于8，可以3位二进制数来表示，即最大位数m为3，栅格网格数组，写入栅格文件的字节步骤如下：

S101，分别将这些数据转换为二进制数为：

101，010，011，000，100，110，111，001，010，011，101，……。

S102，顺序排列在一起后，按照8位一个字节进行分割，得到如下数字：

10101001；10001001；10111001；010，011，10；1……。

S103，可将这些数据直接保存；或

转换为十进制数169137185078……后，写入栅格文件中。

由此可知，本发明提供的存储方法中，按顺序从第一个数的3位2进制表示开始，连续的取8位，作为本方法的一字节内容。其中，连续取位，再组合成新8位，在计算机处理上，是通过位移操作和位或运算实现的。之所以要将多个3位组合成8位，得到一个值，写入栅格文件，是因为目前计算机的数据类型支持的最小单元是1字节，就是8位二进制。不便于直接读写类似3位2进制这样的数据，所以要组合成8位。这样克服现有技术中惯用的采用一字节8位来存储最大数据位为3的方法，避免了空间的浪费。

本发明还提供相应的一种数据存储系统，用于存储一组数据，预先确定待存储的一组数据的取值范围，如图3所示，该系统300包括：

位数确定单元310，用于根据待存储数据的最大值V确定其用二进制数表示时所需的最少位数m；

第一转换单元320，用于分别将待存储的一组数据中各数据转换为m位二进制数；

分割处理单元330，用于将所得到的二进制数顺序排列，以8位为单位对所述顺序排列的二进制数进行分割，得到若干个字节；

存储单元340，按照预定规则保存所述若干个字节。

该数据存储系统还包括：

第二转换单元350，用于将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

存储单元340按照预定规则保存所述若干个L进制数。

实施例二

本实施例提供一种数据读取方法，用于读取按照实施例一中所述方法存储的数据，参照图4，该方法包括：

S401，读取按照预定规则保存的若干个数，将每个数转换成二进制数，并顺序排列；

S402，根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所述顺序排列的二进制数进行重新分割，得到若干个位数为m的二进制数；

S403，将所述若干个位数为m的二进制数转换为预定格式的数。

所述待存储的一组数据为地理信息系统GIS中的栅格数据。

具体实施例中读栅格数据过程：

读栅格文件数据，目的就是要把按前述方法写入文件的数据(这个数据，可能是对应着原始栅格的多个网格值的合成结果)，解析成栅格的每个网格里实际的值。此过程是上面写入数据过程的逆过程。

根据栅格数据的最大位数m，将栅格数据按字节读出(条件是m≤8)，或者按16位的数据类型读出(条件是m≤16)，或者是按32位的数据类型读出(条件是m≤32)或者是按64位的数据类型读出(条件是m≤64)，假设读出的数据数组是A1，A2，A3，…，An然后将每个数据转为2进制表示并连续的排在一串，再连续的从第一位开始取m位，转为10进制表示值C，则C为一栅格的网格实际值，比如土地类型。

实施例三

本发明实施例提供的是一种数据管理方法，包括：

数据存储：

根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

分别将待存储的一组数据中各数据转换为m位二进制数；

将所得到的二进制数顺序排列，以8位为单位对所述顺序排列的二进制数进行分割，得到若干个字节；

按照预定规则保存所述若干个字节；

数据提取：

读取按照预定规则保存的若干个字节；

根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所保存的二进制数进行分割，得到若干个位数为m的二进制数；

将所述若干个位数为m的二进制数转换为十进制数。

具体应用效果

图5为全国土地利用现状的地图。此栅格文件是全国土地利用现状栅格，横向分辨率30米，纵向分辨率30米，栅格象素大小161360*134724；栅格数据值的最大位数为m＝5，采用本专利方法得到的栅格文件大小为传统方法的5/8，可节省7.59GB大小存储空间。

综上所述，本发明提供的数据存储方法，通过设计栅格数据结构，不拘泥于现有技术中惯用的采用一字节8位或者二字节或者四字节来存储数据的方式，而是根据根据待存储数据的最大值所需的最少位数来确定二进制数位数，紧凑排列存储，避免了空间的浪费。提出最小存储空间方法，与采用压缩技术等减少数据量不是一个层次概念。对于采用本发明方法建立的栅格文件，也同样可以继续采用压缩技术等方法做进一步处理。

本发明提供的方案中，在读写栅格文件时，会进行数据的位移和位或处理，基于目前的计算机处理能力，这些位操作执行效率比较高，所以，采用本方法，相比于传统做法，以损失很小的运行效率，但能得到更大存储空间的节省，这在一些应用中具有重要的使用价值。

以上对本发明所提供的栅格数据存储方法及读取方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据存储方法，用于存储一组数据，其特征在于，预先确定待存储的一组数据的取值范围，该方法包括：

根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

分别将待存储的一组数据中各数据转换为m位二进制数；

将所得到的有效二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

按照预定规则保存所述若干个L进制数。

2.如权利要求1所述的数据存储方法，所述一组数据中有n个数据，其特征在于，所述将所得到的二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数字进行分割，具体包括：

对w个数中第i个数，取其中对应m位，并进行移位和位或操作，得到8k位二进制数，其中i＝0，1，…，w-1。

3.如权利要求1所述的方法，其特征在于，在所述对所述顺序排列的二进制数进行分割后，最后剩余的数后补上0构成8k位，得到一个8k位数。。

4.如权利要求1所述的方法，其特征在于，m＝8，16，32，64)，将所述待存储的一组数据直接存储或者转换成L进制数再保存。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述待存储的一组数据为地理信息系统GIS中的栅格数据。

6.一种数据存储系统，用于存储一组数据，其特征在于，预先确定待存储的一组数据的取值范围，该系统包括：

位数确定单元，用于根据待存储数据的最大值V确定其用二进制数表示时所需的最少位数m；

第一转换单元，用于分别将待存储的一组数据中各数据转换为m位二进制数字；

分割处理单元，用于将所得到的二进制数字顺序排列，以8k位为单位对所述顺序排列的二进制数字进行分割，得到若干个数，k为正整数，8k≥m；

存储单元，按照预定规则保存所述若干个数。

7.如权利要求6所述的系统，其特征在于，还包括：

第二转换单元，用于将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

所述存储单元按照预定规则保存所述若干个L进制数。

8.如权利要求6或7所述的系统，其特征在于，所述待存储的一组数据为地理信息系统GIS中的栅格数据。

9.一种数据读取方法，用于读取如权利要求1至5中任一项所述的方法存储的数据，其特征在于，该方法包括：

读取按照预定规则保存的若干个数，将每个数转换成二进制数，并顺序排列；

根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所述顺序排列的二进制数进行重新分割，得到若干个位数为m的二进制数；

将所述若干个位数为m的二进制数转换为预定格式的数。

10.一种数据管理方法，其特征在于，包括：

数据存储：

根据待存储数据的最大值确定其用二进制数表示时所需的最少位数m；

分别将待存储的一组数据中各数据转换为m位二进制表示；

将所得到的二进制数顺序排列，以8k位为单位对所述顺序排列的二进制数进行分割，k为正整数，8k≥m；将分割后的每一部分转换成L进制表示，得到若干个L进制数，L为≥2的整数；

按照预定规则保存所述若干个L进制数数；

数据提取：

读取按照预定规则保存的若干个数，并转换为二进制数字，按顺序排列；

根据预定的所存储数据的最大值确定的其用二进制数表示时所需的位数m，以m位为单位对所述顺序排列的二进制数进行重新分割，得到若干个位数为m的二进制数；

将所述若干个位数为m的二进制数转换为预定格式的数。

Images