CN105117349B - 数据存储方法和装置、数据读取方法和装置 - Google Patents

Abstract

本发明提供了一种数据存储方法和装置、数据读取方法和装置，其中，该数据存储方法包括：获取一道32位数据体的数据，得到最大值和最小值；当最大值与最小值不相等时，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；当最大值与最小值相等时，将该道的所有数据赋值为0；将数据转换后的结果以道为单位进行存储，且将最大值和最小值记录在该道的道头数据的预定字段中。本发明解决了现有技术中无法同时保证数据精度和减少存储空间的技术问题，达到了在保证数据精度的同时有效减少存储空间。

Description

数据存储方法和装置、数据读取方法和装置

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据存储方法和装置、数据读取方法和装置。

背景技术

随着地震勘探技术的发展和需要，工区越来越大，采集密度也越来越大，地震数据量越来越大；另一方面，在地震数据处理与解释过程中，多工区、多用户、多个处理解释结果的并存，使得计算机的存储空间总是供不应求。

在地震数据处理解释的实际生产应用过程中，数据体存储格式通常是32位浮点型，因为该格式提供了足够的数据精度。有时也会用到8位整型格式的数据体，虽然8位整型格式的数据体精度有所损失，但是存储空间只有32位浮点型数据体的1/4，且大多数时候，尤其是作为最终成果输出时，对于数据体的精度要求并不是很高的时候，8位体已经能够满足要求。

由此可见，8位整型格式的数据体和32位浮点型格式的数据体各自都存在一定的缺陷，如何提供一种既能保证数据精度又能减少数据存储空间的数据存储和读取方法，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据存储方法，以达到在保证数据精度的情况下减少存储空间的目的，该方法包括：

获取一道32位数据体的数据；

统计该道的所有数据，得到最大值和最小值；

当所述最大值与所述最小值不相等时，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；

当所述最大值与所述最小值相等时，将该道的所有数据赋值为0；

将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中。

在一个实施方式中，所述极差变换公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

在一个实施方式中，在内存中进行所述压缩变换。

本发明实施例还提供了一种数据读取方法，以达到在保证数据精度的情况下减少存储空间的目的，该方法包括：

确定待读取的8位数据体的数据道的道位置；

从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；

当所述最大值与所述最小值不相等时，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；

当所述最大值与所述最小值相等时，将所述最大值作为该道的所有数据的取值。

在一个实施方式中，所述极差变换还原公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。

在一个实施方式中，在内存中进行所述数据还原。

本发明实施例还提供了一种数据存储装置，以达到在保证数据精度的情况下减少存储空间的目的，该装置包括：

数据获取模块，用于获取一道32位数据体的数据；

统计模块，用于统计该道的所有数据，得到最大值和最小值；

压缩变换模块，用于在所述最大值与所述最小值不相等的情况下，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；

数据赋值模块，用于在所述最大值与所述最小值相等的情况下，将该道的所有数据赋值为0；

存储模块，用于将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中。

在一个实施方式中，所述极差变换公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

本发明实施例还提供了一种数据读取装置，以达到在保证数据精度的情况下减少存储空间的目的，该装置包括：

确定模块，用于确定待读取的8位数据体的数据道的道位置；

读取模块，用于从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；

数据还原模块，用于在所述最大值与所述最小值不相等的情况下，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；

取值模块，用于在所述最大值与所述最小值相等的情况下，将所述最大值作为该道的所有数据的取值。

在一个实施方式中，所述极差变换还原公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。

在本发明实施例中，提出了一种数据存取方法，通过极差变换公式进行32位数据体到8位数据体的压缩变换，并将数据道的最大值和最小值信息存储在道头数据的预定字段中，然后在进行数据读取时，将8位数据体转换至32位数据体进行数据读取，从而解决了现有技术中无法同时保证数据精度和减少存储空间的技术问题，达到了在保证数据精度的同时有效减少存储空间，进一步的，相对于现有的32位到8位的数据转换方法，有更好的数据适应性，能够恢复样点原本32位数值的量级，如果有量纲还可以恢复样点原本32位数值的量纲，且最终得到的数据精度有很大的提高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是根据本发明实施例的数据存储和读取方法的方法流程图；

图2是根据本发明是实施例的数据存取方法与现有的数据存取方法的数据精度比较示意图；

图3是根据本发明实施例的数据存取系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

发明人考虑到，目前地震处理、解释算法输入输出的通常都是32位单精度浮点数据，因此，可以将输出的32位浮点型数据体先转换为8位整型数据体，然后再进行存储，在需要读取的时候，先将8位整型数据体转换为32位浮点型数据体再读取。

目前有一种数据转换方式，主要是采用如下的线性比例变换公式进行转换：

其中，A表示变换前的32位浮点型数据体的数据值，A′表示变换后的8位整型数据体的数据值，round表示四舍五入法取整函数，|A|_max表示数据体中所有数据统计得到的最大绝对值。

通过这种方式的优点是保持了原始数据的线性比例关系，即对原始数据进行了等比例的压缩或拉伸，对于无量纲数据可在读出后可直接使用，但缺点是，在某些情况下得到的8位数据分辨率较低，只有在数据体的最大、最小值正负对称时，转换后的8位数据才能充满[-127，127]的空间，否则8位数据只能占据[-127，127]区间的一部分，不能充分利用8位数据所能表示的最多255个值。例如：当某个数据体数值分布在[0.997，1.003]区间时，采用上述公式变换后所有数值都变换成了127，这显然是有问题的。

而且，在对地震数据进行处理过程中，一般都是边计算边输出的，按照上述方式需要统计全体结果数据的最大绝对值，在整个数据体计算完之前，这个最大绝对值是得不到的，因此需要两次计算一次存储，或一次计算两次存储。所谓的两次计算的方式是对第一次的计算结果不进行存储，只统计其中的最大绝大值，到第二次计算时，对输出结果经过8位体变换公式转换后存储；所谓的两次存储指的是只经过一次计算，计算后存储结果的同时统计最大绝对值，随着计算完成，第一次存储也完成，然后重新读取前面存储的计算结果经上述公式转换后进行第二次存储。

由于数据体可能很大，生成的计算结果体也可能有多个，算法计算量也可能较大，因此采用两次计算一次存储的方式计算时间可能会很长，相比32位存储会加大时间开销，而采用一次计算两次存储的方式，由于计算结果数据量比较大，不能把结果存储在内存中，需要存储到外部存储介质中，第一次存储32位浮点结果需要临时存储空间的开销，再者，外部存储速度是计算机系统的速度瓶颈之一，因此二次存储方式对存储空间和输出时间都增加了开销。

进一步的，在数据读取的时候，当读取8位数据体作为输入时，都是读出后直接强制转换为32位浮点后进入算法使用，这对于有量纲的数据体，例如速度体，3000～6000m/s的数值，经过上述公式进行8位变换后，得到63～127的值存储起来，这些8位值已经不能用来定量表征它原本代表的属性，如果读出后直接当作速度值用于算法，得到的结果显然是不可靠的。

同样，对于量级或分布区间有意义的数据，例如分布在[-1，1]区间的32位归一化数据，存储成8位体读取后直接强制转换为32位浮点值后变成了[-127，127]区间上的值，失去了绝对值小于1的特性，可能会给算法带来问题。

为此，在本发明实施例中提出了一种数据存储和读取方法，以在保持原有32位存储效率的同时，提高8位体的精度和数据适应性。对现有的数据转换、输出和读取流程三个环节都进行了改进，改进后的数据的存储和读取方法可以有效解决现有的32位数据体采用8位数据体进行存储时所存在的问题，且具有更为广泛的适用性，精度损失也可以降到最低，且不会牺牲I/O效率。

具体的，该数据存储和读取方法，主要包括两个执行过程：

1)数据存储

如图1所示，该数据存储可以包括：

步骤101：获取一道32位数据体的数据；

步骤102：统计该道的所有数据，得到最大值和最小值；

步骤103：当所述最大值与所述最小值不相等时，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；

具体地，该极差变换公式可以表示为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

步骤104：当所述最大值与所述最小值相等时，将该道的所有数据赋值为0；

步骤105：将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中。

重复执行上述步骤101至步骤105，直至计算得到的所有道的结果数据存储完毕，至此完成32位数据体到8位数据体的转换和存储。

2)数据读取

如图1所示，该数据读取可以包括：

步骤106：确定待读取的8位数据体的数据道的道位置；

在该步骤中，所谓的道位置就是确定该道所在的位置，一般可以由线号和道号共同确定。

步骤107：从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；

步骤108：当所述最大值与所述最小值不相等时，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；

具体地，该极差变换还原公式可以表示为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。

步骤109：当所述最大值与所述最小值相等时，将所述最大值作为该道的所有数据的取值。

重复执行上述步骤106至步骤109，直至读取出所有到的结果数据，至此完成8位数据体到32位数据体的转换和读取。

在上述实施例中，提出了一种数据存取方法，通过极差变换公式进行32位数据体到8位数据体的压缩变换，并将数据道的最大值和最小值信息存储在道头数据的预定字段中，然后在进行数据读取时，将8位数据体转换至32位数据体进行数据读取，从而解决了现有技术中无法同时保证数据精度和减少存储空间的技术问题，达到了在保证数据精度的同时有效减少存储空间，进一步的，相对于现有的32位到8位的数据转换方法，有更好的数据适应性，能够恢复样点原本32位数值的量级，如果有量纲还可以恢复样点原本32位数值的量纲，且最终得到的数据精度有很大的提高。

下面结合一个具体实施例对上述数据存储和读取方法的效果进行具体说明，然而值得注意的是，该具体实施例仅是为了更好地说明本发明，并不构成对本发明的不当限定。

在本例中，选取一个原始的32位数据体，其数值分布范围为0.996699～1.00333，该数据的特点是数值全部大于0，且最大值与最小值非常接近，其剖面形态如图2最上面部分的附图所示。

图2中间部分的附图所示为采用传统方法存储成8位数据体打开后的剖面图，如图所示，此时8位数据体的所有样点值全都为常量值127，可见数据已完全失真，根本不可用。

图2下面部分的附图所示为采用本例所提供的方式存储成8位数据体打开后的剖面图，对比图2上面部分和图3下面部分可以发现，二者形态非常接近，在肉眼可见范围内，分辨不出差别。

由此可见，本例所提供的数据存储和读取方法具有更好的数据处理效果，本发明实施例的数据存储和读取方法，从数据转换、输出和读取三个环节都对现有方式进行了改进，该方法可以适用于任意区间分布的数据，并且都具有最大的255级分辨率，且在读取8位数据体的数据时，有一个将8位数据体还原至32位数据体的格式变换操作，从而将其恢复至原始32位数据的量纲和量级，还原后得到的32位数值大小与对应的原始32位值的绝对误差不到原始32位数据极差的2‰。因此，相对于传统的8位数据存储方法，本发明提出的数据存储和读取方法的数据适应性要好得多，分辨率也更高，精度损失最小。

进一步的，在I/O效率方面，相对于传统的8位数据体的存储方式，本例所提出的数据存储方法没有重复计算，也没有二次存储，只是在读取8位数据体时增加了一个还原到32位数据的环节，但该环节计算量极小。因此，本例所提出的数据存储和读取方法，相较于传统存取方法的I/O效率要高。需要注意的是，虽然本例中有道头数据的I/O，但是这并不影响存取效率，因为无论哪种格式数据体的存储与读取，都有道头信息的存取动作。

即使是相对于32位数据体的直接存储与读取，本例所提供的数据存储和读取方法虽然增加了数据变换与反变换操作，但是因为这些变换都是在内存中进行的，因此计算量也极小，但是I/O的数据量却只有32位数据体的1/4，因此总体I/O时间相较于32位数据的直接存储和读取基本持平甚至略短。

基于同一发明构思，本发明实施例中还提供了一种数据存取系统，该系统包括：数据存储装置和数据读取装置，如下面的实施例所述。由于数据存储装置、数据读取装置解决问题的原理与数据存储方法、数据读取方法相似，因此数据存储装置、数据读取装置的实施可以参见数据存储方法、数据读取方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图3是本发明实施例的数据存取系统300的一种结构框图，如图3所示，包括：数据存储装置301和数据读取装置302，下面对该结构进行说明。

数据存储装置301可以包括：数据获取模块3011，用于获取一道32位数据体的数据；统计模块3012，用于统计该道的所有数据，得到最大值和最小值；压缩变换模块3013，用于在所述最大值与所述最小值不相等的情况下，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；数据赋值模块3014，用于在所述最大值与所述最小值相等的情况下，将该道的所有数据赋值为0；存储模块3015，用于将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中。

其中，上述极差变换公式可以表示为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

数据读取装置302可以包括：确定模块3021，用于确定待读取的8位数据体的数据道的道位置；读取模块3022，用于从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；数据还原模块3023，用于在所述最大值与所述最小值不相等的情况下，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；取值模块3024，用于在所述最大值与所述最小值相等的情况下，将所述最大值作为该道的所有数据的取值。

其中，上述极差变换还原公式可以表示为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

从以上的描述中，可以看出，本发明实施例实现了如下技术效果：提出了一种数据存取方法，通过极差变换公式进行32位数据体到8位数据体的压缩变换，并将数据道的最大值和最小值信息存储在道头数据的预定字段中，然后在进行数据读取时，将8位数据体转换至32位数据体进行数据读取，从而解决了现有技术中无法同时保证数据精度和减少存储空间的技术问题，达到了在保证数据精度的同时有效减少存储空间，进一步的，相对于现有的32位到8位的数据转换方法，有更好的数据适应性，能够恢复样点原本32位数值的量级，如果有量纲还可以恢复样点原本32位数值的量纲，且最终得到的数据精度有很大的提高。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据存储方法，其特征在于，包括：

获取一道32位数据体的数据；

统计该道的所有数据，得到最大值和最小值；

当所述最大值与所述最小值不相等时，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；

当所述最大值与所述最小值相等时，将该道的所有数据赋值为0；

将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中；

其中，所述极差变换公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

2.如权利要求1所述的方法，其特征在于，在内存中进行所述压缩变换。

3.一种数据读取方法，其特征在于，包括：

确定待读取的8位数据体的数据道的道位置；

从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；

当所述最大值与所述最小值不相等时，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；

当所述最大值与所述最小值相等时，将所述最大值作为该道的所有数据的取值；

其中，所述极差变换还原公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。

4.如权利要求3所述的方法，其特征在于，在内存中进行所述数据还原。

5.一种数据存储装置，其特征在于，包括：

数据获取模块，用于获取一道32位数据体的数据；

统计模块，用于统计该道的所有数据，得到最大值和最小值；

压缩变换模块，用于在所述最大值与所述最小值不相等的情况下，采用极差变换公式对该道的所有数据进行从32位数据体到8位数据体的压缩变换；

数据赋值模块，用于在所述最大值与所述最小值相等的情况下，将该道的所有数据赋值为0；

存储模块，用于将数据转换后的结果以道为单位进行存储，且将所述最大值和所述最小值记录在该道的道头数据的预定字段中；

其中，所述极差变换公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A表示变换前的32位数据体的数据值，round表示四舍五入法取整函数，A′表示变换后的8位数据体的数据值。

6.一种数据读取装置，其特征在于，包括：

确定模块，用于确定待读取的8位数据体的数据道的道位置；

读取模块，用于从该数据道的道头数据的预定字段中读取该道原始32位数据体的数据的最大值和最小值；

数据还原模块，用于在所述最大值与所述最小值不相等的情况下，采用极差变换还原公式对该道的所有数据进行从8位数据体到32位数据体的数据还原，将还原后的结果作为该道的数据值；

取值模块，用于在所述最大值与所述最小值相等的情况下，将所述最大值作为该道的所有数据的取值；

其中，所述极差变换还原公式为：

其中，A_min表示所述最小值，A_max表示所述最大值，A′表示还原前的8位数据体的数据值，A″表示还原后的32位数据体的数据值。