CN112069135A - 一种海量地震数据可视化存储方法 - Google Patents

一种海量地震数据可视化存储方法 Download PDF

Info

Publication number
CN112069135A
CN112069135A CN202010980363.1A CN202010980363A CN112069135A CN 112069135 A CN112069135 A CN 112069135A CN 202010980363 A CN202010980363 A CN 202010980363A CN 112069135 A CN112069135 A CN 112069135A
Authority
CN
China
Prior art keywords
seismic data
block
file
data volume
cube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010980363.1A
Other languages
English (en)
Other versions
CN112069135B (zh
Inventor
邱小斌
毕建军
陈有兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongheng Lihua Petroleum Technology Research Institute
Original Assignee
Beijing Zhongheng Lihua Petroleum Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongheng Lihua Petroleum Technology Research Institute filed Critical Beijing Zhongheng Lihua Petroleum Technology Research Institute
Priority to CN202010980363.1A priority Critical patent/CN112069135B/zh
Publication of CN112069135A publication Critical patent/CN112069135A/zh
Application granted granted Critical
Publication of CN112069135B publication Critical patent/CN112069135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种海量地震数据可视化存储方法,包括:一:扩展叠后三维地震数据体作为立方体,将获得的立方体数组作为初级扩展块;二:定义单元块,将初级扩展块划分为由单元块组成立方体数组,按单元块划分地震数据体;三:规划多尺度结构,建立多分辨率地震数据体;四:定义文件格式,按定义的文件格式建立新的三维地震数据体文件;五:数据可视化存储,将seg‑y文件格式的地震数据转换为新的三维地震数据体文件,并设计数据缓存策略,将转换文件格式后的三维地震数据体文件进行可视化存储。本发明提出一种性能均衡适用于多向、多尺度读写的分块、分级存储的叠后大规模三维地震数据体文件格式,可存储大规模三维地震数据体并进行高效地读写。

Description

一种海量地震数据可视化存储方法
技术领域
本发明涉及油气勘探技术领域,尤其涉及一种海量地震数据可视化存储方法。
背景技术
随着社会的进步、科技的发展,人类生产力不断提高,为保障社会生产生活高效运转,各个国家、地区、各种资本与科技团体在确保能源的安全有效供应方面一直在进行各种坚持不懈的努力。油气资源作为一种高效经济实用的能源,在当今社会及可预见的未来将一直占据着人类所需能源总量的巨大份额,但油气资源作为一种地下资源,勘探开发难度巨大。随着信息技术、计算技术等相关科学技术的不断发展,物探技术也取得了飞跃发展。在油气勘探技术也取得了巨大进步的同时,对油气勘探开发的要求越来越高,工程技术人员、科学研究人员和管理决策人员需要更加全面精准掌握地下情况,致使从地下采集的数据越来越精细、采集的区域越来越广、数据量越来越大,对于如何存储、处理、利用这些数据越来越成为巨大的挑战。现代油气勘探开发中应用的三维地震数据体,其数据量的大小从几个GB到几十个GB甚至几百个GB,非常普遍地存在于油气勘探开发工程师的个人计算机机械硬盘里。如何高效地读写大体量的地震数据体一直是一个困扰用户的难题,采用本发明格式的文件来存储大规模三维地震数据体,可以最大限度地解决这一难题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种性能均衡适用于多向、多尺度读写的分块、分级存储的叠后大规模三维地震数据体文件存储方法。实际工作中三维地震数据体普遍以seg-y文件格式存储,相对于seg-y文件以地震道(trace)为单位进行组织,本发明提出的叠后大规模三维地震数据体存储格式以块(cube)为单位进行组织。
本发明的目的是通过以下技术方案来实现的:
一种海量地震数据可视化存储方法,包括以下步骤:
步骤一:扩展叠后三维地震数据体为立方体,将三维地震数据体看作三维数组,用符号 Si,j,k表示,其中i,j,k分别标示各维度的大小,各维度大小统一扩大到能用2n表示的最小值,其中n为非负整数,将获得的立方体数组作为初级扩展块;
步骤二:定义单元块,将初级扩展块划分为由单元块组成立方体数组,按单元块划分地震数据体;
步骤三:规划多尺度结构,建立多分辨率地震数据体;
步骤四:定义文件格式,按定义的文件格式建立新的三维地震数据体文件;
步骤五:数据可视化存储,将seg-y文件格式的地震数据转换为新的三维地震数据体文件,并设计数据缓存策略,将转换文件格式后的三维地震数据体文件进行可视化存储。
具体的,所述步骤三中建立多分辨率地震数据体过程包括:
S301,将扩展三维地震数据体为一个立方体,得到初级扩展块,并定义单元块;
S302,对初级扩展块逐级抽稀采样,直到最后一次抽稀得到的立方体的大小与单元块相等为止,逐级抽稀采样的方式为在立方体的每个维度上每2n个样点抽其一,其中n表示抽样级数;
S303,按单元块划分各级扩展块,得到按块管理的多分辨率地震数据体。
具体的,所述步骤四中建立新的三维地震数据体文件过程具体包括:从每级单元化块Bn中去除IUCn得到VBn,即VBn=Bn-IUCn,把VBn的单元块按一定顺序排列在一起,形成有效单元块列表,然后依照级别由高到低把各级有效单元块列表依次保存到文件里;其中,有效单元块列表用符号VLn表示,n表示单元化块的级数。
具体的,所述步骤五中具体包括以下子步骤:
S501、利用步骤四中的方法将seg-y文件格式的地震数据转换为新的三维地震数据体文件;S502、根据数据使用的具体要求,设计数据缓存策略;
S503、在内存中开辟缓存区,用于预加载或缓存最近读或写过的数据单元块;
S504、根据数据缓存策略,每次至少读一个单元块数据,并缓存在缓存区中,以便下次继续利用,减少磁盘读写次数;
S505、根据应用需求利用缓存区中的数据单元块完成计算或可视化任务,当需要的数据不在缓存区中,中断计算或可视化任务,启动数据加载过程,把文件中相应的单元块加载到缓存中,并继续之前中断的计算或可视化任务;
S506、监控缓存区的状态,当缓存区空间在耗尽之前,按缓存策略卸载缓存区中的单元块或在内存空间充足的情况下扩大缓存区;
S507、对于可视化任务,预先加载低精度的单元块,再加载高精度的单元块,完成所有地震数据体的可视化读写存储。
此外,所述步骤四中还包括单元块的序列化过程:对单元块中的每个元素都标注坐标,将三维的单元块按特定的规则转化为一维的序列;其中,转化规则表达式为:idx=i*Lj*Lk+j*Lk+k,其中idx表示序列的索引,Lj、Lk分别表示单元块J、K维的维度。
本发明的有益效果:本发明提出了一种性能均衡适用于多向、多尺度读写的分块、分级存储的叠后大规模三维地震数据体文件格式,实际工作中三维地震数据体普遍以seg-y文件格式存储,相对与seg-y文件以地震道(trace)为单位进行组织,本发明提出的叠后大规模三维地震数据体存储格式以块(cube)为单位进行组织,可以减少文件的容量和磁盘空间,同时缩短文件读写时间,提高了数据应用效率。
附图说明
图1是本发明的方法流程图。
图2是本发明的非立方数据体扩展为立方数据体过程示意图。
图3是本发明的数据体的单元化过程示意图。
图4是本发明的建立多分辨率地震数据体过程示意图。
图5是本发明的单元块序列化过程示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
本实施例中,如图1所示,一种海量地震数据可视化存储方法,具体包括以下步骤:
步骤一:扩展叠后三维地震数据体为立方体。把三维地震数据体看作三维数组,用符号 Si,j,k表示,其中i,j,k分别标示各维度的大小,如S5,8,6表示一个各个维度大小分别为5、8、 6,总成员数为5*8*6=240的三维数组。各维度大小统一扩大到能用2n表示的最小值,其中n 为非负整数,如此得到一个立方体数组(cube)称作初级扩展块(primary expandedcube)。如三维数组S5,8,6可以扩大为S8,8,8,称作尺度大小为8的初级扩展块,可以简写为S8。非立方数据体扩展为立方数据体的过程可参考图2,在图2中,(a)部分表示一个5*8*6的数据体,用符号S5,8,6表示,其中i,j,k分别对应三个维度维度:i=5,j=8,k=6;(b)部分表示把5*8*6 的数据体扩展维8*8*8的立方数据体,用符号S8,8,8表示,称作尺度大小为8的初级扩展块,简写为S8。从(a)中S5,8,6扩展为(b)中S8的规则是:S8,8,8中各维度大小统一扩大到能用2n表示的最小值,其中n为非负整数,如此得到一个立方体数组(cube)。
步骤二:按单元块划分地震数据体。定义单元块(unit cube),把初级扩展块划分为由单元块组成立方体数组,称作单元化扩展块(unitized expanded cube),简称单元化块(unitized cube)。单元块是立方体,是本发明数据结构中体数据的最小读写单位。理论上单元块的维度大小为2n,其中n为任意非负整数,实际上根据计算资源的有效利用与限制,n一般最小不小于5,最大不大于7,也就是说,单元块的维度大小通常取25=32、26=64、27=128三个值中的某一个。对应单元块的元素个数分别为32*32*32=32768、64*64*64=262,144、128* 128*128=2,097,152。单元块用符号Us表示,单元块是一个立方体,其中上标s表示立方体维度的大小,单元化块用符号Bs表示,单元化块也是是一个立方体,其中上标s也表示立方体维度的大小。如下的例子演示了如何把一个初级扩展块划分为由单元块组成的扩展块。假设有一个S1024的初级扩展块,单元块设为U64,得到维度大小为1024/64=16的单元化块,记为B16。也就是说,单元化块是元素为立方体的立方体,且维度大小也是2n,其中n为某一非负整数。从初级扩展块得到单元化块请参考图3,在图3中,(a)部分表示一个2*2*2的单元块,用符号U2表示。单元块的维度大小为2n,其中n为任意非负整数,实际上根据计算资源的有效利用与限制,n一般最小不小于5,最大不大于7,也就是说,单元块的维度大小通常取25=32、26=64、27=128三个值中的某一个。对应单元块的元素个数分别为 32*32*32=32768、64*64*64=262,144、128*128*128=2,097,152。单元块用符号Us表示,单元块是一个立方体,其中上标s表示立方体维度的大小,此图中s=2,纯粹是为了图示化说明方便;(b)部分表示一个初级扩展块S8;(c)部分表示S8对应的单元化块,用符号B4表示,把初级扩展块划分为由单元块组成的立方体数组,称作单元化扩展块(unitized expandedcube),简称单元化块(unitized cube),也就是说,单元化块是元素为立方体的立方体。
步骤三:规划多尺度结构,建立多分辨率地震数据体。从扩展块产生的过程可知,扩展块是元素为立方体的立方体,且维度大小也是2n,其中n为某一非负整数。大小为2n的正整数取其半数为2n-1,再取半数的半数又得2n-2,如此可以一直进行下去,直到第n次,得到的2n-n=1。为了建立多分辨率地震数据体,本发明采用逐级抽稀采样的方法,设计出一种多尺度结构。建立多分辨率地震数据体过程如下:
1、扩展三维地震数据体为一个立方体,得到初级扩展块。假如有一个800*900*720的三维地震数据体,可扩展为度大小为1024的立方体,如此就得到了初级扩展块S1024
2、定义单元块,假设采样的维度大小为64,这样就得到单元块U64
3、对初级扩展块逐级抽稀采样,直到最后一次抽稀得到的立方体的大小与单元块相等为止。逐级抽稀采样的方式为:在立方体的每个维度上每2n个样点抽其一,其中n表示抽样级数。n=0,即0级抽样,2n=1,表示每1个样点抽其一,抽样后得到立方体还是初级扩展块S1024,用S0表示;n=1,即1级抽样,2n=2,表示每2个样点抽其一,抽样后得到立方体为1级扩展块S512,用S1表示;n=2,即2级抽样,2n=4,表示每4个样点抽其一,抽样后得到立方体为2级扩展块S256,用S2表示;n=3,即3级抽样,2n=8,表示每8个样点抽其一,抽样后得到立方体为3级扩展块S128,用S3表示;n=4,即4级抽样,2n=16,表示每16个样点抽其一,抽样后得到立方体为4级扩展块S64,用S4表示。因为S64与单元块U64的尺度相同,抽样停止。
4、按单元块划分各级扩展块,得到按块管理的多分辨率地震数据体。初级扩展块S0=S1024,按块划分后得到单元化块B16,称为初级单元化块,用B0表示,即B0=B16;1级扩展块S1=S512,按块划分后得到单元化块B8,称为1级单元化块,用B1表示,即B1=B8;2级扩展块S2=S256,按块划分后得到单元化块B4,称为2级单元化块,用B2表示,即B2=B4;3级扩展块S3=S128,按块划分后得到单元化块B2,称为3级单元化块,用B3表示,即B3=B2;4级扩展块S4=S64,按块划分后得到单元化块B1,称为4级单元化块,用B4表示,即B4=B1。各级单元化块(B0、B1、B2、B3、B4)共同组成按块管理的多分辨率地震数据体。建立多分辨率地震数据体的过程可参考图4,在图4中,(a)部分表示单元化块B4的2级精度数据体副本;(b)部分表示单元化块B4的1级精度数据体副本;单元化块B4的0级精度数据体副本,为B4本身。扩展块是元素为立方体的立方体,且维度大小也是2n,其中n为某一非负整数。大小为2n的正整数取其半数为2n-1,再取半数的半数又得2n-2,如此可以一直进行下去,直到第n次,得到的2n-n=1。
步骤四:定义文件格式,按定义的文件格式建立新的三维地震数据体文件。本发明的目的是定义一种文件格式,来存储由上面步骤生成的各级单元化块(unitized cube)。生成本发明格式文件的过程简要概述为:把每级单元化块(unitized cube)Bn中的单元块(unit cube) 按一定顺序排列在一起,形成级单元块列表(单元块列表用符号Ln表示,n表示单元化块的级数),然后依照级别由高到低把各级单元块列表依次保存到文件里。假设已经定义了U=U64,并得到了S0=S1024、S1=S512、S2=S256、S3=S128、S4=S64五个级别的扩展立方体,以及与之分别对应的B0=B16、B1=B8、B2=B4、B3=B2、B4=B1五个级别的扩展单元化立方体,因为这里最高级别单元化块是B4,所以最先生成由B4中的单元块形成的单元块序列L4,由B4=B1可知,立方体B4中只有一个单元块元素,因此L4中也只有一个元素,即L4=(B1 0,0,0)。这里要注意的是,虽然B4和L4都只有一个元素,但它们在本质上是不同的,B4是一个有三个维度的的立方体,而L4是一维的列表。由B3=B2可知,B3是一个有2*2*2=8个元素的立方体,这些元素分别是B2 0,0,0、B2 0,0,1、B2 0,1,0、B2 0,1,1、B2 1,0,0、B2 1,0,1、B2 1,1,0、B2 1,1,1,B3对应的单元块列表L3=(B2 0,0,0,B2 0,0,1,B2 0,1,0,B2 0,1,1,B2 1,0,0,B2 1,0,1,B2 1,1,0,B2 1,1,1)。与由B3得到L3过程类似,由B2=B4可得到L2=(B4 0,0,0,.......,B4 3,3,3),由B1=B8可得到L1=(B8 0,0,0,.......,B8 7,7,7),由B0=B16可得到L0=(B16 0,0,0,.......,B16 15,15,15)。通过上面的转换过程,得到了全部级别的用于存储的列表L4、L3、L2、L1、L0,将这些列表合并成一个总列表L,即 L=(L4,L3,L2,L1,L0)。如果配上各种相关的描述性信息与L一起存入文件,就可形成本发明格式的文件。
上面只是一个理想化的特别简化的生成本发明格式文件的过程,但在实际的实施过程中会存在数据扩展过大,带来存储空间的浪费与读写性能问题。现实中三维地震数据体在各维度的大小通常是不一致的,有时差异很大,更不会刚好是一个维度大小满足单元块的维度大小的2n倍的立方体,因此在把三维地震数据体扩展成初级扩展块时,相当增加了数据量,而这些增加的数据在实际应用中是无效的,没有任何意义,如果把这部分数据全部保存到文件中,不但会增大文件的容量,浪费磁盘空间,而且会增加文件读写时间,降低数据应用效率。为了使各级别的单元化块(unitized cube)在数据量上不超过三维地震数据体原始文件太多,本发明对于各级别的单元化块(unitized cube)中不包含任何实际数据的单元块(unit cube) 不予存储。为了方便,称各级别的单元化块中“不包含任何实际数据的单元块”为无效单元块 (invalid unit cube),用符号IU表示,各级别的单元化块中全部无效单元块组成一个集合,称为无效单元块集合(invalid unit cube collection),用符号IUCn表示,其中n代表级数;类似地,称各级别的单元化块中“包含任何实际数据的单元块”为有效单元块(valid unit cube),用符号VU表示,各级别的单元化块中全部有效单元块组成一个集合,称为有效单元块集合 (valid unit cube collection),用符号VUCn表示,其中n代表级数。从各级别的单元化块中去除无效单元块集合,留下来的就是有效单元块集合,使用不是特别严谨方法这个关系可表示为:VUCn=Bn-IUCn或者IUCn=Bn-VUCn,但是VUCn+IUCn≠Bn因为Bn不仅仅是集合,还是一个立方体。经过观察发现,从立方体Bn中去掉IUCn,剩下的VUCn在三维空间中形成一个长方体,本发明称其为由VUCn组成的单元化块,简称有效单元化块,用符号VBn表示。使用不是特别严谨的方法,Bn、VBn、IUCn之间的关系可表示为:VBn+IUCn=Bn或 VBn=Bn-IUCn。现在改进前面理想化的并特别简化的生成文件的过程,得到实际的本发明格式文件的生成过程:从每级单元化块(unitized cube)Bn中去除IUCn得到VBn,即 VBn=Bn-IUCn,把VBn的单元块(unit cube)按一定顺序排列在一起,形成有效单元块列表 (有效单元块列表用符号VLn表示,n表示单元化块的级数),然后依照级别由高到低把各级有效单元块列表依次保存到文件里。假设有一个各维度大小分别为300、700、1000的三维 seg-y文件需要转化为本发明格式的文件,此seg-y文件各维度的区间分别用符号I'、J'、K'表示:I'=[0,299]、J'=[0,699]、K'=[0,999];又假设已经定义了单元块U=U64,并得到了 S0=S1024、S1=S512、S2=S256、S3=S128、S4=S64等五个级别的扩展立方体,以及与之分别对应的B0=B16、B1=B8、B2=B4、B3=B2、B4=B1等五个级别的扩展单元化立方体,因为这里最高级别单元化块是B4,所以最先生成由VB4中的单元块形成的有效单元块序列VL4,由B4=B1可知,立方体VB4中只有一个单元块元素,因此VL4中也只有一个元素,即VL4=(VB1 0,0,0)。由B3=B2可知,B3是一个有2*2*2=8个元素的立方体,这些元素分别是B2 0,0,0、B2 0,0,1、B2 0,1,0、 B2 0,1,1、B2 1,0,0、B2 1,0,1、B2 1,1,0、B2 1,1,1,由于B3是3级抽样,对应于从源三维seg-y文件每个维度上每23=8个样点采一个样,因此B2 0,0,0对应seg-y文件各维度的区间分别用符号I、J、K 表示:I=[0,511](64*8-1=511)、J=[0,511]、K=[0,511],因为
Figure RE-GDA0002746087460000071
所以B2 0,0,0为有效单元块,B2 0,0,1对应seg-y文件各维度的区间分别用符号I、J、K表示:I=[0,511]、J=[0,511]、K=[512,1024],因为
Figure RE-GDA0002746087460000081
所以B2 0,0,1为有效单元块,依次类推,可以得到B3的全部有效单元块为B2 0,0,0、B2 0,0,1、B2 0,1,0、B2 0,1,1,并形成一个1*2*2的长方体,即VB3=B1*2*2
Figure RE-GDA0002746087460000082
与由B3得到VB3和VL3过程类似,由B2=B4可得到VB2=B2*3*4,VL2=(B4 0,0,0,.......,B4 1,2,3),由B1=B8可得到 VB1=B3*6*8,VL1=(B8 0,0,0,.......,B8 2,5,7),由B0=B16可得到VB0=B5*11*16, VL0=(B16 0,0,0,.......,B16 4,10,15)。通过上面的转换过程,得到了全部级别的用于存储的列表VL4、VL3、VL2、VL1、VL0,将这些列表合并成一个总列表VL,即 VL=(VL4,VL3,VL2,VL1,VL0)。配上各种相关的描述性信息,并与VL一起序列化并存入文件,就可形成本发明格式的文件。单元块的序列化过程可参考图5,在图5中,(a)部分表示一个单元块U2,包含8个元素,图中给每个元素标注了坐标;(b)部分表示把三维的单元块按特定的规则转化为一维的序列,图中的转化规则采用idx=i*Lj*Lk+j*Lk+k,其中 idx表示序列的索引,Lj、Lk分别表示单元块J、K维的维度,此处都为2,i、j、k为单元块中元素的坐标。本发明文件格式在表1中进行详细说明。
表1文件格式参数说明表
Figure RE-GDA0002746087460000083
步骤五:本发明格式文件的读写与大规模三维地震数据体的高效访问与可视化。在数据存储方面,当前个人计算机机械硬盘或固态硬盘(SSD),又或者是二者的混合,固态硬盘内部由电子存储芯片(闪存颗粒)控制单元、存储单元组成,读写数据的过程中不存在任何机械运动。相对机械硬盘,固态硬盘的优点是数据读写速度快、抗震性强、功耗小、无噪音、重量轻;但也存在存储容量小、价格高、数据丢失后不可恢复等显著的缺点。相对于固态硬盘,机械硬盘由磁盘、磁头、磁头控制器、磁盘马达、串行接口等机械硬件组成,虽然存在读写速度较慢、功耗大、发热量大、有噪音、抗震性能差等缺点,但因其存储空间大、技术成熟、价格低、可以多次复写、使用寿命长,误操作所删除的数据可恢复等优点任然是最常见、最广泛的一种计算机存储设备。现代油气勘探开发中应用的三维地震数据体数据量非常庞大,从几个GB到几十个GB甚至几百个GB的地震数据普遍存在于油气勘探开发工程师的个人计算机机械硬盘里。如何高效地读写大体量的地震数据体一直是一个困扰用户的难题,采用本发明格式的文件来存储大规模三维地震数据体,可以最大限度地解决这一难题,下面是实现方法的详细说明。1、利用步骤四中介绍的方法把seg-y文件转换为本发明格式的文件。2、根据数据使用的具体要求,设计数据缓存策略3、在内存中开辟缓存区,用于预加载或缓存最近读或写过的数据单元块。4、根据数据缓存策略,每次至少读一个单元块数据,并缓存在缓存区中,以便下次继续利用,减少磁盘读写次数。5、根据应用需求利用缓存区中的数据单元块完成计算或可视化任务,当需要的数据不在缓存区中,中断计算或可视化任务,启动数据加载过程,把文件中相应的单元块加载到缓存中,并继续之前中断的计算或可视化任务。6、监控缓存区的状态,当缓存区空间在耗尽之前,按缓存策略卸载缓存区中的单元块或在内存空间充足的情况下扩大缓存区。7、对于可视化任务来说,可以预先加载低精度的单元块,满足用户对高实时反馈的要求。
区别于传统的seg-y文件格式以地震道(trace)为单位进行数据的组织与管理,本发明充分考虑了叠后地震数据体应用的时空条件,提出以块(cube)为单位对叠后地震数据体进行组织与管理,并在此基础上,建立多种不同尺度数据副本,这些不同尺度的数据副本是逐级精细的,在逻辑上形成一个以数据块为叶子的每个枝节点有八分支的树形数据组织管理结构。由于采用以块(cube)为单位的数据组织方式,使得数据的使用者可以方便快捷地在资源有限的个人电脑上开辟小容量的内存缓存区,从而数倍甚至数十倍地提高叠后地震数据体的读写性能。结合多个逐级精细的数据副本(多尺度副本)和分块管理方式,PC应用开发者可以轻易地开发出所见即所得大规模数据体可视化程序,并能在个人电脑上高效流畅运行。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种海量地震数据可视化存储方法,其特征在于,包括以下步骤:
步骤一:扩展叠后三维地震数据体为立方体,将三维地震数据体看作三维数组,用符号Si,j,k表示,其中i,j,k分别标示各维度的大小,各维度大小统一扩大到能用2n表示的最小值,其中n为非负整数,将获得的立方体数组作为初级扩展块;
步骤二:定义单元块,将初级扩展块划分为由单元块组成立方体数组,按单元块划分地震数据体;
步骤三:规划多尺度结构,建立多分辨率地震数据体;
步骤四:定义文件格式,按定义的文件格式建立新的三维地震数据体文件;
步骤五:数据可视化存储,将seg-y文件格式的地震数据转换为新的三维地震数据体文件,并设计数据缓存策略,将转换文件格式后的三维地震数据体文件进行可视化存储。
2.根据权利要求1所述的一种海量地震数据可视化存储方法,其特征在于,所述步骤三中建立多分辨率地震数据体过程包括:
S301,将扩展三维地震数据体为一个立方体,得到初级扩展块,并定义单元块;
S302,对初级扩展块逐级抽稀采样,直到最后一次抽稀得到的立方体的大小与单元块相等为止,逐级抽稀采样的方式为在立方体的每个维度上每2n个样点抽其一,其中n表示抽样级数;
S303,按单元块划分各级扩展块,得到按块管理的多分辨率地震数据体。
3.根据权利要求1所述的一种海量地震数据可视化存储方法,其特征在于,所述步骤四中建立新的三维地震数据体文件过程具体包括:从每级单元化块Bn中去除IUCn得到VBn,即VBn=Bn-IUCn,把VBn的单元块按一定顺序排列在一起,形成有效单元块列表,然后依照级别由高到低把各级有效单元块列表依次保存到文件里;其中,有效单元块列表用符号VLn表示,n表示单元化块的级数。
4.根据权利要求1所述的一种海量地震数据可视化存储方法,其特征在于,所述步骤五中具体包括以下子步骤:
S501、利用步骤四中的方法将seg-y文件格式的地震数据转换为新的三维地震数据体文件;
S502、根据数据使用的具体要求,设计数据缓存策略;
S503、在内存中开辟缓存区,用于预加载或缓存最近读或写过的数据单元块;
S504、根据数据缓存策略,每次至少读一个单元块数据,并缓存在缓存区中,以便下次继续利用,减少磁盘读写次数;
S505、根据应用需求利用缓存区中的数据单元块完成计算或可视化任务,当需要的数据不在缓存区中,中断计算或可视化任务,启动数据加载过程,把文件中相应的单元块加载到缓存中,并继续之前中断的计算或可视化任务;
S506、监控缓存区的状态,当缓存区空间在耗尽之前,按缓存策略卸载缓存区中的单元块或在内存空间充足的情况下扩大缓存区;
S507、对于可视化任务,预先加载低精度的单元块,再加载高精度的单元块,完成所有地震数据体的可视化读写存储。
5.根据权利要求1所述的一种海量地震数据可视化存储方法,其特征在于,所述步骤四中还包括单元块的序列化过程:对单元块中的每个元素都标注坐标,将三维的单元块按特定的规则转化为一维的序列;其中,转化规则表达式为:idx=i*Lj*Lk+j*Lk+k,其中idx表示序列的索引,Lj、Lk分别表示单元块J、K维的维度。
CN202010980363.1A 2020-09-17 2020-09-17 一种海量地震数据可视化存储方法 Active CN112069135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010980363.1A CN112069135B (zh) 2020-09-17 2020-09-17 一种海量地震数据可视化存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010980363.1A CN112069135B (zh) 2020-09-17 2020-09-17 一种海量地震数据可视化存储方法

Publications (2)

Publication Number Publication Date
CN112069135A true CN112069135A (zh) 2020-12-11
CN112069135B CN112069135B (zh) 2022-02-08

Family

ID=73680613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010980363.1A Active CN112069135B (zh) 2020-09-17 2020-09-17 一种海量地震数据可视化存储方法

Country Status (1)

Country Link
CN (1) CN112069135B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069833A (zh) * 2022-12-30 2023-05-05 北京航天测控技术有限公司 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020188405A1 (en) * 2001-06-11 2002-12-12 Yi Luo BT sorting method and apparatus for large volumes of seismic data
CN102231155A (zh) * 2011-06-03 2011-11-02 中国石油集团川庆钻探工程有限公司地球物理勘探公司 三维地震数据管理及组织方法
CN106291688A (zh) * 2016-07-25 2017-01-04 中国石油天然气股份有限公司 一种叠后地震数据的处理方法及装置
CN110297597A (zh) * 2018-03-23 2019-10-01 中国石油化工股份有限公司 地震数据的存储方法及读取方法
CN110954957A (zh) * 2018-09-26 2020-04-03 中国石油化工股份有限公司 三维地震数据的空间融合方法及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020188405A1 (en) * 2001-06-11 2002-12-12 Yi Luo BT sorting method and apparatus for large volumes of seismic data
CN102231155A (zh) * 2011-06-03 2011-11-02 中国石油集团川庆钻探工程有限公司地球物理勘探公司 三维地震数据管理及组织方法
CN106291688A (zh) * 2016-07-25 2017-01-04 中国石油天然气股份有限公司 一种叠后地震数据的处理方法及装置
CN110297597A (zh) * 2018-03-23 2019-10-01 中国石油化工股份有限公司 地震数据的存储方法及读取方法
CN110954957A (zh) * 2018-09-26 2020-04-03 中国石油化工股份有限公司 三维地震数据的空间融合方法及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069833A (zh) * 2022-12-30 2023-05-05 北京航天测控技术有限公司 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法
CN116069833B (zh) * 2022-12-30 2024-04-19 北京航天测控技术有限公司 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法

Also Published As

Publication number Publication date
CN112069135B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
JP6639420B2 (ja) フラッシュ最適化データ・レイアウトのための方法、フラッシュ最適化記憶のための装置、およびコンピュータ・プログラム
Kim et al. Parallel in situ indexing for data-intensive computing
JP2000114379A (ja) 集積回路設計方法及び集積回路設計装置
US8659604B2 (en) Dimensional reduction mechanisms for representing massive communication network graphs for structural queries
CN112231961B (zh) 大规模有限元网格数据存储索引方法
JPWO2003091872A1 (ja) 並列マージソート処理装置及び方法並びにプログラム
JP2023543004A (ja) ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体
CN112069135B (zh) 一种海量地震数据可视化存储方法
Liu et al. Segmented analysis for reducing data movement
CN102207964B (zh) 实时海量数据索引建立方法及系统
Brown et al. A distributed density-grid clustering algorithm for multi-dimensional data
Xu et al. A hybrid update strategy for I/O-efficient out-of-core graph processing
Liu et al. G-Learned Index: Enabling Efficient Learned Index on GPU
Kim et al. A scalable high-performance i/o system for a numerical weather forecast model on the cubed-sphere grid
JP6006740B2 (ja) インデックス管理装置
CN105677249B (zh) 数据块的划分方法、装置及系统
CN104992425A (zh) 一种基于gpu加速的dem超分辨率方法
KR100878142B1 (ko) 플래시 메모리 상에서의 효율적인 동작을 위한 수정된b-트리 인덱스 구성 방법
CN110377601B (zh) 一种基于B树数据结构的MapReduce计算过程优化方法
Sun et al. T-SNE based on fixed memory step gradient descent method
JP5354606B2 (ja) データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム
JP6961950B2 (ja) 格納方法、格納装置および格納プログラム
Weiss et al. Supercubes: A high-level primitive for diamond hierarchies
Liu et al. LazySort: A customized sorting algorithm for non-volatile memory
Liao et al. Optimizing data query performance of Bi-cluster for large-scale scientific data in supercomputers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant