CN112925742A - 一种地震波形数据存储归档管理的方法 - Google Patents
一种地震波形数据存储归档管理的方法 Download PDFInfo
- Publication number
- CN112925742A CN112925742A CN202011211422.5A CN202011211422A CN112925742A CN 112925742 A CN112925742 A CN 112925742A CN 202011211422 A CN202011211422 A CN 202011211422A CN 112925742 A CN112925742 A CN 112925742A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- waveform data
- real
- aws
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007726 management method Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000003491 array Methods 0.000 claims abstract description 4
- 238000013500 data storage Methods 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种地震波形数据存储归档管理的方法包括：接收实时波形数据和非实时波形数据，流服务器将采集到的实时波形数据上传至实时处理系统，实时处理系统自动处理波形数据并将自动处理结果上传到人机交互处理系统内；人机交互处理系统上传地震相关数据和地震目录到网络文件系统内；所述网络文件系统将地震相关数据和地震目录数据存储设备到主机，所述主机将获得数据信息上传到AWS；所述主机上挂载多个存储数据的磁盘阵列，能够自动填补AWS服务器上中断的数据；数据段可以通过索引查找调用，一个所述索引对应一定时间段的连续的Miniseed格式的监测数据，索引按照NetCDF格式存储对应时间段的波形数据。本发明能够进行有效的数据归档，便于数据的录入和调出。
Description
技术领域
本发明涉及地震数据管理领域，尤其涉及一种地震波形数据存储归档管理的方法。
背景技术
地震作为自然灾害具有极大地破坏力，当前我国建立了地震监测设备和由国家至地方的地震数据网，实现对地震前后系列数据的监测，并采集到的数据自下而上的进行汇总，形成体量巨大的数据集合，面广两大的地震相关数据面行整合后临进存储整合问题。
同时，科研人员为了能够更深入的地了解地震产生的规律、分析地震涉及范围、评估灾损情况等，往往会调取以往地震波形数据进行数据调研和对比分析，但地震波形数据量较大，科研人员在存储、接收、检索和显示上等十分不便，有待于改进。
发明内容
为克服现有技术的缺点，本发明目的在于提供一种地震波形数据存储归档管理的方法。
本发明通过以下技术措施实现的，所述地震波形数据存储归档管理的方法包括：接收实时波形数据和非实时波形数据，流服务器将采集到的实时波形数据上传至实时处理系统，所述实时处理系统自动处理波形数据并将自动处理结果上传到人机交互处理系统内；所述人机交互处理系统上传地震相关数据和地震目录到网络文件系统内；所述网络文件系统将地震相关数据和地震目录数据存储设备到主机，所述主机将获得数据信息上传到AWS，所述AWS可单向或双向同步数据到主机；所述主机上挂载多个存储数据的磁盘阵列，所述磁盘阵列利用底层磁盘的接口将其每个磁盘且分为多个扇区，并监控各个扇区的情况，对上传异常的数据段，利其用冗余数据对原有的扇区重新扫描修复，自动填补AWS服务器上中断的数据，完成数据的迁移和补缺；所述数据段可以通过索引查找调用，一个所述索引对应一定时间段的连续的Miniseed格式的监测数据，所述索引按照NetCDF格式存储对应时间段的波形数据，所述时间段为一个连续的时间段，包括开始的时间和结束的时间。
作为一种优选方式，所述数据文件采用STEIM2压缩算法按通道归档波形数据，所述数据文件的归档通道依时间、台网代码、台站代码、通道代码、数据文件的级别顺序管理。
作为一种优选方式，所述索引调用数据文件时采用Miniseed格式抽取时间段波形，根据调用数据的时间(年)、台网代码、台站代码、通道代码、时间(日)的顺序分级查找。
作为一种优选方式，所述AWS在源服务器的AWS里单向同步本机没有的波形数据；将所述数据源服务器里的AWS设置为数据同步源，则两台或两台以上的AWS服务互为数据同步源实现双向数据同步。
作为一种优选方式，流服务器通过数据采集器将采集到的数据进行打包并上传到主机，所述主机按照一定的格式进行整理后发送至人机交互单元。
作为一种优选方式，所述网络文件系统允许网络中的计算机之间资源共享，本地网络文件系统的客户端可以远程读写服务器上的文件。
作为一种优选方式，还包括系统管理单元，所述系统管理单元监控基本组件运行、调度应用程序作业。
本发明提供的一种地震波形数据存储归档管理的方法，数据服务系统可以从实时数据流服务器中接收实时数据，也可以提供旧数据的在线查询下载等服务，方便地震相关数据的收集和显示；其次，按照时间顺序，采用STEIM2压缩算法，按通道归档波形数据对地震波形数据进行归档管理，方便数据迁移，高效地管理和查询地震波形数据，采用数据文件方式存储数据，为数据提供查询索引，结合地震台站观测数据的特点设计数据服务系统；同时，一个索引对应一定时间段的连续的Miniseed格式的监测数据，系统按规则查找数据文件存放路径，在相关文件中找到数据的索引，通过索引抽取时间段波形数据，快速从文件中读取相关数据段。方便科研人员有逻辑的存储和检索旧的波形数据，结构清晰的接收和显示实时数据。
附图说明
图1为本发明实施例的波形数据存储归档管理示意图；
图2为本发明实施例的索引查找波形数据示意图；
图3为本发明实施例的数据索引的格式示意图。
具体实施方式
下面结合实施例并对照附图对本发明作进一步详细说明。
一种地震波形数据存储归档管理的方法，参考图1至图2，所述地震波形数据存储归档管理的方法包括：接收实时波形数据和非实时波形数据，流服务器将采集到的实时波形数据上传至实时处理系统，所述实时处理系统自动处理波形数据并将自动处理结果上传到人机交互处理系统内；所述人机交互处理系统上传地震相关数据和地震目录到网络文件系统内；所述网络文件系统将地震相关数据和地震目录数据存储设备到主机，所述主机将获得数据信息上传到AWS，所述AWS可单向或双向同步数据到主机；所述主机上挂载多个存储数据的磁盘阵列，所述磁盘阵列利用底层磁盘的接口将其每个磁盘且分为多个扇区，并监控各个扇区的情况，对上传异常的数据段，利其用冗余数据对原有的扇区重新扫描修复，自动填补AWS服务器上中断的数据，完成数据的迁移和补缺；该方法具有数据迁移功能，也支持离线的数据同步功能，可以对512字节打包的Miniseed文件重新扫描，并自动填补AWS服务器上中断的数据。
在一实施例中，如图1和2所示，所述数据段可以通过索引查找调用，一个所述索引对应一定时间段的连续的Miniseed格式的监测数据，所述索引按照NetCDF格式存储对应时间段的波形数据，所述时间段为一个连续的时间段，包括开始的时间和结束的时间；所述数据文件采用STEIM2压缩算法按通道归档波形数据，所述数据文件的归档通道依时间、台网代码、台站代码、通道代码、数据文件的级别顺序管理；所述索引调用数据文件时采用Miniseed格式抽取时间段波形，根据调用数据的时间(年)、台网代码、台站代码、通道代码、时间(日)的顺序分级查找。一定时间段的连续的Miniseed格式的监测数据允许用户从本地采用这些文件格式进行数据加载。如图2所示，系统采用台站名而不直接使用IP地址，使配置起来逻辑更清晰，而且流服务器的日志中会给出台站名。
所述AWS在源服务器的AWS里单向同步本机没有的波形数据；将所述数据源服务器里的AWS设置为数据同步源，则两台或两台以上的AWS服务互为数据同步源实现双向数据同步。
流服务器通过数据采集器将采集到的数据进行打包并上传到主机，所述主机按照一定的格式进行整理后发送至人机交互单元。
所述网络文件系统允许网络中的计算机之间资源共享，本地网络文件系统的客户端可以远程读写服务器上的文件。
还包括系统管理单元，所述系统管理单元监控基本组件运行、调度应用程序作业。
以上是对本发明一种地震波形数据存储归档管理的方法进行的阐述，用于帮助理解本发明，但本发明的实施方式并不受上述实施例的限制，任何未背离本发明原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种地震波形数据存储归档管理的方法，其特征在于，所述地震波形数据存储归档管理的方法包括：
接收实时波形数据和非实时波形数据，流服务器将采集到的实时波形数据上传至实时处理系统，所述实时处理系统自动处理波形数据并将自动处理结果上传到人机交互处理系统内；
所述人机交互处理系统上传地震相关数据和地震目录到网络文件系统内；
所述网络文件系统将地震相关数据和地震目录数据存储设备到主机，所述主机将获得数据信息上传到AWS，所述AWS可单向或双向同步数据到主机；
所述主机上挂载多个存储数据的磁盘阵列，所述磁盘阵列利用底层磁盘的接口将其每个磁盘且分为多个扇区，并监控各个扇区的情况，对上传异常的数据段，利其用冗余数据对原有的扇区重新扫描修复，自动填补AWS服务器上中断的数据，完成数据的迁移和补缺；
所述数据段可以通过索引查找调用，一个所述索引对应一定时间段的连续的Miniseed格式的监测数据，所述索引按照NetCDF格式存储对应时间段的波形数据，所述时间段为一个连续的时间段，包括开始的时间和结束的时间。
2.根据权利要求1所述的地震波形数据存储归档管理的方法，其特征在于：所述数据文件采用STEIM2压缩算法按通道归档波形数据，所述数据文件的归档通道依时间、台网代码、台站代码、通道代码、数据文件的级别顺序管理。
3.根据权利要求1或2任一所述的地震波形数据存储归档管理的方法，其特征在于：所述索引调用数据文件时采用Miniseed格式抽取时间段波形，根据调用数据的时间(年)、台网代码、台站代码、通道代码、时间(日)的顺序分级查找。
4.根据权利要求1所述的地震波形数据存储归档管理的方法，其特征在于：所述AWS在源服务器的AWS里单向同步本机没有的波形数据；将所述数据源服务器里的AWS设置为数据同步源，则两台或两台以上的AWS服务互为数据同步源实现双向数据同步。
5.根据权利要求1所述的地震波形数据存储归档管理的方法，其特征在于：流服务器通过数据采集器将采集到的数据进行打包并上传到主机，所述主机按照一定的格式进行整理后发送至人机交互单元。
6.根据权利要求1所述的地震波形数据存储归档管理的方法，其特征在于：所述网络文件系统允许网络中的计算机之间资源共享，本地网络文件系统的客户端可以远程读写服务器上的文件。
7.根据权利要求1所述的地震波形数据存储归档管理的方法，其特征在于：还包括系统管理单元，所述系统管理单元监控基本组件运行、调度应用程序作业。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011211422.5A CN112925742A (zh) | 2020-11-03 | 2020-11-03 | 一种地震波形数据存储归档管理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011211422.5A CN112925742A (zh) | 2020-11-03 | 2020-11-03 | 一种地震波形数据存储归档管理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112925742A true CN112925742A (zh) | 2021-06-08 |
Family
ID=76163602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011211422.5A Pending CN112925742A (zh) | 2020-11-03 | 2020-11-03 | 一种地震波形数据存储归档管理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925742A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166155A (zh) * | 2014-07-25 | 2014-11-26 | 中国地震局地球物理研究所 | 一种快速获取地震动参数分布的监测网络构建系统及方法 |
| CN105260422A (zh) * | 2015-09-28 | 2016-01-20 | 西北核技术研究所 | 一种多格式波形数据文件批处理方法 |
| CN110542920A (zh) * | 2019-09-03 | 2019-12-06 | 北京云庐科技有限公司 | 地震数据处理方法及其系统 |
| WO2020138359A1 (ja) * | 2018-12-27 | 2020-07-02 | 平井 花海 | 地震予測装置及び地震予測方法 |
| CN111475839A (zh) * | 2020-04-06 | 2020-07-31 | 华中科技大学 | 一种用于不可信环境的冗余数据编码方法、存储介质 |
-
2020
- 2020-11-03 CN CN202011211422.5A patent/CN112925742A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166155A (zh) * | 2014-07-25 | 2014-11-26 | 中国地震局地球物理研究所 | 一种快速获取地震动参数分布的监测网络构建系统及方法 |
| CN105260422A (zh) * | 2015-09-28 | 2016-01-20 | 西北核技术研究所 | 一种多格式波形数据文件批处理方法 |
| WO2020138359A1 (ja) * | 2018-12-27 | 2020-07-02 | 平井 花海 | 地震予測装置及び地震予測方法 |
| CN110542920A (zh) * | 2019-09-03 | 2019-12-06 | 北京云庐科技有限公司 | 地震数据处理方法及其系统 |
| CN111475839A (zh) * | 2020-04-06 | 2020-07-31 | 华中科技大学 | 一种用于不可信环境的冗余数据编码方法、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 吴永权等: "超大容量地震数据长期在线服务系统设计", 《地震地磁观测与研究》 * |
| 黄金刚等: "测震台网数据传输补数技术", 《地震地磁观测与研究》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101937377B (zh) | 数据恢复方法和装置 | |
| US9953066B2 (en) | Automatically generating and reporting merged performance and capacity statistics | |
| US7574435B2 (en) | Hierarchical storage management of metadata | |
| KR101884725B1 (ko) | 라이브 미디어 콘텐츠 전송 장치 및 방법 | |
| US20150293830A1 (en) | Displaying storage performance information | |
| CN102780726A (zh) | 一种基于web平台的日志分析方法及系统 | |
| CN110727406B (zh) | 一种数据存储调度方法及装置 | |
| CN103248853A (zh) | 实现录像检索的方法、设备和系统 | |
| CN105303456A (zh) | 电力传输设备监控数据处理方法 | |
| CN102111285A (zh) | 一种日志信息管理方法及系统 | |
| JP2018511861A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| Murugesan et al. | Audit log management in MongoDB | |
| CN1851691A (zh) | 数据库备份数据的压缩和检索方法 | |
| CN111125171A (zh) | 一种监测数据存取方法、装置、设备及可读存储介质 | |
| CN112925742A (zh) | 一种地震波形数据存储归档管理的方法 | |
| CN110866068B (zh) | 一种基于hdfs的公告数据存储方法及其装置 | |
| CN106919574B (zh) | 一种实时处理远程同步文件的方法 | |
| CN109101639B (zh) | 一种提高文件系统性能的聚合模式 | |
| US10956373B1 (en) | Page-based metadata system for distributed filesystem | |
| CN105761164A (zh) | 一种基于Hadoop的电力系统事故追忆的方法 | |
| CN113115069A (zh) | 一种行车记录仪的视频存储方法和系统 | |
| CN115374065A (zh) | 一种基于云平台日志记录监控的文件清理方法及系统 | |
| US20020143779A1 (en) | Data structures and methods for imaging computer readable media | |
| US10754819B1 (en) | Method and system for implementing an automated archiving tool | |
| CN110515955A (zh) | 数据的存储、查询方法、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210608 |
|
| RJ01 | Rejection of invention patent application after publication |