CN109992910B - 面向海量数据的能量谱密度计算方法及应用 - Google Patents

面向海量数据的能量谱密度计算方法及应用 Download PDF

Info

Publication number
CN109992910B
CN109992910B CN201910278080.XA CN201910278080A CN109992910B CN 109992910 B CN109992910 B CN 109992910B CN 201910278080 A CN201910278080 A CN 201910278080A CN 109992910 B CN109992910 B CN 109992910B
Authority
CN
China
Prior art keywords
data
sac
distributed
format data
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910278080.XA
Other languages
English (en)
Other versions
CN109992910A (zh
Inventor
蔡寅
司冠南
张明
周风余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN201910278080.XA priority Critical patent/CN109992910B/zh
Publication of CN109992910A publication Critical patent/CN109992910A/zh
Application granted granted Critical
Publication of CN109992910B publication Critical patent/CN109992910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明供了一种面向海量数据的能量谱密度计算方法及应用，能够提高能离谱密度计算速度。其包括以下步骤：1）转换波形数据；2）读取步骤1)中形成的所有三分量SAC格式数据文件内容，并按照并行计算节点的物理配置重新整合成分布式数据集；3)计算将步骤2）所形成的分布式数据集均匀分布到算法执行队列中并行执行波形数据转换；4）绘制需要的波形图和能量谱图。

Description

面向海量数据的能量谱密度计算方法及应用
技术领域
本发明涉及一种能量谱密度计算，具体涉及一种面向海量数据的能量谱密度计算方法及应用。
背景技术
能量谱密度是信号的四种频率特性之一，用于表示单位频带内的信号能量。能量谱密度可作为物理结构物的许多力学性能预报的重要输入信息，通过计入结构物固有的频率响应函数，可以得到相关性能的能量谱密度函数输出谱，该谱的各阶矩对应各种力学性能。
目前能量谱密度算法已广泛应用于地球物理、建筑结构、船舶工程等多个领域。在地震能量谱密度计算方面，随着计算机技术的飞速发展，数据量大大增加，传统能量谱密度算法面向海量数据时存在计算速度慢、消耗时间长等问题，已不能满足日常业务的需求。
发明内容
本发明要解决的技术问题是提供了一种面向海量数据的能量谱密度计算方法及应用，能够提高能离谱密度计算速度。
本发明为实现上述目的，通过以下技术方案实现：
一种面向海量数据的能量谱密度计算方法，其特征在于，包括以下步骤：
1）转换波形数据
将标准SEED格式数据转换为各台站的三分量SAC格式数据；
2）整合数据集
读取步骤1)中形成的所有三分量SAC格式数据文件内容，并按照并行计算节点的物理配置重新整合成分布式数据集，数据集的数量应满足如下公式：
Figure RE-RE-DEST_PATH_IMAGE001
Figure RE-316921DEST_PATH_IMAGE002
其中NC为基于计算能力的分布式数据集理论数量，NM为基于存储能力的分布式数据集理论数量， N为分布式数据集的数量，S为计算节点的数量，C为计算节点的CPU核心数，D为SAC格式数据文件，Vm为每个计算节点的内存容量，Vd为每个SAC格式数据文件所占用存储空间的容量；
3)分布式数据计算
将步骤2）所形成的分布式数据集均匀分布到算法执行队列中并行执行波形数据转换；
4）绘制需要的波形图和能量谱图。
所述面向海量数据的能量谱密度计算方法优选方案，当SEED格式数据文件数量满足N<S×C×5时，采用单线程方式执行；否则均匀分布到
Figure RE-RE-DEST_PATH_IMAGE003
个算法执行队列中并行执行波形数据转换，其中，S为计算节点的数量，C为计算节点的CPU核心数；SAC格式数据保存文件名为“时间戳+台站点+分量”。
数据集中每一条数据都是文件名与文件内容组成的键值对，形如：
<DName, DContent>
其中DName为SAC格式数据文件名，DContent为SAC格式数据文件内容。
所述面向海量数据的能量谱密度计算方法优选方案，分布式数据集均匀分布到算法执行队列中并行执行以下步骤：
（1）获取时间戳
从前述DName中获取时间戳信息DTime。
（2）执行傅里叶变换
对前述DContent进行短时傅里叶变换，得到数据F：频率向量、T：频谱图计算的时刻点、P：能量谱密度，将数据组织成5元组<DTime, DContent, F, T, P>，并进入图形绘制分布式队列。
一种面向海量数据的能量谱密度计算方法应用，适用于地震能量谱密度计算并得到相应的地震波形图及能量谱图。
本发明的优点在于：通过对数据集的划分与算法的调度，并行执行能量谱密度计算，在多个计算节点的支持下可以大大提高能量谱密度计算的速度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的同一时刻在某个台站测得的地震波形图及能量谱图。
图2为本发明的同一时刻在另一台站测得的地震波形图及能量谱图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
以地震波形处理为例，提交1个SEED格式数据文件，其中样本数据时间跨度为1月，数据分量为3，每台站每天每分量产生1个数据文件，总数据文件量30×3×200=18000，采用3个计算节点进行处理，每个计算节点配置10核心CPU和32GB内存。
地震能量谱密度计算方法具体步骤如下：
1）转换波形数据
将标准SEED格式数据转换为各台站的三分量SAC格式数据，由于SEED格式数据文件数量为1，采用单线程方式执行，SAC格式数据保存文件名形如“2017.184.08.19.02.0000.XX.XXXX.00.SHE.D.SAC”；
2)整合数据集
读取步骤1中形成的所有三分量SAC格式数据文件内容，并按照并行计算节点的物理配置重新整合成分布式数据集，
数据集中每一条数据都是文件名与文件内容组成的键值对，形如：
<2017.184.08.19.02.0000.XX.XXXX.00.SHE.D.SAC,XXXXXXXXXXXXXXXXXXXXXXXXXXXX>
计算节点的数量为3，计算节点的CPU核心数为10，数据文件量为18000，每个计算节点的内存容量32GB，每个波形单元所占用存储空间的容量为209KB，经计算，数据集的数量为94；
具体计算如下：NC=3*10*5=150
NM=18000*10*209KB/32GB=1.175
Figure RE-47111DEST_PATH_IMAGE004
3）分布式数据计算
将步骤2）所形成的分布式数据集均匀分布到30个算法执行队列中并行执行下面步骤：
（1）获取时间戳
从前述DName中获取时间戳信息DTime。
（2）执行傅里叶变换
对前述DContent进行短时傅里叶变换，得到数据F：频率向量、T：频谱图计算的时刻点、P：能量谱密度，将数据组织成5元组<DTime, DContent, F, T, P>，并进入图形绘制分布式队列；
4）绘制地震波形图及能量谱图
从分布式队列中取出数据5元组，依据其中各数据元素绘制出地震波形图及能量谱图，以DTime为文件名保存，附图为同一时刻在不同台站测得的地震波形图及能量谱图。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向海量数据的能量谱密度计算方法，其特征在于，包括以下步骤：
1)转换波形数据
将标准SEED格式数据转换为各台站的三分量SAC格式数据，当SEED格式数据文件数量满足N＜S×C×5时，采用单线程方式执行；否则均匀分布到M＝S×C个算法执行队列中并行执行波形数据转换，其中，S为计算节点的数量，C为计算节点的CPU核心数；
2)整合数据集
读取步骤1)中形成的所有三分量SAC格式数据文件内容，并按照并行计算节点的物理配置重新整合成分布式数据集，数据集的数量应满足如下公式：
NC＝S×C×5
Figure FDA0003887761980000011
其中NC为基于计算能力的分布式数据集理论数量，NM为基于存储能力的分布式数据集理论数量，N为分布式数据集的实际数量，D为SAC格式数据文件，Vm为每个计算节点的内存容量，Vd为每个SAC格式数据文件所占用存储空间的容量；
SAC格式数据保存文件名为“时间戳+台站点+分量”，
数据集中每一条数据都是文件名与文件内容组成的键值对，形如：
<DName,DContent>
其中DName为SAC格式数据文件名，DContent为SAC格式数据文件内容；
3)分布式数据计算
将步骤2)所形成的分布式数据集均匀分布到算法执行队列中并行执行波形数据转换，所述分布式数据集均匀分布到算法执行队列中并行执行以下步骤：
(1)获取时间戳
从前述DName中获取时间戳信息DTime；
(2)执行傅里叶变换
对前述DContent进行短时傅里叶变换，得到数据F：频率向量、T：频谱图计算的时刻点、P：能量谱密度，将数据组织成5元组<DTime,DContent,F,T,P>，并进入图形绘制分布式队列。
4)绘制需要的波形图和能量谱图。
2.一种权利要求1所述面向海量数据的能量谱密度计算方法应用，其特征在于：适用于地震能量谱密度计算并得到相应的地震波形图及能量谱图。
CN201910278080.XA 2019-04-09 2019-04-09 面向海量数据的能量谱密度计算方法及应用 Active CN109992910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910278080.XA CN109992910B (zh) 2019-04-09 2019-04-09 面向海量数据的能量谱密度计算方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910278080.XA CN109992910B (zh) 2019-04-09 2019-04-09 面向海量数据的能量谱密度计算方法及应用

Publications (2)

Publication Number Publication Date
CN109992910A CN109992910A (zh) 2019-07-09
CN109992910B true CN109992910B (zh) 2023-01-13

Family

ID=67131163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910278080.XA Active CN109992910B (zh) 2019-04-09 2019-04-09 面向海量数据的能量谱密度计算方法及应用

Country Status (1)

Country Link
CN (1) CN109992910B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105403918A (zh) * 2015-12-09 2016-03-16 中国科学院地质与地球物理研究所 一种三分量微地震数据有效事件识别方法及系统
CN106468782A (zh) * 2015-08-19 2017-03-01 中国石油化工股份有限公司 一种基于最大能量比法的裂缝预测方法
CN107291995A (zh) * 2017-05-27 2017-10-24 中国船舶工业集团公司第七〇八研究所 一种基于谱分析法的浮式海洋结构物结构应力计算方法
CN109298446A (zh) * 2018-11-06 2019-02-01 广州供电局有限公司 城市复杂场地条件环境的微动探测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509336B2 (en) * 2004-12-17 2009-03-24 International Business Machines Corporation Workload periodcity analyzer for autonomic database components

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106468782A (zh) * 2015-08-19 2017-03-01 中国石油化工股份有限公司 一种基于最大能量比法的裂缝预测方法
CN105403918A (zh) * 2015-12-09 2016-03-16 中国科学院地质与地球物理研究所 一种三分量微地震数据有效事件识别方法及系统
CN107291995A (zh) * 2017-05-27 2017-10-24 中国船舶工业集团公司第七〇八研究所 一种基于谱分析法的浮式海洋结构物结构应力计算方法
CN109298446A (zh) * 2018-11-06 2019-02-01 广州供电局有限公司 城市复杂场地条件环境的微动探测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于振动信号的谱分析与综合评价;俞潇,莫家庆,吕小毅,贾振红;《电子设计工程》;20151130;全文 *
基于能量谱的时域波形再现瞬态振动环境试验方法;王和,刘合锋,杨飞虎;《动力学与控制学报》;20140930;全文 *

Also Published As

Publication number Publication date
CN109992910A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
US20230214631A1 (en) Neural Network Architecture Using Single Plane Filters
Wong et al. NAS parallel benchmarks I/O version 2.4
US8463820B2 (en) System and method for memory bandwidth friendly sorting on multi-core architectures
JP6340481B2 (ja) データキャッシング方法、装置及び記憶媒体
Cao et al. Implementing sparse matrix-vector multiplication using CUDA based on a hybrid sparse matrix format
Ramesh et al. Data modelling for discrete time series data using Cassandra and MongoDB
GB2568102A (en) Exploiting sparsity in a neural network
WO2021169386A1 (zh) 一种图数据处理方法、装置、设备、介质
EP3782051A1 (en) High-performance sparse triangular solve on graphics processing units
Reimer et al. Approximating the critical domain size of integrodifference equations
CN109992910B (zh) 面向海量数据的能量谱密度计算方法及应用
CN102663207A (zh) 一种利用gpu加速介观体系物理问题求解的方法
CN114416610B (zh) Pwm信号生成方法、芯片和电子设备
Tanabe et al. Scaleable sparse matrix-vector multiplication with functional memory and gpus
US20180107600A1 (en) Response times in asynchronous i/o-based software using thread pairing and co-execution
US10262000B1 (en) Global distributed file append using log-structured file system
CN109726354B (zh) 一种面向海量数据的并行互相关计算方法
Marcu et al. Virtual log-structured storage for high-performance streaming
WO2022027172A1 (zh) 数据处理装置、方法和系统以及神经网络加速器
WO2015172718A1 (zh) 在存储器中进行多访问的方法、装置和存储系统
US11983128B1 (en) Multidimensional and multiblock tensorized direct memory access descriptors
US20220222041A1 (en) Method and apparatus for processing data, and related product
Gao et al. A parallel method for unpacking original high speed rail data based on mapreduce
Chang et al. Exact partition functions for the q-state Potts model with a generalized magnetic field on lattice strip graphs
Spillner Exploiting the cloud control plane for fun and profit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Cai Yin

Inventor after: Si Guannan

Inventor after: Zhang Ming

Inventor after: Zhou Fengyu

Inventor before: Si Guannan

Inventor before: Cai Yin

Inventor before: Zhang Ming

Inventor before: Zhou Fengyu

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant