CN113030954A - 一种基于Flink的探地雷达数据SVD分布式算法 - Google Patents

一种基于Flink的探地雷达数据SVD分布式算法 Download PDF

Info

Publication number
CN113030954A
CN113030954A CN202110424202.9A CN202110424202A CN113030954A CN 113030954 A CN113030954 A CN 113030954A CN 202110424202 A CN202110424202 A CN 202110424202A CN 113030954 A CN113030954 A CN 113030954A
Authority
CN
China
Prior art keywords
data
svd
distributed
flink
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424202.9A
Other languages
English (en)
Inventor
冯晅
邢慧婷
王研博
宋超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110424202.9A priority Critical patent/CN113030954A/zh
Publication of CN113030954A publication Critical patent/CN113030954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/885—Radar or analogous systems specially adapted for specific applications for ground probing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，使用Flume抽取海量探地雷达数据，利用分布式文件系统HDFS存储数据文件，再通过基于分布式计算引擎Flink的分布式SVD计算，建立一套规范的大数据框架处理探地雷达数据的基本流程，分析集群在计算时的性能及数据质量，在保证SVD滤波效果一致的前提下，通过Flink计算框架提高计算的效率，同时应用实际探地雷达数据，给出大数据集群的处理方案和基本流程。

Description

一种基于Flink的探地雷达数据SVD分布式算法
技术领域
本发明涉及探地雷达数据处理领域，尤其涉及一种基于Flink的探地雷达数据SVD分布式算法。
背景技术
近年来，随着数据采集手段的飞速发展以及数据来源的多样丰富，尤其是互联网激增的大规模用户行为数据，我们所能获得的数据规模已经从十年前的数万、数十万到今天的动辄上千万、甚至是数亿。在此大数据背景下，越来越多的应用或算法向分布式系统或平台扩展，如何优化算法使其能够并行化实现，如何选择并行处理技术、大数据框架以及如何针对具体工具研制高效并行算法成为了高效处理海量数据的关键。
雷达数据处理属于现代雷达系统中的重要组成部分，通过接收雷达信号处理后的原始点迹进行处理，得到目标的位置、速度等状态，最终形成目标运动轨迹。随着现代信息化战争武器的不断革新，雷达技术及其体制不断完善，相应地对雷达数据处理系统也提出了更高的要求，需要处理的数据越来越复杂，数据量越来越大，使得加快雷达数据处理的速度成为必要。
SVD算法在探地雷达数据噪声分离方面有着广泛的应用。其中心思想是用正交变换将原矩阵化为双对角线矩阵，然后再对双对角线矩阵用变形的QR算法进行迭代。目前SVD算法主要分为QR算法、Jacobi算法等，上述算法虽然可以达到一定精度，但由于其O(n3)的时间复杂度使得其在数据量增大时，计算效率迅速降低，只能适用于中小型矩阵。因此要想解决大规模矩阵的奇异值分解问题，必须将算法并行化，利用并行计算框架来实现。此外，基于QR算法和Jacobi算法及其扩展算法，在迭代计算时都会更新原矩阵数据，对于大规模的稀疏矩阵而言，此类计算方法将改变矩阵的稀疏度，更新矩阵数据，这对于大规模数据集而言可能会产生不可预料的后果。Flink计算框架利用大数据生态的优势，能够将计算分发到分布式存储上的多个节点，并行计算提高效率。为此，本发明提出基于Flume的探地雷达数据转换和基于HDFS的大规模探地雷达数据存储。同时利用Flink计算框架实现SVD算法的分布式计算，提高SVD算法的计算效率，并在实际模型上验证其效果。
发明内容
为了解决上述问题，本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，实现分布式存储数据的同时，也能提高计算效率。
本发明提供的技术方案是：一种基于Flink的探地雷达数据SVD分布式算法，包括如下步骤：
1)采集数据，使用Flume数据采集框架，读取原始雷达数据文件，按照文件头中的元数据来切分数据道，记录在文本文件中；
2)收集文本文件，随后用HDFS存储数据，将数据以分块的方式分布式存储在集群的不同节点中；
3)在Flink计算框架中对数据进行分布式计算，首先从HDFS中读取数据，将步骤1)中的每行数据解析为原始矩阵Am×n，通过公式A＝U∑VT进行SVD分解，得到三个矩阵U、E、V，具体计算方法如下：
U是A的左奇异向量组，是A*AT的m个特征向量的标准正交基，称为A*AT的酉矩阵，V是A的右奇异向量组，是AT*A的n个特征向量的标准正交基，称为AT*A的酉矩阵，Em×n中主对角线的值由A*AT的非零特征值得到，最终对A进行SVD分解就转换成为求解A*AT和AT*A的特征值和特征向量，最后得到三个矩阵U、E、V，通过SVD分解可以将存储矩阵A转换成存储矩阵U、E、V，极大的减少数据的存储量；
4)建立大数据框架，首先建立大数据集群，集群一共7台机器，其中4台为Hadoop集群，1台namenode，3台datanode，3台为Flume集群，4台为Flink集群(与Hadoop集群共用)，1台JobManager，3台TaskManager，大数据计算框架Flink在SVD分解的过程中，提供了分布式计算的物理节点和数据分发策略，最后利用HDFS进行分布式存储，将U、E、V分布式的存储在集群不同的节点上。
优选，所述步骤1)中，在切分后的每一条数据尾部增加“\n”分隔符。
进一步优选，所述步骤2)中，使用textCollector将步骤1)中的数据源统一进行收集。
进一步优选，所述步骤3)计算SVD的过程中，将矩阵分成子矩阵块，按照计算规则分布式的分发到集群的不同节点，通过Map算子进行子矩阵块的基本运算以及初等行变换，计算之后再根据特征值进行排序，提取前n个非零的特征值，剩下的置为零，对子矩阵块进行聚合，将矩阵复原，将结果数据存储到HDFS中，既可以减小数据规模，又可以对数据去噪。
进一步优选，所述步骤3)中，所述U矩阵中向量为正交，称为左奇异向量，Σ矩阵除了对角线的元素都是0，对角线上的元素称为奇异值，VT矩阵的向量为正交，V里面的向量称为右奇异向量。
进一步优选，所述步骤3)中，特征值的计算方法如下：
计算A和AT的相乘，得到矩阵Mm×m，根据|M-λE|＝0，求解M的特征多项式的值，采用可编程实现的GAUSS消元法来实现，从第一行开始进行迭代计算，每次消元涉及到相邻的两行数据，最后得到上三角行列式，特征多项式的值就是主对角线值的乘积，进而求得λ，通过公式
Figure BDA0003028636860000031
求得Em×n的主对角线值。
进一步优选，所述步骤3)中，特征向量的计算方法如下：
首先选取非零特征值，通过公式(M-λE)x＝0进一步求得特征向量，对特征向量进行标准化，得到A*AT的酉矩阵U，同理也可以求得AT*A的酉矩阵V。
进一步优选，所述步骤4)中，通过Flink提供的监控页面，来监控SVD算法在集群上的性能表现及计算效率，与直接使用Matlab进行SVD计算的速度做对比。
进一步优选，所述步骤4)中，监控分布式SVD算法在速度上的提升与数据规模和集群节点数量的关系，在探地雷达数据规模和集群配置之间取得平衡，给出探地雷达数据在大数据分布式处理领域的规范流程及监控方式。
进一步优选，所述步骤4)的大数据计算框架Flink在SVD分解的过程中，首先采用分块矩阵的乘法，将每一组需要参与计算的矩阵块分发到集群不同节点进行计算，通过减少每一个并发执行的数据量来提高计算速度，随后进行GAUSS消元过程，需要消元的数据可以分块进行分布式行变换，最后为求解特征向量的过程，所有特征向量可以分发到集群的不同节点进行特征向量的计算，并发提高计算的速度。
本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，使用Flume抽取海量探地雷达数据，利用分布式文件系统HDFS存储数据文件，再通过基于分布式计算引擎Flink的分布式SVD计算，建立一套规范的大数据框架处理探地雷达数据的基本流程，分析集群在计算时的性能及数据质量，在保证SVD滤波效果一致的前提下，通过Flink计算框架提高计算的效率，同时应用实际探地雷达数据，给出大数据集群的处理方案和基本流程，同时本发明有如下几个优点：
1)使用Flume框架对探地雷达数据进行格式化和网格化操作，统一了探地雷达的数据格式，使得大规模的探地雷达数据可以使用分布式文件系统HDFS进行存储，降低了数据的存储成本；
2)利用Flink分布式计算框架，实现了SVD分布式算法，提高了SVD算法的计算速度；
3)给出探地雷达数据在大数据分布式处理领域的规范流程及监控方式。
附图说明
图1为本发明提供的一种基于Flink的探地雷达数据SVD分布式算法的流程图；
图2为简单模型加了高斯噪声的图像；
图3为简单模型的Matlab的SVD去噪效果；
图4为简单模型的Flink框架的分布式SVD去噪效果；
图5为简单模型的单节点和集群多节点的计算速度提升比；
图6为实际数据的原始图像；
图7为实际数据的Matlab的SVD去噪效果；
图8为实际数据的Flink框架的分布式SVD去噪效果；
图9为实际数据的单节点和集群多节点的计算速度提升比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，包括如下步骤：
1)采集数据，使用Flume数据采集框架，读取原始雷达数据文件，按照文件头中的元数据来切分数据道，记录在文本文件中；
2)收集文本文件，随后用HDFS存储数据，将数据以分块的方式分布式存储在集群的不同节点中；
3)在Flink计算框架中对数据进行分布式计算，首先从HDFS中读取数据，将步骤1)中的每行数据解析为原始矩阵Am×n，通过公式A＝U∑VT进行SVD分解，得到三个矩阵U、E、V，具体计算方法如下：
U是A的左奇异向量组，是A*AT的m个特征向量的标准正交基，称为A*AT的酉矩阵，V是A的右奇异向量组，是AT*A的n个特征向量的标准正交基，称为AT*A的酉矩阵，Em×n中主对角线的值由A*AT的非零特征值得到，最终对A进行SVD分解就转换成为求解A*AT和AT*A的特征值和特征向量，最后得到三个矩阵U、E、V，通过SVD分解可以将存储矩阵A转换成存储矩阵U、E、V，极大的减少数据的存储量，另外通过SVD分解可以得到源数据的极大特征值组合，如果将一些非极大特征值进行过滤，可以对数据进行去噪；
4)建立大数据框架，首先建立大数据集群，集群一共7台机器，其中4台为Hadoop集群，1台namenode，3台datanode，3台为Flume集群，4台为Flink集群，Fink集群与Hadoop集群共用，1台JobManager，3台TaskManager，大数据计算框架Flink在SVD分解的过程中，提供了分布式计算的物理节点和数据分发策略，最后利用HDFS进行分布式存储，将U、E、V分布式的存储在集群不同的节点上。
优选，所述步骤1)中，在切分后的每一条数据尾部增加“\n”分隔符，使之便于Flume程序对输入数据进行切割。
进一步优选，所述步骤2)中，使用textCollector将步骤1)中的数据源统一进行收集。
进一步优选，所述步骤3)计算SVD的过程中，将矩阵分成子矩阵块，按照计算规则分布式的分发到集群的不同节点，通过Map算子进行子矩阵块的基本运算以及初等行变换，计算之后再根据特征值进行排序，提取前n个非零的特征值，剩下的置为零，对子矩阵块进行聚合，将矩阵复原，将结果数据存储到HDFS中，既可以减小数据规模，又可以对数据去噪。
进一步优选，所述步骤3)中，所述U矩阵中向量为正交，称为左奇异向量，Σ矩阵除了对角线的元素都是0，对角线上的元素称为奇异值，VT矩阵的向量为正交，V里面的向量称为右奇异向量。
进一步优选，所述步骤3)中，特征值的计算方法如下：
计算A和AT的相乘，得到矩阵Mm×m，根据|M-λE|＝0，求解M的特征多项式的值，采用可编程实现的GAUSS消元法来实现，从第一行开始进行迭代计算，每次消元涉及到相邻的两行数据，最后得到上三角行列式，特征多项式的值就是主对角线值的乘积，进而求得λ，通过公式
Figure BDA0003028636860000071
求得Em×n的主对角线值。
进一步优选，所述步骤3)中，特征向量的计算方法如下：
首先选取非零特征值，通过公式(M-λE)x＝0进一步求得特征向量，对特征向量进行标准化，得到A*AT的酉矩阵U，同理也可以求得AT*A的酉矩阵V。
进一步优选，所述步骤4)中，通过Flink提供的监控页面，来监控SVD算法在集群上的性能表现及计算效率，与直接使用Matlab进行SVD计算的速度做对比。
进一步优选，所述步骤4)中，监控分布式SVD算法在速度上的提升与数据规模和集群节点数量的关系，在探地雷达数据规模和集群配置之间取得平衡，给出探地雷达数据在大数据分布式处理领域的规范流程及监控方式。
进一步优选，所述步骤4)的大数据计算框架Flink在SVD分解的过程中，首先，由于计算复杂度近似为O(n3)，所以采用分块矩阵的乘法，将每一组需要参与计算的矩阵块分发到集群不同节点进行计算，通过减少每一个并发执行的数据量来提高计算速度；随后进行GAUSS消元过程，需要消元的数据可以分块进行分布式行变换；最后进行求解特征向量的过程，所有特征向量可以分发到集群的不同节点进行特征向量的计算，并发提高计算的速度。
实施例
首先搭建大数据计算集群，集群一共7台机器，其中4台为Hadoop集群，1台namenode，3台datanode，3台为Flume集群，4台为Flink集群(与Hadoop集群共用)，1台JobManager，3台TaskManager，处理的原始探地雷达数据为100G。
随后选择简单模型进行试算，设置4层地质模型，采用主频1GHZ雷克子波，采样间隔为2ns，加入信噪比为30dB的高斯白噪声，数据大小为8.69MB，先使用一个节点进行计算，将数据通过textFile方法读取到Flink计算平台，通过map算子进行数据转换，将模型的行数据转换为矩阵，接着对矩阵中的数据进行SVD分解，先对数据进行去噪，然后计算过程中选择矩阵的前n行和前n列，分发到集群中不同的计算节点，分布式的求得矩阵的特征值和特征向量。选取最大的奇异值做模型还原，去噪效果明显，当增加集群数量为3时，可以保证SVD去噪效果的一致，随着集群数量的增加，运算效率能提升1.3倍左右，如图2至5所示。
选择实际数据试算，选用25MHz非屏蔽天线，测线物理点数6037，测线总长920m，设定采样时窗为1000ns，采样点数1018个，采样频率为409.09MHz，道间距30cm，数据大小为12.8MB，在数据转换时与模型数据不同，需要在Flume框架中对数据添加“/n”换行符，将数据转换为可读取的格式，随后将数据存储到HDFS中；使用同样的计算方法，只是在选择特征值时选择前五个做模型还原，保证SVD去噪效果的一致，单机计算的时间增加了3秒，但是在3台集群处理的时间和小数据量模型的处理时间差别不大，说明数据量在一定的范围内，应用集群处理的效率近似，整体speedup提高的幅度比数据量较小时大，提升1.5倍左右，如图6至9所示。
综上所述，本发明解决了探地雷达模型数据的转换、存储及分布式计算的问题，在保证数据处理结果正确性的前提下，通过调整集群的数量，提高计算的效率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，包括如下步骤：
1)采集数据，使用Flume数据采集框架，读取原始雷达数据文件，按照文件头中的元数据来切分数据道，记录在文本文件中；
2)收集文本文件，随后用HDFS存储数据，将数据以分块的方式分布式存储在集群的不同节点中；
3)在Flink计算框架中对数据进行分布式计算，首先从HDFS中读取数据，将步骤1)中的每行数据解析为原始矩阵Am×n，通过公式A＝U∑VT进行SVD分解，得到三个矩阵U、E、V，具体计算方法如下：
U是A的左奇异向量组，是A*AT的m个特征向量的标准正交基，称为A*AT的酉矩阵，V是A的右奇异向量组，是AT*A的n个特征向量的标准正交基，称为AT*A的酉矩阵，Em×n中主对角线的值由A*AT的非零特征值得到，最终对A进行SVD分解就转换成为求解A*AT和AT*A的特征值和特征向量，最后得到三个矩阵U、E、V，通过SVD分解可以将存储矩阵A转换成存储矩阵U、E、V，极大的减少数据的存储量；
4)建立大数据框架，首先建立大数据集群，集群一共7台机器，其中4台为Hadoop集群，1台namenode，3台datanode，3台为Flume集群，4台为Flink集群，Fink集群与Hadoop集群共用，1台JobManager，3台TaskManager，大数据计算框架Flink在SVD分解的过程中，提供了分布式计算的物理节点和数据分发策略，最后利用HDFS进行分布式存储，将U、E、V分布式的存储在集群不同的节点上。
2.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤1)中，在切分后的每一条数据尾部增加“\n”分隔符。
3.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤2)中，使用textCollector将步骤1)中的数据源统一进行收集。
4.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)计算SVD的过程中，将矩阵分成子矩阵块，按照计算规则分布式的分发到集群的不同节点，通过Map算子进行子矩阵块的基本运算以及初等行变换，计算之后再根据特征值进行排序，提取前n个非零的特征值，剩下的置为零，对子矩阵块进行聚合，将矩阵复原，将结果数据存储到HDFS中，既可以减小数据规模，又可以对数据去噪。
5.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，所述U矩阵中向量为正交，称为左奇异向量，Σ矩阵除了对角线的元素都是0，对角线上的元素称为奇异值，VT矩阵的向量为正交，V里面的向量称为右奇异向量。
6.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，特征值的计算方法如下：
计算A和AT的相乘，得到矩阵Mm×m，根据|M-λE|＝0，求解M的特征多项式的值，采用可编程实现的GAUSS消元法来实现，从第一行开始进行迭代计算，每次消元涉及到相邻的两行数据，最后得到上三角行列式，特征多项式的值就是主对角线值的乘积，进而求得λ，通过公式
Figure FDA0003028636850000021
求得Em×n的主对角线值。
7.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，特征向量的计算方法如下：
首先选取非零特征值，通过公式(M-λE)x＝0进一步求得特征向量，对特征向量进行标准化，得到A*AT的酉矩阵U，同理也可以求得AT*A的酉矩阵V。
8.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤4)中，通过Flink提供的监控页面，来监控SVD算法在集群上的性能表现及计算效率，与直接使用Matlab进行SVD计算的速度做对比。
9.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤4)中，监控分布式SVD算法在速度上的提升与数据规模和集群节点数量的关系，在探地雷达数据规模和集群配置之间取得平衡，给出探地雷达数据在大数据分布式处理领域的规范流程及监控方式。
10.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤4)的大数据计算框架Flink在SVD分解的过程中，首先采用分块矩阵的乘法，将每一组需要参与计算的矩阵块分发到集群不同节点进行计算，通过减少每一个并发执行的数据量来提高计算速度，随后进行GAUSS消元过程，需要消元的数据可以分块进行分布式行变换，最后为求解特征向量的过程，所有特征向量可以分发到集群的不同节点进行特征向量的计算，并发提高计算的速度。
CN202110424202.9A 2021-04-20 2021-04-20 一种基于Flink的探地雷达数据SVD分布式算法 Pending CN113030954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424202.9A CN113030954A (zh) 2021-04-20 2021-04-20 一种基于Flink的探地雷达数据SVD分布式算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424202.9A CN113030954A (zh) 2021-04-20 2021-04-20 一种基于Flink的探地雷达数据SVD分布式算法

Publications (1)

Publication Number Publication Date
CN113030954A true CN113030954A (zh) 2021-06-25

Family

ID=76456968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424202.9A Pending CN113030954A (zh) 2021-04-20 2021-04-20 一种基于Flink的探地雷达数据SVD分布式算法

Country Status (1)

Country Link
CN (1) CN113030954A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617495A (zh) * 2022-12-06 2023-01-17 深圳安德空间技术有限公司 一种基于分布式架构的探地雷达数据推理方法及其系统
CN116844059A (zh) * 2023-08-30 2023-10-03 中国人民解放军海军工程大学 基于双对角变化的极化sar图像目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570081A (zh) * 2013-10-29 2015-04-29 中国石油化工股份有限公司 一种积分法叠前时间偏移地震资料处理方法及系统
CN105471945A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 一种云存储在地震综合解释中的应用方法
CN107450054A (zh) * 2017-07-14 2017-12-08 浙江省交通规划设计研究院 一种自适应探地雷达数据去噪方法
CN110542920A (zh) * 2019-09-03 2019-12-06 北京云庐科技有限公司 地震数据处理方法及其系统
CN110673138A (zh) * 2019-10-09 2020-01-10 国家电网有限公司 一种基于奇异值分解和模糊c均值法的探地雷达图像处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570081A (zh) * 2013-10-29 2015-04-29 中国石油化工股份有限公司 一种积分法叠前时间偏移地震资料处理方法及系统
CN105471945A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 一种云存储在地震综合解释中的应用方法
CN107450054A (zh) * 2017-07-14 2017-12-08 浙江省交通规划设计研究院 一种自适应探地雷达数据去噪方法
CN110542920A (zh) * 2019-09-03 2019-12-06 北京云庐科技有限公司 地震数据处理方法及其系统
CN110673138A (zh) * 2019-10-09 2020-01-10 国家电网有限公司 一种基于奇异值分解和模糊c均值法的探地雷达图像处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
徐刘根: "大数据平台加速处理技术的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
李琳: "备份系统数据高并发处理与系统高可用性的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
梁胤程等: "基于Hadoop的探地雷达数据并行处理方法研究", 《系统仿真学报》 *
白玉辛等: "Hadoop与Flink应用场景研究", 《通信技术》 *
邢慧婷等: "基于SPARK的探地雷达数据处理", 《2018年中国地球科学联合学术年会论文集（二十五）》 *
郑俊等: "探地雷达信号杂波抑制", 《电子测量技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617495A (zh) * 2022-12-06 2023-01-17 深圳安德空间技术有限公司 一种基于分布式架构的探地雷达数据推理方法及其系统
CN116844059A (zh) * 2023-08-30 2023-10-03 中国人民解放军海军工程大学 基于双对角变化的极化sar图像目标检测方法
CN116844059B (zh) * 2023-08-30 2023-11-21 中国人民解放军海军工程大学 基于双对角变化的极化sar图像目标检测方法

Similar Documents

Publication Publication Date Title
Zhou et al. Accelerating online cp decompositions for higher order tensors
Tang et al. Manifold regularized dynamic network pruning
EP3340129B1 (en) Artificial neural network class-based pruning
Liu et al. Sparse convolutional neural networks
Abou-Moustafa et al. A note on metric properties for some divergence measures: The Gaussian case
US11436065B2 (en) System for efficient large-scale data distribution in distributed and parallel processing environment
CN113030954A (zh) 一种基于Flink的探地雷达数据SVD分布式算法
CN110428045A (zh) 基于Tucker算法的深度卷积神经网络压缩方法
Feng et al. Robust block tensor principal component analysis
Ballani et al. A construction principle for multivariate extreme value distributions
Zhang et al. An online tensor robust PCA algorithm for sequential 2D data
Capitaine Additive/multiplicative free subordination property and limiting eigenvectors of spiked additive deformations of Wigner matrices and spiked sample covariance matrices
Cheng et al. Msnet: Structural wired neural architecture search for internet of things
CN111209974A (zh) 基于张量分解的异构大数据核心特征提取的方法及系统
Tang et al. Image denoising via graph regularized K-SVD
CN116095089A (zh) 遥感卫星数据处理方法及系统
CN112884149A (zh) 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统
Rossi et al. Walsh-hadamard variational inference for bayesian deep learning
Ballani et al. Sparse inverse covariance estimation with hierarchical matrices
CN113360732A (zh) 一种大数据多视图图聚类方法
Bai et al. Association rule mining algorithm based on Spark for pesticide transaction data analyses
Ling et al. TaiJiNet: Towards partial binarized convolutional neural network for embedded systems
CN111209530A (zh) 基于张量分解的异构大数据因子特征提取的方法及系统
CN111753904A (zh) 一种快速高光谱图像聚类方法、装置、设备及介质
Xue et al. MLResNet: An Efficient Method for Automatic Modulation Classification Based on Residual Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination