CN113420009B - 一种基于大数据的电磁数据分析装置、系统及方法 - Google Patents

Abstract

本发明提供一种基于大数据的电磁数据分析装置、系统及方法，所述装置包括：数据采集模块，用于触发数据采集；数据存储模块，对电磁数据进行存储；数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；引擎计算模块，用于将引擎部署于yarn平台上，对存储的电磁数据进行计算，计算结果供算法模块调用；算法模块，用于配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；可视化展示模块，用于对分析后的电磁数据进行展示。根据本发明的装置，设计了电磁大数据的处理框架，相较于传统的电磁数据处理架构，本装置更加适用于电磁大数据处理。

Description

一种基于大数据的电磁数据分析装置、系统及方法

技术领域

本发明涉及电磁数据处理领域，尤其涉及一种基于大数据的电磁数据分析装置及方法。

背景技术

随着现代联合作战向多维空间发展，电磁作战空间重要性不断提升。目前，电磁空间作战的内涵已经向电磁频谱战控制和电子战斗管理拓展。电磁空间作战随着网络信息体系发展，但目前还没有能够高效利用海量频谱监测数据、利用大数据对海量数据进行分析，高效挖掘出有价值的信息的解决方法。

发明内容

为解决上述技术问题，本发明提出了一种基于大数据的电磁数据分析方法及装置，能够利用海量频谱监测数据、利用大数据对海量数据进行分析，高效挖掘出有价值的信息，特别地，能够使用人工智能算法进行挖掘出有价值的信息。

根据本发明的第一方面，提供一种基于大数据的电磁数据分析装置，所述装置包括：

数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；

数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；

数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；

数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；

引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，对存储的电磁数据进行计算，计算结果供算法模块调用；

算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；

可视化展示模块，用于对分析后的电磁数据进行展示。

根据本发明第二方面，提供一种应用如前所述的基于大数据的电磁数据分析装置的电磁数据分析方法，所述方法包括以下步骤：

步骤S101:确定目标对象，从多个数据源获取电磁数据，将电磁数据输入基于大数据的电磁数据分析装置；

步骤S102:由所述电磁数据分析装置对输入的电磁数据进行处理，获取分析结果。

根据本发明第三方面，提供一种基于大数据的电磁数据分析系统，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于大数据的电磁数据分析方法。

根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于大数据的电磁数据分析方法。

根据本发明的上述方案，基于大数据的技术框架，结合电磁大数据的特点，设计出一套适用于电磁数据的大数据技术的框架。该基于大数据的电磁数据分析装置及方法，结合了电磁数据的主要应用场景。本发明提出了一种基于大数据架构的电磁数据分析装置及方法，在结合电磁数据单源数据量大，产生数据速率快以及蕴藏信息丰富的特点的情况下，通过多种大数据的组件联合使用以及数据仓的分层设计，实现了对海量电磁数据的采集、存储、算法管理以及可视化展示，并从中提取出有价值的信息，完成对目标定位和轨迹的预测。

本发明的上述方案，包括数据采集模块、数据存储模块、数据ETL模块、数据仓建模模块、引擎计算模块、算法模块、以及可视化展示模块。数据采集模块通过flume实时监控pxi设备产生的数据文件夹，当文件发生变动，flume将采集数据发送给消息传输模块，kafka作为消息中间件，起到消峰的作用。kafka将数据最后写入到数据存储模块HDFS当中，通过hive建立离线数据仓，将数据仓进行分层解耦合。HDFS中的数据通过DataX来进行数据的ETL清洗，然后数据进入到计算引擎模块，计算引擎模块将处理后的数据写入到Hbase或者OLAP的数据库当中去，算法分析模块从Hbase或者OLAP数据库中取得数据，进行算法分析，将分析的结果通过可视化模块进行展示。

该方案结合电磁数据的特点，实现了电磁大数据的处理框架，相较于传统的电磁数据处理架构，本方案更加适用于电磁大数据处理。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：

图1为本发明一个实施方式的基于大数据的电磁数据分析装置结构图；

图2为本发明一个实施方式的基于大数据的电磁数据分析装置架构图；

图3为本发明一个实施方式的数据仓建模块结构示意图；

图4为本发明一个实施方式的算法模块结构示意图；

图5为本发明一个实施方式的算法管理子模块实现的功能示意图；

图6为本发明一个实施方式的模型训练列表的功能示意图；

图7为本发明一个实施方式的模型应用的功能示意图；

图8为本发明一个实施方式的可视化功能示意图；

图9为本发明又一实施方式的可视化功能示意图；

图10为本发明一个实施方式的数字地球的多维态势呈现模块结构示意图；

图11为本发明一个实施例的基于大数据的电磁数据分析装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先结合图1说明为本发明一个实施方式的基于大数据的电磁数据分析装置。如图1-2所示，所述装置包括：

数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；

数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；

数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；

数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；

引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，对存储的电磁数据进行计算，计算结果供算法模块调用；

算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；

可视化展示模块，用于对分析后的电磁数据进行展示。

所述数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据，其中：

由若干个pxi设备将电磁数据生成于指定的文件夹中，在监控到由所述若干个pxi设备产生的电磁数据写入到文件夹中时，触发flume采集所述电磁数据。

其中，flume支持断点续传和多目录监控。

进一步地，由于所述pxi设备产生电磁数据的速率过快，为避免出现数据积压，本实施例中，使用消息中间件kafka接收flume采集来的电磁数据，kafka将接收到的所述电磁数据存放到消息队列中，对数据进行消峰处理。

所述数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储，其中：

所述电磁数据经过kafka消峰处理之后，将处理后的所述电磁数据存入分布式文件系统HDFS中。分布式文件系统HDFS支持分布式存储，对于电磁数据量大、产生的速率快的特点，分布式文件系统HDFS适合存储此类电磁数据。

所述数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发，其中：

本实施例中，使用DataX，对所述存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集和数据分发。能够将多源电磁数据从不同介质中抽取出来，并按照适当的规则进行数据的转换，根据需求对数据进行汇集，并将电磁数据分发到对应的上层应用中。

数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的，其中：

本实施例中，结合电磁数据的特点，对所述数据仓库建模，即对电磁数据进行分层存储。本实施例中，将数据仓库划分为原始数据(ODS)层、明细数据(DWD)层、服务数据(DWS)层、数据主题(DWT)层、数据应用(ADS)层；通过hive对数据仓库进行分层建模。具体数据层之间的关系如图3所示。

所述原始数据层保持数据的原始状态，不做更改，起到备份数据的作用，以每小时产生的电磁数据为单位来创建分区表，创建对应的外部表，能够避免后续进行全表扫描；由于电磁数据产生的速率快、量大，对电磁数据采用LZO压缩，减少磁盘存储空间，例如，原始数据为100G，经过LZO压缩，能够压缩到10G。

所述明细数据层构建维度模型，本实施例中，采用星型模型，通过选择业务过程，声明粒度、确定维度、确认事实，进而进行维度建模。通过向Hive写sql语句，从所述原始数据层对目标轨迹的数据进行读取，并通过sql语句对核心数据进行判空过滤，转换日期格式转换，合并字段、处理脏数据，做ETL数据处理。所述明细数据层的数据采用parquet列式存储，用于增加查询的效率。

具体地，所述选择业务过程，是指在业务系统中，选择业务线，例如选中的业务线为目标轨迹业务，本实施例中，一条业务线对应一张事实表。所述粒度是指数据的粒度，是数据仓库中保存的电磁数据的细化程度或综合程度的级别。所述声明粒度用于定义事实表中的一行数据表示什么，具体使用中，尽可能选择最小粒度，以此来满足多种需求。典型的声明如下：目标位置事实表中一行数据表示的是一个目标的某一时刻具体位置。所述确定维度是根据后续需求确定指标，即确定维度的主要作用主要确定的是“谁，何处，何时”等信息，例如，后需需求为“统计什么时间下的目标多，在哪个地区中的目标多”，则根据该后续需求，确定指标为时间、地区、目标，即确定维度为时间维度、地区维度、目标维度。所述确定事实是从电磁数据中确定所需事实，所述事实为业务线中的度量值，例如次数、目标个数、某个目标出现的次数等，具体的度量值能够通过累加的方式得到。所述明细数据层需要构建维度模型，所述维度模型包括但不限于星型模型、雪花模型、星座模型。本实施例中采用星型模型，采用维度退化手段，将维度及部分重要维度属性退化至事实表中，减少维度表和事实表的关联，最终模型呈现的状态为星座模型。然后通过选择业务过程，声明粒度，确认维度，确认事实的步骤来进行维度建模。

所述服务数据层以需求为驱动来建立宽表，以维度为基准来确定需要建那些宽表，所述宽表记录所述事实表的数据聚合后的度量值。即所述宽表中的字段用于从不同维度对事实表的数据进行统计，重点关注事实表聚合后的度量值。例如，所述服务数据层中设计一张目标信息宽表，其主键为目标ID，字段包含：目标每天累计出现的次数、目标位置经纬度、目标类别、目标每天航迹数据等。上述所有字段对应的指标都统一进行计算，并将计算结果保存在该宽表中，这样就能有效避免数据的重复计算。

所述服务数据层还用于存放的所有主题对象当天的汇总行为，是按照各种维度或多种维度组合，把需要查询的一些事实字段对应的数据进行汇总统计，服务于数据主题层的主题宽表，例如每个地区当天的目标轨迹数据等。

所述数据主题层以需求为驱动来建立宽表，所述数据主题层存放的是所有主题对象的累积行为，以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表，例如每个地区一个星期的目标轨迹数据等。

所述数据应用层在数据服务层和数据主题层的基础上取得数据，存放统计数据，来对电磁系统的各大主题指标进行分析。分析后的数据结果可以直接用于展示，或者导入至MySQL等关系型数据库中使用,这一层的数据支持数据挖掘和机器学习。

本实施例中，所述数据存储模块的数据是存储在hdfs当中的，数据仓建模模块是对数据进行分层存储，将每层的数据存储在不同的表里面，每个表对应存储在hdfs当中不同的位置中。

所述引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，引擎计算的结果供算法模块调用，其中：

本实施例中，使用的计算引擎是MapReduce或者Spark引擎，使用yarn平台做统一资源管理，将计算引擎运行在yarn平台上。

本实施例中，Spark引擎基于内存迭代式计算，适合低延迟、迭代运算类型作业；MapReduce适合离线数据处理。

算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算，如图4-5所示，其中：

所述算法模块包括算法管理子模块、模型训练子模块以及模型应用子模块；所述算法管理子模块包括算法中心子模块、我的算法子模块、下载记录子模块和算法类型管理子模块，所述算法中心子模块用于管理全部算法，通过所述算法中心子模块，能够查看全部算法及与各算法对应的详细信息；所述我的算法子模块用于对由当前用户上传的所有算法进行管理；所述下载记录子模块用于记录系统中当前用户下载算法的历史信息，能够展示用户下载的算法的信息；所述算法类型管理子模块用于对算法所属类型进行管理，能够对算法的类型进行增加、删除、修改操作。

如图6所示，所述模型训练子模块用于新建训练任务及管理训练任务，通过训练任务对应的模型调用算法对电磁数据进行分析挖掘并保存模型，所述模型训练子模块还包括存储模型训练列表子模块，包括查找目标训练子模块、查看训练基本信息子模块、查看训练结果子模块、查看训练日志子模块、添加训练子模块、删除训练子模块、批量删除训练子模块、再次执行训练子模块，用于对同一个算法模型进行多次训练，进而进行对比，对比训练结果还可以用于同一类型模型训练的结果的对比，使用户能清晰的知道在不同参数情况下模型的训练效果，方便用户对模型进行调优。进一步地，所述模型训练子模块还用于展示目前平台中存在的所有训练的详细信息。

如图7所示，所述模型应用子模块用于调用训练好的模型，对电磁数据进行处理。根据输入的电磁数据，采用任务调试的形式，调用训练好的模型对电磁数据进行处理。在应用所述模型应用子模块时，用户只需要设置相应的数据、运行周期等参数，平台即可进行相应的任务。

模型应用子模块，在模型处于可运行状态时，能够对电磁数据进行分析挖掘，保存分析结果和日志。

所述可视化展示模块，用于对分析后的电磁数据进行展示，其中：所述可视化展示模块包括单图可视化子模块、大屏可视化子模块及多维态势呈现子模块。

本实施例中，可视化展示模块用于处理海量的电磁数据并使其便于理解，它能在其中构建深刻的洞察力，促使决策者在需要时做出正确的决策，并立即采取行动。它的另一个重要优势在于，不仅提供数据的图形表示，还允许用户更改数据，省略不需要的内容，以及更深入地浏览以获取更多详细信息。该可视化展示模块，从单图可视化、大屏可视化以及基于数字地球的多维态势呈现等方面进行展示。

如图8所示，所述单图可视化子模块用于对原始数据、过程数据、挖掘结果进行定制化视图输出。所述单图可视化子模块综合多种可视化方式方法，对应用原始数据、过程数据，挖掘结果等不同形式和用途的数据进行定制化视图输出；单图可视化子模块包括数据获取及处理、图表配置及保存等相关子功能；能够从静态数据、文件、数据库和API接口等多种数据源接入数据，对于不同的图片进行不同配置，从单图可视化库中选择单图可视化类型，进行单图可视化展示。

如图9所示，所述大屏可视化子模块用于提供用户可视化图表的展示，能够直接将所要呈现的组件放入画布进行配置和布局，通过点击、拖拽即可调整图层顺序，将现有分析结果布局并展现。

如图10所示，所述多维态势呈现子模块包含数据加载子模块，基础功能支撑子模块，数据可视化显示子模块和模拟展示子模块。所述数据加载子模块实现对离线地图、地形数据、矢量数据和三维模型数据的加载；所述基础功能支撑子模块提供基本能力和插件，包括图层控制、底图控制、坐标定位、测量、标记、书签、地图对比、粒子效果、飞行漫游、标绘、打印等功能；所述数据可视化显示子模块实现热力图、动态波纹效果、风向图、线扩散效果、线流动效果和散点图的可视化显示；所述模拟展示子模块通过电磁数据实现对飞行、舰船、卫星轨迹、卫星侦照过程可视化和动态水域的模拟。

以下结合图11，说明本发明一个具体的用于海量电磁数据分析的实施方式。

如图11所示，数据由PXI设备上生成在特定的文件夹下面，flume通过taildirsource监听这个文件夹，当数据生成时候，flume监听到数据的改变，实时对数据进行采集，记录采集数据的偏移量，flume当中的拦截器对采集到的每个数据进行轻度的ETL，将采集数据进行空值检查、缺失值填充、异常值检测操作，对于满足条件的数据写入到消息中间件Kafka中。Kafka作为消息中间件，对数据进行缓存。编写java程序，java程序作为kafka的消费者，来消费kafka当中的数据，消费者可以控制消费者的消费速率，避免数据产生过快，大量数据同时写入hdfs当中，出现性能上的瓶颈。

数据存入到HDFS当中后，通过DateX工具做数据的ETL清洗工作，ETL与数据处理部分提供数据抽取、数据转换、数据加载、数据汇集和数据分发等功能，可将多源电磁大数据按照适当的规则进行数据的转换，根据不同的需求进行数据的汇集，并分发到不同的上层应用中。

使用Hive结合HDFS中的数据对数据仓进行分层搭建，分层搭建如图4所示，分层的目的是将电磁数据按照更细力度进行划分，从而达到数据分层解耦的目的，方便后续数据处理。数据存储层分为五层，ODS层为原始数据层，保持从文件采集到数据的原貌，不做任何的处理。DWD层对ODS层的数据进行清洗，去除空值，脏数据，保存明细数据。DWS层以DWD层为基础，按照天为单位进行目标轨迹数据轻度汇总，DWT以DWS层为基础，对目标轨迹的数据进行累计汇总，例如以一星期为单位对目标轨迹的数据进行累计汇总，ADS层对电磁数据目标轨迹数据的各大主题分析指标分别进行分析汇总，汇总后的数据提供给机器学习的算法做处理，或者根据求得的各个指标，进行可视化展示。

数据经过数据仓的清洗和汇总，数据进入到Hbase或者OLAP的数据库中，最后提供接口给算法进行处理，机器学习的算法主要以tensorflow的算法为主，针对数据类型、算法强度、处理精度、执行速度等具体要求自动选取，结合卷积神经网络，循环神经网络、受限波尔兹曼机、深度置信网络、堆栈式自动编码、对抗生成网络等算法族群，实现更好的数据分析挖掘。算法模型是基于基础数据进行更好的维度的问题抽象和解决，通过参数调整，特征优化以追求更好的效果表达。

算法管理子模块主要实现对算法、模型及算法应用的管理，通过本模块系统将集成算法处理能力，从而更好的服务分析挖掘。算法分析处理模块通过对电磁数据进行提取、计算与分析，使用感知算法、定位算法、相关的机器学习以及深度学习算法来进行建模，从而实现对电磁大数据的计算、分析挖掘的工作。计算引擎将计算的结果存入到Hbase或者OLAP数据库中，项目基于分布式计算框架和深度学习框架构建算法平台，使得用户能更加方便快捷地使用算法模型进行电磁数据挖掘。对于海量电磁数据未知价值的挖掘，本模块主要采取批量定时处理的方法，将常用的分类、聚类、回归、协同分析等算法进行改进，做到支持Map与Reduce，实现电磁大数据的处理，更快找到潜在价值，从而提供知识服务。同时，本模块也将采用深度学习中的方法，结合TensorFlow等计算框架，针对数据类型、算法强度、处理精度、执行速度等具体要求自动选取，结合卷积神经网络，循环神经网络、受限波尔兹曼机、深度置信网络、堆栈式自动编码、对抗生成网络等算法族群，实现更好的数据分析挖掘。

本发明实施例进一步给出一种基于大数据的电磁数据分析方法，所述方法包括：

步骤S101:确定目标对象，从多个数据源获取电磁数据，将电磁数据输入基于大数据的电磁数据分析装置；

步骤S102:由所述电磁数据分析装置对输入的电磁数据进行处理，获取分析结果。

本发明实施例进一步给出一种基于大数据的电磁数据分析系统，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于大数据的电磁数据分析方法。

本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于大数据的电磁数据分析方法。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于大数据的电磁数据分析装置，所述装置包括：

数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；

数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；

数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；

数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；

所述原始数据层保持数据的原始状态，不做更改，起到备份数据的作用，以每小时产生的电磁数据为单位来创建分区表，创建对应的外部表，能够避免后续进行全表扫描；

所述明细数据层通过选择业务过程，声明粒度、确定维度、确定事实，进行维度建模；所述选择业务过程，是指在业务系统中，选择业务线，一条业务线对应一张事实表；所述粒度是指数据的粒度，是数据仓库中保存的电磁数据的细化程度或综合程度的级别；所述声明粒度用于定义事实表中的一行数据表征的含义；所述确定维度是根据后续需求确定指标，根据指标确定维度；所述确定事实是从电磁数据中确定所需事实，所述事实为业务线中的度量值；

所述服务数据层以需求为驱动来建立宽表，以维度为基准来确定需要建那些宽表，所述宽表记录所述事实表的数据聚合后的度量值，服务于数据主题层的主题宽表；

所述数据主题层以需求为驱动来建立宽表，所述数据主题层存放的是所有主题对象的累积行为，以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表；

所述数据应用层在数据服务层和数据主题层的基础上取得数据，存放统计数据，来对电磁系统的各大主题指标进行分析；

引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，对存储的电磁数据进行计算，计算结果供算法模块调用；

算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；

可视化展示模块，用于对分析后的电磁数据进行展示。

2.如权利要求1所述的电磁数据分析装置，其特征在于，所述数据采集模块，由若干个pxi设备将电磁数据生成于指定的文件夹中，在监控到由所述若干个pxi设备产生的电磁数据写入到文件夹中时，触发flume采集所述电磁数据。

3.如权利要求2所述的电磁数据分析装置，其特征在于，所述算法模块包括算法管理子模块、模型训练子模块以及模型应用子模块；所述算法管理子模块包括算法中心子模块、我的算法子模块、下载记录子模块和算法类型管理子模块，所述算法中心子模块用于管理全部算法，通过所述算法中心子模块，能够查看全部算法及与各算法对应的详细信息；所述我的算法子模块用于对由当前用户上传的所有算法进行管理；所述下载记录子模块用于记录系统中当前用户下载算法的历史信息，能够展示用户下载的算法的信息；所述算法类型管理子模块用于对算法所属类型进行管理，能够对算法的类型进行增加、删除、修改操作。

4.如权利要求3所述的电磁数据分析装置，其特征在于，所述模型训练子模块用于新建训练任务及管理训练任务，通过训练任务对应的模型调用算法对电磁数据进行分析挖掘并保存模型，所述模型训练子模块还包括存储模型训练列表子模块，所述模型训练列表子模块包括查找目标训练子模块、查看训练基本信息子模块、查看训练结果子模块、查看训练日志子模块、添加训练子模块、删除训练子模块、批量删除训练子模块、再次执行训练子模块，用于对同一个算法模型进行多次训练，进而进行对比，对比训练结果能够用于同一类型模型训练的结果的对比，使用户知道在不同参数情况下模型的训练效果。

5.如权利要求4所述的电磁数据分析装置，其特征在于，所述模型应用子模块用于在模型处于可运行状态时，对电磁数据进行分析挖掘，保存分析结果和日志。

6.如权利要求5所述的电磁数据分析装置，其特征在于，所述可视化展示模块，用于对分析后的电磁数据进行展示，其中：所述可视化展示模块包括单图可视化子模块、大屏可视化子模块及多维态势呈现子模块；所述单图可视化子模块用于对原始数据、过程数据、挖掘结果进行定制化视图输出；所述大屏可视化子模块用于提供用户可视化图表的展示，能够直接将所要呈现的组件放入画布进行配置和布局，通过点击、拖拽即可调整图层顺序，将现有分析结果布局并展现；所述多维态势呈现子模块包含数据加载子模块，基础功能支撑子模块，数据可视化显示子模块和模拟展示子模块；所述数据加载子模块实现对离线地图、地形数据、矢量数据和三维模型数据的加载；所述基础功能支撑子模块提供基本能力和插件，包括图层控制、底图控制、坐标定位、测量、标记、书签、地图对比、粒子效果、飞行漫游、标绘、打印功能；所述数据可视化显示子模块实现热力图、动态波纹效果、风向图、线扩散效果、线流动效果和散点图的可视化显示；所述模拟展示子模块通过电磁数据实现对飞行、舰船、卫星轨迹、卫星侦照过程可视化和动态水域的模拟。

7.一种应用如权利要求1-6中任一项所述基于大数据的电磁数据分析装置的电磁数据分析方法，其特征在于，所述方法包括：

步骤S101:确定目标对象，从多个数据源获取电磁数据，将电磁数据输入基于大数据的电磁数据分析装置；

步骤S102:由所述电磁数据分析装置对输入的电磁数据进行处理，获取分析结果。

8.基于大数据的电磁数据分析系统，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求7所述的电磁数据分析方法。

9.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求7所述的电磁数据分析方法。

Images