CN112148807A - 一种电磁环境领域数据仓库构建方法 - Google Patents
一种电磁环境领域数据仓库构建方法 Download PDFInfo
- Publication number
- CN112148807A CN112148807A CN202011037908.1A CN202011037908A CN112148807A CN 112148807 A CN112148807 A CN 112148807A CN 202011037908 A CN202011037908 A CN 202011037908A CN 112148807 A CN112148807 A CN 112148807A
- Authority
- CN
- China
- Prior art keywords
- data
- electromagnetic environment
- signal
- frequency
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000008859 change Effects 0.000 claims abstract description 26
- 235000019580 granularity Nutrition 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004140 cleaning Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000013500 data storage Methods 0.000 claims description 28
- 238000001228 spectrum Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 24
- 230000005855 radiation Effects 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000007774 longterm Effects 0.000 claims description 7
- 238000007418 data mining Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 241000533950 Leucojum Species 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000013524 data verification Methods 0.000 claims description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 239000005433 ionosphere Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种电磁环境领域数据仓库构建方法，包括如下步骤：步骤1，电磁环境数据采集；步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载；步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储。本发明所公开的电磁环境领域数据仓库构建方法，按照不同的业务主题对电磁环境数据进行整合、重构，大大提高数据的共享性，有效削弱业务需求变更对数据仓库架构的影响，保障了电磁环境大数据仓库逻辑框架的稳定性。
Description
技术领域
本发明属于数据仓库技术领域，特别涉及该领域中的一种电磁环境领域数据仓库构建方法。
背景技术
数据仓库是一个面向主题的、集成的、稳定的、反映时间变化的、用于支持管理决策的数据集合。一方面，数据仓库面向分析型数据处理，用于支持高层决策；另一方面，数据仓库实现对多个异构数据源的集成，按照主题重组，保存不同粒度的数据，且保存的数据一般不能再被修改。
目前，我国已建设了数量庞大、设备类型各异的电磁环境监测、探测、观测和侦测站，并配置了相应的软硬件系统（即业务系统或信息化系统），积累了大量的数据资源，完成了从国家到地方的广域网网络体系，基本做到了联网运行，在军民用、航空、通信、海事等领域发挥了重要作用，但目前仍然存在一些问题，具体表现在：
（1）海量原始数据存储困难：众多电磁环境感知设备数据采集能力强大，数据产出频次快、数据类型多样，多种设备长时间采集的数据量大，现有的业务系统无法满足对海量原始数据的存储；
（2）数据差异：目前建设了面向不同业务应用的电磁环境感知设备，这些设备来自不同的生产厂家，设备之间的数据传输协议不同，存在多种来源、数据结构各异的电磁环境数据；
（3）数据孤岛：现有的电磁环境领域数据是非集成的，海量数据独立存在于每个业务系统中，多样异构数据无法实现有效共享和互联互通，缺乏对数据的整合应用；
（4）数据价值密度低：短时间的数据难以反映电磁环境情况，基于长期、大区域的数据才能够实现数据的有效分析。
产生上述问题的原因如下：
（1）单独的业务需求驱动化开发：不同用户根据自己的业务需求采购具有不同传输协议的感知设备，研发独立的信息化系统，缺乏对数据的完整存储、统一转换、深度加工和分析整合；
（2）数据存储能力弱： 目前电磁环境领域主要采用关系型数据库进行数据存储和处理，相关标准规范如《超短波频段监测基础数据存储结构技术规范(GWJ006-2016)》、《空间电台和卫星通信网数据库数据结构技术标准(GWJ011-2016)》、《无线电管理频率数据库结构技术规范(GWJ009-2016)》，但是电磁环境数据具备典型的大数据特征，需要针对不同数据类型进行定制优化才能实现高效存储，在先信息化系统不具备关系型和非关系型数据库的关联存储能力。
发明内容
本发明所要解决的技术问题就是提供一种电磁环境领域数据仓库构建方法，以解决现有电磁环境信息化方面的海量原始数据存储困难、数据差异和数据孤岛问题。
本发明采用如下技术方案：
一种电磁环境领域数据仓库构建方法，其改进之处在于，包括如下步骤：
步骤1，电磁环境数据采集：从系统外部获取电磁环境原始数据并汇聚到原始数据缓存区，具体包括如下步骤：
步骤11，通过数据采集工具从电磁环境感知设备、现有业务数据库和离线电磁环境数据文件中采集数据；
步骤12，向采集的数据中添加设定的数据采集日期、地理信息和频域信息；
步骤13，将添加信息的数据存储到原始数据缓存区；
步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载，具体包括如下步骤：
步骤21，对加载到原始数据缓存区的数据按照设置标准进行清洗，清洗内容包括：异常值处理、缺失值处理、冗余数据处理；
步骤22，对清洗后的数据按照业务类型和数据类型进行分析，分析内容包括：电磁背景噪声分析、信号提取、单信号测向、宽带多信号测向、跳频信号分析、监听与信号解调、扩频信号分析；
步骤23，对步骤22分析后的数据进行数据转换，转换内容包括数据合并、数据拆分、数据验证，根据不同的主题进行转换，并将多种标准的数据转换为统一的数据标准，形成标准基础数据；
步骤24，将标准基础数据加载至电磁环境数据仓库；
步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储，具体包括如下步骤：
步骤31，使用维度建模法进行数据建模，根据主题和数据粒度设计维度表和事实表；
步骤32，在设计维度表和事实表时，结合业务需求进行跨数据库关联存取时的索引设计；
步骤33，数据存储层采用关系型数据库和非关系型数据库存储电磁环境数据处理后的标准基础数据；
步骤34：数据集市层采用非关系型数据库，用于面向主题存储数据，进行相关主题域内的数据整合、相关业务的拆分、汇总；
步骤35：数据应用层采用关系型数据库和非关系型数据库，用于根据业务应用需要构造多维模型数据，所得数据直接用于分析展现；
上述的关系型数据库存储结构化数据，非关系型数据库存储半结构化和非结构化数据。
进一步的，步骤11中的电磁环境感知设备包括：电磁环境监测设备、探测设备、观测设备和侦测设备；现有业务数据库包括：无线电台站数据库、无线电划分标准数据库、用频装备库、信号样本数据库；离线电磁环境数据文件包括：短波探测数据文件、短波或超短波频段监测数据文件、电离层观测数据文件、短波或超短波频段侦测数据文件。
进一步的，步骤11中采集的数据包括电磁环境领域结构化数据、半结构化数据和非结构化数据；所述的结构化数据包括：感知设备、感知站、感知任务的基础信息，具体包括感知设备的名称、编号、型号、设备类型、支持功能；感知站的名称、经度、纬度、状态；感知任务的任务类型、执行任务时间、执行任务的感知设备名称、执行任务的感知设备编号、执行任务的感知站名称；所述的半结构化数据包括：频谱场强数据、信号测量参数数据、测向及定位数据、IQ数据；所述的非结构化数据包括：原始感知数据、声音、二进制文件、图像。
进一步的，步骤21中从电磁环境感知设备获取的数据基于实时数据流进行抽取；从现有业务数据库中采用增量抽取方式；离线电磁环境数据文件采用全量抽取。
进一步的，步骤3构建的电磁环境数据仓库自下而上包括数据存储层、数据集市层和数据应用层；数据存储层的维度表依据时域、频域和空域信息粒度进行索引设计，事实表依据维度表信息进行主键设计；数据集市层依据主题进行数据提取、融合，形成不同粒度的索引和数据存储，并能通过表中索引关联到数据存储层数据；数据应用层通过任务、设备、时间可关联到数据集市层主题中的数据；主题包括：频谱身份、频谱资源、信号规律、射频轨迹、辐射变化和异常影响；数据粒度指的是数据存储的时间粒度，包括：秒、分钟、小时、天、周、月、年。
进一步的，频谱身份主题集成数据包括：辐射信号监测数据、辐射信号测向数据、辐射源特征数据；频谱资源主题集成数据包括：用频台站数据、用频设备频谱参数数据、频率资源数据、频谱感知数据；信号规律主题集成数据包括：信号规律相关的信号出现时段、信号出现范围、信号强度变化数据，能够从时域、空域、频域三个维度做关联分析和数据挖掘；射频轨迹主题集成数据包括：各站点监测信号频率及IQ数据、射频信号特征数据、信号移动定位数据、信号产生时间数据、信号影响范围数据；辐射变化主题针对长期监测结果，结合身份识别，对装备辐射情况的变化进行分析，形成辐射规律变化统计和分析数据；异常影响主题集成长期异常信号监测结果和信号特征数据，分析可能造成影响的区域和能力。
进一步的，步骤31中维度表和事实表的关联关系采用星型或雪花型模型进行设计；对维度表数据根据主键进行维度变化捕捉，若无变化就结束，若有变化则进行缓慢变化维处理，将变更的数据抽取到数据仓库中；对事实表数据根据主键进行字段更改捕捉，若字段有更改，则获取字段对应的变更数据，更新字段数据有效性标识，将变更的数据抽取到数据仓库中；若字段没有变化，获取新增数据，将新增数据抽取到数据仓库中。
进一步的，步骤33中采用的关系型数据库包括Mysql、Oracle，非关系型数据库包括hdfs、HBase，关系型数据库存储统一标准数据中的结构化电磁环境数据，包括用频台站数据、频率划分数据、信号参数数据、测向结果数据、定位结果数据；hdfs存储原始数据，HBase存储统一标准数据中的毫秒级粒度的半结构化和非结构化电磁环境标准基础数据。
进一步的，步骤34中采用的非关系型数据库包括Hive，数据集市层根据业务需求可以手动或定时地将数据存储层的数据通过抽取或转换处理成为具有多种数据粒度的数据，并将这些数据按照业务需求采用Hive数据库进行存储。
进一步的，步骤35中采用的关系型数据库包括Mysql、Oracle，非关系型数据库包括Hive，关系型数据库存储数据包括：台情信息、信号识别结果、自动化分析结果、目标识别结果、威胁告警分析结果；非关系型数据库存储电磁背景噪声、信号参数信息、目标参数信息和威胁告警信息。
本发明的有益效果是：
本发明所公开的电磁环境领域数据仓库构建方法，按照不同的业务主题对电磁环境数据进行整合、重构，大大提高数据的共享性，有效削弱业务需求变更对数据仓库架构的影响，保障了电磁环境大数据仓库逻辑框架的稳定性；融合海量多源异构电磁环境数据，建立统一的数据标准，便于进行多维度深度数据分析和挖掘，有利于消除信息孤岛，提高数据利用率；改进数据存储结构，采用关系型数据库和非关系型数据库相结合的方式，满足数据高可靠性、高速访问和海量存储的需求；大大提高使用数据的效率、节省时间。
在构建电磁环境领域数据仓库之前，数据需要从各个监测站获取，费时费力且时效性差，建立数据仓库后，可以快速、高效、实时地获取电磁环境数据。
附图说明
图1是本发明实施例1所公开电磁环境领域数据仓库构建方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1，如图1所示，本实施例公开了一种电磁环境领域数据仓库构建方法，包括如下步骤：
步骤1，电磁环境数据采集：从系统外部获取电磁环境原始数据并汇聚到原始数据缓存区，具体包括如下步骤：
步骤11，通过数据采集工具从电磁环境感知设备、现有业务数据库和离线电磁环境数据文件中采集数据；电磁环境数据采集工具基于军用/民用标准规范研制；
电磁环境感知设备包括：电磁环境监测设备、探测设备、观测设备和侦测设备；现有业务数据库包括：无线电台站数据库、无线电划分标准数据库、用频装备库、信号样本数据库；离线电磁环境数据文件包括：短波探测数据文件、短波/超短波等频段监测数据文件、电离层观测数据文件、短波/超短波等频段侦测数据文件。
采集的数据包括电磁环境领域结构化数据、半结构化数据和非结构化数据；所述的结构化数据包括：感知设备、感知站、感知任务的基础信息，例如：感知设备的名称、编号、型号、设备类型、支持功能；感知站的名称、经度、纬度、状态；感知任务的任务类型、执行任务时间、执行任务的感知设备名称、执行任务的感知设备编号、执行任务的感知站名称；所述的半结构化数据包括：频谱场强数据、信号测量参数数据、测向及定位数据、IQ数据；所述的非结构化数据包括：原始感知数据、声音、二进制文件、图像。
步骤12，向采集的数据中添加设定的数据采集日期、地理信息、频域等信息；
步骤13，将添加信息的数据存储到原始数据缓存区；
步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载，具体包括如下步骤：
步骤21，对加载到原始数据缓存区的数据按照设置标准进行清洗，清洗内容包括：异常值处理、缺失值处理、冗余数据处理；清洗工具基于军用/民用标准规范研制；从电磁环境感知设备获取的数据基于实时数据流进行抽取；从现有业务数据库中采用增量抽取方式；离线电磁环境数据文件采用全量抽取。
步骤22，对清洗后的数据按照业务类型和数据类型进行分析，分析内容包括：电磁背景噪声分析、信号提取、单信号测向、宽带多信号测向、跳频信号分析、监听与信号解调、扩频信号分析；
步骤23，对步骤22分析后的数据进行数据转换，转换内容包括数据合并、数据拆分、数据验证，根据不同的主题进行转换，并将多种标准的数据转换为统一的数据标准，形成标准基础数据；不同电磁环境感知设备数据协议不同，该步骤处理的多种数据标准包括军用、民用标准规范等；
步骤24，将标准基础数据加载至电磁环境数据仓库；
步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储，
构建的电磁环境数据仓库自下而上包括数据存储层、数据集市层和数据应用层；数据存储层的维度表依据时域、频域和空域信息粒度进行索引设计，事实表依据维度表信息进行主键设计；数据集市层依据六个主题进行数据提取、融合，形成不同粒度的索引和数据存储，并能通过表中索引关联到原始数据存储层数据；数据应用层通过任务、设备、时间可关联到数据集市层主题中的数据；主题包括：频谱身份、频谱资源、信号规律、射频轨迹、辐射变化和异常影响六个主题；数据粒度指的是数据存储的时间粒度，包括：秒、分钟、小时、天、周、月、年。
频谱身份主题集成数据包括：辐射信号监测数据、辐射信号测向数据、辐射源特征数据；频谱资源主题集成数据包括：用频台站数据、用频设备频谱参数数据、频率资源数据、频谱感知数据，能够对频谱资源数据进行各类分析；信号规律主题集成数据包括：信号规律相关的信号出现时段、信号出现范围、信号强度变化数据，能够从时域、空域、频域三个维度做关联分析和数据挖掘；射频轨迹主题集成数据包括：各站点监测信号频率及IQ数据、射频信号特征数据、信号移动定位数据、信号产生时间数据、信号影响范围数据；辐射变化主题针对长期监测结果，结合身份识别，对装备辐射情况的变化进行分析，形成辐射规律变化统计和分析数据；异常影响主题集成长期异常信号监测结果和信号特征数据，分析可能造成影响的区域和能力。
具体包括如下步骤：
步骤31，使用维度建模法进行数据建模，根据主题和数据粒度设计维度表和事实表；维度表和事实表的关联关系采用星型或雪花型模型进行设计；对维度表数据根据主键进行维度变化捕捉，若无变化就结束，若有变化则进行缓慢变化维处理，将变更的数据抽取到数据仓库中；对事实表数据根据主键进行字段更改捕捉，若字段有更改，则获取字段对应的变更数据，更新字段数据有效性标识，将变更的数据抽取到数据仓库中；若字段没有变化，获取新增数据，将新增数据抽取到数据仓库中。
步骤32，在设计维度表和事实表时，结合业务需求进行跨数据库关联存取时的索引设计；
步骤33，数据存储层采用关系型数据库和非关系型数据库存储电磁环境数据处理后的标准基础数据；采用的关系型数据库包括Mysql、Oracle，非关系型数据库包括hdfs、HBase，关系型数据库存储统一标准数据中的结构化电磁环境数据，如：用频台站数据、频率划分数据、信号参数数据、测向结果数据、定位结果数据；hdfs存储原始数据，HBase存储统一标准数据中的毫秒级粒度的半结构化和非结构化电磁环境标准基础数据。
步骤34：数据集市层采用非关系型数据库，用于面向主题存储数据，进行相关主题域内的数据整合、相关业务的拆分、汇总；采用的非关系型数据库包括Hive，数据集市层根据业务需求可以手动/定时地将数据存储层的数据通过抽取、转换等处理成为具有多种数据粒度的数据，并将这些数据按照业务需求采用Hive数据库进行存储。
步骤35：数据应用层采用关系型数据库和非关系型数据库，用于根据业务应用需要构造多维模型数据，所得数据直接用于分析展现；采用的关系型数据库目前包括Mysql、Oracle，非关系型数据库包括Hive，关系型数据库存储数据包括：台情信息、信号识别结果、自动化分析结果、目标识别结果、威胁告警分析结果；非关系型数据库存储电磁背景噪声、信号参数信息、目标参数信息和威胁告警信息。
由于电磁环境数据数据类型多、数据量大，使用关系型数据库会导致数据库负载过大、数据表结构设计不能合理应用，hdfs和HBase分布式数据库可以解决空列存储问题，并可设定数据存储版本号，实现数据存储层中的数据高效存储。
上述的关系型数据库存储结构化数据，非关系型数据库存储半结构化和非结构化数据，两种类型的数据库主要用于支撑联机事物处理，同时支撑联机分析处理和数据挖掘。
Claims (10)
1.一种电磁环境领域数据仓库构建方法，其特征在于，包括如下步骤：
步骤1，电磁环境数据采集：从系统外部获取电磁环境原始数据并汇聚到原始数据缓存区，具体包括如下步骤：
步骤11，通过数据采集工具从电磁环境感知设备、现有业务数据库和离线电磁环境数据文件中采集数据；
步骤12，向采集的数据中添加设定的数据采集日期、地理信息和频域信息；
步骤13，将添加信息的数据存储到原始数据缓存区；
步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载，具体包括如下步骤：
步骤21，对加载到原始数据缓存区的数据按照设置标准进行清洗，清洗内容包括：异常值处理、缺失值处理、冗余数据处理；
步骤22，对清洗后的数据按照业务类型和数据类型进行分析，分析内容包括：电磁背景噪声分析、信号提取、单信号测向、宽带多信号测向、跳频信号分析、监听与信号解调、扩频信号分析；
步骤23，对步骤22分析后的数据进行数据转换，转换内容包括数据合并、数据拆分、数据验证，根据不同的主题进行转换，并将多种标准的数据转换为统一的数据标准，形成标准基础数据；
步骤24，将标准基础数据加载至电磁环境数据仓库；
步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储，具体包括如下步骤：
步骤31，使用维度建模法进行数据建模，根据主题和数据粒度设计维度表和事实表；
步骤32，在设计维度表和事实表时，结合业务需求进行跨数据库关联存取时的索引设计；
步骤33，数据存储层采用关系型数据库和非关系型数据库存储电磁环境数据处理后的标准基础数据；
步骤34：数据集市层采用非关系型数据库，用于面向主题存储数据，进行相关主题域内的数据整合、相关业务的拆分、汇总；
步骤35：数据应用层采用关系型数据库和非关系型数据库，用于根据业务应用需要构造多维模型数据，所得数据直接用于分析展现；
上述的关系型数据库存储结构化数据，非关系型数据库存储半结构化和非结构化数据。
2.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤11中的电磁环境感知设备包括：电磁环境监测设备、探测设备、观测设备和侦测设备；现有业务数据库包括：无线电台站数据库、无线电划分标准数据库、用频装备库、信号样本数据库；离线电磁环境数据文件包括：短波探测数据文件、短波或超短波频段监测数据文件、电离层观测数据文件、短波或超短波频段侦测数据文件。
3.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤11中采集的数据包括电磁环境领域结构化数据、半结构化数据和非结构化数据；所述的结构化数据包括：感知设备、感知站、感知任务的基础信息，具体包括感知设备的名称、编号、型号、设备类型、支持功能；感知站的名称、经度、纬度、状态；感知任务的任务类型、执行任务时间、执行任务的感知设备名称、执行任务的感知设备编号、执行任务的感知站名称；所述的半结构化数据包括：频谱场强数据、信号测量参数数据、测向及定位数据、IQ数据；所述的非结构化数据包括：原始感知数据、声音、二进制文件、图像。
4.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤21中从电磁环境感知设备获取的数据基于实时数据流进行抽取；从现有业务数据库中采用增量抽取方式；离线电磁环境数据文件采用全量抽取。
5.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤3构建的电磁环境数据仓库自下而上包括数据存储层、数据集市层和数据应用层；数据存储层的维度表依据时域、频域和空域信息粒度进行索引设计，事实表依据维度表信息进行主键设计；数据集市层依据主题进行数据提取、融合，形成不同粒度的索引和数据存储，并能通过表中索引关联到数据存储层数据；数据应用层通过任务、设备、时间可关联到数据集市层主题中的数据；主题包括：频谱身份、频谱资源、信号规律、射频轨迹、辐射变化和异常影响；数据粒度指的是数据存储的时间粒度，包括：秒、分钟、小时、天、周、月、年。
6.根据权利要求5所述的电磁环境领域数据仓库构建方法，其特征在于：频谱身份主题集成数据包括：辐射信号监测数据、辐射信号测向数据、辐射源特征数据；频谱资源主题集成数据包括：用频台站数据、用频设备频谱参数数据、频率资源数据、频谱感知数据；信号规律主题集成数据包括：信号规律相关的信号出现时段、信号出现范围、信号强度变化数据，能够从时域、空域、频域三个维度做关联分析和数据挖掘；射频轨迹主题集成数据包括：各站点监测信号频率及IQ数据、射频信号特征数据、信号移动定位数据、信号产生时间数据、信号影响范围数据；辐射变化主题针对长期监测结果，结合身份识别，对装备辐射情况的变化进行分析，形成辐射规律变化统计和分析数据；异常影响主题集成长期异常信号监测结果和信号特征数据，分析可能造成影响的区域和能力。
7.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤31中维度表和事实表的关联关系采用星型或雪花型模型进行设计；对维度表数据根据主键进行维度变化捕捉，若无变化就结束，若有变化则进行缓慢变化维处理，将变更的数据抽取到数据仓库中；对事实表数据根据主键进行字段更改捕捉，若字段有更改，则获取字段对应的变更数据，更新字段数据有效性标识，将变更的数据抽取到数据仓库中；若字段没有变化，获取新增数据，将新增数据抽取到数据仓库中。
8.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤33中采用的关系型数据库包括Mysql、Oracle，非关系型数据库包括hdfs、HBase，关系型数据库存储统一标准数据中的结构化电磁环境数据，包括用频台站数据、频率划分数据、信号参数数据、测向结果数据、定位结果数据；hdfs存储原始数据，HBase存储统一标准数据中的毫秒级粒度的半结构化和非结构化电磁环境标准基础数据。
9.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤34中采用的非关系型数据库包括Hive，数据集市层根据业务需求可以手动或定时地将数据存储层的数据通过抽取或转换处理成为具有多种数据粒度的数据，并将这些数据按照业务需求采用Hive数据库进行存储。
10.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤35中采用的关系型数据库包括Mysql、Oracle，非关系型数据库包括Hive，关系型数据库存储数据包括：台情信息、信号识别结果、自动化分析结果、目标识别结果、威胁告警分析结果；非关系型数据库存储电磁背景噪声、信号参数信息、目标参数信息和威胁告警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011037908.1A CN112148807A (zh) | 2020-09-28 | 2020-09-28 | 一种电磁环境领域数据仓库构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011037908.1A CN112148807A (zh) | 2020-09-28 | 2020-09-28 | 一种电磁环境领域数据仓库构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148807A true CN112148807A (zh) | 2020-12-29 |
Family
ID=73896109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011037908.1A Pending CN112148807A (zh) | 2020-09-28 | 2020-09-28 | 一种电磁环境领域数据仓库构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148807A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650744A (zh) * | 2020-12-31 | 2021-04-13 | 广州晟能软件科技有限公司 | 一种防止数据二次污染的数据治理方法 |
| CN112988919A (zh) * | 2021-04-30 | 2021-06-18 | 广东电网有限责任公司 | 一种电网数据集市构建方法、系统、终端设备及存储介质 |
| CN113297448A (zh) * | 2021-05-13 | 2021-08-24 | 中国电波传播研究所（中国电子科技集团公司第二十二研究所） | 一种基于网络爬虫的开源电波环境数据采集方法及计算机可读存储介质 |
| CN113420009A (zh) * | 2021-06-02 | 2021-09-21 | 军事科学院系统工程研究院网络信息研究所 | 一种基于大数据的电磁数据分析装置、系统及方法 |
| CN113626540A (zh) * | 2021-08-26 | 2021-11-09 | 深圳市科立讯数据技术有限公司 | 超短波无线电信号监测数据分析系统 |
| CN114614922A (zh) * | 2022-03-16 | 2022-06-10 | 三亚航空旅游职业学院 | 基于频域的民航甚高频通信中的频谱数据清洗方法 |
| CN115454993A (zh) * | 2022-07-27 | 2022-12-09 | 北京优诺信创科技有限公司 | 一种具备时空信息的空间电磁环境特征数据处理方法 |
| CN115952673A (zh) * | 2022-12-31 | 2023-04-11 | 中国电子科技集团公司信息科学研究院 | 一种基于电磁环境认知和混合模型构建的频谱捷变方法 |
| CN117939453A (zh) * | 2024-03-21 | 2024-04-26 | 北京优诺信创科技有限公司 | 一种电磁环境监测方法及系统 |
| CN117939453B (zh) * | 2024-03-21 | 2024-06-21 | 北京优诺信创科技有限公司 | 一种电磁环境监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104764937A (zh) * | 2015-03-24 | 2015-07-08 | 中国人民解放军63892部队 | 一种电磁环境复杂度快速网格剖分显示方法 |
| KR20150102207A (ko) * | 2014-02-28 | 2015-09-07 | (주)로직소프트 | 데이터 웨어하우스 생성 방법 및 데이터 웨어하우스 생성 프로그램을 저장한 기록 매체 |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN106709269A (zh) * | 2017-03-13 | 2017-05-24 | 山东众阳软件有限公司 | 一种医疗大数据仓库的创建方法及系统 |
| CN109189764A (zh) * | 2018-09-20 | 2019-01-11 | 北京桃花岛信息技术有限公司 | 一种基于Hive的高校数据仓库分层设计方法 |
-
2020
- 2020-09-28 CN CN202011037908.1A patent/CN112148807A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150102207A (ko) * | 2014-02-28 | 2015-09-07 | (주)로직소프트 | 데이터 웨어하우스 생성 방법 및 데이터 웨어하우스 생성 프로그램을 저장한 기록 매체 |
| CN104764937A (zh) * | 2015-03-24 | 2015-07-08 | 中国人民解放军63892部队 | 一种电磁环境复杂度快速网格剖分显示方法 |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN106709269A (zh) * | 2017-03-13 | 2017-05-24 | 山东众阳软件有限公司 | 一种医疗大数据仓库的创建方法及系统 |
| CN109189764A (zh) * | 2018-09-20 | 2019-01-11 | 北京桃花岛信息技术有限公司 | 一种基于Hive的高校数据仓库分层设计方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650744A (zh) * | 2020-12-31 | 2021-04-13 | 广州晟能软件科技有限公司 | 一种防止数据二次污染的数据治理方法 |
| CN112650744B (zh) * | 2020-12-31 | 2024-04-30 | 广州晟能软件科技有限公司 | 一种防止数据二次污染的数据治理方法 |
| CN112988919A (zh) * | 2021-04-30 | 2021-06-18 | 广东电网有限责任公司 | 一种电网数据集市构建方法、系统、终端设备及存储介质 |
| CN113297448A (zh) * | 2021-05-13 | 2021-08-24 | 中国电波传播研究所（中国电子科技集团公司第二十二研究所） | 一种基于网络爬虫的开源电波环境数据采集方法及计算机可读存储介质 |
| CN113297448B (zh) * | 2021-05-13 | 2022-10-25 | 中国电波传播研究所（中国电子科技集团公司第二十二研究所） | 一种基于网络爬虫的开源电波环境数据采集方法及计算机可读存储介质 |
| CN113420009A (zh) * | 2021-06-02 | 2021-09-21 | 军事科学院系统工程研究院网络信息研究所 | 一种基于大数据的电磁数据分析装置、系统及方法 |
| CN113420009B (zh) * | 2021-06-02 | 2022-03-25 | 军事科学院系统工程研究院网络信息研究所 | 一种基于大数据的电磁数据分析装置、系统及方法 |
| CN113626540B (zh) * | 2021-08-26 | 2024-04-12 | 深圳市科立讯数据技术有限公司 | 超短波无线电信号监测数据分析系统 |
| CN113626540A (zh) * | 2021-08-26 | 2021-11-09 | 深圳市科立讯数据技术有限公司 | 超短波无线电信号监测数据分析系统 |
| CN114614922A (zh) * | 2022-03-16 | 2022-06-10 | 三亚航空旅游职业学院 | 基于频域的民航甚高频通信中的频谱数据清洗方法 |
| CN115454993A (zh) * | 2022-07-27 | 2022-12-09 | 北京优诺信创科技有限公司 | 一种具备时空信息的空间电磁环境特征数据处理方法 |
| CN115952673B (zh) * | 2022-12-31 | 2023-11-07 | 中国电子科技集团公司信息科学研究院 | 一种基于电磁环境认知和混合模型构建的频谱捷变方法 |
| CN115952673A (zh) * | 2022-12-31 | 2023-04-11 | 中国电子科技集团公司信息科学研究院 | 一种基于电磁环境认知和混合模型构建的频谱捷变方法 |
| CN117939453A (zh) * | 2024-03-21 | 2024-04-26 | 北京优诺信创科技有限公司 | 一种电磁环境监测方法及系统 |
| CN117939453B (zh) * | 2024-03-21 | 2024-06-21 | 北京优诺信创科技有限公司 | 一种电磁环境监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148807A (zh) | 一种电磁环境领域数据仓库构建方法 | |
| CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| Lee et al. | Measuring geographical regularities of crowd behaviors for Twitter-based geo-social event detection | |
| CN113010506B (zh) | 一种多源异构水环境大数据管理系统 | |
| Yadranjiaghdam et al. | Developing a real-time data analytics framework for twitter streaming data | |
| CN103136249A (zh) | 多模态异构数据整合系统及方法 | |
| CN109614412B (zh) | 基于电力行业的云上数据发布服务两级共享缓存分析方法 | |
| CN104778188A (zh) | 一种分布式设备日志采集方法 | |
| CN103605651A (zh) | 一种基于olap多维分析的数据处理展现方法 | |
| KR101982756B1 (ko) | 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법 | |
| CN111046022A (zh) | 一种基于大数据技术的数据库审计方法 | |
| Ceci et al. | Big data techniques for supporting accurate predictions of energy production from renewable sources | |
| CN108268569A (zh) | 基于大数据技术的水资源监测数据采集与分析系统及方法 | |
| CN112732680A (zh) | 一种数据仓库设计方法 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN106056515A (zh) | 一种社区网格事件聚类特征的提取方法 | |
| CN109189873A (zh) | 一种气象服务大数据监测分析系统平台 | |
| Cuzzocrea et al. | Exploiting compression and approximation paradigms for effective and efficient online analytical processing over sensor network readings in data grid environments | |
| CN110738453A (zh) | 一种基于云计算的气象综合业务系统 | |
| CN116136842A (zh) | 一种基于大数据模式的信息资源整合方法 | |
| CN107908683A (zh) | 无线城市大数据离线处理系统及其大数据离线处理方法 | |
| CN113934796A (zh) | 用于地下水应用服务系统的数据库子系统及数据查询方法 | |
| CN113342874A (zh) | 一种基于云计算的风电大数据分析系统和流程 | |
| Yin et al. | Design and implementation of meteorological big data platform based on hadoop and elasticsearch | |
| Liu et al. | A case study of MapReduce-based expressway traffic data analysis and service system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |