CN113157252B - 一种电磁信号通用分布式智能处理分析平台及方法 - Google Patents

一种电磁信号通用分布式智能处理分析平台及方法 Download PDF

Info

Publication number
CN113157252B
CN113157252B CN202110396992.4A CN202110396992A CN113157252B CN 113157252 B CN113157252 B CN 113157252B CN 202110396992 A CN202110396992 A CN 202110396992A CN 113157252 B CN113157252 B CN 113157252B
Authority
CN
China
Prior art keywords
module
data
calculation
preprocessing
end service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110396992.4A
Other languages
English (en)
Other versions
CN113157252A (zh
Inventor
王欢
王涛
饶颖
邵鹏飞
史雨璇
毛秀华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
8511 Research Institute of CASIC
Original Assignee
8511 Research Institute of CASIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 8511 Research Institute of CASIC filed Critical 8511 Research Institute of CASIC
Priority to CN202110396992.4A priority Critical patent/CN113157252B/zh
Publication of CN113157252A publication Critical patent/CN113157252A/zh
Application granted granted Critical
Publication of CN113157252B publication Critical patent/CN113157252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G06F8/22—Procedural
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种电磁信号通用分布式智能处理分析平台及方法，设置后端服务模块以及UI前端模块、数据管理模块、节点管理模块、数据接入模块、预处理计算模块、深度学习计算模块；UI前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，后端服务模块向数据接入、预处理计算、深度学习计算三个模块发送任务信息，启动相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理、数据管理、UI前端三个模块交互完成资源回收、数据管理和结果展示。本发明具有兼容性好、效率高的优点。

Description

一种电磁信号通用分布式智能处理分析平台及方法
技术领域
本发明属于电磁信号处理技术领域，特别是一种电磁信号通用分布式智能处理分析平台及方法。
背景技术
Hadoop起源于Apache Nutch项目，是Apache Lucene的子项目之一。Hadoop实现了一个分布式文件系统，其中一个组件是HDFS。HDFS有高容错性的特点，通过设计部署在低廉的硬件上，提供高吞吐量以访问应用程序的数据，适用于有超大数据集的应用程序，同时放宽了POSIX的要求，可以以流的形式访问文件系统的数据。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠高效可伸缩的方式进行数据处理，其中可靠性：它假设计算元素和存储会失败，因此维护多个工作数据的副本确保失败节点的重新分布处理；高效性：并行的方式工作，通过并行处理加快处理速度；可伸缩性：能够处理PB级数据。
然而在电磁信号处理领域，目前还没有公开的电磁信号通用分布式智能处理分析平台，比较类似的智能处理分析平台往往借助国外大数据相关开源框架，难以自主控制，兼容性差且效率低。
发明内容
本发明的目的在于提供一种自主可控的电磁信号通用分布式智能处理分析平台及方法，采用轻量级设计思想，自主设计框架，可灵活部署在windows平台和Linux平台。
实现本发明目的的技术解决方案为：一种电磁信号通用分布式智能处理分析平台，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：
采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；
数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；
常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；
高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；
调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与UI前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中UI前端模块部署在调度服务器上，实现提供WEB前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。
进一步地，数据采集分为两种模式：标准采集模式和预处理采集模式；
其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。
进一步地，所述UI前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块配合实现电磁信号样本数据标注；
所述数据标注分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。
一种电磁信号通用分布式智能处理分析方法，设置一个后端服务模块，以及与该后端服务模块连接的一个UI前端模块、一个数据管理模块、多个节点管理模块、多个数据接入模块、多个预处理计算模块、多个深度学习计算模块；UI前端模块通过以太网和后端服务模块连接，负责通过网络与后端服务模块进行交互，完成用户访问到的输入和计算结构的显示；节点管理模块负责采集和监控服务器设备的状态和参数；数据接入模块一方面与采集设备连接，负责通过网络实时采集样本数据，另一方面与后端服务模块连接，完成数据采集控制和数据接入；后端服务模块是核心控制器，负责与其他模块进行网络连接和通信；数据管理模块负责与预处理计算模块、深度学习计算模块和后端服务模块进行连接，完成样本数据、标注数据、预处理数据及推理结果的传递；预处理计算模块负责通过以太网与后端服务模块进行交互，实现数据预处理和智能标注；深度学习计算模块是执行深度学习计算的引擎，负责与后端服务模块和预处理计算模块通信完成计算任务和结果反馈；
UI前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，资源监测分配成功后后端服务模块通过协议报文向数据接入模块、预处理计算模块、深度学习计算模块发送任务信息，启动电磁信号数据采集存储、电磁信号样本数据标注、电磁信号数据网络训练、电磁信号数据推理识别的相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理模块、数据管理模块、UI前端模块交互完成资源回收、数据管理和结果展示。
进一步地，所述电磁信号数据采集存储，具体如下：
(1.1)用户通过UI前端模块选择采集存储，配置数据采集设备和采集模式；
(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；
(1.3)数据接入模块采集并存储数据；
(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；
(1.5)后端服务模块将原始数据写入数据库和文件；
(1.6)UI前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。
进一步地，所述电磁信号样本数据标注，具体如下：
(2.1)用户通过UI前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；
(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；
(2.3)数据接入模块采集并存储数据；
(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；
(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；
(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；
(2.7)UI前端模块接收标注数据并对标注结果进行可视化展示和结果上报。
进一步地，所述电磁信号数据网络训练，具体如下：
(3.1)用户通过UI前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；
(3.2)后端服务模块启动相关模块，传递参数和数据；
(3.3)训练推理模块进行模型训练工作；
(3.4)UI前端模块进行模型训练和训练结果的可视化展示；
(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。
进一步地，所述电磁信号数据推理识别，具体如下：
(4.1)用户通过UI前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；
(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；
(4.3)预处理计算模块对需推理的数据进行预处理；
(4.4)训练推理模块根据预处理结果进行推理识别工作；
(4.5)UI前端模块对识别结果进行可视化展示和结果上报。
本发明与现有技术相比，其显著优点为：(1)预处理算法支持二次开发，支持用户开发、上传自定义的预处理算法；基于分布式计算处理框架，通过并行加速进行预处理，提高了系统的实时性；(2)模型结构可二次开发，软件平台支持加载用户自定义的网络模型结构脚本，提供用户自主搭建模型，使用模型进行训练的功能；(3)多任务多用户并发执行，采用自主开发的资源管理与多任务调度内核，可实现多用户多任务并发执行；(4)节点水平拓展能力，设计了高效计算处理架构，大大提高了电磁信号的处理效率；其分布式计算架构具有良好的伸缩性，节点可动态配置，既可部署在一台高性能笔记本，也可拓展成计算集群，满足多种计算使用场景；(5)快速验证算法形成产品的能力，通过对电磁信号处理流程的抽象和建模，可作为通用电磁信号智能处理平台，基于该平台可快速验证新型算法，形成产品。
附图说明
图1是本发明电磁信号通用分布式智能处理分析平台的硬件架构图。
图2是分布式智能处理分析平台的软件框架图。
图3是电磁信号的采集流程图。
图4是电磁信号样本数据在线标注流程图。
图5是网络训练的流程图。
图6是推理识别的数据流程图。
具体实施方式
本发明一种轻量级电磁信号通用分布式智能处理分析平台，既可以作为伪分布式平台也可以作为分布式平台使用，即可以将软件部分部署在同一台服务器上，虚拟出多个角色承担不同模块，也可以将软件部署在承担不同角色的多台服务器上，同时节点管理模块、数据接入模块、预处理计算模块、深度学习计算模块支持可拓展，可以存在多台部署上述模块的服务器供分配。
具体而言，本发明一种电磁信号通用分布式智能处理分析平台，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：
采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；
数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；
常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；
高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；
调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与UI前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中UI前端模块部署在调度服务器上，实现提供WEB前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析平台，数据采集分为两种模式：标准采集模式和预处理采集模式；
其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析平台，UI前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块配合实现电磁信号样本数据标注；
所述数据标注分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。
本发明一种电磁信号通用分布式智能处理分析方法，设置一个后端服务模块，以及与该后端服务模块连接的一个UI前端模块、一个数据管理模块、多个节点管理模块、多个数据接入模块、多个预处理计算模块、多个深度学习计算模块；UI前端模块通过以太网和后端服务模块连接，负责通过网络与后端服务模块进行交互，完成用户访问到的输入和计算结构的显示；节点管理模块负责采集和监控服务器设备的状态和参数；数据接入模块一方面与采集设备连接，负责通过网络实时采集样本数据，另一方面与后端服务模块连接，完成数据采集控制和数据接入；后端服务模块是核心控制器，负责与其他模块进行网络连接和通信；数据管理模块负责与预处理计算模块、深度学习计算模块和后端服务模块进行连接，完成样本数据、标注数据、预处理数据及推理结果的传递；预处理计算模块负责通过以太网与后端服务模块进行交互，实现数据预处理和智能标注；深度学习计算模块是执行深度学习计算的引擎，负责与后端服务模块和预处理计算模块通信完成计算任务和结果反馈；
UI前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，资源监测分配成功后后端服务模块通过协议报文向数据接入模块、预处理计算模块、深度学习计算模块发送任务信息，启动电磁信号数据采集存储、电磁信号样本数据标注、电磁信号数据网络训练、电磁信号数据推理识别的相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理模块、数据管理模块、UI前端模块交互完成资源回收、数据管理和结果展示。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据采集存储具体如下：
(1.1)用户通过UI前端模块选择采集存储，配置数据采集设备和采集模式；
(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；
(1.3)数据接入模块采集并存储数据；
(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；
(1.5)后端服务模块将原始数据写入数据库和文件；
(1.6)UI前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号样本数据标注具体如下：
(2.1)用户通过UI前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；
(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；
(2.3)数据接入模块采集并存储数据；
(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；
(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；
(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；
(2.7)UI前端模块接收标注数据并对标注结果进行可视化展示和结果上报。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据网络训练具体如下：
(3.1)用户通过UI前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；
(3.2)后端服务模块启动相关模块，传递参数和数据；
(3.3)训练推理模块进行模型训练工作；
(3.4)UI前端模块进行模型训练和训练结果的可视化展示；
(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。
作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据推理识别，具体如下：
(4.1)用户通过UI前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；
(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；
(4.3)预处理计算模块对需推理的数据进行预处理；
(4.4)训练推理模块根据预处理结果进行推理识别工作；
(4.5)UI前端模块对识别结果进行可视化展示和结果上报。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
本发明所述的一种电磁信号通用分布式智能处理分析平台的硬件架构图如下图1所示：
采集服务器：用于采集实时外部数据的服务器，部署了数据接入模块。通过数据接入模块实现对实时网络数据的采集、转发和存储。
数据服务器：用于数据存储和数据传递的服务器，部署了数据管理模块。通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递。
调度服务器：高性能计算服务器，部署了后端服务模块。后端模块通过与UI前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；
常规计算服务器：作为预处理计算执行服务器，部署了预处理计算模块。预处理计算模块主要进行数据的预处理和智能标注。并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，可进行水平拓展，实现并行处理计算。
高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块。深度学习计算模块主要进行针对电磁数据的网络训练和推理识别，作为高级计算节点可进行水平拓展，实现高级计算资源可勾选。
本发明所述的一种电磁信号通用分布式智能处理分析平台的软件架构图如下图2所示：
软件框架中包含一个UI前端模块、一个后台服务模块、一个数据管理模块、若干个节点管理模块、若干个数据接入模块、若干个预处理计算模块、若干个深度学习计算模块；在分布式的场景下，可能存在多用户同时使用分析平台，势必存在任务的并发，同时单个任务也可能存在并行的计算。节点管理模块和后端服务模块的功能就是通过对各个节点的资源管控和合理分配进行任务分发，以保证高效、稳定的执行计算任务。同时支持用户自定义预处理算法，提供个性化的处理方式。
平台优势：
信号可动态增加：支持动态增加电磁信号，使用者只需简单配置，便可以增加基于通用模板的电磁信号，并针对此新增加的电磁信号进行计算和分析。
预处理可并行计算：支持使用者设置预处理并行计算，可根据任务实际情况选择并行计算数量，增加计算效率，缩减计算时间。
深度学习计算资源可选择：提供多种深度学习算法，使用者可以根据实际需求，选择单个或多个深度学习算法，进行深度学习计算和分析。
预处理算法可二次开发：支持使用者导入自定义预处理算法，支持使用者选择自定义算法流程。
深度学习训练模型结构可二次开发：支持使用者在系统外修改模型结构脚本，导入系统进行训练，生成用户所需模型结构训练的模型文件。
按功能划分，可分为四大功能：
STEP 1电磁信号的数据采集存储
数据采集分为两种模式：标准采集模式和预处理采集模式；其中标准采集模式是将采集到的信号数据直接进行本地化存储，而预处理采集模式则可以根据条件规则先进行筛选，对符合条件的数据再进行存储。
电磁信号的采集流程图如下图3所示：
(1.1)用户通过UI前端模块选择采集存储，配置数据采集设备和采集模式；
(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；
(1.3)数据接入模块采集并存储数据；
(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；
(1.5)后端服务模块将原始数据写入数据库和文件；
(1.6)UI前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。
STEP 2电磁信号样本数据标注
电磁信号样本数据标注需要用到UI前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块。其中数据标注可分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。
电磁信号样本数据在线标注流程图如下图4所示：
(2.1)用户通过UI前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；
(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；
(2.3)数据接入模块采集并存储数据；
(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；
(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；
(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；
(2.7)UI前端模块接收标注数据并对标注结果进行可视化展示和结果上报。
STEP 3电磁信号数据网络训练
网络训练的流程如下图5所示：
(3.1)用户通过UI前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；
(3.2)后端服务模块启动相关模块，传递参数和数据；
(3.3)训练推理模块进行模型训练工作；
(3.4)UI前端模块进行模型训练和训练结果的可视化展示；
(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。
STEP 4电磁信号数据推理识别
推理识别的数据流程图如图6所示：
(4.1)用户通过UI前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；
(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；
(4.3)预处理计算模块对需推理的数据进行预处理；
(4.4)训练推理模块根据预处理结果进行推理识别工作；
(4.5)UI前端模块对识别结果进行可视化展示和结果上报。
综上所述，本发明电磁信号通用分布式智能处理分析平台及方法具有以下特点：预处理算法支持二次开发，支持用户开发、上传自定义的预处理算法；基于分布式计算处理框架，通过并行加速进行预处理，提高了系统的实时性；模型结构可二次开发，软件平台支持加载用户自定义的网络模型结构脚本，提供用户自主搭建模型，使用模型进行训练的功能；多任务多用户并发执行，采用自主开发的资源管理与多任务调度内核，可实现多用户多任务并发执行；节点水平拓展能力，设计了高效计算处理架构，大大提高了电磁信号的处理效率；其分布式计算架构具有良好的伸缩性，节点可动态配置，既可部署在一台高性能笔记本，也可拓展成计算集群，满足多种计算使用场景；快速验证算法形成产品的能力，通过对电磁信号处理流程的抽象和建模，可作为通用电磁信号智能处理平台，基于该平台可快速验证新型算法，形成产品。

Claims (8)

1.一种电磁信号通用分布式智能处理分析平台，其特征在于，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：
采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；
数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；
常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；
高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；
调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与UI前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中UI前端模块部署在调度服务器上，实现提供WEB前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。
2.根据权利要求1所述的电磁信号通用分布式智能处理分析平台，其特征在于，数据采集分为两种模式：标准采集模式和预处理采集模式；
其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。
3.根据权利要求1所述的电磁信号通用分布式智能处理分析平台，其特征在于，所述UI前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块配合实现电磁信号样本数据标注；
所述数据标注分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。
4.一种电磁信号通用分布式智能处理分析方法，其特征在于，设置一个后端服务模块，以及与该后端服务模块连接的一个UI前端模块、一个数据管理模块、多个节点管理模块、多个数据接入模块、多个预处理计算模块、多个深度学习计算模块；UI前端模块通过以太网和后端服务模块连接，负责通过网络与后端服务模块进行交互，完成用户访问到的输入和计算结构的显示；节点管理模块负责采集和监控服务器设备的状态和参数；数据接入模块一方面与采集设备连接，负责通过网络实时采集样本数据，另一方面与后端服务模块连接，完成数据采集控制和数据接入；后端服务模块是核心控制器，负责与其他模块进行网络连接和通信；数据管理模块负责与预处理计算模块、深度学习计算模块和后端服务模块进行连接，完成样本数据、标注数据、预处理数据及推理结果的传递；预处理计算模块负责通过以太网与后端服务模块进行交互，实现数据预处理和智能标注；深度学习计算模块是执行深度学习计算的引擎，负责与后端服务模块和预处理计算模块通信完成计算任务和结果反馈；
UI前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，资源监测分配成功后后端服务模块通过协议报文向数据接入模块、预处理计算模块、深度学习计算模块发送任务信息，启动电磁信号数据采集存储、电磁信号样本数据标注、电磁信号数据网络训练、电磁信号数据推理识别的相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理模块、数据管理模块、UI前端模块交互完成资源回收、数据管理和结果展示。
5.根据权利要求4所述的电磁信号通用分布式智能处理分析方法，其特征在于，所述电磁信号数据采集存储，具体如下：
(1.1)用户通过UI前端模块选择采集存储，配置数据采集设备和采集模式；
(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；
(1.3)数据接入模块采集并存储数据；
(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；
(1.5)后端服务模块将原始数据写入数据库和文件；
(1.6)UI前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。
6.根据权利要求4所述的电磁信号通用分布式智能处理分析方法，其特征在于，所述电磁信号样本数据标注，具体如下：
(2.1)用户通过UI前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；
(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；
(2.3)数据接入模块采集并存储数据；
(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；
(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；
(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；
(2.7)UI前端模块接收标注数据并对标注结果进行可视化展示和结果上报。
7.根据权利要求4所述的电磁信号通用分布式智能处理分析方法，其特征在于，所述电磁信号数据网络训练，具体如下：
(3.1)用户通过UI前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；
(3.2)后端服务模块启动相关模块，传递参数和数据；
(3.3)训练推理模块进行模型训练工作；
(3.4)UI前端模块进行模型训练和训练结果的可视化展示；
(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。
8.根据权利要求4所述的电磁信号通用分布式智能处理分析方法，其特征在于，所述电磁信号数据推理识别，具体如下：
(4.1)用户通过UI前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；
(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；
(4.3)预处理计算模块对需推理的数据进行预处理；
(4.4)训练推理模块根据预处理结果进行推理识别工作；
(4.5)UI前端模块对识别结果进行可视化展示和结果上报。
CN202110396992.4A 2021-04-13 2021-04-13 一种电磁信号通用分布式智能处理分析平台及方法 Active CN113157252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110396992.4A CN113157252B (zh) 2021-04-13 2021-04-13 一种电磁信号通用分布式智能处理分析平台及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110396992.4A CN113157252B (zh) 2021-04-13 2021-04-13 一种电磁信号通用分布式智能处理分析平台及方法

Publications (2)

Publication Number Publication Date
CN113157252A CN113157252A (zh) 2021-07-23
CN113157252B true CN113157252B (zh) 2022-11-25

Family

ID=76890286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110396992.4A Active CN113157252B (zh) 2021-04-13 2021-04-13 一种电磁信号通用分布式智能处理分析平台及方法

Country Status (1)

Country Link
CN (1) CN113157252B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881446A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于深度学习的人工智能平台系统
CN109062700A (zh) * 2018-08-21 2018-12-21 郑州云海信息技术有限公司 一种基于分布式系统的资源管理方法及服务器
CN111047190A (zh) * 2019-12-12 2020-04-21 广西电网有限责任公司 一种基于交互式学习技术的多元化业务建模框架系统
CN111614769A (zh) * 2020-05-22 2020-09-01 武汉魅瞳科技有限公司 一种深度学习技术的行为智能分析引擎系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881446A (zh) * 2018-06-22 2018-11-23 深源恒际科技有限公司 一种基于深度学习的人工智能平台系统
CN109062700A (zh) * 2018-08-21 2018-12-21 郑州云海信息技术有限公司 一种基于分布式系统的资源管理方法及服务器
CN111047190A (zh) * 2019-12-12 2020-04-21 广西电网有限责任公司 一种基于交互式学习技术的多元化业务建模框架系统
CN111614769A (zh) * 2020-05-22 2020-09-01 武汉魅瞳科技有限公司 一种深度学习技术的行为智能分析引擎系统及控制方法

Also Published As

Publication number Publication date
CN113157252A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Sung et al. Nsml: A machine learning platform that enables you to focus on your models
CN111367187B (zh) 用于改进对分布式网络中的传感器流数据的处理的方法
CN108255605A (zh) 一种基于神经网络的图像识别协同计算方法及系统
CN104636421A (zh) 使用云计算的工业监视
CN113179190B (zh) 边缘控制器、边缘计算系统及其配置方法
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
CN113094116B (zh) 一种基于负载特征分析的深度学习应用云配置推荐方法及系统
CN108415386A (zh) 用于智能车间的增强现实系统及其工作方法
Wan et al. Kfiml: Kubernetes-based fog computing iot platform for online machine learning
CN110941421A (zh) 一种开发机器学习装置及其使用方法
TW202019133A (zh) 軟體定義驅動的ｉｃｔ服務端對端協作系統
Khan et al. Implementation of cloud based IoT technology in manufacturing industry for smart control of manufacturing process
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
AU2020103373A4 (en) Machine learning based network intelligentization for automatically- configurable cellular communication systems
CN113157252B (zh) 一种电磁信号通用分布式智能处理分析平台及方法
US20230254218A1 (en) Systems and methods for automated network state and network inventory tracking
CN108897608B (zh) 一种数据驱动可扩展的智能通用任务调度系统
CN113190328A (zh) 一种面向系统辨识的容器化云工作流处理系统及方法
CN112711508A (zh) 面向大规模客户端系统的智能运维服务系统
Xiang et al. Digital twin-driven service collaboration
CN115114000B (zh) 一种边缘计算中多任务并行计算实现方法及装置
Yitmen et al. Knowledge Graph-based Approach for Adopting Cognitive Digital Twins in Shop-floor of Modular Production
Long et al. 6G comprehensive intelligence: network operations and optimization based on Large Language Models
Transformer et al. Check for updates
Zehnder Automating Industrial Event Stream Analytics: Methods, Models, and Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant