CN113360563A - 一种航行大数据平台监控系统及方法 - Google Patents

一种航行大数据平台监控系统及方法 Download PDF

Info

Publication number
CN113360563A
CN113360563A CN202110674525.3A CN202110674525A CN113360563A CN 113360563 A CN113360563 A CN 113360563A CN 202110674525 A CN202110674525 A CN 202110674525A CN 113360563 A CN113360563 A CN 113360563A
Authority
CN
China
Prior art keywords
data
algorithm
big data
monitoring system
data platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110674525.3A
Other languages
English (en)
Inventor
马晓光
高长胜
毕茂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Chaoyue Shentai Information Technology Co Ltd
Original Assignee
Xian Chaoyue Shentai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Chaoyue Shentai Information Technology Co Ltd filed Critical Xian Chaoyue Shentai Information Technology Co Ltd
Priority to CN202110674525.3A priority Critical patent/CN113360563A/zh
Publication of CN113360563A publication Critical patent/CN113360563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)

Abstract

本发明提出了一种航行大数据平台监控系统及方法；其中，系统包括：多种传感器设备；边缘服务器子系统具有多个计算节点，多个计算节点设置于船舶的各个区域中，分别连接有对应的传感器设备，用于处理并存储对应传感器的监测数据，多个计算节点之间通过信息交互形成边缘计算集群，并指向同一个异构数据库；以及中心控制子系统存储有多个可视化算法模块并提供多种应用服务，多种应用服务用于从异构数据库中调取相应数据，并按照当前应用服务中加载的可视化算法模块进行数据处理；中心控制子系统与边缘服务器子系统之间通过由多种通信方式形成的数据交换网络进行通信。本发明能够实现对数据的现场处理、保存及分析以灵活可靠的应对复杂多变的气象。

Description

一种航行大数据平台监控系统及方法
技术领域
本发明涉及通信和计算机领域，尤其涉及一种航行大数据平台监控系统及方法。
背景技术
船舶行驶的安全性是船舶在设计、建造和使用中的首要问题。由于极区气象水文条件与普通航道差异较大，台风、海浪和洋流情况较为复杂，导致科考船在航行过程中影响船舶行驶安全的不确定性因素增多。船舶智能化监控系统能有效减少航行事故发生，提升航行的安全性。
然而现有的船舶智能化监控系统中的应用服务功能固化，不同的应用服务功能各自具有相应的数据库，需要专业的人员进行数据的维护和管理；固化的应用服务功能导致操作人员难以应对复杂多变的气象，且无法使得存储数据得到有效的关联，从而难以准确的做出判断。因此，如何能够灵活的应对复杂多变的气象情况以及准确的做出判断是目前极区航行所亟需的。
发明内容
为解决背景技术中的技术问题，在本发明的一个方面，提出了一种航行大数据平台监控系统，包括：多种传感器设备，边缘服务器子系统以及中心控制子系统；其中，所述边缘服务器子系统具有多个计算节点，所述多个计算节点设置于船舶的各个区域中，分别连接有对应的传感器设备，用于处理并存储对应传感器的监测数据，所述多个计算节点之间通过信息交互形成边缘计算集群，并指向同一个异构数据库；所述中心控制子系统存储有多个可视化算法模块并提供多种应用服务，所述多种应用服务用于从所述异构数据库中调取相应数据，并按照当前应用服务中加载的可视化算法模块进行数据处理；所述中心控制子系统与所述边缘服务器子系统之间通过由多种通信方式形成的数据交换网络进行通信。
在一个或多个实施例中，所述多个可视化算法模块为将多种算法基于RESTful微服务框架封装形成的多个API接口，所述多种算法保存在所述中心控制子系统的专用算法库中。
在一个或多个实施例中，所述多种算法用于数据的分析及管理、资源的整合以及应用的支持。
在一个或多个实施例中，所述边缘服务器子系统以及所述中心控制子系统均通过移动云操作系统进行管理，以虚拟化计算资源、存储资源以及网络资源。
在一个或多个实施例中，所述边缘服务器子系统采用分布的冗余存储方式进行数据存储。
在一个或多个实施例中，所述边缘服务器子系统与所述多种传感器设备通过数据采集网络通信连接，所述数据采集网络具有多个汇聚节点，所述多个汇聚节点设置于传感器节点与服务器节点之间，并采用ZigBee协议进行传感器节点与服务器节点之间的通信。
在一个或多个实施例中，所述数据交换网络由有线主干网、卫星通信网以及无线覆盖网组成。
在一个或多个实施例中，所述多种应用服务包括：船舶状态监控、科考与教学以及大数据网站；其中，所述大数据网站用于共享航行数据及数据算法。
在本发明的另一个方面，还提出了一种航行大数据平台监控方法，所述方法包括：将由多种传感器设备获得的多种监测数据关联保存在同一个异构数据库中；通过对应的应用服务从所述异构数据库中调取相应的数据，并从专用算法库中加载需要的可视化算法模块进行数据分析及处理；通过航行大数据平台提供的大数据网站共享所述监测数据、所述可视化算法模块以及所述数据的分析及处理结果。
在一个或多个实施例中，所述从专用算法库中加载需要的可视化算法模块包括：在所述专用算法库中搜索需要的可视化算法模块；通过拖拽的方式将需要的可视化算法模块加载到应用服务的算法区域中。
本发明的有益效果包括：本发明提出的航行大数据平台监控系统将服务器节点设置在船舶的各个区域，并使其互相通信形成边缘计算集群，能够对实时对获得的传感器监测数据进行现场处理并保存，避免了数据传输过程中问题的发生；并且，将各种数据通过同一个异构数据库进行管理，方便了数据的维护和管理；并且，设计了可视化算法模块，使得操作人员可以进行现场建模，现场分析，从而能够灵活应对复杂多变的气象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的航行大数据平台监控系统的架构组成示意图；
图2为本发明的航行大数据平台的算法控制部分的架构示意图；
图3为本发明实施例的可视化算法模块KMeans的示意图；
图4为本发明实施例的基于可视化算法模块在可视化界面(算法区域)分类建模的模型示意图；
图5为本发明实施例的基于可视化算法模块在可视化界面(算法区域)线性拟合建模的模型示意图；
图6为本发明实施例的基于可视化算法模块在可视化界面(算法区域)模型评估建模的模型示意图；
图7为本发明的一种航行大数据平台监控方法的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
请参见图1，图1为本发明的航行大数据平台监控系统的架构组成示意图。如图1所示的平台架构中的基础设施部分，本发明的种航行大数据平台监控系统，包括：多种传感器设备，边缘服务器子系统以及中心控制子系统；其中，边缘服务器子系统具有多个计算节点，多个计算节点设置于船舶的各个区域中，分别连接有对应的传感器设备，用于处理并存储对应传感器的监测数据，多个计算节点之间通过信息交互形成边缘计算集群，并指向同一个异构数据库；中心控制子系统存储有多个可视化算法模块并提供多种应用服务，多种应用服务用于从异构数据库中调取相应数据，并按照当前应用服务中加载的可视化算法模块进行数据处理；中心控制子系统与边缘服务器子系统之间通过由多种通信方式形成的数据交换网络进行通信。其中，多种应用服务包括：船舶状态监控、科考与教学以及大数据网站；其中，所述大数据网站用于共享航行数据及数据算法。
在一个实施例中，多个可视化算法模块为将多种算法基于RESTful微服务框架封装形成的多个API接口，多种算法保存在所述中心控制子系统的专用算法库中。具体的，本发明的航行大数据平台的算法控制部分采用分层软件架构设计，分为控制层、服务层、算法层、数据访问层和实体层。控制层负责路由转发、控制和响应；服务层负责服务分发、模型选择和异常处理；算法层负责数据处理、算法调用和模型生成；数据访问层负责数据引接、数据访问和数据存储；实体层包括算法实体、工具实体、异常实体和配置实体，可视化算法模块本质上为图形化的API接口，用于提供给上层业务应用进行调用。本发明的航行大数据平台的算法控制部分的架构如下图2所示，图2为本发明的航行大数据平台的算法控制部分的架构示意图。
在进一步的实施例中，本发明中的多种算法用于数据的分析及管理、资源的整合以及应用的支持；具体的，本发明不仅提供了包括常见的机器学习和深度学习算法，而且结合极区航行的特殊性还提供了用于信号处理和异常检测的两类算法库。
更具体的，本发明提供的机器学习算法库主要包括聚类、分类、回归、关联四大类算法。聚类分析是将物理或抽象对象的集合分成为由相似的对象组成的多个类的分析过程，它与分类的不同在于聚类所要求划分的类是未知的，该算法可用于气象、水文和冰情等分析；分类分析是通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别，同样可用于气象、水文和冰情等分析；回归分析是一种预测性的建模技术，它研究的是因变量(目标)和自变量(预测器)之间的关系，可用于气象、水文等与航行航线的分析；关联分析是从大量数据中发现数据项集之间关联和相关联系的算法，可用于气象、水文和冰情以及航行的关联性分析。下面以聚类分析为例介绍应用。
聚类分析算法是研究分类问题的一种统计分析方法，是一种没有给定划分类别的情况下根据样本相似度进行样本分组的一种方法，是一种非监督机器学习算法。聚类算法并不关心特征及变量间因果关系，它的目标是分类结果间不同各类别个体差异大，而同类的个体差异相对要小。算法应用在各种领域，也有配合其他算法使用，如为回归分析。聚类算法以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。算法平台提供了KMeans、模糊C均值和EM聚类三种聚类算法，本发明将以KMeans为例进行介绍。
请参见图3，图3为本发明实施例的可视化算法模块KMeans的示意图。在一个实施例中，本发明利用分类算法Kmeans进行数据处理的过程如下：
在专用数据库中搜索数据分类算法，选取Kmeans算法；
将对应Kmeans算法的可视化算法模块拖拽到对应的应用服务的算法区中；
设置输入：聚类个数k，以及包含n个数据对象的数据库；设置输出：满足方差最小标准的k个聚类；
通过Kmeans算法模块图标所对应的API接口调用并运行Kmeans算法，并按预设的输入、输出条件分析、处理相应数据。
在一个更为具体的实施例中，基于Kmeans算法的完整建模过程如图4所示；图4为本发明实施例的基于可视化算法模块在可视化界面(算法区域)分类建模的模型示意图。其中，MySQL用于调取相应的数据库数据，而后利用属性过模块进行数据过滤，而后再通过Kmeans进行聚类分析，最后在文件系统HDFS中输出。由图4可以看出，本发明的建模过程可以简化为将对应的多个可视化算法模块拖拽到应用服务的算法区域中，并通过依序连接各可视化算法模块实现。本发明的平台框架可以大大方便操作人员视情况进行现场建模分析，从而能够灵活的应对各种突发情况。
在另一个实施例中，本发明基于可视化算法模块的操作还可以并发的进行模型训练及模型评估，具体请参见附图5和附图6。图5为本发明实施例的基于可视化算法模块在可视化界面(算法区域)线性拟合建模的模型示意图。在图5中本发明可以通过以HDFS文件系统中的数据作为输入，并通过多分支算法模块将数据分别传递给线性拟合算法模块以及广义线性拟合模块，通过设置各算法模块中的参数后进行模型输出。在另一个实施例中，本发明还可以利用可视化算法模块进行模型评估。图6为本发明实施例的基于可视化算法模块在可视化界面(算法区域)模型评估建模的模型示意图。在图6中，本发明采用同一个数据样本输入以并行方式实现了对决策树算法、BP神经网络以及贝叶斯算法模型的同时评估。
更具体的，本发明提供的异常检测数据库包括频域分析、希尔伯特变换、EMD分析和WVD分布四种信号处理算法以实现对信号进行提取、变换及分析等综合等处理。其中，经验模态分解(Empirical Mode Decomposition，简称EMD)方法是依据数据自身的时间尺度特征来进行信号分解，无须预先设定任何基函数。这一点与建立在先验性的谐波基函数和小波基函数上的傅里叶分解与小波分解方法具有本质性的差别。正是由于这样的特点，EMD方法在理论上可以应用于任何类型的信号的分解，因而在处理非平稳及非线性数据上，具有非常明显的优势,适合于分析非线性、非平稳信号序列，具有很高的信噪比。EMD方法可用在极区航行中机械故障诊断等方面。
异常检测算法是检测异常的算法，比如网络质量异常、用户访问行为异常、服务器异常、交换机异常和系统异常等，都是可以通过异常检测算法来做监控的。异常定义为容易被孤立的离群点(more likely to be separated)，可以理解为分布稀疏且离密度高的群体较远的点。用统计学来解释，在数据空间里面，分布稀疏的区域表示数据发生在此区域的概率很低，因而可以认为落在这些区域里的数据是异常的。算法平台提供了基于3σ的异常检测算法、基于四分位数的异常检测算法、局部异常因子检测算法、孤立森林异常检测算法、基于SVM异常检测算法和基于DBSCAN异常检测算法六种异常检测算法。
基于3σ的异常检测算法中提出，异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。异常值检测是机器学习中查找具有与期望非常不同的行为的数据对象的过程，这些对象称为离群值或异常。
和3σ原则相比，基于四分位数的异常检测依据实际数据，真实、直观地表现出了数据分布的本来面貌，且没有对数据作任何限制性要求(3σ原则要求数据服从正态分布或近似服从正态分布)，其判断异常值的标准以四分位数和四分位距为基础。四分位数给出了数据分布的中心、散布和形状的某种指示，具有一定的鲁棒性，即25％的数据可以变得任意远而不会很大地扰动四分位数，所以异常值通常不能对这个标准施加影响。鉴于此，箱线图识别异常值的结果比较客观，因此在识别异常值方面具有一定的优越性。基于四分位数的异常检测提供了识别异常值的一个标准，即异常值通常被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。其中，QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数QU与下四分位数QL之差，其间包含了全部观察值的一半。
局部异常因子检测算法LOF(Local Outlier Factor)是基于密度的异常点检测算法，适合于高维数据检测，其核心思想为离群点处的密度应该较邻域内其他点的密度小。
在孤立森林(IsolationForest)中，异常被定义为“容易被孤立的离群点”，可以将其理解为分布稀疏且离密度高的群体较远的点。在特征空间里，分布稀疏的区域表示事件发生在该区域的概率很低，因而可以认为落在这些区域里的数据是异常的。孤立森林是一种适用于连续数据(Continuous numerical data)的无监督异常检测方法，即不需要有标记的样本来训练，但特征需要是连续的。对于如何查找哪些点容易被孤立(isolated)，iForest使用了一套非常高效的策略。在孤立森林中，递归地随机分割数据集，直到所有的样本点都是孤立的。在这种随机分割的策略下，异常点通常具有较短的路径。直观上来讲，那些密度很高的簇是需要被切很多次才能被孤立，但是那些密度很低的点很容易就可以被孤立。
基于SVM异常检测算法不倾向于消除个别大的回归误差，而是从整体上考虑回归曲线的平滑程度的特点，通过比较回归估计值与实测值之间的残差来识别测量数据中的异常数据。
DBSCAN是一个比较有代表性的基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在有“异常”的数据中发现任意形状的聚类。同时，将“异常”的数据单独划分为一个类。
在进一步的实施例中，为了获得更好的分类结果，本发明方法还包括在边缘服务器保存对应传感器的监测数据之前，对监测数据进行过滤和清洗，并形成结构化数据。此外，为了保证存储数据的安全性，本发明的各边缘服务器通过数据交互来实现数据的分布式的冗余存储。在一个优选实施例中，当某个边缘服务器节点的算力不够时，还可以通过通信交互使得与其存储有相同数据的边缘服务器节点共同完成对相应数据处理工作。其中，边缘服务器子系统与多种传感器设备通过数据采集网络通信连接，数据采集网络具有多个汇聚节点，多个汇聚节点设置于传感器节点与服务器节点之间，并采用ZigBee协议进行传感器节点与服务器节点之间的通信。
在进一步的实施例中，本发明的方法还包括将边缘服务器子系统以及所述中心控制子系统均通过移动云操作系统进行管理，以虚拟化计算资源、存储资源以及网络资源。资源虚拟化不但有助于资源的管理，还将方便对系统的扩容。
本发明提出的航行大数据平台监控系统将服务器节点设置在船舶的各个区域，并使其互相通信形成边缘计算集群，能够对实时对获得的传感器监测数据进行现场处理并保存，避免了数据传输过程中问题的发生；并且，将各种数据通过同一个异构数据库进行管理，方便了数据的维护和管理；并且，设计了可视化算法模块，使得操作人员可以进行现场建模，现场分析，从而能够灵活应对复杂多变的气象。
具体的，本发明在虚拟化的基础上构建航行大数据平台的算法控制部分，即图1中的“数据服务”，其包括数据的存储、整合和一些应用支撑(例如算法执行、任务调度等)，通过虚拟化可以更加合理的分配和利用计算资源，以支撑航行大数据平台的“应用系统”中的多种应用服务，同时实现了用户可视化交互操作和专业的应用开发。本发明的航行大数据平台以Ambari为基础进行开发、调试和改进，具有更易用、更稳定、更安全等特点。此外，本发明的航行大数据平台监控系统中提供丰富的接口，便于二次开发和封装，各可视化算法模块支持利用java、python等多种语言进行开发，以开发出用以支撑极区航行的特殊应用服务。
在进一步的实施例中，中心控制子系统与边缘服务器子系统之间数据交换网络由有线主干网、卫星通信网以及无线覆盖网组成。具体的，本发明中通过对数据的重要程度进行分级，对不同级别的数据采用不同的传输方式进行，对重要程度较高的数据的传输方式的优先级别依次为主干网和无线覆盖网；其中，卫星通信网络用于航行大数据平台中大数据网站应用服务的数据共享。
在上述航行大数据平台监控系统的基础上本发明还公开了一种航行大数据平台监控方法，请参见图7，图7为本发明的一种航行大数据平台监控方法的工作流程图。本发明的航行大数据平台监控方法包括：将由多种传感器设备获得的多种监测数据关联保存在同一个异构数据库中；通过对应的应用服务从异构数据库中调取相应的数据，并从专用算法库中加载需要的可视化算法模块进行数据分析及处理；通过航行大数据平台提供的大数据网站共享所述监测数据、可视化算法模块以及数据的分析及处理结果。
在进一步的实施中，从专用算法库中加载需要的可视化算法模块包括：在专用算法库中搜索需要的可视化算法模块；通过拖拽的方式将需要的可视化算法模块加载到应用服务的算法区域中。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种航行大数据平台监控系统，其特征在于，包括：
多种传感器设备，边缘服务器子系统以及中心控制子系统；其中，
所述边缘服务器子系统具有多个计算节点，所述多个计算节点设置于船舶的各个区域中，分别连接有对应的所述传感器设备，配置用于处理并存储对应传感器的监测数据，所述多个计算节点之间通过信息交互形成边缘计算集群，并指向同一个异构数据库；
所述中心控制子系统存储有多个可视化算法模块并提供多种应用服务，所述多种应用服务用于从所述异构数据库中调取相应数据，并按照当前应用服务中加载的可视化算法模块进行数据处理；
所述中心控制子系统与所述边缘服务器子系统之间通过由多种通信方式形成的数据交换网络进行通信。
2.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述多个可视化算法模块包括将多种算法基于RESTful微服务框架封装形成的多个API接口，所述多种算法保存在所述中心控制子系统的专用算法库中。
3.如权利要求2所述的一种航行大数据平台监控系统，其特征在于，所述多种算法配置用于数据的分析及管理、资源的整合以及应用的支持。
4.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述边缘服务器子系统以及所述中心控制子系统均通过移动云操作系统进行管理，以虚拟化计算资源、存储资源以及网络资源。
5.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述边缘服务器子系统采用分布的冗余存储方式进行数据存储。
6.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述边缘服务器子系统与所述多种传感器设备通过数据采集网络通信连接，所述数据采集网络具有多个汇聚节点，所述多个汇聚节点设置于传感器节点与服务器节点之间，并采用ZigBee协议进行传感器节点与服务器节点之间的通信。
7.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述数据交换网络由有线主干网、卫星通信网以及无线覆盖网组成。
8.如权利要求1所述的一种航行大数据平台监控系统，其特征在于，所述多种应用服务包括：
船舶状态监控、科考与教学以及大数据网站；其中，所述大数据网站用于共享航行数据及数据算法。
9.一种航行大数据平台监控方法，其特征在于，所述方法包括：
将由多种传感器设备获得的多种监测数据关联保存在同一个异构数据库中；
通过对应的应用服务从所述异构数据库中调取相应的数据，并从专用算法库中加载需要的可视化算法模块进行数据分析及处理；
通过航行大数据平台提供的大数据网站共享所述监测数据、所述可视化算法模块以及所述数据的分析及处理结果。
10.如权利要求9所述的一种航行大数据平台监控方法，其特征在于，所述从专用算法库中加载需要的可视化算法模块包括：
在所述专用算法库中搜索需要的可视化算法模块；
通过拖拽的方式将需要的可视化算法模块加载到应用服务的算法区域中。
CN202110674525.3A 2021-06-17 2021-06-17 一种航行大数据平台监控系统及方法 Pending CN113360563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110674525.3A CN113360563A (zh) 2021-06-17 2021-06-17 一种航行大数据平台监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110674525.3A CN113360563A (zh) 2021-06-17 2021-06-17 一种航行大数据平台监控系统及方法

Publications (1)

Publication Number Publication Date
CN113360563A true CN113360563A (zh) 2021-09-07

Family

ID=77534999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110674525.3A Pending CN113360563A (zh) 2021-06-17 2021-06-17 一种航行大数据平台监控系统及方法

Country Status (1)

Country Link
CN (1) CN113360563A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080965A (zh) * 2022-08-16 2022-09-20 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080965A (zh) * 2022-08-16 2022-09-20 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统
CN115080965B (zh) * 2022-08-16 2022-11-15 杭州比智科技有限公司 基于历史表现的无监督异常检测方法及系统

Similar Documents

Publication Publication Date Title
Capozzoli et al. Fault detection analysis using data mining techniques for a cluster of smart office buildings
CN110703057B (zh) 基于数据增强和神经网络的电力设备局部放电诊断方法
CN109872003B (zh) 对象状态预测方法、系统、计算机设备及存储介质
CN104246798A (zh) 基于模糊专家系统的问题分析和优先级确定
Apiletti et al. istep, an integrated self-tuning engine for predictive maintenance in industry 4.0
US20220215246A1 (en) Method for constructing and training decentralized migration diagram neural network model for production process
JP2023504103A (ja) モデル更新システム、モデル更新方法及び関連装置
CN114026828A (zh) 用于监控通信网络的设备和方法
Panduman et al. Implementation of integration VaaMSN and SEMAR for wide coverage air quality monitoring
Demertzis et al. Geo-AI to aid disaster response by memory-augmented deep reservoir computing
CN113360563A (zh) 一种航行大数据平台监控系统及方法
Massaro et al. Systems for an intelligent application of automated processes in industry: A case study from “PMI IoT Industry 4.0” project
CN117541217A (zh) 基于三维可视化电网设备管理业务的运维方法
CN115865611A (zh) 一种网络设备的故障处理方法、装置及电子设备
CN116881744B (zh) 一种基于物联网的运维数据分发方法、装置、设备及介质
CN110807014B (zh) 一种基于交叉验证的台区数据异常甄别方法和装置
Schachinger et al. An advanced data analytics framework for energy efficiency in buildings
Costa et al. GoAT: A Sensor Ranking Approach for IoT Environments.
Miłek et al. Comparative GIS analysis using taxonomy and classification techniques
Lakshman Narayana et al. An intelligent IoT framework for handling multidimensional data generated by IoT gadgets
Jingyu et al. Statistical analysis of distribution network fault information based on multi-source heterogeneous data mining
CN113852204A (zh) 一种于数字孪生的变电站三维全景监视系统及方法
Korobiichuk et al. Features of control processes in organizational-technical (technological) systems of continuous type
Harishkumar et al. Spatio-temporal clustering analysis for air pollution particulate matter (pm 2.5) using a deep learning model
CN114676002A (zh) 基于phm技术的系统运维方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination