CN116760884B - 一种海洋大数据云服务系统与应用方法 - Google Patents
一种海洋大数据云服务系统与应用方法 Download PDFInfo
- Publication number
- CN116760884B CN116760884B CN202311013592.6A CN202311013592A CN116760884B CN 116760884 B CN116760884 B CN 116760884B CN 202311013592 A CN202311013592 A CN 202311013592A CN 116760884 B CN116760884 B CN 116760884B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- sub
- algorithm
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 137
- 238000012545 processing Methods 0.000 claims abstract description 102
- 230000005540 biological transmission Effects 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 238000003860 storage Methods 0.000 claims abstract description 41
- 238000003908 quality control method Methods 0.000 claims abstract description 36
- 238000013523 data management Methods 0.000 claims abstract description 32
- 238000004140 cleaning Methods 0.000 claims abstract description 21
- 238000013144 data compression Methods 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 33
- 238000013500 data storage Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 24
- 238000013136 deep learning model Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 17
- 238000007405 data analysis Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000005065 mining Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 10
- 238000007635 classification algorithm Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000012896 Statistical algorithm Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 4
- 238000004821 distillation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000000275 quality assurance Methods 0.000 claims description 3
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/045—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及海洋大数据云服务系统技术领域，具体为一种海洋大数据云服务系统与应用方法，一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成。本发明中，使用物联网设备和传感器收集海洋数据，通过数据压缩和分布式存储来降低存储空间和传输成本，边缘计算和智能算法在边缘设备上进行数据处理分析，提高实时性，数据治理和质量控制机制通过自动化清洗和智能算法纠正数据质量问题，边缘智能和自主决策系统实时智能处理和决策，加速响应和智能化程度。
Description
技术领域
本发明涉及海洋大数据云服务系统技术领域，尤其涉及一种海洋大数据云服务系统与应用方法。
背景技术
云服务系统是一种基于云计算技术构建的服务平台，通过大规模数据中心和弹性计算资源，提供计算、存储、网络和应用服务。它采用虚拟化技术将物理资源虚拟化，实现资源的灵活分配和管理。云服务系统具有弹性计算能力，可以根据需求动态调整计算资源规模，确保高效的资源利用和成本控制。用户可以通过自助服务和API接口创建、配置和管理服务实例，实现自服务能力。
其中，海洋大数据云服务系统是利用云计算技术和海洋大数据处理技术相结合的系统，通过云计算的弹性、可扩展和高性能特点，为海洋领域提供数据存储、处理、分析和可视化等一系列服务。具备大规模数据存储和管理能力，确保海洋数据的安全性和可靠性。同时，利用云计算的高性能计算资源和分布式计算能力，能对海洋数据进行处理和分析。
在现有海洋大数据云服务系统中，海洋大数据的处理和分析涉及多个领域的知识和技术，包括海洋科学、数据科学、物联网等。系统的开发和部署需要跨学科的专业知识和技能，并且需要处理海洋环境的复杂性和不确定性。海洋环境的复杂性使得数据采集和准确性成为挑战。海洋设备的故障、传感器误差以及海洋条件的变化等因素可能导致数据的不准确或不完整，影响数据分析和决策的可靠性。海洋大数据通常规模庞大，存储和传输成本较高。海上设备的限制和海洋环境的不稳定性可能导致数据传输的困难和高昂的通信费用。海洋大数据中可能包含敏感信息，如航线数据、商业机密等。保护数据隐私和防止数据泄露是一个重要的挑战，特别是在数据传输和存储过程中。海洋大数据通常来自不同来源和不同类型的传感器，存在数据格式和标准的差异，导致数据互操作性的挑战。确保不同数据源之间的集成和互操作性是一个复杂的任务。随着数据规模的增长，海洋大数据的处理和分析需要具备可扩展性和高性能的系统架构。确保系统能够处理大规模数据集和高并发访问是一个重要的考虑因素。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的一种海洋大数据云服务系统与应用方法。
为了实现上述目的，本发明采用了如下技术方案：一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；
所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；
所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；
所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；
所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；
所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；
所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；
所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；
所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
作为本发明的进一步方案，所述分布式存储子模块采用HDFS实现大规模数据的分布式存储，所述HDFS将数据划分为多个块并在集群中的多个节点上进行分布存储，所述HDFS采用数据本地性原则；
所述数据压缩优化子模块采用包括Gzip、Snappy、LZ4、LZW的数据压缩算法；
所述数据传输子模块采用FTP文件传输协议和HTTP超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
作为本发明的进一步方案，所述流式处理子模块使用具体为Apache Kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；
所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
作为本发明的进一步方案，所述边缘设备数据处理子模块借助OpenFog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；
所述物联网通信子模块利用MQTT物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
作为本发明的进一步方案，所述自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对所述数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；
所述智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。
作为本发明的进一步方案，所述数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；
所述数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。
作为本发明的进一步方案，所述边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用Transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；
所述自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用Q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为REINFORCE的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。
作为本发明的进一步方案，所述图像识别子模块选择PyTorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；
所述计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用OpenCV库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。
作为本发明的进一步方案，所述用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；
所述数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。
一种海洋大数据云服务应用方法，包括以下步骤：
使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；
将所述云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；
将数据进行实时处理和分析，生成气象预测和灾害监测信息；
对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；
基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；
在所述智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过使用分布式存储和优化的数据压缩算法，可以有效地存储和传输海洋大数据，减少存储空间和传输成本。采用流式处理和复杂事件处理技术，可以对实时数据流进行快速处理和分析，能够及时预测气象和灾害情况并做出响应。通过在边缘设备上进行数据处理和分析，减少了数据传输的延迟，提高了数据处理的实时性和效率。利用自动化数据清洗和智能算法，可以提高海洋大数据的处理和分析能力，实现自动化的数据处理和决策支持。建立数据治理框架和实施数据质量控制机制，利用机器学习和人工智能算法检测和纠正数据质量问题，提高数据的可信度和可用性。通过结合边缘计算和人工智能技术，实现设备的实时智能处理和自主决策，提高响应速度和系统的智能化程度。应用深度学习和计算机视觉技术，对海洋大数据中的图像和视频进行自动分析和识别，提取有用信息支持海洋监测和资源管理。基于用户需求和历史数据，通过智能推荐系统提供个性化的海洋大数据服务，推荐适合用户的数据集、分析工具和应用，提高用户体验和数据利用效果。
附图说明
图1为本发明提出一种海洋大数据云服务系统与应用方法的主系统流程图；
图2为本发明提出一种海洋大数据云服务系统与应用方法的数据存储和传输模块流程图；
图3为本发明提出一种海洋大数据云服务系统与应用方法的实时数据处理和响应模块流程图；
图4为本发明提出一种海洋大数据云服务系统与应用方法的边缘计算和物联网模块流程图；
图5为本发明提出一种海洋大数据云服务系统与应用方法的自动化和智能化模块流程图；
图6为本发明提出一种海洋大数据云服务系统与应用方法的数据治理和质量控制模块流程图；
图7为本发明提出一种海洋大数据云服务系统与应用方法的边缘智能和自主决策模块流程图；
图8为本发明提出一种海洋大数据云服务系统与应用方法的深度学习和计算机视觉模块流程图；
图9为本发明提出一种海洋大数据云服务系统与应用方法的智能推荐系统模块流程图；
图10为本发明提出一种海洋大数据云服务系统与应用方法的工作步骤示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一：请参阅图1，本发明提供一种技术方案：一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；
数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；
实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；
边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；
自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，自动化和智能化模块接收来自实时数据处理模块的数据，自动化数据清洗子模块进行数据清洗，智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；
数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，数据治理子模块确保数据一致性和准确性，数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；
边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，边缘智能子模块对数据进行实时分析，自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；
深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；
智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，用户行为分析子模块分析用户需求，数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
数据存储和传输模块负责接收来自边缘设备和传感器的海洋数据，并通过分布式存储、压缩和优化技术对数据进行存储和传输。实时数据处理和响应模块使用流式处理和实时数据分析，能够提供及时的气象预测和灾害监测。边缘计算和物联网模块集成了边缘设备数据处理和物联网通信，实现了数据的高效获取和传输。自动化和智能化模块进行数据清洗和分析，采用智能算法挖掘有价值信息。数据治理和质量控制模块确保数据的一致性和准确性。边缘智能和自主决策模块基于分析结果做出决策，并提供反馈给设备或传递给智能推荐系统。深度学习和计算机视觉模块支持图像和视频数据分析。智能推荐系统模块通过用户行为分析和数据服务推荐，提供个性化推荐和增强用户体验。综合起来，该系统能够高效处理、分析和利用海洋数据，提升海洋监测和资源管理能力，并为用户提供优质的数据服务。
请参阅图2，分布式存储子模块采用HDFS实现大规模数据的分布式存储，HDFS将数据划分为多个块并在集群中的多个节点上进行分布存储，HDFS采用数据本地性原则；
数据压缩优化子模块采用包括Gzip、Snappy、LZ4、LZW的数据压缩算法；
数据传输子模块采用FTP文件传输协议和HTTP超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
首先，分布式存储子模块采用HDFS实现数据的分布式存储。这样的架构具有高可靠性和容错性，因为数据会被划分为多个块并在多个节点上进行冗余存储。这意味着即使某个节点发生故障，系统仍能通过其他节点上的副本来保持数据的完整性和可访问性。此外，HDFS采用数据本地性原则，即尽可能在计算节点附近存储数据，减少网络传输开销，提高数据的访问速度和性能。
其次，数据压缩优化子模块使用各种压缩算法，如Gzip、Snappy、LZ4、LZW等，可以大幅度减小数据的存储空间和传输带宽消耗。通过对数据进行压缩，可以降低存储成本，并在数据传输过程中减少网络流量。这对于海洋大数据的处理和传输效率都是非常有益的。
最后，数据传输子模块采用FTP和HTTP协议，并使用流式传输技术，可以逐块地读取和发送数据。这种流式传输的方式能够实现实时或近实时的数据传输，避免了传统的一次性传输所面临的延迟和网络拥塞问题。通过流式传输，可以提高数据的实时性和效率，使海洋大数据的处理和分析更加及时和准确。
请参阅图3，流式处理子模块使用具体为Apache Kafka的流处理框架，流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；
实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
首先，流处理子模块采用Apache Kafka作为流处理框架，在处理海洋大数据的实时数据流时，它能够提供高吞吐量和低延迟的数据传输和处理。通过将实时数据流划分为多个微批次或信号交换流，可以实现持续的流式计算、窗口化计算和状态管理功能。这样，海洋大数据可以得到及时的处理和分析，从而实现了对海洋环境变化和异常情况的实时了解。
其次，实时数据分析子模块引入复杂事件处理技术，能够从实时数据流中提取有意义的事件。通过定义规则、模式和约束，可以识别出海洋生态系统中的不同模式和趋势，如特定的物种迁徙、海流变化等。同时，应用聚类分析、分类算法和关联规则挖掘等数据挖掘算法，可以深入分析海洋大数据，发现潜在的关联和规律。此外，利用机器学习算法构建预测模型，并通过实时数据输入不断更新模型参数，可以实现对未来海洋情况的实时预测，提供重要的决策支持。
请参阅图4，边缘设备数据处理子模块借助OpenFog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；
物联网通信子模块利用MQTT物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
首先，边缘设备数据处理子模块借助OpenFog边缘计算框架，使边缘节点能够执行轻量级计算任务。这样，边缘设备可以在本地对采集到的原始海洋数据进行实时的数据清洗、数据聚合和特征提取等操作。通过采用滑动窗口或时间间隔方式对原始数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，减少了数据传输量，提高了传输效率。此外，采用霍夫曼编码对原始海洋数据进行压缩和编码，进一步减少了数据传输所需的带宽，降低了网络成本。
其次，物联网通信子模块利用MQTT物联网通信协议实现设备之间的高效通信。通过该协议，边缘设备和其他设备或云端可以进行可靠且低延迟的数据通信。同时，通过对称密钥加密或公钥加密算法对数据进行加密和解密，可以有效保护数据隐私和安全，防止数据在传输过程中被非法窃取或篡改。这对于海洋大数据的安全性和隐私保护具有重要意义。
请参阅图5，自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；
智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。
首先，自动化数据清洗子模块利用滤波算法对数据进行降噪，可以有效去除海洋数据中的噪声，提高数据质量。此外，采用主成分分析等降维算法可以减少数据的维度，从而降低存储和计算的成本。使用小波变换的特征提取算法可以提取有用的频域特征，帮助识别海洋数据中的关键信息。这些算法的应用可以有效地清洗和优化海洋大数据，提取出有用的特征并减少数据的冗余，为后续的处理和分析提供高质量的数据。
其次，智能算法子模块在海洋大数据的通信和传输方面起着重要作用。通过优化算法改进通信协议的性能，可以提高数据传输的效率和可靠性。定制化压缩算法可以根据通信需求来减小传输数据的大小，降低带宽要求和传输延迟。而使用迪杰斯特拉算法进行数据传输的路径规划，可以减少传输的跳数和延迟，提高数据传输的速度和实时性。这些智能算法的应用对于海洋大数据的传输效率和性能优化具有重要意义。
请参阅图6，数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；
数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。
首先，数据治理子模块利用文本挖掘算法从处理后的数据中抽取元数据信息，并使用语义分析算法识别数据实体间的关系。这样可以构建数据资产目录，方便对海洋大数据进行管理和查询。使用文本检索算法实现高效的数据资产搜索，加快数据发现和访问的速度。数据治理子模块的应用可以提高数据的可发现性和可管理性，为数据的有效利用和共享提供支持。
其次，数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查和唯一性检查的数据质量检查算法。通过应用这些算法，可以对海洋大数据进行全面的数据质量检查，在数据存储和处理过程中及时发现数据质量问题。同时，使用统计算法分析数据的分布和异常情况，进一步检测数据质量问题。利用规则引擎执行预定义的数据质量规则，可以识别和修正异常或错误的数据值，提高数据的准确性和一致性。数据质量控制子模块的应用有助于确保海洋大数据的质量，提供高质量的数据基础支持。
请参阅图7，边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用Transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；
自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用Q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为REINFORCE的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。
首先，边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应。采用不同类型的深度学习模型如卷积神经网络、循环神经网络和Transformer模型，可以处理各种类型的海洋数据，如图像数据、序列数据和自然语言数据。通过模型压缩算法如剪枝、量化和蒸馏，可以减小深度学习模型的大小和计算复杂度，使其可以有效地部署和运行在边缘设备上。这样可以实现边缘设备的实时智能决策和响应，减少对云端的依赖，提高系统的实时性和实用性。
其次，自主决策子模块利用基于值函数的算法实现边缘设备的自主决策功能。例如，使用Q-learning算法可以训练边缘设备在特定环境下做出最优决策，根据价值函数指导行为选择。使用策略梯度算法如REINFORCE，可以学习边缘设备的决策策略，使其能够根据当前环境选择合适的行动。在多个边缘设备的场景中，利用马尔可夫决策过程和分布式强化学习算法，可以使多个边缘设备在共享环境中进行动态决策，相互协作和适应变化。这样能够增强边缘设备的自主性和决策能力，提高系统的整体性能和效率。
请参阅图8，图像识别子模块选择PyTorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；
计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用OpenCV库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。
首先，图像识别子模块选择PyTorch深度学习框架和卷积神经网络模型进行图像分类和目标检测任务。经过训练的深度学习模型可以使用网络权重对海洋图像中的不同目标进行识别和分类。为了提高深度学习模型的性能，可以结合图像处理算法和人工标注方法构建准确的训练集。这样可以提高模型的准确性和泛化能力，使其可以在海洋图像中有效地进行目标识别和分类。
其次，计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析。利用OpenCV库，可以实现图像去噪、尺寸调整、颜色空间转换和边缘检测等图像处理功能。对于视频数据，可以使用背景建模算法检测视频中的静态背景和运动目标，并使用光流算法估计视频的运动场景。这些图像处理算法可以提高图像的质量和清晰度，从而为后续的图像识别和分析提供更可靠的数据基础。
请参阅图9，用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；
数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。
首先，用户行为分析子模块利用聚类算法将用户划分为不同的群组，并使用关联规则挖掘算法来发现用户行为之间的关联关系。通过对用户行为日志的分析和挖掘，可以获取有关用户行为的重要洞察和信息。这些行为分析结果能够帮助了解用户的兴趣、偏好和行为模式，从而更好地满足用户需求、改善用户体验，并提供个性化的服务和建议。
其次，数据服务推荐子模块针对提供的数据服务，使用朴素贝叶斯分类器等文本分类算法进行数据服务的分类，并使用关键词提取算法来提取数据服务的关键词标签。通过对数据服务进行分类和标签化，可以更好地组织和管理海洋大数据服务。基于用户行为分析结果，采用协同过滤推荐算法，可以根据用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。这样能够提高用户对数据服务的发现性和匹配度，提供个性化、准确的数据服务推荐。
一种海洋大数据云服务应用方法，包括以下步骤：
使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；
将云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；
将数据进行实时处理和分析，生成气象预测和灾害监测信息；
对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；
基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；
在智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。
首先，使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端。这样可以实时获取海洋数据，并确保数据的及时性和准确性。
其次，将云端接收到的数据通过分布式存储子模块存储，并进行数据压缩。分布式存储可以提高数据的冗余性和容错性，确保数据的可靠性和可用性。数据压缩可以减小存储空间的占用，提高存储效率。
然后，对接收到的数据进行实时处理和分析，生成气象预测和灾害监测信息。通过实时处理和分析海洋数据，可以提供即时的气象预测和灾害监测信息，帮助人们做出准确的决策和行动。
接下来，对实时处理后的数据进行清洗和深度分析，并进行治理和质量控制。通过数据的清洗和深度分析，可以提取有用的信息和知识，为进一步的决策和应用提供支持。治理和质量控制可以确保数据的准确性、一致性和完整性，提高数据的可信度和可用性。
在实时决策制定过程中，利用边缘智能进行决策，基于治理和质量控制后的数据进行实时决策制定。这可以实现智能化的决策过程，提高决策的准确性和效率。
此外，基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持。通过图像和视频数据的处理和识别，可以提取关键信息和特征，并用于智能推荐的生成过程。
最后，在智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。根据用户的偏好和需求，结合数据分析结果，可以推荐符合用户需求的数据服务，提高用户满意度和数据利用效率。
工作原理：使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端。云服务系统中的数据存储和传输模块接收原始数据并进行存储和传输优化，同时将数据压缩以减少存储和传输负担。实时数据处理和响应模块对压缩数据进行实时处理和分析，并提供即时的气象预测和灾害监测。边缘计算和物联网模块在边缘设备上进行数据预处理和通信，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块。自动化和智能化模块对数据进行清洗、分析和挖掘，提取隐藏的模式和关联规则，以支持数据治理和质量控制模块的工作。数据治理和质量控制模块确保数据的一致性、准确性和可靠性，通过统一规范和标准化操作对数据进行处理，并进行质量检查和修正。质量控制后的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块。边缘智能和自主决策模块对数据进行实时分析和挖掘，提取有价值的信息和模式，从而支持自主决策的制定和执行。深度学习和计算机视觉模块处理图像和视频数据，进行分析、处理和识别，用于海洋监测和资源管理任务。最后，智能推荐系统模块根据用户行为分析和数据分析结果，提供个性化的数据服务推荐，满足用户需求并提供更好的用户体验。整个系统的目标是实现对海洋数据的全面收集、高效存储、实时处理和智能分析，以支持海洋环境监测、资源管理和决策等应用领域。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (10)
1.一种海洋大数据云服务系统，其特征在于：所述一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；
所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；
所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；
所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；
所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；
所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；
所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；
所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；
所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
2.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述分布式存储子模块采用HDFS实现大规模数据的分布式存储，所述HDFS将数据划分为多个块并在集群中的多个节点上进行分布存储，所述HDFS采用数据本地性原则；
所述数据压缩优化子模块采用包括Gzip、Snappy、LZ4、LZW的数据压缩算法；
所述数据传输子模块采用FTP文件传输协议和HTTP超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
3.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述流式处理子模块使用具体为Apache Kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；
所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
4.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述边缘设备数据处理子模块借助OpenFog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；
所述物联网通信子模块利用MQTT物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
5.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对所述数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；
所述智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。
6.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；
所述数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。
7.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用Transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；
所述自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用Q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为REINFORCE的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。
8.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述图像识别子模块选择PyTorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；
所述计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用OpenCV库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。
9.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；
所述数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。
10.一种海洋大数据云服务应用方法，使用如权利要求1-9任一所述的一种海洋大数据云服务系统，其特征在于，包括以下步骤：
使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；
将所述云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；
将数据进行实时处理和分析，生成气象预测和灾害监测信息；
对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；
基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；
在所述智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311013592.6A CN116760884B (zh) | 2023-08-14 | 2023-08-14 | 一种海洋大数据云服务系统与应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311013592.6A CN116760884B (zh) | 2023-08-14 | 2023-08-14 | 一种海洋大数据云服务系统与应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116760884A CN116760884A (zh) | 2023-09-15 |
| CN116760884B true CN116760884B (zh) | 2023-10-20 |
Family
ID=87957453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311013592.6A Active CN116760884B (zh) | 2023-08-14 | 2023-08-14 | 一种海洋大数据云服务系统与应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760884B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117896384B (zh) * | 2024-03-18 | 2024-05-14 | 深圳市精极工业互联网有限公司 | 物联网通信方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101984257B1 (ko) * | 2017-12-29 | 2019-05-30 | 주식회사 비스텔 | 클라우드기반 빅데이터분석시스템 및 방법 |
| CN110487332A (zh) * | 2019-09-02 | 2019-11-22 | 山东浪潮人工智能研究院有限公司 | 一种基于NB-IoT和观测仪器的数据采集系统及方法 |
| CN111444014A (zh) * | 2020-03-23 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 基于ec-rest体系结构的海洋观测网络系统及方法 |
| CN112287199A (zh) * | 2020-10-29 | 2021-01-29 | 黑龙江稻榛通网络技术服务有限公司 | 一种基于云服务器的大数据中心处理系统 |
| CN112437107A (zh) * | 2020-09-02 | 2021-03-02 | 中国船舶重工集团公司第七研究院 | 一种海洋领域可扩展云化智能分析服务系统 |
| KR20220084752A (ko) * | 2020-12-14 | 2022-06-21 | 주식회사 웨더아이 | 해양기상 빅데이터를 활용한 인공지능기반 선박항로추천 서비스 비즈니스 모델 |
| CN115238918A (zh) * | 2022-07-04 | 2022-10-25 | 华南理工大学 | 一种基于边缘计算的海上风电场智能运维方法 |
-
2023
- 2023-08-14 CN CN202311013592.6A patent/CN116760884B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101984257B1 (ko) * | 2017-12-29 | 2019-05-30 | 주식회사 비스텔 | 클라우드기반 빅데이터분석시스템 및 방법 |
| CN110487332A (zh) * | 2019-09-02 | 2019-11-22 | 山东浪潮人工智能研究院有限公司 | 一种基于NB-IoT和观测仪器的数据采集系统及方法 |
| CN111444014A (zh) * | 2020-03-23 | 2020-07-24 | 山东省科学院海洋仪器仪表研究所 | 基于ec-rest体系结构的海洋观测网络系统及方法 |
| CN112437107A (zh) * | 2020-09-02 | 2021-03-02 | 中国船舶重工集团公司第七研究院 | 一种海洋领域可扩展云化智能分析服务系统 |
| CN112287199A (zh) * | 2020-10-29 | 2021-01-29 | 黑龙江稻榛通网络技术服务有限公司 | 一种基于云服务器的大数据中心处理系统 |
| KR20220084752A (ko) * | 2020-12-14 | 2022-06-21 | 주식회사 웨더아이 | 해양기상 빅데이터를 활용한 인공지능기반 선박항로추천 서비스 비즈니스 모델 |
| CN115238918A (zh) * | 2022-07-04 | 2022-10-25 | 华南理工大学 | 一种基于边缘计算的海上风电场智能运维方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡争光 ; 薛峰 ; 于连庆 ; .海量气象数据计算处理及可视化在决策气象服务移动平台上的应用.气象科技.2020,(05),第3-9页+第118页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116760884A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Edge intelligence: Empowering intelligence to the edge of network | |
| CN109614517B (zh) | 视频的分类方法、装置、设备及存储介质 | |
| CA2952576C (en) | Machine learning platform for performing large scale data analytics | |
| US9639521B2 (en) | Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion | |
| Ali et al. | RES: Real-time video stream analytics using edge enhanced clouds | |
| CN116760884B (zh) | 一种海洋大数据云服务系统与应用方法 | |
| CN102752574A (zh) | 一种视频监控系统及方法 | |
| Nayak et al. | A review on edge analytics: Issues, challenges, opportunities, promises, future directions, and applications | |
| CN113037783B (zh) | 一种异常行为检测方法及系统 | |
| CN113255625B (zh) | 一种视频检测方法、装置、电子设备和存储介质 | |
| Sun et al. | Strategies for data stream mining method applied in anomaly detection | |
| US11875264B2 (en) | Almost unsupervised cycle and action detection | |
| CN117331996A (zh) | 大数据分析系统及方法 | |
| JP7095619B2 (ja) | 予測装置、予測方法及びプログラム | |
| CN102646312B (zh) | 一种适于分布式并行处理的森林烟火监测识别方法 | |
| CN117540321A (zh) | 一种数据服务监测系统 | |
| CN117201733B (zh) | 一种实时无人机监控分享系统 | |
| KR102456189B1 (ko) | 클라우드 엣지 기반의 영상 분석 시스템 | |
| KR20210006661A (ko) | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 | |
| CN113672807B (zh) | 推荐方法、装置、介质、装置和计算设备 | |
| US20230072641A1 (en) | Image Processing and Automatic Learning on Low Complexity Edge Apparatus and Methods of Operation | |
| Agarwal et al. | ANN-Based Scalable Video Encoding Method for Crime Surveillance-Intelligence of Things Applications | |
| Zhang et al. | Vulcan: Automatic Query Planning for Live {ML} Analytics | |
| Essah et al. | Information Processing in IoT Based Manufacturing Monitoring System | |
| US20190266403A1 (en) | Server, method and wearable device for supporting maintenance of military apparatus based on binary search tree in augmented reality-, virtual reality- or mixed reality-based general object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: 572000 Yabulun Industrial Park, Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province 6 # 212 Patentee after: Hainan smart Maritime Technology Co.,Ltd. Patentee after: Hainan Qianziwen Technology Co.,Ltd. Patentee after: Dalian Maritime University Address before: 572000 Yabulun Industrial Park, Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province 6 # 212 Patentee before: Hainan smart Maritime Technology Co.,Ltd. |