CN116625327B - 一种大数据驱动的海洋环境监测与预警方法 - Google Patents
一种大数据驱动的海洋环境监测与预警方法 Download PDFInfo
- Publication number
- CN116625327B CN116625327B CN202310903959.5A CN202310903959A CN116625327B CN 116625327 B CN116625327 B CN 116625327B CN 202310903959 A CN202310903959 A CN 202310903959A CN 116625327 B CN116625327 B CN 116625327B
- Authority
- CN
- China
- Prior art keywords
- data
- ocean
- marine
- abnormal
- specifically
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005516 engineering process Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 claims description 78
- 238000004422 calculation algorithm Methods 0.000 claims description 66
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 33
- 230000002787 reinforcement Effects 0.000 claims description 27
- 238000003909 pattern recognition Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 22
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 20
- 229910052760 oxygen Inorganic materials 0.000 claims description 20
- 239000001301 oxygen Substances 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000010485 coping Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 15
- 230000001932 seasonal effect Effects 0.000 claims description 15
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000010076 replication Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 229930002875 chlorophyll Natural products 0.000 claims description 11
- 235000019804 chlorophyll Nutrition 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 10
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000000090 biomarker Substances 0.000 claims description 8
- 238000007621 cluster analysis Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 7
- 238000003908 quality control method Methods 0.000 claims description 7
- 238000012300 Sequence Analysis Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 235000015097 nutrients Nutrition 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 241000195493 Cryptophyta Species 0.000 claims description 3
- 238000012896 Statistical algorithm Methods 0.000 claims description 3
- 238000012098 association analyses Methods 0.000 claims description 3
- 229930002868 chlorophyll a Natural products 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000003362 replicative effect Effects 0.000 claims description 3
- 241000894007 species Species 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000003860 storage Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 241000902900 cellular organisms Species 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000035844 biological anomaly Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Hydrology & Water Resources (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及海洋环境监测预警技术领域，具体为一种大数据驱动的海洋环境监测与预警方法，包括以下步骤，引入物联网（IoT）通信技术，结合遥感技术、无人机群合作、生物标记技术，实时获取各类海洋情报。本发明中，通过收集并分析洋流数据的方式，划分海洋区域，达成针对对应采集设备资源布置效果，并提供全面和及时的海洋情报基础，采用分布式数据库技术存储海洋环境信息流，提高数据可靠性、可用性和扩展性，利用边缘计算技术，在数据采集点将大量数据初步分析，降低数据传输和处理时延，在提升大数据可参照性、存储完备性的同时，对数据进行分布式分析、建模分析预警双阶段处理，减少运算量同时提升运算精准性，达成更加完备的预警效果。
Description
技术领域
本发明涉及海洋环境监测预警技术领域，尤其涉及一种大数据驱动的海洋环境监测与预警方法。
背景技术
海洋环境监测预警是指通过对海洋环境进行系统化、连续性的监测和分析，以及对监测数据进行预测和分析，及时发现海洋环境异常变化和潜在的风险，提前进行预警和警报，以便采取相应的措施保护海洋生态系统和维护海洋安全。海洋环境监测预警的目的是保护海洋生态环境、维护人类利益和海洋可持续发展。通过对海洋水体温度、盐度、水质、氧含量、浮游生物、底栖生物、海洋污染物以及气候变化等因素进行监测和分析，可以及时掌握海洋环境的变化情况，判断是否存在潜在的环境风险。
在现有海洋环境监测预警技术中，由于海洋环境涵盖数据量大、数据类型多，采用全面性数据检测的方式部署相当困难，而现有技术方案中，未参考基于洋流特征的海洋分区处理方法，造成海洋监测和预警工作，在数据采集阶段，数据样本缺乏的问题，无法基于足够多数据源进行监测工作造成监测结果缺失，且缺乏对于大量数据的分布式处理功能，导致监测工作实施、反应效率较低，数据样本需定期清理减少负载，对于监测工作完善性造成了影响，需要进行改进。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的一种大数据驱动的海洋环境监测与预警方法。
为了实现上述目的，本发明采用了如下技术方案：一种大数据驱动的海洋环境监测与预警方法，包括以下步骤：
引入物联网（IoT）通信技术，结合遥感技术、无人机群合作、生物标记技术，实时获取各类海洋情报；
利用边缘计算技术在数据采集点对大量数据进行预处理和初步分析；
利用时间序列分析技术，在数据处理和质控阶段检测和处理数据中的异常事件和趋势；
使用分布式数据库技术存储信息流；
基于增强学习以及深度强化学习进行模式识别和预测，配合复杂事件处理技术（CEP），实时获取海洋环境的事件和动态变化，并进行预警；
对应设立智能应对系统，自动启动无人机进行实地监测和确认。
作为本发明的进一步方案，所述引入物联网（IoT）通信技术的步骤具体为：
收集历史的洋流数据、卫星遥感数据；
进行数值模型模拟，基于数值模拟结果，对海洋区域的洋流进行详细分析，获取洋流数据；
结合洋流数据，分析提取海洋区域特征；
使用聚类算法，对洋流数据和海洋特征数据进行分析，将海洋区域划分为具有相似特征的群集；
根据聚类分析的结果，为每个划分的区域选择对应传感器部署方案；
通过部署的传感器收集海洋参数的实时数据；
所述海洋特征数据包括海洋温度、盐度、溶解氧含量、营养盐浓度、浮游植物群落；
所述部署的传感器包括但不限于温度传感器、盐度传感器、溶解氧传感器、浮游植物浓度传感器、叶绿素传感器、视觉检测传感器；
所述为每个划分的区域选择对应传感器部署方案具体为，根据海洋区域的深度特征，在深海水域采用高压环境下运行的传感器，在水质监测中采用温度传感器、盐度传感器、溶解氧传感器，在海洋生物群落监测中，采用浮游植物浓度传感器、叶绿素传感器，考虑传感器的部署密度和覆盖范围，确保覆盖目标海洋区域的关键区域和位置。
作为本发明的进一步方案，所述无人机群合作采用路径规划算法、编队形成算法、分布式任务分配算法；
所述无人机群合作的海洋情报采集步骤具体为：
使用包括Dijkstra算法的路径规划算法，确定每个无人机的航线；
使用包括虚拟结构化方法的编队形成算法，无人机群协同飞行并保持相对位置和间距；
使用基于最大边际效用的分布式任务分配算法，根据无人机的位置、任务优先级和剩余电量，将海洋情报采集任务分配给最适合的无人机；
所述生物标记技术包括标记剂注射、无线电标签、基因标记、标记图案和颜色。
作为本发明的进一步方案，所述利用边缘计算技术在数据采集点对大量数据进行预处理和初步分析的步骤具体为：
基于海洋区域，在数据采集点附近设置包括边缘节点的边缘计算设备；
对采集到的数据进行清洗、去噪，在边缘节点内采用gzip算法对海洋情报数据进行压缩和优化；
利用边缘计算设备上的数据处理能力，在数据采集点对海洋情报数据进行初步分析和处理；
所述在数据采集点对海洋情报数据进行初步分析和处理采用数据关联和模式识别技术、图像和视频处理技术；
所述数据关联和模式识别技术具体基于关联分析、聚类分析协同，分析海洋参数数据、气象数据和海洋生物数据之间的关联性，识别出包括海洋变化、气候模式、海洋生物行为的重要信息；
所述图像和视频处理技术具体基于目标检测、目标跟踪、图像分类方法，收集的图像和视频数据进行分析和处理，识别海洋生物，进行目标检测以及海洋环境监测。
作为本发明的进一步方案，所述在数据处理和质控阶段检测和处理数据中的异常事件和趋势的步骤具体为：
描述性统计分析阶段；
异常数据检测阶段；
趋势分析阶段；
所述描述性统计分析阶段具体基于预处理和初步分析的海洋情报执行，所述描述性统计分析阶段采用统计算法，计算同类数据包括平均值、标准差、最大值、最小值的特征数据，了解数据的整体情况。
作为本发明的进一步方案，所述异常数据检测阶段采用基于距离的DBSCAN聚类算法、季节性分解结合，识别海洋情报数据中的异常事件；
所述季节性分解具体指对海洋情报数据进行季节性分解，将原始数据分解为长期趋势、季节性变化和残差；
所述基于距离的DBSCAN聚类算法具体基于季节性分解后的残差部分，应用基于距离的DBSCAN聚类算法识别具有相似特征的数据点，并将其划分为一簇，设定距离阈值，将超出距离阈值的数据判定为异常数据；
所述趋势分析阶段具体观察异常事件的空间分布、时间变化特征，采用包括散点图、热力图的可视化工具，分析异常事件的特点和可能的原因。
作为本发明的进一步方案，所述使用分布式数据库技术存储信息流的步骤具体为：
将海洋情报数据根据时间、空间、数据类型规则进行划分和分片，将数据均匀存储在多个分布式数据库节点上；
在分布式数据库中设置数据复制和冗余备份策略，采用主从复制或多主复制方式，复制数据至多个分布式数据库节点；
采用分布式事务处理技术，在分布式数据库中实现数据一致性和同步；
采用数据分片路由方法，在分布式数据库中实施负载均衡和性能优化策略；
在分布式数据库中，设置包括故障检测和自动切换的容灾和故障恢复机制。
作为本发明的进一步方案，所述强化学习算法具体为Q-Learning算法，所述深度强化学习算法具体使用卷积神经网络（CNN）来处理海洋图像数据，提取图像特征，在决策过程中进行模式识别和预测，对于海洋环境的时间序列数据，使用循环神经网络（RNN），捕捉序列数据中的模式和趋势；
所述增强学习以及深度强化学习进行模式识别和预测的步骤具体为：
使用卷积神经网络（CNN）作为智能体的策略网络（Policy Network）；
通过观测状态、执行动作和接收奖励来采集训练数据，采用Q-Learning算法，在训练数据上更新模型的参数，优化策略性能；
循环上一步骤，直到模型收敛；
将训练好的模型部署到实时环境中，基于实时流处理技术进行海洋环境数据模式识别和预测，实时监测和预警异常情况。
作为本发明的进一步方案，所述实时流处理技术的处理步骤具体为：
定义事件模式和规则；
模式匹配与时序分析；
事件识别和预警；
所述定义事件模式和规则具体基于传感器部署方案，所述事件模式包括但不限于水温异常事件模式、海洋生物异常事件模式、水质异常事件模式、遥感数据异常事件模式、灾害事件模式；
所述水温异常事件模式具体定义基于海洋表面或水体深度的异常水温事件模式，结合时间序列数据、地理位置和相关环境因素来定义异常水温事件；
所述海洋生物异常事件模式包括但不限于海洋藻类突发暗潮、鱼群迁徙偏离预期路线，基于特定生物种类的观察数据、生态系统指标、浮游生物浓度等因素进行定义；
所述水质异常事件模式包括但不限于异常浊度、溶解氧浓度下降、水体酸碱度变化；
所述遥感数据异常事件模式包括但不限于海洋表面温度、悬浮物浓度、叶绿素-a浓度，基于遥感数据的时序变化、空间分布和统计特征，识别异常情况；
所述灾害事件模式包括但不限于海啸、飓风、海洋油污染，基于历史灾害事件的特征和物理、气象和海洋数据进行定义；
所述模式匹配采用有限状态机算法（FSM）。
作为本发明的进一步方案，所述对应设立智能应对系统，自动启动无人机进行实地监测和确认的步骤具体为：
当异常事件被识别和预警系统发现时，触发智能应对系统；
智能应对系统获取地理位置、事件类型数据，选择无人机进行实地监测和确认；
基于无人机群合作的海洋情报采集步骤，将采集任务分配给无人机；
启动所选的无人机，抵达目标区域进行实地监测和数据采集，实时将采集到的数据传输回中央处理单元；
基于复杂事件处理技术（CEP），进行数据分析并判定事件，生成详细的事件报告和评估。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过收集并分析洋流数据的方式，提取海洋区域特征，并划分海洋区域，基于每个划分的区域选择对应传感器部署方案，以达成针对对应采集设备资源布置效果，并提供全面和及时的海洋情报基础。采用分布式数据库技术存储海洋环境信息流，可以提高数据的可靠性、可用性和扩展性。利用边缘计算技术，在数据采集点将大量数据进行预处理和初步分析，降低数据传输和处理时延，并减少对中心处理系统的负载。利用时间序列分析技术对海洋环境数据进行处理和质控阶段，可以检测和处理数据中的异常事件和趋势。基于增强学习和深度强化学习的技术可以进行海洋环境数据的模式识别和预测。建立智能应对系统。当监测数据触发预警条件时，智能应对系统可以自动启动无人机进行实地监测和确认，提供更详细和精确的海洋环境数据，以支持决策者和相关人员做出更准确的响应和预防措施。在提升大数据可参照性、存储完备性的同时，对数据进行分布式分析、建模分析预警双阶段处理，减少运算量同时提升运算精准性，达成更加完备的预警效果。
附图说明
图1为本发明提出一种大数据驱动的海洋环境监测与预警方法的主要步骤示意图；
图2为本发明提出一种大数据驱动的海洋环境监测与预警方法引入物联网（IoT）通信技术的步骤细化示意图；
图3为本发明提出一种大数据驱动的海洋环境监测与预警方法的无人机群合作的海洋情报采集步骤细化示意图；
图4为本发明提出一种大数据驱动的海洋环境监测与预警方法预处理和初步分析的步骤细化示意图；
图5为本发明提出一种大数据驱动的海洋环境监测与预警方法检测和处理数据中的异常事件和趋势的步骤细化示意图；
图6为本发明提出一种大数据驱动的海洋环境监测与预警方法使用分布式数据库技术存储信息流的步骤细化示意图；
图7为本发明提出一种大数据驱动的海洋环境监测与预警方法增强学习以及深度强化学习进行模式识别和预测的步骤细化示意图；
图8为本发明提出一种大数据驱动的海洋环境监测与预警方法实时流处理技术的处理步骤细化示意图；
图9为本发明提出一种大数据驱动的海洋环境监测与预警方法自动启动无人机进行实地监测和确认的步骤细化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一：请参阅图1，本发明提供一种技术方案：一种大数据驱动的海洋环境监测与预警方法，包括以下步骤：
引入物联网（IoT）通信技术，结合遥感技术、无人机群合作、生物标记技术，实时获取各类海洋情报；
利用边缘计算技术在数据采集点对大量数据进行预处理和初步分析；
利用时间序列分析技术，在数据处理和质控阶段检测和处理数据中的异常事件和趋势；
使用分布式数据库技术存储信息流；
基于增强学习以及深度强化学习进行模式识别和预测，配合复杂事件处理技术（CEP），实时获取海洋环境的事件和动态变化，并进行预警；
对应设立智能应对系统，自动启动无人机进行实地监测和确认。
通过收集并分析洋流数据的方式，提取海洋区域特征，并划分海洋区域，基于每个划分的区域选择对应传感器部署方案，以达成针对对应采集设备资源布置效果，并提供全面和及时的海洋情报基础。采用分布式数据库技术存储海洋环境信息流，可以提高数据的可靠性、可用性和扩展性。利用边缘计算技术，在数据采集点将大量数据进行预处理和初步分析，降低数据传输和处理时延，并减少对中心处理系统的负载。利用时间序列分析技术对海洋环境数据进行处理和质控阶段，可以检测和处理数据中的异常事件和趋势。基于增强学习和深度强化学习的技术可以进行海洋环境数据的模式识别和预测。建立智能应对系统。当监测数据触发预警条件时，智能应对系统可以自动启动无人机进行实地监测和确认，提供更详细和精确的海洋环境数据，以支持决策者和相关人员做出更准确的响应和预防措施。在提升大数据可参照性、存储完备性的同时，对数据进行分布式分析、建模分析预警双阶段处理，减少运算量同时提升运算精准性，达成更加完备的预警效果。
请参阅图2，引入物联网（IoT）通信技术的步骤具体为：
收集历史的洋流数据、卫星遥感数据；
进行数值模型模拟，基于数值模拟结果，对海洋区域的洋流进行详细分析，获取洋流数据；
结合洋流数据，分析提取海洋区域特征；
使用聚类算法，对洋流数据和海洋特征数据进行分析，将海洋区域划分为具有相似特征的群集；
根据聚类分析的结果，为每个划分的区域选择对应传感器部署方案；
通过部署的传感器收集海洋参数的实时数据；
海洋特征数据包括海洋温度、盐度、溶解氧含量、营养盐浓度、浮游植物群落；
部署的传感器包括但不限于温度传感器、盐度传感器、溶解氧传感器、浮游植物浓度传感器、叶绿素传感器、视觉检测传感器；
为每个划分的区域选择对应传感器部署方案具体为，根据海洋区域的深度特征，在深海水域采用高压环境下运行的传感器，在水质监测中采用温度传感器、盐度传感器、溶解氧传感器，在海洋生物群落监测中，采用浮游植物浓度传感器、叶绿素传感器，考虑传感器的部署密度和覆盖范围，确保覆盖目标海洋区域的关键区域和位置。
收集历史的洋流数据和卫星遥感数据是为了了解海洋环境变化和洋流特征。可以利用已有的海洋观测网络、遥感平台、卫星数据等来源，获取这些数据。历史洋流数据提供了过去一段时间内洋流的情况，而卫星遥感数据则可以提供大范围的海洋信息。
进行数值模型模拟是通过数值海洋模型进行模拟计算，以获取洋流数据的空间分布和时变特征。这种模拟可以帮助我们获得对洋流的较为全面的认识，对海洋环境变化进行预测和分析。
分析提取海洋区域特征是在获取洋流数据的基础上，进一步对海洋环境进行分析。可以计算海洋温度、盐度、溶解氧含量、营养盐浓度、浮游植物群落等参数，并从中提取海洋区域的特征。这些特征有助于深入了解海洋生态系统的状态和变化趋势。
使用聚类算法进行分析是对洋流数据和海洋特征数据进行进一步的分析。聚类算法可以将海洋区域划分为具有相似特征的群集，从而实现对海洋区域的更精细和全面的分类和划分。这有助于我们更好地理解不同海洋区域的特点和变化模式。
选择传感器部署方案是根据聚类分析的结果，为每个划分的区域选择适当的传感器部署方案。根据需要监测的海洋参数和海洋区域的深度特征，选择合适的传感器类型和数量。例如，在深海水域可以使用能够在高压环境下运行的传感器，水质监测可以使用温度传感器、盐度传感器、溶解氧传感器，海洋生物群落监测可以采用浮游植物浓度传感器、叶绿素传感器等。
部署传感器并收集实时数据是根据选择的传感器部署方案，在相应的海洋区域部署传感器，并利用物联网通信技术实时收集传感器的数据。传感器可以测量海洋温度、盐度、溶解氧含量、浮游植物浓度、叶绿素含量等感兴趣的海洋参数。这样就可以获取实时的海洋数据，进一步深入研究海洋环境变化和洋流特征。
假设一个海洋环境监测预警项目在某海洋区域实施，通过部署传感器并采集实时数据来进行海洋环境监测和预警。在该项目中，收集了历史洋流数据和卫星遥感数据，并进行数值模拟分析，得到了洋流数据的空间分布和时变特征。基于洋流数据和海洋特征数据的分析，通过聚类算法将海洋区域划分为若干个具有相似特征的群集。根据划分结果，选择了合适的传感器部署方案。在深海水域，项目部署了能够在高压环境下运行的传感器，该传感器能够测量温度、盐度和溶解氧等参数。在其他海洋区域，项目部署了温度传感器、盐度传感器、溶解氧传感器、浮游植物浓度传感器和叶绿素传感器等传感器，以覆盖不同海洋参数的监测需求。传感器通过物联网通信技术将实时数据传输到中心服务器。
选择传感器部署方案：根据聚类分析的结果，为每个划分的区域选择适当的传感器部署方案。根据需要监测的海洋参数以及海洋区域的深度特征，选择合适的传感器类型和数量。例如，在深海水域可以使用能够在高压环境下运行的传感器，水质监测可以使用温度传感器、盐度传感器、溶解氧传感器，海洋生物群落监测可以采用浮游植物浓度传感器、叶绿素传感器等。
部署传感器并收集实时数据：根据选择的传感器部署方案，将传感器部署在相应的海洋区域，并通过物联网通信技术实时收集传感器的数据。传感器可以测量海洋温度、盐度、溶解氧含量、浮游植物浓度、叶绿素含量以及其他感兴趣的海洋参数。
请参阅图3，无人机群合作采用路径规划算法、编队形成算法、分布式任务分配算法；
无人机群合作的海洋情报采集步骤具体为：
使用包括Dijkstra算法的路径规划算法，确定每个无人机的航线；
使用包括虚拟结构化方法的编队形成算法，无人机群协同飞行并保持相对位置和间距；
使用基于最大边际效用的分布式任务分配算法，根据无人机的位置、任务优先级和剩余电量，将海洋情报采集任务分配给最适合的无人机；
生物标记技术包括标记剂注射、无线电标签、基因标记、标记图案和颜色。
通过合作飞行和任务分配算法，无人机群可以更快速地覆盖大范围的海洋区域，收集到更多的情报数据。同时，使用生物标记技术结合无人机的高科技设备，可以实现对海洋生物的精确监测和研究。这些技术和方法的应用，可以提供更全面、准确和实时的海洋情报，为海洋保护、资源管理和科学研究等领域提供更多有益的信息和洞见。
请参阅图4，利用边缘计算技术在数据采集点对大量数据进行预处理和初步分析的步骤具体为：
基于海洋区域，在数据采集点附近设置包括边缘节点的边缘计算设备；
对采集到的数据进行清洗、去噪，在边缘节点内采用gzip算法对海洋情报数据进行压缩和优化；
利用边缘计算设备上的数据处理能力，在数据采集点对海洋情报数据进行初步分析和处理；
在数据采集点对海洋情报数据进行初步分析和处理采用数据关联和模式识别技术、图像和视频处理技术；
数据关联和模式识别技术具体基于关联分析、聚类分析协同，分析海洋参数数据、气象数据和海洋生物数据之间的关联性，识别出包括海洋变化、气候模式、海洋生物行为的重要信息；
图像和视频处理技术具体基于目标检测、目标跟踪、图像分类方法，收集的图像和视频数据进行分析和处理，识别海洋生物，进行目标检测以及海洋环境监测。
利用边缘计算技术在数据采集点进行数据预处理和初步分析具有诸多好处。它可以减少数据传输延迟、节约存储和带宽资源，提供实时决策支持，并且能够通过数据关联和模式识别以及图像和视频处理技术，提炼出有价值的海洋情报信息。这些效益将有助于更高效、精确和即时地获取关于海洋环境、气候和生物的重要信息，支持海洋保护、资源管理和科学研究等领域的决策和行动。
请参阅图5，在数据处理和质控阶段检测和处理数据中的异常事件和趋势的步骤具体为：
描述性统计分析阶段；
异常数据检测阶段；
趋势分析阶段；
描述性统计分析阶段具体基于预处理和初步分析的海洋情报执行，描述性统计分析阶段采用统计算法，计算同类数据包括平均值、标准差、最大值、最小值的特征数据，了解数据的整体情况。
异常数据检测阶段采用基于距离的DBSCAN聚类算法、季节性分解结合，识别海洋情报数据中的异常事件；
季节性分解具体指对海洋情报数据进行季节性分解，将原始数据分解为长期趋势、季节性变化和残差；
基于距离的DBSCAN聚类算法具体基于季节性分解后的残差部分，应用基于距离的DBSCAN聚类算法识别具有相似特征的数据点，并将其划分为一簇，设定距离阈值，将超出距离阈值的数据判定为异常数据；
趋势分析阶段具体观察异常事件的空间分布、时间变化特征，采用包括散点图、热力图的可视化工具，分析异常事件的特点和可能的原因。
通过描述性统计分析、异常数据检测和趋势分析阶段的步骤，可以有效检测和处理海洋情报数据中的异常事件和趋势。这有助于提高数据的质量和准确性，帮助决策者和研究人员从海洋数据中获取有价值的洞察，并支持海洋资源管理、环境监测和科学研究等领域的决策和行动。
请参阅图6，使用分布式数据库技术存储信息流的步骤具体为：
将海洋情报数据根据时间、空间、数据类型规则进行划分和分片，将数据均匀存储在多个分布式数据库节点上；
在分布式数据库中设置数据复制和冗余备份策略，采用主从复制或多主复制方式，复制数据至多个分布式数据库节点；
采用分布式事务处理技术，在分布式数据库中实现数据一致性和同步；
采用数据分片路由方法，在分布式数据库中实施负载均衡和性能优化策略；
在分布式数据库中，设置包括故障检测和自动切换的容灾和故障恢复机制。
由于数据的复制和冗余备份策略，即使节点发生故障，系统仍然能够继续提供服务，不会中断数据的访问和处理，通过分片和负载均衡策略，系统可以水平扩展，随着数据规模和请求负载的增加，可以方便地添加新的节点，以提高系统的吞吐能力和性能。采用分布式事务处理技术，可以保证在跨多个节点的操作中，数据的一致性和同步。设置容灾和故障恢复机制，可以快速检测和处理故障，确保系统的稳定性和可靠性。
请参阅图7，强化学习算法具体为Q-Learning算法，深度强化学习算法具体使用卷积神经网络（CNN）来处理海洋图像数据，提取图像特征，在决策过程中进行模式识别和预测，对于海洋环境的时间序列数据，使用循环神经网络（RNN），捕捉序列数据中的模式和趋势；
增强学习以及深度强化学习进行模式识别和预测的步骤具体为：
使用卷积神经网络（CNN）作为智能体的策略网络（Policy Network）；
通过观测状态、执行动作和接收奖励来采集训练数据，采用Q-Learning算法，在训练数据上更新模型的参数，优化策略性能；
循环上一步骤，直到模型收敛；
将训练好的模型部署到实时环境中，基于实时流处理技术进行海洋环境数据模式识别和预测，实时监测和预警异常情况。
使用深度强化学习算法中的卷积神经网络（CNN）来处理海洋图像数据，能够有效地提取图像特征。CNN可以自动学习图像中的关键特征，帮助系统识别海洋环境中的不同物体、区域和事件。深度强化学习算法结合CNN和循环神经网络（RNN）能够捕捉海洋环境中的时间序列数据中的模式和趋势。RNN能够处理序列数据的依赖关系，并帮助系统更好地预测未来的发展和趋势，提供预测分析和决策支持。强化学习算法通过观测状态、执行动作和接收奖励来采集训练数据，使用Q-Learning算法更新模型的参数，优化策略性能。这使得智能体能够在与环境的互动中不断学习和改进策略，并逐步优化模型的行为。训练好的模型可以部署到实时环境中，进行海洋环境数据的模式识别和预测。通过实时监测，系统可以及时发现和预警海洋环境中的异常情况和有害事件，帮助保护海洋生态和资源，做出相应的决策和应对措施。
请参阅图8，实时流处理技术的处理步骤具体为：
定义事件模式和规则；
模式匹配与时序分析；
事件识别和预警；
定义事件模式和规则具体基于传感器部署方案，事件模式包括但不限于水温异常事件模式、海洋生物异常事件模式、水质异常事件模式、遥感数据异常事件模式、灾害事件模式；
水温异常事件模式具体定义基于海洋表面或水体深度的异常水温事件模式，结合时间序列数据、地理位置和相关环境因素来定义异常水温事件；
海洋生物异常事件模式包括但不限于海洋藻类突发暗潮、鱼群迁徙偏离预期路线，基于特定生物种类的观察数据、生态系统指标、浮游生物浓度等因素进行定义；
水质异常事件模式包括但不限于异常浊度、溶解氧浓度下降、水体酸碱度变化；
遥感数据异常事件模式包括但不限于海洋表面温度、悬浮物浓度、叶绿素-a浓度，基于遥感数据的时序变化、空间分布和统计特征，识别异常情况；
灾害事件模式包括但不限于海啸、飓风、海洋油污染，基于历史灾害事件的特征和物理、气象和海洋数据进行定义；
模式匹配采用有限状态机算法（FSM）。
实时流处理技术能够以实时的方式处理海洋环境数据，并根据事先定义的事件模式和规则进行实时监测和预警。这可以帮助及时发现和应对各种海洋环境中的异常情况，包括水温异常、生物异常、水质异常等，从而保护海洋生态和资源。
实时流处理技术能够将实时监测和识别的事件与历史数据进行分析和比对。这可以提供更全面的数据洞察，并帮助决策者做出更准确的决策和采取相应的措施来应对海洋环境中的问题和异常情况。
实时流处理技术能够及时发现和识别异常事件，并通过快速响应和处理来避免潜在的损失和风险。通过提前预警和采取相应的措施，资源利用和工作效率可以得到优化，从而提高海洋环境管理和保护的效果。
请参阅图9，对应设立智能应对系统，自动启动无人机进行实地监测和确认的步骤具体为：
当异常事件被识别和预警系统发现时，触发智能应对系统；
智能应对系统获取地理位置、事件类型数据，选择无人机进行实地监测和确认；
基于无人机群合作的海洋情报采集步骤，将采集任务分配给无人机；
启动所选的无人机，抵达目标区域进行实地监测和数据采集，实时将采集到的数据传输回中央处理单元；
基于复杂事件处理技术（CEP），进行数据分析并判定事件，生成详细的事件报告和评估。
智能应对系统的自动化和实时性能够实现对异常事件的快速响应。启动无人机进行实地监测可以提供近实时的数据反馈，从而更准确地评估事件的情况。通过智能应对系统的协同工作和任务分配，可以使无人机群协同工作，从而提高数据采集效率和覆盖范围。同时，无人机的使用可以避免了人力资源的消耗和风险。无人机具有灵活性和多样性，可以进入难以到达的区域或进行多角度观测。这样可以提供更全面和深入的数据采集，为事件分析和评估提供更准确的依据。通过使用复杂事件处理技术对采集数据进行分析和判定，智能应对系统可以生成详细的事件报告和评估。这提供了全面的信息和数据支持，对异常事件的决策制定和应对措施提供了更好的支持。
工作原理：引入物联网（IoT）通信技术（收集历史的洋流数据、卫星遥感数据；进行数值模型模拟，基于数值模拟结果，对海洋区域的洋流进行详细分析，获取洋流数据；结合洋流数据，分析提取海洋区域特征；使用聚类算法，对洋流数据和海洋特征数据进行分析，将海洋区域划分为具有相似特征的群集；根据聚类分析的结果，为每个划分的区域选择对应传感器部署方案；通过部署的传感器收集海洋参数的实时数据），结合遥感技术、无人机群合作（使用包括Dijkstra算法的路径规划算法，确定每个无人机的航线；使用包括虚拟结构化方法的编队形成算法，无人机群协同飞行并保持相对位置和间距；使用基于最大边际效用的分布式任务分配算法，根据无人机的位置、任务优先级和剩余电量，将海洋情报采集任务分配给最适合的无人机）、生物标记技术（标记剂注射、无线电标签、基因标记、标记图案和颜色），实时获取各类海洋情报；
利用边缘计算技术在数据采集点对大量数据进行预处理和初步分析（基于海洋区域，在数据采集点附近设置包括边缘节点的边缘计算设备；对采集到的数据进行清洗、去噪，在边缘节点内采用gzip算法对海洋情报数据进行压缩和优化；利用边缘计算设备上的数据处理能力，在数据采集点对海洋情报数据进行初步分析和处理；在数据采集点对海洋情报数据进行初步分析和处理采用数据关联和模式识别技术、图像和视频处理技术）；
利用时间序列分析技术，在数据处理和质控阶段检测和处理数据中的异常事件和趋势（描述性统计分析阶段；异常数据检测阶段；趋势分析阶段）；
使用分布式数据库技术存储信息流（在分布式数据库中设置数据复制和冗余备份策略，采用主从复制或多主复制方式，复制数据至多个分布式数据库节点；采用分布式事务处理技术，在分布式数据库中实现数据一致性和同步；采用数据分片路由方法，在分布式数据库中实施负载均衡和性能优化策略；在分布式数据库中，设置包括故障检测和自动切换的容灾和故障恢复机制）；
基于增强学习以及深度强化学习进行模式识别和预测（使用卷积神经网络（CNN）作为智能体的策略网络（Policy Network）；通过观测状态、执行动作和接收奖励来采集训练数据，采用Q-Learning算法，在训练数据上更新模型的参数，优化策略性能；循环上一步骤，直到模型收敛；将训练好的模型部署到实时环境中，基于实时流处理技术进行海洋环境数据模式识别和预测，实时监测和预警异常情况），配合复杂事件处理技术（CEP）（定义事件模式和规则；模式匹配与时序分析；事件识别和预警），实时获取海洋环境的事件和动态变化，并进行预警；
对应设立智能应对系统，自动启动无人机进行实地监测和确认（当异常事件被识别和预警系统发现时，触发智能应对系统；智能应对系统获取地理位置、事件类型数据，选择无人机进行实地监测和确认；基于无人机群合作的海洋情报采集步骤，将采集任务分配给无人机；启动所选的无人机，抵达目标区域进行实地监测和数据采集，实时将采集到的数据传输回中央处理单元；基于复杂事件处理技术（CEP），进行数据分析并判定事件，生成详细的事件报告和评估）。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (1)
1.一种大数据驱动的海洋环境监测与预警方法，其特征在于，包括以下步骤：
引入物联网（IoT）通信技术，结合遥感技术、无人机群合作、生物标记技术，实时获取各类海洋情报；所述引入物联网（IoT）通信技术的步骤具体为：
收集历史的洋流数据、卫星遥感数据；
进行数值模型模拟，基于数值模拟结果，对海洋区域的洋流进行详细分析，获取洋流数据；
结合洋流数据，分析提取海洋区域特征；
使用聚类算法，对洋流数据和海洋区域特征数据进行分析，将海洋区域划分为具有相似特征的群集；
根据聚类分析的结果，为每个划分的群集选择对应传感器部署方案；
通过部署的传感器收集海洋参数的实时数据；
所述海洋区域特征数据包括海洋温度、盐度、溶解氧含量、营养盐浓度、浮游植物群落；
所述部署的传感器包括温度传感器、盐度传感器、溶解氧传感器、浮游植物浓度传感器、叶绿素传感器、视觉检测传感器；
所述为每个划分的群集选择对应传感器部署方案具体为，根据海洋区域的深度特征，在深海水域采用高压环境下运行的传感器，在水质监测中采用温度传感器、盐度传感器、溶解氧传感器，在海洋生物群落监测中，采用浮游植物浓度传感器、叶绿素传感器，考虑传感器的部署密度和覆盖范围，确保覆盖目标海洋区域的关键区域和位置；
所述无人机群合作采用路径规划算法、编队形成算法、分布式任务分配算法；
所述无人机群合作的海洋情报采集步骤具体为：
使用包括Dijkstra算法的路径规划算法，确定每个无人机的航线；
使用包括虚拟结构化方法的编队形成算法，无人机群协同飞行并保持相对位置和间距；
使用基于最大边际效用的分布式任务分配算法，根据无人机的位置、任务优先级和剩余电量，将海洋情报采集任务分配给最适合的无人机；
所述生物标记技术包括标记剂注射、无线电标签、基因标记、标记图案和颜色；
利用边缘计算技术在数据采集点对数据进行预处理和初步分析；所述利用边缘计算技术在数据采集点对数据进行预处理和初步分析的步骤具体为：
基于海洋区域，在数据采集点附近设置包括边缘节点的边缘计算设备；
对采集到的数据进行清洗、去噪，在边缘节点内采用gzip算法对海洋情报数据进行压缩和优化；
利用边缘计算设备上的数据处理能力，在数据采集点对海洋情报数据进行初步分析和处理；
所述在数据采集点对海洋情报数据进行初步分析和处理采用数据关联和模式识别技术、图像和视频处理技术；
所述数据关联和模式识别技术具体基于关联分析、聚类分析协同，分析海洋参数数据、气象数据和海洋生物数据之间的关联性，识别出包括海洋变化、气候模式、海洋生物行为的重要信息；
所述图像和视频处理技术具体基于目标检测、目标跟踪、图像分类方法，收集的图像和视频数据进行分析和处理，识别海洋生物，进行目标检测以及海洋环境监测；
利用时间序列分析技术，在数据处理和质控阶段检测和处理数据中的异常事件和趋势；所述在数据处理和质控阶段检测和处理数据中的异常事件和趋势的步骤具体为：
描述性统计分析阶段；
异常数据检测阶段；
趋势分析阶段；
所述描述性统计分析阶段具体基于预处理和初步分析的海洋情报执行，所述描述性统计分析阶段采用统计算法，计算同类数据包括平均值、标准差、最大值、最小值的特征数据，了解数据的整体情况；
所述异常数据检测阶段采用基于距离的DBSCAN聚类算法、季节性分解结合，识别海洋情报数据中的异常事件；
所述季节性分解具体指对海洋情报数据进行季节性分解，将原始数据分解为长期趋势、季节性变化和残差；
所述基于距离的DBSCAN聚类算法具体基于季节性分解后的残差部分，应用基于距离的DBSCAN聚类算法识别具有相似特征的数据点，并将其划分为一簇，设定距离阈值，将超出距离阈值的数据判定为异常数据；
所述趋势分析阶段具体观察异常事件的空间分布、时间变化特征，采用包括散点图、热力图的可视化工具，分析异常事件的特点和可能的原因；
使用分布式数据库技术存储信息流；所述使用分布式数据库技术存储信息流的步骤具体为：
将海洋情报数据根据时间、空间、数据类型规则进行划分和分片，将数据均匀存储在多个分布式数据库节点上；
在分布式数据库中设置数据复制和冗余备份策略，采用主从复制或多主复制方式，复制数据至多个分布式数据库节点；
采用分布式事务处理技术，在分布式数据库中实现数据一致性和同步；
采用数据分片路由方法，在分布式数据库中实施负载均衡和性能优化策略；
在分布式数据库中，设置包括故障检测和自动切换的容灾和故障恢复机制；
基于增强学习以及深度强化学习进行模式识别和预测，配合复杂事件处理技术（CEP），实时获取海洋环境的事件和动态变化，并进行预警；所述增强学习的算法具体为Q-Learning算法，所述深度强化学习的算法具体使用卷积神经网络（CNN）来处理海洋图像数据，提取图像特征，在决策过程中进行模式识别和预测，对于海洋环境的时间序列数据，使用循环神经网络（RNN），捕捉序列数据中的模式和趋势；
所述增强学习以及深度强化学习进行模式识别和预测的步骤具体为：
使用卷积神经网络（CNN）作为智能体的策略网络（Policy Network）；
通过观测状态、执行动作和接收奖励来采集训练数据，采用Q-Learning算法，在训练数据上更新模型的参数，优化策略性能；
循环上一步骤，直到模型收敛；
将训练好的模型部署到实时环境中，基于实时流处理技术进行海洋环境数据模式识别和预测，实时监测和预警异常情况；所述实时流处理技术的处理步骤具体为：
定义事件模式和规则；
模式匹配与时序分析；
事件识别和预警；
所述定义事件模式和规则具体基于传感器部署方案，所述事件模式包括水温异常事件模式、海洋生物异常事件模式、水质异常事件模式、遥感数据异常事件模式、灾害事件模式；
所述水温异常事件模式具体定义基于海洋表面或水体深度的异常水温事件模式，结合时间序列数据、地理位置和相关环境因素来定义异常水温事件；
所述海洋生物异常事件模式包括海洋藻类突发暗潮、鱼群迁徙偏离预期路线，基于特定生物种类的观察数据、生态系统指标、浮游生物浓度进行定义；
所述水质异常事件模式包括异常浊度、溶解氧浓度下降、水体酸碱度变化；
所述遥感数据异常事件模式包括海洋表面温度、悬浮物浓度、叶绿素-a浓度，基于遥感数据的时序变化、空间分布和统计特征，识别异常情况；
所述灾害事件模式包括海啸、飓风、海洋油污染，基于历史灾害事件的特征和物理、气象和海洋数据进行定义；
所述模式匹配采用有限状态机算法（FSM）；
对应设立智能应对系统，自动启动无人机进行实地监测和确认；所述对应设立智能应对系统，自动启动无人机进行实地监测和确认的步骤具体为：
当异常事件被识别和预警系统发现时，触发智能应对系统；
智能应对系统获取地理位置、事件类型数据，选择无人机进行实地监测和确认；
基于无人机群合作的海洋情报采集步骤，将采集任务分配给无人机；
启动所选的无人机，抵达目标区域进行实地监测和数据采集，实时将采集到的数据传输回中央处理单元；
基于复杂事件处理技术（CEP），进行数据分析并判定事件，生成详细的事件报告和评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310903959.5A CN116625327B (zh) | 2023-07-24 | 2023-07-24 | 一种大数据驱动的海洋环境监测与预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310903959.5A CN116625327B (zh) | 2023-07-24 | 2023-07-24 | 一种大数据驱动的海洋环境监测与预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116625327A CN116625327A (zh) | 2023-08-22 |
| CN116625327B true CN116625327B (zh) | 2023-09-15 |
Family
ID=87590603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310903959.5A Active CN116625327B (zh) | 2023-07-24 | 2023-07-24 | 一种大数据驱动的海洋环境监测与预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116625327B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117129036A (zh) * | 2023-08-28 | 2023-11-28 | 瀚能科技有限公司 | 一种云端环境监控方法及装置 |
| CN117168545A (zh) * | 2023-10-30 | 2023-12-05 | 自然资源部第一海洋研究所 | 一种基于浮标端本地识别的海洋现象观测方法及系统 |
| CN117171661B (zh) * | 2023-11-03 | 2024-01-26 | 山东鸿远新材料科技股份有限公司 | 一种化工厂污水处理监控方法及系统 |
| CN117828315A (zh) * | 2024-03-06 | 2024-04-05 | 广东工业大学 | 一种海洋生态环境监测系统及方法 |
| CN117909697A (zh) * | 2024-03-20 | 2024-04-19 | 南方海洋科学与工程广东省实验室(广州) | 一种海洋资源分布与生态环境大数据监控管理方法及系统 |
| CN117992801A (zh) * | 2024-04-03 | 2024-05-07 | 南京信息工程大学 | 一种通过卫星遥感技术的海域监测方法与系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679665A (zh) * | 2017-09-30 | 2018-02-09 | 浙江海洋大学 | 一种基于大数据的海洋环境灾害预警方法 |
| CN111336996A (zh) * | 2020-03-28 | 2020-06-26 | 哈尔滨工程大学 | 一种海洋环境与船舶运动监测预报系统及监测预报方法 |
| CN112465194A (zh) * | 2020-11-09 | 2021-03-09 | 王博妮 | 基于气象大数据的海上风电场智能气象服务系统及方法 |
| CN114638507A (zh) * | 2022-03-21 | 2022-06-17 | 中环宇恩(广东)生态科技有限公司 | 一种智能海洋平台检测系统及方法 |
-
2023
- 2023-07-24 CN CN202310903959.5A patent/CN116625327B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679665A (zh) * | 2017-09-30 | 2018-02-09 | 浙江海洋大学 | 一种基于大数据的海洋环境灾害预警方法 |
| CN111336996A (zh) * | 2020-03-28 | 2020-06-26 | 哈尔滨工程大学 | 一种海洋环境与船舶运动监测预报系统及监测预报方法 |
| CN112465194A (zh) * | 2020-11-09 | 2021-03-09 | 王博妮 | 基于气象大数据的海上风电场智能气象服务系统及方法 |
| CN114638507A (zh) * | 2022-03-21 | 2022-06-17 | 中环宇恩(广东)生态科技有限公司 | 一种智能海洋平台检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116625327A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116625327B (zh) | 一种大数据驱动的海洋环境监测与预警方法 | |
| CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
| Conroy et al. | Mapping of species richness for conservation of biological diversity: conceptual and methodological issues | |
| Fdez-Riverola et al. | Fsfrt: Forecasting system for red tides | |
| CN115829120B (zh) | 基于机器学习方法的水质预测预警系统 | |
| CN104103005B (zh) | 一种有限条件下突发性水环境事件污染源的溯源方法 | |
| CN109710595B (zh) | 基于有限信息的输电走廊鸟害热点图的构建方法 | |
| CN115308101B (zh) | 水质监测管理方法及系统 | |
| Parra-Quijano et al. | Spatial and ecogeographic approaches for selecting genetic reserves in Europe | |
| CN117251700B (zh) | 基于人工智能的环境监测传感器数据分析方法及系统 | |
| Venskus et al. | Integration of a self-organizing map and a virtual pheromone for real-time abnormal movement detection in marine traffic | |
| Bobbin et al. | Knowledge discovery for prediction and explanation of blue-green algal dynamics in lakes by evolutionary algorithms | |
| Penmetcha et al. | Computer vision-based algae removal planner for multi-robot teams | |
| Kühn et al. | Using machine learning to link spatiotemporal information to biological processes in the ocean: a case study for North Sea cod recruitment | |
| Riveiro et al. | Interactive visualization of normal behavioral models and expert rules for maritime anomaly detection | |
| Molinié et al. | BSOM: a two-level clustering method based on the efficient self-organizing maps | |
| CN113899948B (zh) | 一种电磁频谱目标特征数据快速提取系统及方法 | |
| Gai et al. | Research on water quality spatiotemporal forecasting model based on ST-BIGRU-SVR neural network | |
| Fondaj et al. | A Prediction Model of Smart Agriculture Based on IoT Sensor Data: A Systematic Literature Review | |
| CN115293231A (zh) | 地区生态和谐随机森林预测方法 | |
| Shahriar et al. | Spatial-temporal prediction of algal bloom | |
| Purvis et al. | Neuro-fuzzy methods for environmental modelling | |
| De Vita et al. | Artificial Intelligence for mussels farm quality assessment and prediction | |
| Asmara et al. | Self-organizing map (SOM) for species distribution modelling of birds species at kenyir landscape | |
| CN117422938B (zh) | 基于三维分析平台的坝坡混凝土结构异常分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: 572000 Yabulun Industrial Park, Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province 6 # 212 Patentee after: Hainan smart Maritime Technology Co.,Ltd. Patentee after: Hainan Qianziwen Technology Co.,Ltd. Patentee after: Dalian Maritime University Address before: 572000 Yabulun Industrial Park, Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province 6 # 212 Patentee before: Hainan smart Maritime Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |