CN117453751B - 海洋大数据缓存加载系统、运行方法、装置和介质 - Google Patents
海洋大数据缓存加载系统、运行方法、装置和介质 Download PDFInfo
- Publication number
- CN117453751B CN117453751B CN202311773800.2A CN202311773800A CN117453751B CN 117453751 B CN117453751 B CN 117453751B CN 202311773800 A CN202311773800 A CN 202311773800A CN 117453751 B CN117453751 B CN 117453751B
- Authority
- CN
- China
- Prior art keywords
- cache
- prediction
- data
- marine
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000011068 loading method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000002045 lasting effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims 1
- 238000011017 operating method Methods 0.000 claims 1
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种海洋大数据缓存加载系统、运行方法、装置和介质，属于海洋数据处理技术领域，所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心，海洋大数据平台将历史海洋数据集发送至缓存预测中心进行模型训练，得到缓存预测模型；将未来时间的预测预报数据输入缓存预测模型，预测出数据访问概率；缓存加载中心根据数据访问概率，在用户访问数据之前，提前将相关数据加载到缓存中，完成主动缓存加载；海洋大数据平台实时采集海洋数据并持久化存储，同时在缓存空间替换原有的预测预报数据；定期重新进行模型训练及预测。本发明还提供了所述系统的运行方法及运行所述方法的装置和介质，本发明实现了主动式缓存加载方法，提高数据查询效率。
Description
技术领域
本发明涉及海洋数据处理技术领域，特别是涉及一种海洋大数据缓存加载系统、运行方法、装置和介质。
背景技术
实时海洋大数据平台在海洋数据查询、可视化、海洋模式计算等方面具有重要作用，由于数据量大、访问用户较多，为了提高数据查询效率、减轻并发访问后端负载压力，可使用缓存提升访问速度。当前的海洋大数据平台通常还是简单的根据数据的使用频率被动加载或者在访问数据的同时将其加载缓存，然而这种方法具有明显的滞后性，显然未访问过的实时数据比已访问过的历史数据更有被访问的意义和可能性。
发明内容
为解决上述技术问题，本发明提供了一种海洋大数据缓存加载系统、运行方法、装置和介质，本发明考虑到海洋大数据平台的数据访问等功能会受到海洋气候变化的影响，即某地区气候出现多变、剧变等异常，那么用户就很有可能查询这个地区的历史数据和未来预测预报数据。因此根据某地区未来的海洋气候状况，将最有可能被访问地区的数据提前加载至缓存中以满足用户的高频率、高并发地访问。
本发明是通过如下技术方案来实现的：
一种海洋大数据缓存加载系统，所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心，海洋大数据平台将历史海洋数据集发送至缓存预测中心，缓存预测中心进行模型训练，得到缓存预测模型；将未来时间的预测预报数据输入缓存预测模型，预测出数据访问概率；缓存加载中心根据缓存预测中心预测出的数据访问概率，在用户访问数据之前，提前将相关数据加载到缓存中，完成主动缓存加载；海洋大数据平台实时采集海洋数据并持久化存储，同时在缓存空间用实时数据替换原有的预测预报数据；定期根据现有海洋数据重新进行模型训练及预测。
作为优选的实施方式之一，使用卷积长短期记忆神经网络（ConvLSTM）模型实现的缓存内容的预测。
作为优选的实施方式之一，训练模型的特征为温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向。
作为优选的实施方式之一，将海洋数据集划分为N个“海洋网格”，对每个网格预测
预报数据，每个网格的大小为，特征包括温度、盐度、气压、1/3波高、1/3波周期、1/10
波高、1/10波周期、波向。
作为优选的实施方式之一，通过叠加多个ConvLSTM层并形成一个编码-预测结构，编码-预测结构分为两个网络：编码网络和预测网络；两种网络都是通过叠加几个ConvLSTM层而形成的。
本发明还提供所述系统的运行方法，所述方法包括海洋大数据平台的运行方法、缓存预测中心的运行方法和缓存加载中心的运行方法；
所述海洋大数据平台的运行方法具体步骤如下：
第一步、等待人工指令，人工开始运行海洋大数据平台，设置指令执行周期；
第二步、海洋大数据平台向缓存预测中心发送指令，指令分为模型训练指令、缓存预测指令。发送模型训练指令，将历史海洋数据的温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向发送至缓存预测中心作为多个通道输入，训练缓存预测模型；发送缓存预测指令，将合作项目的预测预报数据输入缓存预测模型，预测该数据的访问概率；
第三步、海洋大数据平台采集实时海洋数据，将实时数据持久化存储的同时，向缓存加载中心发送缓存更新指令，将最新高概率“海洋网格”的真实数据缓存空间的预测预报数据；海洋大数据平台进行实时数据处理及数据可视化；
第四步、人工结束海洋大数据平台；
所述的缓存预测中心的运行方法具体步骤如下：
第一步、初始化缓存预测程序，缓存预测中心进入监听状态，等待海洋大数据平台指令，海洋大数据会向缓存预测中心平台发送的模型训练指令、缓存预测指令；
第二步、收到模型训练指令，分割海洋大数据平台发送过来的历史海洋数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型进行模型训练，保存缓存预测模型；
第四步、收到缓存预测指令，分割海洋大数据平台发送过来的预测预报数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型，进行缓存加载预测，得到每一个预测预报“海洋网格”的访问概率；
第五步、向缓存加载中心发送缓存更新指令，并发送缓存预测结果，通过缓存加载中心完成缓存更新；
所述的缓存加载中心的运行方法具体步骤如下：
第一步、初始化缓存加载中心程序，等待来自海洋大数据平台和缓存预测中心的指令表达式；
第二步、等待海洋大数据平台发送的指令；指令分为普通操作指令与缓存更新指令，普通操作指令实现重启程序与结束程序的操作；海洋大数据平台采集到实时数据，同时向缓存加载中心发送缓存更新指令，用最新真实“海洋网格”数据替换掉预测预报数据；
第三步、等待缓存预测中心传递的缓存预测结果；查询持久化存储空间，将已预测
出最高概率的个“海洋网格”真实数据和未来预测预报数据加载到缓存空间中；
第四步、如果缓存加载失败，会检测问题，并重新加载缓存；
第五步、当收到缓存预测中心发来的结束程序的指令，会运行销毁程序，结束缓存加载中心的运行。
作为一种优选的实施方式之一，所述的“海洋网格”的访问概率的获得方法如下：首先从合作项目中获取未来时间段的预测预报海洋数据，将预测预报海洋数据的不同参数作为多通道输入，对每个通道进行独立卷积，编码网络处理完所有时间步后，编码网络的单元状态和输出状态复制到预测网络，预测网络预测输入网格的访问概率，将预测网络中的所有状态连接起来，并将它们馈送到11的卷积层中以生成多通道的预测信息，将预测信息作为全连接层的多通道输入，全连接层聚合前层信息生成一个单通道输出作为生成的最终预测结果，即“访问概率”。
一种海洋大数据缓存加载的装置，所述装置包括海洋大数据平台模块、缓存预测中心模块和缓存加载中心模块；
所述海洋大数据平台模块运行所述海洋大数据平台的运行方法具体步骤；
所述缓存预测中心模块运行所述的缓存预测中心的运行方法具体步骤；
所述缓存加载中心模块运行所述的缓存加载中心的运行方法具体步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述海洋大数据缓存加载系统的运行方法。
本发明与现有技术相比的有益效果：本发明基于多通道卷积长短期记忆神经网络（ConvLSTM）对历史海洋数据集进行训练，根据海洋气候预测预报数据对海洋数据的访问概率进行预测，将未来访问概率高的数据加载至缓存中，实现了主动式缓存加载方法，提高数据查询效率。
附图说明
图1 数据访问流程图；
图2 基于预测的主动缓存加载方法设计架构图；
图3 编码-预测网络模型架构图；
图4 海洋大数据平台流程图；
图5 缓存预测中心流程图；
图6 缓存加载中心流程图。
具体实施方式
下面通过实施例来对本发明的技术方案做进一步解释，但本发明的保护范围不受实施例任何形式上的限制。
实施例1
考虑到海洋大数据平台的数据访问等功能会受到海洋气候变化的影响，即气候多变或剧变地区的数据被访问的可能性就高，因此通过预测预报海洋数据，根据海洋气候变化情况，将相关地区的海洋数据提前加载至缓存中以满足用户的高频率、高并发地访问，如图1所示。本实施例提供了一种海洋大数据缓存加载系统，具体方法如下：
如图2所示，所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心，海洋大数据平台将历史海洋数据集发送至缓存预测中心，缓存预测中心进行模型训练，得到缓存预测模型；输入未来时间的海洋数据，预测数据访问概率；缓存加载中心根据缓存预测中心预测出的数据访问概率，完成主动缓存加载；在实时数据持久化存储时，缓存空间进行数据替换；定期根据现有历史海洋数据重新进行模型训练及预测。
作为优选的实施方式之一，使用卷积长短期记忆神经网络（ConvLSTM）模型实现的缓存内容的预测。
作为优选的实施方式之一，训练ConvLSTM模型的特征为温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向。在特征选择中，找到用于训练模型的最佳特征是在训练学习模型之前的关键步骤。海洋气候发生变化时，会在各种海洋的属性中体现出来，如温度、风浪等剧变。海洋的温度变化可以影响大气的温度分布和风向；盐度变化会影响海水密度和流动性；气压变化会导致风的形成和变化；波浪参数描述了海洋表面的波浪特征，这些参数都是反映海洋气候变化的重要指标。因此，为了更好的理解和学习特殊海洋气候变化的特征，将温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向作为可以表示海洋气候变化的特征，使用多通道ConvLSTM模型进行预测，每个通道对应于海洋数据的不同特征，每个时间步的输入数据都包含了多个通道的信息。
海洋大数据平台持续监测采集海洋信息，其实时记录了海洋的温盐、气压、波浪参
数等海洋状态数据，使用记录的历史海洋数据作为数据集，预测预报海洋数据，预测一个
“海洋网格”的访问概率。作为优选的实施方式之一，将全球海洋按照经纬度D度划为一个经
纬度网格，经度可以划分为个区间，纬度可以划分为个区间，则全球共划分为N个
网格，网格表示为，其中纬度,经度。将每一个网格每隔d度为一个数据点，每个网格内有个点的数据，每个网格缓存其最新t天的数据，实时数据每h个小时更新一
次，即对于每个网格需要存储条数据。缓存数据库空间为sG，1G缓存空间可存储条数
据，则缓存数据库能缓存个网格的数据。计算公式如下：
；
对于这个数据集，将其划分为N个“海洋网格”，对每个网格预测预报数据，每个网
格的大小为×，特征包括温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、
波向，使用多通道ConvLSTM模型进行预测，每个通道对应于海洋数据的不同特征，每个时间
步的输入数据都包含了多个通道的信息。海洋数据每h小时记录一次，所以每天就有帧。
为了得到训练、测试和验证不相交的子集，将每t天记录的序列分成个不重叠的帧块，随
机分配将4个块用于训练，1个块用于测试，1个块用于验证。
作为优选的实施方式之一，通过叠加多个ConvLSTM层并形成一个编码-预测结构，编码-预测结构分为两个网络：编码网络和预测网络；两种网络都是通过叠加几个ConvLSTM层而形成的。
海洋数据（如温盐、气压、波浪参数等）在时间和空间上都存在相关性，且具有长期依赖性。ConvLSTM模型结合了卷积神经网络和长短期记忆网络可以捕捉海洋数据的时空特性，通过模型内部的记忆单元也可捕获海洋数据的长期依赖。对于温盐、气压、波浪参数等作为多通道输入，ConvLSTM可以对每一个通道进行独立的卷积操作，然后在时间维度上进行整合。在ConvLSTM中，输入到状态和状态到状态的转换中都具有卷积结构，可以很好的表示空间中的关系，没有太多冗余的空间数据。通过叠加多个ConvLSTM层并形成一个编码-预测结构，不仅可以为海洋数据预测预报问题构建网络模型，还可以为时空序列预测问题构建网络模型。
编码-预测结构分为两个网络：编码网络和预测网络。两种网络都是通过叠加几个ConvLSTM层而形成的。将海洋数据的不同参数作为多通道输入，对每个通道进行独立卷积，编码网络处理完所有时间步后，编码网络的单元状态和输出状态复制到预测网络，预测网络预测输入网格的访问概率。因为预测目标与输入具有相同的维数，将预测网络中的所有状态连接起来，并将它们馈送到11的卷积层中以生成多通道的预测信息。将预测信息作为全连接层的多通道输入，全连接层聚合前层信息生成一个单通道输出作为生成的最终预测结果，即“访问概率”。编码网络将整个输入序列压缩成一个隐藏状态张量，主要作用就是提取序列图像的时间特征和空间特征，然后在预测网络展开这个隐藏状态以给出最终预测。ConvLSTM模型的编码-预测网络模型架构图如图3所示。
由于网络有多个堆叠的ConvLSTM层，它具有很强的表征能力，这使得它适合在复
杂的动力系统中给出预测。ConvLSTM的关键公式如下，输入,…,单元输出,…,,
隐藏状态,…,,以及输入门、遗忘门、输出门的维度为[通道,高度,宽度]，其中
“”表示卷积运算，“”表示对应相乘,表示sigmoid函数。尝试不同参数组合，并选择
验证误差最小的模型。
；
；
；
；
；
是输入x计算入门（input gate）的权重;是隐藏状态（hidden state）计
算输入门（input gate）的权重；是细胞状态（cell state）计算输入门（input gate）的
权重；是输入x计算遗忘门（forget gate）的权重，是隐藏状态（hidden state）计
算遗忘门（forget gate）的权重；是细胞状态（cell state）计算遗忘门（forget gate）
的权重；是输入x计算细胞状态（cell state）的权重；是隐藏状态（hidden state）
计算细胞状态（cell state）的权重；是输入x计算输出门（output gate）的权重；
是隐藏状态（hidden state）计算输出门（output gate）的权重；是细胞状态（cell
state）计算输出门（output gate）的权重；是遗忘门（forget gate）的偏置；是输入门
（input gate）的偏置；是细胞状态（cell state）的偏置；是输出门（output gate）的
偏置。
作为优选的实施方式之一，缓存中心的缓存策略为经过缓存预测后，得到每个“海
洋网格”的访问概率，将访问概率最高的个网格中t天的数据加载至缓存中，在海洋大数
据平台实时数据更新时，将缓存中最早一小时的数据删除，再将最新高概率“海洋网格”的
数据添加至缓存空间，每隔一定时间，使用最新数据重新预测预报数据计算访问概率，清除
缓存空间并将最新结果加载至缓存中。
实施例2
实施例1所述系统的运行方法，所述方法包括海洋大数据平台的运行方法、缓存预测中心的运行方法和缓存加载中心的运行方法；
所述海洋大数据平台的运行方法，如图4所示，具体步骤如下：
第一步、等待人工指令，人工开始运行海洋大数据平台，设置指令执行周期；
第二步、海洋大数据平台向缓存预测中心发送指令，指令分为模型训练指令、缓存预测指令。发送模型训练指令，将历史海洋数据的温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向发送至缓存预测中心作为多个通道输入，训练缓存预测模型；发送缓存预测指令，将合作项目的预测预报数据输入缓存预测模型，预测该数据的访问概率；
第三步、海洋大数据平台采集实时海洋数据，将实时数据持久化存储的同时，向缓存加载中心发送缓存更新指令，将最新高概率“海洋网格”的真实数据缓存空间的预测预报数据；海洋大数据平台进行实时数据处理及数据可视化；
第四步、人工结束海洋大数据平台；
所述的缓存预测中心的运行方法，如图5所示，具体步骤如下：
第一步、初始化缓存预测程序，缓存预测中心进入监听状态，等待海洋大数据平台指令，海洋大数据会向缓存预测中心平台发送的模型训练指令、缓存预测指令；
第二步、收到模型训练指令，分割海洋大数据平台发送过来的历史海洋数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型进行模型训练，保存缓存预测模型；
第四步、收到缓存预测指令，分割海洋大数据平台发送过来的预测预报数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型，进行缓存加载预测，得到每一个预测预报“海洋网格”的访问概率；
第五步、向缓存加载中心发送缓存更新指令，并发送缓存预测结果，通过缓存加载中心完成缓存更新；
所述的缓存加载中心的运行方法，如图6所示，具体步骤如下：
第一步、初始化缓存加载中心程序，等待来自海洋大数据平台和缓存预测中心的指令表达式；
第二步、等待海洋大数据平台发送的指令；指令分为普通操作指令与缓存更新指令，普通操作指令实现重启程序与结束程序的操作；海洋大数据平台采集到实时数据，同时向缓存加载中心发送缓存更新指令，用最新真实“海洋网格”数据替换掉预测预报数据；
第三步、等待缓存预测中心传递的缓存预测结果；查询持久化存储空间，将已预测
出最高概率的个“海洋网格”真实数据和未来预测预报数据加载到缓存空间中；
第四步、如果缓存加载失败，会检测问题，并重新加载缓存；
第五步、当收到缓存预测中心发来的结束程序的指令，会运行销毁程序，结束缓存加载中心的运行。
实施例3
在持久化存储空间中存储历史海洋数据以及用户在海洋大数据平台中访问数据的次数。使用训练后的缓存预测模型对海洋数据进行预测，将预测结果与访问次数比对，计算缓存命中率。
缓存命中率=；
本实验选取2022年之前数据集进行模型训练，输入2023年上半年海洋数据进行预测，缓存命中率计算结果如下表1所示。
表1缓存预测模型的缓存预测结果
；
可以看到，缓存预测模型能够有效地识别和预测用户对海洋数据的访问模式，从而显著提高了缓存系统的效率。实验结果说明本系统可以将用户要请求的数据预先缓存，这不仅减少了数据检索时间，也降低了网络负载和数据处理的延迟。
Claims (7)
1.一种海洋大数据缓存加载系统的运行方法，所述系统包括海洋大数据平台、缓存预测中心、缓存加载中心，海洋大数据平台将历史海洋数据集发送至缓存预测中心，缓存预测中心进行模型训练，得到缓存预测模型；将未来时间的预测预报数据输入缓存预测模型，预测出数据访问概率；缓存加载中心根据缓存预测中心预测出的数据访问概率，在用户访问数据之前，提前将相关数据加载到缓存中，完成主动缓存加载；海洋大数据平台实时采集海洋数据并持久化存储，同时在缓存空间用实时数据替换原有的预测预报数据；定期根据现有海洋数据重新进行模型训练及预测；其特征在于，所述方法包括海洋大数据平台的运行方法、缓存预测中心的运行方法和缓存加载中心的运行方法；
所述海洋大数据平台的运行方法具体步骤如下：
第一步、等待人工指令，人工开始运行海洋大数据平台，设置指令执行周期；
第二步、海洋大数据平台向缓存预测中心发送指令，指令分为模型训练指令、缓存预测指令；发送模型训练指令，将历史海洋数据的温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期、波向发送至缓存预测中心作为多个通道输入，训练缓存预测模型；发送缓存预测指令，将合作项目的预测预报数据输入缓存预测模型，预测该数据的访问概率；
第三步、海洋大数据平台采集实时海洋数据，将实时数据持久化存储的同时，向缓存加载中心发送缓存更新指令，将最新高概率“海洋网格”的真实数据缓存空间的预测预报数据；海洋大数据平台进行实时数据处理及数据可视化；
第四步、人工结束海洋大数据平台；
所述的缓存预测中心的运行方法具体步骤如下：
第一步、初始化缓存预测程序，缓存预测中心进入监听状态，等待海洋大数据平台指令，海洋大数据会向缓存预测中心平台发送的模型训练指令、缓存预测指令；
第二步、收到模型训练指令，分割海洋大数据平台发送过来的历史海洋数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型进行模型训练，保存缓存预测模型；
第四步、收到缓存预测指令，分割海洋大数据平台发送过来的预测预报数据为“海洋网格”，将每一个“海洋网格”输入缓存预测模型，进行缓存加载预测，得到每一个预测预报“海洋网格”的访问概率；
第五步、向缓存加载中心发送缓存更新指令，并发送缓存预测结果，通过缓存加载中心完成缓存更新；
所述的缓存加载中心的运行方法具体步骤如下：
第一步、初始化缓存加载中心程序，等待来自海洋大数据平台和缓存预测中心的指令表达式；
第二步、等待海洋大数据平台发送的指令；指令分为普通操作指令与缓存更新指令，普通操作指令实现重启程序与结束程序的操作；海洋大数据平台采集到实时数据，同时向缓存加载中心发送缓存更新指令，用最新真实“海洋网格”数据替换掉预测预报数据；
第三步、等待缓存预测中心传递的缓存预测结果；查询持久化存储空间，将已预测出最高概率的nG个“海洋网格”真实数据和未来预测预报数据加载到缓存空间中；
第四步、如果缓存加载失败，会检测问题，并重新加载缓存；
第五步、当收到缓存预测中心发来的结束程序的指令，会运行销毁程序，结束缓存加载中心的运行。
2.根据权利要求1所述的一种海洋大数据缓存加载系统的运行方法，其特征在于，使用卷积长短期记忆神经网络模型实现的缓存内容的预测。
3.根据权利要求1所述的一种海洋大数据缓存加载系统的运行方法，其特征在于，将海洋数据集划分为N个“海洋网格”，对每个网格预测预报数据，每个网格的大小为特征包括温度、盐度、气压、1/3波高、1/3波周期、1/10波高、1/10波周期和波向。
4.根据权利要求1所述的一种海洋大数据缓存加载系统的运行方法，其特征在于，通过叠加多个卷积长短期记忆神经网络层并形成一个编码-预测结构，编码-预测结构分为两个网络：编码网络和预测网络；两种网络都是通过叠加几个卷积长短期记忆神经网络层而形成的。
5.根据权利要求1所述的海洋大数据缓存加载系统的运行方法，其特征在于，所述的“海洋网格”的访问概率的获得方法如下：首先从合作项目中获取未来时间段的预测预报海洋数据，将预测预报海洋数据的不同参数作为多通道输入，对每个通道进行独立卷积，编码网络处理完所有时间步后，编码网络的单元状态和输出状态复制到预测网络，预测网络预测输入网格的访问概率，将预测网络中的所有状态连接起来，并将它们馈送到1×1的卷积层中以生成多通道的预测信息，将预测信息作为全连接层的多通道输入，全连接层聚合前层信息生成一个单通道输出作为生成的最终预测结果，即“访问概率”。
6.一种海洋大数据缓存加载的装置，其特征在于，所述装置包括海洋大数据平台模块、缓存预测中心模块和缓存加载中心模块；
所述海洋大数据平台模块运行权利要求1所述海洋大数据平台的运行方法的具体步骤；
所述缓存预测中心模块运行权利要求1所述缓存预测中心的运行方法的具体步骤；
所述缓存加载中心模块运行权利要求1所述缓存加载中心的运行方法的具体步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述海洋大数据缓存加载系统的运行方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311773800.2A CN117453751B (zh) | 2023-12-22 | 2023-12-22 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311773800.2A CN117453751B (zh) | 2023-12-22 | 2023-12-22 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117453751A CN117453751A (zh) | 2024-01-26 |
| CN117453751B true CN117453751B (zh) | 2024-03-26 |
Family
ID=89591271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311773800.2A Active CN117453751B (zh) | 2023-12-22 | 2023-12-22 | 海洋大数据缓存加载系统、运行方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117453751B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118332018A (zh) * | 2024-06-12 | 2024-07-12 | 成都数智创新精益科技有限公司 | 一种基于缓存预热的数据查询方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163773A (en) * | 1998-05-05 | 2000-12-19 | International Business Machines Corporation | Data storage system with trained predictive cache management engine |
| CN106599995A (zh) * | 2016-12-09 | 2017-04-26 | 上海海事大学 | 一种根据海洋气象信息预测船舶航行气象因子的方法 |
| CN106908143A (zh) * | 2017-03-01 | 2017-06-30 | 中国海洋大学 | 海洋平台监测系统及方法 |
| CN113535788A (zh) * | 2021-07-12 | 2021-10-22 | 中国海洋大学 | 一种面向海洋环境数据的检索方法、系统、设备及介质 |
| CN113849532A (zh) * | 2021-09-24 | 2021-12-28 | 中国第一汽车股份有限公司 | 缓存预热方法、装置、计算机设备和存储介质 |
| CN114840573A (zh) * | 2022-04-06 | 2022-08-02 | 浙江省海洋科学院(浙江省海洋技术服务中心) | 一种基于数据分析的海灾智能监测系统及方法 |
| CN115238937A (zh) * | 2021-04-22 | 2022-10-25 | 中国科学院沈阳自动化研究所 | 一种海洋温盐预测方法及系统 |
| CN116910534A (zh) * | 2023-06-07 | 2023-10-20 | 吴昊臻 | 一种不同海域海洋环境要素时空智能预测方法和装置 |
| CN117056250A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 一种缓存替换方法、装置、电子设备及存储介质 |
| CN117194502A (zh) * | 2023-11-02 | 2023-12-08 | 北京理工大学 | 一种基于长短期记忆网络的数据库内容缓存替换方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7499453B2 (en) * | 2000-05-19 | 2009-03-03 | Cisco Technology, Inc. | Apparatus and methods for incorporating bandwidth forecasting and dynamic bandwidth allocation into a broadband communication system |
-
2023
- 2023-12-22 CN CN202311773800.2A patent/CN117453751B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6163773A (en) * | 1998-05-05 | 2000-12-19 | International Business Machines Corporation | Data storage system with trained predictive cache management engine |
| CN106599995A (zh) * | 2016-12-09 | 2017-04-26 | 上海海事大学 | 一种根据海洋气象信息预测船舶航行气象因子的方法 |
| CN106908143A (zh) * | 2017-03-01 | 2017-06-30 | 中国海洋大学 | 海洋平台监测系统及方法 |
| CN115238937A (zh) * | 2021-04-22 | 2022-10-25 | 中国科学院沈阳自动化研究所 | 一种海洋温盐预测方法及系统 |
| CN113535788A (zh) * | 2021-07-12 | 2021-10-22 | 中国海洋大学 | 一种面向海洋环境数据的检索方法、系统、设备及介质 |
| CN113849532A (zh) * | 2021-09-24 | 2021-12-28 | 中国第一汽车股份有限公司 | 缓存预热方法、装置、计算机设备和存储介质 |
| CN114840573A (zh) * | 2022-04-06 | 2022-08-02 | 浙江省海洋科学院(浙江省海洋技术服务中心) | 一种基于数据分析的海灾智能监测系统及方法 |
| CN116910534A (zh) * | 2023-06-07 | 2023-10-20 | 吴昊臻 | 一种不同海域海洋环境要素时空智能预测方法和装置 |
| CN117056250A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 一种缓存替换方法、装置、电子设备及存储介质 |
| CN117194502A (zh) * | 2023-11-02 | 2023-12-08 | 北京理工大学 | 一种基于长短期记忆网络的数据库内容缓存替换方法 |
Non-Patent Citations (5)
| Title |
|---|
| Spontaneous Reload Cache: Mimicking a Larger Cache with Minimal Hardware Requirement;Lunkai Zhang等;2013 IEEE Eighth International Conference on Networking, Architecture and Storage;20131203;全文 * |
| Web cache intelligent replacement strategy combined with GDSF and SVM network re-accessed probability prediction;Chao, Wang;JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING;20200302;第11卷(第2期);全文 * |
| 一种基于LRU算法改进的缓存方案研究与实现;廖鑫;电子工程师;20080924;第34卷(第7期);全文 * |
| 基于多查询特性的搜索引擎缓存替换策略研究;房耘耘;现代计算机(专业版);20150815;第2015卷(第23期);全文 * |
| 支持大规模地震探测数据快速可视化的云端数据缓存技术;魏晓辉;崔浩龙;李洪亮;白鑫;;吉林大学学报(理学版);20180926;第56卷(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117453751A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11874640B2 (en) | Wind power prediction method and system for optimizing deep transformer network | |
| CN117453751B (zh) | 海洋大数据缓存加载系统、运行方法、装置和介质 | |
| CN111033535B (zh) | 用于乘车订单调度的系统和方法 | |
| CN113077097B (zh) | 一种基于深度时空相似性的空气质量预测方法 | |
| US20230400301A1 (en) | Tropical instability wave early warning method and device based on temporal-spatial cross-scale attention fusion | |
| CN116316612B (zh) | 自动机器学习的新能源功率云边协同预测方法及系统 | |
| CN116316617B (zh) | 多场站智能融合的新能源发电功率区域预测方法和系统 | |
| CN112181659B (zh) | 云仿真内存资源预测模型构建方法与内存资源预测方法 | |
| Xiong et al. | Access patterns mining from massive spatio-temporal data in a smart city | |
| CN116112563A (zh) | 一种基于流行度预测的双策略自适应缓存替换方法 | |
| CN117293809A (zh) | 一种基于大模型的多时空尺度新能源发电功率预测方法 | |
| CN112036598A (zh) | 一种基于多信息耦合的充电桩使用信息预测方法 | |
| US20240256995A1 (en) | Controlling resource requirements | |
| Zhu et al. | Application of bionic algorithm based on CS-SVR and BA-SVR in short-term traffic state prediction modeling of urban road | |
| CN117556312A (zh) | 一种极端天气下的电网输电线路故障预测方法及系统 | |
| CN116304213B (zh) | 基于图神经网络的rdf图数据库子图匹配查询优化方法 | |
| CN116467281A (zh) | 数据库管理系统参数调优及模型训练方法、系统和设备 | |
| CN115936208A (zh) | 基于深度混合学习模型的短期电力负荷预测方法及装置 | |
| Xue et al. | Urban population density estimation based on spatio‐temporal trajectories | |
| CN115310709A (zh) | 一种基于粒子群算法的电力工程项目信息优化方法 | |
| CN112685690A (zh) | 云平台下基于粗糙超立方体的大规模特征选择方法 | |
| CN118536407B (zh) | 一种基于符号动态分析的海面风速预测算法及系统 | |
| CN116680486B (zh) | 基于时空注意力机制的用户兴趣预测方法 | |
| CN118378093B (zh) | 模型训练方法、可充电泊位数预测方法、电子装置和介质 | |
| CN118013290B (zh) | 一种电离层tec预报方法、系统、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |