CN117370286A - 一种基于云平台的数据存储方法、系统及设备 - Google Patents

Abstract

本发明公开了一种基于云平台的数据存储方法、系统及设备，属于生态治理技术领域，该存储方法具体步骤如下：(1)对新加入的服务器进行共识处理；(2)收集各服务器节点信息并进行分类处理；(3)检测服务器传输数据安全性以过滤数据；(4)云平台接收服务器节点数据并进行存储；(5)实时优化云平台连接性能并检测日志数据；本发明能够自行寻找最优参数，无需手动设置参数，节省管理人员手动设置参数得时间，提高数据筛选精度，能够实现云平台网络去中心化，降低云平台网络对各服务器节点数据处理时的能耗，提高数据处理效率。

Description

一种基于云平台的数据存储方法、系统及设备

技术领域

本发明涉及生态治理技术领域，尤其涉及一种基于云平台的数据存储方法、系统及设备。

背景技术

随着数字技术和互联网的快速发展，互联网提供的服务种类越来越多，需要处理的数据量也越大。如何处理好海量的数据与服务，有效地为用户提供方便快捷的网络服务日益重要。云计算的到来为解决海量数据问题提供了良好的途径它提供了安全可靠的数据存储、方便快捷的互联网服务和强大的计算能力，改变了传统以PC机为基础的生产模式，最终改变人们获取信息。同时，随着云计算的推广和流行，如何高速率、低成本储存和管理生成于云端的大量数据，也成为了各大企业和组织研究重点，这就需要有良好的云结构设计、数据存储及处理模式和云平台的设计；

经检索，中国专利号CN113055705A公开了基于大数据分析的云计算平台数据存储方法，该发明虽然减少对无用数据的存储，但是需手动设置参数，浪费管理人员时间，同时人工设置参数容易降低数据筛选精度；此外，现有的基于云平台的数据存储方法、系统及设备对各服务器节点数据处理时的能耗高，数据处理效率低；为此，我们提出一种基于云平台的数据存储方法、系统及设备。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于云平台的数据存储方法、系统及设备。

为了实现上述目的，本发明采用了如下技术方案：

一种基于云平台的数据存储方法，该存储方法具体步骤如下：

(1)对新加入的服务器进行共识处理；

(2)收集各服务器节点信息并进行分类处理；

(3)检测服务器传输数据安全性以过滤数据；

(4)云平台接收服务器节点数据并进行存储；

(5)实时优化云平台连接性能并检测日志数据。

作为本发明的进一步方案，步骤(1)所述共识处理具体步骤如下：

步骤一：在入网时，云平台网络中各节点生成本地的公私钥对作为自己在网络中的标识，当A节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送公钥A、查询号以及验证字段；

步骤二：B节点对收到的申请进行验证，验证通过则向A节点返回公钥B以及同意指令，并不再同意新的申请；验证未通过则请求全网共识检查错误方，若B节点出错则修改本地记录再次验证，如A节点出错则返回公钥B以及错误指令；

步骤三：若A节点得到超过50％的节点同意，或在全节点都已投票后得票最高，则A节点成为领导节点，其他节点成为跟随节点，之后A节点广播区块记录信息公钥A，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数；广播结束后，跟随节点使用重复次数最多的信息生成区块头，并向A节点发送确认申请；

步骤四：A节点收到确认申请后检查新验证字段是否正确，若B节点出错则向其重新发送公钥A，并要求B节点向其他跟随节点发送请求信息，所有跟随节点发送的确认信息都验证通过后，A节点发送添加命令并进入沉睡期，在沉睡期内不能再次申请成为领导节点，直到结束沉睡期，跟随节点收到确认信息后,将新生成的服务器节点添加至云平台网络并返回候选身份。

作为本发明的进一步方案，步骤(2)所述分类处理具体步骤如下：

步骤Ⅰ：收集各服务器节点连接设备IP地址信息，同时对用户登陆状态进行分析，若用户未登陆，则禁止用户进行数据上传与调用云平台数据；

步骤Ⅱ：分类记录模块依据收集到的数据以及云平台数据构建关系型数据库数据表、云平台用户表、网关结构设计表以及服务器节点结构设计表，同时将收集到的数据录入相对应的记录表中。

作为本发明的进一步方案，步骤Ⅱ所述关系型数据库数据表主要记录后台管理员、应用、客户账号、节点属性、节点命令、网关标签表以及用户应用授权表；云平台用户表主要记录用户ID、用户名、登录密码以及用户地址；网关结构设计表主要记录网关ID、网关唯一标识以及网关所属用户；服务器节点结构设计表主要记录节点ID、节点所属网关以及节点描述。

作为本发明的进一步方案，步骤(3)所述服务器传输数据检测过滤具体步骤如下：

步骤①：从病毒数据库中以及互联网中采集网络病毒信息，同时将收集到的各组病毒信息转换至规定的统一格式，并通过归一化方法将各组病毒信息转换至0到1区间内；

步骤②：对转换后的病毒信息进行特征降维处理，再将各组病毒信息导入卷积神经网络中，并将病毒信息划分为测试集以及训练集，然后将训练集通过输入、卷积、池化、全连接和输出进行学习训练以获取分析检测模型；

步骤③：利用测试集对分析检测模型进行测试，若测试准确率满足期望值，则停止训练，然后自行寻找该模型最优参数，并对满足期望值的分析检测模型进行性能评估，即进行准确率、检出率和误报率评估；

步骤④：之后将各服务器传输数据导入分析检测模型中，同时设置模型具体参数，分析检测模型对各组传输数据检测并输出各组传输数据预测曲线，并对其中携带网络病毒的数据进行标记，同时中断相对应的用户端的连接。

作为本发明的进一步方案，步骤③所述分析检测模型最优参数具体寻找步骤如下：

S1：分析检测模型收集过往拦截信息，并从中选择一组数据作为观测数据，并将剩余拦截信息拟合成一组测试模型，再用观测数据来验证测试模型的精度，并通过均方根误差重复多次对该测试模型的拦截能力进行计算，同时对计算生成的精度参数进行收集；

S2：初始化参数范围，并依据系统预设或人工设置的学习率以及步长获取所有可能的数据结果以建立数据样本，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行预测，统计测试结果的均方根误差；

S3：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数。

作为本发明的进一步方案，步骤(5)所述日志数据具体检测步骤如下：

P1：日志检测模块在不同的服务器节点部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志数据，并使用logstash筛选出满足工作人员设定条件的日志数据；

P2：将剩余日志数据处理为统一格式的日志信息，之后将日志数据中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警分数进行计算并输出计算结果。

一种基于云平台的数据存储系统，包括用户端、服务器、云平台、分类记录模块、数据过滤模块、评估分析模块、病毒数据库、日志检测模块、管理端以及性能优化模块；

所述用户端用于用户与服务器通信连接并进行数据的相关操作；

所述服务器用于接收用户端操作指令并与云平台进行数据交互；

所述云平台用于进行数据存储以及调用；

所述分类记录模块用于对各服务器节点信息进行分类记录；

所述数据过滤模块用于对各服务器节点上传的数据进行检测过滤；

所述评估分析模块用于对数据过滤模块过滤性能进行评估反馈；

所述病毒数据库用于存储网络病毒信息，并通过网络以及人工增删数据的方式进行数据更新；

所述日志检测模块用于对各组服务器节点生成的日志数据进行风险评估，并中断异常操作行为；

所述管理端用于管理人员对云平台内部数据进行查看调整；

所述性能优化模块用于对云平台运行内存进行压缩优化。

一种基于云平台的数据存储设备，包括信息采集器、智能网关、PCIe总线、虚拟机、存储器、通信接口以及处理器；

所述处理器、通信接口以及存储器通过PCIe总线完成相互间的通信；

所述存储器用于存放数据；

所述智能网关用于核实服务器合法性；

所述信息采集器用于采集数据；

所述处理器用于执行管理人员预先设定的操作指令；

所述虚拟机用于实现服务器虚拟化。

相比于现有技术，本发明的有益效果在于：

1、该基于云平台的数据存储方法相较于以往存储方法，本发明通过分析检测模型收集过往拦截信息，并拟合成一组测试模型，再通过均方根误差重复多次对该测试模型的拦截能力进行计算，同时对计算生成的精度参数进行收集，之后依据系统预设或人工设置的学习率以及步长获取所有可能的数据结果以建立数据样本，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行预测，统计测试结果的均方根误差，再更换训练集以及测试集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数，能够自行寻找最优参数，无需手动设置参数，节省管理人员手动设置参数得时间，提高数据筛选精度。

2、该基于云平台的数据存储方法在入网时，云平台网络中各节点生成本地的公私钥对作为自己在网络中的标识，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送验证信息，其余节点对收到的申请进行验证，验证通过则返回同意指令，并不再同意新的申请；验证未通过则请求全网共识检查错误方，当该节点成为领导节点后，其他节点成为跟随节点，之后该节点收到确认申请后检查新验证字段是否正确，所有跟随节点发送的确认信息都验证通过后，该节点发送添加命令并进入沉睡期，在沉睡期内不能再次申请成为领导节点，直到结束沉睡期，跟随节点收到确认信息后,将新生成的服务器节点添加至云平台网络并返回候选身份，能够实现云平台网络去中心化，降低云平台网络对各服务器节点数据处理时的能耗，提高数据处理效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的一种基于云平台的数据存储方法的流程框图；

图2为本发明提出的一种基于云平台的数据存储系统的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

参照图1，本实施例公开了一种基于云平台的数据存储方法，该存储方法具体步骤如下：

对新加入的服务器进行共识处理。

具体的，在入网时，云平台网络中各节点生成本地的公私钥对作为自己在网络中的标识，当A节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送公钥A、查询号以及验证字段，B节点对收到的申请进行验证，验证通过则向A节点返回公钥B以及同意指令，并不再同意新的申请；验证未通过则请求全网共识检查错误方，若B节点出错则修改本地记录再次验证，如A节点出错则返回公钥B以及错误指令，若A节点得到超过50％的节点同意，或在全节点都已投票后得票最高，则A节点成为领导节点，其他节点成为跟随节点，之后A节点广播区块记录信息公钥A，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数；广播结束后，跟随节点使用重复次数最多的信息生成区块头，并向A节点发送确认申请，A节点收到确认申请后检查新验证字段是否正确，若B节点出错则向其重新发送公钥A，并要求B节点向其他跟随节点发送请求信息，所有跟随节点发送的确认信息都验证通过后，A节点发送添加命令并进入沉睡期，在沉睡期内不能再次申请成为领导节点，直到结束沉睡期，跟随节点收到确认信息后,将新生成的服务器节点添加至云平台网络并返回候选身份。

收集各服务器节点信息并进行分类处理。

具体的，收集各服务器节点连接设备IP地址信息，同时对用户登陆状态进行分析，若用户未登陆，则禁止用户进行数据上传与调用云平台数据，分类记录模块依据收集到的数据以及云平台数据构建关系型数据库数据表、云平台用户表、网关结构设计表以及服务器节点结构设计表，同时将收集到的数据录入相对应的记录表中。

需要进一步说明的是，关系型数据库数据表主要记录后台管理员、应用、客户账号、节点属性、节点命令、网关标签表以及用户应用授权表；云平台用户表主要记录用户ID、用户名、登录密码以及用户地址；网关结构设计表主要记录网关ID、网关唯一标识以及网关所属用户；服务器节点结构设计表主要记录节点ID、节点所属网关以及节点描述。

检测服务器传输数据安全性以过滤数据。

具体的，从病毒数据库中以及互联网中采集网络病毒信息，同时将收集到的各组病毒信息转换至规定的统一格式，并通过归一化方法将各组病毒信息转换至0到1区间内，对转换后的病毒信息进行特征降维处理，再将各组病毒信息导入卷积神经网络中，并将病毒信息划分为测试集以及训练集，然后将训练集通过输入、卷积、池化、全连接和输出进行学习训练以获取分析检测模型，利用测试集对分析检测模型进行测试，若测试准确率满足期望值，则停止训练，然后自行寻找该模型最优参数，并对满足期望值的分析检测模型进行性能评估，即进行准确率、检出率和误报率评估，之后将各服务器传输数据导入分析检测模型中，同时设置模型具体参数，分析检测模型对各组传输数据检测并输出各组传输数据预测曲线，并对其中携带网络病毒的数据进行标记，同时中断相对应的用户端的连接。

需要进一步说明的是，分析检测模型收集过往拦截信息，并从中选择一组数据作为观测数据，并将剩余拦截信息拟合成一组测试模型，再用观测数据来验证测试模型的精度，并通过均方根误差重复多次对该测试模型的拦截能力进行计算，同时对计算生成的精度参数进行收集，初始化参数范围，并依据系统预设或人工设置的学习率以及步长获取所有可能的数据结果以建立数据样本，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行预测，统计测试结果的均方根误差，之后将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数。

云平台接收服务器节点数据并进行存储。

实时优化云平台连接性能并检测日志数据。

具体的，日志检测模块在不同的服务器节点部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志数据，并使用logstash筛选出满足工作人员设定条件的日志数据，将剩余日志数据处理为统一格式的日志信息，之后将日志数据中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警分数进行计算并输出计算结果。

实施例2

参照图2，本实施例公开了一种基于云平台的数据存储系统，包括用户端、服务器、云平台、分类记录模块、数据过滤模块、评估分析模块、病毒数据库、日志检测模块、管理端以及性能优化模块；

用户端用于用户与服务器通信连接并进行数据的相关操作；服务器用于接收用户端操作指令并与云平台进行数据交互；云平台用于进行数据存储以及调用；分类记录模块用于对各服务器节点信息进行分类记录。

数据过滤模块用于对各服务器节点上传的数据进行检测过滤；评估分析模块用于对数据过滤模块过滤性能进行评估反馈；病毒数据库用于存储网络病毒信息，并通过网络以及人工增删数据的方式进行数据更新。

日志检测模块用于对各组服务器节点生成的日志数据进行风险评估，并中断异常操作行为；管理端用于管理人员对云平台内部数据进行查看调整；性能优化模块用于对云平台运行内存进行压缩优化。

此外，本实例中还公开了一种基于云平台的数据存储设备，包括信息采集器、智能网关、PCIe总线、虚拟机、存储器、通信接口以及处理器。

所述处理器、通信接口以及存储器通过PCIe总线完成相互间的通信。

所述存储器用于存放数据；所述智能网关用于核实服务器合法性；所述信息采集器用于采集数据；所述处理器用于执行管理人员预先设定的操作指令；所述虚拟机用于实现服务器虚拟化。

Claims (9)

1.一种基于云平台的数据存储方法，其特征在于，该存储方法具体步骤如下：

(1)对新加入的服务器进行共识处理；

(2)收集各服务器节点信息并进行分类处理；

(3)检测服务器传输数据安全性以过滤数据；

(4)云平台接收服务器节点数据并进行存储；

(5)实时优化云平台连接性能并检测日志数据。

2.根据权利要求1所述的一种基于云平台的数据存储方法，其特征在于，步骤(1)所述共识处理具体步骤如下：

步骤一：在入网时，云平台网络中各节点生成本地的公私钥对作为自己在网络中的标识，当A节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送公钥A、查询号以及验证字段；

步骤二：B节点对收到的申请进行验证，验证通过则向A节点返回公钥B以及同意指令，并不再同意新的申请；验证未通过则请求全网共识检查错误方，若B节点出错则修改本地记录再次验证，如A节点出错则返回公钥B以及错误指令；

步骤三：若A节点得到超过50％的节点同意，或在全节点都已投票后得票最高，则A节点成为领导节点，其他节点成为跟随节点，之后A节点广播区块记录信息公钥A，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数；广播结束后，跟随节点使用重复次数最多的信息生成区块头，并向A节点发送确认申请；

步骤四：A节点收到确认申请后检查新验证字段是否正确，若B节点出错则向其重新发送公钥A，并要求B节点向其他跟随节点发送请求信息，所有跟随节点发送的确认信息都验证通过后，A节点发送添加命令并进入沉睡期，在沉睡期内不能再次申请成为领导节点，直到结束沉睡期，跟随节点收到确认信息后,将新生成的服务器节点添加至云平台网络并返回候选身份。

3.根据权利要求1所述的一种基于云平台的数据存储方法，其特征在于，步骤(2)所述分类处理具体步骤如下：

步骤Ⅰ：收集各服务器节点连接设备IP地址信息，同时对用户登陆状态进行分析，若用户未登陆，则禁止用户进行数据上传与调用云平台数据；

步骤Ⅱ：分类记录模块依据收集到的数据以及云平台数据构建关系型数据库数据表、云平台用户表、网关结构设计表以及服务器节点结构设计表，同时将收集到的数据录入相对应的记录表中。

4.根据权利要求3所述的一种基于云平台的数据存储方法，其特征在于，步骤Ⅱ所述关系型数据库数据表主要记录后台管理员、应用、客户账号、节点属性、节点命令、网关标签表以及用户应用授权表；云平台用户表主要记录用户ID、用户名、登录密码以及用户地址；网关结构设计表主要记录网关ID、网关唯一标识以及网关所属用户；服务器节点结构设计表主要记录节点ID、节点所属网关以及节点描述。

5.根据权利要求1所述的一种基于云平台的数据存储方法，其特征在于，步骤(3)所述服务器传输数据检测过滤具体步骤如下：

步骤①：从病毒数据库中以及互联网中采集网络病毒信息，同时将收集到的各组病毒信息转换至规定的统一格式，并通过归一化方法将各组病毒信息转换至0到1区间内；

步骤②：对转换后的病毒信息进行特征降维处理，再将各组病毒信息导入卷积神经网络中，并将病毒信息划分为测试集以及训练集，然后将训练集通过输入、卷积、池化、全连接和输出进行学习训练以获取分析检测模型；

步骤③：利用测试集对分析检测模型进行测试，若测试准确率满足期望值，则停止训练，然后自行寻找该模型最优参数，并对满足期望值的分析检测模型进行性能评估，即进行准确率、检出率和误报率评估；

步骤④：之后将各服务器传输数据导入分析检测模型中，同时设置模型具体参数，分析检测模型对各组传输数据检测并输出各组传输数据预测曲线，并对其中携带网络病毒的数据进行标记，同时中断相对应的用户端的连接。

6.根据权利要求5所述的一种基于云平台的数据存储方法，其特征在于，步骤③所述分析检测模型最优参数具体寻找步骤如下：

S1：分析检测模型收集过往拦截信息，并从中选择一组数据作为观测数据，并将剩余拦截信息拟合成一组测试模型，再用观测数据来验证测试模型的精度，并通过均方根误差重复多次对该测试模型的拦截能力进行计算，同时对计算生成的精度参数进行收集；

S2：初始化参数范围，并依据系统预设或人工设置的学习率以及步长获取所有可能的数据结果以建立数据样本，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行预测，统计测试结果的均方根误差；

S3：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数。

7.根据权利要求1所述的一种基于云平台的数据存储方法，其特征在于，步骤(5)所述日志数据具体检测步骤如下：

P1：日志检测模块在不同的服务器节点部署相关的日志采集插件或者通过syslog服务器获取不同设备中所记录的日志数据，并使用logstash筛选出满足工作人员设定条件的日志数据；

P2：将剩余日志数据处理为统一格式的日志信息，之后将日志数据中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警分数进行计算并输出计算结果。

8.一种基于云平台的数据存储系统，其特征在于，包括用户端、服务器、云平台、分类记录模块、数据过滤模块、评估分析模块、病毒数据库、日志检测模块、管理端以及性能优化模块；

所述用户端用于用户与服务器通信连接并进行数据的相关操作；

所述服务器用于接收用户端操作指令并与云平台进行数据交互；

所述云平台用于进行数据存储以及调用；

所述分类记录模块用于对各服务器节点信息进行分类记录；

所述数据过滤模块用于对各服务器节点上传的数据进行检测过滤；

所述评估分析模块用于对数据过滤模块过滤性能进行评估反馈；

所述病毒数据库用于存储网络病毒信息，并通过网络以及人工增删数据的方式进行数据更新；

所述日志检测模块用于对各组服务器节点生成的日志数据进行风险评估，并中断异常操作行为；

所述管理端用于管理人员对云平台内部数据进行查看调整；

所述性能优化模块用于对云平台运行内存进行压缩优化。

9.一种基于云平台的数据存储设备，其特征在于，包括信息采集器、智能网关、PCIe总线、虚拟机、存储器、通信接口以及处理器；

所述处理器、通信接口以及存储器通过PCIe总线完成相互间的通信；

所述存储器用于存放数据；

所述智能网关用于核实服务器合法性；

所述信息采集器用于采集数据；

所述处理器用于执行管理人员预先设定的操作指令；

所述虚拟机用于实现服务器虚拟化。