CN112738156B - 一种适用于智能网关的独立镜像管理方法 - Google Patents

Abstract

本发明公开了一种适用于智能网关的独立镜像管理方法，包括，预处理采集的当前云平台对应的镜像文件，得到镜像文件数据集；基于深度神经网络搭建独立镜像管理模型，根据镜像文件数据集中的镜像文件属性依次进行网格划分，判断正负独立镜像倾向；结合判断结果并根据智能网关轮询规则设定数据查询周期；对划分后的镜像文件数据集进行周期性的数据查询，若有消息队列，则传送至云平台。本发明通过预处理对镜像文件进行筛选，结合模型对筛选后的镜像文件做进一步的判定，去除无关的数据，减小了传输数据的缓存空间，且通过轮询的方式剔除不包含消息的空白文件，大大提高了镜像文件独立管理效率并能够提高镜像文件启动运行速度。

Description

一种适用于智能网关的独立镜像管理方法

技术领域

本发明涉及智能网关独立镜像管理的技术领域，尤其涉及一种适用于智能网关的独立镜像管理方法。

背景技术

在虚拟化数据中心环境下，计算、存储和网络资源以虚拟机的形式交付用户使用，在存储设备上，虚拟机以镜像文件的形式存在，由于镜像文件较大，且可复用程度较高，通常选择具有高扩展特性的KEY-VALUE类型云存储资产库集中管理镜像文件。

在现有技术中，采用传统虚拟化数据中心存储拓扑结构来管理镜像文件，即在实际应用中镜像文件存储在云存储空间，若要启动运行镜像文件，需要将镜像文件由云存储空间复制到运行期存储空间进行管理，再由共享存储空间所在的服务器执行镜像文件的文件，但是虚拟机镜像文件较大，幅值时间较长，就导致了镜像文件启动运行速度较慢的问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种适用于智能网关的独立镜像管理方法，能够提高镜像文件启动运行速度。

为解决上述技术问题，本发明提供如下技术方案：包括，预处理采集的当前云平台对应的镜像文件，得到镜像文件数据集；基于深度神经网络搭建独立镜像管理模型，根据所述镜像文件数据集中的镜像文件属性依次进行网格划分，判断正负独立镜像倾向；结合判断结果并根据智能网关轮询规则设定数据查询周期；对划分后的所述镜像文件数据集进行周期性的数据查询，若有消息队列，则传送至所述云平台。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：还包括，若不存在所述消息队列，则删除当前查询位置所在的所述镜像文件，并增加新的所述镜像文件，等待周期性的所述数据查询。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：所述预处理包括，采集智能网关原始数据进行统计分析，汇总整理成待预处理的语料；利用Word2vec训练所述语料，得到词向量；对所述词向量进行中文分词、数据清洗和机械压缩去重处理，取其求和的平均值并设置独立极性标签，形成所述镜像文件数据集。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：构建所述独立镜像管理模型包括，句子特征提取和深度神经网络分类；所述句子特征提取包括，所述语料的输入、所述词向量的转化和句子向量特征提取；所述深度神经网络分类包括，输入节点、隐藏节点和输出节点。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：所述独立镜像管理模型需进行训练，包括，确定所述独立镜像管理模型待训练的训练集是已标定好的、大量的、与测试集相关的语料集；提前进行预实验以确定所述训练集与所述测试集在所述镜像文件数据集中的占比，根据预实验结果定义所述训练集与所述测试集的比例为8：2；利用句子向量化和单词向量化将所述训练集中的所述语料转换成计算机能够识别的计算机语言并输入所述独立镜像管理模型中进行训练；不断调整训练的所述独立镜像管理模型，直至输出的调试结果在正负独立镜像倾向判定的阈值内时结束训练；将所述测试集输入到训练好的所述独立镜像管理模型中进行测试，得到测试集语料的正负独立镜像倾向。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：所述判断包括，若输出结果位于阈值区间的左侧，则判断输入的所述语料的独立镜像倾向为负向；若输出结果位于阈值区间的右侧，则判断输入的所述语料的独立镜像倾向为正向。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：包括，将词、主题、文档作为所述独立镜像管理模型的约束条件，形成如下目标函数，

p(词语|文档)＝p(主题|文档)×p(词语|主题)

其中，p(词语|文档)是从给定的文档中计算得到，p(主题|文档)和p(词语|主题)进行拟合以调整其分布，直至符合单词文档的实际分布。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：轮询所述消息队列包括，启动线程，周期性的扫描所述镜像文件数据集内的所述消息队列；按照消息到期时间顺序依次读取延时消息记录，并判断所述延时消息记录的到期时间是否小于服务端的当前时间；若所述延时消息记录到期时间小于所述服务端的当前时间，则所述服务端将所述延时消息记录从所述消息队列中删除，并增加一条新的消息记录到所述镜像文件数据集内的到期消息队列中。

作为本发明所述的适用于智能网关的独立镜像管理方法的一种优选方案，其中：还包括，利用TCP接口协议与所述服务端建立长连接；客户端利用所述长连接向所述服务端拉取所述延时消息记录，并写入消息主题、到期时间；所述服务端检查所述到期消息队列内有无与写入的所述消息主题、到期时间一致的所述延时消息记录，并利用消息记录ID，从所述镜像文件数据集内读取完整的消息内容；将读取的所述消息内容反馈给所述客户端。

本发明的有益效果：本发明通过预处理对镜像文件进行筛选，结合模型对筛选后的镜像文件做进一步的判定，去除无关的数据，减小了传输数据的缓存空间，且通过轮询的方式剔除不包含消息的空白文件，大大提高了镜像文件独立管理效率并能够提高镜像文件启动运行速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的适用于智能网关的独立镜像管理方法的流程示意图；

图2为本发明第二个实施例所述的适用于智能网关的独立镜像管理方法的实验对比曲线示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，提供了一种适用于智能网关的独立镜像管理方法，包括：

S1：预处理采集的当前云平台对应的镜像文件，得到镜像文件数据集。其中需要说明的是，预处理包括：

采集智能网关原始数据进行统计分析，汇总整理成待预处理的语料；

利用Word2vec训练语料，得到词向量；

对词向量进行中文分词、数据清洗和机械压缩去重处理，取其求和的平均值并设置独立极性标签，形成镜像文件数据集。

S2：基于深度神经网络搭建独立镜像管理模型，根据镜像文件数据集中的镜像文件属性依次进行网格划分，判断正负独立镜像倾向。本步骤需要说明的是，构建独立镜像管理模型包括：

句子特征提取和深度神经网络分类；

句子特征提取包括，语料的输入、词向量的转化和句子向量特征提取；

深度神经网络分类包括，输入节点、隐藏节点和输出节点；

将词、主题、文档作为独立镜像管理模型的约束条件，形成如下目标函数，

p(词语|文档)＝p(主题|文档)×p(词语|主题)

其中，p(词语|文档)是从给定的文档中计算得到，p(主题|文档)和p(词语|主题)进行拟合以调整其分布，直至符合单词文档的实际分布。

进一步的，独立镜像管理模型需进行训练，包括：

确定独立镜像管理模型待训练的训练集是已标定好的、大量的、与测试集相关的语料集；

提前进行预实验以确定训练集与测试集在镜像文件数据集中的占比，根据预实验结果定义训练集与测试集的比例为8：2；

利用句子向量化和单词向量化将训练集中的语料转换成计算机能够识别的计算机语言并输入独立镜像管理模型中进行训练；

不断调整训练的独立镜像管理模型，直至输出的调试结果在正负独立镜像倾向判定的阈值内时结束训练；

将测试集输入到训练好的独立镜像管理模型中进行测试，得到测试集语料的正负独立镜像倾向。

具体的，判断包括：

若输出结果位于阈值区间的左侧，则判断输入的语料的独立镜像倾向为负向；

若输出结果位于阈值区间的右侧，则判断输入的语料的独立镜像倾向为正向。

S3：结合判断结果并根据智能网关轮询规则设定数据查询周期。其中还需要说明的是，轮询消息队列包括：

启动线程，周期性的扫描镜像文件数据集内的消息队列；

按照消息到期时间顺序依次读取延时消息记录，并判断延时消息记录的到期时间是否小于服务端的当前时间；

若延时消息记录到期时间小于服务端的当前时间，则服务端将延时消息记录从消息队列中删除，并增加一条新的消息记录到镜像文件数据集内的到期消息队列中。

S4：对划分后的镜像文件数据集进行周期性的数据查询，若有消息队列，则传送至云平台。本步骤还需要说明的是：

若不存在消息队列，则删除当前查询位置所在的镜像文件，并增加新的镜像文件，等待周期性的数据查询；

利用TCP接口协议与服务端建立长连接；

客户端利用长连接向服务端拉取延时消息记录，并写入消息主题、到期时间；

服务端检查到期消息队列内有无与写入的消息主题、到期时间一致的延时消息记录，并利用消息记录ID，从镜像文件数据集内读取完整的消息内容；

将读取的消息内容反馈给客户端。

优选的，redis(内存数据库，即云平台缓存空间)的消息队列和到期消息队列不存储消息的所有字段，只存储消息的主题、消息在数据库中的Id以及消息的到期的时间，信息的长度相对固定并且字节数很少，且保存在内存中，所以，服务端周期性的轮询镜像文件数据集中的消息队列不会产生磁盘读写，对服务器性能没有影响。

而现有常规方法是利用数据库将所有数据保存在磁盘中，如果数据中保存了大量的消息记录(例如百万级别的数据)，服务器直接轮询数据库的每一条消息都会产生大量的磁盘读写(写是因为要标记该条消息的状态是否已到期)，如果轮询的周期非常短，则会对服务器的性能造成很大的影响，例如，此时服务器发起对其他业务数据的读写，数据库会因为在频繁读写消息数据导致读写其他业务数据发生延时，进而影响其他的业务流程，造成数据访问的雪崩。

本发明方法通过采用独立镜像管理模型处理消息队列信息策略、镜像文件数据集存储完整消息内容策略，配合服务端定时轮询消息队列，进行延时时间和当前服务端时间的比对，实现延时消息的到期处理，从而达到提高镜像文件启动运行速度的目的。

实施例2

为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的虚拟化数据中心拓扑管理方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，验证本发明方法所具有的真实效果。

传统的虚拟化数据中心拓扑管理方法对镜像文件启动运行速度较长，为验证本发明方法相对于传统方法具有较快的启动运行速度，本实施例中将采用传统方法与本发明方法分别对仿真智能网关的镜像文件进行实时测量对比。

测试环境：将仿真智能网关运行在仿真平台模拟行驶并模拟镜像管理场景，采用历史云端存储的镜像文件作为测试样本，分别利用传统方法的复制操作进行镜像管理测试并获得测试结果，采用本发明方法，则开启自动化测试设备并运用MATLB实现本发明方法的仿真测试，根据实验结果得到仿真数据；每种方法各测试100组数据，计算获得每组数据的启动时间。

参照图2，实线为本发明方法输出的曲线，虚线为传统方法输出的曲线，根据图2的示意，能够直观的看出，实线与虚线随着时间的增加，呈现不同的走势，实线相较于虚线，在前期一直呈稳定的上升趋势，虽然后期有所下滑，但是波动不大，且一直在虚线的上方，并保持一定的距离，而虚线则呈现较大的波动趋势，不稳定，由此，实线的效率一直大于虚线，即验证了本发明方法所具有的真实效果。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种适用于智能网关的独立镜像管理方法，其特征在于：包括，

预处理采集的当前云平台对应的镜像文件，得到镜像文件数据集；

基于深度神经网络搭建独立镜像管理模型，根据所述镜像文件数据集中的镜像文件属性依次进行网格划分，判断正负独立镜像倾向；

结合判断结果并根据智能网关轮询规则设定数据查询周期；

对划分后的所述镜像文件数据集进行周期性的数据查询，若有消息队列，则传送至所述云平台；若不存在所述消息队列，则删除当前查询位置所在的所述镜像文件，并增加新的所述镜像文件，等待周期性的所述数据查询。

2.根据权利要求1所述的适用于智能网关的独立镜像管理方法，其特征在于：所述预处理包括，

采集智能网关原始数据进行统计分析，汇总整理成待预处理的语料；

利用Word2vec训练所述语料，得到词向量；

对所述词向量进行中文分词、数据清洗和机械压缩去重处理，取其求和的平均值并设置独立极性标签，形成所述镜像文件数据集。

3.根据权利要求1或2所述的适用于智能网关的独立镜像管理方法，其特征在于：构建所述独立镜像管理模型包括，句子特征提取和深度神经网络分类；

所述句子特征提取包括，语料的输入、词向量的转化和句子向量特征提取；

所述深度神经网络分类包括，输入节点、隐藏节点和输出节点。

4.根据权利要求3所述的适用于智能网关的独立镜像管理方法，其特征在于：所述独立镜像管理模型需进行训练，包括，

确定所述独立镜像管理模型待训练的训练集是已标定好的、大量的、与测试集相关的语料集；

提前进行预实验以确定所述训练集与所述测试集在所述镜像文件数据集中的占比，根据预实验结果定义所述训练集与所述测试集的比例为8：2；

利用句子向量化和单词向量化将所述训练集中的所述语料转换成计算机能够识别的计算机语言并输入所述独立镜像管理模型中进行训练；

不断调整训练的所述独立镜像管理模型，直至输出的调试结果在正负独立镜像倾向判定的阈值内时结束训练；

将所述测试集输入到训练好的所述独立镜像管理模型中进行测试，得到测试集语料的正负独立镜像倾向。

5.根据权利要求4所述的适用于智能网关的独立镜像管理方法，其特征在于：所述判断包括，

若输出结果位于阈值区间的左侧，则判断输入的所述语料的独立镜像倾向为负向；

若输出结果位于阈值区间的右侧，则判断输入的所述语料的独立镜像倾向为正向。

6.根据权利要求5所述的适用于智能网关的独立镜像管理方法，其特征在于：包括，

将词、主题、文档作为所述独立镜像管理模型的约束条件，形成如下目标函数，

p(词语|文档)＝p(主题|文档)×p(词语|主题)

其中，p(词语|文档)是从给定的文档中计算得到，p(主题|文档)和p(词语|主题)进行拟合以调整其分布，直至符合单词文档的实际分布。

7.根据权利要求6所述的适用于智能网关的独立镜像管理方法，其特征在于：轮询所述消息队列包括，

启动线程，周期性的扫描所述镜像文件数据集内的所述消息队列；

按照消息到期时间顺序依次读取延时消息记录，并判断所述延时消息记录的到期时间是否小于服务端的当前时间；

若所述延时消息记录到期时间小于所述服务端的当前时间，则所述服务端将所述延时消息记录从所述消息队列中删除，并增加一条新的消息记录到所述镜像文件数据集内的到期消息队列中。

8.根据权利要求7所述的适用于智能网关的独立镜像管理方法，其特征在于：还包括，

利用TCP接口协议与所述服务端建立长连接；

客户端利用所述长连接向所述服务端拉取所述延时消息记录，并写入消息主题、到期时间；

所述服务端检查所述到期消息队列内有无与写入的所述消息主题、到期时间一致的所述延时消息记录，并利用消息记录ID，从所述镜像文件数据集内读取完整的消息内容；

将读取的所述消息内容反馈给所述客户端。

Images