CN114115730B - 一种应用容器存储引擎平台 - Google Patents

一种应用容器存储引擎平台 Download PDF

Info

Publication number
CN114115730B
CN114115730B CN202111288414.5A CN202111288414A CN114115730B CN 114115730 B CN114115730 B CN 114115730B CN 202111288414 A CN202111288414 A CN 202111288414A CN 114115730 B CN114115730 B CN 114115730B
Authority
CN
China
Prior art keywords
data
stored
sub
storage
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111288414.5A
Other languages
English (en)
Other versions
CN114115730A (zh
Inventor
刘坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yindun Tai'an Network Technology Co ltd
Original Assignee
Beijing Yindun Tai'an Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yindun Tai'an Network Technology Co ltd filed Critical Beijing Yindun Tai'an Network Technology Co ltd
Priority to CN202111288414.5A priority Critical patent/CN114115730B/zh
Publication of CN114115730A publication Critical patent/CN114115730A/zh
Application granted granted Critical
Publication of CN114115730B publication Critical patent/CN114115730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种应用容器存储引擎平台，包括分配模块，用于为所述应用容器分配存储卷；获取模块，用于获取所述应用容器运行时产生的待存储数据；第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。有益效果：对应用容器进行私有存储，对应用容器产生的数据进行分布式存储，极大的增加了后期管理的效率，保证用户查询数据时的快速性及准确性。

Description

一种应用容器存储引擎平台
技术领域
本发明涉及存储技术领域，特别涉及一种应用容器存储引擎平台。
背景技术
应用容器技术已经引起了业内的广泛关注，有充分的证据表明，应用容器技术能够大大提升工作效率。但在应用容器运行过程中，会产生大量的运行数据，以往对应用容器的运行数据进行存储时，都是将运行数据存储到一起，不仅会增加后续查找的时间，且不方便对数据进行管理。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出了一种应用容器存储引擎平台，对应用容器进行私有存储，对应用容器产生的数据进行分布式存储，极大的增加了后期管理的效率，保证用户查询数据时的快速性及准确性。
为达到上述目的，本发明提出了一种应用容器存储引擎平台，包括：
分配模块，用于为所述应用容器分配存储卷；
获取模块，用于获取所述应用容器运行时产生的待存储数据；
第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。
进一步地，所述获取模块，还用于获取所述应用容器中的镜像文件；
所述第一控制模块，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。
进一步地，所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。
进一步地，所述分配模块包括：
标识获取模块，用于获取所述应用容器的标识；
第二控制模块，用于根据所述标识为所述应用容器分配相应的存储卷。
进一步地，所述存储卷中包括若干个存储节点。
进一步地，所述第一控制模块包括：
数据处理模块，用于：
根据所述待存储数据生成第一数据矩阵；
计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；
根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；
对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；
对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；
根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；
根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；
数据分割模块，用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；
模型建立模块，用于：
构建类型信息获取模型；
获取样本子待存储数据及样本子待存储数据相对应的类型；
基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；
在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；
将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；
数据存储模块，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中。
进一步地，还包括：
检测模块，用于：
在所述数据存储模块对所述第一子待存储数据存储前，获取所述第一子待存储数据的数据量；
计算所述第一子待存储数据相对应的存储节点的剩余存储容量；
扩容模块，用于在所述第一子待存储数据的数据量大于所述子待存储数据相对应的存储节点的剩余存储容量时，对所述存储节点的存储空间进行扩容。
进一步地，所述第一控制模块，还包括：
数据清洗模块，用于：
在所述数据处理模块对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；
分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；
分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；
对所述第二特征向量进行降维处理，得到每个第二子待存储数据的哈希值；
将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；
将所述冗余数据从待存储数据中进行剔除处理；
基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；
在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；
判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一清洗策略进行调整，得到第二清洗策略；
获取所述待存储数据中已清洗数据及未清洗数据；
根据所述第二清洗策略对所述未清洗数据进行清洗。
进一步地，所述第一控制模块，还包括：
数据加密模块，用于在所述数据存储模块对所述第一子待存储数据存储前，对所述第一子待存储数据进行加密。
进一步地，所述数据加密模块，包括：
加密指令获取模块，用于根据所述第一子待存储数据的类型查询预设数据类型-加密指令表，得到相对应的加密指令；
第三控制模块，用于根据所述加密指令对所述第一子待存储数据进行加密处理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一种应用容器存储引擎平台的框图；
图2为根据本发明一实施例的一种应用容器存储引擎平台的框图；
图3为根据本发明又一实施例的一种应用容器存储引擎平台的框图。
附图标记：
分配模块1、获取模块2、第一控制模块3、标识获取模块4、第二控制模块5、数据清洗模块6、数据处理模块7、数据分割模块8、模型建立模块9、数据存储模块10。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面参考图1至图3来描述本发明实施例提出的一种应用容器存储引擎平台。
如图1所示，一种应用容器存储引擎平台，包括：
分配模块1，用于为所述应用容器分配存储卷；
获取模块2，用于获取所述应用容器运行时产生的待存储数据；
第一控制模块3，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。
上述方案的工作原理：分配模块1，用于为所述应用容器分配存储卷；获取模块2，用于获取所述应用容器运行时产生的待存储数据；第一控制模块3用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中。
上述方案的有益效果：应用容器中的应用在运行过程中，会产生大量的运行数据，对运行数据的存储成了一个大的问题，对应用容器进行私有存储，对应用容器产生的数据进行分布式存储，极大的增加了后期管理的效率，保证用户查询数据时的快速性及准确性。
根据本发明的一些实施例，所述获取模块2，还用于获取所述应用容器中的镜像文件；所述第一控制模块3，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。
上述方案的工作原理：所述获取模块2，还用于获取所述应用容器中的镜像文件；所述第一控制模块3，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。
上述方案的有益效果：若存储应用容器相对应存储卷中的服务器损坏，会导致应用容器中的应用无法运行，进而造成用户的体验感下降，将应用容器中的镜像文件保存至与当前存储卷相邻的上一个存储卷中，可以防止因服务器故障导致应用容器中的应用无法运行的情况，在服务器发发生故障时，连接至当前存储卷相邻的上一个存储卷，进而实现应用的正常运行，提高用户的体验感。
根据本发明的一些实施例，所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。
上述方案的工作原理及有益效果：所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。
如图2所示，根据本发明的一些实施例，所述分配模块1包括：
标识获取模块4，用于获取所述应用容器的标识；
第二控制模块5，用于根据所述标识为所述应用容器分配相应的存储卷。
上述方案的工作原理：标识获取模块4用于获取所述应用容器的标识；第二控制模块5用于根据所述标识为所述应用容器分配相应的存储卷。
上述方案的有益效果：每个应用容器都有相对应的标识，根据标识为应用容器分配存储卷，生成标识与存储卷的关联关系，便于后续的管理。
根据本发明的一些实施例，所述存储卷中包括若干个存储节点。
上述方案的工作原理及有益效果：所述存储卷中包括若干个存储节点，每个存储节点中数据的格式不同。
如图3所示，根据本发明的一些实施例，所述第一控制模块3包括：
数据处理模块7，用于：
根据所述待存储数据生成第一数据矩阵；
计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；
根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；
对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；
对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；
根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；
根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；
数据分割模块8，用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；
模型建立模块9，用于：
构建类型信息获取模型；
获取样本子待存储数据及样本子待存储数据相对应的类型；
基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；
在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；
将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；
数据存储模块10，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中。
上述方案的工作原理：数据处理模块7，用于根据所述待存储数据生成第一数据矩阵；计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；数据分割模块8用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；模型建立模块9用于构建类型信息获取模型；获取样本子待存储数据及样本子待存储数据相对应的类型；基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；数据存储模块10，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，在一实施例中，根据所述类型得到每个第一子待存储数据的存储方式，根据第一子待存储数据的类型及存储方式分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中。
上述方案的有益效果：数据处理模块7，用于根据所述待存储数据生成第一数据矩阵；计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；通过上述方法对待存储数据进行处理后节省了存储节点的存储空间，同时，降低了存储数据出错的概率，进而在读取该存储数据时，提高了数据容错保护的效果，数据分割模块8用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；对处理后的待存储数据进行数据分割处理是为了实现根据数据类型对数据进行分布式的存储；模型建立模块9用于构建类型信息获取模型；类型信息获取模型为神经网络模块；获取样本子待存储数据及样本子待存储数据相对应的类型；基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数更加的精确，提高最后检测数据类型的准确性，增加数据分类的精确性；将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；数据存储模块10，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中；数据存储模块10，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，在一实施例中，根据所述类型得到每个第一子待存储数据的存储方式，根据第一子待存储数据的类型及存储方式分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中；通过第一子待存储数据的类型确认存储方式及存储节点，节省了存储空间，便于后续对数据的管理，减少了管理的复杂性，提高了数据存储的精确性。
根据本发明的一些实施例，所述的应用容器存储引擎平台，还包括：
检测模块，用于：
在所述数据存储模块10对所述第一子待存储数据存储前，获取所述第一子待存储数据的数据量；
计算所述第一子待存储数据相对应的存储节点的剩余存储容量；
扩容模块，用于在所述第一子待存储数据的数据量大于所述子待存储数据相对应的存储节点的剩余存储容量时，对所述存储节点的存储空间进行扩容。
上述方案的工作原理：检测模块用于在所述数据存储模块10对所述第一子待存储数据存储前，获取所述第一子待存储数据的数据量；计算所述第一子待存储数据相对应的存储节点的剩余存储容量；扩容模块用于在所述第一子待存储数据的数据量大于所述子待存储数据相对应的存储节点的剩余存储容量时，对所述存储节点的存储空间进行扩容。
上述方案的有益效果：对待存储数据进行存储时，考虑存储节点的剩余存储空间是候必要的，在剩余存储空间小于待存储数据的数据量时，对存储节点的存储空间进行扩容，避免待存储数据无法存储到存储节点中，进而造成数据丢失的情况；保证了待存储数据的完整性。
根据本发明的一些实施例，所述第一控制模块3，还包括：
数据清洗模块6，用于：
在所述数据处理模块7对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；
分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；
分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；
对所述第二特征向量进行降维处理，得到每个第二子待存储数据的哈希值；
将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；
将所述冗余数据从待存储数据中进行剔除处理；
基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；
在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；
判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一清洗策略进行调整，得到第二清洗策略；
获取所述待存储数据中已清洗数据及未清洗数据；
根据所述第二清洗策略对所述未清洗数据进行清洗。
上述方案的工作原理：数据清洗模块6，用于在所述数据处理模块7对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的第二特征值，所谓空间维度，可以简单的理解为空间不断延伸的方向，不同的维度就是不同的方向。第二特征值表征在第二子待存储数据在不同维度空间中的强度；分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，示例的，若所有空间维度的预设特征值都为0，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，，即筛选出第二特征值不为0的空间维度，最大限度的保证原始数据的数据特征；将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；那么，第二特征向量相对于第一特征向量，更加精确的表征着第二子待存储数据的数据特征；对所述第二特征向量进行降维处理，得到每个第二子待存储数据的哈希值；将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；将所述冗余数据从待存储数据中进行剔除处理；基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一清洗策略进行调整，得到第二清洗策略；获取所述待存储数据中已清洗数据及未清洗数据；根据所述第二清洗策略对所述未清洗数据进行清洗。
上述方案的有益效果：数据清洗模块6，用于在所述数据处理模块7对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的第二特征值，所谓空间维度，可以简单的理解为空间不断延伸的方向，不同的维度就是不同的方向。第二特征值表征在第二子待存储数据在不同维度空间中的强度；分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，示例的，若所有空间维度的预设特征值都为0，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，最大限度的保证第二子待存储数据的特征，使得最终得到的第二子待存储数据的哈希值更加的精确；将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；第二特征向量相对于第一特征向量，更加精确的表征着第二子待存储数据的特征；对所述第二特征向量进行降维处理，是将第二特征向量中包括的目标空间维度直接降维到相应的汉明空间，得到每个第二子待存储数据的哈希值；此种方法生成的哈希值即保留了原始数据的相似度信息，其内部各维之间也能够相互线性无关，将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；将所述冗余数据从待存储数据中进行剔除处理；使得待存储数据数据更加的精简且精确，减少存储空间，基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；对待存储数据进行数据清洗，剔除掉待存储数据中的异常数据及无关数据；在待存储数据过多时，若清洗速率过低，会使得大量的运行数据聚集在一起，造成机器卡顿，在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一清洗策略进行调整，得到第二清洗策略；获取所述待存储数据中已清洗数据及未清洗数据；根据所述第二清洗策略对所述未清洗数据进行清洗，保证对待存储数据的清洗速率，进而提高对待存储数据存储时的存储效率，增加待存储数据的精确性，减少存储节点的存储空间。
根据本发明的一些实施例，所述第一控制模块3，还包括：
数据加密模块，用于在所述数据存储模块10对所述第一子待存储数据存储前，对所述第一子待存储数据进行加密。
上述方案的工作原理：数据加密模块用于在所述数据存储模块10对所述第一子待存储数据存储前，对所述第一子待存储数据进行加密。
上述方案的有益效果：对第一子待存储数据进行加密，保证第一子待存储数据的安全性，避免不法分子盗走数据。
根据本发明的一些实施例，所述数据加密模块，包括：
加密指令获取模块，用于根据所述第一子待存储数据的类型查询预设数据类型-加密指令表，得到相对应的加密指令；
第三控制模块，用于根据所述加密指令对所述第一子待存储数据进行加密处理。
上述方案的工作原理：加密指令获取模块，用于根据所述第一子待存储数据的类型查询预设数据类型-加密指令表，得到相对应的加密指令；第三控制模块，用于根据所述加密指令对所述第一子待存储数据进行加密处理。
上述方案的有益效果：根据待存储数据的类型查询预设数据类型-加密指令表，得到的加密指令更加的精确，保证加密指令的复杂性及唯一性，进而保证第一子待存储数据的安全性。
根据本发明的一些实施例，计算一个存储节点的剩余存储容量，包括：
计算所述存储节点的负载K，如公式(1)所示：
Figure BDA0003334058740000141
其中，λ为所述存储节点的可靠度；M为所述存储节点的节点度；ζ为所述存储节点的临界因子；
根据计算所述存储节点的负载K，计算所述存储节点的剩余存储容量ψ，如公式(2)所示：
ψ＝K(1+δ)×μ-W (2)
其中，δ为所述存储节点对已存储数据的最大调整系数；μ为所述存储节点的容量系数；W为所述存储节点已存储的数据量。
上述方案的工作原理及有益效果：在计算存储节点的剩余存储容量时，考虑所述存储节点对已存储数据的最大调整系数、所述存储节点的容量系数、所述存储节点已存储的数据量等因素，使得计算出来的剩余存储容量更加的精确，提高判断所述第一子待存储数据的数据量与所述剩余存储容量的精确性，便于在所述数据量大于所述剩余存储容量时，对所述存储节点的存储空间进行扩容，保证所述第一子待存储数据全部存储进去，保证了数据的完整性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种应用容器存储引擎平台，其特征在于，包括：
分配模块，用于为所述应用容器分配存储卷；
获取模块，用于获取所述应用容器运行时产生的待存储数据；
第一控制模块，用于对所述待存储数据进行数据处理，将经过数据处理后的待存储数据存储至所述存储卷中；
所述第一控制模块包括：
数据处理模块，用于：
根据所述待存储数据生成第一数据矩阵；
计算所述第一数据矩阵中每列的均值，得到若干个列均值，根据所述若干个列均值生成所述待存储数据的列均值矩阵；
根据所述第一数据矩阵计算得到所述待存储数据的协方差矩阵；
对所述协方差矩阵进行分解，得到所述协方差矩阵的对角阵；
对所述对角阵中的包括的数值按照从大到小的顺序进行排序，筛选出排序后的前预设个数的数值，作为第一特征值，并生成特征值矩阵；
根据所述列均值矩阵及所述特征值矩阵对所述待存储数据进行降维处理，得到所述待存储数据的低维矩阵；
根据所述特征值矩阵及所述低维矩阵生成第二数据矩阵，根据所述第二数据矩阵得到处理后的待存储数据；
数据分割模块，用于对处理后的待存储数据进行数据分割处理，得到若干个第一子待存储数据；
模型建立模块，用于：
构建类型信息获取模型；
获取样本子待存储数据及样本子待存储数据相对应的类型；
基于样本子待存储数据及样本子待存储数据相对应的类型对构建的类型信息获取模型进行训练；
在对类型信息获取模型训练的过程中，计算训练误差，在确定所述训练误差小于预设训练误差时，得到所述类型信息获取模型的目标模型参数；
将所述目标模型参数作为所述类型信息获取模型的模型参数，得到训练好的类型信息获取模型；
数据存储模块，用于将每个第一子待存储数据分别输入训练好的类型信息获取模型中，输出每个第一子待存储数据相对应的类型，根据所述类型分别将每个第一子待存储数据存储至所述存储卷中相对应的存储节点中；
所述第一控制模块，还包括：
数据清洗模块，用于：
在所述数据处理模块对所述待存储数据进行数据处理前，对所述待存储数据进行数据分割处理，得到若干个第二子待存储数据；
分别将每个所述第二子待存储数据输入预先训练好的第一特征向量获取模型中，输出每个所述第二子待存储数据的第一特征向量；所述第一特征向量包括每个第二子待存储数据在若干个空间维度上的分别对应的第二特征值，每个空间维度对应一个第二特征值；
分别将每个第二子待存储数据的第二特征值与所述第二特征值对应的空间维度上的预设特征值进行比较，筛选出所述第二特征值大于预设特征值的空间维度，作为目标空间维度，将所述目标空间维度上的第二特征值作为第二子待存储数据的第二特征向量；
对所述第二特征向量进行降维处理，得到每个第二子待存储数据的哈希值；
将所述哈希值与预设数据库中的哈希值进行匹配，计算得到匹配度，筛选出所述匹配度大于等于预设匹配度的哈希值对应的第二子待存储数据，并作为冗余数据；
将所述冗余数据从待存储数据中进行剔除处理；
基于第一数据清洗策略对冗余数据剔除处理后的待存储数据进行数据清洗；
在基于所述第一数据清洗策略进行数据清洗时，获取所述待存储数据的当前清洗进度，根据所述当前清洗进度计算得到所述第一数据清洗策略的清洗速率；
判断所述清洗速率是否小于预设清洗速率，在确定所述清洗速率小于预设清洗速率时，计算所述清洗速率与预设清洗速率的差值，根据所述差值对所述第一数据清洗策略进行调整，得到第二清洗策略；
获取所述待存储数据中已清洗数据及未清洗数据；
根据所述第二清洗策略对所述未清洗数据进行清洗。
2.根据权利要求1所述的应用容器存储引擎平台，其特征在于，
所述获取模块，还用于获取所述应用容器中的镜像文件；
所述第一控制模块，还用于将所述镜像文件保存至与当前存储卷相邻的上一个存储卷中。
3.根据权利要求2所述的应用容器存储引擎平台，其特征在于，所述镜像文件包括所述应用容器的内核及所述应用容器中安装的软件。
4.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述分配模块包括：
标识获取模块，用于获取所述应用容器的标识；
第二控制模块，用于根据所述标识为所述应用容器分配相应的存储卷。
5.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述存储卷中包括若干个存储节点。
6.根据权利要求1所述的应用容器存储引擎平台，其特征在于，还包括：
检测模块，用于：
在所述数据存储模块对所述第一子待存储数据存储前，获取所述第一子待存储数据的数据量；
计算所述第一子待存储数据相对应的存储节点的剩余存储容量；
扩容模块，用于在所述第一子待存储数据的数据量大于所述子待存储数据相对应的存储节点的剩余存储容量时，对所述存储节点的存储空间进行扩容。
7.根据权利要求1所述的应用容器存储引擎平台，其特征在于，所述第一控制模块，还包括：
数据加密模块，用于在所述数据存储模块对所述第一子待存储数据存储前，对所述第一子待存储数据进行加密。
8.根据权利要求7所述的应用容器存储引擎平台，其特征在于，所述数据加密模块，包括：
加密指令获取模块，用于根据所述第一子待存储数据的类型查询预设数据类型-加密指令表，得到相对应的加密指令；
第三控制模块，用于根据所述加密指令对所述第一子待存储数据进行加密处理。
CN202111288414.5A 2021-11-02 2021-11-02 一种应用容器存储引擎平台 Active CN114115730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288414.5A CN114115730B (zh) 2021-11-02 2021-11-02 一种应用容器存储引擎平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288414.5A CN114115730B (zh) 2021-11-02 2021-11-02 一种应用容器存储引擎平台

Publications (2)

Publication Number Publication Date
CN114115730A CN114115730A (zh) 2022-03-01
CN114115730B true CN114115730B (zh) 2023-06-13

Family

ID=80380115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288414.5A Active CN114115730B (zh) 2021-11-02 2021-11-02 一种应用容器存储引擎平台

Country Status (1)

Country Link
CN (1) CN114115730B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032368A1 (zh) * 2016-08-13 2018-02-22 深圳市樊溪电子有限公司 基于压缩感知和稀疏重构算法的区块链系统数据处理方法
CN108984340A (zh) * 2018-06-06 2018-12-11 深圳先进技术研究院 存储器数据的容错保护方法、装置、设备及存储介质
CN109359439A (zh) * 2018-10-26 2019-02-19 北京天融信网络安全技术有限公司 软件检测方法、装置、设备及存储介质
CN110019205A (zh) * 2017-10-30 2019-07-16 杭州海康威视数字技术股份有限公司 一种数据存储、还原方法、装置及计算机设备
CN110362277A (zh) * 2019-07-19 2019-10-22 重庆大学 基于混合存储系统的数据分类存储方法
CN112579008A (zh) * 2020-12-24 2021-03-30 深信服科技股份有限公司 容器编排引擎的存储部署方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032368A1 (zh) * 2016-08-13 2018-02-22 深圳市樊溪电子有限公司 基于压缩感知和稀疏重构算法的区块链系统数据处理方法
CN110019205A (zh) * 2017-10-30 2019-07-16 杭州海康威视数字技术股份有限公司 一种数据存储、还原方法、装置及计算机设备
CN108984340A (zh) * 2018-06-06 2018-12-11 深圳先进技术研究院 存储器数据的容错保护方法、装置、设备及存储介质
CN109359439A (zh) * 2018-10-26 2019-02-19 北京天融信网络安全技术有限公司 软件检测方法、装置、设备及存储介质
CN110362277A (zh) * 2019-07-19 2019-10-22 重庆大学 基于混合存储系统的数据分类存储方法
CN112579008A (zh) * 2020-12-24 2021-03-30 深信服科技股份有限公司 容器编排引擎的存储部署方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114115730A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111709491B (zh) 基于自编码器的异常检测方法、装置、设备及存储介质
CN105718502B (zh) 用于高效特征匹配的方法和设备
US10885379B2 (en) Multi-view image clustering techniques using binary compression
WO2017124942A1 (zh) 一种异常访问检测方法及设备
US11501108B2 (en) Adding a fingerprint to a machine learning model
US11797412B2 (en) Block-based anomaly detection in computing environments
CN109146083B (zh) 特征编码方法和装置
US11481584B2 (en) Efficient machine learning (ML) model for classification
CN115412371A (zh) 基于物联网的大数据安全防护方法、系统及云平台
CN110912908A (zh) 网络协议异常检测方法、装置、计算机设备和存储介质
CN114584522B (zh) 一种物联网设备的识别方法、系统、介质及终端
CN110097120B (zh) 网络流量数据分类方法、设备及计算机存储介质
CN114115730B (zh) 一种应用容器存储引擎平台
CN112839055B (zh) 面向tls加密流量的网络应用识别方法、装置及电子设备
CN117061254B (zh) 异常流量检测方法、装置和计算机设备
CN114138402A (zh) 一种容器集群部署平台
Xu et al. Soda: Similar 3d object detection accelerator at network edge for autonomous driving
US20210103488A1 (en) Enhanced anomaly detection in computing environments
CN115563275A (zh) 一种多维度自适应日志分类分级方法和装置
CN110597977A (zh) 数据处理方法、装置、计算机设备和存储介质
US11995150B2 (en) Information processing method and information processing system
CN115665137A (zh) 一种数据处理方法及装置
CN112087448A (zh) 安全日志提取方法、装置和计算机设备
CN110489515B (zh) 通讯录检索的方法、服务器及存储介质
CN110716929A (zh) 一种布控处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant