CN112925793B - 一种多种结构数据分布式混合存储方法和系统 - Google Patents

一种多种结构数据分布式混合存储方法和系统 Download PDF

Info

Publication number
CN112925793B
CN112925793B CN202110334629.XA CN202110334629A CN112925793B CN 112925793 B CN112925793 B CN 112925793B CN 202110334629 A CN202110334629 A CN 202110334629A CN 112925793 B CN112925793 B CN 112925793B
Authority
CN
China
Prior art keywords
storage
data
task
type
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110334629.XA
Other languages
English (en)
Other versions
CN112925793A (zh
Inventor
王军平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saibo Yunrui Intelligent Technology Co ltd
Original Assignee
Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saibo Yunrui Intelligent Technology Co ltd filed Critical Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority to CN202110334629.XA priority Critical patent/CN112925793B/zh
Publication of CN112925793A publication Critical patent/CN112925793A/zh
Application granted granted Critical
Publication of CN112925793B publication Critical patent/CN112925793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种多种结构数据分布式混合存储方法和系统，其中方法包括：获取分布式存储网络的历史存储情况；解析历史存储情况，对存储节点的存储类型进行布局；获取当前待处理的存储任务的数据结构；基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整。本发明的多种结构数据分布式混合存储方法，优化存储模式，提高存储效率。

Description

一种多种结构数据分布式混合存储方法和系统
技术领域
本发明涉及分布式存储技术领域，特别涉及一种多种结构数据分布式混合存储方法和系统。
背景技术
目前，随着计算机技术的迅速发展，数据存储技术也日新月异。由原来的本地硬盘存储到分布式云存储；分布式云存储是一种网上在线存储的模式，即将资源被分布在众多的服务器主机上。但是，在分布式存储时，一个存储节点对应一种结构数据；即同一种结构数据存在多个可以存储的节点；各个结构的数据在存储效率受分布式存储网络上节点上存储节点的类型和数量的影响，当某一结构数据其对应的存储节点的数量多，存储效率就高，对应的存储节点的数量少时，存储效率就低；因此，亟需一种存储方法，实现无论存储何种结构数据，其存储效率都高。
发明内容
本发明目的之一在于提供了一种多种结构数据分布式混合存储方法，优化存储模式，提高存储效率。
本发明实施例提供的一种多种结构数据分布式混合存储方法，包括：
获取分布式存储网络的历史存储情况；
解析历史存储情况，对存储节点的存储类型进行布局；
获取当前待处理的存储任务的数据结构；
基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整。
优选的，解析历史存储情况，对存储节点的存储类型进行布局；包括：
基于预设的时间间隔对历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
其中，ρi,j为第j个时间间隔内第i个数据结构类型的数据量占第j个时间间隔的总数据量的占比；Qi,j为第j个时间间隔内第i个数据结构类型的数据量；n为数据结构类型的种类；
基于数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
优选的，基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整，包括：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应存储类型的存储节点占比；
将数据类型与存储类型一一对应，提取当前数据占比小于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，将存储类型对应的存储节点中存储类型可调的存储节点与差值对应数量的存储节点置为可调节点；
提取当前数据占比大于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，基于差值从可调节点中抽出与差值对应数量的存储节点将其存储类型置为当前数据占比对应的存储类型。
优选的，多种结构数据分布式混合存储方法，还包括：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对存储节点的存储类型进行调整；
其中，基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，任务预测库中第一任务向量与预测结果一一对应；
基于历史存储情况与当前待处理的存储任务构建第二任务向量；
计算第一任务向量与第二任务向量的相似度，计算公式如下：
其中，XS为第一任务向量与第二任务向量的相似度，n为第一任务向量的数据个数或第二任务向量的数据个数；ai为第一任务向量的第i个数据的值；bi为第二任务向量的第i个数据的值；
获取任务预测库中相似度最大的第一任务向量对应的预测结果，将获取的预测结果作为下一时刻的存储任务情况。
优选的，多种结构数据分布式混合存储方法，还包括：
获取分布式存储网络内的各个存储节点的第一位置；
基于各个存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值虚拟地图；
基于预设的规则，将第一位置与第二位置进行关联；
获取历史存储情况中第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与第二位置关联的第一位置对应的存储节点的存储类型置为与数据结构相对应；
其中，预设的规则包括：
第一位置和第二位置的距离差值小于预设距离阈值。
本发明还提供一种多种结构数据分布式混合存储系统，包括：
第一获取模块，用于获取分布式存储网络的历史存储情况；
布局模块，用于解析历史存储情况，对存储节点的存储类型进行布局；
第二获取模块，用于获取当前待处理的存储任务的数据结构；
调整模块，用于基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整。
优选的，布局模块执行如下操作：
基于预设的时间间隔对历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
其中，ρi,j为第j个时间间隔内第i个数据结构类型的数据量占第j个时间间隔的总数据量的占比；Qi,j为第j个时间间隔内第i个数据结构类型的数据量；n为数据结构类型的种类；
基于数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
优选的，调整模块执行如下操作：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应存储类型的存储节点占比；
将数据类型与存储类型一一对应，提取当前数据占比小于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，将存储类型对应的存储节点中存储类型可调的存储节点与差值对应数量的存储节点置为可调节点；
提取当前数据占比大于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，基于差值从可调节点中抽出与差值对应数量的存储节点将其存储类型置为当前数据占比对应的存储类型。
优选的，多种结构数据分布式混合存储系统，还包括：预调整模块，预调整模块执行如下操作：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对存储节点的存储类型进行调整；
其中，基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，任务预测库中第一任务向量与预测结果一一对应；
基于历史存储情况与当前待处理的存储任务构建第二任务向量；
计算第一任务向量与第二任务向量的相似度，计算公式如下：
其中，XS为第一任务向量与第二任务向量的相似度，n为第一任务向量的数据个数或第二任务向量的数据个数；ai为第一任务向量的第i个数据的值；bi为第二任务向量的第i个数据的值；
获取任务预测库中相似度最大的第一任务向量对应的预测结果，将获取的预测结果作为下一时刻的存储任务情况。
优选的，多种结构数据分布式混合存储系统，还包括：关联模块，关联模块执行如下操作：
获取分布式存储网络内的各个存储节点的第一位置；
基于各个存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值虚拟地图；
基于预设的规则，将第一位置与第二位置进行关联；
获取历史存储情况中第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与第二位置关联的第一位置对应的存储节点的存储类型置为与数据结构相对应；
其中，预设的规则包括：
第一位置和第二位置的距离差值小于预设距离阈值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种多种结构数据分布式混合存储方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种多种结构数据分布式混合存储方法，如图1所示，包括：
步骤S1：获取分布式存储网络的历史存储情况；
步骤S2：解析历史存储情况，对存储节点的存储类型进行布局；
步骤S3：获取当前待处理的存储任务的数据结构；
步骤S4：基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整。
上述技术方案的工作原理及有益效果为：
在分布式存储网络的存储节点，适配有对应的存储类型，对于存储类型相适应的结构数据具有较快的存储效率；故通过历史存储情况对分布式存储网络上的存储节点的存储类型进行布局，并且基于当前的存储任务进行分析，确定数据结构；数据结构包括：数据是何种结构化数据、以及对应的结构化数据的数据量；然后对布局好的存储节点的存储类型进行调整，以适应当前存储的数据任务的数据结构，优化数据存储的效率。布局除了可通过调整现有的存储节点的存储类型来实现，还可以添加新的对应存储类型的存储节点来实现。
在一个实施例中，解析历史存储情况，对存储节点的存储类型进行布局；包括：
基于预设的时间间隔对历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
其中，ρi,j为第j个时间间隔内第i个数据结构类型的数据量占第j个时间间隔的总数据量的占比；Qi,j为第j个时间间隔内第i个数据结构类型的数据量；n为数据结构类型的种类；
基于数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
上述技术方案的工作原理及有益效果为：
通过对存储节点的存储类型进行预设，预设的存储类型无需调整，而未预设的存储节点为可调，这样通过预设固化，实现有次序调整；避免多次无序调整，造成单次节点调整时，节点与节点的存储类型只是简单的互换，而造成每次需要调节的存储节点的数量的增多。
在一个实施例中，基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整，包括：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应存储类型的存储节点占比；
将数据类型与存储类型一一对应，提取当前数据占比小于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，将存储类型对应的存储节点中存储类型可调的存储节点与差值对应数量的存储节点置为可调节点；
提取当前数据占比大于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，基于差值从可调节点中抽出与差值对应数量的存储节点将其存储类型置为当前数据占比对应的存储类型。
上述技术方案的工作原理及有益效果为：
通过当前存储任务分析，对存储节点的存储类型进行调整，以适应当前的存储任务，提高存储任务处理效率。
在一个实施例中，多种结构数据分布式混合存储方法，还包括：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对存储节点的存储类型进行调整；
其中，基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，任务预测库中第一任务向量与预测结果一一对应；
基于历史存储情况与当前待处理的存储任务构建第二任务向量；
计算第一任务向量与第二任务向量的相似度，计算公式如下：
其中，XS为第一任务向量与第二任务向量的相似度，n为第一任务向量的数据个数或第二任务向量的数据个数；ai为第一任务向量的第i个数据的值；bi为第二任务向量的第i个数据的值；
获取任务预测库中相似度最大的第一任务向量对应的预测结果，将获取的预测结果作为下一时刻的存储任务情况。
上述技术方案的工作原理及有益效果为：
通过对下一时刻的任务进行预测分析，进行预调整，实现时刻与时刻之间过渡时的平缓调整，将调整提前化，以实现过渡期间的存储效率的优化。其中，神经网络模型为事先经过大量数据训练而得到的。任务预测库也是事先基于大量数据构建而成。因子表中预测因子与存储任务情况一一关联。
在一个实施例中，多种结构数据分布式混合存储方法，还包括：
获取分布式存储网络内的各个存储节点的第一位置；
基于各个存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值虚拟地图；
基于预设的规则，将第一位置与第二位置进行关联；
获取历史存储情况中第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与第二位置关联的第一位置对应的存储节点的存储类型置为与数据结构相对应；
其中，预设的规则包括：
第一位置和第二位置的距离差值小于预设距离阈值。
上述技术方案的工作原理及有益效果为：
在虚拟地图上将存储节点和存储任务输入位置进行映射关联；关联后对应存储连接，减少存储路径长度，提高存储效率。在一个位置输入的都是同样的数据结构，这样关联的存储节点也设置为对应的存储类型；在对存储节点的存储类型调整的基础上基于位置进一步优化存储效率；此外，当第二位置处输入的所有存储任务各个类型的数据结构都存在时，将与其关联的第一位置的存储节点置为可调数据节点的待预设节点；然后再通过解析历史存储情况，对存储节点的存储类型进行布局时确定为存储类型可调的存储节点。
本发明还提供一种多种结构数据分布式混合存储系统，包括：
第一获取模块，用于获取分布式存储网络的历史存储情况；
布局模块，用于解析历史存储情况，对存储节点的存储类型进行布局；
第二获取模块，用于获取当前待处理的存储任务的数据结构；
调整模块，用于基于当前待处理的存储任务的数据结构，对存储节点的存储类型进行调整。
上述技术方案的工作原理及有益效果为：
在分布式存储网络的存储节点，适配有对应的存储类型，对于存储类型相适应的结构数据具有较快的存储效率；故通过历史存储情况对分布式存储网络上的存储节点的存储类型进行布局，并且基于当前的存储任务进行分析，确定数据结构；数据结构包括：数据是何种结构化数据、以及对应的结构化数据的数据量；然后对布局好的存储节点的存储类型进行调整，以适应当前存储的数据任务的数据结构，优化数据存储的效率。布局除了可通过调整现有的存储节点的存储类型来实现，还可以添加新的对应存储类型的存储节点来实现。
在一个实施例中，布局模块执行如下操作：
基于预设的时间间隔对历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
其中，ρi,j为第j个时间间隔内第i个数据结构类型的数据量占第j个时间间隔的总数据量的占比；Qi,j为第j个时间间隔内第i个数据结构类型的数据量；n为数据结构类型的种类；
基于数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
上述技术方案的工作原理及有益效果为：
通过对存储节点的存储类型进行预设，预设的存储类型无需调整，而未预设的存储节点为可调，这样通过预设固化，实现有次序调整；避免多次无序调整，造成单次节点调整时，节点与节点的存储类型只是简单的互换，而造成每次需要调节的存储节点的数量的增多。
在一个实施例中，调整模块执行如下操作：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应存储类型的存储节点占比；
将数据类型与存储类型一一对应，提取当前数据占比小于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，将存储类型对应的存储节点中存储类型可调的存储节点与差值对应数量的存储节点置为可调节点；
提取当前数据占比大于存储节点占比的存储类型和数据类型，计算当前数据占比与存储节点占比的差值，基于差值从可调节点中抽出与差值对应数量的存储节点将其存储类型置为当前数据占比对应的存储类型。
上述技术方案的工作原理及有益效果为：
通过当前存储任务分析，对存储节点的存储类型进行调整，以适应当前的存储任务，提高存储任务处理效率。
在一个实施例中，多种结构数据分布式混合存储系统，还包括：预调整模块，预调整模块执行如下操作：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对存储节点的存储类型进行调整；
其中，基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，任务预测库中第一任务向量与预测结果一一对应；
基于历史存储情况与当前待处理的存储任务构建第二任务向量；
计算第一任务向量与第二任务向量的相似度，计算公式如下：
其中，XS为第一任务向量与第二任务向量的相似度，n为第一任务向量的数据个数或第二任务向量的数据个数；ai为第一任务向量的第i个数据的值；bi为第二任务向量的第i个数据的值；
获取任务预测库中相似度最大的第一任务向量对应的预测结果，将获取的预测结果作为下一时刻的存储任务情况。
上述技术方案的工作原理及有益效果为：
通过对下一时刻的任务进行预测分析，进行预调整，实现时刻与时刻之间过渡时的平缓调整，将调整提前化，以实现过渡期间的存储效率的优化。其中，神经网络模型为事先经过大量数据训练而得到的。任务预测库也是事先基于大量数据构建而成。因子表中预测因子与存储任务情况一一关联。
在一个实施例中，多种结构数据分布式混合存储系统，还包括：关联模块，关联模块执行如下操作：
获取分布式存储网络内的各个存储节点的第一位置；
基于各个存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值虚拟地图；
基于预设的规则，将第一位置与第二位置进行关联；
获取历史存储情况中第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与第二位置关联的第一位置对应的存储节点的存储类型置为与数据结构相对应；
其中，预设的规则包括：
第一位置和第二位置的距离差值小于预设距离阈值。
上述技术方案的工作原理及有益效果为：
在虚拟地图上将存储节点和存储任务输入位置进行映射关联；关联后对应存储连接，减少存储路径长度，提高存储效率。在一个位置输入的都是同样的数据结构，这样关联的存储节点也设置为对应的存储类型；在对存储节点的存储类型调整的基础上基于位置进一步优化存储效率；此外，当第二位置处输入的所有存储任务各个类型的数据结构都存在时，将与其关联的第一位置的存储节点置为可调数据节点的待预设节点；然后再通过解析历史存储情况，对存储节点的存储类型进行布局时确定为存储类型可调的存储节点。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种多种结构数据分布式混合存储方法，其特征在于，包括：
获取分布式存储网络的历史存储情况；
解析所述历史存储情况，对存储节点的存储类型进行布局；
获取当前待处理的存储任务的数据结构；
基于当前待处理的存储任务的数据结构，对所述存储节点的存储类型进行调整；
其中，所述解析所述历史存储情况，对存储节点的存储类型进行布局；包括：
基于预设的时间间隔对所述历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
；
其中，为第/>个时间间隔内第/>个数据结构类型的数据量占第/>个时间间隔的总数据量的占比；/>为第/>个时间间隔内第/>个数据结构类型的数据量；/>为数据结构类型的种类；
基于所述数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
2.如权利要求1所述的多种结构数据分布式混合存储方法，其特征在于，所述基于当前待处理的存储任务的数据结构，对所述存储节点的存储类型进行调整，包括：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应所述存储类型的存储节点占比；
将所述数据类型与所述存储类型一一对应，提取所述当前数据占比小于所述存储节点占比的所述存储类型和所述数据类型，计算所述当前数据占比与所述存储节点占比的差值，将所述存储类型对应的存储节点中存储类型可调的存储节点与所述差值对应数量的存储节点置为可调节点；
提取所述当前数据占比大于所述存储节点占比的所述存储类型和所述数据类型，计算所述当前数据占比与所述存储节点占比的差值，基于所述差值从所述可调节点中抽出与所述差值对应数量的所述存储节点将其存储类型置为所述当前数据占比对应的所述存储类型。
3.如权利要求1所述的多种结构数据分布式混合存储方法，其特征在于，还包括：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对所述存储节点的存储类型进行调整；
其中，所述基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对所述历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过所述预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，所述任务预测库中第一任务向量与预测结果一一对应；
基于所述历史存储情况与当前待处理的存储任务构建第二任务向量；
计算所述第一任务向量与所述第二任务向量的相似度，计算公式如下：
；
其中，为所述第一任务向量与所述第二任务向量的相似度，/>为所述第一任务向量的数据个数或所述第二任务向量的数据个数；/>为所述第一任务向量的第/>个数据的值；为所述第二任务向量的第/>个数据的值；
获取所述任务预测库中相似度最大的所述第一任务向量对应的预测结果，将获取的所述预测结果作为下一时刻的存储任务情况。
4.如权利要求1所述的多种结构数据分布式混合存储方法，其特征在于，还包括：
获取所述分布式存储网络内的各个存储节点的第一位置；
基于各个所述存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值所述虚拟地图；
基于预设的规则，将所述第一位置与所述第二位置进行关联；
获取历史存储情况中所述第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与所述第二位置关联的所述第一位置对应的所述存储节点的存储类型置为与所述数据结构相对应；
其中，预设的规则包括：
所述第一位置和所述第二位置的距离差值小于预设距离阈值。
5.一种多种结构数据分布式混合存储系统，其特征在于，包括：
第一获取模块，用于获取分布式存储网络的历史存储情况；
布局模块，用于解析所述历史存储情况，对存储节点的存储类型进行布局；
第二获取模块，用于获取当前待处理的存储任务的数据结构；
调整模块，用于基于当前待处理的存储任务的数据结构，对所述存储节点的存储类型进行调整；
其中，所述布局模块执行如下操作：
基于预设的时间间隔对所述历史存储情况进行数据提取，获取各个时间间隔内的数据结构类型及对应数据结构类型的数据量；
基于各个时间间隔内的数据结构类型及对应数据结构类型的数据量，确定各个时间间隔内各个数据结构类型的数据量占比；计算公式如下：
；
其中，为第/>个时间间隔内第/>个数据结构类型的数据量占第/>个时间间隔的总数据量的占比；/>为第/>个时间间隔内第/>个数据结构类型的数据量；/>为数据结构类型的种类；
基于所述数据量占比，确定同一数据结构类型在各个时间间隔中的最小占比；
基于各个数据结构类型的最小占比，对存储节点的存储类型进行预设；
将未预设存储类型的存储节点设置为存储类型可调的存储节点。
6.如权利要求5所述的多种结构数据分布式混合存储系统，其特征在于，所述调整模块执行如下操作：
获取当前待处理的存储任务的数据结构的数据类型及各个数据类型的当前数据占比；
获取当前中各个数据存储节点的存储类型及对应所述存储类型的存储节点占比；
将所述数据类型与所述存储类型一一对应，提取所述当前数据占比小于所述存储节点占比的所述存储类型和所述数据类型，计算所述当前数据占比与所述存储节点占比的差值，将所述存储类型对应的存储节点中存储类型可调的存储节点与所述差值对应数量的存储节点置为可调节点；
提取所述当前数据占比大于所述存储节点占比的所述存储类型和所述数据类型，计算所述当前数据占比与所述存储节点占比的差值，基于所述差值从所述可调节点中抽出与所述差值对应数量的所述存储节点将其存储类型置为所述当前数据占比对应的所述存储类型。
7.如权利要求5所述的多种结构数据分布式混合存储系统，其特征在于，还包括：预调整模块，所述预调整模块执行如下操作：
基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况；
基于预测的下一时刻的存储任务情况，在当前时刻结束时对所述存储节点的存储类型进行调整；
其中，所述基于历史存储情况与当前待处理的存储任务，预测下一时刻的存储任务情况，包括：
对所述历史存储情况与当前待处理的存储任务进行特征提取，将提取的特征值输入预设的神经网络模型获取预测因子，通过所述预测因子查询预设的因子表，确定下一时刻的存储任务情况；
或，
获取预设的任务预测库，所述任务预测库中第一任务向量与预测结果一一对应；
基于所述历史存储情况与当前待处理的存储任务构建第二任务向量；
计算所述第一任务向量与所述第二任务向量的相似度，计算公式如下：
；
其中，为所述第一任务向量与所述第二任务向量的相似度，/>为所述第一任务向量的数据个数或所述第二任务向量的数据个数；/>为所述第一任务向量的第/>个数据的值；为所述第二任务向量的第/>个数据的值；
获取所述任务预测库中相似度最大的所述第一任务向量对应的预测结果，将获取的所述预测结果作为下一时刻的存储任务情况。
8.如权利要求5所述的多种结构数据分布式混合存储系统，其特征在于，还包括：关联模块，所述关联模块执行如下操作：
获取所述分布式存储网络内的各个存储节点的第一位置；
基于各个所述存储节点的第一位置构建虚拟地图；
解析历史存储情况，获取存储任务输入的第二位置并将其映射值所述虚拟地图；
基于预设的规则，将所述第一位置与所述第二位置进行关联；
获取历史存储情况中所述第二位置处输入的所有存储任务；当所有存储任务为同一数据结构时，将与所述第二位置关联的所述第一位置对应的所述存储节点的存储类型置为与所述数据结构相对应；
其中，预设的规则包括：
所述第一位置和所述第二位置的距离差值小于预设距离阈值。
CN202110334629.XA 2021-03-29 2021-03-29 一种多种结构数据分布式混合存储方法和系统 Active CN112925793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334629.XA CN112925793B (zh) 2021-03-29 2021-03-29 一种多种结构数据分布式混合存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334629.XA CN112925793B (zh) 2021-03-29 2021-03-29 一种多种结构数据分布式混合存储方法和系统

Publications (2)

Publication Number Publication Date
CN112925793A CN112925793A (zh) 2021-06-08
CN112925793B true CN112925793B (zh) 2023-12-29

Family

ID=76176476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334629.XA Active CN112925793B (zh) 2021-03-29 2021-03-29 一种多种结构数据分布式混合存储方法和系统

Country Status (1)

Country Link
CN (1) CN112925793B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389469B (zh) * 2023-09-21 2024-07-26 华南理工大学 一种互联网数据存储方法、装置、系统和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN109951723A (zh) * 2019-03-26 2019-06-28 广州华多网络科技有限公司 对等网络直播系统中根节点的调整方法、装置及存储介质
WO2019218468A1 (zh) * 2018-05-14 2019-11-21 平安科技（深圳）有限公司 一种数据的存储方法及设备
CN112506423A (zh) * 2020-11-02 2021-03-16 北京迅达云成科技有限公司 一种云储存系统中动态接入存储设备的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565016B2 (en) * 2016-09-20 2020-02-18 International Business Machines Corporation Time frame bounded execution of computational algorithms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
WO2019218468A1 (zh) * 2018-05-14 2019-11-21 平安科技（深圳）有限公司 一种数据的存储方法及设备
CN109951723A (zh) * 2019-03-26 2019-06-28 广州华多网络科技有限公司 对等网络直播系统中根节点的调整方法、装置及存储介质
CN112506423A (zh) * 2020-11-02 2021-03-16 北京迅达云成科技有限公司 一种云储存系统中动态接入存储设备的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VXMLR系统存储模式的自适应调整;周傲英, 胥正川, 郭志懋, 周水庚;计算机学报(04);全文 *

Also Published As

Publication number Publication date
CN112925793A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN113868366B (zh) 一种面向流数据的在线跨模态检索方法与系统
CN111432003B (zh) 应用于云计算的数据推送方法、装置、电子设备及系统
CN104144431B (zh) 一种移动网络状态预测的方法、装置及移动网络
CN115755954B (zh) 巡检路径规划方法、系统、计算机设备及存储介质
CN112925793B (zh) 一种多种结构数据分布式混合存储方法和系统
WO2021062219A1 (en) Clustering data using neural networks based on normalized cuts
CN109754135B (zh) 信用行为数据处理方法、装置、存储介质和计算机设备
KR100963352B1 (ko) 궤적 데이터의 인덱싱 방법 및 그 방법을 이용하는 장치
CN113178024A (zh) 基于人工智能的融合型车载智能存储系统及方法
CN103034267A (zh) 用于控制设施装置的设备和方法
CN116112563A (zh) 一种基于流行度预测的双策略自适应缓存替换方法
CN117175595B (zh) 一种基于多级数据的电网调控方法及系统
KR101780534B1 (ko) 이미지 기반 검색을 위한 맵리듀스 기반의 이미지 특징 추출 방법 및 시스템
CN115544033B (zh) 查重向量库更新、数据查重方法、装置、设备和介质
CN104778088A (zh) 一种基于减少进程间通信开销的并行i/o优化方法与系统
CN110175287B (zh) 一种基于Flink的矩阵分解隐式反馈推荐方法和系统
KR101592670B1 (ko) 인덱스를 이용하는 데이터 검색 장치 및 이를 이용하는 방법
CN102254040A (zh) 一种基于支撑向量机的Web划分方法
CN114882713A (zh) 基于多场景的信号控制方法、系统、设备和存储介质
CN111046321B (zh) 光伏电站运维策略优化方法和装置
CN108418203B (zh) 一种利用风险逐步聚合场景的旋转备用优化方法
CN104570759A (zh) 控制系统中点定位问题的快速二叉树法
CN112699922A (zh) 一种基于区域内距离的自适应聚类方法及系统
CN112184350A (zh) 一种用户订单处理方法、装置、存储介质和服务器
Nayak et al. Capacity value of wind power using kd tree and nearest neighbor search algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant