CN117453148B - 基于神经网络的数据平衡方法、装置、终端及存储介质 - Google Patents
基于神经网络的数据平衡方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN117453148B CN117453148B CN202311777574.5A CN202311777574A CN117453148B CN 117453148 B CN117453148 B CN 117453148B CN 202311777574 A CN202311777574 A CN 202311777574A CN 117453148 B CN117453148 B CN 117453148B
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- target
- group
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013508 migration Methods 0.000 claims abstract description 58
- 230000005012 migration Effects 0.000 claims abstract description 58
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 238000013500 data storage Methods 0.000 claims description 98
- 238000012549 training Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 22
- 239000012634 fragment Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于神经网络的数据平衡方法、装置、终端及存储介质，方法包括：获取分布式存储系统中各个归置组的数据使用信息，并将数据使用信息输入至预设的时间段确定模型，输出目标时间段；将数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组；若当前时刻位于目标时间段，控制第一目标归置组中的数据迁移至第二目标归置组。本发明可基于神经网络模型的技术分析出进行数据迁移的目标时间段以及需要进行数据迁移的归置组，以便更高效且便捷的完成数据迁移，从而使得分布式存储系统中的各个归置组实现数据平衡，避免资源浪费。
Description
技术领域
本发明涉及数据平衡技术领域，尤其涉及一种基于神经网络的数据平衡方法、装置、终端及存储介质。
背景技术
Ceph是一个开源的分布式存储系统，其功能包括对象存储、块设备以及文件系统。在分布式存储系统中具有多个PG（placement group，归置组）。PG分布在磁盘逻辑单元OSD（Object Storage Daemon）上，但是，因数据分布式存储的原因导致各PG中的数据存储量是不一样的，而OSD是按照数据存储量最少的PG来确定是否可用的，那么当数据存储量最少的PG不使用时，就会导致该PG上的OSD不可用，从而造成资源浪费。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于神经网络的数据平衡方法、装置、终端及存储介质，旨在解决现有技术中因各个归置组中的数据存储量不一样，容易导致一些磁盘不可用，从而造成资源浪费的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种基于神经网络的数据平衡方法，其中，所述数据平衡方法应用于分布式存储系统，所述方法包括：
获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段；
将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端；
若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。
在一种实现方式中，所述将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，包括：
基于所述时间段确定模型确定所述数据使用信息中的使用时间信息；
基于所述时间段确定模型，从所述使用时间信息中确定出目标起始时刻和目标终止时刻；
基于所述目标起止时刻与所述目标终止时刻，得到所述目标时间段。
在一种实现方式中，所述时间段确定模型的训练过程包括：
采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本低谷时间段；
从所述样本低谷时间段中筛选出时长满足预设时长的样本低谷时间段，并将时长满足预设时长的样本低谷时间段按照时间顺序进行拼接，得到拼接样本时间段；
确定所述拼接样本时间段所对应的样本起始时刻信息和样本终止时刻信息；
建立所述样本数据使用信息与样本起始时刻信息以及样本终止时刻信息之间的第一映射关系，并基于所述第一映射关系训练预设的第一神经网络，得到所述时间段确定模型。
在一种实现方式中，所述将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，包括：
基于所述数据使用信息确定数据使用量信息，并基于所述数据使用量信息，确定每个归置组的剩余数据存储量；
所述归置组分类模型根据每个归置组的剩余数据存储量，输出所述第一目标归置组和所述第二目标归置组。
在一种实现方式中，所述归置组分类模型的训练过程包括：
采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本数据存储量；
将所有的样本数据存储量按照从大到小进行排列，得到样本顺序信息；
将预设的第一存储量阈值和第二存储量阈值与所述样本顺序信息进行匹配，得到大于所述第一存储量阈值的样本数据存储量以及小于所述第二存储量阈值的样本数据存储量，其中，所述第一存储量阈值大于所述第二存储量阈值；
将大于所述第一存储量阈值的样本数据存储量作为第一样本归置组，将小于所述第二存储量阈值的样本数据存储量作为第二样本归置组；
建立所述样本数据使用信息与所述第一样本归置组以及所述第二样本归置组的第二映射关系，并基于所述第二映射关系训练预设的第二神经网络，得到所述归置组分类模型。
在一种实现方式中，所述若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组，包括：
若所述当前时刻位于所述目标时间段，则获取所述第一目标归置组中的数据存储量，并将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据；
将所述待迁移数据迁移至所述第二目标归置组，并获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差；
若所述数据差满足数据平衡要求，则停止数据迁移；
若所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤。
在一种实现方式中，所述将所述待迁移数据迁移至所述第二目标归置组，包括：
对所述待迁移数据进行分片处理，得到若干数据分片；
确定所述第二目标归置组中用于接收所述待迁移数据的若干存储节点，所述存储节点的数量与所述数据分片的数量相同，且一一对应；
分别将若干数据分片迁移至对应的存储节点中，完成数据迁移。
第二方面，本发明实施例还提供一种基于神经网络的数据平衡装置，其中，所述数据平衡装置应用于分布式存储系统，所述装置包括：
目标时间段确定模块，用于获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段；
目标归置组确定模块，用于将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端；
数据迁移模块，用于若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。
第三方面，本发明实施例还提供一种终端，其中，所述终端包括存储器、处理器及存储在存储器中并可在处理器上运行的基于神经网络的数据平衡程序，处理器执行基于神经网络的数据平衡程序时，实现上述方案中任一项的基于神经网络的数据平衡方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于神经网络的数据平衡程序，所述基于神经网络的数据平衡程序被处理器执行时，实现上述方案中任一项所述的基于神经网络的数据平衡方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于神经网络的数据平衡方法，本发明首先获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段。然后，将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端。最后，若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。本发明可基于神经网络模型的技术分析出进行数据迁移的目标时间段以及需要进行数据迁移的归置组，以便更高效且便捷的完成数据迁移，从而使得分布式存储系统中的各个归置组实现数据平衡，避免资源浪费。
附图说明
图1为本发明实施例提供的基于神经网络的数据平衡方法的具体实施方式的流程图。
图2为本发明实施例提供的基于神经网络的数据平衡装置的功能原理图。
图3为本发明实施例提供的终端的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于神经网络的数据平衡方法，基于本实施例的方式，本实施例可首先获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段。然后，将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端。最后，若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。本实施例可基于神经网络模型的技术分析出进行数据迁移的目标时间段以及需要进行数据迁移的归置组，以便更高效且便捷的完成数据迁移，从而使得分布式存储系统中的各个归置组实现数据平衡，避免资源浪费。
本实施例的基于神经网络的数据平衡方法可应用于终端中，所述终端包括电脑、手机、智能电视等智能化产品终端。具体地，如图1中所示，在本实施例中，所述基于神经网络的数据平衡方法包括：
步骤S100、获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段。
终端首先获取分布式存储系统中各个归置组的数据使用信息，该数据使用信息可用于反映所述分布式存储系统中各个归置组对于数据的使用情况。比如，各个归置组在各个时间点的数据使用量。进而将数据使用信息输入至预设的时间段确定模型，该时间段确定模型可自动根据数据使用信息输出目标时间段，该目标时间段为数据使用低谷时间段。本实施例通过分析出数据使用低谷时间段也就确定出各个归置组的空闲时间段，该空间时间段可用于对数据进行迁移，这样可以保证后续步骤中在进行数据迁移时不会对客户端造成影响，也不会影响客户端的读写速度。
在一种实现方式中，本实施例在确定目标时间段时包括如下步骤：
步骤S101、基于所述时间段确定模型确定所述数据使用信息中的使用时间信息；
步骤S102、基于所述时间段确定模型，从所述使用时间信息中确定出目标起始时刻和目标终止时刻；
步骤S103、基于所述目标起止时刻与所述目标终止时刻，得到所述目标时间段。
具体地，本实施例预先训练一个时间段确定模型，该时间段确定模型可自动分析出数据使用低谷时间段，也就是目标时间段。在一种实现方式中，本实施例可首先采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本低谷时间段，此时的样本低谷时间段可直接通过分别对比每个样本归置组一天24小时内的数据使用量，然后找出数据使用量最低的时间段，作为每个样本归置组中的样本低谷时间段。或者，也可以将一天24小时内数据使用量小于预设的使用数据量的时间段作为样本低谷时间段。由于本实施例的样本归置组设置有多个，因此确定的样本低谷时间段有的时长可能是过于短，只是偶然的数据使用量过低的情况，这些时间段是不符合要求的，因此需要剔除。为此，本实施例可从所述样本低谷时间段中筛选出时长满足预设时长的样本低谷时间段。并且，为了使得最终确定出的低谷时间段可以满足所有归置组，被所有归置组的使用来进行数据迁移，本实施例可将时长满足预设时长的样本低谷时间段取按照时间顺序进行拼接，得到拼接样本时间段。本实施例中的拼接样本时间段即为所有符合时长要求的样本低谷时间段按照时间顺序进行拼接的综合。接着，本实施例确定所述拼接样本时间段所对应的样本起始时刻信息和样本终止时刻信息。当然，如果拼接后得到的拼接样本时间段为不连续的若干个时间段，则分别获取这些若干个时间段的样本起始时刻信息和样本终止时刻信息。最后，本实施例建立所述样本数据使用信息与样本起始时刻信息以及样本终止时刻信息之间的第一映射关系，并基于所述第一映射关系训练预设的第一神经网络，得到所述时间段确定模型。这样，时间段确定模型就可以直接根据样本数据使用信息，直接输出样本起始时刻信息以及样本终止时刻信息，进而基于样本起始时刻信息和样本终止时刻信息，也就得到了拼接样本时间段。
基于此，当将采集到的分布式存储系统中各个归置组的数据使用信息后，本实施例就可以将数据使用信息输入至训练好的时间段确定模型中，该时间段确定模型首先可确定所述数据使用信息中的使用时间信息。然后，该时间段确定模型可从所述使用时间信息中自动确定出目标起始时刻和目标终止时刻。进而基于所述目标起止时刻与所述目标终止时刻，就可以得到所述目标时间段。由于本实施例中的时间段确定模型是基于符合时长要求的样本低谷时间段对应的样本起始时刻信息以及样本终止时刻信息与样本数据使用信息之间的第一映射关系训练得到的，因此此时输出的目标时间段就是数据使用低谷时间段。
步骤S200、将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端。
为了实现分布式存储系统的数据平衡，也就是实现数据在各个归置组之间的均分，本实施例需要确定出在分布式存储系统中，哪一个或者哪些个归置组存储的数据量较多，哪一个或者哪些个归置组存储的数据量较少，这样在进行数据平衡时，就可以将数据量较多的归置组的一部分数据迁移至数据量较少的归置组，从而实现数据平衡。本实施例预先设置一个归置组分类模型，该归置组分类模型可自动根据数据使用信息进行分析，自动确定出第一目标归置组和第二目标归置。本实施例的所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量。并且，如果将各个归置组的数据存储量从大至小进行排序后所得到排序信息，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端。因此，本实施例的第一目标归置组即为数据量较多的归置组，而第二目标归置组即为数据量较少的归置组。
在一种实现方式中，本实施例在确定第一目标归置组和第二目标归置组时，包括如下步骤：
步骤S201、基于所述数据使用信息确定数据使用量信息，并基于所述数据使用量信息，确定每个归置组的剩余数据存储量；
步骤S202、所述归置组分类模型根据每个归置组的剩余数据存储量，输出所述第一目标归置组和所述第二目标归置组。
具体地，本实施例预先训练出归置组分类模型，以便基于该归置组分类模型来自动确定出第一目标归置组和第二目标归置组。本实施例首先采集若干样本归置组的样本数据使用信息，样本数据使用信息反映的是所述分布式存储系统中各个样本归置组对于数据的使用情况。比如，各个归置组在各个时间点的数据使用量。因此，基于所述样本数据使用信息，就可以确定每个样本归置组中的样本数据存储量。然后，将所有的样本数据存储量按照从大到小进行排列，得到样本顺序信息。接着，将预设的第一存储量阈值和第二存储量阈值与所述样本顺序信息进行匹配，得到大于所述第一存储量阈值的样本数据存储量以及小于所述第二存储量阈值的样本数据存储量，本实施例中的所述第一存储量阈值大于所述第二存储量阈值，因此当将样本顺序信息与第一存储量阈值和第二存储量阈值进行匹配后，就可以筛选出较大的样本数据存储量以及较小的样本数据存储量。进而，本实施例就可将大于所述第一存储量阈值的样本数据存储量作为第一样本归置组，将小于所述第二存储量阈值的样本数据存储量作为第二样本归置组，基于此，也就确定了在进行数据迁移时，用于释放数据的样本归置组和接收数据的样本归置组。最后，本申请建立所述样本数据使用信息与所述第一样本归置组以及所述第二样本归置组的第二映射关系，并基于所述第二映射关系训练预设的第二神经网络，得到所述归置组分类模型。
基于此，当将采集到的分布式存储系统中各个归置组的数据使用信息后，本实施例就可以将数据使用信息输入至训练好的归置组分类模型中，该归置组分类模型自动根据数据使用信息，确定每个归置组的剩余数据存储量。由于本实施例中的归置组分类模型是基于大于第一存储量阈值的样本数据存储量以及小于第二存储量阈值的样本数据存储量与样本数据使用信息之间的第二映射关系训练得到的，因此，归置组分类模型可根据每个归置组的剩余数据存储量，自动输出所述第一目标归置组和所述第二目标归置组。
步骤S300、若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。
当确定出第一目标归置组和第二目标归置组后，也就确定了需要进行数据迁移的两个或者两组归置组，而本实施例确定的目标时间段是数据使用低谷时间段，若当前时刻到达目标时间段后，本实施例的终端可将第一目标归置组中的数据迁移至第二目标归置组中，从而使得第一目标归置组和第二目标归置组之间实现数据平衡。而位于第一目标归置组和第二目标归置组的其他归置组的数据存储量是位于第一存储量阈值和第二存储量阈值之间，数据存储量相差不大，因此，本实施例只需要将第一目标归置组和第二目标归置组之间进行数据迁移，就可以实现整个分布式存储系统的数据平衡。
在一种实现方式中，本实施例控制第一目标归置组和第二目标归置组之间进行数据迁移时，具体包括如下步骤：
步骤S301、若所述当前时刻位于所述目标时间段，则获取所述第一目标归置组中的数据存储量，并将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据；
步骤S302、将所述待迁移数据迁移至所述第二目标归置组，并获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差；
步骤S303、若所述数据差满足数据平衡要求，则停止数据迁移；
步骤S304、若所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤。
具体地，本实施例首先第一目标归置组中的需要进行迁移的数据存储量，并将需要进行数据迁移的数据存储量作为待迁移数据，该待迁移数据可为第一目标归置组的数据存储量中预设比例的数据，比如，将第一目标归置组中10%的数据作为待迁移的数据，然后将待迁移数据迁移至所述第二目标归置组。当然，在其他实现方式中，本实施例也可将第一目标归置相对于第二目标归置组多出来的数据存储量的一半作为待迁移数据。在进行数据迁移时，本实施可对所述待迁移数据进行分片处理，得到若干数据分片。然后，确定所述第二目标归置组中用于接收所述待迁移数据的若干存储节点，所述存储节点的数量与所述数据分片的数量相同，且一一对应。接着，分别将若干数据分片迁移至对应的存储节点中，完成数据迁移。本实施例通过将待迁移数据进行分片处理，并在进行数据迁移时进行分片存储，提高数据迁移的效率。
接着，本实施例获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差。如果数据差满足数据平衡要求，则说明此时第一目标归置组和第二目标归置组之间已经实现了数据平衡，此时可以停止数据迁移。而如果所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤。
综上，本实施例可基于神经网络模型的技术分析出进行数据迁移的目标时间段以及需要进行数据迁移的归置组，以便更高效且便捷的完成数据迁移，从而使得分布式存储系统中的各个归置组实现数据平衡，避免资源浪费。
基于上述实施例，本发明还提供一种基于神经网络的数据平衡装置，所述数据平衡装置应用于分布式存储系统，如图2中所示，所述装置包括：目标时间段确定模块10、目标归置组确定模块20以及数据迁移模块30。具体地，所述目标时间段确定模块10，用于获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段。所述目标归置组确定模块20，用于将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端。所述数据迁移模块30，用于若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组。
在一种实现方式中，所述目标时间段确定模块10包括：
时间信息确定单元，用于基于所述时间段确定模型确定所述数据使用信息中的使用时间信息；
起止时刻确定单元，用于基于所述时间段确定模型，从所述使用时间信息中确定出目标起始时刻和目标终止时刻；
时间段确定单元，用于基于所述目标起止时刻与所述目标终止时刻，得到所述目标时间段。
在一种实现方式中，所述装置还包括第一训练模块，所述第一训练模块包括：
第一样本数据采集单元，用于采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本低谷时间段；
样本时间分析单元，用于从所述样本低谷时间段中筛选出时长满足预设时长的样本低谷时间段，并将时长满足预设时长的样本低谷时间段按照时间顺序进行拼接，得到拼接样本时间段；
样本时刻分析单元，用于确定所述拼接样本时间段所对应的样本起始时刻信息和样本终止时刻信息；
时间段确定模型训练单元，用于建立所述样本数据使用信息与样本起始时刻信息以及样本终止时刻信息之间的第一映射关系，并基于所述第一映射关系训练预设的第一神经网络，得到所述时间段确定模型。
在一种实现方式中，所述目标归置组确定模块20，包括：
剩余数据分析单元，用于基于所述数据使用信息确定数据使用量信息，并基于所述数据使用量信息，确定每个归置组的剩余数据存储量；
目标归置组分析单元，用于所述归置组分类模型根据每个归置组的剩余数据存储量，输出所述第一目标归置组和所述第二目标归置组。
在一种实现方式中，所述装置还包括第二模型训练模块，所述第二模型训练模块包括：
第二样本数据采集单元，用于采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本数据存储量；
样本顺序信息确定单元，用于将所有的样本数据存储量按照从大到小进行排列，得到样本顺序信息；
数据存储量分析单元，用于将预设的第一存储量阈值和第二存储量阈值与所述样本顺序信息进行匹配，得到大于所述第一存储量阈值的样本数据存储量以及小于所述第二存储量阈值的样本数据存储量，其中，所述第一存储量阈值大于所述第二存储量阈值；
样本归置组分析单元，用于将大于所述第一存储量阈值的样本数据存储量作为第一样本归置组，将小于所述第二存储量阈值的样本数据存储量作为第二样本归置组；
归置组分类模型训练单元，用于建立所述样本数据使用信息与所述第一样本归置组以及所述第二样本归置组的第二映射关系，并基于所述第二映射关系训练预设的第二神经网络，得到所述归置组分类模型。
在一种实现方式中，所述数据迁移模块30，包括：
待迁移数据确定单元，用于若所述当前时刻位于所述目标时间段，则获取所述第一目标归置组中的数据存储量，并将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据；
数据差确定单元，用于将所述待迁移数据迁移至所述第二目标归置组，并获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差；
停止迁移单元，用于若所述数据差满足数据平衡要求，则停止数据迁移；
重复迁移单元，用于若所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤。
在一种实现方式中，所述待迁移数据确定单元，包括：
数据分片子单元，用于对所述待迁移数据进行分片处理，得到若干数据分片；
节点确定子单元，用于确定所述第二目标归置组中用于接收所述待迁移数据的若干存储节点，所述存储节点的数量与所述数据分片的数量相同，且一一对应；
数据迁移单元，用于分别将若干数据分片迁移至对应的存储节点中，完成数据迁移。
本实施例的基于神经网络的数据平衡装置中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
基于上述实施例，本发明还提供了一种终端，所述终端的原理框图可以如图3所示。终端可以包括一个或多个处理器100（图3中仅示出一个），存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，基于神经网络的数据平衡程序。一个或多个处理器100执行计算机程序102时可以实现基于神经网络的数据平衡方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现基于神经网络的数据平衡装置实施例中各模块/单元的功能，此处不作限制。
在一个实施例中，所称处理器100可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双运营数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种基于神经网络的数据平衡方法，其特征在于，所述数据平衡方法应用于分布式存储系统，所述方法包括：
获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段；
将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端；
若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组；
所述将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，包括：
基于所述时间段确定模型确定所述数据使用信息中的使用时间信息；
基于所述时间段确定模型，从所述使用时间信息中确定出目标起始时刻和目标终止时刻；
基于所述目标起始时刻与所述目标终止时刻，得到所述目标时间段；
所述时间段确定模型的训练过程包括：
采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本低谷时间段，其中，所述样本低谷时间段为直接通过分别对比每个样本归置组一天24小时内的数据使用量，所找出的数据使用量最低的时间段；或者，所述样本低谷时间段是将一天24小时内数据使用量小于预设的使用数据量的时间段；
从所述样本低谷时间段中筛选出时长满足预设时长的样本低谷时间段，并将时长满足预设时长的样本低谷时间段按照时间顺序进行拼接，得到拼接样本时间段；
确定所述拼接样本时间段所对应的样本起始时刻信息和样本终止时刻信息；
建立所述样本数据使用信息与样本起始时刻信息以及样本终止时刻信息之间的第一映射关系，并基于所述第一映射关系训练预设的第一神经网络，得到所述时间段确定模型；
所述将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，包括：
基于所述数据使用信息确定数据使用量信息，并基于所述数据使用量信息，确定每个归置组的剩余数据存储量；
所述归置组分类模型根据每个归置组的剩余数据存储量，输出所述第一目标归置组和所述第二目标归置组；
所述归置组分类模型的训练过程包括：
采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本数据存储量；
将所有的样本数据存储量按照从大到小进行排列，得到样本顺序信息；
将预设的第一存储量阈值和第二存储量阈值与所述样本顺序信息进行匹配，得到大于所述第一存储量阈值的样本数据存储量以及小于所述第二存储量阈值的样本数据存储量，其中，所述第一存储量阈值大于所述第二存储量阈值；
将大于所述第一存储量阈值的样本数据存储量作为第一样本归置组，将小于所述第二存储量阈值的样本数据存储量作为第二样本归置组；
建立所述样本数据使用信息与所述第一样本归置组以及所述第二样本归置组的第二映射关系，并基于所述第二映射关系训练预设的第二神经网络，得到所述归置组分类模型；
所述若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组，包括：
若所述当前时刻位于所述目标时间段，则获取所述第一目标归置组中的数据存储量，并将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据；
将所述待迁移数据迁移至所述第二目标归置组，并获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差；
若所述数据差满足数据平衡要求，则停止数据迁移；
若所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤；
所述将所述待迁移数据迁移至所述第二目标归置组，包括：
对所述待迁移数据进行分片处理，得到若干数据分片；
确定所述第二目标归置组中用于接收所述待迁移数据的若干存储节点，所述存储节点的数量与所述数据分片的数量相同，且一一对应；
分别将若干数据分片迁移至对应的存储节点中，完成数据迁移。
2.一种基于神经网络的数据平衡装置，其特征在于，所述数据平衡装置应用于分布式存储系统，所述装置包括：
目标时间段确定模块，用于获取分布式存储系统中各个归置组的数据使用信息，并将所述数据使用信息输入至预设的时间段确定模型，输出目标时间段，其中，所述数据使用信息用于反映所述分布式存储系统中各个归置组中的数据使用情况，所述目标时间段为数据使用低谷时间段；
目标归置组确定模块，用于将所述数据使用信息输入至预设的归置组分类模型，输出第一目标归置组和第二目标归置组，其中，所述第一目标归置组的数据存储量大于所述第二目标归置组的数据存储量，并且在将各个归置组的数据存储量从大至小进行排序后所得到排序信息中，所述第一目标归置组与所述第二目标归置组分别位于所述排序信息中的首端与末端；
数据迁移模块，用于若当前时刻位于所述目标时间段，控制所述第一目标归置组中的数据迁移至所述第二目标归置组；
所述目标时间段确定模块包括：
时间信息确定单元，用于基于所述时间段确定模型确定所述数据使用信息中的使用时间信息；
起止时刻确定单元，用于基于所述时间段确定模型，从所述使用时间信息中确定出目标起始时刻和目标终止时刻；
时间段确定单元，用于基于所述目标起始时刻与所述目标终止时刻，得到所述目标时间段；
所述装置还包括第一训练模块，所述第一训练模块包括：
第一样本数据采集单元，用于采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本低谷时间段，其中，所述样本低谷时间段为直接通过分别对比每个样本归置组一天24小时内的数据使用量，所找出的数据使用量最低的时间段；或者，所述样本低谷时间段是将一天24小时内数据使用量小于预设的使用数据量的时间段；
样本时间分析单元，用于从所述样本低谷时间段中筛选出时长满足预设时长的样本低谷时间段，并将时长满足预设时长的样本低谷时间段按照时间顺序进行拼接，得到拼接样本时间段；
样本时刻分析单元，用于确定所述拼接样本时间段所对应的样本起始时刻信息和样本终止时刻信息；
时间段确定模型训练单元，用于建立所述样本数据使用信息与样本起始时刻信息以及样本终止时刻信息之间的第一映射关系，并基于所述第一映射关系训练预设的第一神经网络，得到所述时间段确定模型；
所述目标归置组确定模块，包括：
剩余数据分析单元，用于基于所述数据使用信息确定数据使用量信息，并基于所述数据使用量信息，确定每个归置组的剩余数据存储量；
目标归置组分析单元，用于所述归置组分类模型根据每个归置组的剩余数据存储量，输出所述第一目标归置组和所述第二目标归置组；
所述装置还包括第二模型训练模块，所述第二模型训练模块包括：
第二样本数据采集单元，用于采集若干样本归置组的样本数据使用信息，基于所述样本数据使用信息，确定每个样本归置组中的样本数据存储量；
样本顺序信息确定单元，用于将所有的样本数据存储量按照从大到小进行排列，得到样本顺序信息；
数据存储量分析单元，用于将预设的第一存储量阈值和第二存储量阈值与所述样本顺序信息进行匹配，得到大于所述第一存储量阈值的样本数据存储量以及小于所述第二存储量阈值的样本数据存储量，其中，所述第一存储量阈值大于所述第二存储量阈值；
样本归置组分析单元，用于将大于所述第一存储量阈值的样本数据存储量作为第一样本归置组，将小于所述第二存储量阈值的样本数据存储量作为第二样本归置组；
归置组分类模型训练单元，用于建立所述样本数据使用信息与所述第一样本归置组以及所述第二样本归置组的第二映射关系，并基于所述第二映射关系训练预设的第二神经网络，得到所述归置组分类模型；
所述数据迁移模块，包括：
待迁移数据确定单元，用于若所述当前时刻位于所述目标时间段，则获取所述第一目标归置组中的数据存储量，并将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据；
数据差确定单元，用于将所述待迁移数据迁移至所述第二目标归置组，并获取数据迁移后的第一目标归置组和数据迁移后的第二目标归置组之间的数据差；
停止迁移单元，用于若所述数据差满足数据平衡要求，则停止数据迁移；
重复迁移单元，用于若所述数据差不满足数据平衡要求，则重复执行获取所述第一目标归置组中的数据存储量，将所述第一目标归置组的数据存储量中预设比例的数据作为待迁移数据，并将所述待迁移数据迁移至所述第二目标归置组的步骤；
所述待迁移数据确定单元，包括：
数据分片子单元，用于对所述待迁移数据进行分片处理，得到若干数据分片；
节点确定子单元，用于确定所述第二目标归置组中用于接收所述待迁移数据的若干存储节点，所述存储节点的数量与所述数据分片的数量相同，且一一对应；
数据迁移单元，用于分别将若干数据分片迁移至对应的存储节点中，完成数据迁移。
3.一种终端，其特征在于，所述终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于神经网络的数据平衡程序，所述处理器执行基于神经网络的数据平衡程序时，实现如权利要求1所述的基于神经网络的数据平衡方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于神经网络的数据平衡程序，所述基于神经网络的数据平衡程序被处理器执行时，实现如权利要求1所述的基于神经网络的数据平衡方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311777574.5A CN117453148B (zh) | 2023-12-22 | 2023-12-22 | 基于神经网络的数据平衡方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311777574.5A CN117453148B (zh) | 2023-12-22 | 2023-12-22 | 基于神经网络的数据平衡方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117453148A CN117453148A (zh) | 2024-01-26 |
| CN117453148B true CN117453148B (zh) | 2024-04-02 |
Family
ID=89591400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311777574.5A Active CN117453148B (zh) | 2023-12-22 | 2023-12-22 | 基于神经网络的数据平衡方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117453148B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108023967A (zh) * | 2017-12-20 | 2018-05-11 | 联想(北京)有限公司 | 一种数据平衡方法、装置及分布式存储系统中的管理设备 |
| CN111290699A (zh) * | 2018-12-07 | 2020-06-16 | 杭州海康威视系统技术有限公司 | 数据迁移方法、装置及系统 |
| CN111553424A (zh) * | 2020-04-29 | 2020-08-18 | 南京邮电大学 | 一种基于cgan的图像数据平衡和分类方法 |
| CN111611055A (zh) * | 2020-05-27 | 2020-09-01 | 上海有孚智数云创数字科技有限公司 | 一种虚拟设备最优空闲时间迁移法、装置及可读存储介质 |
| CN112287014A (zh) * | 2020-08-24 | 2021-01-29 | 深圳大学 | 产品信息可视化处理方法、装置、计算机设备 |
| CN114415965A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种数据迁移方法、装置、设备及存储介质 |
| CN114546265A (zh) * | 2022-01-29 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 一种快速容量均衡的方法、系统、设备和存储介质 |
| CN114611572A (zh) * | 2022-01-28 | 2022-06-10 | 北京工商大学 | 基于改进rbf神经网络的数据分级存储算法 |
| CN115981562A (zh) * | 2022-12-28 | 2023-04-18 | 中国银联股份有限公司 | 一种数据处理方法及装置 |
| CN116737080A (zh) * | 2023-06-29 | 2023-09-12 | 北京同有飞骥科技股份有限公司 | 分布式存储系统数据块管理方法、系统、设备及储存介质 |
| CN116820324A (zh) * | 2022-03-22 | 2023-09-29 | 深圳富联富桂精密工业有限公司 | 存储扩容方法及装置、存储介质和电子设备 |
-
2023
- 2023-12-22 CN CN202311777574.5A patent/CN117453148B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108023967A (zh) * | 2017-12-20 | 2018-05-11 | 联想(北京)有限公司 | 一种数据平衡方法、装置及分布式存储系统中的管理设备 |
| CN111290699A (zh) * | 2018-12-07 | 2020-06-16 | 杭州海康威视系统技术有限公司 | 数据迁移方法、装置及系统 |
| CN111553424A (zh) * | 2020-04-29 | 2020-08-18 | 南京邮电大学 | 一种基于cgan的图像数据平衡和分类方法 |
| CN111611055A (zh) * | 2020-05-27 | 2020-09-01 | 上海有孚智数云创数字科技有限公司 | 一种虚拟设备最优空闲时间迁移法、装置及可读存储介质 |
| CN112287014A (zh) * | 2020-08-24 | 2021-01-29 | 深圳大学 | 产品信息可视化处理方法、装置、计算机设备 |
| CN114415965A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种数据迁移方法、装置、设备及存储介质 |
| CN114611572A (zh) * | 2022-01-28 | 2022-06-10 | 北京工商大学 | 基于改进rbf神经网络的数据分级存储算法 |
| CN114546265A (zh) * | 2022-01-29 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 一种快速容量均衡的方法、系统、设备和存储介质 |
| CN116820324A (zh) * | 2022-03-22 | 2023-09-29 | 深圳富联富桂精密工业有限公司 | 存储扩容方法及装置、存储介质和电子设备 |
| CN115981562A (zh) * | 2022-12-28 | 2023-04-18 | 中国银联股份有限公司 | 一种数据处理方法及装置 |
| CN116737080A (zh) * | 2023-06-29 | 2023-09-12 | 北京同有飞骥科技股份有限公司 | 分布式存储系统数据块管理方法、系统、设备及储存介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117453148A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108933993B (zh) | 短信缓存队列选择方法、装置、计算机设备和存储介质 | |
| CN109918184B (zh) | 图片处理系统、方法及相关装置和设备 | |
| US11514296B2 (en) | Output method and apparatus for multiple neural network, server and computer readable storage medium | |
| CN110046137B (zh) | 将数据流分组并存储至云端存储文件中的系统和方法 | |
| CN110765026A (zh) | 自动化测试方法、装置、存储介质及设备 | |
| CN111400361B (zh) | 数据实时存储方法、装置、计算机设备和存储介质 | |
| CN110059225B (zh) | 视频分类方法、装置、终端设备及存储介质 | |
| CN110888668A (zh) | 一种模型更新的系统、方法、装置、终端设备和介质 | |
| CN111880916A (zh) | Gpu中多绘制任务处理方法、装置、终端、介质及主机 | |
| CN111338787A (zh) | 一种数据处理方法及装置、存储介质、电子装置 | |
| CN114220479B (zh) | 一种蛋白质结构预测方法、蛋白质结构预测装置及介质 | |
| CN113568836B (zh) | 多时间序列的样本特征提取方法以应用其的软件检测方法 | |
| CN117453148B (zh) | 基于神经网络的数据平衡方法、装置、终端及存储介质 | |
| CN111683296B (zh) | 视频切分方法、装置、电子设备及存储介质 | |
| CN104700255B (zh) | 多进程处理方法、装置和系统 | |
| CN114816322B (zh) | Ssd的外部排序方法、装置和ssd存储器 | |
| CN116126937A (zh) | 作业调度方法、装置、电子设备及存储介质 | |
| CN105487925A (zh) | 数据扫描方法和装置 | |
| CN117453149B (zh) | 分布式存储系统的数据平衡方法、装置、终端及存储介质 | |
| CN112764897B (zh) | 任务请求的处理方法、装置、系统及计算机可读存储介质 | |
| CN115048295A (zh) | 一种测试方法、装置、终端及计算机可读存储介质 | |
| CN110955802B (zh) | 一种数据分桶方法、装置、电子设备和存储介质 | |
| CN114356378A (zh) | 计算节点在线升级方法、装置、电子设备及存储介质 | |
| CN113746932A (zh) | 网络请求合并方法、装置及电子装置、计算机程序产品 | |
| CN110825528B (zh) | 资源管理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |