JP2023536693A - Automatic Balancing Storage Method for Ceph Storage Systems Based on Hierarchical Mapping - Google Patents
Automatic Balancing Storage Method for Ceph Storage Systems Based on Hierarchical Mapping Download PDFInfo
- Publication number
- JP2023536693A JP2023536693A JP2023503089A JP2023503089A JP2023536693A JP 2023536693 A JP2023536693 A JP 2023536693A JP 2023503089 A JP2023503089 A JP 2023503089A JP 2023503089 A JP2023503089 A JP 2023503089A JP 2023536693 A JP2023536693 A JP 2023536693A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- osd
- sub
- level
- ceph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 title claims abstract description 19
- 238000013508 migration Methods 0.000 claims abstract description 27
- 230000005012 migration Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
Abstract
本発明は階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法を開示する。本発明の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法は、ストレージクラスタの全てのＯＳＤ（Ｏｂｊｅｃｔ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅ、オブジェクトストレージデバイス）に１つのレベル属性を追加し、レベルに応じて複数のレベルのサブストレージプールに分割するとともに、ＯＳＤレベルを基礎としてＰＧ （Ｐｌａｃｅｍｅｎｔ Ｇｒｏｕｐ、プレイスメントグループ）に１つのレベル属性を追加し、ＰＧは同一レベルのＯＳＤサブストレージプールでＯＳＤ組み合わせを探してストレージし、また、ランダム因子及び影響因子を加えてＰＧによるＯＳＤの選択の過程を指導し、総ストレージプールにおいてシングルノードＯＳＤに使用率の高すぎが発生した場合、ＰＧがあるストレージプールと他のストレージプールの使用率情報に基づいてＰＧ移行の方向を確定し、また、ＰＧレベル、ランダム因子及び影響因子組み合わせに基づいて、移行均等化調整を行うことを含む。本発明は、Ｃｅｐｈストレージシステムにおける使用率が高すぎるＯＳＤが内部のＰＧを合理的に移行でき、それによりシステムストレージの均等化を保証し、システムの安定性を向上させることを実現できる。【選択図】なしThe present invention discloses an automatic equalization storage method for Ceph storage system based on tier mapping. The automatic equalization storage method of the Ceph storage system based on tier mapping of the present invention adds one level attribute to all OSDs (Object Storage Devices) of the storage cluster, and assigns multiple levels according to the level. In addition to dividing into sub-storage pools, one level attribute is added to the PG (Placement Group) based on the OSD level, and the PG searches for and stores OSD combinations in the OSD sub-storage pools at the same level, and also , adding random factors and influence factors to guide the process of OSD selection by PG, and when a single node OSD has too high utilization rate in the total storage pool, PG will decide whether to use one storage pool or another storage pool. determining the direction of PG migration based on rate information and making migration equalization adjustments based on PG level, random factors, and influencing factor combinations. The present invention can realize that an OSD with too high usage rate in a Ceph storage system can reasonably migrate its internal PG, thereby ensuring system storage equality and improving system stability. [Selection diagram] None
Description
本発明は分散ストレージ技術分野に属し、より具体的には、階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法に関する。 The present invention belongs to the field of distributed storage technology, and more particularly to an automatic balancing storage method for Ceph storage system based on tier mapping.
Ｃｅｐｈストレージシステムはオブジェクトストレージシステム（Ｏｂｊｅｃｔ－Ｂａｓｅｄ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ、ＯＢＳＳ）であるが、従来のＯＢＳＳとは異なり、ＣｅｐｈストレージシステムはストライピングオブジェクトストレージのＯＳＤ（Ｏｂｊｅｃｔ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅ、オブジェクトストレージデバイス）位置を記録するための独立したメタデータサーバを有せず、ＣＲＵＳＨ（Ｃｏｎｔｒｏｌｌｅｄ Ｒｅｐｌｉｃａｔｉｏｎ Ｕｎｄｅｒ Ｓｃａｌａｂｌｅ Ｈａｓｈｉｎｇ、スケーラブルハッシング下でのコントロールドレプリケーション）アルゴリズムを用いてオブジェクトとオブジェクトのコピーバックアップのストレージ位置を確定する。データを再び検索し又はデータを修正する必要がある場合、データの読み書きアドレス指定過程は各ＯＳＤで独立して完了することができ、シングルノードのボトルネックが存在しない。このようなスケジューリング方式は、手作業ではなくソフトウェアに依存し、装置を交換又は追加するときに、ソフトウェアはオブジェクトのストレージ位置を自発的に計算することができ、データ回復及び容量拡張時の均等化を実現し、この過程は手作業による介入を必要としない。Ｃｅｐｈの既存のＣＲＵＳＨアルゴリズムは入力されたＰＧ（Ｐｌａｃｅｍｅｎｔ Ｇｒｏｕｐ、プレイスメントグループ）により対応するハッシュＨａｓｈ演算を行い、１つのストレージマスターノードと複数のコピーノードを選択する機能をし、そのため、ＰＧが変化しない場合、選択されるＯＳＤ組み合わせも変化せず、読み書きの初期アドレス指定機能を完成し、また、そのうちのＯＳＤが変化すれば、他のノードからデータの回復を自発的に行うことができる。ストレージサービスリクエストは同じ大きさの小さいオブジェクトに分割され、小さいオブジェクトが集合して生成された論理グループＰＧは予め設定されたＯＳＤ重みに基づいてそれぞれのＯＳＤに均等に割り当てることができ、それによりシステム及びメンテナンス作業者はＯＳＤの状況を考慮する必要がない。しかし、ＯＳＤ自体の相違性は完全に重みによって正確に反映することができず、重みは確率的選択問題だけであり、特定の割合ではなく、また、ＰＧが全体的で均等に各ＯＳＤ上に割り当てられる場合、各ＯＳＤ上のＰＧデータが一致するとするが、ＰＧの相違性が考慮されず、ＰＧはオブジェクトの論理集合である（データエンティティではない）が、データの移行及びストレージの選択単位はＰＧを最小単位とし、オブジェクトのＰＧへのマッピングはＨａｓｈ演算により余りを求める結果であり、そのため、各ＰＧ上にマッピングされたオブジェクトが一致するわけではなく、ＰＧの大きさも一致しない。また、ストレージ割り当てが不均等であると、シングルノードの使用過負荷を引き起こし、ストレージシステム全体を利用不能状態にさせることとなる。 The Ceph storage system is an Object-Based Storage System (OBSS), but unlike the traditional OBSS, the Ceph storage system records the OSD (Object Storage Device) location of the striping object storage. independent metadata server, and uses CRUSH (Controlled Replication Under Scalable Hashing) algorithm to determine the storage location of objects and object copy backups. If the data needs to be retrieved again or modified, the data read/write addressing process can be completed independently in each OSD, and there is no single-node bottleneck. Such a scheduling scheme relies on software rather than manual work, and when replacing or adding equipment, the software can autonomously calculate the storage location of objects, and balance during data recovery and capacity expansion. and the process does not require manual intervention. Ceph's existing CRUSH algorithm performs a corresponding Hash Hash operation according to the input PG (Placement Group), and has the function of selecting one storage master node and multiple copy nodes, so that the PG changes. Otherwise, the selected OSD combination will not change either, completing the read/write initial addressing function, and if the OSD of which changes, the data can be recovered spontaneously from other nodes. A storage service request is divided into small objects of the same size, and a logical group PG formed by aggregating small objects can be evenly assigned to each OSD based on a preset OSD weight, so that the system can And maintenance workers do not need to consider the OSD situation. However, the dissimilarity of the OSDs themselves cannot be fully and accurately reflected by the weights, the weights are only a probabilistic choice problem, not a specific percentage, and the PGs are distributed equally on each OSD globally. When assigned, the PG data on each OSD is assumed to be consistent, but differences in PGs are not considered, and PGs are logical collections of objects (not data entities), but data migration and storage selection units are PG is the minimum unit, and mapping of objects to PG is the result of finding the remainder by Hash operation. Therefore, the objects mapped on each PG do not match, and the sizes of PGs do not match. In addition, uneven storage allocation can lead to single-node usage overload, rendering the entire storage system unusable.
Ｃｅｐｈのストレージ選択及びマッピング過程は従来使用されているＭＤＳ（ＭｅｔａＤａｔａ Ｓｅｒｖｅｒ、メタデータサーバ）のストレージシステムと同じではないため、従来の重みに基づく調整手段は移行の数及び移行の方向を正確に制御することができないとともに、今回の調整がデータのアバランチ（１つの過負荷になったＯＳＤのデータ移行を調整すると、より多くのＯＳＤの過負荷を引き起こすこととなる）を引き起こすか否かを予測することもできない。したがって、新たなＣｅｐｈ自動均等化ストレージ方法が必要となり、ＰＧを使用する実際の状況に応じてリアルタイムのデータ移行を行うことができ、移行しながら、今回の移行がシステムのシングルノード使用率の均等化に対して良好な作用を有することを保証することができる。 Since Ceph's storage selection and mapping process is not the same as the traditionally used MDS (MetaData Server) storage system, conventional weight-based reconciliation means can precisely control the number of migrations and the direction of migration. and predict whether this adjustment will cause data avalanche (adjusting the data migration of one overloaded OSD will cause more OSDs to be overloaded). I can't. Therefore, a new Ceph automatic balancing storage method is required, which can perform real-time data migration according to the actual situation of using PG, and while migrating, this migration will make the system's single-node utilization rate even. It can be guaranteed to have a good effect on oxidization.
従来技術の上記問題に対して、階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法が提供され、本発明はＣｅｐｈストレージシステムに基づく分散作業タスクの環境におけるストレージの自動均等化を実現することができ、高負荷のシングルノードの自律的均等化調整を可能にし、データの移行方向及び移行の数を正確に制御し、それによりシステムの安定性を保証する。 In view of the above problems of the prior art, an automatic balancing storage method for Ceph storage system based on hierarchical mapping is provided, and the present invention can realize automatic storage balancing in the environment of distributed work tasks based on Ceph storage system. It enables autonomous balancing adjustment of high-load single nodes, and precisely controls the data migration direction and number of migrations, thereby ensuring system stability.
上記技術的課題を解決するために、本発明が採用する技術的解決手段は、
階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法であって、実施ステップは、
ＰＧとＯＳＤに新たな階層属性を与え、同一レベルのＯＳＤ集合論理でストレージプール全体を複数のサブストレージプールに分割し、ＰＧ階層とＯＳＤ階層を一対一に対応させ、ＰＧを同一レベルのＯＳＤストレージプールではなければ選択を行うことができないようにし、階層の変化に応じてＰＧに自由に移行できる能力を与えるとともに、Ｃｅｐｈストレージシステムの既存のＣＲＵＳＨアルゴリズムの新たなパラメータとしてランダム因子を加え、新たなＯＳＤ組み合わせの選択結果を指導し、ＰＧに移行のより多くの選択を与えるステップ（１）と、
データを挿入する時に、単一のＯＳＤの使用率とシステムの平均使用率との差を取得し、事前に設定された閾値と、閾値を超えるか否かについて比較し、閾値を超える場合、ステップ（３）に移行して均等化ストレージポリシーをトリガし、閾値を超えない場合、データを正常に挿入するステップ（２）と、
当該ＯＳＤ内のＰＧの大きさに基づいてソートするキューを取得し、そのうち大きさが中央値にあるＰＧを選択して分析し、このＰＧが位置するＯＳＤサブストレージプールと隣接するレベルのサブストレージプールの使用率で大きさをソートし、使用率レベルの最も低いサブストレージプールのレベルをＰＧの新たなレベルとするとともに、この新たなレベルの配置に基づいて、レベルをシードとして複数の乱数を生成して複数のランダム因子を生成し、ランダム因子をＣＲＵＳＨアルゴリズムのパラメータとし、ＯＳＤ組み合わせの選択結果を干渉し、複数の異なるＯＳＤ組み合わせを生成してデータをストレージさせるために用いられ、ランダム因子によって生成されたＯＳＤ組み合わせによるシステムの均等性への影響に基づいて対応する影響因子を生成し、最後に影響因子のソートに基づいて、影響因子が最も小さく、すなわちシステムの均等性への影響が最も小さいレベルを選択して影響因子と組み合わせ、ＰＧに新たなグループ化属性を付与するステップ（３）と、を含む階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法である。
In order to solve the above technical problems, the technical solutions adopted by the present invention are:
An automatic balancing storage method for a Ceph storage system based on tier mapping, the implementing steps comprising:
A new hierarchical attribute is given to PG and OSD, the entire storage pool is divided into a plurality of sub-storage pools with OSD aggregation logic of the same level, the PG hierarchy and the OSD hierarchy are corresponded one-to-one, and the PG is OSD storage of the same level. In addition to making it impossible to make selections unless it is a pool, giving the ability to freely move to PG according to changes in the tier, adding a random factor as a new parameter to the existing CRUSH algorithm of the Ceph storage system, and creating a new Step (1) of guiding the OSD combination selection results and giving the PG more choices of transitions;
When inserting data, obtain the difference between the utilization rate of a single OSD and the average utilization rate of the system, compare with a preset threshold for whether or not the threshold is exceeded, and if the threshold is exceeded, step (2) transitioning to (3) to trigger a fair storage policy and, if the threshold is not exceeded, inserting the data successfully;
Obtaining a queue for sorting according to the size of PGs in the OSD, selecting and analyzing a PG whose size is in the median, and sub-storage at a level adjacent to the OSD sub-storage pool in which this PG is located. Sort the size by pool usage rate, set the level of the sub-storage pool with the lowest usage rate level as the new level of the PG, and based on the placement of this new level, generate multiple random numbers using the level as a seed. Generate a plurality of random factors, use the random factor as a parameter of the CRUSH algorithm, interfere with the selection result of the OSD combination, generate a plurality of different OSD combinations to store data, and use the random factor to Based on the effect of the generated OSD combinations on the system evenness, generate corresponding influence factors, and finally, based on the sorting of the influence factors, determine which influence factor is the smallest, i.e., the effect on the system evenness is the most. step (3) of selecting a small level and combining it with the influence factor to give the PG a new grouping attribute.
ステップ（１）の初期化過程において、主な初期化ステップは、ＯＳＤの階層属性を初期化する場合、手動で初期化を行い、ＰＧの階層属性を初期化する場合、コンシステントハッシュアルゴリズムに基づいてＰＧを各ストレージプールに均一に分布することを含み、ＰＧの大きさが予測できないため、初期に数量に基づいて比較的平均的な分布を行うことにより、システムを使い始めたばかりに大量の均等化移行が伴うことを回避する。任意選択的に、コンシステントｈａｓｈアルゴリズムを使用してＰＧレベルを初期化してもよい。 In the initialization process of step (1), the main initialization steps are manual initialization when initializing the OSD hierarchy attribute, and based on the consistent hash algorithm when initializing the PG hierarchy attribute. Since the size of the PGs is unpredictable, doing a relatively average distribution based on the quantity at the beginning will allow a large amount of even distribution when the system is just getting started. avoid the accompanying migration. Optionally, a consistent hash algorithm may be used to initialize the PG level.
ステップ（１）においてランダム因子はＣＲＵＳＨアルゴリズムの出力結果を指導するために用いられ、それは元のＣＲＵＳＨアルゴリズムの選択過程を、
に変更する機能をし、
上式において、Ｒｉ＜ＯＳＤ＞は選択されたｉ番目のＯＳＤ組み合わせであり、ＣＲＵＳＨアルゴリズムを呼び出す入力パラメータはＰＧＩＤとｒｉであり、ＰＧＩＤはＰＧの唯一の識別子であり、ｒｉはランダム因子である。このアルゴリズムに基づいて、ステップ（３）において複数グループのＯＳＤ組み合わせを生成することができ、そのうちから最適で、システムの均等性に対する影響が最も小さいＯＳＤ組み合わせを選択する。
In step (1) a random factor is used to guide the output of the CRUSH algorithm, which drives the selection process of the original CRUSH algorithm to:
function to change to
where R i <OSD> is the ith OSD combination selected, the input parameters to invoke the CRUSH algorithm are PGID and r i , PGID is the unique identifier of the PG, and r i is the random factor. is. Based on this algorithm, multiple groups of OSD combinations can be generated in step (3), from which the optimal OSD combination with the least impact on system uniformity is selected.
ステップ（２）において均等化ポリシーのトリガを生成する過程はデータを挿入する時、すなわちＣＲＵＳＨアルゴリズムを行う過程において判断とトリガを行い、実現のためにグローバルの監視を導入することを必要とする。 The process of generating equalization policy triggers in step (2) requires making decisions and triggering when inserting data, i.e., in the process of performing the CRUSH algorithm, and introducing global oversight for implementation.
ステップ（３）において、影響因子はＰＧ移行前の目標サブストレージプールの均等化ストレージ状況、及びＰＧがこの新たなレベル及び新たな影響因子に従って移行した後の目標サブストレージプールの均等化ストレージ状況を評価する機能をし、１つのサブストレージプールの均等化ストレージ状況に対して、その量子化の式は、
であり、
上式において、Ｍは当該サブストレージプールの平均使用率であり、ｘｊは当該サブストレージプールにおける各ＯＳＤの使用率であり、ｎはサブストレージプールにおけるＯＳＤの数である。
In step (3), the influence factor determines the balanced storage status of the target sub-storage pool before the PG migration and the balanced storage status of the target sub-storage pool after the PG migrates according to this new level and the new impact factor. For the balanced storage situation of one sub-storage pool, the quantization formula is
and
In the above formula, M is the average usage rate of the sub-storage pool, xj is the usage rate of each OSD in the sub-storage pool, and n is the number of OSDs in the sub-storage pool.
あるＰＧのある回の移行前のβｒ値と移行後のβｊ値を用い、このＰＧによる今回の移行におけるシステムのストレージ均等化値に対する影響因子を得ることができる。
Using a PG's pre-migration β r value and post-migration β j value, we can obtain the impact factor on the system's storage balancing value for this PG's current migration.
ここで、あるグループの使用率はＰＧ移行後にそのうち１つが１を超えると、このグループの影響因子は－１であり、それにより今回のＰＧの移行が新たなＯＳＤの過負荷又は完全な利用不能を引き起こさないことを保証する。 Here, if the usage rate of a group exceeds 1 after one of them has been migrated to PG, the influence factor of this group is -1, so that this PG migrate will cause new OSD overload or complete unavailability. guaranteed not to cause
ステップ（１）はシステムにおけるハードウェアの計画及びサブストレージプールの配置をさらに含む。 Step (1) further includes hardware planning and placement of sub-storage pools in the system.
（一）従来のストレージデバイスを分類し、整理し、新たに分割されたサブストレージプールの大きさが合理的であることを確保し、原則としてＰＧのレベル割り当てのランダム性、ＰＧのデータ書き込みのランダム性及び各ストレージプールの間の比較に使用率が参考として使用されることのため、各サブストレージプールの大きさが近接すれば最も好ましい。 (1) Classify and organize the existing storage devices, ensure that the size of the newly divided sub-storage pool is reasonable, as a general rule, the randomness of PG level allocation, the PG data writing It is most preferable if each sub-storage pool is close in size because of the randomness and utilization rate used as a reference for comparison between each storage pool.
（二）各ストレージプールに対して配置を行い、各ストレージプールは自体の閾値、ランダム因子の数を有することができる。 (2) Arrangement for each storage pool, each storage pool can have its own threshold, number of random factors.
ステップ（３）が完了した後、適切な移行オブジェクトがなければ、ステップ（２）にジャンプする。 After step (3) is completed, jump to step (2) if there is no suitable transition object.
従来技術に比べ、本発明は以下の利点を有する。均等化ストレージはリアルタイムをタイミングとし、過負荷行為が発生してはじめて行われる均等化操作ではなく、また、余分な計算資源及び人的資源を消費して監視する必要がなく、１つのストレージクラスタの全てのＯＳＤに１つのレベル属性を追加し、それらを複数のレベルのサブストレージプールに分割するとともに、ＯＳＤレベルを基礎としてＰＧに１つのレベル属性を追加し、ＰＧは同一レベルのサブストレージプールではなければ組み合わせを探してストレージすることができず、また、ＰＧにランダム因子を加えてＯＳＤ選択過程を指導し、より多くの選択可能な組み合わせを生成させ、影響因子を加えて１つのＰＧの属性が変化した後に選択結果が変化することによるシステムの均等化ストレージに対する影響を量子化し、総ストレージプールにおいてシングルノードＯＳＤに使用率の高すぎが発生した場合、そのうち大きさが中央値のＰＧを選択し、当該サブストレージプールと隣接するサブストレージプールの使用率情報に基づいてＰＧ移行の方向を確定し、また、ＰＧレベル、ランダム因子に基づいて対応する影響因子組み合わせを生成し、最適なレベルと影響因子組み合わせを選択して均等化調整を行う。本発明はリスク移転の思想を利用し、階層マッピングの原理を利用してストレージシステム全体を一つ一つのストレージ領域に分割し、局所のストレージデバイスの過負荷が発生する場合、ストレージデータを低リスク（低使用率）の領域に移転することができ、高負荷のストレージノードを緩和させ、ストレージリソースを合理的に利用するとともに、システムをより安定にする。 Compared with the prior art, the present invention has the following advantages. Balancing storage is timed in real-time, and the balancing operation is not performed only after an overload event occurs, and does not need to consume extra computational and human resources for monitoring, and can be used in a single storage cluster. A level attribute is added to all OSDs, dividing them into multiple levels of sub-storage pools, and a level attribute is added to PGs based on the OSD level. Also, add a random factor to the PG to guide the OSD selection process to generate more selectable combinations, add an influence factor to the attributes of one PG Quantify the impact on the system balance storage by changing the selection result after the change, and select the PG with the median size if the single node OSD is overutilized in the total storage pool. Then, the direction of PG migration is determined based on the usage rate information of the sub-storage pool adjacent to the sub-storage pool, and the corresponding combination of influence factors is generated based on the PG level and random factors, and the optimum level and Select an influencing factor combination to perform equalization adjustments. The present invention uses the concept of risk transfer, and uses the principle of hierarchical mapping to divide the entire storage system into individual storage areas, so that when the local storage device is overloaded, the storage data can be stored at low risk. It can be relocated to a (low utilization) area, relieving storage nodes with high load, rationally utilizing storage resources, and making the system more stable.
以下、本発明の目的、技術的解決手段及び利点をさらに明確にするために、図面及び実施例を参照しながら、本発明について一層詳細に説明する。本明細書に説明される具体的な実施例は本発明を説明するためのものに過ぎず、本発明を限定するものではないことを理解されたい。また、以下説明される本発明の各実施形態に係る技術的特徴は、互いに矛盾しない限り、互いに組み合わせてもよい。 Hereinafter, the present invention will be described in more detail with reference to the drawings and examples in order to make the objectives, technical solutions and advantages of the present invention clearer. It should be understood that the specific examples described herein are for the purpose of illustrating the invention only and are not intended to limit the invention. Moreover, the technical features according to the embodiments of the present invention described below may be combined with each other as long as they do not contradict each other.
図１に示すように、本実施例の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージのフローは以下の（１）～（４）を含む。 As shown in FIG. 1, the automatic balancing storage flow of the Ceph storage system based on tier mapping of this embodiment includes the following (1) to (4).
（１）ＰＧとＯＳＤに新たな階層属性を与え、同一レベルのＯＳＤ集合論理でストレージプール全体を複数のサブストレージプールに分割する。 (1) Give PGs and OSDs new hierarchical attributes, and divide the entire storage pool into multiple sub-storage pools with the same level of OSD aggregation logic.
（２）また、ＰＧ階層とＯＳＤ階層を一対一に対応させ、ＰＧを同一レベルのＯＳＤストレージプールではなければ選択を行うことができないようにし、階層の変化に応じてＰＧに自由に移行できる能力を与える。 (2) Also, the PG hierarchy and the OSD hierarchy are made to correspond one-to-one, so that the PG cannot be selected unless it is an OSD storage pool of the same level, and the ability to freely migrate to the PG according to changes in the hierarchy. give.
（３）データを挿入する時に、ＯＳＤの使用率とシステムの平均使用率との間の比較結果が予め設定された閾値を超えるか否かに基づいて、閾値を超える場合、本発明におけるＰＧの移行方法をトリガして均等化の目的を達成し、閾値に達しない場合、データを正常に書き込む。 (3) when inserting data, based on whether the comparison result between the OSD usage rate and the average usage rate of the system exceeds a preset threshold, if the threshold is exceeded, the PG in the present invention If the migration method is triggered to achieve the equalization objective and the threshold is not reached, the data is successfully written.
（４）単一のＯＳＤとシステムの平均使用率との比較により、閾値を超える場合、本発明の均等化ストレージポリシーをトリガし、当該ポリシーはシステムのストレージ分布を均一化し、局所のＯＳＤの突出した使用率を低下させ、当該ポリシーを使用した後にＯＳＤの使用率がプリセット値（例えば１００）となり、すなわち既に全負荷となる場合、書き込みを拒否する。１００未満の場合、データを正常に書き込む。 (4) If the threshold is exceeded by comparing a single OSD with the average utilization of the system, triggering the equalization storage policy of the present invention, which equalizes the storage distribution of the system and causes local OSDs to protrude. If after using the policy the OSD's utilization is at a preset value (eg 100), i.e. already at full load, writes are rejected. If less than 100, write data successfully.
図２に示すように、本実施例におけるランダム因子の生成ステップは以下の（１）～（４）を含む。 As shown in FIG. 2, the step of generating random factors in this embodiment includes the following (1) to (4).
（１）目標サブストレージプールの配置を取得し、最大のランダム因子の数を取得し、サブストレージプールを分割した後に毎回の計算規模が小さくなるため、同じ組み合わせを生成しないため、ここで判断する必要があり、ランダム因子の最大個数が比較的低い場合はランダム因子の選択を迅速に完了することができ、均等化の高効率を保証し、また、比較的高い場合は十分に多くのランダムテストを行うことができることを保証して、システムの高可用性を保証する。 (1) Get the allocation of the target sub-storage pool, get the maximum number of random factors, and after splitting the sub-storage pool, the calculation scale will be smaller each time, so the same combination will not be generated, so make a decision here If the maximum number of random factors is relatively low, the selection of random factors can be completed quickly, ensuring high efficiency of equalization, and if the maximum number of random factors is relatively high, a sufficiently large number of random tests ensure high availability of the system.
（２）本実施例において、ランダム因子はパラメータとしてＣＲＵＳＨアルゴリズムの選択過程を干渉する機能をし、そのため、ランダム因子の生成はＰＧのレベルをシードとしてＣ言語に付属する乱数の生成方法を使用すればよく、ランダム因子を使用して選択されたＯＳＤ組み合わせのアルゴリズムのプロセスは、
であり、
上式において、Ｒｉ＜ＯＳＤ＞は選択されたｉ番目のＯＳＤ組み合わせであり、ＣＲＵＳＨアルゴリズムを呼び出す入力パラメータはＰＧＩＤとｒｉであり、ＰＧＩＤはＰＧの唯一の識別子であり、ｒｉはランダム因子である。
(2) In this embodiment, the random factor functions as a parameter to interfere with the selection process of the CRUSH algorithm, so that the random factor generation should use the random number generation method attached to the C language with the level of PG as a seed. The algorithmic process of OSD combinations selected using a random factor may be:
and
where R i <OSD> is the ith OSD combination selected, the input parameters to invoke the CRUSH algorithm are PGID and r i , PGID is the unique identifier of the PG, and r i is the random factor. is.
（３）１つごとのＯＳＤ組み合わせの例を選択した後、まずこの組み合わせが既に選択されたか否かを判断し、当該組み合わせが既に選択結果内に存在すれば、今回の選択をスキップし、ＯＳＤ選択を再び行い、当該組み合わせがなければ、保存する。 (3) After selecting each OSD combination example, first determine whether this combination has already been selected, and if the combination already exists in the selection result, skip the current selection, and Make the selection again, and save if the combination does not exist.
（４）組み合わせの数が既にこのＯＳＤサブストレージプールの要求に達すれば、ＯＳＤ組み合わせの選択過程を終了し、そうでなければステップ（２）にジャンプして選択を継続する。 (4) If the number of combinations has already reached the demand of this OSD sub-storage pool, end the OSD combination selection process, otherwise jump to step (2) to continue selection.
図３に示すように、本実施例において、影響因子の計算及び選択はＰＧ属性の変化を指導し、影響因子はＰＧ移行前の目標サブストレージプールの均等化ストレージ状況を評価する機能をし、その指導ステップは以下（１）～（５）を含む。 As shown in FIG. 3, in this embodiment, the calculation and selection of influence factors guide the change of PG attributes, the influence factors serve to evaluate the balanced storage status of the target sub-storage pool before PG migration, The instruction steps include the following (1) to (5).
（１）ＰＧの新たなレベルとランダム因子に対応するＯＳＤ組み合わせをロードする。 (1) Load the OSD combination corresponding to the new level of PG and the random factor.
（２）これらのＯＳＤ組み合わせを繰り返し、全ての計算が完了すると、このフローを終了し、まだ計算されない組み合わせがあると、次のステップにジャンプする。 (2) Repeat these OSD combinations, and when all calculations are completed, terminate this flow, and jump to the next step if there are combinations that have not yet been calculated.
（３）現在のシステムの均等化パラメータを計算し、１つのサブストレージプールの均等化ストレージ状況に対して、その量子化の式は、
であり、
上式において、Ｍは当該サブストレージプールの平均使用率であり、ｘｊは当該サブストレージプールにおける各ＯＳＤの使用率であり、ｎはサブストレージプールにおけるＯＳＤの数である。
(3) Calculate the balancing parameters of the current system, and for the balancing storage situation of one sub-storage pool, its quantization formula is:
and
In the above formula, M is the average usage rate of the sub-storage pool, xj is the usage rate of each OSD in the sub-storage pool, and n is the number of OSDs in the sub-storage pool.
（４）上式に従って、当該ＰＧがこの時のランダム因子で移行した後のシステム均等化パラメータβｊを計算する。 (4) Calculate the system equalization parameter β j after the PG shifts with the random factor at this time according to the above equation.
（５）あるＰＧのある回の移行前のβ値と移行後のβ値を用い、このＰＧによる今回の移行におけるシステムのストレージ均等化値に対する影響因子を得ることができる。
(5) Using a PG's pre-migration β value and post-migration β value, we can obtain the influence factor on the system's storage balancing value for this PG's current migration.
ここで、あるグループの使用率はＰＧ移行後にそのうち１つが１を超えると、このグループの影響因子は－１であり、それにより今回のＰＧの移行が新たなＯＳＤの過負荷又は完全な利用不能を引き起こさないことを保証し、本実施例において、－１であれば、今回の結果を使用せず、今回の計算を直接放棄する。 Here, if the usage rate of a group exceeds 1 after one of them has been migrated to PG, the influence factor of this group is -1, so that this PG migrate will cause new OSD overload or complete unavailability. , and in this example, if it is -1, we do not use the current result and directly abandon the current computation.
本実施例の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法は、ストレージクラスタ全体における単一のＯＳＤの過負荷によるシステム全体の利用不能の問題を解決することを目的とし、Ｃｅｐｈストレージシステムの特性により、データが各ＯＳＤに均一に分布しているように見え、そのため、重み値が同じの場合にＯＳＤの相違性は局所的過負荷の状況を模擬することができる。本実施例は様々なＯＳＤと様々なストレージプールの分割方法を用いて初期化を行い、最大書き込み量を評価基準とし、最大書き込みでのシステム崩壊までの総データ量により本発明の有効性を判別する。その結果、本発明は単一ＯＳＤの過負荷によるシステム崩壊の状況を効果的に緩和できることが示される。 The automatic balancing storage method of the Ceph storage system based on tier mapping in this embodiment aims to solve the problem of unavailability of the entire system due to overloading of a single OSD in the entire storage cluster. By nature, the data appears to be evenly distributed across each OSD, so that OSD differences can mimic local overload situations when the weight values are the same. In this embodiment, initialization is performed using various OSDs and various storage pool division methods, and the maximum write amount is used as the evaluation criterion, and the effectiveness of the present invention is determined by the total amount of data until the system collapses at the maximum write amount. do. The results show that the present invention can effectively mitigate the situation of system collapse due to single OSD overload.
当業者であれば容易に理解されるように、以上の記載は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、本発明の精神及び原則内で行われる全ての修正、同等の置換及び改善などは、いずれも本発明の保護範囲内に含まれるべきである。 As a person skilled in the art will readily appreciate, the above description is merely a preferred embodiment of the present invention and is not intended to limit the present invention, and all modifications made within the spirit and principles of the present invention. , equivalent replacements and improvements, etc. shall all fall within the protection scope of the present invention.
Claims (8)
ＰＧとＯＳＤに新たな階層属性を与え、同一レベルのＯＳＤ集合論理でストレージプール全体を複数のサブストレージプールに分割し、ＰＧ階層とＯＳＤ階層を一対一に対応させ、ＰＧを同一レベルのＯＳＤストレージプールではなければ選択を行うことができないようにし、階層の変化に応じてＰＧに自由に移行できる能力を与えるとともに、Ｃｅｐｈストレージシステムの既存のＣＲＵＳＨアルゴリズムの新たなパラメータとしてランダム因子を加え、新たなＯＳＤ組み合わせの選択結果を指導し、ＰＧに移行のより多くの選択を与えるステップ（１）と、
データを挿入する時に、単一のＯＳＤの使用率とシステムの平均使用率との差を取得し、事前に設定された閾値と、閾値を超えるか否かについて比較し、閾値を超える場合、ステップ（３）に移行して均等化ストレージポリシーをトリガし、閾値を超えない場合、データを正常に挿入するステップ（２）と、
当該ＯＳＤ内のＰＧの大きさに基づいてソートするキューを取得し、そのうち大きさが中央値にあるＰＧを選択して分析し、このＰＧが位置するＯＳＤサブストレージプールと隣接するレベルのサブストレージプールの使用率で大きさをソートし、使用率レベルの最も低いサブストレージプールのレベルをＰＧの新たなレベルとするとともに、この新たなレベルの配置に基づいて、レベルをシードとして複数の乱数を生成して複数のランダム因子を生成し、ランダム因子をＣＲＵＳＨアルゴリズムのパラメータとし、ＯＳＤ組み合わせの選択結果を干渉し、複数の異なるＯＳＤ組み合わせを生成してデータをストレージさせるために用いられ、ランダム因子によって生成されたＯＳＤ組み合わせによるシステムの均等性への影響に基づいて対応する影響因子を生成し、最後に影響因子のソートに基づいて、影響因子が最も小さく、すなわちシステムの均等性への影響が最も小さいレベルを選択して影響因子と組み合わせ、ＰＧに新たなグループ化属性を付与するステップ（３）と、を含む、ことを特徴とする階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法。 An automatic balancing storage method for a Ceph storage system based on tier mapping, the implementing steps comprising:
A new hierarchical attribute is given to PG and OSD, the entire storage pool is divided into a plurality of sub-storage pools with OSD aggregation logic of the same level, the PG hierarchy and the OSD hierarchy are corresponded one-to-one, and the PG is OSD storage of the same level. In addition to making it impossible to make selections unless it is a pool, giving the ability to freely move to PG according to changes in the tier, adding a random factor as a new parameter to the existing CRUSH algorithm of the Ceph storage system, and creating a new Step (1) of guiding the OSD combination selection results and giving the PG more choices of transitions;
When inserting data, obtain the difference between the utilization rate of a single OSD and the average utilization rate of the system, compare with a preset threshold for whether or not the threshold is exceeded, and if the threshold is exceeded, step (2) transitioning to (3) to trigger a fair storage policy and, if the threshold is not exceeded, inserting the data successfully;
Obtaining a queue for sorting based on the size of PGs in the OSD, selecting and analyzing a PG whose size is in the median, and sub-storage at a level adjacent to the OSD sub-storage pool in which this PG is located. Sort the size by pool usage rate, set the level of the sub-storage pool with the lowest usage rate level as the new level of PG, and based on the placement of this new level, generate multiple random numbers using the level as a seed. Generate a plurality of random factors, use the random factor as a parameter of the CRUSH algorithm, interfere with the selection result of the OSD combination, generate a plurality of different OSD combinations to store data, and use the random factor to Based on the effect of the generated OSD combination on the system evenness, generate the corresponding influence factors, and finally, based on the sorting of the influence factors, the influence factor is the smallest, i.e., it has the most influence on the system evenness. (3) selecting a small level and combining it with an influencing factor to give a new grouping attribute to the PG.
に変更する機能をし、
上式において、Ｒｉ＜ＯＳＤ＞は選択されたｉ番目のＯＳＤ組み合わせであり、ＣＲＵＳＨアルゴリズムを呼び出す入力パラメータはＰＧＩＤとｒｉであり、ＰＧＩＤはＰＧの唯一の識別子であり、ｒｉはランダム因子である、ことを特徴とする請求項１又は２に記載の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法。 In step (1) a random factor is used to guide the output of the CRUSH algorithm, which drives the selection process of the original CRUSH algorithm to:
function to change to
where R i <OSD> is the ith OSD combination selected, the input parameters to invoke the CRUSH algorithm are PGID and r i , PGID is the unique identifier of the PG, and r i is the random factor. The automatic balancing storage method for Ceph storage system based on hierarchical mapping according to claim 1 or 2, characterized in that:
１つのサブストレージプールの均等化ストレージ状況に対して、その量子化の式は、
であり、
ここで、Ｍは当該サブストレージプールの平均使用率であり、ｘｊは当該サブストレージプールにおける各ＯＳＤの使用率であり、ｎはサブストレージプールにおけるＯＳＤの数であり、
あるＰＧのある回の移行前のβｒ値と移行後のβｊ値を用い、このＰＧによる今回の移行におけるシステムのストレージ均等化値に対する影響因子を得ることができ、
ここで、あるグループの使用率はＰＧ移行後にそのうち１つが１を超えると、このグループの影響因子は－１であり、それにより今回のＰＧの移行が新たなＯＳＤの過負荷又は完全な利用不能を引き起こさないことを保証する、ことを特徴とする請求項２に記載の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法。 In step (3), the influence factor determines the balanced storage status of the target sub-storage pool before the PG migration and the balanced storage status of the target sub-storage pool after the PG migrates according to this new level and the new impact factor. It has a function to evaluate, specifically,
For the balanced storage situation of one sub-storage pool, the quantization formula is
and
Here, M is the average usage rate of the sub-storage pool, x j is the usage rate of each OSD in the sub-storage pool, n is the number of OSDs in the sub-storage pool,
Using the pre-migration β r value and the post-migration β j value of a PG, we can obtain the influence factor on the storage balancing value of the system in this migration by this PG,
Here, if the usage rate of a group exceeds 1 after one of them has been migrated to PG, the influence factor of this group is -1, so that this PG migrate will cause new OSD overload or complete unavailability. The automatic balancing storage method for Ceph storage system based on hierarchical mapping according to claim 2, characterized in that it ensures that no .
従来のストレージデバイスを分類し、整理し、新たに分割されたサブストレージプールの大きさが合理的であることを確保し、ＰＧのレベル割り当てのランダム性、ＰＧのデータ書き込みのランダム性及び各ストレージプールの間の比較に使用率が参考として使用され、各サブストレージプールの大きさが近接し、
各サブストレージプールに対して配置を行い、各サブストレージプールは自体の閾値、ランダム因子の数を有することができる、ことを特徴とする請求項１に記載の階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法。 Step (1) further includes hardware planning and sub-storage pool placement in the storage system, specifically:
Classify and organize the conventional storage device, ensure that the size of the newly divided sub-storage pool is reasonable, PG level allocation randomness, PG data writing randomness and each storage Utilization is used as a reference for comparison between pools, the size of each sub-storage pool is close,
The automated Ceph storage system based on tier mapping as claimed in claim 1, wherein allocation is performed for each sub-storage pool, and each sub-storage pool can have its own threshold, number of random factors. Balanced storage method.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763358.5 | 2020-08-01 | ||
| CN202010763358.5A CN111880747B (en) | 2020-08-01 | 2020-08-01 | Automatic balanced storage method of Ceph storage system based on hierarchical mapping |
| PCT/CN2021/094042 WO2022028033A1 (en) | 2020-08-01 | 2021-05-17 | Hierarchical mapping-based automatic balancing storage method for ceph storage system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023536693A true JP2023536693A (en) | 2023-08-29 |
Family
ID=73205010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023503089A Pending JP2023536693A (en) | 2020-08-01 | 2021-05-17 | Automatic Balancing Storage Method for Ceph Storage Systems Based on Hierarchical Mapping |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2023536693A (en) |
| CN (1) | CN111880747B (en) |
| WO (1) | WO2022028033A1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111880747B (en) * | 2020-08-01 | 2022-11-08 | 广西大学 | Automatic balanced storage method of Ceph storage system based on hierarchical mapping |
| CN112463043B (en) * | 2020-11-20 | 2023-01-10 | 苏州浪潮智能科技有限公司 | Storage cluster capacity expansion method, system and related device |
| CN112231137B (en) * | 2020-12-14 | 2021-03-30 | 广东睿江云计算股份有限公司 | Rebalancing method and system for distributed storage data |
| CN115277736A (en) * | 2022-07-25 | 2022-11-01 | 中国工商银行股份有限公司 | Automatic data balancing method and device for distributed block storage |
| CN115202589B (en) * | 2022-09-14 | 2023-02-24 | 浪潮电子信息产业股份有限公司 | Placement group member selection method, device and equipment and readable storage medium |
| CN115796636B (en) * | 2022-10-19 | 2023-07-14 | 江苏领悟信息技术有限公司 | Double random extraction method for detection and inspection |
| CN116737380B (en) * | 2023-06-16 | 2024-02-09 | 深圳市青葡萄科技有限公司 | Balanced storage method, device and equipment for distributed memory and storage medium |
| CN116761177B (en) * | 2023-08-21 | 2023-10-20 | 云镝智慧科技有限公司 | Data acquisition method based on 5G gateway and related device thereof |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101074454B1 (en) * | 2009-08-18 | 2011-10-18 | 연세대학교 산학협력단 | Adaptive equalization device and equalizing method |
| US9116630B2 (en) * | 2013-08-30 | 2015-08-25 | Nimble Storage, Inc. | Method and system for migrating data between storage devices of a storage array |
| CN103645860B (en) * | 2013-11-27 | 2017-01-25 | 华为技术有限公司 | Memory space management method and memory management device |
| CN106055277A (en) * | 2016-05-31 | 2016-10-26 | 重庆大学 | Decentralized distributed heterogeneous storage system data distribution method |
| CN106991170A (en) * | 2017-04-01 | 2017-07-28 | 广东浪潮大数据研究有限公司 | A kind of method and apparatus of distributed document capacity equilibrium |
| CN108509157A (en) * | 2018-04-13 | 2018-09-07 | 郑州云海信息技术有限公司 | A kind of data balancing method and device applied to distributed file system |
| US11119654B2 (en) * | 2018-07-10 | 2021-09-14 | International Business Machines Corporation | Determining an optimal storage environment for data sets and for migrating data sets |
| US10713155B2 (en) * | 2018-07-19 | 2020-07-14 | Micron Technology, Inc. | Biased sampling methodology for wear leveling |
| US10795810B2 (en) * | 2018-09-10 | 2020-10-06 | Micron Technology, Inc. | Wear-leveling scheme for memory subsystems |
| CN109344143A (en) * | 2018-10-25 | 2019-02-15 | 电子科技大学成都学院 | A kind of distributed type assemblies Data Migration optimization method based on Ceph |
| CN109614276B (en) * | 2018-11-28 | 2021-09-21 | 平安科技（深圳）有限公司 | Fault processing method and device, distributed storage system and storage medium |
| CN111880747B (en) * | 2020-08-01 | 2022-11-08 | 广西大学 | Automatic balanced storage method of Ceph storage system based on hierarchical mapping |
-
2020
- 2020-08-01 CN CN202010763358.5A patent/CN111880747B/en active Active
-
2021
- 2021-05-17 JP JP2023503089A patent/JP2023536693A/en active Pending
- 2021-05-17 WO PCT/CN2021/094042 patent/WO2022028033A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN111880747B (en) | 2022-11-08 |
| CN111880747A (en) | 2020-11-03 |
| WO2022028033A1 (en) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023536693A (en) | Automatic Balancing Storage Method for Ceph Storage Systems Based on Hierarchical Mapping | |
| CN109196459B (en) | Decentralized distributed heterogeneous storage system data distribution method | |
| US9600337B2 (en) | Congestion avoidance in network storage device using dynamic weights | |
| WO2018076791A1 (en) | Resource load balancing control method and cluster scheduler | |
| US9940022B1 (en) | Storage space allocation for logical disk creation | |
| CN106293871A (en) | A kind of resource regulating method of cluster virtual machine | |
| CN106610903A (en) | Tiered storage system, storage controller, and method for deduplication and storage tiering | |
| JPH05225066A (en) | Method for controlling priority-ordered cache | |
| KR20120092930A (en) | Distributed memory cluster control apparatus and method using map reduce | |
| CN104317742A (en) | Automatic thin-provisioning method for optimizing space management | |
| US10810054B1 (en) | Capacity balancing for data storage system | |
| CN111596868B (en) | Load balancing method and system of distributed storage system based on segment unit | |
| CN108920100B (en) | Ceph-based read-write model optimization and heterogeneous copy combination method | |
| CN1602480A (en) | Managing storage resources attached to a data network | |
| WO2020134364A1 (en) | Virtual machine migration method, cloud computing management platform, and storage medium | |
| Dieye et al. | On achieving high data availability in heterogeneous cloud storage systems | |
| US11513849B2 (en) | Weighted resource cost matrix scheduler | |
| US20210390405A1 (en) | Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof | |
| CN110928676B (en) | Power CPS load distribution method based on performance evaluation | |
| CN114063888A (en) | Data storage system, data processing method, terminal and storage medium | |
| Gao et al. | Compact, popularity-aware and adaptive hybrid data placement schemes for heterogeneous cloud storage | |
| CN115576924A (en) | Data migration method | |
| CN108833295A (en) | The virtual network method for reconfiguration based on TABU search towards SDN | |
| CN116820324A (en) | Storage capacity expansion method and device, storage medium and electronic equipment | |
| Guo et al. | Handling data skew at reduce stage in Spark by ReducePartition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |