JP2019121334A - データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 - Google Patents

データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 Download PDF

Info

Publication number
JP2019121334A
JP2019121334A JP2018085842A JP2018085842A JP2019121334A JP 2019121334 A JP2019121334 A JP 2019121334A JP 2018085842 A JP2018085842 A JP 2018085842A JP 2018085842 A JP2018085842 A JP 2018085842A JP 2019121334 A JP2019121334 A JP 2019121334A
Authority
JP
Japan
Prior art keywords
data
node
load
nodes
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018085842A
Other languages
English (en)
Inventor
魏文国
Wenguo Wei
余懿強
Yi Qiang Yu
戴青雲
Qingyun Dai
趙慧民
Huimin Zhao
蔡君
Jun Cai
謝桂園
Guiyuan Xie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Nanhua Vocational College Of Ind And Commerce
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Nanhua Vocational College Of Ind And Commerce
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Nanhua Vocational College Of Ind And Commerce, Guangdong Polytechnic Normal University filed Critical Guangdong Nanhua Vocational College Of Ind And Commerce
Publication of JP2019121334A publication Critical patent/JP2019121334A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】クラウドストレージシステムのストレージ効率を高めるダイナミックマイグレーション方法を提供する。【解決手段】クライアント端末からデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つのデータをストレージするデータノードを選択し、データノードの相対負荷値と全部のデータノードの平均負荷値を得て、データノードの相対負荷値が平均負荷値以上であればこのデータノードを重負荷ノードに確定して重負荷ノード集合に加え、そうでなければこのデータノードを軽負荷ノードに確定して軽負荷ノード集合に加え、重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションする。【選択図】図1

Description

本発明はデータストレージ技術分野に関し、具体的にはデータストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置に関する。
インターネットの高速発展につれて、現在の社会が発生するデータの量が急速に増えている。多くのインターネットの情報データは高周波の小さいファイルの形式で表現され、一般的なユーザーの情報ストレージアクセスの中に小さいファイルに対するストレージアクセスの操作が比較的に多い。クラウドストレージシステムの中に、非常に多いデータストレージ、高性能、高拡張性で、しかし小さいファイルの量はある程度に達した後、非常に多い小さいファイルをストレージすることはデータノードに巨大なメモリスペースの圧力をもたらして、非常に多い小さいファイルに対する頻繁かつ繰り返しのアクセスもデータノードに性能と負荷分散の影響がある。クラウドストレージシステムの中に、小さいファイルをストレージする時にもっと合理的な置く方式を使って、データをマイグレーションする時に合理的なダイナミックマイグレーションを選択することを通じて、ノードの負荷がバランスを取る時の実行効率をアップし、ノードハードウェア資源の消耗を減少し、クラウドストレージシステムのストレージ効率を高めることと帯域幅の圧力を緩めることに重要な現実的な意義がある。
中国特許出願公開第102355461号明細書
本発明はデータストレージとダイナミックマイグレーション方法と装置を提供し、現有の技術において非常に多い小さいファイルをストレージとデータマイグレーションする時に大きいメモリスペース圧力をもたらすことと、アクセスする時に性能と負荷バランス方面に影響があることを解決する。
本発明に係るデータストレージとダイナミックマイグレーション方法は以下を含む。
クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択する。
前記データノードの相対負荷値と全部のデータノードの平均負荷値を得る。
もし前記データノードの相対負荷値は前記平均負荷値より以上であれば、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションする。
第二側面では本発明に係るデータストレージとダイナミックマイグレーション装置は以下を含む。
選択ユニットはクライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択することに用いる。
アクセスユニットは前記データノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いる。
確定ユニットはもし前記データノードの相対負荷値は前記平均負荷値より以上で、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いる。
マイグレーションユニットは前記重負荷ノード集合の中の前記各重負荷ノードのデータを前記軽負荷ノード集合の中の前記各軽負荷ノードにマイグレーションすることに用いる。
本発明はデータストレージとダイナミックマイグレーション方法と装置を提供し、ディスパッチ評価値によってデータストレージノードを選択する根拠として、小さいファイルをストレージする時にもっと合理的な置く方式を持たせて、非常に多い小さいファイルがデータノードに対するメモリスペースの圧力を緩和し、その同時に、各データノードの相対負荷値と全部のデータノードの平均負荷値によって、各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。
本発明はストレージする時にもっと合理的な置く方式を使って、データをマイグレーションする時に合理的なダイナミックマイグレーションを選択することを通じて、ノードの負荷がバランスを取る時の実行効率をアップし、ノードハードウェア資源の消耗を減少し、クラウドストレージシステムのストレージ効率を高めることと帯域幅の圧力を緩めることに重要な現実的な意義がある。
本発明はストレージする時にもっと合理的な置く方式を使って、データをマイグレーションする時に合理的なダイナミックマイグレーションを選択することを通じて、ノードの負荷がバランスを取る時の実行効率をアップし、ノードハードウェア資源の消耗を減少し、クラウドストレージシステムのストレージ効率を高めることと帯域幅の圧力を緩めることに重要な現実的な意義がある。
本発明の実施例の中の技術方案をもっとはっきりと説明するため、下記に実施例また既存の技術の説明の中に使用する必要がある図面に簡単な紹介を行って、一目でわかることは下記の説明の中の図面はただ本発明のいくつかの実施例で、本分野の当業者にとって、創造的な労働を払わないことを前提に、これらの図面に基づいてそのほかの図面を得ることができる。
図1は本発明に係るデータストレージとダイナミックマイグレーション方法のプロセス概略図である。 図2は本発明に係るデータストレージとダイナミックマイグレーション装置の構造概略図である。
本技術分野の技術者に本発明をもっとよく理解させるため、下記に本発明の実施例の図面を交え本発明実施例の中の技術方案をはっきりと完全に説明する。説明した実施例はただ本発明の一部分の実施例だけで、全部の実施例ではないである。本発明の中の実施例に基づいて、本分野の当業者は創造的な労働を払わないことを前提に得た全部のその他の実施例は本発明の保護範囲に属する。
図1を参照し、本発明に係るデータのダイナミックマイグレーション方法は以下を含む。
101クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択する。
好ましくは実施可能の方式の中にステップ101は以下の具体的なステップに基づいて実現できる。
1011クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択する。
このステップの中に、クラウドストレージシステムの中にクライアント端末でデータストレージリクエストが送信された後、このリクエストをアクセプトするデータノードはランダムに一定の数量のその他の異なるハウジングに配置されたデータノードを選択する。
選択したデータノードの数は一般的にクラウドストレージシステムの大きさとリクエストにストレージするデータ量によって決めて、本発明の実施例はデータノードが選択する数量と選択する方式を限定しないである。
1012、その他のデータノードがネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得る。
このステップの中に、一定の数量のその他のデータノードを選択した後、それぞれにネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得る。
1013、ネットワーク距離とデータ副本量によって、その他のデータノードのディスパッチ評価値を計算する。
このステップの中に、ネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量によって、各々のその他のデータノードのディスパッチ評価値を確定する。このディスパッチ評価値はカレントのデータノードがその他のデータノードとのネットワーク距離及びその他のデータノードのデータ負荷の二つの要素を総合したので、評価はもっと客観的である。
具体的にはその他のデータノードのディスパッチ評価値を計算する公式は以下となる。
f(dL,d)=AL+(1-A)×d
但し、dは距離係数で、その他のデータノードがカレントのデータノードとのネットワーク距離に反比例し、Lはノード負荷係数で、その他のデータノードがカレントにストレージしたデータ副本量に反比例し、Aは平衡因子で、距離係数dとノード負荷係数Lが評価の中の割合を示し、但しA∈[0,1]である。
1014、ディスパッチ評価値によって、順番にその他のデータノードの一つを選択しデータをストレージすることに用いる。
このステップの中に、上記のステップに計算した各々のその他のデータノードのディスパッチ評価値によって、データストレージのノードを選択する。
このディスパッチ評価値をデータストレージのノードを選択する根拠として、その中に一つの最適な遠隔ノードを選択しデータ副本を置く。
具体的には実施可能の方式の中にステップ1014は以下の具体的なステップに基づいて実現できる。
10141、ディスパッチ評価値が高いから低いまでの順序によって、その他のデータノードをソートし、データノードキューを形成する。
10142、データノードキューから首位に配列するデータノードを選択しデータをストレージすることに用いる。
高いから低いまでの順序によって各々のその他のデータノードをソートし、最後に首位に配列するその他のデータノードを選択しデータをストレージするノードに用いる。こうすれば、非常に多い小さいファイルがデータノードにもたらすメモリスペースの圧力を緩和でき、データ保存の負荷バランスと良好なデータ転送性を実現できる。
102、データノードの相対負荷値と全部のデータノードの平均負荷値を得る。
このステップの中に、システムが一時期に運行した後、小さいファイルに対する頻繁なアクセスはデータノードの負荷がバランスを取れない情況を引き起こし、だから各々のデータノードの負荷にバランス操作を行う必要があり、つまり負荷が比較的に大きいデータノードのデータを負荷が比較的に少ないデータノードにダイナミックマイグレーションする。
まずクラウドストレージシステムの任意の一つのデータノードの相対負荷値を計算し、各データノードの相対負荷値によって全部のデータノードの平均負荷値を計算する。
103、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
このステップに各データノードの相対負荷値と平均負荷値の大きさを判断し、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。もしデータノードの相対負荷値は平均負荷値より少ないと、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
104、重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションする。
このステップに上記のステップによって区分された重負荷ノード集合と軽負荷ノード集合は重負荷ノード集合の中の負荷を軽負荷ノード集合にマイグレーションすることができ、クラウドストレージシステムの負荷をもっとバランスさせる。
好ましくは実施可能の方式の中にステップ104は以下の具体的なステップに基づいて実現できる。
1041、重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
このステップの中に、順番に重負荷ノード集合の前に配列する重負荷ノードを読み取り、この重負荷ノードのデータブロックを抽出し、各自の負荷値の大きさによって、これらのデータブロックを降順配列方式によってデータブロックキューに加える。
順番にこのデータブロックキューの前に配列するデータブロックを読み取り、このデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
データブロックキューから前に配列するデータブロックを読み取る時、それが可読状態にあるかどうかを判断する必要があり、可読状態こそデータブロックをデータをマイグレーションできる。
好ましくは実施可能の方式の中に、データブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加することは以下の具体的なステップに基づいて実現できる。
a、データブロックキューの前に配列するデータブロックを読み取る。
b、もし前に配列するデータブロックは可読状態であれば、前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。そうでなければ続きデータブロックキューの次のデータブロックを読み取る。
1042、前に配列する軽負荷ノードの相対負荷値は平均負荷値より小さいと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。そうでなければ、続きデータブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、対応的に重負荷ノード集合或いは軽負荷ノード集合から削除する。
このステップの中にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加した後、まずに前に配列する軽負荷ノードの相対負荷値と平均負荷値の大きさを判断する。
もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より少ないと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上であれば、続きデータブロックキューの次のデータブロックを読み取って、このデータブロックがマイグレーションする条件を満足するかどうかを判断し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、この時に前に配列する重負荷ノードの負荷をマイグレーションする必要がない或いは前に配列する軽負荷ノードの負荷はもうマイグレーションする範囲を超えて、その他の重負荷ノードの負荷を受け取れないことを説明する。
前に配列する重負荷ノードと前に配列する軽負荷ノードをマイグレーションする過程が終わった後、この重負荷ノードを重負荷ノード集合から削除し、或いはこの軽負荷ノードを軽負荷ノード集合から削除し、その負荷はバランスでダイナミックマイグレーションする必要がないことを表示し、順番に二つの集合のその他のノードに対して続きダイナミックマイグレーションする。
1043、重負荷ノード集合と軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
このステップの中に、絶えずに二つの集合の中のノードを削除した後、重負荷ノード集合或いは軽負荷ノード集合の中に一つの集合が空きかどうかを判断する。もしその中に任意の一つの集合が空きであれば、全部のダイナミックマイグレーション過程が完成したことを説明する。もし二つの集合が空きではないと、続きに重負荷ノード集合の重負荷ノードを読み取り、その負荷を軽負荷ノード集合の軽負荷ノードにマイグレーションする。
図2を参照し、本発明に係るデータストレージとダイナミックマイグレーション装置を以下を含む。
選択ユニット21はクライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択することに用いる。
アクセスユニット22は前記データノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いる。
確定ユニット23はもし前記データノードの相対負荷値は前記平均負荷値より以上で、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いる。
マイグレーションユニット24は前記重負荷ノード集合の中の前記各重負荷ノードのデータを前記軽負荷ノード集合の中の前記各軽負荷ノードにマイグレーションすることに用いる。
好ましくは選択ユニット21は具体的に以下に用いる。
クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択する。
その他のデータノードがネットワークトポロジー構造からカレントのデータノードまでの距離及びその他のデータノードがカレントにストレージしたデータ副本量を得る。
ネットワーク距離とデータ副本量によって、その他のデータノードのディスパッチ評価値を計算する。
ディスパッチ評価値によって、順番にその他の前記データノードの一つを選択しデータをストレージすることに用いる。
好ましくはその他のデータノードのディスパッチ評価値を計算する公式は以下となる。
f(dL,d)=AL+(1-A)×d
但し、dは距離係数で、その他のデータノードがカレントのデータノードとのネットワーク距離に反比例し、Lはノード負荷係数で、その他のデータノードがカレントにストレージしたデータ副本量に反比例し、Aは平衡因子で、距離係数dとノード負荷係数Lが評価の中の割合を示し、但しA∈[0,1]である。
好ましくは選択ユニット21はまた具体的に以下に用いる。
ディスパッチ評価値が高いから低いまでの順序によって、その他のデータノードをソートし、データノードキューを形成する。
データノードキューから首位に配列するデータノードを選択しデータをストレージすることに用いる。
好ましいことマイグレーションユニット24は具体的に以下に用いる。
重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より小さいと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。そうでなければ、続きデータブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、対応的に重負荷ノード集合或いは軽負荷ノード集合から削除する。
重負荷ノード集合と軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
好ましくはマイグレーションユニット24はまた具体的に以下に用いる。
データブロックキューの前に配列するデータブロックを読み取る。
もし前に配列するデータブロックは可読状態であれば、前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ、続きデータブロックキューの次のデータブロックを読み取る。
説明することが必要なのは、本発明に係るデータストレージ装置は上記の実施例が述べたデータストレージ方法と同じ技術構想に属し、その具体的な実施過程は上記の実施例の中の方法ステップに対する説明を参照でき、ここでは省略する。
本発明に係るデータストレージとダイナミックマイグレーション方法と装置はディスパッチ評価値によってデータストレージノードを選択する根拠として、小さいファイルをストレージする時にもっと合理的な置く方式を持たせて、非常に多い小さいファイルがデータノードに対するメモリスペースの圧力を緩和し、その同時に、各データノードの相対負荷値と全部のデータノードの平均負荷値によって、各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。
本発明の実施例はストレージする時にもっと合理的な置く方式を使って、データをマイグレーションする時に合理的なダイナミックマイグレーションを選択することを通じて、ノードの負荷がバランスを取る時の実行効率をアップし、ノードハードウェア資源の消耗を減少し、クラウドストレージシステムのストレージ効率を高めることと帯域幅の圧力を緩めることに重要な現実的な意義がある。
本発明の上記の実施例の中に、各実施例の説明にそれぞれ偏重があり、もしある実施例に詳しく説明する部分がなければ、その他の実施例の関連する説明を参照できる。
以上に述べたのはただ本発明のより良い実施例で、本発明を限定することに使わない。本発明の意義と原則のもとで行う全ての修正、同等の入れ替えと改善などは本発明の保護範囲に含まれる。

Claims (2)

  1. データストレージとダイナミックマイグレーション方法であって、クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択し、前記データノードの相対負荷値と全部のデータノードの平均負荷値を得て、もし前記データノードの相対負荷値は平均負荷値より以上であれば、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加えて、そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えて、前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションし、前記クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択し、クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択し、その他の前記データノードがネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得て、前記ネットワーク距離と前記データ副本量によって、その他の前記データノードのディスパッチ評価値を計算し、前記ディスパッチ評価値によって順番にその他の前記データノードの一つを選択しデータをストレージすることに用いて、その他の前記データノードのディスパッチ評価値は、公式f(dL,d)=AL+(1-A)×dで計算され、但しdは距離係数であり、その他の前記データノードがカレントの前記データノードとのネットワーク距離に反比例し、Lはノード負荷係数であり、その他の前記データノードがカレントにストレージしたデータ副本量に反比例し、Aは平衡因子であり、距離係数dとノード負荷係数Lが評価の中の割合を示し、但しA∈[0,1]であり 、前記ディスパッチ評価値によって、順番にその他の前記データノードの一つを選択しデータをストレージし、前記ディスパッチ評価値が高いから低いまでの順序によって、その他の前記データノードをソートし、データノードキューを形成し、前記データノードキューから首位に配列する前記データノードを選択しデータをストレージすることに用いて、前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションし、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードの前記データブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列する前記データブロックをデータブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列する前記データブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行し、前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、前記データブロックキューの前に配列するデータブロックを読み取り、もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ続き前記データブロックキューの次のデータブロックを読み取ることを特徴とするデータストレージとダイナミックマイグレーション方法。
  2. データストレージとダイナミックマイグレーション装置であって、選択ユニットはクライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択することに用いて、アクセスユニットは前記データノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いて、確定ユニットはもし前記データノードの相対負荷値は前記平均負荷値より以上であれば、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加えて、そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いて、マイグレーションユニットは前記重負荷ノード集合の中の前記各重負荷ノードのデータを前記軽負荷ノード集合の中の前記各軽負荷ノードにマイグレーションすることに用いて、前記選択ユニットは、クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択し、その他の前記データノードがネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得て、前記ネットワーク距離と前記データ副本量によってその他の前記データノードのディスパッチ評価値を計算し、前記ディスパッチ評価値によって順番にその他の前記データノードの一つを選択しデータをストレージすることに用いて、前記マイグレーションユニットは、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する前記重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する前記軽負荷ノードにマイグレーションし、前に配列する前記データブロックを前記データブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行することを特徴とするデータストレージとダイナミックマイグレーション装置。
JP2018085842A 2017-12-29 2018-04-26 データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 Pending JP2019121334A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711499342.2 2017-12-29
CN201711499342.2A CN108255427B (zh) 2017-12-29 2017-12-29 一种数据存储和动态迁移方法及装置

Publications (1)

Publication Number Publication Date
JP2019121334A true JP2019121334A (ja) 2019-07-22

Family

ID=62725829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085842A Pending JP2019121334A (ja) 2017-12-29 2018-04-26 データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置

Country Status (2)

Country Link
JP (1) JP2019121334A (ja)
CN (1) CN108255427B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385088A (zh) * 2022-01-19 2022-04-22 中山大学 一种对分布式存储系统中数据关联性分析后的布局方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379298A (zh) * 2018-12-06 2019-02-22 江苏华生基因数据科技股份有限公司 一种大数据系统的负载均衡方法
CN109960587A (zh) * 2019-02-27 2019-07-02 厦门市世纪网通网络服务有限公司 超融合云计算系统的存储资源分配方法和装置
CN114490566B (zh) * 2021-12-10 2024-01-30 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN114064616B (zh) * 2022-01-17 2022-04-26 睿至科技集团有限公司 一种基于大数据平台的分布式存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186364A (ja) * 2013-03-21 2014-10-02 Kddi Corp 分散システム
JP2015230504A (ja) * 2014-06-03 2015-12-21 日本電信電話株式会社 スナップショット制御装置、スナップショット制御方法およびスナップショット制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610287B (zh) * 2009-06-16 2012-03-14 浙江大学 一种应用于分布式海量存储系统的负载均衡方法
US8780730B2 (en) * 2011-03-12 2014-07-15 Hewlett-Packard Development Company, L.P. Load-balancing gateways
CN103139302B (zh) * 2013-02-07 2015-07-08 浙江大学 考虑负载均衡的实时副本调度方法
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法
CN104298557A (zh) * 2014-06-05 2015-01-21 中国人民解放军信息工程大学 一种soa动态负载迁移方法与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186364A (ja) * 2013-03-21 2014-10-02 Kddi Corp 分散システム
JP2015230504A (ja) * 2014-06-03 2015-12-21 日本電信電話株式会社 スナップショット制御装置、スナップショット制御方法およびスナップショット制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385088A (zh) * 2022-01-19 2022-04-22 中山大学 一种对分布式存储系统中数据关联性分析后的布局方法
CN114385088B (zh) * 2022-01-19 2023-09-01 中山大学 一种对分布式存储系统中数据关联性分析后的布局方法

Also Published As

Publication number Publication date
CN108255427A (zh) 2018-07-06
CN108255427B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
JP2019121334A (ja) データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置
CN107436813A (zh) 一种元数据服务器动态负载均衡的方法及系统
CN103077197A (zh) 一种数据存储方法装置
CN104796496A (zh) 一种基于云存储的负载均衡计算方法
CN104683408A (zh) OpenStack云计算管理平台建立虚拟机实例的方法和系统
CN103918239A (zh) 负载均衡方法、装置、系统及计算机可读介质
JP2009295127A (ja) アクセス方法、アクセス装置及び分散データ管理システム
Silberstein et al. Efficient bulk insertion into a distributed ordered table
CN102932271A (zh) 负载均衡的实现方法和装置
Dai et al. Improving load balance for data-intensive computing on cloud platforms
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN110321225A (zh) 负载均衡方法、元数据服务器及计算机可读存储介质
JP2019121333A (ja) データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置
CN103002038B (zh) 弹性负载均衡的处理方法和装置
CN104219163A (zh) 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法
CN113312316B (zh) 数据处理方法及装置
He et al. SLC-index: A scalable skip list-based index for cloud data processing
Nakazato et al. Data allocation method considering server performance and data access frequency with consistent hashing
Qin et al. Study on Replica Strategy of Big Data Storage based on Cloud Environment
Zhang et al. Speeding up vm startup by cooperative vm image caching
CN113688115A (zh) 一种基于Hadoop的档案大数据分布式存储系统
CN111756613A (zh) 信号交互的实现方法、装置、设备及计算机可读存储介质
Deshmukh et al. Improved load balancing for distributed file system using self acting and adaptive loading data migration process
Zeng et al. Load rebalancing in large-scale distributed file system
Han et al. A locality live migration strategy based on docker containers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180701

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180701

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181010

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200225