JP2019121333A - データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置 - Google Patents

データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置 Download PDF

Info

Publication number
JP2019121333A
JP2019121333A JP2018085840A JP2018085840A JP2019121333A JP 2019121333 A JP2019121333 A JP 2019121333A JP 2018085840 A JP2018085840 A JP 2018085840A JP 2018085840 A JP2018085840 A JP 2018085840A JP 2019121333 A JP2019121333 A JP 2019121333A
Authority
JP
Japan
Prior art keywords
load
data
node
data block
node set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018085840A
Other languages
English (en)
Inventor
魏文国
Wenguo Wei
張国強
Guoqiang Zhang
蔡君
Jun Cai
趙慧民
Huimin Zhao
謝桂園
Guiyuan Xie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Nanhua Vocational College Of Ind And Commerce
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Nanhua Vocational College Of Ind And Commerce
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Nanhua Vocational College Of Ind And Commerce, Guangdong Polytechnic Normal University filed Critical Guangdong Nanhua Vocational College Of Ind And Commerce
Publication of JP2019121333A publication Critical patent/JP2019121333A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

【課題】非常に多い小さいファイルのマイグレーションを行う時、ネットワーク帯域幅の消耗を抑制する方法及び装置を提供する。【解決手段】少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得て１０１、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える１０２。重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションする１０３。各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。【選択図】図１

Description

本発明はデータストレージ技術分野に関し、具体的にはデータダイナミックマイグレーション方法とデータダイナミックマイグレーション装置に関する。
インターネットの高速発展につれて、現在の社会が発生するデータの量が急速に増えている。多くのインターネットの情報データは高周波の小さいファイルの形式で表現され、一般的なユーザーの情報ストレージアクセスの中に小さいファイルに対するストレージアクセスの操作が比較的に多い。クラウドストレージシステムの中に、非常に多いデータストレージ、高性能、高拡張性で、しかし小さいファイルの量はある程度に達した後、非常に多い小さいファイルをストレージすることはデータノードに巨大なメモリスペースの圧力をもたらして、非常に多い小さいファイルに対する頻繁かつ繰り返しのアクセスもデータノードに性能と負荷分散の影響がある。クラウドストレージシステムの中に、各データノードが一時期の実行を経た後、小さいファイルに対する頻繁なアクセスはデータノードの負荷がバランスを取れない情況を引き起こす。またクラウドストレージシステムの中に非常に多い小さいファイルをストレージした時、各データノードに負荷分散する時に非常に多い小さいファイルをマイグレーションする必要があり、選択したマイグレーション目標が合理ではない時、大規模な小さいファイルのマイグレーションオペレーションはもっと多いネットワーク帯域幅の消耗を引き起こす。
中国特許出願公開第102231282号明細書
本発明はデータダイナミックマイグレーション方法と装置を提供し、現有の技術において非常に多い小さいファイルに対する頻繁なアクセスはデータノードの負荷がバランスを取れない情況を引き起こし、マイグレーションオペレーションする時にもっと多いネットワーク帯域幅の消耗を引き起こす問題を解決する。
データダイナミックマイグレーション方法の特徴は以下を含む。
少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得る。
もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションする。
本発明の第一側面の好ましい方式として前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションすることは以下を含む。
前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードの前記データブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列する前記データブロックをデータブロックキューから削除する。そうでなければ、続き前記データブロックキューの前に配列する前記データブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より以上までで、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除する。
前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
本発明の第一側面の好ましい方式として前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加することは以下を含む。
前記データブロックキューの前に配列するデータブロックを読み取る。
もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加する、そうでなければ続き前記データブロックキューの次のデータブロックを読み取る。
第二側面ではデータダイナミックマイグレーション装置の特徴は以下を含む。
アクセスユニットは少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いる。
確定ユニットはもしデータノードの相対負荷値は平均負荷値より以上で、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いる。
マイグレーションユニットは重負荷ノード集合の中の各重負荷ノードのデータを軽負荷ノード集合の中の各軽負荷ノードにマイグレーションすることに用いる。
本発明の第二側面の好ましい方式として前記マイグレーションユニットは具体的に以下に用いる。
前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する前記重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する前記軽負荷ノードにマイグレーションし、前に配列する前記データブロックを前記データブロックキューから削除する。そうでなければ、続き前記データブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除する。
前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
本発明の第二側面の好ましい方式として前記マイグレーションユニットはまた具体的に以下に用いる。
データブロックキューの前に配列するデータブロックを読み取る。
もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ、続き前記データブロックキューの次のデータブロックを読み取る。
本発明はデータダイナミックマイグレーション方法と装置を提供し、クラウドストレージシステムの各データノードの相対負荷値と全部のデータノードの平均負荷値によって、各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。
そして、データをマイグレーションする過程に選択する目標は非常に合理的で、大規模な小さいファイルをマイグレーションする操作ももっと多いネットワーク帯域幅の消耗を引き起こさない。
本発明はデータダイナミックマイグレーション方法と装置を提供し、クラウドストレージシステムの各データノードの相対負荷値と全部のデータノードの平均負荷値によって、各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。
そして、データをマイグレーションする過程に選択する目標は非常に合理的で、大規模な小さいファイルをマイグレーションする操作ももっと多いネットワーク帯域幅の消耗を引き起こさない。
本発明の実施例の中の技術方案をもっとはっきり説明するため、下記に実施例また既存の技術の説明の中に使用する必要がある図面に簡単な紹介を行って、一目でわかることは下記の説明の中の図面はただ本発明のいくつかの実施例で、本分野の当業者にとって、創造的な労働を払わないことを前提に、これらの図面に基づいてそのほかの図面を得ることができる。
図１は本発明に係るデータダイナミックマイグレーション方法のプロセス概略図である。 図２は本発明に係るデータダイナミックマイグレーション方法のもう一つのプロセス概略図である。 図３は本発明に係るデータダイナミックマイグレーション装置の構造概略図である。
本技術分野の技術者に本発明をもっとよく理解させるため、下記に本発明の実施例の図面を交え本発明実施例の中の技術方案をはっきりと完全に説明する。説明した実施例はただ本発明の一部分の実施例だけで、全部の実施例ではないである。本発明の中の実施例に基づいて、本分野の当業者は創造的な労働を払わないことを前提に得た全部のその他の実施例は本発明の保護範囲に属する。
図１を参照し、本発明に係るデータダイナミックマイグレーション方法は以下を含む。
101、少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得る。
本実施例の中に、まずクラウドストレージシステムの任意の一つのデータノードの相対負荷値を計算し、各データノードの相対負荷値によって全部のデータノードの平均負荷値を計算する。
102、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
本実施例の中に、各データノードの相対負荷値と平均負荷値の大きさを判断し、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。もしデータノードの相対負荷値は平均負荷値より少ないと、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
103、重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションする。
本実施例の中に上記のステップによって区分された重負荷ノード集合と軽負荷ノード集合は重負荷ノード集合の中の負荷を軽負荷ノード集合にマイグレーションすることができ、クラウドストレージシステムの負荷をもっとバランスさせる。
好ましくは実施可能の方式の中にステップ103は以下の具体的なステップに基づいて実現できる。
1031、重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
このステップの中に、順番に重負荷ノード集合の前に配列する重負荷ノードを読み取り、この重負荷ノードのデータブロックを抽出し、各自の負荷値の大きさによって、これらのデータブロックを降順配列方式によってデータブロックキューに加える。
順番にこのデータブロックキューの前に配列するデータブロックを読み取り、このデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
データブロックキューから前に配列するデータブロックを読み取る時、それが可読状態にあるかどうかを判断する必要があり、可読状態こそデータブロックをデータをマイグレーションできる。
好ましくは実施可能の方式の中に、データブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加することは以下の具体的なステップに基づいて実現できる。
a、データブロックキューの前に配列するデータブロックを読み取る。
b、もし前に配列するデータブロックは可読状態であれば、前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する、そうでなければ続きデータブロックキューの次のデータブロックを読み取る。
1032、前に配列する軽負荷ノードの相対負荷値は平均負荷値より小さいと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。そうでなければ、続きデータブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、対応的に重負荷ノード集合或いは軽負荷ノード集合から削除する。
このステップの中にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加した後、まずに前に配列する軽負荷ノードの相対負荷値と平均負荷値の大きさを判断する。
もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より少ないと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上であれば、続きデータブロックキューの次のデータブロックを読み取って、このデータブロックがマイグレーションする条件を満足するかどうかを判断し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、この時に前に配列する重負荷ノードの負荷をマイグレーションする必要がない、或いは前に配列する軽負荷ノードの負荷はもうマイグレーションする範囲を超えて、その他の重負荷ノードの負荷を受け取れないことを説明する。
前に配列する重負荷ノードと前に配列する軽負荷ノードをマイグレーションする過程が終わった後、この重負荷ノードを重負荷ノード集合から削除し、或いはこの軽負荷ノードを軽負荷ノード集合から削除し、その負荷はバランスでダイナミックマイグレーションする必要がないことを表示し、順番に二つの集合のその他のノードに対して続きダイナミックマイグレーションする。
1033.重負荷ノード集合と軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
このステップの中に、絶えずに二つの集合の中のノードを削除した後、重負荷ノード集合或いは軽負荷ノード集合の中に一つの集合が空きかどうかを判断する。もしその中に任意の一つの集合が空きであれば、全部のダイナミックマイグレーション過程が完成したことを説明する。もし二つの集合が空きではないと、続きに重負荷ノード集合の重負荷ノードを読み取り、その負荷を軽負荷ノード集合の軽負荷ノードにマイグレーションする。
図２を参照し、本発明実施例が提供するデータダイナミックマイグレーション方法を以下を含む。
201、少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得る。
202、各データノードの相対負荷値は平均負荷値より以上かどうかを判断する。
203、もしあればこのデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加える。
204、重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加える。
205、データブロックキューの前に配列するデータブロックを読み取る。
206、前に配列するデータブロックが可読状態にあるかどうかを判断する。
207、もしあれば、前に配列するデータブロックは可読状態で、前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。そうでなければ、続きステップ205を実行する。
208、前に配列する軽負荷ノードの相対負荷値は平均負荷値より少ないかどうかを判断する。
209、もしなければ、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。そうでなければ、続きステップ205を実行する。
210、前に配列する重負荷ノードと前に配列する軽負荷ノードの相対負荷値と平均負荷値の大きさを判断する。
211、もし前に配列する重負荷ノードの相対負荷値は平均負荷値より少ない或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上であれば、対応的に重負荷ノード集合或いは軽負荷ノード集合から削除する。
212、重負荷ノード集合と軽負荷ノード集合は空きかどうかを判断する。
213、もしあれば、全部のダイナミックマイグレーション過程が完成した、そうでなければ、続きステップ204を実行する。
説明することが必要なのは本発明実施例が提供するデータストレージ方法の具体的な実施過程は上記の実施例の中の方法ステップに対する説明を参照でき、ここでは省略する。
図３を参照し、本発明実施例が提供するデータダイナミックマイグレーション装置を以下を含む。
アクセスユニット31は少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いる。
確定ユニット32はもしデータノードの相対負荷値は平均負荷値より以上で、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加える。そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いる。
マイグレーションユニット33は重負荷ノード集合の中の各重負荷ノードのデータを軽負荷ノード集合の中の各軽負荷ノードにマイグレーションすることに用いる。
好ましくはマイグレーションユニット33は具体的に以下に用いる。
重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番にデータブロックキューの前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加する。
もし前に配列する軽負荷ノードの相対負荷値は平均負荷値より小さいと、前に配列するデータブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列するデータブロックをデータブロックキューから削除する。そうでなければ、続きデータブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの相対負荷値は平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までで、対応的に重負荷ノード集合或いは軽負荷ノード集合から削除する。
重負荷ノード集合と軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行する。
好ましくはマイグレーションユニット33はまた具体的に以下に用いる。
データブロックキューの前に配列するデータブロックを読み取る。
もし前に配列するデータブロックは可読状態であれば、前に配列するデータブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ、続きデータブロックキューの次のデータブロックを読み取る。
説明することが必要なのは、本発明実施例が提供するデータストレージ装置は上記の実施例が述べたデータストレージ方法と同じ技術構想に属し、その具体的な実施過程は上記の実施例の中の方法ステップに対する説明を参照でき、ここでは省略する。
本発明が提供するデータダイナミックマイグレーション方法と装置はクラウドストレージシステムの各データノードの相対負荷値と全部のデータノードの平均負荷値によって、各データノードの負荷にダイナミックな調整を行って、負荷が大きいデータノードのデータを負荷が少ないデータノードにダイナミックにマイグレーションし、これによりクラウドストレージシステムの各データノードの負荷をもっとバランスさせる。
そして、データをマイグレーションする過程に選択する目標は非常に合理的で、大規模な小さいファイルをマイグレーションする操作ももっと多いネットワーク帯域幅の消耗を引き起こさない。
本発明の上記の実施例の中に、各実施例の説明にそれぞれ偏重があり、もしある実施例に詳しく説明する部分がなければ、その他の実施例の関連する説明を参照できる。
以上に述べたのはただ本発明のより良い実施例で、本発明を限定することに使わない。本発明の意義と原則のもとで行う全ての修正、同等の入れ替えと改善などは本発明の保護範囲に含まれる。

Claims (3)

  1. データダイナミックマイグレーション方法であって、少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得て、もしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加えて、そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えて、重負荷ノード集合の各重負荷ノードのデータを軽負荷ノード集合の各軽負荷ノードにマイグレーションすることを特徴とするデータダイナミックマイグレーション方法。
  2. 前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションし、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードの前記データブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列する前記データブロックをデータブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列する前記データブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行し、前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、前記データブロックキューの前に配列するデータブロックを読み取り、もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ続き前記データブロックキューの次のデータブロックを読み取ることを特徴とする請求項１に記載のデータダイナミックマイグレーション方法。
  3. データダイナミックマイグレーション装置であって、アクセスユニットは少なくとも一つのデータノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いて、確定ユニットはもしデータノードの相対負荷値は平均負荷値より以上であれば、このデータノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加え、そうでなければ、このデータノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いて、マイグレーションユニットは重負荷ノード集合の中の各重負荷ノードのデータを軽負荷ノード集合の中の各軽負荷ノードにマイグレーションすることに用いて、前記マイグレーションユニットは、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する前記重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する前記軽負荷ノードにマイグレーションし、前に配列する前記データブロックを前記データブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行し、前記マイグレーションユニットは、データブロックキューの前に配列するデータブロックを読み取り、もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ、続き前記データブロックキューの次のデータブロックを読み取ることを特徴とするデータダイナミックマイグレーション装置。
JP2018085840A 2017-12-29 2018-04-26 データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置 Pending JP2019121333A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711499303.2 2017-12-29
CN201711499303.2A CN108259583B (zh) 2017-12-29 2017-12-29 一种数据动态迁移方法及装置

Publications (1)

Publication Number Publication Date
JP2019121333A true JP2019121333A (ja) 2019-07-22

Family

ID=62725685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085840A Pending JP2019121333A (ja) 2017-12-29 2018-04-26 データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置

Country Status (2)

Country Link
JP (1) JP2019121333A (ja)
CN (1) CN108259583B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593825B2 (en) * 2018-04-25 2023-02-28 Ratoja Gmbh Distributed merchandise management system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873045B (zh) * 2021-11-11 2023-09-12 深圳市云语科技有限公司 一种基于能力协商的文件多节点传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312372A (ja) * 2000-05-01 2001-11-09 Toshiba Corp ディスク制御装置
JP2007102607A (ja) * 2005-10-06 2007-04-19 Nec Corp ディスクアレイ装置、データスワップ方法、及びプログラム
JP2012038053A (ja) * 2010-08-06 2012-02-23 Hitachi Ltd 計算機システム、及び、移動データ決定方法
JP2013171305A (ja) * 2012-02-17 2013-09-02 Fujitsu Ltd ストレージ装置、ストレージシステム、ストレージ管理方法及びストレージ管理プログラム
JP2013196190A (ja) * 2012-03-16 2013-09-30 Fujitsu Ltd 移動制御装置，プログラム及びストレージ装置
JP2014186364A (ja) * 2013-03-21 2014-10-02 Kddi Corp 分散システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442435B (zh) * 2008-12-25 2012-04-04 华为技术有限公司 分布式系统的业务数据管理方法、装置及分布式系统
CN101610287B (zh) * 2009-06-16 2012-03-14 浙江大学 一种应用于分布式海量存储系统的负载均衡方法
US8886781B2 (en) * 2011-12-13 2014-11-11 Microsoft Corporation Load balancing in cluster storage systems
JP6358042B2 (ja) * 2014-10-21 2018-07-18 富士通株式会社 情報処理システム、制御装置および情報処理システムの制御方法
CN106293944B (zh) * 2016-08-11 2019-12-10 上海交通大学 虚拟化多核环境下基于非一致性i/o访问系统和优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312372A (ja) * 2000-05-01 2001-11-09 Toshiba Corp ディスク制御装置
JP2007102607A (ja) * 2005-10-06 2007-04-19 Nec Corp ディスクアレイ装置、データスワップ方法、及びプログラム
JP2012038053A (ja) * 2010-08-06 2012-02-23 Hitachi Ltd 計算機システム、及び、移動データ決定方法
JP2013171305A (ja) * 2012-02-17 2013-09-02 Fujitsu Ltd ストレージ装置、ストレージシステム、ストレージ管理方法及びストレージ管理プログラム
JP2013196190A (ja) * 2012-03-16 2013-09-30 Fujitsu Ltd 移動制御装置，プログラム及びストレージ装置
JP2014186364A (ja) * 2013-03-21 2014-10-02 Kddi Corp 分散システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593825B2 (en) * 2018-04-25 2023-02-28 Ratoja Gmbh Distributed merchandise management system

Also Published As

Publication number Publication date
CN108259583A (zh) 2018-07-06
CN108259583B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
WO2016197994A1 (zh) 容量扩展方法及装置
JP2019121334A (ja) データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置
US9354826B2 (en) Capacity expansion method and device
US9733835B2 (en) Data storage method and storage server
CN106445677A (zh) 负载均衡方法及设备
CN106339386A (zh) 数据库弹性调度方法以及装置
CN108509157A (zh) 一种应用于分布式文件系统的数据均衡方法及装置
CN112181309A (zh) 一种海量对象存储的在线扩容方法
EP3413193A1 (en) Virtual machine deployment method and apparatus
CN106339475A (zh) 一种海量数据的分布式存储系统
CN104683408A (zh) OpenStack云计算管理平台建立虚拟机实例的方法和系统
CN103918239A (zh) 负载均衡方法、装置、系统及计算机可读介质
CN106126731A (zh) 一种获取Elasticsearch分页数据的方法及装置
JP2019121333A (ja) データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置
US20140280438A1 (en) Method and system for optimal fair distribution among buckets of different capacities
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN114706816A (zh) 数据迁移方法、装置及存储介质
CN103002038B (zh) 弹性负载均衡的处理方法和装置
CN113835823A (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN114385596A (zh) 数据处理方法及装置
CN110109865A (zh) 一种数据存储方法、装置、设备及可读存储介质
CN107018163B (zh) 一种资源配置方法和装置
CN106909472B (zh) 一种分布式文件系统的输入/输出负载调整方法及装置
CN103796226A (zh) 一种网络优化方法及装置
WO2016086818A1 (zh) 一种在存储阵列中划分硬盘域的方法及控制器、存储阵列

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180701

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180701

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190904