JP2019121334A - データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 - Google Patents
データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 Download PDFInfo
- Publication number
- JP2019121334A JP2019121334A JP2018085842A JP2018085842A JP2019121334A JP 2019121334 A JP2019121334 A JP 2019121334A JP 2018085842 A JP2018085842 A JP 2018085842A JP 2018085842 A JP2018085842 A JP 2018085842A JP 2019121334 A JP2019121334 A JP 2019121334A
- Authority
- JP
- Japan
- Prior art keywords
- data
- node
- load
- nodes
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (2)
- データストレージとダイナミックマイグレーション方法であって、クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択し、前記データノードの相対負荷値と全部のデータノードの平均負荷値を得て、もし前記データノードの相対負荷値は平均負荷値より以上であれば、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加えて、そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えて、前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションし、前記クライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択し、クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択し、その他の前記データノードがネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得て、前記ネットワーク距離と前記データ副本量によって、その他の前記データノードのディスパッチ評価値を計算し、前記ディスパッチ評価値によって順番にその他の前記データノードの一つを選択しデータをストレージすることに用いて、その他の前記データノードのディスパッチ評価値は、公式f(dL,d)=AL+(1-A)×dで計算され、但しdは距離係数であり、その他の前記データノードがカレントの前記データノードとのネットワーク距離に反比例し、Lはノード負荷係数であり、その他の前記データノードがカレントにストレージしたデータ副本量に反比例し、Aは平衡因子であり、距離係数dとノード負荷係数Lが評価の中の割合を示し、但しA∈[0,1]であり 、前記ディスパッチ評価値によって、順番にその他の前記データノードの一つを選択しデータをストレージし、前記ディスパッチ評価値が高いから低いまでの順序によって、その他の前記データノードをソートし、データノードキューを形成し、前記データノードキューから首位に配列する前記データノードを選択しデータをストレージすることに用いて、前記重負荷ノード集合の前記各重負荷ノードのデータを前記軽負荷ノード集合の前記各軽負荷ノードにマイグレーションし、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する重負荷ノードの前記データブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する軽負荷ノードにマイグレーションし、前に配列する前記データブロックをデータブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列する前記データブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行し、前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、前記データブロックキューの前に配列するデータブロックを読み取り、もし前に配列する前記データブロックは可読状態であれば、前に配列する前記データブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、そうでなければ続き前記データブロックキューの次のデータブロックを読み取ることを特徴とするデータストレージとダイナミックマイグレーション方法。
- データストレージとダイナミックマイグレーション装置であって、選択ユニットはクライアント端末でデータストレージリクエストが送信された後、ディスパッチ評価値の大きさによって順番に少なくとも一つがデータをストレージすることに用いるデータノードを選択することに用いて、アクセスユニットは前記データノードの相対負荷値と全部のデータノードの平均負荷値を得ることに用いて、確定ユニットはもし前記データノードの相対負荷値は前記平均負荷値より以上であれば、この前記データノードを重負荷ノードに確定し降順配列方式によって重負荷ノード集合に加えて、そうでなければ、この前記データノードを軽負荷ノードに確定し昇順配列方式によって軽負荷ノード集合に加えることに用いて、マイグレーションユニットは前記重負荷ノード集合の中の前記各重負荷ノードのデータを前記軽負荷ノード集合の中の前記各軽負荷ノードにマイグレーションすることに用いて、前記選択ユニットは、クライアント端末でデータストレージリクエストが送信された後、クライアント端末で送信されたリクエストのカレントのデータノード以外の少なくとも一つが異なるハウジングに配置されたデータノードを選択し、その他の前記データノードがネットワークトポロジー構造からカレントの前記データノードまでの距離及びその他の前記データノードがカレントにストレージしたデータ副本量を得て、前記ネットワーク距離と前記データ副本量によってその他の前記データノードのディスパッチ評価値を計算し、前記ディスパッチ評価値によって順番にその他の前記データノードの一つを選択しデータをストレージすることに用いて、前記マイグレーションユニットは、前記重負荷ノード集合の前に配列する重負荷ノードを読み取り、前に配列する前記重負荷ノードのデータブロックを負荷値降順配列方式によってデータブロックキューに加えて、次に順番に前記データブロックキューの前に配列するデータブロックの負荷値を前記軽負荷ノード集合の前に配列する軽負荷ノードに添加し、もし前に配列する軽負荷ノードの前記相対負荷値は前記平均負荷値より小さいと、前に配列する前記データブロックを前に配列する前記軽負荷ノードにマイグレーションし、前に配列する前記データブロックを前記データブロックキューから削除し、そうでなければ、続き前記データブロックキューの前に配列するデータブロックを読み取るステップを実行し、前に配列する重負荷ノードの前記相対負荷値は前記平均負荷値より小さい或いは前に配列する軽負荷ノードの相対負荷値は平均負荷値より以上までであれば、対応的に前記重負荷ノード集合或いは前記軽負荷ノード集合から削除し、前記重負荷ノード集合と前記軽負荷ノード集合は空きかどうかを判断し、そうでなければ、続きに前記重負荷ノード集合の前に配列する重負荷ノードを読み取るステップを実行することを特徴とするデータストレージとダイナミックマイグレーション装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711499342.2A CN108255427B (zh) | 2017-12-29 | 2017-12-29 | 一种数据存储和动态迁移方法及装置 |
CN201711499342.2 | 2017-12-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019121334A true JP2019121334A (ja) | 2019-07-22 |
Family
ID=62725829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018085842A Pending JP2019121334A (ja) | 2017-12-29 | 2018-04-26 | データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019121334A (ja) |
CN (1) | CN108255427B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114385088A (zh) * | 2022-01-19 | 2022-04-22 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109379298A (zh) * | 2018-12-06 | 2019-02-22 | 江苏华生基因数据科技股份有限公司 | 一种大数据系统的负载均衡方法 |
CN109960587A (zh) * | 2019-02-27 | 2019-07-02 | 厦门市世纪网通网络服务有限公司 | 超融合云计算系统的存储资源分配方法和装置 |
CN114490566B (zh) * | 2021-12-10 | 2024-01-30 | 苏州浪潮智能科技有限公司 | 集群数据迁移方法、装置、计算机设备及存储介质 |
CN114064616B (zh) * | 2022-01-17 | 2022-04-26 | 睿至科技集团有限公司 | 一种基于大数据平台的分布式存储方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186364A (ja) * | 2013-03-21 | 2014-10-02 | Kddi Corp | 分散システム |
JP2015230504A (ja) * | 2014-06-03 | 2015-12-21 | 日本電信電話株式会社 | スナップショット制御装置、スナップショット制御方法およびスナップショット制御プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610287B (zh) * | 2009-06-16 | 2012-03-14 | 浙江大学 | 一种应用于分布式海量存储系统的负载均衡方法 |
US8780730B2 (en) * | 2011-03-12 | 2014-07-15 | Hewlett-Packard Development Company, L.P. | Load-balancing gateways |
CN103139302B (zh) * | 2013-02-07 | 2015-07-08 | 浙江大学 | 考虑负载均衡的实时副本调度方法 |
CN103595805A (zh) * | 2013-11-22 | 2014-02-19 | 浪潮电子信息产业股份有限公司 | 一种基于分布式集群的数据放置方法 |
CN104298557A (zh) * | 2014-06-05 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种soa动态负载迁移方法与系统 |
-
2017
- 2017-12-29 CN CN201711499342.2A patent/CN108255427B/zh not_active Expired - Fee Related
-
2018
- 2018-04-26 JP JP2018085842A patent/JP2019121334A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186364A (ja) * | 2013-03-21 | 2014-10-02 | Kddi Corp | 分散システム |
JP2015230504A (ja) * | 2014-06-03 | 2015-12-21 | 日本電信電話株式会社 | スナップショット制御装置、スナップショット制御方法およびスナップショット制御プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114385088A (zh) * | 2022-01-19 | 2022-04-22 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
CN114385088B (zh) * | 2022-01-19 | 2023-09-01 | 中山大学 | 一种对分布式存储系统中数据关联性分析后的布局方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108255427A (zh) | 2018-07-06 |
CN108255427B (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019121334A (ja) | データストレージとダイナミックマイグレーション方法及びデータストレージとダイナミックマイグレーション装置 | |
CN107734052B (zh) | 面向组件依赖的负载均衡容器调度方法 | |
Chang et al. | A load-balance based resource-scheduling algorithm under cloud computing environment | |
CN103077197A (zh) | 一种数据存储方法装置 | |
CN110321225B (zh) | 负载均衡方法、元数据服务器及计算机可读存储介质 | |
CN104796496A (zh) | 一种基于云存储的负载均衡计算方法 | |
CN103918239A (zh) | 负载均衡方法、装置、系统及计算机可读介质 | |
JP2009295127A (ja) | アクセス方法、アクセス装置及び分散データ管理システム | |
Silberstein et al. | Efficient bulk insertion into a distributed ordered table | |
CN102932271A (zh) | 负载均衡的实现方法和装置 | |
CN102970349B (zh) | 一种dht网络的存储负载均衡方法 | |
CN103607731A (zh) | 一种测量报告的处理方法及装置 | |
JP2019121333A (ja) | データダイナミックマイグレーション方法とデータダイナミックマイグレーション装置 | |
CN103002038B (zh) | 弹性负载均衡的处理方法和装置 | |
CN104219163A (zh) | 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法 | |
CN103220363A (zh) | 基于云计算的分布式网络培训资源管理系统及调度方法 | |
Qin et al. | Study on Replica Strategy of Big Data Storage based on Cloud Environment | |
Zhao et al. | An improved data placement strategy in a heterogeneous hadoop cluster | |
CN113312316B (zh) | 数据处理方法及装置 | |
US8918555B1 (en) | Adaptive and prioritized replication scheduling in storage clusters | |
He et al. | SLC-index: A scalable skip list-based index for cloud data processing | |
Nakazato et al. | Data allocation method considering server performance and data access frequency with consistent hashing | |
Zhang et al. | Speeding up vm startup by cooperative vm image caching | |
KR101512647B1 (ko) | 질의처리엔진을 선택하는 방법 | |
CN113688115A (zh) | 一种基于Hadoop的档案大数据分布式存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180701 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180701 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181010 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190919 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200225 |