JP2014174675A - 分散ファイルシステム及びデータ複製管理制御方法 - Google Patents
分散ファイルシステム及びデータ複製管理制御方法 Download PDFInfo
- Publication number
- JP2014174675A JP2014174675A JP2013045541A JP2013045541A JP2014174675A JP 2014174675 A JP2014174675 A JP 2014174675A JP 2013045541 A JP2013045541 A JP 2013045541A JP 2013045541 A JP2013045541 A JP 2013045541A JP 2014174675 A JP2014174675 A JP 2014174675A
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- file system
- unit
- distributed file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
人為的な要因によるデータの保全性の低下を回避する。
【解決手段】
分散ファイルシステム(以下、FS)は、ノードのネットワークからの離脱およびノードへの操作の検知に応答して警報を通知する監視処理部をノードに含み、ノード識別子、ノードのデータ格納可能容量を格納するノード管理テーブル、および、ノードの複製すべきデータのサイズを格納する複製データ管理テーブルを有し、当該分散FSから離脱させるノードの指定入力に応答して、ノードのデータの属性情報に基づいて、複製すべきデータのサイズを複製データ管理テーブルに格納し、監視処理部に監視処理の開始を指示し、ノード管理テーブルを参照して、複製すべきデータのサイズが、他のノードのデータ格納可能容量以下の場合、複製すべきデータを、他のノードに複製し、複製の完了に応答して、監視処理部に監視処理の解除を指示するデータ複製管理制御部を有する。
【選択図】図1
Description
Claims (10)
- 各々がデータ格納部を有する第1のノード及び第2のノードを含むノード、前記第1及び前記第2のノードを含む前記ノードとネットワークを介して接続し、前記ノードの前記データ格納部に格納されるデータおよび前記データの属性情報を格納するメタデータ格納部を有し、前記ノードの前記データ格納部に格納されるデータを管理する分散ファイルシステム管理部を含む分散ファイルシステム管理装置、および前記データの属性情報の操作や送信を前記分散ファイルシステム管理部に指示するためのコマンドを発行する分散ファイルシステムクライアント部を有する分散ファイルシステムにおいて、
前記第1のノードの前記ネットワークからの離脱および前記第1のノードへの操作の検知に応答して、警報を通知する監視処理部を、前記第1のノードに含み、
前記分散ファイルシステムクライアント部を含み、少なくとも、前記第1及び前記第2のノードを含む前記ノードの各々を一意に識別するための識別子、並びに、前記第1及び前記第2のノードを含む前記ノードの各々の前記データ格納部のデータ格納可能容量を格納するノード管理テーブル、および、前記第1のノードの前記データ格納部に格納されている複製すべきデータのデータ名とそのサイズを格納する複製データ管理テーブルを有し、さらに、当該分散ファイルシステムから離脱させる前記第1のノードの指定入力に応答して、前記分散ファイルシステムクライアント部及び前記分散ファイルシステム管理部を介して、前記メタデータ格納部に格納される、前記第1のノードの前記データ格納部に格納されている前記データの前記属性情報を取得し、取得した前記属性情報に基づいて、前記第1のノードの前記データ格納部に格納され、前記第2のノードを含む前記ノードの前記データ格納部に格納されていないデータを抽出し、抽出した前記データを前記複製すべきデータとしてそのデータ名とサイズを前記複製データ管理テーブルに格納し、前記監視処理部に監視処理の開始を指示し、前記ノード管理テーブルを参照して、前記複製すべきデータの前記サイズが、前記第2のノードの前記データ格納部の前記データ格納可能容量以下の場合、前記分散ファイルシステムクライアント部及び前記分散ファイルシステム管理部を介して、前記第1のノードの前記データ格納部に格納されている前記複製すべきデータを、前記第2のノードの前記データ格納部に複製し、前記複製すべきデータの、前記第2のノードの前記データ格納部への複製の完了に応答して、前記監視処理部に監視処理の解除を指示するデータ複製管理制御部を有するデータ複製管理制御装置を設けたことを特徴とする分散ファイルシステム。 - 前記データ複製管理制御部は、前記第1のノードの指定入力と共にノード選択条件を入力し、前記ノード管理テーブルを参照して、前記ノード選択条件を満足する前記第2のノードを、前記第2のノードを含む前記ノードから選択し、前記ノード選択条件を満足する順位に応じて、前記複製すべきデータを前記データ格納部へ複製する前記第2のノードの優先度を決定することを特徴とする請求項1記載の分散ファイルシステム。
- 前記ノード管理テーブルは、さらに前記第1及び前記第2のノードを含む前記ノードの各々の保守期限を格納し、前記データ複製管理制御部は、前記第1のノードの指定入力と共にノード選択条件として保守期限までの期間が長いことを入力し、前記ノード管理テーブルに格納されている前記保守期限までの期間が長い前記第2のノードを、前記第2のノードを含む前記ノードから選択することを特徴とする請求項1又は請求項2記載の分散ファイルシステム。
- 前記第1のノードと前記第2のノードとの前記ネットワークを介した通信性能を計測する計測処理部を前記第1のノードにさらに含み、前記ノード管理テーブルは、さらに前記第1及び前記第2のノードを含む前記ノードの各々の間の通信性能を格納し、前記データ複製管理制御部は、前記第1のノードの指定入力と共にノード選択条件として通信性能を入力し、前記ノード管理テーブルに格納されている前記通信性能が良好な前記第2のノードを、前記第2のノードを含む前記ノードから選択することを特徴とする請求項1又は請求項2記載の分散ファイルシステム。
- 前記監視処理部は、前記監視処理の開始の前記指示を受けてから、前記監視処理の解除の指示を受けるまでの間に、前記第1のノードの前記ネットワークからの離脱および前記第1のノードへの操作のいずれか一つの検知に応答して、前記データ複製管理制御部に警報を通知することを特徴とする請求項1又は請求項2記載の分散ファイルシステム。
- 各々がデータ格納部を有する第1のノード及び第2のノードを含むノード、前記第1及び前記第2のノードを含む前記ノードとネットワークを介して接続し、前記ノードの前記データ格納部に格納されるデータおよび前記データの属性情報を格納するメタデータ格納部を有し、前記ノードの前記データ格納部に格納されるデータを管理する分散ファイルシステム管理部を含む分散ファイルシステム管理装置、および前記データの属性情報の操作や送信を前記分散ファイルシステム管理部に指示するためのコマンドを発行する分散ファイルシステムクライアント部を含むデータ複製管理制御装置を有する分散ファイルシステムにおけるデータ複製管理制御方法であって、
前記第1のノードは、前記第1のノードの前記ネットワークからの離脱および前記第1のノードへの操作の検知に応答して、警報を通知する監視処理部を有し、
前記データ複製管理制御装置は、
少なくとも、前記第1及び前記第2のノードを含む前記ノードの各々を一意に識別するための識別子、並びに、前記第1及び前記第2のノードを含む前記ノードの各々の前記データ格納部のデータ格納可能容量を格納するノード管理テーブル、および、前記第1のノードの前記データ格納部に格納されている複製すべきデータのデータ名とそのサイズを格納する複製データ管理テーブルを有し、
当該分散ファイルシステムから離脱させる前記第1のノードの指定入力に応答して、前記分散ファイルシステムクライアント部及び前記分散ファイルシステム管理部を介して、前記メタデータ格納部に格納される、前記第1のノードの前記データ格納部に格納されている前記データの前記属性情報を取得し、
取得した前記属性情報に基づいて、前記第1のノードの前記データ格納部に格納され、前記第2のノードを含む前記ノードの前記データ格納部に格納されていないデータを抽出し、
抽出した前記データを前記複製すべきデータとしてそのデータ名とサイズを前記複製データ管理テーブルに格納し、
前記監視処理部に監視処理の開始を指示し、
前記ノード管理テーブルを参照して、前記複製すべきデータの前記サイズが、前記第2のノードの前記データ格納部の前記データ格納可能容量以下の場合、前記分散ファイルシステムクライアント部及び前記分散ファイルシステム管理部を介して、前記第1のノードの前記データ格納部に格納されている前記複製すべきデータを、前記第2のノードの前記データ格納部に複製し、
前記複製すべきデータの、前記第2のノードの前記データ格納部への複製の完了に応答して、前記監視処理部に監視処理の解除を指示することを特徴とするデータ複製管理制御方法。 - 前記データ複製管理制御装置は、前記第1のノードの指定入力と共にノード選択条件を入力し、前記ノード管理テーブルを参照して、前記ノード選択条件を満足する前記第2のノードを、前記第2のノードを含む前記ノードから選択し、前記ノード選択条件を満足する順位に応じて、前記複製すべきデータを前記データ格納部へ複製する前記第2のノードの優先度を決定することを特徴とする請求項6記載のデータ複製管理制御方法。
- 前記ノード管理テーブルは、さらに前記第1及び前記第2のノードを含む前記ノードの各々の保守期限を格納し、前記データ複製管理制御装置は、前記第1のノードの指定入力と共にノード選択条件として保守期限までの期間が長いことを入力し、前記ノード管理テーブルに格納されている前記保守期限までの期間が長い前記第2のノードを、前記第2のノードを含む前記ノードから選択することを特徴とする請求項6又は請求項7記載のデータ複製管理制御方法。
- 前記第1のノードと前記第2のノードとの前記ネットワークを介した通信性能を計測する計測処理部を前記第1のノードにさらに含み、前記ノード管理テーブルは、さらに前記第1及び前記第2のノードを含む前記ノードの各々の間の通信性能を格納し、前記データ複製管理制御装置は、前記第1のノードの指定入力と共にノード選択条件として通信性能を入力し、前記ノード管理テーブルに格納されている前記通信性能が良好な前記第2のノードを、前記第2のノードを含む前記ノードから選択することを特徴とする請求項6又は請求項7記載のデータ複製管理制御方法。
- 前記監視処理部は、前記監視処理の開始の前記指示を受けてから、前記監視処理の解除の指示を受けるまでの間に、前記第1のノードの前記ネットワークからの離脱および前記第1のノードへの操作のいずれか一つの検知に応答して、前記データ複製管理制御装置に警報を通知することを特徴とする請求項6又は請求項7記載のデータ複製管理制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013045541A JP5998080B2 (ja) | 2013-03-07 | 2013-03-07 | 分散ファイルシステム及びデータ複製管理制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013045541A JP5998080B2 (ja) | 2013-03-07 | 2013-03-07 | 分散ファイルシステム及びデータ複製管理制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014174675A true JP2014174675A (ja) | 2014-09-22 |
JP5998080B2 JP5998080B2 (ja) | 2016-09-28 |
Family
ID=51695863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013045541A Expired - Fee Related JP5998080B2 (ja) | 2013-03-07 | 2013-03-07 | 分散ファイルシステム及びデータ複製管理制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5998080B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350470A (ja) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | データ管理装置および方法 |
JP2008015630A (ja) * | 2006-07-03 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 無線端末装置及びファイル共有方法 |
-
2013
- 2013-03-07 JP JP2013045541A patent/JP5998080B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350470A (ja) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | データ管理装置および方法 |
JP2008015630A (ja) * | 2006-07-03 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 無線端末装置及びファイル共有方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5998080B2 (ja) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107885758B (zh) | 一种虚拟节点的数据迁移方法和虚拟节点 | |
US10353918B2 (en) | High availability and disaster recovery in large-scale data warehouse | |
CN108418900B (zh) | 一种服务器集群系统中的缓存方法、写入点客户端和读客户端 | |
JP6328432B2 (ja) | ゲートウェイ装置、ファイルサーバシステム及びファイル分散方法 | |
JP5952960B2 (ja) | 計算機システム、計算機システム管理方法及びプログラム | |
US9405590B2 (en) | Method, apparatus, and system for issuing partition balancing subtask | |
JP2007279890A (ja) | バックアップシステム及びバックアップ方法 | |
US9367261B2 (en) | Computer system, data management method and data management program | |
JP5686034B2 (ja) | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム | |
JP5724735B2 (ja) | データベース更新制御装置、データベース管理システムおよびデータベース更新制御プログラム | |
WO2014101044A1 (zh) | 分布式存储系统中的分区平衡方法、装置及服务器 | |
JP5446405B2 (ja) | イベント検出制御方法及びシステム | |
EP3146442B1 (en) | Methods and apparatus for storing electronic documents | |
JP5998080B2 (ja) | 分散ファイルシステム及びデータ複製管理制御方法 | |
CN113190620A (zh) | Redis集群之间数据的同步方法、装置、设备及存储介质 | |
CN116389233B (zh) | 容器云管理平台主备切换系统、方法、装置和计算机设备 | |
JP2010026965A (ja) | アーカイブシステムおよびコンテンツの管理方法 | |
JP6007340B2 (ja) | 計算機システム、計算機システム管理方法及びプログラム | |
KR101748913B1 (ko) | 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템 | |
JP5735051B2 (ja) | マスタサーバ、情報同期方法、および、情報同期プログラム | |
JP6322161B2 (ja) | ノード、データ救済方法およびプログラム | |
JP6291977B2 (ja) | 分散ファイルシステム、バックアップファイル取得方法、制御装置及び管理装置 | |
JP2012238083A (ja) | データベースシステム、マスタースレーブ管理方法およびマスタースレーブ管理プログラム | |
JP2012205276A (ja) | 保守装置、保守方法及びプログラム | |
KR20180073003A (ko) | 오브젝트에 대한 동기화 관리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5998080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |