JP2016189058A - 情報処理装置、情報処理システム、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP2016189058A JP2016189058A JP2015068077A JP2015068077A JP2016189058A JP 2016189058 A JP2016189058 A JP 2016189058A JP 2015068077 A JP2015068077 A JP 2015068077A JP 2015068077 A JP2015068077 A JP 2015068077A JP 2016189058 A JP2016189058 A JP 2016189058A
- Authority
- JP
- Japan
- Prior art keywords
- file
- data store
- path name
- hash calculation
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
分散ファイルシステムにおいて、ストア間の空き容量の不均衡により性能が不安定になる。
【解決手段】
本発明の情報処理装置は、複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される。また、情報処理装置は、ファイルパス名のハッシュ計算を行うハッシュ計算手段と、ハッシュ計算手段に、ファイルパス名のハッシュ計算を指示し、ハッシュ計算で算出したファイルパス名のデータストアの空き容量に基づいて、データストアにファイルをアーカイブ保存する分散配置エージェント手段と、を包含する。
【選択図】 図1
Description
ファイルパス名のハッシュ計算を行うハッシュ計算手段と、前記ハッシュ計算手段に、前記ファイルパス名のハッシュ計算を指示し、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する分散配置エージェント手段と、を包含する。
本発明の第一の実施の形態について、図面を参照して詳細に説明する。
<第二の実施形態>
次に、本発明の第二の実施の形態について図面を参照して詳細に説明する。
10 情報処理システム
100(100A、100B) クライアント端末
101(101A、101B) ローカルディスク
102(102A、102B) 通信部
103(103A、103B) クライアント内分散ファイルIO部
104(104A、104B) 分散配置エージェント部
105(105A、105B) 分散配置テーブル
106(106A、106B) ソルト値
107(107A、107B) ハッシュ計算部
11 情報処理装置
200(200A、200B) ストレージノード
201(201A、201B) データストア
202(202A、202B) 通信部
203(203A、203B) ノード内分散ファイルIO部
204(204A、204B) 分散配置マネージャ部
300 ネットワーク
40 情報処理装置
41 分散配置エージェント部
42 ハッシュ計算部
Claims (10)
- 複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理装置であって、
ファイルパス名のハッシュ計算を行うハッシュ計算手段と、
前記ハッシュ計算手段に、前記ファイルパス名のハッシュ計算を指示し、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する分散配置エージェント手段と、を包含する情報処理装置。 - 前記分散配置エージェント手段が、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する、請求項1に記載の情報処理装置。
- 前記分散配置エージェント手段が、前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアに前記ファイルをアーカイブ保存する、請求項1に記載の情報処理装置。
- 請求項1乃至3のいずれか1項に記載の情報処理装置と、
前記分散ファイルシステムと、を包含する、情報処理システム。 - 複数のデータストアから構成される分散ファイルシステムにファイルをアーカイブ保存する、クライアント端末から構成される情報処理方法であって、
ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する、情報処理方法。 - 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する、請求項5に記載の情報処理方法。
- 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアに前記ファイルをアーカイブ保存する、請求項5に記載の情報処理方法。
- ファイルパス名のハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量に基づいて、前記データストアに前記ファイルをアーカイブ保存する処理をコンピュータに実行させるプログラム。
- 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記データストアに前記ファイルをアーカイブ保存する処理を前記コンピュータに実行させる請求項8に記載のプログラム。
- 前記ハッシュ計算で算出した前記ファイルパス名のデータストアの空き容量が所定の閾値より大きくない場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストアの空き容量が所定の閾値より大きい場合に、前記ファイルパス名にソルト値を加えて前記ハッシュ計算で算出したファイルパス名のデータストア前記ファイルをアーカイブ保存する処理を前記コンピュータに実行させる請求項9に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068077A JP6515635B2 (ja) | 2015-03-30 | 2015-03-30 | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068077A JP6515635B2 (ja) | 2015-03-30 | 2015-03-30 | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016189058A true JP2016189058A (ja) | 2016-11-04 |
JP6515635B2 JP6515635B2 (ja) | 2019-05-22 |
Family
ID=57240561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015068077A Active JP6515635B2 (ja) | 2015-03-30 | 2015-03-30 | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6515635B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006058965A (ja) * | 2004-08-17 | 2006-03-02 | Fujitsu Ltd | ファイル管理プログラム、ファイル管理方法、及びファイル管理装置 |
JP2007073004A (ja) * | 2005-09-09 | 2007-03-22 | Canon Inc | データ保全情報装置、分散ストレージシステム及びその方法 |
JP2008059398A (ja) * | 2006-08-31 | 2008-03-13 | Brother Ind Ltd | 識別情報割当装置及びその情報処理方法並びにそのプログラム |
JP2010231576A (ja) * | 2009-03-27 | 2010-10-14 | Brother Ind Ltd | ノード装置、ノード処理プログラム及びコンテンツ保存方法 |
US20130055371A1 (en) * | 2011-08-26 | 2013-02-28 | Fujitsu Limited | Storage control method and information processing apparatus |
JP2013186825A (ja) * | 2012-03-09 | 2013-09-19 | Toshiba Corp | 映像収録再生装置及びリビルド処理方法 |
JP2014516448A (ja) * | 2011-04-28 | 2014-07-10 | アブシオ コーポレイション | セキュアなデータ記憶 |
-
2015
- 2015-03-30 JP JP2015068077A patent/JP6515635B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006058965A (ja) * | 2004-08-17 | 2006-03-02 | Fujitsu Ltd | ファイル管理プログラム、ファイル管理方法、及びファイル管理装置 |
JP2007073004A (ja) * | 2005-09-09 | 2007-03-22 | Canon Inc | データ保全情報装置、分散ストレージシステム及びその方法 |
JP2008059398A (ja) * | 2006-08-31 | 2008-03-13 | Brother Ind Ltd | 識別情報割当装置及びその情報処理方法並びにそのプログラム |
JP2010231576A (ja) * | 2009-03-27 | 2010-10-14 | Brother Ind Ltd | ノード装置、ノード処理プログラム及びコンテンツ保存方法 |
JP2014516448A (ja) * | 2011-04-28 | 2014-07-10 | アブシオ コーポレイション | セキュアなデータ記憶 |
US20130055371A1 (en) * | 2011-08-26 | 2013-02-28 | Fujitsu Limited | Storage control method and information processing apparatus |
JP2013045379A (ja) * | 2011-08-26 | 2013-03-04 | Fujitsu Ltd | ストレージ制御方法、情報処理装置およびプログラム |
JP2013186825A (ja) * | 2012-03-09 | 2013-09-19 | Toshiba Corp | 映像収録再生装置及びリビルド処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6515635B2 (ja) | 2019-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11422853B2 (en) | Dynamic tree determination for data processing | |
US10853242B2 (en) | Deduplication and garbage collection across logical databases | |
US10908834B2 (en) | Load balancing for scalable storage system | |
US9594801B2 (en) | Systems and methods for allocating work for various types of services among nodes in a distributed computing system | |
US11188423B2 (en) | Data processing apparatus and method | |
US20170093721A1 (en) | Setting method, server device and service chain system | |
TWI746511B (zh) | 資料表連接方法及裝置 | |
US10929100B2 (en) | Mitigating causality discrepancies caused by stale versioning | |
US9754032B2 (en) | Distributed multi-system management | |
WO2021139431A1 (zh) | 微服务的数据同步方法、装置、电子设备及存储介质 | |
US10503737B1 (en) | Bloom filter partitioning | |
WO2017107984A1 (zh) | 一种数据恢复方法及装置 | |
CN105320577B (zh) | 一种数据备份和恢复方法、系统及装置 | |
WO2019001021A1 (zh) | 数据处理方法、装置、系统、服务器及计算机存储介质 | |
US9684668B1 (en) | Systems and methods for performing lookups on distributed deduplicated data systems | |
US20220391411A1 (en) | Dynamic adaptive partition splitting | |
US10083121B2 (en) | Storage system and storage method | |
JP2010170475A (ja) | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム | |
JP6515635B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム | |
US10511656B1 (en) | Log information transmission integrity | |
Ying et al. | Consistent hashing algorithm based on slice in improving Scrapy-Redis distributed crawler efficiency | |
CN113111119B (zh) | 一种操作数据的方法和装置 | |
JP6568232B2 (ja) | 計算機システム、及び、装置の管理方法 | |
JP2013134522A (ja) | データ管理システム、データ管理方法及びデータ管理プログラム | |
US20170105056A1 (en) | Bulk telephony control system subscriber data manipulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6515635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |