JP2018106545A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018106545A JP2018106545A JP2016254035A JP2016254035A JP2018106545A JP 2018106545 A JP2018106545 A JP 2018106545A JP 2016254035 A JP2016254035 A JP 2016254035A JP 2016254035 A JP2016254035 A JP 2016254035A JP 2018106545 A JP2018106545 A JP 2018106545A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- information
- area
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
- G06F12/0269—Incremental or concurrent garbage collection, e.g. in real-time systems
- G06F12/0276—Generational garbage collection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
2 ストレージ装置
3 クライアント
10 データ記憶部
20 ストレージ制御部
21 書込部
22 世代交代部
23 現在情報記憶部
24 過去情報記憶部
25 GC部
25a 現時点情報生成部
25b 特定部
31,31a,31b top−kカウンタ
31c ハッシュ値領域
32,32a,32b,32c,32d ブルームフィルタ
33 過去領域
34 一時領域
41 ポインタ領域
42 通常データ領域
43 重複データ領域
50 コンピュータ
51 メインメモリ
52 CPU
53 LANインタフェース
54 HDD
55 スーパーIO
56 DVI
57 ODD
Claims (8)
- 過去にデータの重複除去が行われた単位領域のアドレスに関するアドレス情報と前記単位領域のデータに関するデータ情報とを記憶する過去情報記憶部と、
前記アドレス情報を用いて現時点でデータの重複除去が行われた状態にある単位領域のデータ情報を生成する生成部と、
前記過去情報記憶部が記憶するデータ情報と前記生成部が生成したデータ情報とに基づいてガベージコレクションの対象とするデータ領域を特定する特定部と、
前記データ領域を有するデータ記憶部と
を有することを特徴とする情報処理装置。 - 前記過去情報記憶部は、前記アドレス情報をブルームフィルタを用いて記憶し、
前記生成部は、前記ブルームフィルタを用いて現時点でデータの重複除去が行われた状態にある単位領域のデータに関するデータ情報を生成することを特徴とする請求項1に記載の情報処理装置。 - 前記生成部は、前記ブルームフィルタを用いて現時点でデータの重複除去が行われた可能性がある単位領域のアドレスを特定し、特定したアドレスの単位領域が現時点でデータの重複除去が行われた状態にある単位領域であるか否かを前記データ記憶部を参照して判定し、現時点でデータの重複除去が行われた状態にあると判定した単位領域のデータ情報を生成することを特徴とする請求項2に記載の情報処理装置。
- データの重複除去が行われている単位領域のアドレスに関するアドレス情報をブルームフィルタを用いて記憶するとともに、前記単位領域のデータに関するデータ情報と該データの前記データ記憶部への書き込み回数を示すカウント値とを対応付けた情報を前記カウント値が大きい順に所定の数だけカウントテーブルとして記憶する現在情報記憶部と、
前記現在情報記憶部が記憶する情報を用いて前記過去情報記憶部を更新し、前記カウントテーブルのカウント値を調整し、かつ、前記現在情報記憶部が記憶するブルームフィルタをクリアする世代交代部とをさらに有することを特徴とする請求項2又は3に記載の情報処理装置。 - 前記単位領域はブロックであり、前記データ情報はハッシュ値であることを特徴とする請求項1〜4のいずれか1つに記載の情報処理装置。
- データを記憶する情報処理装置と前記情報処理装置にデータを格納するクライアント装置とを有する情報処理システムにおいて、
前記情報処理装置は、
過去にデータの重複除去が行われた単位領域のアドレスに関するアドレス情報と前記単位領域のデータに関するデータ情報とを記憶する過去情報記憶部と、
前記アドレス情報を用いて現時点でデータの重複除去が行われた状態にある単位領域のデータ情報を生成する生成部と、
前記過去情報記憶部が記憶するデータ情報と前記生成部が生成したデータ情報とに基づいてガベージコレクションの対象とするデータ領域を特定する特定部と、
前記データ領域を有するデータ記憶部と
を有することを特徴とする情報処理システム。 - コンピュータが、
過去にデータの重複除去が行われた単位領域のアドレスに関するアドレス情報と前記単位領域のデータに関するデータ情報とを過去情報記憶部に記憶し、
前記アドレス情報を用いて現時点でデータの重複除去が行われた状態にある単位領域のデータ情報を生成し、
前記過去情報記憶部が記憶するデータ情報と生成したデータ情報とに基づいてガベージコレクションの対象とするデータ領域を特定
する処理を実行することを特徴とする情報処理方法。 - コンピュータに、
過去にデータの重複除去が行われた単位領域のアドレスに関するアドレス情報と前記単位領域のデータに関するデータ情報とを過去情報記憶部に記憶し、
前記アドレス情報を用いて現時点でデータの重複除去が行われた状態にある単位領域のデータ情報を生成し、
前記過去情報記憶部が記憶するデータ情報と生成したデータ情報とに基づいてガベージコレクションの対象とするデータ領域を特定
する処理を実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016254035A JP6805816B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US15/831,710 US10725907B2 (en) | 2016-12-27 | 2017-12-05 | Information processing apparatus for specifying data region of garbage collection, information processing system and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016254035A JP6805816B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106545A true JP2018106545A (ja) | 2018-07-05 |
JP6805816B2 JP6805816B2 (ja) | 2020-12-23 |
Family
ID=62629689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016254035A Active JP6805816B2 (ja) | 2016-12-27 | 2016-12-27 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10725907B2 (ja) |
JP (1) | JP6805816B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10949312B2 (en) | 2018-09-21 | 2021-03-16 | Netapp, Inc. | Logging and update of metadata in a log-structured file system for storage node recovery and restart |
CN109522283B (zh) * | 2018-10-30 | 2021-09-21 | 深圳先进技术研究院 | 一种重复数据删除方法及系统 |
CN109828721B (zh) * | 2019-01-23 | 2022-06-28 | 平安科技(深圳)有限公司 | 数据删除方法、装置、计算机设备及存储介质 |
US11294805B2 (en) * | 2019-04-11 | 2022-04-05 | EMC IP Holding Company LLC | Fast and safe storage space reclamation for a data storage system |
US11210280B2 (en) * | 2019-06-04 | 2021-12-28 | Alibaba Group Holding Limited | Systems and methods for fast bloom filter operations |
KR20220077208A (ko) | 2020-11-30 | 2022-06-09 | 삼성전자주식회사 | 데이터 중복 제거 기능을 갖는 스토리지 장치, 스토리지 장치의 동작 방법, 및 스토리지 서버의 동작 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009087021A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | ストレージ装置及びデータ重複排除方法 |
US20110219106A1 (en) * | 2010-03-05 | 2011-09-08 | Solidfire, Inc. | Data Deletion in a Distributed Data Storage System |
JP2013514560A (ja) * | 2010-09-30 | 2013-04-25 | 日本電気株式会社 | ストレージシステム |
US20130159261A1 (en) * | 2011-12-20 | 2013-06-20 | Quantum Corporation | De-duplication reference tag reconciliation |
JP2014170304A (ja) * | 2013-03-01 | 2014-09-18 | Nec Corp | ストレージシステム |
JP2014199573A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | ストレージ制御装置、ストレージ制御装置の制御方法およびストレージ制御装置の制御プログラム |
JP2014225297A (ja) * | 2014-08-22 | 2014-12-04 | 株式会社日立製作所 | フラッシュメモリモジュール及びストレージ装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5813000A (en) * | 1994-02-15 | 1998-09-22 | Sun Micro Systems | B tree structure and method |
US7926103B2 (en) * | 2003-06-05 | 2011-04-12 | Hewlett-Packard Development Company, L.P. | System and method for preventing replay attacks |
US20080065639A1 (en) * | 2006-08-25 | 2008-03-13 | Netfortis, Inc. | String matching engine |
US7930547B2 (en) * | 2007-06-15 | 2011-04-19 | Alcatel-Lucent Usa Inc. | High accuracy bloom filter using partitioned hashing |
KR101028470B1 (ko) * | 2009-05-07 | 2011-04-14 | 이화여자대학교 산학협력단 | Ip주소 검색을 위한 장치 및 방법 |
US20110276744A1 (en) * | 2010-05-05 | 2011-11-10 | Microsoft Corporation | Flash memory cache including for use with persistent key-value store |
US8676951B2 (en) * | 2011-07-27 | 2014-03-18 | Hitachi, Ltd. | Traffic reduction method for distributed key-value store |
US9226231B2 (en) * | 2013-01-30 | 2015-12-29 | Qualcomm Incorporated | Systems and methods for monitoring the size of a wireless network |
US9274967B2 (en) * | 2013-08-07 | 2016-03-01 | Nimble Storage, Inc. | FIFO cache simulation using a bloom filter ring |
US10452297B1 (en) * | 2016-05-02 | 2019-10-22 | Pure Storage, Inc. | Generating and optimizing summary index levels in a deduplication storage system |
-
2016
- 2016-12-27 JP JP2016254035A patent/JP6805816B2/ja active Active
-
2017
- 2017-12-05 US US15/831,710 patent/US10725907B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009087021A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | ストレージ装置及びデータ重複排除方法 |
US20110219106A1 (en) * | 2010-03-05 | 2011-09-08 | Solidfire, Inc. | Data Deletion in a Distributed Data Storage System |
JP2013514560A (ja) * | 2010-09-30 | 2013-04-25 | 日本電気株式会社 | ストレージシステム |
US20130159261A1 (en) * | 2011-12-20 | 2013-06-20 | Quantum Corporation | De-duplication reference tag reconciliation |
JP2014170304A (ja) * | 2013-03-01 | 2014-09-18 | Nec Corp | ストレージシステム |
JP2014199573A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | ストレージ制御装置、ストレージ制御装置の制御方法およびストレージ制御装置の制御プログラム |
JP2014225297A (ja) * | 2014-08-22 | 2014-12-04 | 株式会社日立製作所 | フラッシュメモリモジュール及びストレージ装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180181338A1 (en) | 2018-06-28 |
JP6805816B2 (ja) | 2020-12-23 |
US10725907B2 (en) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6805816B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
US10977124B2 (en) | Distributed storage system, data storage method, and software program | |
US10430282B2 (en) | Optimizing replication by distinguishing user and system write activity | |
US8332367B2 (en) | Parallel data redundancy removal | |
US9740416B2 (en) | Essential metadata replication | |
US8732411B1 (en) | Data de-duplication for information storage systems | |
KR101870521B1 (ko) | 스토리지 저널링을 개선하는 방법 및 시스템 | |
JP5369807B2 (ja) | ストレージ装置 | |
US10146786B2 (en) | Managing deduplication in a data storage system using a Bloomier filter data dictionary | |
US10579540B2 (en) | Raid data migration through stripe swapping | |
JP2017084338A (ja) | フラッシュメモリのフラッシングを改善する方法およびシステム | |
JP2017062636A (ja) | ストレージ装置およびストレージ制御プログラム | |
CN107798063B (zh) | 快照处理方法和快照处理装置 | |
CN111026333A (zh) | 访问请求处理方法、处理装置、电子设备及存储介质 | |
US9952771B1 (en) | Method and system for choosing an optimal compression algorithm | |
EP3264254B1 (en) | System and method for a simulation of a block storage system on an object storage system | |
US20190056878A1 (en) | Storage control apparatus and computer-readable recording medium storing program therefor | |
US11010091B2 (en) | Multi-tier storage | |
JP6377304B1 (ja) | データ書き込み装置及び方法 | |
US8799429B1 (en) | Boot acceleration by consolidating client-specific boot data in a data storage system | |
US10089228B2 (en) | I/O blender countermeasures | |
US9710514B1 (en) | Systems and methods for efficient storage access using metadata | |
US8688916B2 (en) | Storage system and data processing method using cache memory | |
JP7468068B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7310110B2 (ja) | ストレージ及び情報処理システム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6805816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |