JP2008299718A - 記憶システム、記憶制御装置及びデータ圧縮方法 - Google Patents
記憶システム、記憶制御装置及びデータ圧縮方法 Download PDFInfo
- Publication number
- JP2008299718A JP2008299718A JP2007146867A JP2007146867A JP2008299718A JP 2008299718 A JP2008299718 A JP 2008299718A JP 2007146867 A JP2007146867 A JP 2007146867A JP 2007146867 A JP2007146867 A JP 2007146867A JP 2008299718 A JP2008299718 A JP 2008299718A
- Authority
- JP
- Japan
- Prior art keywords
- compression
- data
- mode
- file data
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】記憶制御装置は、以前に圧縮したファイルデータの統計情報によって決定するスループット値をシステム性能値として管理する統計情報管理部と、予め目標値として設定されるシステム性能目標値とシステム性能値との比較に基づいて、ファイルデータの圧縮を打ち切ってシステム性能を優先するシステム性能優先モード又はファイルデータの圧縮を優先する圧縮優先モードかの圧縮モードを設定するモード設定部と、モード設定部で設定した圧縮モードに基づいてファイルデータを圧縮する圧縮制御部と、を備えることとした。
【選択図】図1
Description
(1−1)記憶システム
まず、本実施の形態による記憶システムについて以下に説明する。
次にローカルメモリ72に格納される構成について説明する。
図3に示すように、ファイル統計テーブル90は、ホスト装置2から送信されるファイル毎の圧縮情報や記憶システム1Aの性能情報を統計情報として保存するテーブルである。
データ統計テーブル91は、ファイルデータの一部である任意のデータの圧縮情報や記憶システム1Aの性能情報を統計情報として保存するテーブルである。
次に圧縮制御部75の構成について説明する。
それでは上述した構成に基づいて、記憶システム1Aでのデータの圧縮モード設定を行う処理手順を説明する。この圧縮モード設定処理は、CPU71がモード設定プログラム720に基づいて実行する。
それでは次に、ステップS16でファイル統計テーブル90を更新する際に決定する次回圧縮モードの決定方法を図3及び図10〜図4を用いて説明する。
Cポイントのファイル番号「10」は、圧縮率の目標値が20%、圧縮率の平均値が24.5%であって、記憶システム1Aの性能が未達成である場合である。
次にステップS9において、CPU71から現在の圧縮モードを受信した圧縮制御部75が行う圧縮処理について説明する。この圧縮処理は、ハード処理である。
本実施の形態によれば、データを圧縮する際にストレージ装置内で圧縮優先モード又は記憶システムの性能優先モードかのモード選択をすることで圧縮処理時間を調整できるので、記憶システムに関する性能の低下を回避することができる。
上述した実施の形態の構成によれば、圧縮制御部75及び暗号・復号制御部76は、データ転送コントローラ73とキャッシュメモリ74との間に接続した。
Claims (15)
- ホスト装置から送られる圧縮対象のファイルデータを記憶する1又は複数の記憶制御装置を有する記憶システムにおいて、
前記1又は複数の記憶制御装置は、
以前に圧縮したファイルデータの統計情報によって決定するスループット値をシステム性能値として管理する統計情報管理部と、
予め目標値として設定されるシステム性能目標値と前記システム性能値との比較に基づいて、前記ファイルデータの圧縮を打ち切ってシステム性能を優先するシステム性能優先モード又は前記ファイルデータの圧縮を優先する圧縮優先モードかの圧縮モードを設定するモード設定部と、
前記モード設定部で設定した前記圧縮モードに基づいて前記ファイルデータを圧縮する圧縮制御部と、を備える
ことを特徴とする記憶システム。 - 前記圧縮制御部は、
前記ファイルデータを符号化した入力データ列と、以前に符号化した入力データ列である前記辞書データ列との一致箇所を検出する一致検出部と、
前記圧縮モードと前記一致箇所との比較に基づいて前記ファイルデータの圧縮を打ち切る制御を行う打ち切り制御部と、を備える
ことを特徴とする請求項1記載の記憶システム。 - 前記1又は複数の記憶制御装置は、
前記圧縮制御部で圧縮したファイルデータの統計情報に基づいて、次のファイルデータの圧縮モードを決定する次ファイル圧縮モード決定部と、を備える
ことを特徴とする請求項2記載の記憶システム。 - 次ファイル圧縮モード決定部は、
以前のファイルデータの圧縮率によって作成された基準線と、現時点までのファイルデータの圧縮率の平均値と、の交点を、次のファイルデータの圧縮モードとして決定する
ことを特徴とする請求項3記載の記憶システム。 - 前記1又は複数の記憶制御装置は、
前記圧縮制御部で圧縮したファイルデータの一部の統計情報に基づいて、次のファイルデータの一部のデータの圧縮モードを決定する次データ圧縮モード決定部と、を備える
ことを特徴とする請求項2記載の記憶システム。 - 前記圧縮制御部は、
前記ファイルデータを入力データ列として符号化する符号化部と、
以前に符号化した入力データ列を辞書データ列とする辞書部と、をさらに備える
ことを特徴とする請求項2記載の記憶システム。 - ホスト装置から送られる圧縮対象のファイルデータを記憶する1又は複数の記憶制御装置において、
以前に圧縮したファイルデータの統計情報によって決定するスループット値をシステム性能値として管理する統計情報管理部と、
予め目標値として設定されるシステム性能目標値と前記システム性能値との比較に基づいて、前記ファイルデータの圧縮を打ち切ってシステム性能を優先するシステム性能優先モード又は前記ファイルデータの圧縮を優先する圧縮優先モードかの圧縮モードを設定するモード設定部と、
前記ファイルデータを符号化した入力データ列と、以前に符号化した入力データ列である前記辞書データ列との一致箇所を検出する一致検出部と、
前記圧縮モードと前記一致箇所との比較に基づいて前記ファイルデータの圧縮を打ち切る制御を行う打ち切り制御部と、を備える
ことを特徴とする記憶制御装置。 - 前記圧縮制御部で前記一致箇所と前記最大一致箇所との比較に基づいて次のファイルデータの圧縮モードを決定する次ファイル圧縮モード決定部と、を備える
ことを特徴とする請求項7記載の記憶制御装置。 - 次ファイル圧縮モード決定部は、
以前のファイルデータの圧縮率によって作成された基準線と、現時点までのファイルデータの圧縮率の平均値と、の交点を、次のファイルデータの圧縮モードとして決定する
ことを特徴とする請求項8記載の記憶制御装置。 - ホスト装置から送られる圧縮対象のファイルデータを記憶する1又は複数の記憶制御装置を有する記憶システムのデータ圧縮方法において、
前記1又は複数の記憶制御装置では、
以前に圧縮したファイルデータの統計情報によって決定するスループット値をシステム性能値として管理する統計情報管理ステップと、
予め目標値として設定されるシステム性能目標値と前記システム性能値との比較に基づいて、前記ファイルデータの圧縮を打ち切ってシステム性能を優先するシステム性能優先モード又は前記ファイルデータの圧縮を優先する圧縮優先モードかの圧縮モードを設定するモード設定ステップと、
前記モード設定ステップで設定した前記圧縮モードに基づいて前記ファイルデータを圧縮する圧縮制御ステップと、を備える
ことを特徴とするデータ圧縮方法。 - 前記1又は複数の記憶制御装置では、
前記ファイルデータを符号化した入力データ列と、以前に符号化した入力データ列である前記辞書データ列との一致箇所を検出する一致検出ステップと、
前記圧縮モードと前記一致箇所との比較に基づいて前記ファイルデータの圧縮を打ち切る制御を行う打ち切り制御ステップと、を備える
ことを特徴とする請求項10記載のデータ圧縮方法。 - 前記1又は複数の記憶制御装置では、
前記圧縮制御ステップで圧縮したファイルデータの統計情報に基づいて、次のファイルデータの圧縮モードを決定する次ファイル圧縮モード決定ステップと、を備える
ことを特徴とする請求項11記載のデータ圧縮方法。 - 次ファイル圧縮モード決定ステップでは、
以前のファイルデータの圧縮率によって作成された基準線と、現時点までのファイルデータの圧縮率の平均値と、の交点を、次のファイルデータの圧縮モードとして決定する
ことを特徴とする請求項12記載のデータ圧縮方法。 - 前記1又は複数の記憶制御装置では、
前記圧縮制御ステップで圧縮したファイルデータの一ステップの統計情報に基づいて、次の前記ファイルデータの一ステップのデータの圧縮モードを決定する次データ圧縮モード決定ステップと、を備える
ことを特徴とする請求項11記載のデータ圧縮方法。 - 前記1又は複数の記憶制御装置では、
前記ファイルデータを入力データ列として符号化する符号化ステップと、
以前に符号化した入力データ列を辞書データ列とする辞書ステップと、をさらに備える
ことを特徴とする請求項11記載のデータ圧縮方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007146867A JP5216245B2 (ja) | 2007-06-01 | 2007-06-01 | 記憶システム、記憶制御装置及びデータ圧縮方法 |
US12/023,555 US7966296B2 (en) | 2007-06-01 | 2008-01-31 | Storage system, storage controller and data compression method |
US13/114,969 US9342521B2 (en) | 2007-06-01 | 2011-05-24 | Storage system, storage controller and data compression method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007146867A JP5216245B2 (ja) | 2007-06-01 | 2007-06-01 | 記憶システム、記憶制御装置及びデータ圧縮方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008299718A true JP2008299718A (ja) | 2008-12-11 |
JP5216245B2 JP5216245B2 (ja) | 2013-06-19 |
Family
ID=40089450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007146867A Expired - Fee Related JP5216245B2 (ja) | 2007-06-01 | 2007-06-01 | 記憶システム、記憶制御装置及びデータ圧縮方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7966296B2 (ja) |
JP (1) | JP5216245B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113293A (ja) * | 2009-11-26 | 2011-06-09 | Ricoh Co Ltd | 半導体集積回路、それを用いた電子機器、及び半導体集積回路の制御方法 |
JP2012519318A (ja) * | 2009-05-25 | 2012-08-23 | 株式会社日立製作所 | 計算機システムとそのデータ制御方法 |
KR20170140614A (ko) * | 2016-06-13 | 2017-12-21 | 주식회사 래코랩 | 압축률을 이용한 낸드 플래시 메모리 컨트롤러 및 이를 이용한 낸드 플래시 메모리 저장 방법 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8566286B1 (en) | 2009-05-15 | 2013-10-22 | Idera, Inc. | System and method for high speed database backup using rapidly adjusted dynamic compression ratios controlled by a feedback loop |
US8250040B2 (en) | 2009-06-15 | 2012-08-21 | Microsoft Corporation | Storage or removal actions based on priority |
US8468315B2 (en) | 2009-10-28 | 2013-06-18 | International Business Machines Corporation | Facilitating data compression during replication using a compressible configuration bit |
JP5501052B2 (ja) * | 2010-03-24 | 2014-05-21 | キヤノン株式会社 | 通信装置、通信装置の制御方法、プログラム |
CN102999333A (zh) * | 2012-11-15 | 2013-03-27 | 沈阳中科博微自动化技术有限公司 | 一种用于集成电路生产线配方管理系统的文件压缩方法 |
US9176858B2 (en) * | 2012-11-19 | 2015-11-03 | Hitachi, Ltd. | Storage system configured to selectively utilize data compression based on real pool usage rates |
JP6179321B2 (ja) * | 2013-09-27 | 2017-08-16 | 富士通株式会社 | ストレージ管理装置、制御方法及び制御プログラム |
JP6273966B2 (ja) | 2014-03-27 | 2018-02-07 | 富士通株式会社 | ストレージ管理装置、性能調整方法及び性能調整プログラム |
US9407287B2 (en) | 2014-10-21 | 2016-08-02 | Huawei Technologies Co., Ltd. | Parallel history search and encoding for dictionary-based compression |
CN105183641B (zh) * | 2015-08-13 | 2017-12-12 | 浪潮(北京)电子信息产业有限公司 | 一种内核模块的数据一致性校验方法及系统 |
US10572153B2 (en) | 2016-07-26 | 2020-02-25 | Western Digital Technologies, Inc. | Efficient data management through compressed data interfaces |
US10521399B1 (en) * | 2016-08-07 | 2019-12-31 | .Infinidat Ltd | Compression control based on compression ratio estimation |
US9858424B1 (en) * | 2017-01-05 | 2018-01-02 | Votiro Cybersec Ltd. | System and method for protecting systems from active content |
US10331889B2 (en) | 2017-01-05 | 2019-06-25 | Votiro Cybersec Ltd. | Providing a fastlane for disarming malicious content in received input content |
US11294572B2 (en) * | 2017-07-06 | 2022-04-05 | Seagate Technology, Llc | Data storage system with late read buffer assignment after arrival of data in cache |
KR20190075363A (ko) * | 2017-12-21 | 2019-07-01 | 삼성전자주식회사 | 반도체 메모리 장치, 이를 포함하는 메모리 시스템 및 메모리 모듈 |
US10942808B2 (en) * | 2018-12-17 | 2021-03-09 | International Business Machines Corporation | Adaptive data and parity placement using compression ratios of storage devices |
US11494127B2 (en) * | 2019-07-22 | 2022-11-08 | EMC IP Holding Company LLC | Controlling compression of input/output (I/O) operations) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08204579A (ja) * | 1994-08-05 | 1996-08-09 | Hayes Microcomputer Prod Inc | データ圧縮方法及び装置 |
JPH09223083A (ja) * | 1996-02-20 | 1997-08-26 | Shizuoka Nippon Denki Software Kk | 転送ファイルの圧縮復元方式 |
JP2002288013A (ja) * | 2001-03-28 | 2002-10-04 | Toshiba Corp | 計算機システムおよびファイル圧縮制御方法 |
JP2003264703A (ja) * | 2002-03-08 | 2003-09-19 | Ricoh Co Ltd | データ符号化装置、データ符号化方法、及びそのプログラム |
JP2006020023A (ja) * | 2004-07-01 | 2006-01-19 | Sony Corp | 撮像装置、撮像素子及び撮像装置の制御方法 |
JP2006079146A (ja) * | 2004-09-07 | 2006-03-23 | Fuji Xerox Co Ltd | データ処理装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0650823B1 (en) * | 1993-10-29 | 1998-07-15 | I.S.T. Corporation | Method of manufacturing a heat-resistant resinous tube |
JP3054010B2 (ja) * | 1993-11-15 | 2000-06-19 | 株式会社アイ.エス.テイ | ポリイミド複合管状物とその製造方法及び製造装置 |
US5883588A (en) * | 1994-10-04 | 1999-03-16 | Nec Corporation | Data compression system and data compression device for improving data compression rate and coding speed |
JP2910639B2 (ja) | 1994-10-04 | 1999-06-23 | 日本電気株式会社 | データ圧縮装置 |
US6321293B1 (en) * | 1995-11-14 | 2001-11-20 | Networks Associates, Inc. | Method for caching virtual memory paging and disk input/output requests |
US6500375B1 (en) * | 2000-03-06 | 2002-12-31 | Lexmark International Inc. | Fabrication of seamless tube |
JP2004007240A (ja) * | 2002-05-31 | 2004-01-08 | Fujitsu Ltd | 画像入力装置、方法、及びプログラム |
US8730981B2 (en) * | 2006-06-20 | 2014-05-20 | Harris Corporation | Method and system for compression based quality of service |
US7843823B2 (en) * | 2006-07-28 | 2010-11-30 | Cisco Technology, Inc. | Techniques for balancing throughput and compression in a network communication system |
US8478731B1 (en) * | 2010-03-31 | 2013-07-02 | Emc Corporation | Managing compression in data storage systems |
-
2007
- 2007-06-01 JP JP2007146867A patent/JP5216245B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-31 US US12/023,555 patent/US7966296B2/en not_active Expired - Fee Related
-
2011
- 2011-05-24 US US13/114,969 patent/US9342521B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08204579A (ja) * | 1994-08-05 | 1996-08-09 | Hayes Microcomputer Prod Inc | データ圧縮方法及び装置 |
JPH09223083A (ja) * | 1996-02-20 | 1997-08-26 | Shizuoka Nippon Denki Software Kk | 転送ファイルの圧縮復元方式 |
JP2002288013A (ja) * | 2001-03-28 | 2002-10-04 | Toshiba Corp | 計算機システムおよびファイル圧縮制御方法 |
JP2003264703A (ja) * | 2002-03-08 | 2003-09-19 | Ricoh Co Ltd | データ符号化装置、データ符号化方法、及びそのプログラム |
JP2006020023A (ja) * | 2004-07-01 | 2006-01-19 | Sony Corp | 撮像装置、撮像素子及び撮像装置の制御方法 |
JP2006079146A (ja) * | 2004-09-07 | 2006-03-23 | Fuji Xerox Co Ltd | データ処理装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012519318A (ja) * | 2009-05-25 | 2012-08-23 | 株式会社日立製作所 | 計算機システムとそのデータ制御方法 |
JP2011113293A (ja) * | 2009-11-26 | 2011-06-09 | Ricoh Co Ltd | 半導体集積回路、それを用いた電子機器、及び半導体集積回路の制御方法 |
KR20170140614A (ko) * | 2016-06-13 | 2017-12-21 | 주식회사 래코랩 | 압축률을 이용한 낸드 플래시 메모리 컨트롤러 및 이를 이용한 낸드 플래시 메모리 저장 방법 |
KR101889864B1 (ko) * | 2016-06-13 | 2018-08-21 | 주식회사 래코랩 | 압축률을 이용한 낸드 플래시 메모리 컨트롤러 및 이를 이용한 낸드 플래시 메모리 저장 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20110225131A1 (en) | 2011-09-15 |
US9342521B2 (en) | 2016-05-17 |
US20080301164A1 (en) | 2008-12-04 |
US7966296B2 (en) | 2011-06-21 |
JP5216245B2 (ja) | 2013-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5216245B2 (ja) | 記憶システム、記憶制御装置及びデータ圧縮方法 | |
US9471620B2 (en) | Sub-block partitioning for hash-based deduplication | |
US9792350B2 (en) | Real-time classification of data into data compression domains | |
US7188118B2 (en) | System and method for detecting file content similarity within a file system | |
US8346736B2 (en) | Apparatus and method to deduplicate data | |
US8417886B2 (en) | Storage system | |
US8762352B2 (en) | Data depulication using short term history | |
US8683122B2 (en) | Storage system | |
US9252807B2 (en) | Efficient one-pass cache-aware compression | |
JP2011065625A (ja) | 大容量ディスクドライブの使用方法及び装置 | |
US9696936B2 (en) | Applying a maximum size bound on content defined segmentation of data | |
US20190042134A1 (en) | Storage control apparatus and deduplication method | |
US9244830B2 (en) | Hierarchical content defined segmentation of data | |
US8788713B2 (en) | Compression block input/output reduction | |
JP2022049848A (ja) | ストレージ装置及びデータ処理方法 | |
US9483483B2 (en) | Applying a minimum size bound on content defined segmentation of data | |
US8782019B2 (en) | Separation of data chunks into multiple streams for compression | |
JP6451769B2 (ja) | ストレージ制御装置、及びストレージ制御プログラム | |
US8850133B1 (en) | Using dynamic block sizes in data transfer operations | |
US20170052711A1 (en) | Data compression for grid-oriented storage systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5216245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |