JP2018124915A - 解析プログラム、解析方法及びストレージシステム - Google Patents
解析プログラム、解析方法及びストレージシステム Download PDFInfo
- Publication number
- JP2018124915A JP2018124915A JP2017018702A JP2017018702A JP2018124915A JP 2018124915 A JP2018124915 A JP 2018124915A JP 2017018702 A JP2017018702 A JP 2017018702A JP 2017018702 A JP2017018702 A JP 2017018702A JP 2018124915 A JP2018124915 A JP 2018124915A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- accesses
- range
- vector
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims description 38
- 239000013598 vector Substances 0.000 claims abstract description 141
- 238000000034 method Methods 0.000 claims description 158
- 230000008569 process Effects 0.000 claims description 153
- 230000008859 change Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 69
- 238000006243 chemical reaction Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 10
- 230000002596 correlated effect Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013403 standard screening design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012005 ligant binding assay Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3824—Operand accessing
- G06F9/383—Operand prefetching
- G06F9/3832—Value prediction for operands; operand history buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/31—Providing disk cache in a specific location of a storage system
- G06F2212/312—In storage controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/604—Details relating to cache allocation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
Description
図1に、システム構成例を示す。クライアント装置101a乃至cは、ネットワークスイッチ103を介してストレージサーバ装置105と接続している。ストレージサーバ装置105は、クライアント装置101a乃至cにおいて動作するアプリケーションプログラム109a乃至cが使用するデータを管理する。クライアント装置101a乃至cから送られるI/O要求は、ネットワークスイッチ103を介してストレージサーバ装置105へ送られる。具体的には、リードコマンド又はライトコマンドが設定されたパケットが伝送される。以下では、リードコマンド及びライトコマンドをアクセスコマンドという。尚、システムに含まれるクライアント装置101は、1台であってもよい。また、クライアント装置101において動作するアプリケーションプログラム109は、複数であってもよい。
上述した実施の形態では、アクセス数を要素とするベクトルを生成する例について説明したが、本実施の形態では、アクセス数の変動量を要素とするベクトルを生成する例について説明する。
本実施の形態では、上述したベクトルにおける要素をクラスタリングに適した値に変換する例について説明する。
本実施の形態では、第2の適用例について説明する。第2の適用例では、アクセスコマンドを受け付けないときに事前読み込みを行う。
本実施の形態では、第3の適用例について説明する。第3の適用例では、周期的に事前読み込みを行う。
上述した実施の形態では、リードコマンド及びライトコマンドに関する事前読み込みを行う例について説明したが、本実施の形態では、リードコマンドに関する事前読み込みを行う例について説明する。
本実施の形態では、ライトコマンドに関する事前読み込みを行う例について説明する。
本実施の形態では、ストレージサーバ装置105においてサンプル収集及び解析を行う例について説明する。
記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出し、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する
処理をコンピュータに実行させる解析プログラム。
前記期間毎の前記アクセス数又は前記アクセス数の変動量を要素とする前記各範囲のベクトルのクラスタリングによって、前記範囲間の相関を特定する
付記1記載の解析プログラム。
更に、
前記ベクトルの各々に含まれる前記要素のうち、基準を下回る要素を所定値に変換し、変換された前記ベクトルを前記クラスタリングの対象とする
付記2記載の解析プログラム。
前記記憶領域は、複数の記憶デバイスを用いたストレージ階層制御による論理的な記憶領域であって、
更に、
前記範囲間の相関に基づいて、前記ストレージ階層制御におけるデータ移動の対象となる範囲を特定する処理
をコンピュータに実行させる付記1乃至3のいずれか1つ記載の解析プログラム。
記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出し、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する
処理を含み、コンピュータにより実行される解析方法。
解析装置と、複数の記憶デバイスを制御する制御装置とを含み、
前記解析装置は、
前記複数の記憶デバイスを用いたストレージ階層制御による論理的な記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出する算出部と、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する第1特定部と
を有し、
前記制御装置は、
前記範囲間の相関に基づいて、前記ストレージ階層制御におけるデータ移動の対象となる範囲を特定する第2特定部
を有するストレージシステム。
105 ストレージサーバ装置 107 キャプチャサーバ装置
109 アプリケーションプログラム 111 第1受付部
113 アクセス制御部 115 第1記憶デバイス
117 第2記憶デバイス 119 第2受付部
121 グループ記憶部 123 ログ記憶部
601 サンプル収集部 603 サンプル記憶部
605 解析部 607 グループ記憶部
609 出力部 611 キャプチャ部
613 ロギング部 621 ベクトル生成部
623 範囲記憶部 625 期間記憶部
627 ベクトル記憶部 629 分類部
631 ベクトル変換部 633 クラスタリング部
3201 サンプル収集部 3203 サンプル記憶部
3205 解析部 3211 取得部
3213 ロギング部
Claims (6)
- 記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出し、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する
処理をコンピュータに実行させる解析プログラム。 - 前記期間毎の前記アクセス数又は前記アクセス数の変動量を要素とする前記各範囲のベクトルのクラスタリングによって、前記範囲間の相関を特定する
請求項1記載の解析プログラム。 - 更に、
前記ベクトルの各々に含まれる前記要素のうち、基準を下回る要素を所定値に変換し、変換された前記ベクトルを前記クラスタリングの対象とする
請求項2記載の解析プログラム。 - 前記記憶領域は、複数の記憶デバイスを用いたストレージ階層制御による論理的な記憶領域であって、
更に、
前記範囲間の相関に基づいて、前記ストレージ階層制御におけるデータ移動の対象となる範囲を特定する処理
をコンピュータに実行させる請求項1乃至3のいずれか1つ記載の解析プログラム。 - 記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出し、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する
処理を含み、コンピュータにより実行される解析方法。 - 解析装置と、複数の記憶デバイスを制御する制御装置とを含み、
前記解析装置は、
前記複数の記憶デバイスを用いたストレージ階層制御による論理的な記憶領域を分割する複数範囲の各々について、複数期間の各々におけるアクセス数又はアクセス数の変動量を算出する算出部と、
各範囲における期間毎の前記アクセス数又は前記アクセス数の変動量に基づいて、範囲間の相関を特定する第1特定部と
を有し、
前記制御装置は、
前記範囲間の相関に基づいて、前記ストレージ階層制御におけるデータ移動の対象となる範囲を特定する第2特定部
を有するストレージシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017018702A JP2018124915A (ja) | 2017-02-03 | 2017-02-03 | 解析プログラム、解析方法及びストレージシステム |
US15/879,492 US10606601B2 (en) | 2017-02-03 | 2018-01-25 | Method, system and non-transitory computer-readable storage medium for analyzing access to storage device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017018702A JP2018124915A (ja) | 2017-02-03 | 2017-02-03 | 解析プログラム、解析方法及びストレージシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124915A true JP2018124915A (ja) | 2018-08-09 |
Family
ID=63037679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017018702A Pending JP2018124915A (ja) | 2017-02-03 | 2017-02-03 | 解析プログラム、解析方法及びストレージシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10606601B2 (ja) |
JP (1) | JP2018124915A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112019003290B4 (de) | 2018-06-29 | 2024-03-28 | Denso Corporation | Horizontaler Scrollverdichter |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102615593B1 (ko) * | 2016-05-04 | 2023-12-21 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 메모리 시스템의 동작 방법 |
US10938742B1 (en) | 2020-01-31 | 2021-03-02 | Bank Of America Corporation | Multiplexed resource allocation architecture |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6507893B2 (en) * | 2001-01-26 | 2003-01-14 | Dell Products, L.P. | System and method for time window access frequency based caching for memory controllers |
JP2003167781A (ja) | 2001-11-30 | 2003-06-13 | Matsushita Electric Ind Co Ltd | 磁気ディスク装置およびデータ読み出し制御方法 |
US6760818B2 (en) * | 2002-05-01 | 2004-07-06 | Koninklijke Philips Electronics N.V. | Memory region based data pre-fetching |
US6963959B2 (en) * | 2002-10-31 | 2005-11-08 | International Business Machines Corporation | Storage system and method for reorganizing data to improve prefetch effectiveness and reduce seek distance |
US7496592B2 (en) * | 2005-01-31 | 2009-02-24 | International Business Machines Corporation | Systems and methods for maintaining closed frequent itemsets over a data stream sliding window |
WO2006082592A1 (en) * | 2005-02-04 | 2006-08-10 | Hewlett-Packard Development Company, L.P. | Data processing system and method |
JP4151977B2 (ja) | 2005-03-16 | 2008-09-17 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 先読み装置、先読み方法、および先読みプログラム |
US8762649B2 (en) * | 2010-03-29 | 2014-06-24 | Via Technologies, Inc. | Bounding box prefetcher |
KR102295769B1 (ko) | 2014-05-20 | 2021-08-30 | 삼성전자주식회사 | 스토리지 컨트롤러 및 상기 스토리지 컨트롤러의 동작 방법 |
-
2017
- 2017-02-03 JP JP2017018702A patent/JP2018124915A/ja active Pending
-
2018
- 2018-01-25 US US15/879,492 patent/US10606601B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112019003290B4 (de) | 2018-06-29 | 2024-03-28 | Denso Corporation | Horizontaler Scrollverdichter |
Also Published As
Publication number | Publication date |
---|---|
US20180225122A1 (en) | 2018-08-09 |
US10606601B2 (en) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2618261B1 (en) | Qos control method and system for storage system | |
KR102267480B1 (ko) | 멀티-스트림이 가능한 솔리드 스테이트 드라이브들을 위하여 데이터 스트림들을 통합하는 방법 | |
US9032175B2 (en) | Data migration between storage devices | |
US20130007302A1 (en) | System, Method and Program Product to Manage Transfer of Data to Resolve Overload of a Storage System | |
JP2018124915A (ja) | 解析プログラム、解析方法及びストレージシステム | |
JP2021522615A (ja) | ストレージボリューム作成方法および装置、サーバ、並びに記憶媒体 | |
CN104598495A (zh) | 基于分布式文件系统的分级存储方法及系统 | |
Bai et al. | RTRM: A response time-based replica management strategy for cloud storage system | |
JP2014512578A (ja) | 実記憶領域動的割当方法を用いたストレージシステム | |
US9916311B1 (en) | Storage of bursty data using multiple storage tiers with heterogeneous device storage | |
JP2014241117A (ja) | ストレージシステム、運用管理方法及び運用管理プログラム | |
Yin et al. | Muse: A multi-tierd and sla-driven deduplication framework for cloud storage systems | |
He et al. | A heterogeneity-aware region-level data layout for hybrid parallel file systems | |
Ren et al. | Realistic and scalable benchmarking cloud file systems: Practices and lessons from AliCloud | |
Wan et al. | SSD-optimized workload placement with adaptive learning and classification in HPC environments | |
He et al. | A holistic heterogeneity-aware data placement scheme for hybrid parallel I/O systems | |
Nakashima et al. | I/o performance improvement of secure big data analyses with application support on ssd cache | |
US20240069783A1 (en) | Memory phase monitoring and scheduling system | |
Groot et al. | Modeling I/O interference for data intensive distributed applications | |
Malensek et al. | Alleviation of disk I/O contention in virtualized settings for data-intensive computing | |
US11687243B2 (en) | Data deduplication latency reduction | |
US20210240630A1 (en) | Adapting Cache Processing Using Phase Libraries and Real Time Simulators | |
US20200410359A1 (en) | Computing device and parameter synchronization method implemented by computing device | |
Liu et al. | An efficient schema for cloud systems based on SSD cache technology | |
Wu et al. | POS: A popularity-based online scaling scheme for raid-structured storage systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210216 |