JP4933861B2 - ストレージ制御装置、データ管理システムおよびデータ管理方法 - Google Patents

ストレージ制御装置、データ管理システムおよびデータ管理方法 Download PDF

Info

Publication number
JP4933861B2
JP4933861B2 JP2006227277A JP2006227277A JP4933861B2 JP 4933861 B2 JP4933861 B2 JP 4933861B2 JP 2006227277 A JP2006227277 A JP 2006227277A JP 2006227277 A JP2006227277 A JP 2006227277A JP 4933861 B2 JP4933861 B2 JP 4933861B2
Authority
JP
Japan
Prior art keywords
data
storage medium
storage
information
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006227277A
Other languages
English (en)
Other versions
JP2007115232A (ja
Inventor
昭 藤林
和久 藤本
崇仁 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006227277A priority Critical patent/JP4933861B2/ja
Priority to DE602006008397T priority patent/DE602006008397D1/de
Priority to EP09008667A priority patent/EP2109035A3/en
Priority to EP06254899A priority patent/EP1770499B8/en
Priority to US11/524,907 priority patent/US7549016B2/en
Publication of JP2007115232A publication Critical patent/JP2007115232A/ja
Priority to US12/474,767 priority patent/US7962704B2/en
Priority to US13/102,281 priority patent/US8166270B2/en
Application granted granted Critical
Publication of JP4933861B2 publication Critical patent/JP4933861B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0613Improving I/O performance in relation to throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0616Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625Power saving in storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Power Sources (AREA)

Description

本発明は、データを1または複数のハードディスク装置や他の記憶媒体に格納するストレージ制御装置などにおいて消費電力を低減させる技術に関する。記憶装置、特にデータを1つ又は複数のディスク装置または記憶媒体に格納するストレージ制御装置及び複数のストレージ制御装置やテープライブラリ制御装置、光ディスクライブラリ制御装置、半導体ディスク制御装置などのソリッドステートディスク装置、フラッシュメモリに代表される不揮発メモリを利用したストレージ装置などから構成されるストレージシステムに関する。
近年、データセンタなどの情報ビジネスの現場において、ストレージシステム(ストレージ制御装置やハードディスク装置などの総称)の総所有コスト(TCO:Total Cost of Ownership)の削減がますます重要になってきている。その一方、データを長期的かつ確実に記憶する要求も高まっている。たとえば、金融機関や医療機関などの文書データは、消去せずに蓄積されることが法律(個人情報保護法など)によって義務付けられているものもある。
こうした背景においては、高信頼性で大容量のストレージシステムが必要となる。そして、ハードディスクドライブ(以降ではHDDという)を用いた大規模なストレージシステムでは、一般に、記憶媒体の容量にほぼ比例して電力消費量が増大する。つまり、大容量のストレージシステムを所有することは、電気料金が含まれる総所有コストの上昇につながってしまう。
こうした状況に鑑み、大量の情報を蓄積し、さらに場合によっては当該データ(情報)を長期に保存する必要があるときに、格納データに求められる様々な要求を考慮して適切な格納位置にデータを格納することが、ストレージシステム全体の総所有コスト、特に、電力消費量に代表されるランニングコストの低減に有効である。
一方、近年、不揮発記憶媒体として、フラッシュメモリなどが注目されている。たとえば、フラッシュメモリは、一般にHDDと比較し、消費電力が数十分の一であり、また、高速に読み出しが可能である。さらに、フラッシュメモリは、HDDのように機械的な駆動部分が不要なため小型であり、故障に対する耐性も一般的には高い。
しかし、フラッシュメモリは、情報を保持するセルの物理的な理由により、書込み回数に制限がある。こうした制限に対し、上位装置に示すアドレスとセル位置との対応をもち、各セルに書込まれる回数を均等化するように制御を行う、いわゆるウェアレベリング調整と呼ばれる技術などにより、フラッシュメモリの書込み可能回数の向上が図られている。
なお、以降では、情報を保持するための素子としてフラッシュメモリを例にとり、前記のウェアレベリング調整や、上位装置に対するプロトコル処理などを行う機構を含めたものを「フラッシュメモリデバイス」という。また、情報を保持するための素子を「フラッシュメモリ」という。
そして、こういった技術により、フラッシュメモリデバイスとしての書込み回数制限に対する効率化(素子レベルでの記憶領域の分散など)が図られているものの、フラッシュメモリデバイスの書込み回数制限は依然存在している。また、フラッシュメモリは、データを書込む際に消去が必要な場合、書込み速度がHDDと同程度なってしまうという欠点もある。
そこで、以上で述べた特徴をもつフラッシュメモリをストレージシステムに応用するために、たとえば、非特許文献1では、従来の格納データに求められる様々な要求として、書込み性能や信頼性、コストを観点として、適切な格納位置にデータを格納する技術が開示されている。
また、低消費電力のストレージシステムを実現するために、たとえば、特許文献1および非特許文献2では、MAID(Massive Array of Idle Disks)に関する技術が開示されている。
米国特許出願公開第2004/0054939号明細書 John Wilkes, Richard Golding, Carl Staelin, and Tim Sullivan, "The HPAutoRAID hierarchical storage system", Transactions on Computer Systems (TOCS) archive, America ,ACM(Association for Computing Machinery), February 1996, Volume 14, Issue 1, ISSN:0734-2071, Pages: 108-136 Dennis Colarelli, Dirk Grunwald, and Michael Neufeld 、"The Case for Massive Arrays of Idle Disks (MAID)"、[online]、平成14年1月7日、USENIX(米国)、[平成17年8月5日検索]、インターネット<URL:http://www.usenix.org/publications/library/proceedings/fast02/wips/colarelli.pdf >
しかしながら、非特許文献1の技術では、フラッシュメモリをストレージシステムに利用するときに、利用している記憶媒体ごとに書換え回数、書込み速度、消費電力などの差異があるという点を考慮しておらず、適切な制御ができないという問題があった。
また、特許文献1および非特許文献2の技術では、ストレージシステムにおいて、MAID技術の適用先を限定するため、低消費電力と高性能の維持を両立できないという問題があった。そこで、上述した従来の技術では解決されていない、高性能を維持しつつ消費電力も抑えられることでシステム全体として最適化が行える計算機システムを実現する。特に、データセンタなどにおいて必要とされている低消費電力の実現とともに、アクセス性能の確保を実現する。
前記課題を解決するために、本発明は、ホストコンピュータと、データを記憶する記憶媒体としての1または複数のハードディスクと、接続され、前記ハードディスクとは異なる種類の記憶媒体である1または複数の不揮発記憶媒体と、処理部と、メリと、を備えたストレージ制御装置であって、前記1または複数のハードディスクは、単体、あるいは、ディスクアレイ装置の一部として設けられ、前記メモリは、前記記憶媒体ごとに、使用状況に関する情報と、前記使用状況に関する情報に応じ、前記記憶媒体に記憶されているデータを移行させるか否かの判定基準を示す、第一の閾値と、第二の閾値と、を記憶しており、前記処理部は、前記メモリに記憶された前記使用状況に関する情報および前記各第一の閾値を参照し、前記使用状況に関する情報のいずれかが前記第一の閾値を超えた場合に、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータを他方の種類の前記記憶媒体に移行する際に、移行先である前記他方の種類の記憶媒体における使用状況に関する情報のいずれかが、前記第一の閾値より優先度の高い前記第二の閾値の条件を満たす場合に、前記データを前記他方の種類の記憶媒体に移行することを特徴とする。その他の手段については後記する。
本発明によれば、ストレージシステムにおいて、低消費電力と高性能の維持を実現することができる。
以下、図面を参照して、本発明の実施形態に係るストレージシステムSなどについて詳細に説明する。
図1は、ストレージシステムを含めた全体構成図である。ストレージシステムSは、ストレージ制御装置101およびHDD(ハードディスクドライブ)110を備えて構成される。ストレージ制御装置101は、チャネル114を通じて、一般にSAN(Storage Area Network)スイッチなどから構成されるSAN103を介して、1台または複数(ここでは2台)のホストコンピュータ102と接続される。
また、ストレージ制御装置101は、ディスク側チャネル111を通じてデータを格納する複数のHDD110と接続されている。ストレージ制御装置101は、複数のチャネル制御部(接続部)104と、複数のキャッシュメモリ(メモリ部)113、制御情報格納領域(メモリ部)117と、複数のディスク制御部(接続部)105、複数のFM制御部106と、これらを内部パス115を介して接続する相互結合部107を備えている。
チャネル制御部104は、チャネル114を通じてホストコンピュータ102からの入出力要求を受け取り、この入出力要求の要求種類(たとえば、HDD110などに対するデータのリード要求やライト要求)やその対象アドレスなどを解釈し、各種処理を行う。
キャッシュメモリ113は、HDD110やFM制御部106内のフラッシュメモリ306(不揮発記憶媒体:詳細は後記)に格納されるべきデータや、ホストコンピュータ102に送信すべきデータを一時的に格納するものである。また、制御情報格納領域117は、ストレージシステムSの制御情報などを格納する領域であり、たとえば、RAM(Random Access Memory)などのメモリにより構成される。
なお、キャッシュメモリ113および制御情報格納領域117は、それぞれ、格納する情報の種類ごとに物理的に異なるメモリを用意してもよいし、論理的に使い分けてもよい。
ディスク制御部105は、チャネル制御部104などの要求に基づき、ディスク側チャネル111を通じてHDD110の制御を行い、ホストコンピュータ102から要求されたデータの取り出しや格納を行う。その際、ディスク制御部105がHDD110に対してRAID(Redundant Arrays of Inexpensive Disks:複数のHDDを管理する技術)による制御を行い、ストレージシステムSの信頼性、可用性および性能を向上させるようにしてもよい。
FM制御部106は、その内部にあるフラッシュメモリ306(詳細は図3で後記)またはフラッシュメモリデバイス(詳細は図4、図5で後記)の制御を行う。FM制御部106は、チャネル制御部104などの要求に基づき、フラッシュメモリ306またはフラッシュメモリデバイスにおいて、ホストコンピュータ102から要求されたデータの取り出しや格納を行う。その際、FM制御部106がフラッシュメモリデバイスに対してRAID制御を行い、ストレージシステムSの信頼性、可用性および性能を向上させるようにしてもよい。なお、本実施例では、ストレージシステムはHDD110と接続されているが、HDD110ならびにディスク制御部105を持たない構成でもよい。
次に、図2を参照しながら、チャネル制御部104の構成について説明する(適宜図1参照)。図2は、チャネル制御部104の構成を示したブロック図である。チャネル制御部104は、MP(マイクロプロセッサ)部(処理部)220、複数のチャネルプロトコル処理部204および内部ネットワークインタフェース部205を備えて構成される。MP部220は、複数のプロセッサ201、メモリモジュール202および周辺処理部203を有している。
プロセッサ201は、バス等の接続手段で周辺処理部203に接続される。周辺処理部203は、メモリモジュール202に接続され、メモリモジュール202の制御を行う。
また、周辺処理部203は、制御系バス215を介して、チャネルプロトコル処理部204および内部ネットワークインタフェース部205にも接続される。
周辺処理部203は、接続されるプロセッサ201、チャネルプロトコル処理部204および内部ネットワークインタフェース部205からのパケット(データ)を受け、パケットの示す転送先アドレスがメモリモジュール202上ならばそれに応じた処理を行い、必要ならばデータを内部ネットワークインタフェース部205に返す。また、周辺処理部203は、転送先アドレスがメモリモジュール202以外ならば、適切なフォワーディング(データの転送)を行う。また、周辺処理部203は、LAN(Local Area Network)などの内部通信ネットワーク221によりストレージ制御装置101における他の手段(ディスク制御部105など)と接続されている(図6で後記)。
メモリモジュール202は、周辺処理部203に接続されるプロセッサ201同士が通信を行うためのメールボックス213を持つ。プロセッサ201は、周辺処理部203を通してメモリモジュール202にアクセスし、メモリモジュール202に格納された制御プログラム212に基づいて処理を行う。
また、メモリモジュール202には、チャネルプロトコル処理部204がDMA(Direct Memory access:プロセッサ201を介さずにデータ転送を行う方式)を行うための転送リスト214も格納されている。チャネルプロトコル処理部204は、チャネル114上のプロトコル制御を行い、ホストコンピュータ102から受けたデータを、ストレージシステムS内部で処理ができるようなプロトコル方式に変換する。具体的には、チャネルプロトコル処理部204は、チャネル114を通じてホストコンピュータ102からの入出力要求を受けると、その入出力要求のホストコンピュータ番号やLUN(Logical Unit Number:HDD110におけるLogical Unit(図7の論理ボリュームID701に対応する記憶領域の単位)の識別子)やアクセス先アドレスなどをプロセッサ201に通知する。
プロセッサ201は、そのチャネルプロトコル処理部204からの通知に基づき、制御情報格納領域117上のディレクトリ情報や、もしくは、メモリモジュール202上に複製し展開した該ディレクトリ情報にアクセスし、入出力要求のデータを格納すべきアドレスまたは入出力要求のデータが存在する場合は、メモリモジュール202上に転送リスト214を作成する。その転送リスト214に基づき、チャネルプロトコル処理部204はデータの転送を行う。
ホストコンピュータ102からリード要求のあったデータがキャッシュメモリ113上にない場合で、HDD110に格納されているとき、プロセッサ201は、ディスク制御部105に、HDD110に格納されている要求データをキャッシュメモリ113に格納する(この動作をステージングという)ように指示を与えた後、転送リスト214によりそのデータを転送する。
ホストコンピュータ102からリード要求のあったデータがフラッシュメモリ(フラッシュメモリ306など:図3〜図5で後記)上に格納されているとき、プロセッサ201は、フラッシュメモリのアドレスを転送リスト214にセットする。転送リスト214は、キャッシュメモリ113もしくはフラッシュメモリ上のアドレスのリストになっている。
ホストコンピュータ102からデータのライト要求があったとき、チャネルプロトコル処理部204は、内部パス115を介して接続された内部ネットワークインタフェース部205を通じ、ホストコンピュータ102からのデータを転送リスト214に記載されたアドレスに書込んでいく。また、ホストコンピュータ102からデータのリード要求があったとき、チャネルプロトコル処理部204は、同様に、転送リスト214に記載されたアドレスからデータを読込み、それをホストコンピュータ102に返す。
内部ネットワークインタフェース部205は、チャネル制御部104内と他のストレージシステムS内部とで、内部パス115を経て通信を行う際の、インタフェースとなるものである。
ディスク制御部105は、チャネル制御部104とほぼ同じ構造を持つ。ただし、ディスク制御部105は、制御プログラム212に対応する部分の内容が異なり、また、チャネルプロトコル処理部204に対応する部分はHDD110と通信を行う。
なお、チャネル114とディスク側チャネル111のプロトコルは異なってもよい。しかし、ディスク側チャネル111上のプロトコル処理を行い、ストレージシステムS内部で処理が出来るように変換するという点で、ディスク制御部105におけるチャネルプロトコル処理部204に対応する部分は、チャネル制御部104のチャネルプロトコル処理部204と同様である。
プロセッサ201は、チャネル制御部104からの要求により、あるいは、一定時間間隔で、キャッシュメモリ113上にデータが存在している場合、キャッシュメモリ113上のデータをHDD110に書込む。また、プロセッサ201は、キャッシュメモリ113上にデータが存在していない場合は、チャネル制御部104からの指示を受け、HDD110からデータを読込み、キャッシュメモリ113にそのデータを書込む。
プロセッサ201は、制御情報格納領域117に格納されたディレクトリ情報にアクセスし、ホストコンピュータ102の要求するデータを読み出すべき、または、格納すべきキャッシュメモリ113のメモリアドレスを検索する。
そして、要求されたデータがキャッシュメモリ113上に存在しない場合や、要求されたデータを格納するため空き領域を作るべく、すでにあるデータをHDD110に格納する場合(この動作をデステージと呼ぶ)、ディスク制御部105は、ディスク側チャネル111を通じてHDD110を制御する。その際、HDD110全体としての可用性および性能を向上させるため、ディスク制御部105は、HDD110群に対してRAID制御を行うようにしてもよい。
続いて、図3を参照しながら、FM制御部106の構成について説明する(適宜図1、図2参照)。図3は、FM制御部106の構成を示したブロック図である。FM制御部106は、内部ネットワークインタフェース部301、DMA制御を行うDMAコントローラ302、揮発メモリであるメモリモジュール304、メモリモジュール304の制御を行うメモリコントローラ303、不揮発性の記憶素子であるフラッシュメモリ(FM)306、および、フラッシュメモリ306を制御するメモリコントローラ305を備えて構成される。
内部ネットワークインタフェース部301は、FM制御部106内と他のストレージ制御装置101内部とで、内部パス115を経て通信を行う際の、インタフェースとなるものである。
メモリモジュール304は、FM制御部106におけるDMAのための転送リスト308を有している。
FM制御部106内のDMAコントローラ302は、ホストコンピュータ102からのライト要求を処理する際などに、キャッシュメモリ113に空き領域を作る場合、チャネル制御部104のプロセッサ201がセットする転送リスト214により、キャッシュメモリ113からフラッシュメモリ306へデータの転送を行う。
メモリコントローラ305は、内部パス115を通してなされたチャネル制御部104からの読込み要求や、DMAコントローラ302の書込み要求により、フラッシュメモリ306を制御しデータのやり取りを行う。また、メモリコントローラ305はフラッシュメモリ306の使用に関する情報を記憶領域307に記憶し、記憶領域307に記憶された情報は使用状況管理テーブル800(図8で後記)の作成に利用される。
なお、フラッシュメモリ306の代わりに、強誘電体メモリ(強誘電体を利用した不揮発メモリ:FeRAM(Ferroelectric Random Access Memory))や相変化メモリ(非結晶(アモルファス)状態が変化(相変化)することを利用してデータを記録する不揮発メモリ:OUM(Ovonic Unified Memory)など)などを使用してもよい。
次に、図4を参照しながら、FM制御部106の、図3の場合とは異なる構成について説明する(適宜図1〜図3参照)。図4は、FM制御部106の他の構成を示したブロック図である。ここでは、記憶装置としてフラッシュメモリ(FM)デバイス409を用いている。また、図3と同様の構成については、同じ符号を用い、説明を省略する。
フラッシュメモリデバイス409は、図3のフラッシュメモリ306と同様のフラッシュメモリ(複数も可)、メモリコントローラ305(複数も可)、および、FMプロトコル処理部407と通信するための手段(不図示)、を含めて構成される記憶装置である。
フラッシュメモリデバイス409は、図4で示されるようにFM制御部106の内部に存在するが、コネクタ408を介してFM制御部106と接続されるものであり、脱着が可能となっている。そのため、フラッシュメモリデバイス409が故障した際には、交換するのも容易である。なお、フラッシュメモリデバイス409を交換するためには、チャネル制御部104のプロセッサ201が、予めフラッシュメモリデバイス409間で冗長構成をとるように、転送リスト214をセットしていればよい。
また、フラッシュメモリデバイス409自体をより容量の大きなものに交換することも可能である。フラッシュメモリデバイス409とのやり取りは、汎用的なプロトコル(たとえばFFS(Fast File System)など)で行われる。そのため、FMプロトコル処理部407にて、ストレージ制御装置101内部で処理できる形式に変換を行っている。
FMプロトコル処理部407は、フラッシュメモリデバイス409の使用に関する情報を記憶領域410に記憶し、記憶領域410に記憶された情報は使用状況管理テーブル800(図8で後記)の作成に利用される。
続いて、図5を参照しながら、FM制御部106の、図3および図4の場合とは異なる構成について説明する(適宜図1〜図4参照)。図5は、FM制御部106の他の構成を示したブロック図である。ここでは、フラッシュメモリデバイス409をFM側チャネル510により接続している。また、図3あるいは図4と同様の構成については、同じ符号を用い、説明を省略する。
FMプロトコル処理部507は、FMプロトコル処理部407と同様の処理部であり、接続されている複数のフラッシュメモリデバイス409の使用に関する情報を記憶領域508に記憶する。そして、記憶領域508に記憶された情報は、使用状況管理テーブル800(図8で後記)の作成に利用される。
この構成をとることにより、図4で示したFM制御部106の特徴に加え、より多数のフラッシュメモリデバイス409を接続でき、大容量のストレージシステムSを実現することができる。
なお、図3において、フラッシュメモリ306の実装形態としては、基板に直接配置することができる。その際、図4のコネクタ408やFMプロトコル処理部407、図5のFM側チャネル510などの部品が不要になるので、よりコンパクトにストレージシステムSを実現することが可能になる。
また、図3において、メモリコントローラ305にてそれぞれのフラッシュメモリ306に対するウェアレベリング調整などを行ってもよい。さらに、メモリコントローラ305にて、フラッシュメモリ306に対して行ったアクセスにおいて発生する消去エラー発生回数や不良ブロック数などの情報を統計情報として収集し、フラッシュメモリ306の一部もしくは別に設けるフラッシュメモリを使って格納し、プロセッサからの要求により同統計情報を返送する手段を設けておいてもよい。
次に、図6を参照しながら、ストレージ制御装置101などにおける情報の流れについて説明する(適宜図1等参照)。図6は、複数のストレージ制御装置101が存在する場合の全体構成の一例における情報の流れを模式的に示した図である。なお、図1と同様の構成については、同じ符号を用い、説明を省略する。
複数(ここでは2台)のストレージ制御装置101は、ネットワーク602を介して管理端末601に接続されている。
管理端末601は、たとえば一般的なサーバでもよく、基本的には一台ないし複数台のストレージ制御装置101からその内部の情報(性能や消費電力量(ストレージ制御装置101内部のコンポーネントのもつ基本的な電力消費量を稼働中コンポーネントの数から計算した換算値などでもよい)や障害情報などの統計情報など:詳細は図8〜図10で後記)を収集し、統合的に管理するものである。
具体的には、管理端末601は、CPU(Central Processing Unit)などの管理端末処理部(不図示)およびハードディスクなどの管理端末記憶部(不図示)を有している。
そして、管理端末601は、情報収集のための手段として一般的な通信用のネットワーク602を介し、各ストレージ制御装置101にある管理部603を通じて、ストレージ制御装置101内に格納されている情報、たとえば制御情報格納領域117に格納される装置内部情報604(図8の使用状況管理テーブル800など)にアクセスしたり、その装置内部情報604を管理部603を通じて得ることができる。そして、管理端末601は、それぞれのストレージ制御装置101から集めた装置内部情報604に基いて、情報608(たとえば、図14の全体情報テーブル1400)を作成する。
ストレージ制御装置101の内部において、チャネル制御部104およびディスク制御部105にはMP部220およびMP部1051が存在し、また、MP部220,1051同士、もしくは、MP部220,1051が管理部603と通信を行うための内部通信ネットワーク221が存在する。
管理部603は、内部通信ネットワーク221を介して、各MP部220,1051が収集する情報や、キャッシュメモリ113などで蓄積される構成情報や統計情報などの装置内部情報604に直接/間接的にアクセスできる。
管理端末601は、収集した情報をあらかじめ定められた判定基準(閾値など)にしたがって、情報の内容に応じた動作を行うことができる。管理端末601内の詳細な動作や処理については、以下でストレージ制御装置101内部での制御の一例を詳細に説明した後に説明する。
続いて、図7を参照しながら、HDD110(以下、デバイスともいう)に関するデバイス管理テーブルについて説明する(適宜図1等参照)。図7は、デバイス管理テーブルの一例を示した図である。具体的には、論理ボリューム管理テーブル700による、ストレージ制御装置101内の各記憶デバイス(制御情報格納領域117など)の管理と、ホストコンピュータ102に見えるアクセス対象の一例としての論理ボリューム(前記したLogical Unitと同様)の管理について説明する。
なお、ここでは、ホストコンピュータ102がブロックレベルのアクセスを行うことを一例にあげて説明するが、ホストコンピュータ102がファイルレベルのアクセスを行う場合でも、本発明において最終的な記憶階層の制御は各種記憶メディア(HDD110、フラッシュメモリなど)からなるデバイスレベルにおいて実行されるので、特に異なるもとして扱う必要はない。
つまり、図1において、SAN103の代わりに、NAS(Network Attached Storage:ネットワークに直接接続して使用するファイルサーバ専用機)などが利用する別のネットワーク(たとえば、インターネット)を用いることもできる。
ホストコンピュータ102はHDD110に対してデータの読み書きを行うが、そのアクセスは、物理的なHDD110の識別子であるデバイスIDではなく、論理ボリュームの識別子である論理ボリュームIDに対して行なわれる。
図7に示すように、論理ボリューム管理テーブル700において、論理ボリュームID701は、その論理ボリュームの識別子であり、ストレージ制御装置101内におけるHDD110の論理的なデバイスの識別子である論理デバイスID702と関連付けられている。論理デバイスID702は、さらに仮想的なデバイスの識別子である仮想デバイスID703と関連付けられている。
そして、仮想デバイスID703は、実際の(物理的な)デバイスの識別子であるデバイスID704、および、そのデバイス内の利用領域を示すデバイスエクステント705と関連付けられている。ここで、デバイスエクステント705は、あるデータ量を格納できる領域の管理単位である。なお、そのデータ量の具体的な数値は、本発明の本質とは関係が無く、特に制限はない。
また、仮想デバイスID703は、一つないし複数のデバイスID704で示されるデバイスの記憶領域の集合体として定義される。
なお、論理ボリューム管理テーブル700は、すべてのプロセッサ(MP部220、MP部1051)から直接または間接的に参照可能な位置(たとえば、制御情報格納領域117)に置かれる。
次に、図8を参照しながら、各デバイスを管理するための使用状況管理テーブルについて説明する(適宜図1等参照)。図8は、使用状況管理テーブルの一例を示した図である。
使用状況管理テーブル800では、デバイスID801(デバイスID704に対応)を付けたデバイスそれぞれについて、その特性、属性、使用状況に係わる情報を管理する。ここでは、フラッシュメモリのような記憶メディアを管理しているものとして、その特性を管理する上で必要な、使用開始からの総書込み回数802、総消去回数803、不良ブロック数804、不良ブロック増加率805、および、平均消去時間806が、デバイスID801と関連付けて管理されている。また、特に図示していないが、これらの情報に関する各閾値が、使用状況管理テーブル800において、あるいは、別のテーブルとして管理されている。
これらの各情報や閾値はデバイスの管理に用いられるものであり、たとえば、平均消去時間806が長くなると、そのデバイス(フラッシュメモリ306など)の寿命が近いと判断することができる。
また、これらの各情報のほかに、消去処理を失敗した回数(消去処理エラー回数)なども管理し、そのデバイスの寿命管理の判断材料としてもよい。
なお、使用開始からの総書込み回数802と総消去回数803は、デバイスを初期化したり、デバイスの搭載場所を移し変えたような場合にも、継続して記憶しておく必要がある。
また、使用状況管理テーブル800では、フラッシュメモリ306以外に、使用回数(総書込み回数や総消去回数)、総スピンアップダウン回数やエラー率などがその寿命管理の上で重要なATA(AT Attachment)ディスクなどを利用するMAID技術を応用したデバイスもしくは記憶装置についても、管理することができる。
たとえば、図1に示したHDD110が、SCSI(Small Computer System Interface)ディスクとATAディスク、あるいはATAディスクのみから構成されている場合、ディスク制御部105が、MAID技術によってATAディスクの回転と停止を制御するようにしてもよい。
また、ディスク制御部105に接続されるのは、HDD110の単体ではなく、HDD110と制御部(不図示)を備えたディスクアレイ装置(不図示)であってもよい。その場合、ディスク制御部105の指示または制御部(不図示)に備えたMAID技術によって、ATAディスクの回転と停止を制御することができる。つまり、ATAディスクは、SCSIディスクよりもハード的に脆弱であるため、使用状況管理テーブル800でフラッシュメモリ306などと同様の寿命管理を行うことが望ましい。
したがって、使用状況管理テーブル800は、ここではフラッシュメモリ用のものとしてその一例を示しているが、たとえばATAディスクやATAディスクを利用したMAID技術応用デバイスの場合には、総スピンアップダウン回数や総回転時間、エラー率などを含んでいてもよい。つまり、使用状況管理テーブル800は、その状況に応じて、記憶メディア、デバイスの寿命管理に関係する情報(総利用時間、エラー率、不良ブロック率、アクセス回数など)を有するものである。
また、使用状況管理テーブル800は、図7の論理ボリューム管理テーブル700と同様、すべてのプロセッサ(MP部220、MP部1051)から参照可能な位置に置かれる。
続いて、図9を参照しながら、デバイスに関するリード・ライト回数管理テーブルについて説明する(適宜図1等参照)。図9は、リード・ライト回数管理テーブルの一例を示した図である。
リード・ライト回数管理テーブル900では、論理ボリュームID901(論理ボリュームID701に対応)と、論理デバイスID902(論理デバイスID702に対応)と、RD回数(総リード回数)903と、WR回数(総ライト回数)904とが、関連付けられている。リード・ライト回数管理テーブル900は、該当ボリュームもしくはデバイスにアクセスがあるたびに、統計情報として更新がなされる。
また、リード・ライト回数管理テーブル900は、図7の論理ボリューム管理テーブル700と同様、すべてのプロセッサ(MP部220、MP部1051)から参照可能な位置に置かれる。
なお、このリード・ライト回数管理テーブル900は、たとえば、ライトの頻度に比べてリードの頻度がある程度以上大きなデータを、一定時間あたりの消費電力の多いHDD110から一定時間あたりの消費電力の少ないフラッシュメモリに移行する処理(図11A〜図13で後記)などにおいて使用されるものである。
また、リード・ライト回数管理テーブル900とは直接関係ないが、同様の考え方として、ホストコンピュータ102などから、WORM(Write Once Read Many)化、リードオンリー化、あるいは、長期のリテンションピリオド(保持期間)の指定がされた論理ボリュームについては、そのデータを移行(HDD110からフラッシュメモリ306に、など)するようにしてもよい。
次に、図10を参照しながら、デバイス種別管理テーブルについて説明する(適宜図1等参照)。図10は、デバイス種別管理テーブルの一例を示した図である。
デバイス種別管理テーブル1000は、デバイスの種別を示す記憶階層デバイス種1001と、一定時間あたりの電力消費量1002と、稼動中のデバイス数を示すアクティブデバイス数1003と、空き低消費電力デバイスプール数(低消費電力の記憶媒体の空き容量)1004とが関連付けられている。
記憶階層デバイス種1001において、「フラッシュ」は、フラッシュメモリ306を示す。また、「ATA」は、MAID技術に利用するHDD110の一部あるいは全部であるATAディスク、あるいは、ATAディスクを有しMAID技術を利用するディスクアレイ装置がディスク制御部105に接続される場合のATAディスク、もしくは、同ディスクアレイ装置が提供するATAディスクからなる論理デバイス(論理ボリューム)を示す。さらに、「SCSI」は、HDD110の一部あるいは全部であるSCSIディスクを示す。また、「キャッシュ」は、キャッシュメモリ113として使用されるRAMを示す。
また、たとえば、空き低消費電力デバイスプール数1004の単位は、メガバイトやギガバイトなどである。
ストレージ制御装置101の総消費電力量は、実際に消費電力を計測する手段(電力計など)を電源部(不図示)に設けて観測、記録する方法によっても知ることができるが、このデバイス種別管理テーブル1000を利用して概算値を算出するようにすれば、電力計などを設ける必要がなくなる。
つまり、コンポーネントの動作状態はストレージ制御装置101が把握しているので、少なくともその情報を統計情報として管理しておけば、総消費電力量の概算値を把握することができる。そして、図11A〜図13で後記する処理において、デバイス種別管理テーブル1000を使用することで、電力消費と各コンポーネントの稼働状況から、電力消費が低下するように、データを低消費電力デバイスに移行することができる。
なお、デバイス種別管理テーブル1000は、図7の論理ボリューム管理テーブル700と同様、すべてのプロセッサ(MP部220、MP部1051)から参照可能な位置に置かれる。
次に、図11A〜図13を参照しながら、ストレージシステムSの動作について説明する(適宜図6等参照)。
図11Aは、MP部220が、HDD110とFM制御部106のフラッシュメモリ306との間でデータを移行するために行う判定処理の一例を示したフローチャートである。
なお、MP部220がこの処理を行うタイミングとしては、たとえば、一定時間ごと、ホストコンピュータ102からのリード要求・ライト要求、あるいは、ホストコンピュータ102からの特定の論理ボリュームに関するWORM化の指示、などが挙げられる。
また、FM制御部106の形態として、図3〜図5の3つの例を挙げているが、ここではその中で図3の場合を例にとり、説明する。
MP部220は、この移行のための判定処理を行う場合、まず、収集した情報(図8〜図10の各テーブル)の確認を行う(ステップS111)。
次に、MP部220は、それらの情報と判定条件(n)に基いて解析を行う(ステップS112)。判定条件(n)は、たとえば、フラッシュメモリ306の寿命管理(総書込み回数802を参照して所定回数を超えていないかを判定)、消費電力の削減(デバイス種別管理テーブル1000を参照)、ホストコンピュータ102からのWORM化の指示による移行、RD/WR回数比(RD回数903とWR回数904を参照し、WR回数に対するRD回数903の比率が所定以上高ければフラッシュメモリ306に適するデータである可能性ありと判定)、などが挙げられる。なお、ここでは、それらの判定条件を、優先順位をつけて複合して使用するものとする。
MP部220は、ステップS112の解析により、閾値を超える状態があるか否かを判断する(ステップS113)。このステップS113は、たとえば、フラッシュメモリ306の総書込み回数が閾値を超えているかを判断するものであり、閾値を超えていれば、以降の処理で、そのデータを書込み回数に制限のないHDD110に移行するためのものである。
MP部220は、閾値を超える状態がない場合(ステップS113でNo)、処理を終了する。
MP部220は、閾値を超える状態がある場合(ステップS113でYes)、データの移行元と移行先を選定し(ステップS114)、空き低消費電力デバイスプール数1004などを参照してデータの移行先があるか否かを判断する(ステップS115)。
データの移行先がない場合(ステップS115でNo)、MP部220は、判定条件(n)における優先順位の高い判定条件を逸脱しない範囲で移行先を創生できるか否かを判断する(ステップS117)。
移行先を創生できない場合(ステップS117でNo)、MP部220は、処理を終了する。
移行先を創生できる場合(ステップS117でYes)、MP部220は、移行先を創生し(ステップS118)、データの移行処理を開始する(ステップS119)。
ここでは、具体的には、たとえば、データをHDD110からフラッシュメモリ306に移行したい場合に、フラッシュメモリ306に移行先がない(空き容量がない)とき、判定条件(n)における優先順位の高い条件(たとえば消費電力に関する条件)を逸脱しない範囲で、フラッシュメモリ306のいくつかのデータをHDD110に移行することでフラッシュメモリ306に空き容量を作り、そこにHDD110のデータを移行するようにすればよい。
データの移行先がある場合(ステップS115でYes)、MP部220は、データの移行により判定条件(n)における優先順位の高い条件を逸脱しないか否かを判断する(ステップS116)。
優先順位の高い条件を逸脱する場合(ステップS116でNo)、MP部220は、処理を終了する。たとえば、データの移行により、フラッシュメモリ306の寿命に関しては問題がなくても、優先順位の高い条件(たとえば消費電力の閾値)を満たさないとき、MP部220は、データを移行しない。
優先順位の高い条件を逸脱しない場合(ステップS116でYes)、MP部220は、データの移行処理を開始する(ステップS119)。
このようにして、ストレージシステムSにおいて、全体の消費電力やフラッシュメモリ306の寿命管理を最適化するためのデータの移行を実現することができる。具体的には、たとえば、データを、その書込み頻度や読み出し頻度に応じて、消費電力の低いフラッシュメモリ306に移行することで、全体の消費電力を低減することができる。
次に、図11Bを参照しながら、データの移行処理について説明する(適宜図6等参照)。図11Bは、MP部220が、HDD110とFM制御部106のフラッシュメモリ306との間でデータを移行するために行う判定処理の一例を示したフローチャートである。なお、この処理は、図11AのステップS119の後に行われるものである。
まず、MP部220は、移行先領域がフラッシュメモリ306であるか否かを判断する(ステップS1101)。
移行先領域がフラッシュメモリ306である場合(ステップS1101でYes)、フラッシュメモリ306は書込みの回数や性能に関してセンシティブであるので、一時記憶領域をHDD110に確保する(ステップS1102)。また、このとき、MP部220は、制御情報格納領域117に一時記憶領域管理テーブルを作成する。
移行先領域がフラッシュメモリ306でない場合(ステップS1101でNo)、一時記憶領域を確保する必要はなく、ステップS1103に進む。
次に、MP部220は、移行元データの格納領域をある大きさの単位で管理する管理テーブル(不図示)を作成する(ステップS1103)。この管理テーブルとは、たとえば、64KB単位のデータを管理するビットマップテーブルである。なお、この管理テーブルは、データの移行作業の進行を管理できるものであれば、ビットマップテーブルでなくても、別のものでもかまわない。
続いて、MP部220は、DMAコントローラ302に指示を出すことにより、元データを移行先へコピーする(ステップS1104)。
MP部220は、データの移行が完了した領域を、前記した管理テーブル(ビットマップテーブル)にしたがって、チェック(たとえばビットを0から1に変更)する(ステップS1105)。
MP部220は、管理テーブルにしたがって、移行対象の全データ領域のコピーが完了したか否か、すなわち、データ移行の進捗が100%になったかどうかを判断する(ステップS1106)。
MP部220は、移行対象の全データ領域のコピーが完了していない場合(ステップS1106でNo)、ステップS1104とステップS1105の処理を繰り返す。
そして、MP部220は、移行対象の全データ領域のコピーが完了した場合(ステップS1106でYes)、ステップS1107に進む。
なお、ステップS1101〜ステップS1106におけるデータの移行作業中に、ストレージ制御装置101はホストコンピュータ102からそのデータに関するリード要求やライト要求を受けることがあるが、その場合の処理については、図12および図13で説明する。
続いて、ステップS1107において、MP部220は、ステップS1102で作成した一時記憶領域管理テーブルを参照して、一時記憶領域中に格納中のデータがあるか否かをチェックする。
一時記憶領域中に格納中のデータがあれば(ステップS1107でYes)、MP部220は、一時記憶領域のデータを移行先領域に反映し(ステップS1108)、全データの移行が完了する(ステップS1109でYes)まで、ステップS1108の処理を行う。
一時記憶領域中に格納中のデータがなければ(ステップS1107でNo)、MP部220は、ステップS1110に進む。
MP部220は、データの移行にともない、論理ボリューム管理テーブル700を書換える(ステップS1110)。この場合、たとえば、デバイスID704の該当箇所を移行元デバイスIDから移行先デバイスIDに変更するようにすれば、ホストコンピュータ102に設定されている仮想デバイス(仮想デバイスID703に対応)を書換えずに済む。
そして、MP部220は、ステップS1110で不要になった移行元デバイスをフリーとして、別の目的で再利用するために解放する(ステップS1111)。
このようにして、ストレージシステムSにおいて、図11Aで説明した移行判定の結果に応じて、データを移行することができる。
なお、ステップS1111を論理的に先に実行しておき、ステップS1104〜ステップS1106の実際のデータ移行作業を後から行う方法もある。この方法は、データ移行作業のみでなく、データ複製機能(一般にボリュームミラースプリットやスナップショットと呼ばれる機能)における、高速スナップショットアクセス機能にも利用できる。この方法を行う場合、以下の図12および図13の処理もそれに合わせて変更すればよい。
次に、図12を参照しながら、データの移行作業中(図11BのステップS1101〜ステップS1106)にホストコンピュータ102からリード要求を受けた場合のMP部220の処理について説明する(適宜図6等参照)。図12は、その場合におけるMP部220の処理の一例を示したフローチャートである。
まず、MP部220は、移行作業中のデータに関して、ホストコンピュータ102からリード要求を受信すると(ステップS1201)、最新のデータの格納位置(移行元デバイスあるいは一時記憶領域)を管理テーブル(図11のステップS1103で作成した管理テーブル)で確認する(ステップS1202)。
次に、MP部220は、該当する格納位置からのデータを用いて、リード応答をホストコンピュータ102に返す(ステップS1203)。
続いて、MP部220は、リード対象のデータが移行未完了の場合には、その移行元データを移行先にコピーする(ステップS1204)。
そして、MP部220は、その領域のデータ移行作業終了を管理テーブルに反映する(ステップS1205)。
なお、ステップS1203とステップS1204の処理を、ステップS1202の処理より前に行ってもよい。
このようにして、ストレージシステムSにおいて、データの移行中でも、ホストコンピュータ102からのリード要求に対応することができる。
次に、図13を参照しながら、データの移行作業中(図11BのステップS1101〜ステップS1106)にホストコンピュータ102からライト要求を受けた場合のMP部220の処理について説明する(適宜図6等参照)。図13は、その場合におけるMP部220の処理の一例を示したフローチャートである。
まず、MP部220は、移行作業中のデータに関して、ホストコンピュータ102からライト要求を受信すると(ステップS1301)、そのライト要求のデータを、アクセス先アドレスと対応させて一時記憶領域へ書込む(ステップS1302)。
次に、MP部220は、図11BのステップS1102で作成した一時記憶領域管理テーブルを更新し、最新のデータが一時記憶領域にあることを反映する(ステップS1303)。
このようにして、ストレージシステムSにおいて、データの移行中でも、ホストコンピュータ102からのライト要求に対応することができる。
また、データ移行の途中に、ホストコンピュータ102からのライト要求データを一時記憶領域に退避させておき、後で反映させることにより、移行先が、フラッシュメモリ306のような書込みが追記・ポインタ張替え・ブロック消去など複雑な手順で実現されるデバイスや、スピンアップダウンを繰り返し必要なディスク装置だけ使うATAディスク利用のデバイスなどにおいても、スムーズにデータ移行作業を行うことができる。
なお、図11A〜図13では、MP部220が各処理を行うものとしたが、MP部220の指示によるDMA機能や、MP部1051など、他の機能や手段によって各処理を行うようにしてもよい。
次に、図14を参照しながら、本発明の他の実施形態について説明する(適宜図6等参照)。図14は、複数のストレージシステムS全体の消費電力を、図6で示した管理端末601で管理する場合に利用する全体情報テーブル1400の一例を示した図である。
全体情報テーブル1400では、ストレージ制御装置101の識別子である制御装置ID1401と、それぞれのストレージ制御装置101における一定時間あたりの電力消費量1402と、フラッシュメモリ306などの低消費電力メディアの稼働中の数量を示すアクティブデバイス1403と、稼動中の低消費電力メディアの総容量を示すアクティブデバイス総容量1404と、HDD110などの通常消費電力メディアの稼働中の数量を示すアクティブデバイス1405と、稼動中の通常消費電力メディアの総容量を示すアクティブデバイス総容量1406と、空いている低消費電力デバイスの数量を示す空き低消費電力デバイスプール1407とが関連付けられている。
この全体情報テーブル1400を使用することで、あるストレージ制御装置101の内部では通常消費電力デバイスのデータを低消費電力デバイスに移行できないような場合でも、そのデータを他のストレージ制御装置101の低消費電力デバイスにデータ移行を行うことで、複数のストレージシステムS全体の消費電力を下げることができる。
なお、特に図示しないが、複数のストレージシステムS全体の消費電力の閾値が、全体情報テーブル1400あるいは別のテーブルなどに記憶され、管理されている。
具体的なデータ移行の処理は、図11A〜図13のフローチャートによる処理とほぼ同様である。たとえば、図11Bの処理において、デバイス間のデータ移行のプロセスを、複数のストレージ制御装置101の間のデバイス間で行うようにすればよい。また、ホストコンピュータ102では、アクセス先デバイスが変更になった旨を認識するようにしておけばよい。さらに、ホストコンピュータ102におけるボリューム仮想化ソフトや仮想化機能スイッチなどと連携して実現する方法もある。
このように、本実施形態のストレージシステムSにより、低消費電力であり、また、必要なデータにおいては性能低下を起こさず、大規模構成が可能で、さらに、データを最適な記憶メディアに格納できるシステムを提供することができる。また、各記憶メディアの持つ特性(書換え寿命や書込み性能、耐障害性)に対しても、システム全体として、信頼性や可用性を向上させることができる。
以上で実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではなく、ハードウェアやフローチャートなどの具体的な構成について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
以下に本発明の第2の実施の形態について、図面に基づいて説明する。
第2の実施形態では、管理端末601内もしくは管理部603を通じて行われる機能のうち、データ格納位置のアロケーションについて説明する。特に、ユーザからデータの属性や利用要件を指定された場合のデータ格納位置選択の動作や処理について述べる。
ストレージ制御装置101または管理端末601上で動作する制御プログラムは、データに付与される属性、ストレージシステムのユーザや管理者が設定するポリシー、データに対する実際のアクセス特性、データの格納領域となるデバイス、装置、システム全体のある時点での動作状態、経年変化状態、などを考慮して、データの格納領域として最適な領域をアロケーションする。
具体的には、あるデータについて、ある判定条件に基づいて、図8,図9,図10,図14に示す、常時収集されるデバイスや装置、システム全体の動作状態を判断し、与えられる条件への最適化や消費電力管理や寿命管理を最適化できる記憶領域にアロケーションする。このアロケーション処理は、ホストコンピュータ102からのデータの受信時に行う場合や、ユーザや管理者による論理ボリュームの作成時、一定時間経過などを契機として実行される。
ここで、判定条件とその判定条件に基づいたアロケーション先の選択の例を以下に示す。
(1)現時点での使用状態や履歴に応じて、書き換え寿命やデバイス寿命が他記憶デバイスに比較して短かい記憶デバイスについて、寿命管理を考慮したアロケーション制御を行う。
具体的には、書換え寿命等が閾値に近いものがあれば、その寿命が長いデバイスまたは寿命が無制限の他のデバイスへアロケーションする。例えば、図8の説明において開示したような管理テーブルを参照して、消去回数、書込み回数、不良ブロック増加率、平均消去時間、スピンアップダウン回数、総使用時間が閾値に達したデバイスがある場合は、リード優先データ用格納領域として利用する。
(2)あらかじめユーザや管理者の設定する、書込み頻度や読み出し頻度、電力消費量、性能などのポリシーに応じて、適切なデバイスを格納領域としてアロケーションする。
例えば、後述する図16のエントリ#0のように、リードの頻度が非常に大きいという指定がある場合には、消費電力の少なく、読み出し性能の高いフラッシュメモリなどの記憶領域にデータをアロケーションする。また、同様の考え方として、WORM(Write Once Read Many)としての利用を設定した場合や長期のリテンションピリオド(保持期間)の利用を設定された場合には、消費電力と長期保管で有利なフラッシュメモリのようなデバイスをアロケーションする。
(3)消費電力を低減する記憶デバイスにアロケーションする。例えば、図10のように、装置内電力消費と各コンポーネントの稼働状況から低消費電力デバイスを選択し、該低消費電力デバイス(フラッシュメモリやMAID技術で制御されるHDD)上の格納領域を優先的にアロケーションする。さらに、図14に示すような、装置全体の利用状況を把握するテーブルを利用すれば、装置全体について低電力化が可能なアロケーション制御を実現することができる。
図15は、データ格納領域アロケーション制御のための動作フローを示す図である。
この処理は、図6に示すストレージ制御装置101のMP部220によって実行される。
MP部220は、ユーザもしくは管理者から、格納するデータの属性に合わせた格納先に要求する属性や運用ポリシーの指定を受信する。例えば、格納先となる論理ボリュームに対して、容量、性能、R/W頻度、WORM化、アーカイブ用途などの利用属性が指定される。ここで、指定されたポリシーは、後述する図16に示すテーブルで管理される(ステップS1501)。
次に、MP部220は、現在の利用状況および利用できるデバイスのリストなど、図7、図8、図9、および図10で管理される情報と、ステップS1501で指定されるポリシーの内容とを比較する。例えば、ユーザが指定するデータの容量と、図10の空き低消費電力デバイスプール容量1004とを比較する(ステップS1502)。
続いて、MP部220は、ステップS1502で比較した結果に応じて、現時点で最適と判定するアロケーション先を候補として選択する。例えば、あるデータについて、書き込み頻度「少」、読み込み頻度「大」、読み出し「高性能」とポリシーが設定された場合には、フラッシュメモリで構成される格納領域を選択する。また、あるデータについてWORMボリュームに格納することを指定された場合、フラッシュメモリで構成される格納領域を選択する。さらに別の例では、書き込み頻度も読み出し頻度も「少」で読み出しも「低性能」で良いが「低コスト」といったポリシーの場合は、ATAディスクを用いてMAID制御をする格納領域を選択する。また、ユーザの指定するポリシーが書き込みも読み込みも「多」の場合には、SCSI HDDドライブを格納領域にする。さらに、明確な判定が出来ない場合にはフラッシュメモリで構成する領域を優先的にアロケーションする(ステップS1503)。
続いて、MP部220は、ユーザまたは管理者に対して、ステップS1503で選択した格納領域を通知し、データの格納先を確認する(ステップS1504)。
その後、ユーザまたは管理者の決定に従い、選択した格納領域に論理ボリュームを作成する(ステップS1505)。
以上のアロケーション処理の動作は、MP部220を中心に実行されることを一例として説明したが、この処理は、管理部603におけるプログラムとして実行しても良いし、管理端末601におけるプログラムとして実行しても良い。図6に示すシステムにおいては、このいずれもが、アロケーション処理に必要なユーザ・管理者からのポリシー指定を受信するための手段、通信路を有しているし、各種の判断材料となるテーブルを格納したメモリ部にもアクセスする手段、通信路も有している。そのため、上記のいずれにおいて実行されても良いし、これらで分担して行われてもよい。例えば、ユーザ・管理者とのインターフェース、つまりポリシーの入力や、選択、確認の表示などは管理端末、テーブルの情報の取得をするのはMP部220、入力された条件とテーブルの情報を総合して判断するのは管理部というように、分担して処理を実行する形態でもよい。
図16に、格納先デバイスを判定するための管理テーブルの一例を示す。
ユーザ指定要件テーブル1600は、構成したいボリューム毎もしくは格納したいデータごとに、その容量(大きさ)を示す値を格納する容量フィールド1601、ユーザが指定する要件を格納するユーザ指定要件フィールド1602を有する。ユーザ指定要件フィールド1602に格納される値は、例えば、I/O特性「リード/ライト比率[100]、要求電力[1W以下]、性能/応答時間[1μs以下]」など、具体的な数字でもかまわない。ここでは便宜的に定性的に書いておく。さらに、指定デバイスフィールド1603を設け、ユーザの指定する要件とは別に、ATAディスク、SCSIディスクのように、デバイスの種類を直接指定するフィールドを持ってもよい。
図19に示すデバイス判定テーブル1900は、ユーザ指定要件フィールド1901、およびアロケーション第一候補デバイス種フィールド1902を有する。ユーザ指定要件フィールド1901に格納される値は、図16に示すユーザ指定要件テーブルに対応する。アロケーション第一候補デバイス種フィールド1902には、ユーザから指定された要件に対して、第一候補とされるデバイス種を示している。
図16に示すユーザ指定要件には、優先度が付与されている形態であっても良い。以下、図15および図17のフローチャートを用いて、ユーザ指定要件において優先度が示されている場合におけるデータ格納領域選択処理について説明する。
ユーザ指定要件に優先度が示されている場合、MP部220は、図15中のステップS1502およびステップS1503のステップにおいて、図17に示すステップ15020からステップS15026の処理を実行する。
まず、図17中のステップS15020において、判定処理が開始される。
MP部220は、ユーザ指定要件テーブル1600とデバイス判定テーブル1900を用いて、アロケーション先の第1の候補を選択する。例えば、図16中のエントリ#0の場合は、MP部220は、アロケーション先としてフラッシュメモリデバイスを選択する。また図16中のエントリ#1のような場合は、MP部220は、指定されたATAディスクをデバイスとして選択する(ステップS15021)。
次に、MP部220は、図8、図9、および図10のテーブルで管理されるような利用状況をチェックする(ステップS15022)。
続いて、MP部220は、ユーザの指定する要件に適合するデバイス領域の有無を判定する(ステップS15023)。
ステップS15023において適合するデバイス領域がある場合は、ステップ15024に進んで、要求された容量を確保し、選択したデータの格納先を確認する、ステップ15040へと進む。
ここで、図17のフローによる処理では、第一のアロケーション先の候補に対して、利用状況から判断して選択できるデバイスが無かった時に、次の優先度で判断したアロケーション先の候補を選択することも可能となる。
例えば、ステップS15023において適合するデバイス領域が無い場合、図18に示すようなユーザ指定要件テーブル1800を参照すると、次の順位の優先要件をチェックすることができる。
図18に、優先順位が付加されたユーザ要件指定テーブル1800の一例を示す。ユーザ要件指定テーブル1800は、アロケーション先に要求される容量の値を格納する容量フィールド1801、優先順位の情報が付加されたユーザ指定要件順位フィールド1802〜1804、およびデバイスを指定する指定デバイス種フィールド1805からなる。例えば、要件テーブル1800のエントリ#0の場合、ライト/リード比についてのライト「小」リード「多」が一番目に優先順位の高い指定要件で、2番目の指定要件が消費電力についての「低消費電力」で、3番目の指定要件が「性能」についてである。
ここで、図17に戻り、ステップS15021において、図18のエントリ#0のように、ユーザがライト「小」リード「多」という要件を指定する場合、MP部220は、図19を参照し、フラッシュメモリもしくはATAディスクを選択しようとする。しかし、ステップS15022において、利用状況から選択可能なフラッシュメモリ領域が無かった場合、MP部220は、ステップS15023において、ユーザ指定要件と利用状況とに適合するデバイスが無いと判断し、ステップS15026に進む。
MP部220は、次の順位の優先要件の有無を判定する(ステップS15026)。
ステップS15026において、次の順位の優先要件がある場合、ステップS15025に進み、ユーザの指定する要件に適合するアロケーション先の候補を再選択する。例えば、図18に示すユーザ要件指定テーブル1800中のエントリ#0のように、2番目に優先度が高い項目が「低消費電力」で、最も優先度が低いのは「性能」の項目である場合、フラッシュメモリ領域に次いで適合するアロケーション先として、ATAディスク(MAID制御HDD)が選択される(ステップS15025)。
続いて、ステップS15022において、MP部220は、利用状況を総合判断し、ステップ15024において要求される領域の確保を実行し、選択したデータの格納先を確認するステップ15040へと進む。
第一のデバイス候補での選択が困難になる状況は、図8で示すようなデバイスの利用状況によって、選択できる可能性が異なることに起因する。つまり、フラッシュメモリで構成する領域やATAディスク(MAID制御HDD)で構成される領域を第一の候補とした場合に、図8での使用状況に応じたデバイスの選択において、書込み頻度が一定の回数を超えているデバイスしか残存デバイスがない場合や、ユーザから要求される容量に対して空き領域が不足する場合などは、その選択を実行しても、そのデータや格納領域を効率的に使用することにならない。一方、書き込み頻度が限定されるWORM指定のようなデータの場合は、書き込み回数などがある程度多いデバイスでも利用可能なので、そのデバイスを選択することで、そのデータを効率的に使用することができる。また、要件の優先度として、性能は同じであっても、リード「多」ライト「小」と低消費電力に対応できることを要求する場合は、フラッシュメモリ領域が無い場合、次いでATAディスク(MAID 制御HDD)を選択することによっても、要件を満たすことが可能である。このように、第2の実施形態によると、ストレージシステムの利用状況に応じたデータの格納先の選択が実行できる。
上述した第1および第2の実施形態におけるストレージシステムにより、低消費電力であり、かつ、必要なデータにおいては性能低下を起こさず、大規模構成が可能な、データを最適なメディアに格納できるシステムを提供することができる。また、各メディアの持つ特性(書き換え寿命や書込み性能、耐障害性)に対してもシステム全体として、信頼性、可用性の向上が可能な最適なデータ格納位置制御が可能となる。
ストレージシステムSを含めた全体構成図である。 チャネル制御部104の構成を示したブロック図である。 FM制御部106の構成を示したブロック図である。 FM制御部106の他の構成を示したブロック図である。 FM制御部106の他の構成を示したブロック図である。 複数のストレージ制御装置101が存在する場合の全体構成の一例における情報の流れを模式的に示した図である。 論理ボリューム管理テーブル700の一例を示した図である。 使用状況管理テーブル800の一例を示した図である。 リード・ライト回数管理テーブル900の一例を示した図である。 デバイス種別管理テーブル1000の一例を示した図である。 MP部220が、HDD110とFM制御部106のフラッシュメモリ306との間でデータを移行するために行う判定処理の一例を示したフローチャートである。 MP部220が、HDD110とFM制御部106のフラッシュメモリ306との間でデータを移行するために行う判定処理の一例を示したフローチャートである。 データの移行作業中にホストコンピュータ102からリード要求を受けた場合のMP部220の処理の一例を示したフローチャートである。 データの移行作業にホストコンピュータ102からライト要求を受けた場合のMP部220の処理の一例を示したフローチャートである。 複数のストレージシステムS全体の消費電力を、図6で示した管理端末601で管理する場合に利用する全体情報テーブル1400の一例を示した図である。 格納先デバイス選択処理のフローの一例を示す図である。 ユーザ指定要件テーブルの一例を示す図である。 格納先デバイスの優先的な選択処理のフローの一例を示す図である。 ユーザ指定要件テーブルの他の一例を示す図である。 デバイス判定テーブルの一例を示す図である。
符号の説明
101 ストレージ制御装置
102 ホストコンピュータ
104 チャネル制御部
105 ディスク制御部
106 FM制御部
113 キャッシュメモリ
117 制御情報格納領域
110 HDD
220 MP部
306 フラッシュメモリ

Claims (27)

  1. ホストコンピュータと、データを記憶する記憶媒体としての1または複数のハードディスクと、接続され
    記ハードディスクとは異なる種類の記憶媒体である1または複数の不揮発記憶媒体と、処理部と、メリと、を備えたストレージ制御装置であって、
    前記1または複数のハードディスクは、単体、あるいは、ディスクアレイ装置の一部として設けられ、
    前記メモリは、前記記憶媒体ごとに、使用状況に関する情報と、前記使用状況に関する情報に応じ、前記記憶媒体に記憶されているデータを移行させるか否かの判定基準を示す、第一の閾値と、第二の閾値と、を記憶しており
    前記処理部は、前記メモリに記憶された前記使用状況に関する情報および前記各第一の閾値を参照し、前記使用状況に関する情報のいずれかが前記第一の閾値を超えた場合に、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータを他方の種類の前記記憶媒体に移行する際に、移行先である前記他方の種類の記憶媒体における使用状況に関する情報のいずれかが、前記第一の閾値より優先度の高い前記第二の閾値の条件を満たす場合に、前記データを前記他方の種類の記憶媒体に移行することを特徴とするストレージ制御装置。
  2. 前記不揮発記憶媒体は、フラッシュメモリであることを特徴とする請求項1に記載のストレージ制御装置。
  3. 前記不揮発記憶媒体は、強誘電体メモリであることを特徴とする請求項1に記載のストレージ制御装置。
  4. 前記不揮発記憶媒体は、相変化メモリであることを特徴とする請求項1に記載のストレージ制御装置。
  5. 前記処理部は、前記ハードディスクを回転および停止させることを特徴とする請求項1に記載のストレージ制御装置。
  6. 前記ハードディスクは、SCSI(Small Computer System Interface)ディスクおよびATA(AT Attachment)ディスクのうち少なくとも一方から構成されていることを特徴とする請求項5に記載のストレージ制御装置。
  7. 請求項1に記載のストレージ制御装置であって、
    前記不揮発記憶媒体は、前記ハードディスクよりも書換え可能回数が少なく、
    れぞれの前記記憶媒体の使用状況に関する情報は、書換え回数を含んでおり、
    前記メモリは、前記閾値として前記書換え回数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記書換え回数および前記書換え回数に関する閾値を参照し、前記書換え回数に関する閾値を超えた前記不揮発記憶媒体のデータを前記ハードディスクに移行することを特徴とするストレージ制御装置。
  8. 請求項1に記載のストレージ制御装置であって、
    前記ハードディスクは、前記不揮発記憶媒体よりもデータのリードあるいはライトの応答速度が遅く、
    れぞれの前記記憶媒体の使用状況に関する情報は、データのリードあるいはライトの回数を含んでおり、
    前記メモリは、前記閾値として前記リードあるいはライトの回数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記リードあるいはライトの回数および前記リードあるいはライトの回数に関する閾値を参照し、その閾値を超えたいずれかの種類の前記記憶媒体のデータを他方の種類の前記記憶媒体に移行することを特徴とするストレージ制御装置。
  9. 請求項1に記載のストレージ制御装置であって、
    れぞれの前記記憶媒体の使用状況に関する情報は、不良領域数を含んでおり、
    前記メモリは、前記閾値として前記不良領域数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記不良領域数および前記不良領域数に関する閾値を参照し、前記不良領域数に関する閾値を超えたいずれかの種類の前記記憶媒体のデータを他方の種類の前記記憶媒体に移行することを特徴とするストレージ制御装置。
  10. 請求項1に記載のストレージ制御装置であって、
    前記処理部は、データを移行する先の他方の種類の前記記憶媒体が前記不揮発記憶媒体である場合、前記ハードディスクにおけるある領域を一時記憶領域として確保して、移行するデータを前記一時記憶領域にコピーし、そのデータの移行処理中に前記ホストコンピュータからそのデータの一部に関するリード要求を受けたとき、移行元の前記記憶媒体の該当データを前記ホストコンピュータに返送し、移行先の前記記憶媒体へのデータ移行を処理することを特徴とするストレージ制御装置。
  11. 請求項1に記載のストレージ制御装置であって、
    前記処理部は、データを移行する先の他方の種類の前記記憶媒体が前記不揮発記憶媒体である場合、前記ハードディスクにおけるある領域を一時記憶領域として確保して、移行するデータを前記一時記憶領域にコピーし、そのデータの移行処理中に、前記ホストコンピュータからそのデータの一部に関するリード要求を受け、前記不揮発記憶媒体においてそのデータの一部に対応する新データが前記ホストコンピュータからのライト要求によってすでに書込まれていたとき、その新データをホストコンピュータに返送することを特徴とするストレージ制御装置。
  12. 請求項1に記載のストレージ制御装置であって、
    前記処理部は、データを移行する先の他方の種類の前記記憶媒体が前記不揮発記憶媒体である場合、前記ハードディスクにおけるある領域を一時記憶領域として確保して、データの移行処理中に、前記ホストコンピュータから移行中のデータの一部に関するライト要求を受けたとき、そのライト要求のあった新データを前記一時記憶領域に格納し、前記したデータの移行処理の終了後に、前記一時記憶領域の新データを前記不揮発記憶媒体に反映することを特徴とするストレージ制御装置。
  13. 請求項1に記載のストレージ制御装置であって、
    れぞれの前記記憶媒体の使用状況に関する情報は、消去処理エラー回数を含んでおり、
    前記メモリは、前記閾値として前記消去処理エラー回数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記消去処理エラー回数および前記消去処理エラー回数に関する閾値を参照し、前記消去処理エラー回数に関する閾値を超えた前記記憶媒体のデータを他の前記記憶媒体に移行することを特徴とするストレージ制御装置。
  14. 請求項1に記載のストレージ制御装置であって、
    れぞれの記憶媒体の使用状況に関する情報は、平均消去時間を含んでおり、
    前記メモリは、前記閾値として前記平均消去時間に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記平均消去時間および前記平均消去時間に関する閾値を参照し、前記平均消去時間に関する閾値を超えたいずれかの種類の前記記憶媒体のデータを他方の種類の前記記憶媒体に移行することを特徴とするストレージ制御装置。
  15. 前記使用状況に関する情報は、前記不揮発記憶媒体に関する使用状況である、前記不揮発記憶媒体への書き込み回数と、前記ハードディスクに関する使用状況である、前記ハードディスクの消費電力と、を含み、
    前記処理部は、
    前記不揮発記憶媒体への書き込み回数が前記第一の閾値を超えている場合に、前記不揮発記憶媒体に収納されているデータを移行する際に、
    前記ハードディスクの消費電力が、前記第一の閾値より優先度の高い前記第二の閾値を超えない場合は、前記データを前記ハードディスクに移行し、
    前記ハードディスクの消費電力が、前記第一の閾値より優先度の高い前記第二の閾値を超える場合は、前記データを前記ハードディスクに移行しない
    ことを特徴とする請求項1に記載のストレージ制御装置。
  16. 前記処理部は、
    前記使用状況に関する情報のいずれかが前記第一の閾値を超えた場合に、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータを他方の種類の前記記憶媒体に移行する際に、移行先である前記他方の種類の記憶媒体に空き容量がないとき、
    前記移行先である前記他方の種類の記憶媒体に記憶されているデータを、前記第一の閾値より優先度の高い前記第二の閾値の条件を満たす範囲で、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータの移行元となる前記記憶媒体以外の他の記憶媒体に移行し、前記移行先である前記他方の種類の記憶媒体に空き容量を確保して、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータを前記他方の種類の前記記憶媒体に移行する
    ことを特徴とする請求項1に記載のストレージ制御装置。
  17. 複数の請求項1に記載のストレージ制御装置と、その複数のストレージ制御装置と接続された管理端末と、を備えたデータ管理システムであって、
    前記管理端末は、管理端末処理部と管理端末記憶部を有し、
    前記管理端末記憶部は、前記ストレージ制御装置ごとの一定時間あたりの電力消費量を含んだ全体情報テーブルと、複数の前記ストレージ制御装置の全体の一定時間あたりの電力消費量の閾値と、を記憶し、
    前記管理端末処理部は、前記全体情報テーブルを参照して前記複数のストレージ制御装置の全体の一定時間あたりの電力消費量を算出し、その算出した電力消費量が前記全体の一定時間あたりの電力消費量の閾値を超えた場合には、複数の前記ストレージ制御装置の全体の一定時間あたりの電力消費量が低減するように、前記ストレージ制御装置の内部、あるいは、複数の前記ストレージ制御装置の間で記憶媒体間のデータ移行を行うことを特徴とするデータ管理システム。
  18. 前記全体情報テーブルは、それぞれの前記ストレージ制御装置における低消費電力の記憶媒体の空き容量を含んでいることを特徴とする請求項17に記載のデータ管理システム。
  19. ホストコンピュータと、データを記憶する記憶媒体としての1または複数のハードディスクと、接続され
    記ハードディスクとは異なる種類の記憶媒体である1または複数の不揮発記憶媒体と、処理部と、メリと、を備えたストレージ制御装置によるデータ管理方法であって、
    前記1または複数のハードディスクは、単体、あるいは、ディスクアレイ装置の一部として設けられ、
    前記メモリは、前記記憶媒体ごとに、使用状況に関する情報と、前記使用状況に関する情報に応じ、前記記憶媒体に記憶されているデータを移行させるか否かの判定基準を示す、第一の閾値と、第二の閾値と、を記憶しており
    前記処理部は、前記メモリに記憶された前記使用状況に関する情報および前記各第一の閾値を参照し、前記使用状況に関する情報のいずれかが前記第一の閾値を超えた場合に、前記第一の閾値を超えたいずれかの種類の前記記憶媒体に記憶されているデータを他方の種類の前記記憶媒体に移行する際に、移行先である前記他方の種類の記憶媒体における使用状況に関する情報のいずれかが、前記第一の閾値より優先度の高い前記第二の閾値の条件を満たす場合に、前記データを前記他方の種類の記憶媒体に移行することを特徴とするデータ管理方法。
  20. 前記不揮発記憶媒体は、フラッシュメモリであることを特徴とする請求項19に記載のデータ管理方法。
  21. 前記不揮発記憶媒体は、前記ハードディスクよりも書換え可能回数が少なく、
    れぞれの前記記憶媒体の使用状況に関する情報は、書換え回数を含んでおり、
    前記メモリは、前記閾値として前記書換え回数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記書換え回数および前記書換え回数に関する閾値を参照し、前記書換え回数に関する閾値を超えた前記不揮発記憶媒体のデータを前記ハードディスクに移行することを特徴とする請求項19に記載のデータ管理方法。
  22. 前記ハードディスクは、前記不揮発記憶媒体よりもデータのリードあるいはライトの応答速度が遅く、
    れぞれの前記記憶媒体の使用状況に関する情報は、データのリードあるいはライトの回数を含んでおり、
    前記メモリは、前記閾値として前記リードあるいはライトの回数に関する閾値を記憶しており
    前記処理部は、前記メモリに記憶された前記リードあるいはライトの回数および前記リードあるいはライトの回数に関する閾値を参照し、その閾値を超えたいずれかの種類の前記記憶媒体のデータを他方の種類の前記記憶媒体に移行することを特徴とする請求項19に記載のデータ管理方法。
  23. 請求項1に記載のストレージ制御装置であって、
    前記メモリは、(1)ユーザがあるデータについて指定する記憶媒体の性能および使用状況に関する情報を格納するユーザ指定要件テーブルと、(2)前記記憶媒体の性能と前記記憶媒体とを関連付けたデバイス判定テーブルと、(3)前記記憶媒体ごとに、前記使用状況に関する情報と、前記使用状況に関する情報に対する、各前記第一の閾値と、前記第二の閾値と、を格納する装置内部情報を記憶しており、
    前記処理部は、前記ユーザ指定要件テーブルを参照して前記あるデータについての前記ユーザの指定を取得し、前記デバイス判定テーブルを参照して前記あるデータについて前記ユーザの指定に適合する性能を有する記憶媒体を選択し、前記装置内部情報を参照して、前記選択した記憶媒体が前記ユーザの指定した前記使用状況についての要件を満たすと判定したとき、前記あるデータを、前記選択した記憶媒体に格納することを特徴とするストレージ制御装置。
  24. 請求項23に記載のストレージ制御装置であって、
    前記処理部は、前記ユーザから前記あるデータを格納する論理記憶領域を作成する指示を受信した場合、前記ユーザ指定要件テーブルを参照して前記あるデータについての前記ユーザの指定を取得し、前記デバイス判定テーブルを参照して前記あるデータについて前記ユーザの指定に適合する性能を有する記憶媒体を選択し、前記装置内部情報を参照して、前記選択した記憶媒体が前記ユーザの指定した前記使用状況についての要件を満たすと判定したとき、前記選択した記憶媒体を用いて前記あるデータを格納する論理記憶領域を作成し、該論理記憶領域に前記あるデータを格納することを特徴とするストレージ制御装置。
  25. 請求項23に記載のストレージ制御装置であって、
    前記不揮発記憶媒体は、フラッシュメモリであることを特徴とするストレージ制御装置。
  26. 請求項23に記載のストレージ制御装置であって、
    前記ユーザ指定要件テーブルに格納される前記記憶媒体の性能および使用状況に関する情報は、前記あるデータの容量、リード頻度、ライト頻度、WORM(Write Once Read Many)の有無、のいずれかに関する情報であることを特徴とするストレージ制御装置。
  27. 請求項23に記載のストレージ制御装置であって、
    前記ユーザ指定要件テーブルには、前記ユーザにより優先順位が付与された、複数の前記記憶媒体の性能および使用状況に関する情報が格納され、
    前記処理部は、前記ホストコンピュータから前記あるデータを受信した場合、前記ユーザ指定要件テーブルおよび、前記デバイス判定テーブルを参照し、前記優先順位の順に、前記あるデータについて前記ユーザが指定に適した記憶媒体を選択し、前記装置内部情報を参照して、前記選択した記憶媒体が前記ユーザの指定した前記使用状況についての要件を満たすと判定したとき、前記あるデータを、前記選択した記憶媒体に格納することを特徴とするストレージ制御装置。
JP2006227277A 2005-09-22 2006-08-24 ストレージ制御装置、データ管理システムおよびデータ管理方法 Expired - Fee Related JP4933861B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006227277A JP4933861B2 (ja) 2005-09-22 2006-08-24 ストレージ制御装置、データ管理システムおよびデータ管理方法
EP09008667A EP2109035A3 (en) 2005-09-22 2006-09-21 Storage control apparatus, data management system and data management method
EP06254899A EP1770499B8 (en) 2005-09-22 2006-09-21 Storage control apparatus, data management system and data management method
DE602006008397T DE602006008397D1 (de) 2005-09-22 2006-09-21 Speichersteuervorrichtung, Datenverwaltungssystem und Datenverwaltungsverfahren
US11/524,907 US7549016B2 (en) 2005-09-22 2006-09-22 Storage control apparatus for selecting storage media based on a user-specified performance requirement
US12/474,767 US7962704B2 (en) 2005-09-22 2009-05-29 Storage system of storage hierarchy devices and a method of controlling storage hierarchy devices based on a user policy of I/O performance and power consumption
US13/102,281 US8166270B2 (en) 2005-09-22 2011-05-06 Storage control apparatus, data management system and data management method for determining storage heirarchy based on a user policy

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005275018 2005-09-22
JP2005275018 2005-09-22
JP2006227277A JP4933861B2 (ja) 2005-09-22 2006-08-24 ストレージ制御装置、データ管理システムおよびデータ管理方法

Publications (2)

Publication Number Publication Date
JP2007115232A JP2007115232A (ja) 2007-05-10
JP4933861B2 true JP4933861B2 (ja) 2012-05-16

Family

ID=37459354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006227277A Expired - Fee Related JP4933861B2 (ja) 2005-09-22 2006-08-24 ストレージ制御装置、データ管理システムおよびデータ管理方法

Country Status (4)

Country Link
US (3) US7549016B2 (ja)
EP (2) EP2109035A3 (ja)
JP (1) JP4933861B2 (ja)
DE (1) DE602006008397D1 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200732913A (en) * 2006-02-24 2007-09-01 Benq Corp Memory allocation method and system
JP4396657B2 (ja) * 2006-03-16 2010-01-13 ソニー株式会社 通信装置及び送信制御方法及び送信制御プログラム
GB0614515D0 (en) 2006-07-21 2006-08-30 Ibm An apparatus for managing power-consumption
US8706987B1 (en) 2006-12-01 2014-04-22 Synopsys, Inc. Structured block transfer module, system architecture, and method for transferring
US7702644B2 (en) * 2007-01-25 2010-04-20 Ludi Labs, Inc. Data management system and method to host applications and manage storage, finding and retrieval of typed items with support for tagging, connections, and situated queries
US7657572B2 (en) * 2007-03-06 2010-02-02 Microsoft Corporation Selectively utilizing a plurality of disparate solid state storage locations
JP5124217B2 (ja) * 2007-09-18 2013-01-23 株式会社日立製作所 ストレージ装置
US9495116B2 (en) * 2007-12-26 2016-11-15 Sandisk Il Ltd. Storage device coordinator and a host device that includes the same
US8914340B2 (en) * 2008-02-06 2014-12-16 International Business Machines Corporation Apparatus, system, and method for relocating storage pool hot spots
JP4477681B2 (ja) * 2008-03-06 2010-06-09 富士通株式会社 階層記憶装置、制御装置、および制御方法
US8090924B2 (en) * 2008-03-13 2012-01-03 Greenbytes, Inc. a Rhode Island corporation Method for the allocation of data on physical media by a file system which optimizes power consumption
JP5214315B2 (ja) 2008-04-17 2013-06-19 株式会社東芝 記憶装置
TW201005516A (en) * 2008-07-22 2010-02-01 Inventec Corp Method for providing a customized response from a disk array
JP4698710B2 (ja) * 2008-09-02 2011-06-08 富士通株式会社 ストレージシステムおよびその省電力方法
US20100082715A1 (en) * 2008-09-30 2010-04-01 Karl Dohm Reduced-Resource Block Thin Provisioning
JP4920658B2 (ja) * 2008-10-20 2012-04-18 株式会社日立製作所 電力推定方法及び計算機システム
US8127166B1 (en) 2009-02-19 2012-02-28 Symantec Corporation Power management within a data protection system
JP5274665B2 (ja) * 2009-04-21 2013-08-28 株式会社日立製作所 ストレージシステム、及びその制御方法、並びにプログラム
JP5185445B2 (ja) * 2009-05-13 2013-04-17 株式会社日立製作所 ストレージシステム及びストレージシステムにおける使用容量管理方法
US20100313044A1 (en) * 2009-06-03 2010-12-09 Microsoft Corporation Storage array power management through i/o redirection
US8286015B2 (en) * 2009-06-03 2012-10-09 Microsoft Corporation Storage array power management using lifecycle information
US8880835B2 (en) * 2009-07-07 2014-11-04 International Business Machines Corporation Adjusting location of tiered storage residence based on usage patterns
US20110047316A1 (en) * 2009-08-19 2011-02-24 Dell Products L.P. Solid state memory device power optimization
GB2473194A (en) * 2009-09-02 2011-03-09 1E Ltd Monitoring the performance of a computer based on the value of a net useful activity metric
JP5241671B2 (ja) * 2009-10-05 2013-07-17 株式会社日立製作所 記憶装置のデータ移行制御方法
JP5336993B2 (ja) * 2009-10-14 2013-11-06 株式会社日立国際電気 映像記録装置及び映像記録方法
EP2507700A1 (en) * 2009-12-04 2012-10-10 Marvell World Trade Ltd. Virtualization of storage devices
TWI483258B (zh) * 2010-02-26 2015-05-01 Transcend Information Inc 使用壞區塊增加率的記憶體異常警示方法以及相關的儲存裝置預警系統
US9396104B1 (en) * 2010-03-22 2016-07-19 Seagate Technology, Llc Accessing compressed data of varying-sized quanta in non-volatile memory
JP5447092B2 (ja) * 2010-03-30 2014-03-19 富士通株式会社 処理装置,データ移行方法及びデータ移行プログラム
WO2011142762A1 (en) * 2010-05-13 2011-11-17 Hewlett-Packard Development Company, L.P. File system migration
US8345489B2 (en) * 2010-09-02 2013-01-01 International Business Machines Corporation Caching scheme synergy for extent migration between tiers of a storage system
US8560759B1 (en) * 2010-10-25 2013-10-15 Western Digital Technologies, Inc. Hybrid drive storing redundant copies of data on disk and in non-volatile semiconductor memory based on read frequency
JP5641900B2 (ja) * 2010-11-29 2014-12-17 キヤノン株式会社 管理装置及びその制御方法、並びにプログラム
US9064234B2 (en) * 2011-07-13 2015-06-23 Right Intel Corporation Systems and methods for the analysis and dissemination of data within a networked community
WO2013027642A1 (en) * 2011-08-19 2013-02-28 Kabushiki Kaisha Toshiba Information processing apparatus, method for controlling information processing apparatus, non-transitory recording medium storing control tool, host device, non-transitory recording medium storing performance evaluation tool, and performance evaluation method for external memory device
JP5971509B2 (ja) 2011-08-30 2016-08-17 ソニー株式会社 情報処理装置および方法、並びに記録媒体
IN2014DN05977A (ja) * 2012-02-08 2015-06-26 Hitachi Ltd
EP2791775A1 (en) * 2012-03-13 2014-10-22 Hitachi, Ltd. Storage system having nonvolatile semiconductor storage device with nonvolatile semiconductor memory
US9223373B2 (en) * 2012-03-21 2015-12-29 Hgst Technologies Santa Ana, Inc. Power arbitration for storage devices
US9703500B2 (en) 2012-04-25 2017-07-11 International Business Machines Corporation Reducing power consumption by migration of data within a tiered storage system
US20150186056A1 (en) * 2012-09-07 2015-07-02 Hitachi, Ltd. Storage device system
JP5949408B2 (ja) 2012-10-02 2016-07-06 富士通株式会社 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
JP6186787B2 (ja) * 2013-03-25 2017-08-30 富士通株式会社 データ転送装置、データ転送システム、データ転送方法及びプログラム
JP6136460B2 (ja) * 2013-03-28 2017-05-31 富士通株式会社 情報処理装置、情報処理装置の制御プログラムおよび情報処理装置の制御方法
JP5825290B2 (ja) * 2013-04-08 2015-12-02 コニカミノルタ株式会社 画像形成装置
US9524113B2 (en) * 2013-05-24 2016-12-20 Seagate Technology Llc Variable redundancy in a solid state drive
KR101723100B1 (ko) * 2013-07-18 2017-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 메모리 공격 검출
CN104516471B (zh) 2013-09-27 2017-04-12 国际商业机器公司 一种管理存储器系统的电源的方法和装置
EP2975472A1 (fr) * 2014-07-15 2016-01-20 The Swatch Group Research and Development Ltd. Dispositif portable incorporant un dispositif de mesure de la température ambiante
JP6459644B2 (ja) 2015-03-05 2019-01-30 富士通株式会社 ストレージ制御装置、制御システム及び制御プログラム
US10452302B2 (en) * 2015-04-09 2019-10-22 Hitachi, Ltd. Storage system and data control method
WO2016170631A1 (ja) * 2015-04-22 2016-10-27 株式会社日立製作所 ストレージシステム
US11144604B1 (en) * 2015-07-17 2021-10-12 EMC IP Holding Company LLC Aggregated performance reporting system and method for a distributed computing environment
JP6233427B2 (ja) * 2016-02-08 2017-11-22 日本電気株式会社 制御装置
CN108701002B (zh) 2016-02-29 2021-10-29 株式会社日立制作所 虚拟存储系统
WO2017154127A1 (ja) * 2016-03-09 2017-09-14 株式会社日立製作所 ストレージ装置の性能管理方法及び装置
JP6751281B2 (ja) * 2018-03-16 2020-09-02 Necプラットフォームズ株式会社 情報処理装置
KR20190113437A (ko) * 2018-03-28 2019-10-08 에스케이하이닉스 주식회사 메모리 시스템, 그것의 동작방법 및 메모리 시스템을 포함하는 컴퓨팅 시스템
US11106378B2 (en) 2018-11-21 2021-08-31 At&T Intellectual Property I, L.P. Record information management based on self describing attributes
US10877683B2 (en) * 2019-04-09 2020-12-29 International Business Machines Corporation Tiered storage optimization and migration
US11733900B2 (en) * 2020-06-15 2023-08-22 Samsung Electronics Co., Ltd. Prompt and gradual migration schemes
US11573621B2 (en) * 2020-07-25 2023-02-07 International Business Machines Corporation Reduction of performance impacts of storage power control by migration of write-intensive extent
JP7140807B2 (ja) * 2020-09-23 2022-09-21 株式会社日立製作所 仮想ストレージシステム
US11662954B1 (en) * 2022-03-18 2023-05-30 International Business Machines Corporation Duplicating tape media within a tape storage system based on copy tape database
US11893253B1 (en) * 2022-09-20 2024-02-06 Western Digital Technologies, Inc. Dynamic TD-PPM state and die mapping in multi-NAND channels

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778418A (en) * 1991-09-27 1998-07-07 Sandisk Corporation Mass computer storage system having both solid state and rotating disk types of memory
US6347051B2 (en) * 1991-11-26 2002-02-12 Hitachi, Ltd. Storage device employing a flash memory
JP3826936B2 (ja) * 1991-11-28 2006-09-27 株式会社日立製作所 記憶装置
US6549974B2 (en) 1992-06-22 2003-04-15 Hitachi, Ltd. Semiconductor storage apparatus including a controller for sending first and second write commands to different nonvolatile memories in a parallel or time overlapped manner
JPH06274251A (ja) * 1993-03-23 1994-09-30 Sharp Corp コンピュータシステム
US5619453A (en) 1995-07-28 1997-04-08 Micron Quantum Devices, Inc. Memory system having programmable flow control register
JP2000057039A (ja) 1998-08-03 2000-02-25 Canon Inc アクセス制御方法及び装置及びファイルシステム及び情報処理装置
US6330621B1 (en) * 1999-01-15 2001-12-11 Storage Technology Corporation Intelligent data storage manager
US20050204187A1 (en) 2004-03-11 2005-09-15 Lee Charles C. System and method for managing blocks in flash memory
US6766430B2 (en) * 2000-07-06 2004-07-20 Hitachi, Ltd. Data reallocation among storage systems
JP4031190B2 (ja) * 2000-09-29 2008-01-09 株式会社東芝 メモリカード、不揮発性メモリ、不揮発性メモリのデータ書き込み方法及びデータ書き込み装置
KR100644602B1 (ko) 2000-10-11 2006-11-10 삼성전자주식회사 플래시메모리를 위한 재사상 제어방법 및 그에 따른플래시 메모리의 구조
TWI240864B (en) * 2001-06-13 2005-10-01 Hitachi Ltd Memory device
US20020199129A1 (en) * 2001-06-21 2002-12-26 International Business Machines Corp. Data storage on a computer disk array
US7028158B1 (en) 2001-11-02 2006-04-11 Beatty And Company Computing, Inc. Storage virtualization engine
JP2003316522A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
JP4106702B2 (ja) * 2002-05-30 2008-06-25 ソニー株式会社 情報処理装置、データ記録再生方法、データ記録再生方法のプログラム及びデータ記録再生方法のプログラムを記録した記録媒体
JP2004021811A (ja) * 2002-06-19 2004-01-22 Hitachi Ltd 不揮発メモリを使用したディスク制御装置
JP2004070403A (ja) * 2002-08-01 2004-03-04 Hitachi Ltd ファイル格納先ボリューム制御方法
US7035972B2 (en) * 2002-09-03 2006-04-25 Copan Systems, Inc. Method and apparatus for power-efficient high-capacity scalable storage system
JP4110000B2 (ja) * 2003-01-28 2008-07-02 株式会社ルネサステクノロジ 記憶装置
JP4651913B2 (ja) * 2003-02-17 2011-03-16 株式会社日立製作所 記憶装置システム
US6965956B1 (en) * 2003-02-28 2005-11-15 3Ware, Inc. Disk array controller and system with automated detection and control of both ATA and SCSI disk drives
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
JP4343578B2 (ja) * 2003-05-08 2009-10-14 株式会社日立製作所 ストレージ運用管理システム
US7613945B2 (en) 2003-08-14 2009-11-03 Compellent Technologies Virtual disk drive system and method
JP4492084B2 (ja) * 2003-10-07 2010-06-30 株式会社日立製作所 ストレージパス制御方法
JP4428993B2 (ja) * 2003-11-27 2010-03-10 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の制御方法
JP4485230B2 (ja) * 2004-03-23 2010-06-16 株式会社日立製作所 マイグレーション実行方法
US7096338B2 (en) * 2004-08-30 2006-08-22 Hitachi, Ltd. Storage system and data relocation control device
US7568075B2 (en) * 2005-09-22 2009-07-28 Hitachi, Ltd. Apparatus, system and method for making endurance of storage media
US7426605B2 (en) 2005-09-30 2008-09-16 Rudelic John C Method and apparatus for optimizing flash device erase distribution

Also Published As

Publication number Publication date
EP1770499B1 (en) 2009-08-12
US7549016B2 (en) 2009-06-16
JP2007115232A (ja) 2007-05-10
EP1770499A1 (en) 2007-04-04
EP2109035A2 (en) 2009-10-14
US20110213916A1 (en) 2011-09-01
US8166270B2 (en) 2012-04-24
EP2109035A3 (en) 2009-10-21
US20090276565A1 (en) 2009-11-05
US20070271413A1 (en) 2007-11-22
EP1770499B8 (en) 2009-09-23
US7962704B2 (en) 2011-06-14
DE602006008397D1 (de) 2009-09-24

Similar Documents

Publication Publication Date Title
JP4933861B2 (ja) ストレージ制御装置、データ管理システムおよびデータ管理方法
EP1768014B1 (en) Storage control apparatus, data management system and data management method
JP4942446B2 (ja) ストレージ装置及びその制御方法
US7380064B2 (en) Storage device and storage device data life cycle control method
US7814351B2 (en) Power management in a storage array
JP4819369B2 (ja) ストレージシステム
JP2008276626A (ja) 記憶制御装置及び記憶制御装置の制御方法
JP5646633B2 (ja) ストレージ装置
JP6097845B2 (ja) 不揮発性キャッシュメモリにデータをバックアップするストレージシステム
JP2008065503A (ja) ストレージシステム及びバックアップ/リカバリ方法
JP2008015769A (ja) ストレージシステム及び書き込み分散方法
JP2007072813A (ja) ストレージシステム、ファイル移動方法、及びコンピュータプログラム
JP2008065559A (ja) ストレージ装置、ストレージシステム、ストレージ装置の制御方法
Dell
US8543784B1 (en) Backup application coordination with storage array power saving features

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070418

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070425

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110812

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees