JP2008146677A - Volume management method and device - Google Patents
Volume management method and device Download PDFInfo
- Publication number
- JP2008146677A JP2008146677A JP2008031442A JP2008031442A JP2008146677A JP 2008146677 A JP2008146677 A JP 2008146677A JP 2008031442 A JP2008031442 A JP 2008031442A JP 2008031442 A JP2008031442 A JP 2008031442A JP 2008146677 A JP2008146677 A JP 2008146677A
- Authority
- JP
- Japan
- Prior art keywords
- volume
- requested
- access time
- parity group
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、ストレージ内の物理的記憶装置上に定義されるボリュームの管理方式に係わり、特に他のボリュームの性能に与える影響を考慮しながらボリュームの作成や移動を行なうための処理方式に関する。 The present invention relates to a volume management method defined on a physical storage device in a storage, and more particularly to a processing method for creating and moving a volume while taking into consideration the effect on the performance of other volumes.
2台以上の物理ディスクをグループ化して冗長性をもたせ、信頼性や性能を向上させるRAID(Redundant Array of Inexpensive Disks)と呼ばれる技術がある。RAID技術を採用しているストレージを使用する場合、まずストレージ内の物理ディスク(物理記憶装置)を2台以上集めてパリティグループと呼ばれるグループを構成する。そしてパリティグループ内にボリュームと呼ばれる論理記憶領域を定義し、計算機側からはこのボリュームを使用する。多くの場合、1個のパリティグループ内に2個以上のボリュームが定義可能である。定義例を図1(a)に示す。図1(a)では、物理ディスク1001、物理ディスク1002、物理ディスク1003及び物理ディスク1004が1個のパリティグループ1005を構成し、その中にボリューム1006、ボリューム1007及びボリューム1008が定義されている。このときパリティグループ1005内に定義されているボリューム1006、ボリューム1007及びボリューム1008は、全て物理ディスク1001、物理ディスク1002、物理ディスク1003及び物理ディスク1004を使用している。この異なるボリュームが同じ物理ディスクを共有しているという状態は、RAID技術を採用しているストレージを使用する場合だけでなく、単一の物理ディスク内に2個以上のボリュームを定義する場合にも存在する。
There is a technology called RAID (Redundant Array of Inexpensive Disks) that groups two or more physical disks to provide redundancy and improves reliability and performance. When a storage that employs RAID technology is used, first, two or more physical disks (physical storage devices) in the storage are collected to form a group called a parity group. A logical storage area called a volume is defined in the parity group, and this volume is used from the computer side. In many cases, two or more volumes can be defined in one parity group. A definition example is shown in FIG. In FIG. 1A, a
このようなRAID技術を使用して、複数の物理ディスクからパリティグループを構成する方法は数通り定義されており、これらの基準はRAIDレベルと呼ばれる。例えば複数の物理ディスクに一定サイズ毎に順にデータを書くRAIDレベル0(ストライプとも呼ばれる)や、2個の物理ディスクの両方に読み書きを行なうRAIDレベル1(ミラーとも呼ばれる)、複数の物理ディスクの1台を除きデータを分散して記憶させそのデータを記憶させなかった物理ディスクには、他の物理ディスクが故障して使用不可能になっても、当該データを復活できるような冗長データを記述するRAIDレベル4やRAIDレベル5(これらは冗長データの持ち方が異なる)等がある。 Several methods for configuring a parity group from a plurality of physical disks using such RAID technology are defined, and these criteria are called RAID levels. For example, RAID level 0 (also referred to as a stripe) for sequentially writing data to a plurality of physical disks at a certain size, RAID level 1 (also referred to as a mirror) for reading and writing to both of two physical disks, 1 of a plurality of physical disks Describe redundant data that can restore data even if other physical disks fail and become unusable on physical disks that have been stored in a distributed manner except for the stand. There are RAID level 4 and RAID level 5 (they have different ways of holding redundant data).
物理ディスク全体の集合ではなく、物理ディスクの一部領域の集合を使用してパリティグループを構成することが可能なストレージがある。この場合、1個の物理ディスクは複数のパリティグループに属することができる。例を図1(b)に示す。パリティグループ1015は、物理ディスク1009、物理ディスク1010、物理ディスク1011及び物理ディスク1012のそれぞれの一部領域から構成されており、当該パリティグループ内にはボリューム1016が定義されている。パリティグループ1013は、物理ディスク1009、物理ディスク1010のそれぞれ一部領域から構成されており、当該パリティグループ内にはボリュームは定義されていない。パリティグループ1014は、物理ディスク1011、物理ディスク1012のそれぞれ一部領域から構成されており、当該パリティグループ内にはボリューム1017が定義されている。ここで物理ディスク1009、物理ディスク1010、物理ディスク1011及び物理ディスク1012は、それぞれ2個のパリティグループに属している。
There is a storage that can form a parity group using a set of partial areas of a physical disk, not a set of entire physical disks. In this case, one physical disk can belong to a plurality of parity groups. An example is shown in FIG. The
RAID技術を採用しているストレージの幾つかは、パリティグループ内に直接ボリュームを定義するのではなく、パリティグループ内に論理ディスクを定義し、その後論理ディスクの分割や結合を数階層に渡って繰り返し、最上層の論理ディスクをボリュームとして定義する機能を持つ。例えば図1(b)において、パリティグループ1013内とパリティグループ1014内にそれぞれ論理ディスクを定義し、それらを結合したものをボリュームとして見せる等である。
Some storage systems that use RAID technology do not define a volume directly in the parity group, but instead define a logical disk in the parity group, and then repeatedly divide and combine the logical disks across several layers. And has the function of defining the uppermost logical disk as a volume. For example, in FIG. 1B, logical disks are defined in the
以上で述べたRAIDに関する文献として、非特許文献1がある。
Non-Patent
一方、近年、複数のストレージとそれらのストレージを使用する複数のクライアント計算機をファイバチャネル等の高速なネットワークで接続したSAN(Storage Area Network)が注目を集めている。SAN環境では、1台のクライアント計算機が2台以上のストレージを同時に使用可能であるとともに、1台のストレージを2台以上のクライアント計算機から使用可能である。SANの構成例を図2に示す。図2では、ストレージ2005、ストレージ2006、ストレージ2007と、これらストレージを利用するクライアント計算機2002、クライアント計算機2003と、これらストレージを管理する管理計算機2004が全てネットワーク2001により接続されている。ここで管理計算機2004は、ネットワーク2001に接続されているストレージ内の構成定義やアクセス許可制御等を行なうための管理用計算機である。図2に示したSAN環境において、管理計算機2004からアクセス許可さえ与えられれば、クライアント計算機2002は、ストレージ2005、ストレージ2006及びストレージ2007の全てを使用可能である。同様にクライアント計算機2003とクライアント計算機2004がストレージ2005を共有することも可能である。
On the other hand, in recent years, a storage area network (SAN) in which a plurality of storages and a plurality of client computers using these storages are connected via a high-speed network such as a fiber channel has attracted attention. In the SAN environment, one client computer can use two or more storages at the same time, and one storage computer can be used from two or more client computers. An example of the configuration of the SAN is shown in FIG. In FIG. 2, a
図2におけるストレージ2005、ストレージ2006及びストレージ2007のようなSAN環境で使用するストレージは、前述のRAID技術を採用していることが多い。このときストレージ2005中に同じ物理ディスクを使用した複数のボリュームを作成し、それぞれのボリュームをクライアント計算機2002とクライアント計算機2003が使用することも可能である。
The storage used in the SAN environment such as the
以上で述べたSANに関する文献として、非特許文献2がある。 Non-Patent Document 2 is a document related to the SAN described above.
パリティグループやボリュームの作成・移動作業には、ストレージ管理プログラムを使用する。このストレージ管理プログラムは、SANに接続された管理計算機やストレージ備え付けの端末等で動作する。このとき処理対象ストレージ内の物理ディスク容量や定義テーブル等のストレージ内の必要な資源が全て利用可能であれば、要求された操作は常に実行される。 A storage management program is used to create and move parity groups and volumes. This storage management program operates on a management computer connected to the SAN, a terminal equipped with a storage, or the like. At this time, if all necessary resources in the storage such as the physical disk capacity and definition table in the processing target storage are available, the requested operation is always executed.
一方、ストレージの管理プログラムには、物理ディスクやボリュームの性能管理に関する機能を持つものがある。ある管理プログラムは、物理ディスク内のボリュームの平均アクセスタイムを監視し、予め指定された平均アクセスタイムの上限以上になったら警告する機能を持つ。また別の管理プログラムは、性能履歴を蓄積しておき、後にこの情報を利用してボリュームの再配置による性能最適化を行なう機能を持つ。 On the other hand, some storage management programs have a function related to performance management of physical disks and volumes. A certain management program has a function of monitoring the average access time of a volume in a physical disk and warning if the average access time exceeds a predetermined upper limit. Another management program has a function of accumulating performance history and optimizing performance by rearranging volumes later using this information.
図1(a)、(b)に示すように、2個以上のボリュームが同じ物理ディスクを使用している場合、あるボリュームにアクセスが集中すると、同じ物理ディスクを使用している他のボリュームの性能が低下する可能性がある。例えば図1(a)においてボリューム1006にアクセスが集中すると、同じ物理ディスクを使用しているボリューム1007およびボリューム1008の性能が低下する等である。別の見方をすると、既存ボリュームの性能が要求されている性能を出している状態で、当該ボリュームと同じ物理ディスクを使用して新たなボリュームを作成したり、他の物理ディスクからボリュームを移動してきたりすると、既存ボリュームの性能が要求されている性能を満たせなくなる可能性がある。例えば図1(a)において、ボリューム1006の現在の平均アクセスタイムが18ミリ秒であり、要求されている平均アクセスタイム20ミリ秒を満たしているとき、パリティグループ1005内に新たなボリュームを作成すると、ボリューム1006の平均アクセスタイムが23ミリ秒に低下し、要求されている平均アクセスタイム20ミリ秒を満たさなくなる等である。
As shown in FIGS. 1A and 1B, when two or more volumes use the same physical disk, if access concentrates on one volume, other volumes using the same physical disk Performance may be degraded. For example, when access concentrates on the
図2で示したSAN環境のように、1個の物理ディスクを複数のクライアント計算機から利用することができる環境では、上述した問題は特に注意する必要がある。これは異なるクライアント計算機から利用されるボリュームが、同じ物理ディスク上に定義することができるためである。このような場合、あるクライアント計算機が利用するために新たにボリュームを作成すると、別のクライアント計算機が使用しているボリュームの性能が低下するということが起きる。さらにSAN環境で使用されているストレージの多くはRAID技術を採用しており、上記のように物理ディスクとボリュームとの関係は多階層に渡る分割・結合を繰り返し複雑になっている。このような環境では、どのボリュームとどのボリュームが同じ物理ディスクを使用しているかを管理者が手作業で確認しながらボリューム構成の変更を行なうことは非現実的である。 In the environment where one physical disk can be used from a plurality of client computers, such as the SAN environment shown in FIG. 2, the above-mentioned problem needs to be particularly noted. This is because volumes used from different client computers can be defined on the same physical disk. In such a case, if a new volume is created for use by a certain client computer, the performance of the volume used by another client computer may deteriorate. Furthermore, most of the storage used in the SAN environment employs RAID technology, and the relationship between the physical disk and the volume is complicated by repeated division and connection over multiple layers as described above. In such an environment, it is unrealistic for the administrator to manually change the volume configuration while confirming which volume and which volume use the same physical disk.
既存のストレージが以上で述べた問題を持つのに対し、従来の管理プログラムやストレージでは、他のボリュームの性能に与える影響を考慮しながらボリュームの作成・移動を行なう機能は提供されていない。 Whereas existing storages have the problems described above, conventional management programs and storages do not provide a function for creating and moving volumes while taking into consideration the effect on the performance of other volumes.
さらに従来の性能に関する機能を持つ管理プログラムは、ボリュームの作成・移動時には他のボリュームの性能に対する影響は考慮せず、実際にボリュームを使用してから性能低下の検出及び改善を図る方式をとっている。そのため各ボリュームが一時的に要求される平均性能を満たせなくなったり、性能低下を回避するボリューム再配置を行なった後でも再び別のボリュームの性能が低下したりする可能性がある。 In addition, management programs with conventional performance-related functions do not consider the effects on the performance of other volumes when creating or moving volumes, and take a method of detecting and improving performance degradation after actually using the volume. Yes. For this reason, there is a possibility that each volume cannot temporarily satisfy the required average performance, or the performance of another volume may deteriorate again even after performing volume relocation that avoids performance degradation.
本発明の目的は、各ボリュームの要求性能を考慮したボリュームの作成・移動操作を行なう管理方式を提供することにある。 An object of the present invention is to provide a management method for performing a volume creation / movement operation in consideration of the required performance of each volume.
本発明は、複数台の物理的な記憶装置に亘って少なくとも1つの論理的なボリュームを設定する方式において、記憶容量と要求平均性能情報を指定するボリューム作成要求を受け付け、複数台の記憶装置に亘って要求された記憶容量を満足する空き領域があるか否か判定し、空き領域が存在する場合に作成要求されたボリュームと記憶装置を共用する既存ボリュームについての記憶手段上の各要求平均性能情報を参照して既存ボリュームに作成要求されたボリュームを加えた全ボリュームの各々がその要求平均性能を満足するか否か判定し、その全ボリュームが各要求平均性能を満足する場合に、作成要求されたボリュームを設定するボリューム管理方式を特徴とする。 The present invention accepts a volume creation request designating storage capacity and required average performance information in a method of setting at least one logical volume across a plurality of physical storage devices, and the plurality of storage devices It is determined whether or not there is a free area satisfying the requested storage capacity, and when there is a free area, each requested average performance on the storage means for the existing volume sharing the storage device with the volume requested to be created Refer to the information to determine whether each of the volumes added to the existing volume plus the volume requested to create satisfies the requested average performance, and if all the volumes satisfy each requested average performance, the creation request It is characterized by a volume management method for setting a designated volume.
また本発明は、複数台の物理的な記憶装置に亘って少なくとも1つの論理的なボリュームが設定されるストレージ中に新規ボリュームのための空き領域を探索する方式であって、要求平均性能情報を指定する空き領域の探索要求を受け付け、各空き領域と記憶装置を共用する既存ボリュームについての記憶手段上の各要求平均性能情報を参照して既存ボリュームにこの新規ボリュームを加えるとした場合に全ボリュームの各々がその要求平均性能を満足するか否か判定し、この判定条件を満足するような空き領域についての情報を表示するボリューム管理方式を特徴とする。 The present invention is also a method for searching for a free area for a new volume in a storage in which at least one logical volume is set across a plurality of physical storage devices, and the required average performance information is All volumes when a search request for a specified free area is accepted and this new volume is added to the existing volume by referring to each requested average performance information on the storage means for the existing volume sharing the storage area with each free area It is characterized by a volume management system that determines whether or not each of them satisfies the required average performance and displays information about free areas that satisfy the determination condition.
本発明により、ボリュームの作成又は移動に際して他ボリュームの要求性能を考慮しながらボリュームの作成・移動操作を行なえるようになる。 According to the present invention, it is possible to perform a volume creation / movement operation in consideration of the required performance of another volume at the time of volume creation / movement.
第1の実施例として、ボリュームを作成する際に、他ボリュームの平均アクセスタイム(以下アクセスタイム)が当該ボリュームに要求される平均アクセスタイム(以下要求アクセスタイム)より大きくならないことを確認し、その可能性があれば警告と代替案を表示する手順を示す。なおアクセスタイムは、値が小さいほうが短時間でデータにアクセスでき高性能であるものとする。また以後(要求)アクセスタイムを満たすとは、(要求)アクセスタイム以下のアクセスタイムで平均的にアクセス可能であることを意味する。 As a first example, when creating a volume, it is confirmed that the average access time (hereinafter referred to as access time) of other volumes is not greater than the average access time required for the volume (hereinafter referred to as required access time). Provide instructions for displaying warnings and alternatives where possible. It is assumed that the smaller the access time, the faster the data can be accessed and the higher the performance. Further, satisfying the (request) access time means that access is possible on average with an access time less than the (request) access time.
図3は、図2に示す管理計算機2004の構成を示すブロック図である。ここでストレージ3011は、図2のストレージ2005、ストレージ2006、ストレージ2007のいずれか1個に該当する。またストレージ3011内には、物理ディスク3015と物理ディスク3016が存在する。ボリューム作成要求受け付け部3001は、管理者が発行したボリューム作成要求と、作成するボリュームの容量、その作成先パリティグループの情報、当該ボリュームへの平均入出力要求数(以下、平均I/O数)及び要求アクセスタイムを受け取る。ボリューム作成要求処理部3003は、ボリューム作成要求受け付け部3001が受け取った要求を受け取り、要求アクセスタイム維持確認部3005、ボリューム構成情報取得部3008、代替案探索部3004、ボリューム作成要求発行部3007及び警告・代替案表示部3002と連携しながら処理を行なう。
FIG. 3 is a block diagram showing a configuration of the
ボリューム構成情報取得部3008は、物理ディスク3015および物理ディスク3016上に定義されているボリュームの構成情報取得要求をストレージ3011内のボリューム構成情報提供部3013に発行し、結果を取得する。ボリューム作成要求発行部3007は、ストレージ3011内のボリューム構成要求変更部3012にボリューム作成要求を発行し、ストレージ3011内の物理ディスク3015および物理ディスク3016上に定義されているボリュームの構成情報を変更する。ストレージ3011内のボリューム構成提供部3013は、ボリューム構成保持部3014が保持するボリュームの構成情報を参照し、ボリューム構成情報取得部3008に提供する。ボリューム構成情報変更部3012は、ボリューム構成情報保持部3014が保持するボリュームの構成情報をボリューム作成要求発行部3007からのボリューム作成要求に従って変更する。ボリューム構成情報保持部3014は、ストレージ3011内の物理ディスク3015および物理ディスク3016上に定義されているボリュームの構成情報を保持し、ボリューム構成情報提供部3013やボリューム構成情報変更部3012からの要求にしたがい、保持するボリューム構成情報の提供・変更を行なう。要求アクセスタイム維持確認部3005は、ボリューム構成情報取得部3008、要求アクセスタイム保持部3006、ボリューム作成後アクセスタイム決定部3009及び代替案探索部3004と連携しながら、ボリューム作成要求処理部3003からの要求に従い、指定されたボリュームを作成した場合に他のボリュームのアクセスタイムが要求アクセスタイムを満たせるかどうかを確認する。要求アクセスタイム保持部3006は、ボリュームごとに要求される性能情報として、要求アクセスタイムを保持しており、要求アクセスタイム維持確認部3005からの要求に従い、指定されたボリュームの要求アクセスタイムを提供する。ボリューム作成後アクセスタイム決定部3009は、要求アクセスタイム維持確認部3005からの要求に従い、指定された位置にボリュームを作成した場合に各ボリュームが満たすことのできるアクセスタイムを決定する。代替案探索部3004は、要求アクセスタイム維持確認部3005からの要求に従い、指定された容量の指定されたアクセスタイムを満たす空き領域を探索する。警告・代替案表示部3002は、ボリューム作成要求処理部3003からの要求に従い、利用者から要求されたボリューム作成操作を行なうと他ボリュームのアクセスタイムが当該ボリュームの要求アクセスタイムを満たさなくなる旨を表示するとともに、代替案探索部3004で探索した代替案を表示する。
The volume configuration
本実施例では、平均利用情報の例として、平均入出力要求数を使用しており、入出力データサイズは固定を仮定している。本実施例では図3に示したように、発明の内容を全て管理計算機2004内で実施しているが、任意の処理ブロックもしくは任意の処理ブロックを分割したブロックの一部を、ストレージ3011や図2に示すクライアント計算機2002やクライアント計算機2003、もしくは管理計算機2004上に配置してもよい。
In this embodiment, the average number of input / output requests is used as an example of average usage information, and the input / output data size is assumed to be fixed. In this embodiment, as shown in FIG. 3, all the contents of the invention are implemented in the
図4は、図2の管理計算機2004内で、本発明を使用してボリューム作成要求を処理する際の処理の流れを示している。まずステップ4001で、ボリューム作成要求と作成するボリュームの容量、当該ボリュームの平均I/O数、要求アクセスタイム及びボリューム作成先パリティグループの情報を受け取る。この処理は、図3におけるボリューム作成要求受け付け部3001で行なう。なお当該ステップにおいて、ボリューム作成要求と共に要求アクセスタイムや平均I/O数が指定されなければ、以後の処理では予め決めておいた固定値、例えば50msecと1000要求/秒を使用する。ステップ4001の次にステップ4002で、図3のボリューム構成情報取得部3008によって上記のボリューム作成先パリティグループを構成する全ての物理ディスクを使用している全てのパリティグループの構成情報を取得する。さらにステップ4003で、作成要求されたボリュームの容量が指定されたボリューム作成先パリティグループに存在するかを調べる。もし十分な空き領域がない場合は、ステップ4007で、指定された容量、指定された要求アクセスタイムを満たす空き領域を探索し、ステップ4008で、結果を警告とともに代替案として表示し終了する。ここで空き領域有無判断ステップ4003は図3のボリューム作成要求処理部3003で、代替案探索ステップ4007は代替案探索部3004で、警告及び代替案表示ステップ4008は警告・代替案表示部3002で処理する。
FIG. 4 shows the flow of processing when processing a volume creation request using the present invention in the
一方、ステップ4003で指定されたボリューム作成先パリティグループに指定された容量の空き容量があると判断すれば、ステップ4004で、要求されたボリュームを作成した後に、指定されたパリティグループを構成する物理ディスク上に定義されている全てのボリュームのアクセスタイムが、要求アクセスタイムを満たせるかを確認する。この処理は、図3の要求アクセスタイム維持確認部3005で行う。この確認の結果、ステップ4005で要求アクセスタイムを満たせると判断すれば、ステップ4006でボリューム作成要求をストレージに送る。このときステップ4005は図3のボリューム作成要求処理部3003で、ステップ4006はボリューム作成要求発行部3007で処理される。ステップ4005の判断の結果、ボリューム作成後、1個以上のボリュームのアクセスタイムが要求アクセスタイムを満たせなければ、ステップ4007で代替案を探索し、ステップ4008で前記探索結果を警告と共に表示する。ここでステップ4007は代替案探索部3004で、ステップ4008は警告・代替案表示部3002で処理される。
On the other hand, if it is determined that the volume creation destination parity group designated in
図5は、図4に示すボリューム作成処理後に全ボリュームが要求アクセスタイムを満たせるかを確認するステップ4004の処理手順を示している。まずステップ5001で、同じパリティグループに属する既存ボリュームと新たに作成するボリュームの一覧を作成する。ただし同一の物理ディスクを使用している他のパリティグループがあれば、そのグループ内のボリュームも一覧に含める。次にステップ5002で、このボリューム一覧に含まれる全てのボリュームの要求アクセスタイムと平均I/O数を取得する。次にステップ5003で、要求されたボリューム作成後の選択したボリュームに割り当てるアクセスタイムを決定する。次にステップ5004で、ボリューム一覧の中に要求アクセスタイム維持確認を行なっていないボリュームがあるかどうかを調べ、もしなければステップ5008で全てのボリュームが要求アクセスタイムを満たせると判断して終了する。しかしステップ5004で、要求アクセスタイム維持確認を行なっていないボリュームがまだあると判断すれば、ステップ5005でそのうちの1個を選択する。次にステップ5006で、先に決定したアクセスタイムがステップ5002で取得した要求アクセスタイムを満たすかどうかを判断する。それが成り立てばステップ5004に戻って上記処理を繰り返す。成り立たなければ、ステップ5007で要求アクセスタイムを満たせないボリュームが存在すると判断して終了する。
FIG. 5 shows the processing procedure of
以上で述べたステップのうち、ステップ5001の既存ボリュームの情報は図3のボリューム構成情報取得部3008で取得し、またステップ5002の要求アクセスタイムは要求アクセスタイム保持部3006から取得する。またボリューム作成後アクセスタイム決定ステップ5003は、図3のボリューム作成後アクセスタイム決定部3009で処理し、それ以外のステップは、全て要求アクセスタイム維持確認部3005で処理する。
Of the steps described above, the information on the existing volume in
本実施例では、ステップ5001で、既存ボリューム全ての一覧を取得し、全てのボリュームについて要求アクセスタイムを満たせるかどうかを調べたが、これを指定されたパリティグループと同じ物理ディスクを使用している全てのボリュームもしくは指定したパリティグループ内の全てのボリュームのみについてしらべてもよい。
In this embodiment, in
図6は、図4に示す代替案探索ステップ4007の処理手順である。代替案を探索する際は、まずステップ6001で指定された容量と指定されたアクセスタイムを満たせる空き領域を全ての物理ディスクの中から探索する。ここで使用するボリューム構成情報は、先に図4で述べたボリューム構成情報取得ステップ4002で取得した情報を再利用する。ステップ6001の探索の結果、要求された容量と要求アクセスタイムを満たせる空き領域があれば(ステップ6002)、ステップ6007で結果を代替案として終了する。しかしステップ6002で要求を満たせる空き領域がないと判断したときは、ステップ6003で、要求された容量を10%減らした容量について要求アクセスタイムを満たせる空き領域を探索する。さらにその結果に関わらず、ステップ6004で、指定された容量で指定された要求アクセスタイムを10%増やした値(10%長くアクセスに時間がかかってもよいことを示す)を要求アクセスタイムとしてこれを満たす空き領域を探索する。そしてステップ6005で、ステップ6003及びステップ6004の探索結果が空かどうかを調べ、その探索結果が空でなければ、ステップ6007で前記ステップ6003とステップ6004の探索結果を代替案として終了する。しかしステップ6005で探索結果が空であると判断されれば、ステップ6006で代替案はないと判断して探索を終了する。以上図6で述べたステップは全て図3の代替案探索部3004で処理する。
FIG. 6 shows the processing procedure of the
図6の説明において、代替案探索方法としてステップ6003、ステップ6004でそれぞれ要求された容量を10%減らした値、要求アクセスタイムを10%増やした値を使用したが、この割合に制限はない。別の方法として本発明の利用者が指定した値を使用したり、過去の探索履歴から代替案が見つかる確率が高い割合を使用したりすることもできる。また代替案が見つからなかった場合、ステップ6003又はステップ6004の割合を変えて、ステップ6003以降を再び実行してもよい。またステップ6003もしくはステップ6004のどちらか一方のみを実行したり、ステップ6003もしくはステップ6004の処理手順を繰り返したりしてもよい。
In the description of FIG. 6, the value obtained by reducing the requested capacity by 10% and the value obtained by increasing the requested access time by 10% in
図7は、図6のステップ6001、ステップ6003及びステップ6004で使用した、指定した容量又は指定した要求アクセスタイムを満たせる空き領域を探索するステップの処理手順である。まずステップ7001で全てのパリティグループ内の空き領域一覧を取得する。これは図3のボリューム構成情報取得部3008を使用する。次にこの空き領域一覧のうち、指定された容量で指定されたアクセスタイムを満たすかどうかを調べていない空き領域があるかどうかをステップ7002で判断し、なければ終了する。もしステップ7002で調べていない空き領域があれば、ステップ7003でそのうちの1個を選択する。そしてステップ7004で、当該空き領域にボリュームを作成したと仮定した場合、当該空き領域を構成するパリティグループ内に定義されている全てのボリュームが、ボリューム作成後にも要求アクセスタイムを満たせるかどうか、図5に示した処理手順で調査する。次にステップ7005で、ステップ7004の結果、要求アクセスタイムが満たせないと判断すれば終了する。ステップ7005でボリューム作成後も要求アクセスタイムを満たせると判断すれば、ステップ7006で空き領域を探索結果に加え、再びステップ7002に戻り、処理を継続する。なお図7に示したステップのうち、ステップ7004については図3の要求アクセスタイム維持確認部3005で処理し、それ以外のステップは全て代替案探索部3004で処理する。
FIG. 7 shows the processing procedure of the step of searching for a free area that can satisfy the specified capacity or the specified request access time used in
図8は、図5におけるボリューム作成後アクセスタイム決定ステップ5003の処理の手順である。まずステップ8001で、ボリューム一覧に含まれる全ての既登録ボリュームの平均I/O回数の合計を計算する。次にステップ8002で、ボリューム作成要求時に指定された平均I/O数をステップ8001の結果に足す。ステップ8002の結果により、要求されたボリュームを定義した後の当該パリティグループ内に定義されているボリュームの平均I/O数の総和が求められる。ステップ8002の処理終了後、ステップ8003でボリューム作成後アクセスタイム決定テーブルを参照し、その結果をボリューム作成後アクセスタイムとする。ただしステップ8003で、ボリューム作成後アクセスタイム決定テーブルの表の値が式である場合は、当該式を計算し、計算結果をボリューム作成後アクセスタイムとする。
FIG. 8 shows the processing procedure of the access
本実施例ではボリューム作成後アクセスタイム決定ステップ5003を、図3における管理計算機2004内のボリューム作成後アクセスタイム決定部3009において実現する例を示したが、本ステップを実行するブロックをストレージ3011内に設けても良い。この場合、ストレージ3011内に新規にパリティグループの性能履歴を採取するパリティグループ性能履歴採取部と、ボリューム作成後アクセスタイム決定部と、ボリューム作成後アクセスタイム決定要求受け付け部を設け、このボリューム作成後アクセスタイム決定部は、パリティグループ性能履歴採取部が採取した履歴からボリューム作成後アクセスタイム決定要求受け付け部が受け取った要求により指定された平均I/O数に最も近い履歴の平均アクセスタイムを抽出し、その抽出結果をボリューム作成後アクセスタイムとする。このとき管理計算機2004では、ボリューム作成後アクセスタイム決定部3009の代わりにボリューム作成後アクセスタイム決定要求送信部を新規に設け、ストレージ3011内のアクセスタイムボリューム作成後アクセスタイム決定部に要求を発行する。
In this embodiment, an example of realizing the access
図9は、図8に示したボリューム作成後アクセスタイム決定ステップのステップ8003で参照するボリューム作成後アクセスタイム決定テーブルを示したものである。列9001はボリューム作成要求と共に指定されたボリューム定義先のパリティグループ内に定義されているボリュームの平均I/O数の合計であり、列9002はその平均I/O数の合計に対して当該パリティグループが達成可能な平均アクセスタイムの値もしくは式を示す。なお図9に示したボリューム作成後アクセスタイム決定テーブルは、ストレージ内での全てのパリティグループで共通のテーブルを持っても良いし、パリティグループ毎にもってもよい。
FIG. 9 shows a post-volume access time determination table referred to in
図9に示した数値は例であり、実際の場合は異なる値を使用してもよい。また常に固定した表を使用するのではなく、図2に示すクライアント計算機2002やクライアント計算機2003上で性能履歴を収集し、当該パリティグループもしくは構成する物理ディスクの構成及び性能が同じ他のパリティグループの平均I/O数と平均アクセスタイムを抽出し、その結果を管理計算機2004に送って、ボリューム作成後アクセスタイム決定テーブルに反映してもよい。
The numerical values shown in FIG. 9 are examples, and different values may be used in actual cases. Also, instead of using a fixed table at all times, performance history is collected on the
またアクセスタイム決定テーブルの値を当該パリティグループを構成する物理ディスクの台数やそれらの性能、カタログに記述されている仕様性能値、当該パリティグループのRAIDレベルや利用可能なキャッシュメモリの容量から計算してもよい。例えば平均アクセスタイムを求めるのに、当該パリティグループを構成する物理ディスクの平均アクセスタイムの平均値もしくは最も遅い値にパリティグループのRAIDレベルにより決定される固定値を積算する等である。このときのRAIDレベルにより決定される固定値の例として、RAIDレベル1の場合は2倍、データ用物理ディスクを3台と冗長データ1台を使用するRAIDレベル5の場合は1/2等がある。
The access time determination table value is calculated from the number of physical disks that make up the parity group, their performance, the specified performance value described in the catalog, the RAID level of the parity group, and the available cache memory capacity. May be. For example, to obtain the average access time, a fixed value determined by the RAID level of the parity group is added to the average value or the latest value of the average access time of the physical disks constituting the parity group. As an example of the fixed value determined by the RAID level at this time, it is double in the case of
図10は、図3に示す要求アクセスタイム保持部3006が保持する情報である。列10001は、ボリュームの識別子を示し、列10002及び列10003は、それぞれ列10001で示されたボリュームの要求アクセスタイムと平均I/O数を示す。
FIG. 10 shows information held by the requested access
本実施例では、要求アクセスタイムを図3の要求アクセスタイム保持部3006で集中管理する例を述べたが、クライアント計算機、管理計算機もしくはストレージの内にまとめて保持したり、ストレージ内のボリューム定義ごとに持ったりしてもよい。
In the present embodiment, an example in which the request access time is centrally managed by the request access
図11は、図3に示すストレージ3011内のボリューム情報保持部3014が保持するボリューム構成情報を示す。図11(a)は、パリティグループと当該パリティグループを構成している物理ディスクと、そのパリティグループのRAIDレベルの一覧である。列11001はパリティグループの識別子であり、列11002及び列11003は、それぞれ当該パリティグループを構成する物理ディスク一覧及び当該パリティグループのRAIDレベルである。また図11(b)は、パリティグループ内に定義されているボリュームもしくは空き領域の一覧とそれらの容量を示している。列11004はパリティグループで、列11005はそのパリティグループ内に定義されているボリューム識別子もしくは空き領域を示す情報であり、列11006は列11005で示した内容に割り当てられている容量である。
FIG. 11 shows volume configuration information held by the volume
本実施例では、指定したボリューム作成後、要求アクセスタイムを下回るボリュームがでる場合に警告及び代替案を表示する例を示したが、警告のみでとどめ代替案を表示しなくてもよい。このときは、図4においてステップ4007の代替案探索の処理は行なわず、ステップ4008では警告のみを表示する。また警告を出した後、要求されたボリュームを作成するかどうかを確認し、継続すると選択されたら、他のボリュームのアクセスタイムが要求アクセスタイムを満たさなくなってもボリュームを作成するようにしてもよい。このとき図4の処理の流れは、ステップ4008の後、継続確認をして継続を選択したらステップ4006を、中止を選択したら終了するという流れになる。
In the present embodiment, an example is shown in which a warning and an alternative are displayed when a volume that is less than the required access time appears after the creation of the designated volume. However, the alternative may not be displayed only by the warning. At this time, in FIG. 4, the alternative search process in
また本実施例では、ボリュームの作成に限定して述べたが、ボリュームの移動に関しても同様である。ボリュームの作成の場合は、ボリュームを作成するパリティグループに着目して性能に関する影響を考慮したが、ボリュームの移動の場合は、ボリュームの移動先のパリティグループに着目して性能に関する影響を考慮する。 Further, in the present embodiment, the description is limited to the creation of the volume, but the same applies to the movement of the volume. In the case of volume creation, the influence on performance is considered by focusing on the parity group in which the volume is created. However, in the case of volume migration, the influence on performance is taken into consideration by focusing on the parity group of the volume migration destination.
図9で示したボリューム作成後アクセスタイム決定テーブル及び図10で示した要求アクセスタイム保持部3006が保持する情報は、管理者が指定して変更する以外に、指定した時間に自動的に変更してもよい。例えばタイマ部を設けて、テーブルエントリを定期的に変更したり、有効期限をつけたりするなどである。また図3で示した要求アクセスタイム保持部3006が保持する情報について、要求アクセスタイムに優先度をつけ、優先度により図4のステップ4008で警告を表示して終了するか、前述のように継続確認するかを切り替えてもよい。
The information stored in the access time determination table after volume creation shown in FIG. 9 and the request access
次に第2の実施例として、要求アクセスタイムを指定し、その要求を満たす空き領域を表示する手順を示す。図12は、要求アクセスタイムを指定し、それを満たせる空き領域の一覧を表示する手順である。まずステップ12001で要求アクセスタイムを取得する。次にステップ12002で、その要求アクセスタイムと容量500メガバイト以上を条件として、条件を満たす空き領域を探索する。このときの探索方式は、図6で示した手順を使用する。また容量500メガバイトという条件は特にこの値に限定しない。ステップ12002の次にステップ12003で、探索結果の各空き領域の容量とボリューム定義後アクセスタイムを全て表示する。本実施例によれば、新しいボリュームを作成する前に要求アクセスタイムを満たす空き領域が物理ディスク上に存在するかを否か判定することができる。
Next, as a second embodiment, a procedure for designating a requested access time and displaying a free area that satisfies the request will be described. FIG. 12 is a procedure for designating a requested access time and displaying a list of free areas that can satisfy the requested access time. First, in
本実施例では、要求アクセスタイムを指定してそれを満たす空き領域の一覧を指定したが、同様に容量を指定して、それ以上の容量の空き領域の一覧を表示してもよい。また容量や要求アクセスタイムを指定せずに、全ての空き領域について、容量とボリューム定義後アクセスタイムを表示してもよい。 In this embodiment, the request access time is specified and a list of free areas that satisfy the request access time is specified, but a capacity may be specified in the same manner to display a list of free areas with a capacity larger than that. Further, the capacity and the access time after the volume definition may be displayed for all free areas without specifying the capacity and the requested access time.
次に第3の実施例として、第1の実施例で使用した各ボリュームの要求アクセスタイムを登録する手順を示す。図13は、既存ボリュームの要求アクセスタイムを登録する手順である。まずステップ13001で要求アクセスタイムを登録するボリュームの情報を取得し、ステップ13002で、図8に示した手順でボリューム作成後アクセスタイムを決定する。そしてステップ13003でボリューム作成後アクセスタイム以上の値に制限して、本発明の利用者に要求アクセスタイムとして登録する値を選択させ、ステップ13004で選択された結果を要求アクセスタイムとして登録する。
Next, as a third embodiment, a procedure for registering the requested access time of each volume used in the first embodiment is shown. FIG. 13 is a procedure for registering the requested access time of an existing volume. First, in
第1の実施例、第2の実施例及び第3の実施例では性能評価基準の例としてアクセスタイムを使用したが、ボリュームによってデータ転送速度が異なるならば転送速度でもよい。またアクセスタイムと転送速度を組み合わせた性能基準でもよい。また読み出し性能と書き込み性能を別々に扱ってもよい。また性能に限らず、RAIDレベルやストレージが持つ機能の限定等の信頼性を表す情報や、他のボリュームとの相対的位置関係、例えば指定した2個のボリュームは同じ物理ディスクを使用しない、等の評価基準を使用してもよい。さらにこれらの基準を2個以上混在して指定し、全てが成り立つもしくはそのうちの1個のみが成り立つという基準で警告するかどうかを決定してもよい。 In the first embodiment, the second embodiment, and the third embodiment, the access time is used as an example of the performance evaluation standard. However, if the data transfer rate differs depending on the volume, the transfer rate may be used. A performance standard combining access time and transfer rate may also be used. Also, read performance and write performance may be handled separately. Also, not only performance, but also information indicating reliability such as RAID level and limitation of functions of storage, relative positional relationship with other volumes, for example, two specified volumes do not use the same physical disk, etc. Evaluation criteria may be used. Further, two or more of these criteria may be specified in a mixed manner, and it may be determined whether or not to warn based on the criteria that all are met or only one of them is met.
第3の実施例で示した要求アクセスタイムの登録は、ボリューム作成直後に限らずボリュームを作成してしばらくたってからでも、ボリュームを作成すると決定してからボリュームを作成するまでの間でもよい。また図4におけるボリューム作成ステップ4006の前もしくは後で処理してもよい。
The registration of the requested access time shown in the third embodiment is not limited to immediately after the volume is created, but may be after the volume has been created for a while or after the decision to create the volume until the volume is created. Further, it may be processed before or after the
第1の実施例及び第2の実施例及び第3の実施例では、各ボリュームの平均利用情報として平均I/O数を使用した。ところが当該ボリュームを使用するクライアント計算機が常に登録された平均I/O数前後で当該ボリュームを使用するとは限らない。場合により、極端にI/O要求数が増えて何倍にもなり、そのために他のボリュームの性能が低下し要求性能を満たさなくなる可能性がある。クライアント計算機の単位時間あたりの平均I/O数が極端に増加するのを回避する方式として、いくつかの方式が考えられる。そのうちの1個として、クライアント側で発行するI/O要求数を制限する方法である。この場合、現在の平均I/O要求発行数がボリューム作成時に指定した平均I/O数の超えた時点から、I/O要求の発行を自ら遅らせる、もしくは一定時間は要求を発行しない等である。また別の方法として、ストレージ側で各ボリュームに指定された平均I/O数を現在の平均I/O要求処理数が超えたら、しばらくの間、当該ボリュームへのI/O要求の処理の優先度を下げる、もしくは一定時間前期要求は処理しないという方法がある。 In the first embodiment, the second embodiment, and the third embodiment, the average number of I / Os is used as the average usage information of each volume. However, a client computer that uses the volume does not always use the volume around the registered average number of I / Os. In some cases, the number of I / O requests increases extremely and increases many times. For this reason, there is a possibility that the performance of other volumes is reduced and the required performance is not satisfied. Several methods are conceivable as methods for avoiding an extreme increase in the average number of I / Os per unit time of the client computer. One of them is a method of limiting the number of I / O requests issued on the client side. In this case, from the point when the current average number of I / O requests issued exceeds the average number of I / Os specified at the time of volume creation, the issuing of I / O requests is delayed by itself, or the requests are not issued for a certain period of time. . As another method, if the current average I / O request processing count exceeds the average I / O count specified for each volume on the storage side, I / O request processing priority for the volume will be given priority for a while. There is a method of reducing the degree or not processing the previous period request for a certain period of time.
2004:管理計算機、2005,2006,2007,3011:ストレージ、3001:ボリューム作成要求受け付け部、3002:警告・代替案表示部、3003:ボリューム作成要求処理部、3004:代替案探索部、3005:要求アクセスタイム維持確認部、3006:要求アクセスタイム保持部、3009:ボリューム作成後アクセスタイム決定部、 2004: Management computer, 2005, 2006, 2007, 3011: Storage, 3001: Volume creation request receiving unit, 3002: Warning / alternative display unit, 3003: Volume creation request processing unit, 3004: Alternative search unit, 3005: Request Access time maintenance confirmation unit, 3006: Requested access time holding unit, 3009: Access time determination unit after volume creation,
Claims (2)
新規ボリュームのための空き領域の探索要求を受け付けるステップと、
前記複数のパリティグループの各々について、同一パリティグループを共用する既存ボリュームごとに各要求平均性能情報が設定される記憶手段を参照し、空き領域を有し、同一パリティグループを共用する前記既存ボリュームに前記新規ボリュームが前記空き領域を占有するとした場合の前記新規ボリュームを加えた全ボリュームに含まれる各々のボリュームがその要求平均性能を満足するようなパリティグループを探索するステップと、
前記新規ボリュームに対して許される平均性能を含む前記空き領域についての情報を表示するステップとを実行することを特徴とするボリューム管理方法。 A plurality of parity groups each composed of a plurality of physical storage devices, each of the parity groups being connected to a storage to which at least one logical volume is allocated, and the storage has a free space In the volume management method realized by a management computer that searches for a parity group, the management computer includes:
Receiving a free space search request for a new volume;
For each of the plurality of parity groups, refer to the storage means in which each requested average performance information is set for each existing volume sharing the same parity group, and to the existing volume having a free area and sharing the same parity group Searching for a parity group such that each volume included in all the volumes including the new volume when the new volume occupies the free space satisfies the required average performance;
Displaying the information about the free area including the average performance allowed for the new volume.
要求平均性能情報と特定のパリティグループを指定するボリューム移動要求を受け付ける手段と、
前記パリティグループについて、同一パリティグループを共用する既存ボリュームごとに各要求平均性能情報が設定される記憶手段と、
前記記憶手段上の要求平均性能情報を参照し、指定されたパリティグループを共用する前記既存ボリュームに前記移動要求されたボリュームを加えた全ボリュームに含まれる各々のボリュームがその要求平均性能を満足するか否か判定する手段と、
前記全ボリュームが各要求平均性能を満足する場合に、指定されたパリティグループの空き領域に前記移動要求されたボリュームを設定する手段とを有することを特徴とするストレージ。 In a storage system having a plurality of parity groups each composed of a plurality of physical storage devices, and moving at least one logical volume to the parity group,
Means for accepting a volume move request specifying a requested average performance information and a specific parity group;
For the parity group, storage means in which each requested average performance information is set for each existing volume sharing the same parity group;
Each volume included in all volumes obtained by adding the requested volume to the existing volume sharing the specified parity group with reference to the requested average performance information on the storage means satisfies the required average performance. Means for determining whether or not
Means for setting the volume requested to be moved in a free area of a designated parity group when all the volumes satisfy each required average performance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008031442A JP4221046B2 (en) | 2008-02-13 | 2008-02-13 | Volume management method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008031442A JP4221046B2 (en) | 2008-02-13 | 2008-02-13 | Volume management method and apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006306528A Division JP4128594B2 (en) | 2006-11-13 | 2006-11-13 | Volume management method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008146677A true JP2008146677A (en) | 2008-06-26 |
JP4221046B2 JP4221046B2 (en) | 2009-02-12 |
Family
ID=39606691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008031442A Expired - Fee Related JP4221046B2 (en) | 2008-02-13 | 2008-02-13 | Volume management method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4221046B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010097372A (en) * | 2008-10-16 | 2010-04-30 | Hitachi Ltd | Volume management system |
-
2008
- 2008-02-13 JP JP2008031442A patent/JP4221046B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010097372A (en) * | 2008-10-16 | 2010-04-30 | Hitachi Ltd | Volume management system |
Also Published As
Publication number | Publication date |
---|---|
JP4221046B2 (en) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003122508A (en) | Volume management method and device | |
AU2013409624B2 (en) | Data processing method and device in distributed file storage system | |
US7506101B2 (en) | Data migration method and system | |
JP5381336B2 (en) | Management program, management apparatus, and management method | |
US8521983B2 (en) | Program, apparatus and method for managing data allocation of distributed storage system including storage nodes | |
US7509443B2 (en) | Storage management system and method using performance values to obtain optimal input/output paths within a storage network | |
US9658779B2 (en) | Computer system and control method for computer system | |
JP4748950B2 (en) | Storage area management method and system | |
US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
US20080201336A1 (en) | Distributed data storage system, data distribution method, and apparatus and program to be used for the same | |
US11416166B2 (en) | Distributed function processing with estimate-based scheduler | |
EP2711841A1 (en) | Data processing method, device and system based on block storage | |
JP5416860B2 (en) | Computer system and control method thereof | |
US10592365B2 (en) | Method and apparatus for managing storage system | |
US9626110B2 (en) | Method for selecting a page for migration based on access path information and response performance information | |
CN103562881A (en) | Defragmentation of data storage pools | |
US10466901B1 (en) | Interactive tiering preferences map | |
KR20170045928A (en) | Method for managing data using In-Memory Database and Apparatus thereof | |
CN113946291A (en) | Data access method, device, storage node and readable storage medium | |
WO2019022631A1 (en) | Storing data in slices of different sizes within different storage tiers | |
US9009204B2 (en) | Storage system | |
JP2017167706A (en) | Information processing device, storage system, information processing program, and information processing method | |
JP4128594B2 (en) | Volume management method and apparatus | |
US20150248254A1 (en) | Computer system and access control method | |
JP4221046B2 (en) | Volume management method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |