JP2009015844A - 要求優先順位シーク・マネージャ - Google Patents

要求優先順位シーク・マネージャ Download PDF

Info

Publication number
JP2009015844A
JP2009015844A JP2008169064A JP2008169064A JP2009015844A JP 2009015844 A JP2009015844 A JP 2009015844A JP 2008169064 A JP2008169064 A JP 2008169064A JP 2008169064 A JP2008169064 A JP 2008169064A JP 2009015844 A JP2009015844 A JP 2009015844A
Authority
JP
Japan
Prior art keywords
controller
command
data
load
seek
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008169064A
Other languages
English (en)
Other versions
JP5882557B2 (ja
JP2009015844A5 (ja
Inventor
Clark Edward Lubbers
エドワード ルッベルス クラーク
Robert M Lester
マイケル レスター ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seagate Technology LLC
Original Assignee
Seagate Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seagate Technology LLC filed Critical Seagate Technology LLC
Publication of JP2009015844A publication Critical patent/JP2009015844A/ja
Publication of JP2009015844A5 publication Critical patent/JP2009015844A5/ja
Application granted granted Critical
Publication of JP5882557B2 publication Critical patent/JP5882557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0613Improving I/O performance in relation to throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】分散アレイ記憶システムにおいてシーク・プロファイルを適応的に管理する装置および方法を得る。
【解決手段】第1のメモリスペースのトップレベル制御を有する第1のコントローラと第2のメモリスペースのトップレベル制御を有する第2のコントローラとを有するデュアル・アクティブ−アクティブ・アレイ記憶システムに対する装置および関連する方法。1つのコントローラにだけ常駐するシーク・マネージャが両方のコントローラからのデータ転送要求の組合せリストから引き出される個別のコマンド・プロファイルを定義する。ポリシー・エンジンが両方のコントローラへのネットワーク・ロードに関する定性的情報を連続的に集めてロードをダイナミックに特徴づけ、ロード特徴付けに関して各コマンド・プロファイルを連続的に相関させる。
【選択図】図1

Description

本発明の実施例は一般的にデータ記憶システムの分野に関し、限定はしないが、特に分散アレイ記憶システム内のシーク・プロファイルを適応的に管理する装置および方法に関する。
コンピュータ・ネットワーキングは産業標準アーキテクチュアの転送レートがインテル社製80386プロセッサのデータ・アクセスレートと歩調を保てなくなった時に蔓延し始めた。ローカルエリア・ネットワーク(LAN)はネットワーク内のデータ記憶容量を統合整理することにより記憶エリア網(SAN)へと発展した。ユーザは装置およびSAN内の装置により処理される関連データの統合整理により、直接取り付けられた記憶装置により可能なものよりも一桁多い記憶装置を処理する能力、および対処可能なコストでそうするという重大な利益を実現している。
より最近になって、動きはデータ記憶サブシステムを制御するネットワーク−セントリック・アプローチへ向けられている。すなわち、記憶装置が統合整理されるのと同様に、サーバからネットワーク自体内にオフロードされる記憶装置の機能性を制御するシステムが統合整理される。たとえば、ホストベース・ソフトウェアは保守および管理タスクをインテリジェント・スイッチや特殊化されたネットワーク記憶装置サービス・プラットホームへ委任することができる。応用ベース・ソリューションはホスト内で実行するソフトウェアの必要性をなくし、エンタープライズ内にノードとして配置されたコンピュータ内で作動する。いずれにせよ、インテリジェント・ネットワーク・ソリューションは記憶装置割当ルーチン、バックアップ・ルーチン、フォールト・トレランス・スキーム等をホストとは無関係に集中化することができる。
インテリジェンスをホストからネットワークへ移せばこれらの問題のいくつかは解決されるが、ホストへの仮想記憶装置のプレゼンテーションを変える際の柔軟性の一般的欠落に伴う固有の困難は解決されない。たとえば、データ格納方法は異常なホスト・ロード・アクティビティのバーストを調整するように適応させる必要がある。各データ記憶容量を自己決定的に割当て、管理し、保護してその容量を仮想記憶スペースとしてネットワークへ提示してグローバル記憶要求条件を調整するインテリジェント・データ記憶サブシステムが必要とされている。この仮想記憶スペースは多数の記憶ボリュームの中に準備することができる。本発明の実施例はこのソリューションへ向けられる。
本発明の実施例は一般的にデュアル・アクティブ−アクティブ・アレイ記憶システム内でのシーク・プロファイルの引き出しに向けられる。
ある実施例では、デュアル・アクティブ−アクティブ・アレイ記憶システムには第1のメモリスペースのトップレベル制御を有する第1のコントローラおよび第1のメモリスペースとは異なる第2のメモリスペースのトップレベル制御を有する第2のコントローラが設けられる。1つだけのコントローラ内に常駐するシーク・マネージャが両方のコントローラからのデータ転送要求の組合せリストから引き出される個別のコマンド・プロファイルを定義する。ポリシー・エンジンが両方のコントローラへのネットワーク・ロードに関する定性的情報を連続的に集めてロードをダイナミックに特徴づけ、ロード特徴付けに関して各コマンド・プロファイルを連続的に相関させるようにシーク・マネージャを支配する。
ある実施例では、第1のメモリスペースのトップレベル制御を有する第1のコントローラおよび第2のメモリスペースのトップレベル制御を有する第2のコントローラへのネットワーク・アクセス・コマンドをデュアル・アクティブ−アクティブ・アレイ記憶システムにより受信するステップと、アクセス・コマンドに関する定性的情報を集めるステップと、コントローラへのアクセス・コマンド・ロードをダイナミックに特徴付けるステップと、両方のコントローラからのアクセス・コマンドに関連するデータ転送要求を他方のコントローラから独立して送るステップと、ダイナミックに特徴付けるステップに応答する唯一のシーク・マネージャにより組合せリストから各コントローラへコマンド・プロファイルを発行するステップと、を含む方法が提供される。
ある実施例では、ネットワークに接続しネットワーク・アクセス・コマンドに応答してデータを転送するように構成されたデュアル・アクティブ−アクティブ記憶アレイ、およびアレイへの観察されたネットワーク・ロードにダイナミックに相関されるアレイ内の各記憶装置への個別のコマンド・プロファイルを引き出す手段が記憶システムに設けられる。
特許請求される本発明を特徴づけるこれらおよび他のさまざまな特徴および利点は添付図を検討しながら下記の詳細な説明を読めば明らかとなる。
図1は本発明の実施例が有用であるコンピュータ・システム100を例示している。1つ以上のホスト102がローカル・エリア・ネットワーク(LAN)および/またはワイド・エリア・ネットワーク(WAN)106を介して1つ以上のネットワーク取付けサーバ104にネットワーキングされている。好ましくは、LAN/WAN106はWorld Wide Webを介して通信するためのインターネット・プロトコル(IP)ネットワーキング・インフラストラクチュアを使用する。ホスト102はいくつかのインテリジェント記憶素子(ISE)108の1つ以上に格納されたデータを日常的に必要とするサーバ104内に常駐するアプリケーションにアクセスする。したがって、SAN110は格納されたデータへアクセスするためにサーバ104をISE108に接続する。ISE108はエンタープライズまたはデスクトップ・クラス記録媒体を内蔵するシリアルATAおよびファイバ−チャネル等のさまざまな選出された通信プロトコルを介してデータを格納するためのデータ記憶容量109を提供する。
図2は図1のコンピュータ・システム100の一部の単純化された線図である。3つのホストバス・アダプタ(HBA)103がネットワークまたはファブリック110を介して一対のISE108(それぞれ、AおよびBで示す)とインタラクトするように示されている。各ISE108は、好ましくは、redundant array of independent drives(RAID)として特徴づけられる一組のデータ記憶装置としてのデータ記憶容量109に作用するデュアル冗長コントローラ112(A1,A2およびB1,B2で示す)を含んでいる。すなわち、好ましくは、コントローラ112およびデータ記憶容量109はさまざまなコントローラ112が並列、冗長リンクを利用し、システム100により格納されたユーザ・データの少なくともいくらかは少なくとも一組のデータ記憶容量109内に冗長フォーマットで格納されるようにフォールトトレラント構成を利用する。
図3は本発明の実施例に従って構成されたISE108を例示している。シェル114はミッドプレーン116と電気的に接続するコントローラ112と受入れ係合する空洞を画定する。次に、シェル114はキャビネット(図示せず)内に支持される。一対のマルチドライブ・アセンブリ(MDA)118がミッドプレーン116と同じ側でシェル114内に受入れ係合することができる。ミッドプレーン116の反対側には非常電源を提供するデュアル・バッテリ122、デュアル・交流電源124、およびデュアル・インターフェイス・モジュール126が接続されている。好ましくは、デュアル・コンポーネントはいずれかのMDA118または両方を同時に作動させるように構成され、コンポーネント故障時のバックアップ保護を提供する。
図4は各々が5つのデータ記憶装置128を支持するアッパ・パーティション130およびロアー・パーティション132を有するMDA118の拡大分解等角図である。パーティション130、132はミッドプレーン116(図3)と操作可能に係合するコネクタ136を有する共通回路板134と接続するようにデータ記憶装置128を揃える。ラッパ138が電磁干渉シールディングを提供する。MDA118のこの実施例は本発明の譲受人が譲り受け、本開示の一部としてここに組み入れられている米国特許第7,133,291号Carrier Device and Method for a Multiple Disc Arrayの主題である。MDA118のもう1つの実施例はやはり本発明の譲受人が譲り受け、本開示の一部としてここに組み入れられている同じタイトルの米国特許第7,177,145号の主題である。代替同等実施例では、MDA118を封止エンクロージャ内に設けることができる。
図5は本発明の実施例を使用するのに適した回転媒体ディスク装置の形のデータ記憶装置128の等角図である。以下の検討の目的で動体データ記録媒体を有する回転スピンドルが使用されるが、代替同等実施例では固体メモリデバイス等の非回転媒体装置が使用される。図5に示す実施例では、データ記憶ディスク138がモータ140により回転されてディスク138のデータ記憶場所をリード/ライトヘッド(「ヘッド」)142へ与える。ヘッド142はディスク138の内側および外側トラック間で半径方向にヘッド142が移動する時にボイスコイルモータ(VCM)146に応答するロータリ・アクチュエータ144の先端に支持される。ヘッド142はフレックス回路150により回路板148に電気的に接続される。回路板148はデータ記憶装置128の機能を制御する制御信号を送受信するようにされている。コネクタ152が回路板148に電気的に接続され、データ記憶装置128をMDA118の回路板134(図4)に接続するようにされている。
図6は中間バス160(“ebus”と呼ばれる)により接続された2つのインテリジェント記憶プロセッサ(ISP)156、158を有するコントローラ112(図2)アーキテクチュアを示す。好ましくは、ISP156,158の各々が共通コントローラ・ボード上の個別の特定用途向け集積回路(ASIC)パッケージ内に配置される。好ましくは、ISP156、158は、それぞれ、ファイバ・チャネル・サーバリンク162、164を介して上りアプリケーション・サーバと通信し、かつファイバ・チャネル記憶リンク166、168を介して記憶容量109を構成する記憶装置と通信する。
ポリシー・プロセッサ170,172はコントローラ112に対するリアルタイム・オペレーティングシステムを実行し、かつPCIバス174、176を介して各ISP156、158と通信する。ポリシー・プロセッサ170、172は、さらに、カスタマイズド・ロジックを実行して定められた記憶アプリケーションに対するISP156、158と共に複雑な処理タスクを実施する。ISP156、158およびポリシー・プロセッサ170,172は動作中に必要に応じてメモリモジュール178,180をアクセスする。
図7は図6の対とされたISP156、158に対する好ましい構造を示す。
集合的に182、184に示すいくつかの機能コントローラ(FC)はホスト交換、直接メモリ・アクセス(DMA)、排他的OR(XOR)、コマンド・ルーティング、メタデータ制御、およびディスク交換等のいくつかのコントローラ操作を実施する。好ましくは、各FCはメモリ交換その他のスケーリング・タスクを容易にする非常に柔軟な機能セットおよびインターフェイスを含んでいる。
一般的に186、188に示すいくつかのリスト・マネージャ(LM)がキャッシュ・テーブル管理、メタデータ保守、およびバッファ管理等のコントローラ操作中にさまざまなデータおよびメモリ管理タスクのために使用される。好ましくは、LM186、188はメモリ上で明確に定義された操作を実施してFC182、184により指示されるタスクを遂行する。好ましくは、各LM186、188はFCによるメモリス・アクセスのためのメッセージ・プロセッサとして作動して、好ましくは、規定されたプロトコルに従って受信したメッセージにより定義される操作を実行する。
LM186、188は、それぞれ、交換メモリブロック190、192、キャッシュ・テーブル・ブロック194、196、バッファ・メモリブロック198、200およびSRAM202、204を含むいくつかのメモリモジュールと通信し制御する。FC182、184およびLM186、188は、それぞれ、クロスポイント・スイッチ(CPS)モジュール206、208を介して通信する。このように、選出されたFC182、184はCPS206、208を介した対応するLM186、188への通信パスウェイを確立して状態を通信したり、メモリモジュールにアクセスしたり、所望のISP操作を呼び出すことができる。
同様に、選出されたLM186、188はCPS206、208を介してFC182、184へ応答を通信し戻すことができる。図示されてはいないが、各FC182、184とCPS206、208間および各LM186、188とCPS206、208間にはその間の同時データ転送を行うための別々のデータバス接続が設けられる。所望により、他の構成も容易に利用することができる。
図6および7のコントローラ・アーキテクチュアはアレイに対するスケーラブルで、非常に機能的なデータ管理および制御を有利に提供する。好ましくは、ストライプ・バッファ・リスト(SBL)および他のメタデータ構造は記録媒体上のストライプ境界および記憶トランザクション中のディスク・ストライプに関連するデータを専用に格納するキャッシュ内の参照データ・バッファに揃えられる。
処理効率をさらに高めるために、好ましくは、コントローラ・アーキテクチュアは新しいライトバック・データ・キャッシング方法論を利用する。これは、一般的に、記憶装置に書き込まれるデータのキャッシング、およびこのようなライトバック・データの記憶装置への後の転送(フラッシング)のスケジューリングを伴う。
動作中に、キャッシュメモリはユーザデータおよびSAN110と記憶装置間のI/O転送に関連する他の情報を格納する。推測データを含む記憶装置から検索されたリードバック・データは後の「キャッシュ・ヒット」を期待してキャッシュメモリ内に一時保持して、その後要求されるデータは記憶装置とのアクセス操作のスケジューリングを要求するのではなく、キャッシュから直接転送できるようにされる。
同様に、記憶装置128に書き込まれるデータはキャッシュされ、ライト完了コマンドが開始HBA103を介して返送され、適切な記憶装置128へのデータの実際の書込みは後にスケジュールされるようにライトバック・キャッシュ・ポリシーを利用することができる。
こうして、一般的には、各エントリの状態追跡を含むキャッシュのコンテンツの正確な制御をコントローラ112が維持することが望ましい。好ましくは、このような制御は本発明の好ましい実施例に従ってアドレス関連テーブル構造を利用するスキップ・リスト構成により実施される。好ましくは、スキップ・リストはキャッシュメモリの一部内に維持されるが、所望により、他のメモリスペースを利用することができる。
キャッシュはコントローラ112によりストライプ・データ・デスクリプタ(SDD)と呼ばれるデータ構造を使用してノードベースで管理される。各SDDは関連するデータへの最近および現在のアクセスに関するデータを保持する。好ましくは、各SDDは対応するRAIDストリップ(たとえば、特定のパリティセットに関連する選出された記憶装置上の全データ)に揃えられ、特定のストライプ・バッファ・リスト(SBL)に従う。
好ましくは、コントローラ112により管理される各キャッシュ・ノードはある特定のSDDを参照し、好ましくは、論理ディスクの定められたセットに対するアクティブSDD構造はフォワードおよびバックワード・リンクド・リストを使用して仮想ブロック・アドレス(VBA)を介して昇ベキの順でリンクされる。
好ましくは、VBA値はしばしばRAID Allocation GridSystem(RAGS)と呼ばれるグリッド・システムを使用してRAIDデータ編成と揃えられる。一般的に、同じRAIDストライプ(たとえば、特定のパリティセットに寄与する全データ)に属するブロックの任意特定の集合が特定のシート上の特定の信頼できる記憶ユニット(RSU)に割当てられる。ブックはいくつかのシートからなり異なる記憶装置からのブロックの多数の隣接セットから構成される。実際のシートおよびVBAに基づいて、ブックはゾーンへ再分割して特定の装置または装置セット(冗長性が利用される場合)を示すことができる。
好ましくは、各SDDはアクセス・ヒストリ、ロック状態、最終オフセット、最終ブロック、タイムスタンプ・データ(一日の時間、TOD)、どのゾーン(ブック)にデータが属するかの識別子、および利用されたRAIDレベルを含むデータのさまざまな状態を示す変数を含んでいる。好ましくは、SDDと関連するデータのライトバック(“ダーティ”データ)状態はダーティ・データ、ダーティ・バッファ、ダーティLRUおよびフラッシングLRU値に関して管理される。
好ましくは、コントローラ112は、システム要求条件に応じて、いくつかの異なるレベルにおけるライトバックデータ・プロセスを管理するように同時に作動する。一般的に、第1のレベルは全RAIDストライプが検出される時の全SDD構造の周期的フラッシングを伴う。SDDが関連するデータをダーティと識別する時に、これは定められたSDDに対してRAIDレベル変数に基づいて容易に実施することができる。好ましくは、これは十分連続した隣接SDD構造がダーティ・データで十分満たされているかどうかを決定するバックワード検査を伴う。そうであれば、これらのSDD構造はシーク待ち行列に加えられデータのフラッシングを開始する要求がなされる。
好ましくは、データのより小さいセットのフラッシングもSDDベースで処理される。好ましくは、ダーティ・ブロックを有しロックされたブロックの無い任意のSDDがダーティLRUとして設定され、年齢(たとえば、データがフラッシングを待ってキャッシュ内で過ごした時間)によりソートされる。好ましくは、特定の年齢に達するとLRU変数のフラッシングが設定されシーク待ち行列が更新される。
図8はデュアル・アクティブ−アクティブ・コントローラ112A、112Bを有するISE108を示す線図である。コントローラ112AはISP156を介した第1のメモリスペースのトップレベル制御を有し、コントローラ112BはISP156を介した第1のメモリスペースとは異なる第2のメモリスペースのトップレベル制御を有する。両方のコントローラ112A、112Bが任意のデュアル・ポート記憶装置128にアクセスすることができる。“Seek Manager 5”で示すシーク・マネージャ210がコントローラ112A内に常駐しており“5”で示す第5記憶装置128に関して両方のコントローラ112に対するシーク・プロファイルを専用に引き出す。図示されてはいないが、他の記憶装置128に対する記憶マネージャも全てコントローラ112A内に常駐することができ、あるいは記憶マネージャを2つのコントローラ112間に分散することができる。
シーク・マネージャ210はローカル・コントローラ112A(それが常駐するコントローラ)からのライトバック・データ・コマンドおよびホスト・リード・コマンドに対する全データ転送要求を受信してそれらをコマンド待ち行列212に加える。また、シーク・マネージャ210はebus160を介した遠隔コントローラ112Bからのこのような全てのデータ転送要求を受信し、同様にそれらをコマンド待ち行列212内のローカル転送要求と結合する。重要なことは、各コントローラ112が他方のコントローラ112とは独立して転送要求をコマンド待ち行列212に加えることである。コマンド待ち行列212内の懸案の転送要求は、限定はしないが、図8に示すLBA等の任意のいくつかの有用な基準に従ってシーク・マネージャ210により、要求は遠隔かローカルか(RまたはL)、要求はリード・コマンドに対するものかライト・コマンドに対するものか(RまたはW)、およびLUNクラス優先順位(0,1,または3)をインデクスすることができる。
シーク・マネージャ210はコントローラ112AのISP156内のFC214内のスロットにローカル転送要求を割当てることによりコマンド待ち行列212からローカル転送要求を発行するようローカル・リソースに委ねる。対照的に、シーク・マネージャ210はコントローラ112BのISP158内のFC216内のスロットに遠隔転送要求を割当てることによりコマンド待ち行列212から遠隔転送要求を発行するよう遠隔リソースに委ねる。
コマンド・シーク・マネージャ210により全データ転送要求を管理することにより、各コントローラ112が他方のコントローラから独立してそれ自体のコマンド待ち行列を管理する場合に生じるコマンド・プロファイルの競合が解消される。すなわち、コントローラ112Aは他方のコントローラのシーク・プロファイルの知識がなければコントローラ112Bにより引き出されるシーク・プロファイルと競争する記憶装置5へのシーク・プロファイルを引き出しそうである。たとえば、コントローラ112Aが記憶装置5を含む記憶容量のアウター・ブック上に焦点を合わせるゾーン−ベース・スケジューリング技術を呼び出しており、コントローラ112Bがインナー・ブックに対して同じことをしておれば、2つのシーク・プロファイル間の競争により記憶装置5内のアクチュエータが2つのブック間で前後に巡回する状況が作り出され、ブック内のアクチュエータをショート・ストローキングする目的がだめにされる。
後述するように、シーク・マネージャ210は、特にネットワーク・ロードからのバースト・アクセス・コマンド活動時間中に、データ転送要求のスループット性能を最適化するルールに従わせることができる。両方のコマンド待ち行列を共通シーク・マネージャにより管理することにより、システムは、両方のコマンド・プロファイルに対して同時に記録スペースの指示された好ましいゾーンにコマンド・プロファイルを限定する等の、フラッシング性能を高める論理的グルーピングのタイプを拡張する機会を利用する。こうして、本発明の実施例は競合するコマンド・プロファイルの発生を解消するだけでなく、記憶容量の指示されたブック内等において、両方のコマンド・プロファイルが2つのコマンド・プロファイルからの所望するシークのより大きいプールに協力的に寄与する効率を有利に高めることができる。
もう1つの実施例では、あるデータ転送要求が主要な転送パラメータおよび代替転送パラメータの両方を識別するという事実を利用してシーク性能改善を達成することができる。たとえば、シーク・マネージャ210は現在記憶装置5をキャッシュが飽和している時の最外ゾーンのローカル・ライトバック・コマンドのハイレートに委ねているものとする。記憶装置5の最内ゾーンへのライトバック・コマンドに対する遠隔データ転送要求は競合しており、ローカル・ライトバック・コマンドが満足される性能が減少するのを回避するために発行されない。しかしながら、もう1つの記憶装置等への、代替転送パラメータを遠隔転送要求が識別する場合、シーク・マネージャ210は代替記憶場所において遠隔要求を直ちに満たすことを利用できる。
好ましくは、コマンド待ち行列212からのデータのフラッシングの攻撃性はホスト・ロード状況と結びつけることができる。すなわち、比較的高いホスト・ロード中に十分攻撃的にフラッシングしなければキャッシュは飽和することがある。逆に、比較的低いホスト・ロード中に攻撃的すぎるフラッシングを行うと、ホスト・リード要求のレイテンシに否定的な影響を及ぼすことがある。両方のシナリオ共ISE108システム性能に悪影響を及ぼす。
図9はローカル・コントローラ112A(図8)内に常駐するキャッシュ・マネージャ217およびRAIDコンテナ・サービス・モジュール218を示す機能ブロック図である。同様に、キャッシュ・マネージャ220およびRAIDコンテナ・サービス・モジュール222が遠隔コントローラ112B内に常駐している。ポリシー・エンジン224がシーク・マネージャ210に対する制御の軌跡を有する同じコントローラ内に常駐している。これらの機能ブロックはソフトウェアまたはハードウェア内に存在することができ、後者の場合限定はしないがポリシー・エンジン224は有限状態機械である。
いずれにせよ、ポリシー・エンジン224は、それぞれ、パス226、228を介してI/O−by−I/Oベースで各ファブリックI/Fを介して受信したアクセス・コマンドに関する定性的データを連続的に集める。ポリシー・エンジン224はホスト・ロードをダイナミックに特徴づけシーク・マネージャ210を支配するルールをパス230を介して発行しそれは、次に、パス232を介したフラッシュ・ライトバックデータおよびホスト・リード・コマンド要求から引き出されたデータ転送要求のコマンド待ち行列212(図8)を問合せ、パス234を介してデータ転送要求を発行する許可を選択的に与えて2つのコマンド・プロファイルの各々を定義する。発行された遠隔データ転送要求は図9に図示されていないebus160(図8)を介してコントローラ112Bへ転送される。
ポリシー・エンジン224は、1つ以上のネットワーク装置により開始される現在のアクセス・コマンド・レート等の、ロードに関する定量的データをリアルタイムで集めることができる。好ましくは、ポリシー・エンジン224はロードをダイナミックに特徴づけてコマンド・プロファイルを特徴付けに関してアレイに連続的に調節するためにネットワーク・ロードに関する定性的データも集める。たとえば、ポリシー・エンジン224は、好ましくは、レイテンシ・センシティブ・コマンドに対するレート・センシティブ・コマンドの比によりホスト・ロードを特徴づけるリアルタイム連続データを集める。
本明細書の目的に対して、ライトバック・キャッシング・スキームが仮定される。本明細書の目的に対して、任意の時点においてどの要求がデータ記憶装置128へフラッシュされるかはあまり重要ではないため、ライトバック・キャッシュ・コマンドはレート・センシティブ・コマンドと見なされる。事実、レート・センシティブ要求はダーティ・データとしてキャッシュ内に懸案している間でもオーバライトすることができる。重要なのはレート・センシティブ・コマンドはキャッシュが飽和に達するのを防止するレートでフラッシュすることである。
一方、1つ以上のデータ記憶装置128に格納されるデータを読み出すホスト・アクセス・コマンドは恐らくアクセス・コマンドが満たされるまでホスト・アプリケーションにさらなる処理をブロックさせる。アクセス・コマンドを満たすのに要する時間、レイテンシ期間、はアプリケーションの性能にとって重要である。したがって、このようなコマンドはレイテンシ・センシティブ・コマンドと呼ばれる。ある状況においてホストはライトバック・キャッシングをオーソライズしないよう選択することができる。その場合、ライトスルー・キャッシュ・コマンドと呼ばれるライト・コマンドは同様にレイテンシ・センシティブ・コマンドとして分類される。
したがって、ポリシー・エンジン224はローカル・コントローラ112Aおよび遠隔コントローラ112Bへのネットワーク・ロードに関する定性的情報を連続的に集めてロードをダイナミックに特徴づけ、かつ両方のコントローラ112によるシーク・プロファイルを特徴付けに関連してアレイに連続的に相関させることができる。たとえば、限定はしないが、キャッシュが飽和に近いまたは飽和中である比較的高いロード状況下で、ポリシー・エンジン224はレイテンシ・センシティブ・コマンドに対するレート・センシティブ・コマンドの比に関してシーク・プロファイルをネットワーク・ロードに有利に整合させることができる。
ポリシー・エンジン224は、限定はしないが、関連するデータ・ファイル(帯域幅)、そこからアクセス・コマンドが開始されるHBA103および/またはネットワーク装置、記憶装置128アクセス・ヒストリまたはブック・アクセス・ヒストリ、タイムスタンプ・データ、RAIDクラス等のその任意の部分、およびアクセス・コマンドが向けられるLUNクラス等の他の点からホスト・ロードを特徴づける定性的データも集める。
定性的データの収集において、好ましくは、ポリシー・エンジン224は、限定はしないが、各1秒間隔等の予め定められた各サンプル間隔中のカウントを勘定する。自走カウンタにインデクスを1秒境界上で動かすポインタを設定して比を連続的に追跡することができる。カウンタは、現在の1秒比を勘定するための第9スロットを有する、前の8つの1秒サンプル比等の所望数の予め観察された比を保持することができる。1秒境界上でインデクスは巡回し、インデクスされたヒストリカル値を減じかつ最終サンプル値を加え、次に8で除して比の最近の移動平均を計算する。
ポリシー・エンジン224はシーク・マネージャに対するルールの定式化において性能目標および/またはシステム状況196に応答することができる。性能目標は、限定はしないが、レート・センシティブ・コマンドに対するレイテンシ・センシティブ・コマンドの比(ライトバック・キャッシングに対するリードおよびライト・コマンドの比)に関してネットワーク・ロードのある要因である所望のコマンド・プロファイルを実施する、異なるLUNクラスへの割当てられた優先順位を実施する、所望のリード・コマンド・レイテンシを実施する、等の定量的または定性的とすることができる。
さらに、システム状況はISE108がバッテリ・バックアップ電源に切り替わっていることをポリシー・マネージャ224に知らせる電源インジケータ等とすることができる。この状態において、ポリシー・マネージャ224は恐らく提案された制限された電力加用性に関してキャッシュを攻撃的にフラッシュさせる代替案を実行する。また、ポリシー・エンジン224は、両方のコントローラ112に対するシーク・プロファイルを引き出すようにシーク・マネージャ210を支配するルールの定式化において、懸案中の背景I/O、またはアクセス・コマンド・データ転送に直接関らないI/Oの状態にも応答する。
一般的に、本実施例はネットワークに接続されネットワーク・アクセス・コマンドに応答してデータを転送するように構成されたデュアル・アクティブ−アクティブ記憶アレイと、第1のメモリスペースのトップレベル制御を有する第1のコントローラおよび第2のメモリスペースのトップレベル制御を有する第2のコントローラからのデータ転送要求の競合を解消することによりアレイ内の各記憶装置へのシーク・プロファイルを引き出す手段とを有する記憶システムを考えている。本明細書の目的および添付特許請求の範囲の意味に対して、「引出し手段」という句はここに開示された構造および共通シーク・マネージャがアクティブ−アクティブ・アレイ・コントローラの両側に対してシーク・プロファイルを引き出せるようにするそれと同等のものを含んでいる。本明細書の目的および添付特許請求の範囲の意味に対して、「引出し手段」はアレイ・コントローラの各側が他方側から独立してシーク・プロファイルを引き出す関連する試行されたソリューションは考えていない。
本発明のさまざまな実施例の非常に多くの特性および利点を、本発明のさまざまな実施例の構造および機能の詳細と共に明細書で述べてきたが、詳細な説明は単なる説明用であって、添付特許請求の範囲が表現される用語の広範な一般的意味により示される全範囲まで、本発明の原理内で詳細を変更することができ、特に部品の構造および配置を変更することができる。たとえば、本発明の精神および範囲を逸脱することなく特定の素子を特定の処理環境に応じて変えることができる。
さらに、ここに記述された実施例はデータ記憶アレイに向けられているが、当業者ならば特許請求された主題はそのように限定はされず、本発明の精神および範囲を逸脱することなく他のさまざまな処理システムを利用できることがお判りであろう。
本発明の実施例に従って構成されたコンピュータ・システムの線図表現である。 図1のコンピュータ・システムの一部の単純化された線図表現である。 本発明の実施例に従って構成されたインテリジェント記憶素子の分解等角図である。 図3のインテリジェント記憶素子のマルチドライブ・アレイの分解等角図である。 図4のマルチドライブ・アレイ内で使用される典型的なデータ記憶装置を示す図である。 インテリジェント記憶素子内のアレイ・コントローラの機能的ブロック図である。 図6のアレイ・コントローラのインテリジェント記憶プロセッサの機能的ブロック図である。 インテリジェント記憶素子を示す線図である。 インテリジェント記憶素子の機能的ブロック図である。
符号の説明
100 コンピュータ・システム
102 ホスト
103 ホストバス・アダプタ
104 サーバ
106 LAN/WAN
108 インテリジェント記憶素子
109 データ記憶容量
110 SAN
112 デュアル冗長コントローラ
114 シェルフ
116 ミッドプレーン
118 MDA
122 デュアル・バッテリ
124 交流電源
126 デュアル・インターフェイス・モジュール
128 データ記憶装置
130 アッパー・パーティション
132 ロアー・パーティション
134、148 回路板
136、152 コネクタ
138 ラッパー
142 リード/ライト・ヘッド
144 ロータリ・アクチュエータ
146 ボイスコイルモータ
150 フレックス回路
156、158 インテリジェント記憶プロセッサ
160 中間バス
162、164 ファイバ・チャネル・サーバ・リンク
166、168 ファイバ・チャネル記憶リンク
170、172 ポリシー・プロセッサ
174、176 PCIバス
178、180 アクセス・メモリ・バス
182、184、214、216 機能コントローラ
186、188 リスト・マネージャ
190、192 交換メモリブロック
194、196 キャッシュ・テーブル・ブロック
198、200 バッファメモリ・ブロック
202、204 SRAM
210 シーク・マネージャ
212 コマンド待ち行列
217、220 キャッシュ・マネージャ
218、222 RAIDコンテナ・サービス・モジュール
224 ポリシー・エンジン
226、228、230、232、234 パス

Claims (18)

  1. 第1のメモリスペースのトップレベル制御を有する第1のコントローラと、
    第1のメモリスペースとは異なる第2のメモリスペースのトップレベル制御を有する第2のコントローラと、
    一方のコントローラにだけ常駐して両方のコントローラからのデータ転送要求の組合せリストから引き出される個別のコマンド・プロファイルを定義するシーク・マネージャと、
    両方のコントローラへのネットワーク・ロードに関する定性的情報を連続的に集めてロードをダイナミックに特徴づけ、ロード特徴付けに関して各コマンド・プロファイルを連続的に相関させるようシーク・マネージャを支配するポリシー・エンジンと、
    を含むデュアル・アクティブ−アクティブ・アレイ記憶システム。
  2. 請求項1に記載のシステムであって、各コントローラは他方のコントローラとは独立してデータ転送要求を発行するシステム。
  3. 請求項1に記載のシステムであって、組合せリストはシーク・マネージャが常駐する第1のコントローラからのローカル・データ転送要求および第2のコントローラからの遠隔データ転送要求を含み、シーク・マネージャは第1のコントローラのローカル・リソースにローカル・データ転送要求の発行を委ね、第2のコントローラの遠隔リソースに遠隔データ転送要求の発行を委ねるシステム。
  4. 請求項1に記載のシステムであって、少なくとも1つのデータ転送要求は主要転送パラメータおよび代替転送パラメータを識別し、シーク・マネージャは1つ以上のコマンド・プロファイル内の主要および代替転送パラメータのいずれかに対応するコマンドを発行するシステム。
  5. 請求項1に記載のシステムであって、ポリシー・エンジンはシーク・マネージャを支配するルールの定義においてロード特徴付けおよび性能目標、システム条件、および背景I/Oの少なくとも1つに応答するシステム。
  6. 請求項1に記載の記憶システムであって、ポリシー・エンジンはレイテンシ・センシティブ・アクセス・コマンドに対するレート・センシティブ・アクセス・コマンドの比でロードを特徴づけるシステム。
  7. 請求項6に記載のシステムであって、レート・センシティブ・コマンドはライトバック・キャッシュ・コマンドとして特徴づけられ、レイテンシ・センシティブ・コマンドはリード・コマンドおよびライトスルー・キャッシュ・コマンドの少なくとも1つであるシステム。
  8. 請求項1に記載の記憶システムであって、ポリシー・エンジンは各アクセス・コマンドに関連する帯域幅でロードを特徴づけるシステム。
  9. 請求項1に記載のシステムであって、ポリシー・エンジンはレイテンシ・センシティブ・アクセス・コマンドに対するレート・センシティブ・アクセス・コマンドの比に関して少なくとも1つのコマンド・プロファイルを選択的にロードに整合させるシステム。
  10. 請求項1に記載のシステムであって、ポリシー・エンジンはアクセス・コマンドに割り当てられたLUN(logical unit number)優先順位を実施するシステム。
  11. 請求項1に記載のシステムであって、ポリシー・エンジンはアクセス・コマンドの最大許可レイテンシを実施するシステム。
  12. 請求項1に記載のシステムであって、アレイは複数の個別データ記憶装置を含み、さらに、ポリシー・エンジンからのルールに個別に応答する各データ記憶装置に対する専用シーク・マネージャを含むシステム。
  13. 請求項1に記載のデータ記憶システムであって、ポリシー・エンジンは有限状態機械を含むシステム。
  14. 第1のメモリスペースのトップレベル制御を有する第1のコントローラおよび
    第2のメモリスペースのトップレベル制御を有する第2のコントローラへのデュアル・アクティブ−アクティブ・アレイ記憶システムによりネットワーク・アクセス・コマンドを受信するステップと、
    アクセス・コマンドに関する定性的情報を集めるステップと、
    コントローラへのアクセス・コマンド・ロードをダイナミックに特徴づけるステップと、
    両方のコントローラからのアクセス・コマンドに関連するデータ転送要求を他方のコントローラから独立して組合せリストへ送るステップと、
    ダイナミックに特徴づけるステップに応答する唯一のシーク・マネージャにより組合せリストから各コントローラへコマンド・プロファイルを発行するステップと、
    を含む方法。
  15. 請求項14に記載の方法であって、前記発行するステップは、シーク・マネージャがそれが常駐するコントローラからのデータ転送要求に関してローカル・リソースに委ね、シーク・マネージャが常駐しないコントローラからのデータ転送要求に関して遠隔リソースに委ねるステップを含む方法。
  16. 請求項14に記載の方法であって、前記発行するステップは主要な転送パラメータおよび代替転送パラメータを識別するデータ転送要求に応答して2つのシーク・コマンドをコマンド・プロファイルに発行するステップを含む方法。
  17. 請求項14に記載の方法であって、前記発行するステップはレイテンシ・センシティブ・コマンドに対するレート・センシティブ・コマンドの比に関してコマンド・プロファイルをロード特徴付けに選択的に整合させるステップを含む方法。
  18. ネットワークに接続されネットワーク・アクセス・コマンドに応答してデータを転送するように構成されたデュアル・アクティブ−アクティブ記憶アレイと、
    アレイへの観察されたネットワーク・ロードにダイナミックに相関されるアレイ内の各記憶装置への個別のコマンド・プロファイルを引き出す手段と、
    を含む記憶システム。
JP2008169064A 2007-06-29 2008-06-27 要求優先順位シーク・マネージャ Expired - Fee Related JP5882557B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/771,505 US8745326B2 (en) 2005-06-02 2007-06-29 Request priority seek manager
US11/771,505 2007-06-29

Publications (3)

Publication Number Publication Date
JP2009015844A true JP2009015844A (ja) 2009-01-22
JP2009015844A5 JP2009015844A5 (ja) 2011-08-11
JP5882557B2 JP5882557B2 (ja) 2016-03-09

Family

ID=40162114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008169064A Expired - Fee Related JP5882557B2 (ja) 2007-06-29 2008-06-27 要求優先順位シーク・マネージャ

Country Status (2)

Country Link
US (1) US8745326B2 (ja)
JP (1) JP5882557B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8910234B2 (en) * 2007-08-21 2014-12-09 Schneider Electric It Corporation System and method for enforcing network device provisioning policy
US8195891B2 (en) * 2009-03-30 2012-06-05 Intel Corporation Techniques to perform power fail-safe caching without atomic metadata
US20110191626A1 (en) * 2010-02-01 2011-08-04 Sqalli Mohammed H Fault-tolerant network management system
US10318426B1 (en) * 2011-09-27 2019-06-11 EMC IP Holding Company LLC Cloud capable storage platform with computation operating environment for storage and generic applications
US9582057B2 (en) * 2015-01-12 2017-02-28 Dell Products, L.P. Server chassis with dual purpose bay for storage module or power supply module
US20160227532A1 (en) * 2015-02-02 2016-08-04 Shahrnaz Azizi Systems, methods, and devices for signal classification in wireless networks
US10073714B2 (en) * 2015-03-11 2018-09-11 Western Digital Technologies, Inc. Task queues
US9977487B2 (en) * 2015-09-22 2018-05-22 Samsung Electronics Co., Ltd. Dynamic non-volatile memory operation scheduling for controlling power consumption of solid-state drives
US9711232B2 (en) * 2015-09-22 2017-07-18 Samsung Electronics Co., Ltd. Dynamic non-volatile memory operation scheduling for controlling power consumption of solid-state drives
CN107844259B (zh) 2016-09-18 2020-06-16 华为技术有限公司 数据访问方法、路由装置和存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108274A (ja) * 1991-10-11 1993-04-30 Hitachi Ltd 並列デイスク制御方法および並列デイスク制御装置
JP2001159989A (ja) * 1999-09-15 2001-06-12 Emc Corp ディスクアレイ記憶装置の負荷を平均化する方法
US20030071816A1 (en) * 1999-12-31 2003-04-17 Langendorf Brian K. Symmetrical accelerated graphics port (AGP)
US20030208523A1 (en) * 2002-05-01 2003-11-06 Srividya Gopalan System and method for static and dynamic load analyses of communication network
US6675258B1 (en) * 2000-06-30 2004-01-06 Lsi Logic Corporation Methods and apparatus for seamless firmware update and propagation in a dual raid controller system
JP2004295860A (ja) * 2003-03-07 2004-10-21 Fujitsu Ltd ストレージシステム及びそのデイスク負荷バランス制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1016957B1 (en) 1994-04-04 2011-08-10 MagnaChip Semiconductor Ltd. Method of managing resources shared by multiple processing units
US6865710B2 (en) * 2000-09-18 2005-03-08 Lucent Technologies Inc. Butterfly processor for telecommunications
JP3879471B2 (ja) * 2001-10-10 2007-02-14 株式会社日立製作所 計算機資源割当方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108274A (ja) * 1991-10-11 1993-04-30 Hitachi Ltd 並列デイスク制御方法および並列デイスク制御装置
JP2001159989A (ja) * 1999-09-15 2001-06-12 Emc Corp ディスクアレイ記憶装置の負荷を平均化する方法
US20030071816A1 (en) * 1999-12-31 2003-04-17 Langendorf Brian K. Symmetrical accelerated graphics port (AGP)
US6675258B1 (en) * 2000-06-30 2004-01-06 Lsi Logic Corporation Methods and apparatus for seamless firmware update and propagation in a dual raid controller system
US20030208523A1 (en) * 2002-05-01 2003-11-06 Srividya Gopalan System and method for static and dynamic load analyses of communication network
JP2004295860A (ja) * 2003-03-07 2004-10-21 Fujitsu Ltd ストレージシステム及びそのデイスク負荷バランス制御方法

Also Published As

Publication number Publication date
JP5882557B2 (ja) 2016-03-09
US8745326B2 (en) 2014-06-03
US20090006739A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
JP5882557B2 (ja) 要求優先順位シーク・マネージャ
US7814351B2 (en) Power management in a storage array
US7797487B2 (en) Command queue loading
US7565508B2 (en) Allocating clusters to storage partitions in a storage system
US7743216B2 (en) Predicting accesses to non-requested data
US7194592B2 (en) Storage system using load balancing among systems of varying performance
US7680984B2 (en) Storage system and control method for managing use of physical storage areas
US8363519B2 (en) Hot data zones
JP5134915B2 (ja) 記憶領域の構成最適化方法、計算機システム及び管理計算機
WO2017162179A1 (zh) 用于存储系统的负载再均衡方法及装置
US20090300283A1 (en) Method and apparatus for dissolving hot spots in storage systems
JP2005078507A (ja) 仮想化制御装置、アクセス経路制御方法及び計算機システム
JP2007304794A (ja) ストレージシステム及びストレージシステムにおける記憶制御方法
JP2007102762A (ja) 論理パーティション分割ストレージシステムに於けるリソース管理方法
US10082968B2 (en) Preferred zone scheduling
JP5376624B2 (ja) ホスト適応シーク技術環境
JP2009015841A (ja) 同期化された処理要素を有する記憶システム
JP2009015843A (ja) ロング・サイド入出力コマンド処理
US9465745B2 (en) Managing access commands by multiple level caching
JP2008016024A (ja) キャッシュされたデータのダイナミック適応フラッシング
US20210191623A1 (en) Storage system
US11880589B2 (en) Storage system and control method
JP5487482B2 (ja) 記憶システムにおけるプロセッサ・パートナリング
JP2008016028A (ja) 広域複製を持つ分散記憶システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130718

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130815

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130913

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150216

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160204

R150 Certificate of patent or registration of utility model

Ref document number: 5882557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees